(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-23
(45)【発行日】2024-10-31
(54)【発明の名称】血圧測定装置、及び血圧測定プログラム
(51)【国際特許分類】
A61B 5/021 20060101AFI20241024BHJP
A61B 5/02 20060101ALI20241024BHJP
【FI】
A61B5/021
A61B5/02 310V
A61B5/02 310A
(21)【出願番号】P 2021061364
(22)【出願日】2021-03-31
【審査請求日】2023-08-01
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110004244
【氏名又は名称】弁理士法人仲野・川井国際特許事務所
(74)【代理人】
【識別番号】100096655
【氏名又は名称】川井 隆
(74)【代理人】
【識別番号】100091225
【氏名又は名称】仲野 均
(72)【発明者】
【氏名】ジョーンズ マイケル
【審査官】▲高▼ 芳徳
(56)【参考文献】
【文献】特開2017-176799(JP,A)
【文献】特開2019-050853(JP,A)
【文献】国際公開第2018/088358(WO,A1)
【文献】特開2020-062529(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/02 - 5/03
(57)【特許請求の範囲】
【請求項1】
対象者の第1位置で測定した第1脈波m1を取得する第1脈波取得手段と、
前記対象者の心臓からの距離が、前記第1位置よりも離れた第2位置で測定した第2脈波m2を取得する第2脈波取得手段と、
前記第1脈波m1に対する前記第2脈波m2の遅れ時間Lを取得する遅れ時間取得手段と、
前記取得した遅れ時間Lが基準値Th以下である場合、その旨を報知
する報知手段と、
前記遅れ時間Lが前記基準値Thより大きい場合、前記遅れ時間取得手段で取得した遅れ時間Lを用いて前記対象者の収縮期血圧SBPと拡張期血圧DBPを取得
し、前記遅れ時間Lが前記基準値Th以下である場合、前記遅れ時間取得手段で取得した遅れ時間Lを用いて前記対象者の収縮期血圧SBPと拡張期血圧DBPを取得することを行わない、血圧取得手段と、
前記取得した収縮期血圧SBPと拡張期血圧DBPを出力する出力手段と、を具備し、
前記基準値Thは、0.1秒~0.06秒の範囲で選択された時間である、
ことを特徴とする血圧測定装置。
【請求項2】
前記遅れ時間取得手段は、前記第1脈波m1と前記第2脈波m2における、最低値V、最高値T、最大傾きD、及び、相関遅れCのいずれかの脈波要素を用いて遅れ時間Lを取得する、
ことを特徴とする請求項1に記載の血圧測定装置。
【請求項3】
前記遅れ時間取得手段は、基準値Thとの比較に用いる遅れ時間Lと、血圧を取得するために用いる遅れ時間Lを、それぞれ異なる前記脈波要素を使用して取得する、
ことを特徴とする請求項2に記載の血圧測定装置。
【請求項4】
前記遅れ時間取得手段は、
基準値Thとの比較に用いる遅れ時間Lを前記最低値Vを用いて取得し、
血圧を取得するために用いる遅れ時間Lを前記相関遅れCを用いて取得する、
ことを特徴とする請求項2に記載の血圧測定装置。
【請求項5】
前記第1位置は対象者の顔であり、前記第2位置は前腕、手首、手、指、のいずれかである、
ことを特徴とする請求項1から請求項4のいずれか1の請求項に記載の血圧測定装置。
【請求項6】
前記基準値Thは0.08秒である、
ことを特徴とする請求項1から請求項4のいずれか1の請求項に記載の血圧測定装置。
【請求項7】
前記報知手段は、前記取得した遅れ時間Lが前記基準値Th以下である場合に、前記第2脈波を取得する第2位置の変更を促す報知を、画像表示と音声の少なくとも一方により行う、
ことを特徴とする請求項1から請求項6のいずれか1の請求項に記載の血圧測定装置。
【請求項8】
前記第1脈波取得手段と前記第2脈波取得手段は、前記対象者の体内を透過又は反射する光の変化量により脈波を測定する接触型のセンサを使用して脈波を取得する、
ことを特徴とする請求項1から請求項7のいずれか1の請求項に記載の血圧測定装置。
【請求項9】
前記第1脈波取得手段は、対象者の第1の体表面を環境光下で撮影した第1の動画を取得し、当該第1の動画から色成分の時間変化を用いて第1の脈波を取得し、
前記第2脈波取得手段は、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得し、当該第2の動画から前記色成分と異なる種類の色成分の時間変化を用いて第2の脈波を取得する、
ことを特徴とする請求項1から請求項7のいずれか1の請求項に記載の血圧測定装置。
【請求項10】
前記第1脈波取得手段は、前記第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、
前記第2脈波取得手段は、前記第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得する、
ことを特徴とする請求項9に記載の血圧測定装置。
【請求項11】
対象者の第1位置で測定した第1脈波m1を取得する第1脈波取得機能と、
前記対象者の心臓からの距離が、前記第1位置よりも離れた第2位置で測定した第2脈波m2を取得する第2脈波取得機能と、
前記第1脈波m1に対する前記第2脈波m2の遅れ時間Lを取得する遅れ時間取得機能と、
前記取得した遅れ時間Lが基準値Th以下である場合、その旨を報知
する報知機能と、
前記遅れ時間Lが前記基準値Thより大きい場合、前記遅れ時間取得機能で取得した遅れ時間Lを用いて前記対象者の収縮期血圧SBPと拡張期血圧DBPを取得
し、前記遅れ時間Lが前記基準値Th以下である場合、前記遅れ時間取得機能で取得した遅れ時間Lを用いて前記対象者の収縮期血圧SBPと拡張期血圧DBPを取得することを行わない、血圧取得機能と、
前記取得した収縮期血圧SBPと拡張期血圧DBPを出力する出力機能と、
をコンピュータに実現させるための血圧測定プログラムであって、
前記基準値Thは、0.1秒~0.06秒の範囲で選択された時間である、
ことを特徴とする血圧測定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、血圧測定装置、及び血圧測定プログラムに関し、2箇所で測定した脈波から血圧を測定する技術に関する。
【背景技術】
【0002】
近年の健康志向の高まりに伴って簡易に血圧を測定する需要が高まっており、被験者の2箇所で測定した脈波の遅れ時間と血圧との相関関係を利用して血圧を測定する技術が提案されている。
例えば特許文献1では、非接触にて相対血圧を測定する技術として、携帯端末の表面と裏面の2箇所に配置されたカメラで対象者の顔と指を動画撮影し、撮影した映像の色を構成するRGB成分のうち、R成分とG成分(脈波に伴って変化する)を用いて顔と指の脈波の波形を検出する。そして、心臓から体各部への脈波の伝搬時間と血圧との相関関係を利用して検出した顔の脈波のピークに対する指の脈波のピークの遅延量によって血圧を測定している。
【0003】
しかし、本願発明者による実験により、2箇所で測定した脈波から血圧を測定する場合、測定位置によっては、常に精度高く測定できるわけではなく、精度が低い場合があることが判明した。特に、顔と指先で測定した脈波を使用した場合に測定した血圧の精度が低くなる場合があった。
また、特許文献1記載の技術の場合、脈波のピークは、外光の変化などによる外乱が大きい領域であり、外乱の影響で精度の高い測定が困難であるという問題があった。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
そこで、本発明は、精度が低い血圧測定を回避することを第1の目的とする。
また外乱の影響の少ない血圧測定を行うことを第2の目的とする。
【課題を解決するための手段】
【0006】
(1)請求項1に記載の発明では、対象者の第1位置で測定した第1脈波m1を取得する第1脈波取得手段と、前記対象者の心臓からの距離が、前記第1位置よりも離れた第2位置で測定した第2脈波m2を取得する第2脈波取得手段と、前記第1脈波m1に対する前記第2脈波m2の遅れ時間Lを取得する遅れ時間取得手段と、前記取得した遅れ時間Lが基準値Th以下である場合、その旨を報知する報知手段と、前記遅れ時間Lが前記基準値Thより大きい場合、前記遅れ時間取得手段で取得した遅れ時間Lを用いて前記対象者の収縮期血圧SBPと拡張期血圧DBPを取得し、前記遅れ時間Lが前記基準値Th以下である場合、前記遅れ時間取得手段で取得した遅れ時間Lを用いて前記対象者の収縮期血圧SBPと拡張期血圧DBPを取得することを行わない、血圧取得手段と、前記取得した収縮期血圧SBPと拡張期血圧DBPを出力する出力手段と、を具備し、前記基準値Thは、0.1秒~0.06秒の範囲で選択された時間である、ことを特徴とする血圧測定装置を提供する。
(2)請求項2に記載の発明では、前記遅れ時間取得手段は、前記第1脈波m1と前記第2脈波m2における、最低値V、最高値T、最大傾きD、及び、相関遅れCのいずれかの脈波要素を用いて遅れ時間Lを取得する、ことを特徴とする請求項1に記載の血圧測定装置を提供する。
(3)請求項3に記載の発明では、前記遅れ時間取得手段は、基準値Thとの比較に用いる遅れ時間Lと、血圧を取得するために用いる遅れ時間Lを、それぞれ異なる前記脈波要素を使用して取得する、ことを特徴とする請求項2に記載の血圧測定装置を提供する。
(4)請求項4に記載の発明では、前記遅れ時間取得手段は、基準値Thとの比較に用いる遅れ時間Lを前記最低値Vを用いて取得し、血圧を取得するために用いる遅れ時間Lを前記相関遅れCを用いて取得する、ことを特徴とする請求項2に記載の血圧測定装置を提供する。
(5)請求項5に記載の発明では、前記第1位置は対象者の顔であり、前記第2位置は前腕、手首、手、指、のいずれかである、ことを特徴とする請求項1から請求項4のいずれか1の請求項に記載の血圧測定装置を提供する。
(6)請求項6に記載の発明では、前記基準値Thは0.08秒である、ことを特徴とする請求項1から請求項4のいずれか1の請求項に記載の血圧測定装置を提供する。
(7)請求項7に記載の発明では、前記報知手段は、前記取得した遅れ時間Lが前記基準値Th以下である場合に、前記第2脈波を取得する第2位置の変更を促す報知を、画像表示と音声の少なくとも一方により行う、ことを特徴とする請求項1から請求項6のいずれか1の請求項に記載の血圧測定装置を提供する。
(8)請求項8に記載の発明では、前記第1脈波取得手段と前記第2脈波取得手段は、前記対象者の体内を透過又は反射する光の変化量により脈波を測定する接触型のセンサを使用して脈波を取得する、ことを特徴とする請求項1から請求項7のいずれか1の請求項に記載の血圧測定装置を提供する。
(9)請求項9に記載の発明では、前記第1脈波取得手段は、対象者の第1の体表面を環境光下で撮影した第1の動画を取得し、当該第1の動画から色成分の時間変化を用いて第1の脈波を取得し、前記第2脈波取得手段は、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得し、当該第2の動画から前記色成分と異なる種類の色成分の時間変化を用いて第2の脈波を取得する、ことを特徴とする請求項1から請求項7のいずれか1の請求項に記載の血圧測定装置を提供する。
(10)請求項10に記載の発明では、前記第1脈波取得手段は、前記第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、前記第2脈波取得手段は、前記第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得する、ことを特徴とする請求項9に記載の血圧測定装置を提供する。
(11)請求項11に記載の発明では、対象者の第1位置で測定した第1脈波m1を取得する第1脈波取得機能と、前記対象者の心臓からの距離が、前記第1位置よりも離れた第2位置で測定した第2脈波m2を取得する第2脈波取得機能と、前記第1脈波m1に対する前記第2脈波m2の遅れ時間Lを取得する遅れ時間取得機能と、前記取得した遅れ時間Lが基準値Th以下である場合、その旨を報知する報知機能と、前記遅れ時間Lが前記基準値Thより大きい場合、前記遅れ時間取得機能で取得した遅れ時間Lを用いて前記対象者の収縮期血圧SBPと拡張期血圧DBPを取得し、前記遅れ時間Lが前記基準値Th以下である場合、前記遅れ時間取得機能で取得した遅れ時間Lを用いて前記対象者の収縮期血圧SBPと拡張期血圧DBPを取得することを行わない、血圧取得機能と、前記取得した収縮期血圧SBPと拡張期血圧DBPを出力する出力機能と、をコンピュータに実現させるための血圧測定プログラムであって、前記基準値Thは、0.1秒~0.06秒の範囲で選択された時間である、ことを特徴とする血圧測定プログラムを提供する。
【発明の効果】
【0007】
請求項1に記載の本発明によれば、脈波の遅れ時間Lから測定位置が適切でないと判断した場合に、その旨を報知するので、精度が低い血圧測定を回避することができる。
また、請求項9に記載の本発明によれば、2つの動画において、異なる種類の色成分の時間変化を用いることにより、外乱の影響の少ない血圧測定を行うことができる。
【図面の簡単な説明】
【0008】
【
図1】第1実施形態における血圧測定装置の構成説明図である。
【
図2】第1脈波測定部と第2脈波測定部の配置位置を表した説明図である。
【
図3】遅れ時間Lを測定するために使用する第1脈波と第2脈波の脈波要素を表した説明図である。
【
図4】5箇所の測定位置で同時に測定した脈波を表したものである。
【
図5】接触方式で脈波を測定した場合の、遅れ時間L、収縮期血圧SBPの相関係数、及び拡張期血圧DBPの相関係数を表したものである。
【
図6】複数対象者による、同一測定位置における測定結果を表したものである。
【
図7】非接触方式で脈波を測定した場合の、遅れ時間L、収縮期血圧SBPの相関係数、及び拡張期血圧DBPの相関係数を表したものである。
【
図8】血圧測定装置による血圧測定処理の処理内容を表したフローチャートである。
【
図9】脈波の最低値Vを使用して遅れ時間Lを算出する遅れ時間算出処理のフローチャートである。
【
図10】脈波の最大傾きDを使用して遅れ時間Lを算出する遅れ時間算出処理のフローチャートである。
【
図11】第2実施形態における血圧測定装置の構成説明図である。
【
図12】血圧測定装置の使用形態を説明するための図である。
【
図14】脈波の伝搬の遅れを説明するための図である。
【
図17】遅れのデータ点数と相互相関の関係を表した図である。
【
図19】相互相関の補間による効果を説明するための図である。
【
図20】バンドパスフィルタの最適化を説明するための図である。
【
図21】血圧測定処理を説明するためのフローチャートである。
【
図22】血圧測定処理を説明するためのフローチャートの続きである。
【
図23】動画フレーム読み込み処理を説明するためのフローチャートである。
【
図24】パラメータ設定・初期化処理を説明するためのフローチャートである。
【
図25】測定領域設定処理を説明するためのフローチャートと説明図である。
【
図26】顔信号取得処理を説明するためのフローチャートである。
【
図27】顔信号スペクトル計算処理を説明するためのフローチャートである。
【
図28】顔脈拍数検出処理を説明するためのフローチャートである。
【
図29】顔信号強度評価処理を説明するためのフローチャートと説明図である。
【
図30】指信号取得処理を説明するためのフローチャートと説明図である。
【
図31】顔指信号前処理を説明するためのフローチャートである。
【
図32】血圧測定処理を説明するためのフローチャートである。
【
図33】動画撮影処理を説明するためのフローチャートである。
【発明を実施するための形態】
【0009】
(1)第1実施形態の概要
第1実施形態の血圧測定装置1は、対象者15の第1位置における第1脈波と、心臓からの距離が第1位置よりも大きい第2位置における第2脈波を測定し、心臓に近い側の第1脈波に対する第2脈波の遅れ時間Lを求め、この遅れ時間と血圧との相関関係を利用して血圧を測定する。
本実施形態は、第1脈波に対する第2脈波の遅れ時間が基準値Thよりも大きいか否かを判断し、基準値Thよりも大きければ、遅れ時間からの血圧測定を行う。
一方、遅れ時間が基準値Th以下である場合には正確な血圧測定ができないので、第2脈波の測定位置(第2位置)の変更を促すように報知する。
【0010】
本実施形態は、第1脈波に対する第2脈波の遅れ時間が基準値Th以下の場合には、遅れ時間と血圧との相関関係が低く、血圧測定には好ましくないとの新たな知見に基づくものである。この知見については、第1位置と第2位置を種々変更して実験を行うことで得られたもので、相関関係が得られないのは、測定位置によって脈波形状が変化してしまう場合があることが原因と考えられる。
【0011】
そして実験により、基準値Thは0.1秒~0.06秒の範囲で選択されることが好ましく、最適値は0.08秒であることを得た。
また、両脈波から遅れ時間Lを求めるためには、第1脈波と第2脈波の同一の特徴位置等の脈波要素を使用する必要がある。使用する脈波要素としては、脈波の最低値V、最高値T、最大傾きD、及び、相関遅れCのいずれかを使用可能であること、最低値Vが最適であることも得た。
さらに、血圧の測定が可能か否かの判断(血圧測定可否判断)用の遅れ時間と、相関関係を利用した血圧測定用の遅れ時間とは、同一の脈波要素(V、T、D、C)を使用して求めてもよく、また、異なる脈波要素を使用してもよい、ということも得た。
【0012】
(2)第1実施形態の詳細
図1は、本実施形態の血圧測定装置1の構成を説明するための図である。
血圧測定装置1は、CPU(Central Processing Unit)2、を備えたコンピュータシステムで構成されている。
CPU2には、制御信号やデータ信号の送受信を行うバスラインを介して、ROM(Read Only Memory)3、RAM(Random Access Memory)4、ディスプレイ5、第1脈波測定部7、第2脈波測定部8、記憶部10、通信制御部11が接続されている。
【0013】
CPU2は、記憶部10やROM3などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。
CPU2は、例えば血圧測定プログラム10aに従って、第1脈波測定部7と第2脈波測定部8で測定した脈波の遅れ時間Lから脈波の測定が可能か否かを判断、当該判定に基づく測定位置変更を促す報知、及び、遅れ時間を使用した血圧を検出する。
【0014】
ROM3は、読み取り専用メモリであって、血圧測定装置1を動作させるための基本的なプログラムやパラメータなどが記憶されている。
RAM4は、読み書きが可能なメモリであって、CPU2が動作する際のワーキングメモリを提供する。本実施形態では、取得した第1脈波や第2脈波、両脈波から求めた遅れ時間L等の、CPU2が収縮期血圧SBPと拡張期血圧DBPを決定するのに必用なデータを一時記憶する。
【0015】
ディスプレイ5は、例えば、液晶パネルを用いて構成されており、各種アプリケーションプログラムを選択するためのアイコンや、これらアプリケーションが提供する各種画面を表示する。
本実施形態のディスプレイ5は、脈波の遅れ時間Lが基準値Th以下での場合に第2脈波測定部8の測定位置の変更を促す警告文を表示する報知手段として機能し、また、測定した血圧を表示することで表示手段、出力手段として機能している。
なお、本実施形態では報知手段として、ディスプレイ5に変更を促す警告文を表示するが、この警告文の表示に代えて、又は/及び、測定位置の変更を促す音声や警告音をスピーカから出力するようにしてもよい。
【0016】
第1脈波測定部7と第2脈波測定部8は、各種周知の各種方法、例えば透過型脈波測定や反射型脈波測定等により、対象者15の第1脈波と第2脈波を測定する。
透過型脈波測定は、赤外線や赤色光を生体に照射し、体内を透過する光の変化量として脈波を測定する方法である。反射型脈波測定は、赤外線、赤色光又は緑色光を生体に照射し、受光素子を用いて生体内を反射した光の変化量として脈波を測定する方法である。
透過型脈波測定と反射型脈波測定は、いずれもセンサを体表面に接触させて脈波を測定するのに対し、さらに別の方式として、体表面を撮像した動画の色成分から脈波を測定する非接触式測定方法を使用することも可能である。
第1脈波測定部7と第2脈波測定部8は同一の測定方式が採用され、本実施形態では、外乱の影響が少ない緑色光を照射する反射型脈波センサを使用している。なお、後述する第2実施形態の血圧測定装置1では、非接触式測定方法を使用している。
【0017】
記憶部10は、ハードディスクやEEPROM(Electrically Erasable Programmable Read-Only Memory)などの記憶媒体を用いて構成されており、CPU2が血圧を測定するための血圧測定プログラム10aやその他のプログラム、及び、血圧測定に必用な各種データ10bを記憶している。
【0018】
血圧測定プログラム10aは、CPU2に血圧測定処理を行わせるプログラムである。
血圧測定装置1は、CPU2が血圧測定プログラム10aを実行することにより、血圧測定装置としての各種機能を提供することができる。
データ10bには、例えば、血圧測定に必用なデータとして、血圧測定可否判断に使用する基準値Thや、遅れ時間Lから血圧を算出するためのパラメータ等が保存されている。パラメータは、収縮期血圧SBPを算出するためのパラメータPS1、PS2、及び拡張期血圧DBPを算出するためのパラメータPD1、PD2である。
【0019】
収縮期血圧SBPと拡張期血圧DBPについては、遅れ時間Lを使用して次の式(A)、(B)から算出されるが、この1次式における傾きがパラメータPS1、PD1で、切片がパラメータPS2、PD2である。
収縮期血圧SBP=PS1×遅れ時間L+PS2 … 式(A)
拡張期血圧DBP=PD1×遅れ時間L+PD2 … 式(B)
【0020】
式(A)(B)で示される1次式は、多数の遅れ時間Lと血圧(SBP、DBP)の実測値に対して、最小二乗法等の回帰分析によって予め求めた式である。
式(A)(B)は血圧測定プログラム10aにおいて定義されており、4つのパラメータはデータ10bに保存される。
なお、後述するように遅れ時間Lの算出には、いずれの脈波要素(
図3の最低値V、最高値T、最大傾きD、相関遅れC)も使用可能であるが、使用する脈波要素によって上記式(A)(B)で使用するパラメータが異なる。
従って、データ10bには、使用する脈波要素に応じた4つのパラメータが保存され、遅れ時間Lの算出に最低値Vを使用する本実施形態では、次のパラメータ値がデータ10bに保存されている。
PS1=-1/0.0048、PS2=1.7391/0.0048
PD1=-1/0.0071、PD2=1.6273/0.0071
【0021】
通信制御部11は、無線、有線により接続する外部装置との間で各種プログラムやデータの送受信を行う。
通信制御部11は、外部装置で測定した対象者15の第1脈波、第2脈波を取得することで脈波取得手段として機能し、また、外部装置に対して測定位置の変更を報知する場合には報知手段として機能し、遅れ時間Lから測定した血圧を外部機器に送信する場合には出力手段として機能する。
【0022】
以上の通り構成された血圧測定装置1により、対象者15の第1脈波と第2脈波の遅れ時間から血圧を決定するが、本実施形態では遅れ時間によっては血圧測定ができないという知見に基づいている。以下、この知見を得るに至った実験について説明する。
この実験では、第1脈波測定部7を1つと、第2脈波測定部8を複数箇所(4箇所)に配置して、第1脈波を基準として、4つの第2脈波の遅れ時間等を測定した。
【0023】
図2は、対象者15に取り付ける、第1脈波測定部7と第2脈波測定部8の配置位置を表したものである。
図2に示すように、対象者15の額M1に配置したのが脈波の遅れ時間Lを算出する際の基準になる第1脈波測定用の第1脈波測定部7である。そして、対象者15の前腕M4、手首M5、親指付根M6、指先M7の各位置に、第2脈波を測定する第2脈波測定部8を配置した。
【0024】
血圧測定装置1は、測定した第1脈波に対する第2脈波の遅れ時間Lを算出するが、この遅れ時間Lは、心臓から脈波を測定する位置までの距離の差により生じるものである。そこで、第1脈波測定部7を配置した額M1よりも心臓からの距離が離れた位置M4~M7に第2脈波測定部8を配置した。
本実施形態の血圧測定装置1では、
図1で説明したように、第1脈波測定部7と第2脈波測定部8が1組である。これに対して、本実験では、対象者15における各測定位置M4~M7において同時刻に測定された脈波同士を比較し、算出した遅れ時間Lの評価をするために、複数の第2脈波測定部8を配置している。
【0025】
図3は、遅れ時間Lを測定するために使用する、第1脈波と第2脈波の脈波要素(同一の特徴位置等)を表したものである。
第1脈波と第2脈波の脈波要素として、
図3に示す脈波m0の特徴位置である最低値V、最高値T、最大傾きDを使用し、また、両脈波全体の遅れである相関遅れCを使用して、遅れ時間Lを算出することが可能である。
最低値Vは脈波m0における谷となる部分の値であり、最高値Tは脈波m0におけるピーク値である。
最大傾きDは、所定サンプリング周期で脈波m0の微分値(傾き)D1、D2、…を求め、その最大値である。
相関遅れCは、脈波の波形全体を用いて、遅れ時間Lを求めるものである。その詳細は第2実施形態で説明するが、一方の脈波を時間方向に順次シフトし、両脈波の相互相関が最も高いシフト量から遅れ時間Lを求めるものである。
【0026】
図4は、
図2で示した5箇所の測定位置(M1、M4~M7)で同時に測定した脈波m1、m4~m7を表したものである。
図4に示すように、脈波m1は第1脈波測定部7で測定した額M1の波形で、脈波m4~m7は第2脈波測定部8で測定した前腕M4、手首M5、親指付根M6、指先M7の各位置で測定した波形である。
図4において、脈波要素として最低値(谷)Vを使用し、各脈波の最低値がV1、V4~V7である。そして、心臓に最も近い位置の額M1の脈波m1の最低値V1を基準として、他の脈波m4~m7の最低値V4~V7までの時間が遅れ時間L14~L17である。
【0027】
図4に示した各遅れ時間Lをみると、脈波の到達は心臓から離れるほど遅くなることから、額M1よりも心臓から離れている前腕M4では、脈波m1の最低値V1よりも脈波m4の最低値V4の方が遅れ時間L14だけ遅れが生じている。
一方、前腕M4よりも更に離れている手首M5の最低値V5での遅れ時間L15の方が、前腕M4の遅れ時間L14よりも大きく(L15>L14)なっている。
ところが、手首M5よりも更に離れている親指付根M6の遅れ時間L16が、手首M5の遅れ時間L15よりも小さく(L16<L15)なっている。
同様に、親指付根M6よりも更に離れている指先M7の遅れ時間L17が、親指付根M6の遅れ時間L16よりも更に小さく(L17<L16)なっている。
【0028】
図4における脈波m4と脈波m5については、心臓からの距離が大きくなるほど遅れ時間Lも大きくなっているため、心臓からの脈波が正確に測定されていると推定される。
しかし脈波m6と脈波m7については、距離が大きくなっているにも拘わらず遅れ時間Lが小さくなってしまっている。これは心臓からの脈波の形状が反射波(心臓に戻る脈波)等の影響を受けることで、形状が変化したためと推定される。
【0029】
そこで、別の実験として、
図2で示した測定位置M1、M4~M7で測定した各脈波m1、m4~7について、遅れ時間Lと、遅れ時間Lから求めた収縮期血圧SBPと拡張期血圧DBPの相関係数について調べた。
図5は、接触方式で脈波を測定した場合の、遅れ時間L、収縮期血圧SBPの相関係数、及び拡張期血圧DBPの相関係数を表したものである。
図5(a)の遅れ時間L14~L17は、
図3の脈波要素のうち最低値Vを使用して求めたものである。一方、
図5(b)、(c)の相関係数を求めるために使用した遅れ時間Lは、各脈波要素の最低値V、最高値T、最大傾きD、相関遅れCの各々を使用して求めたものである。
【0030】
測定は額の測定位置M1を基準とし、それよりも心臓からの距離が離れた測定位置M4~M7における遅れ時間Lを使用しているため、遅れ時間と血圧とは負の相関係数となるはずである。従って、
図5(b)、(c)に示すように、親指付根M6で測定した脈波m6の相関係数(以下、親指付根M6の相関係数という。以下同じ)と、指先M7の相関係数は、両血圧とも全ての脈波要素(VTDC)について正の相関係数となっているため、いずれも血圧を測定するのに不適切である。
【0031】
手首M5の相関係数についてみると、収縮期血圧SBPと拡張期血圧DBPについての4つの脈波要素(VTDC)の合計8つの相関係数は、弱い相関関係(相関係数が-0.2以上-0.4未満)が認められるのが3つ存在するが、残りは正の相関係数3つ、相関係数が小さいので(0以上、-0.2未満)相関関係が認められないのが2つである。
このため、全体としてみると、手首M5で測定した脈波m5は血圧測定に適していない。
一方、前腕の測定位置M4については、8つの相関係数の全てに対して負の相関関係が認められる値となっているので、血圧測定に適しているといえる。
【0032】
図5に示した例では、親指付根M6や指先M7で測定した脈波は血圧測定には適していなかった。この例では、同一の対象者15を対象として、複数の測定位置(M1、M4~M7)で脈波を測定した場合の結果である。
そこで、複数人を対象として、同一測定位置(
図5で不適切とされた額M1と指先M7)に対する適不適が確定しているのか否かについて確認をした。
【0033】
図6は、複数対象者による、同一測定位置(額M1と指先M7)における測定結果を表したものである。
図6(a)~(c)では、いずれも脈波要素の最低値Vを使用して求めた遅れ時間Lと、遅れ時間Lから求めた両血圧(SBP、DBP)の相関係数を表している。
図6に示すように、同一の測定位置(額M1と指先M7)が常に適切/不適切な位置として確定しているわけではなく、測定を行う対象者15により、収縮期血圧SBPと拡張期血圧DBPの相関係数が正で不適切な場合、負の相関係数であるが絶対値が小さすぎる場合、負の相関係数でその絶対値が大きく相関関係が認められる場合がある。
【0034】
以上の各実験については、
図1の血圧測定装置1に示した接触式の第1脈波測定部7と第2脈波測定部8を使用している。
そこで、非接触で対象者15の脈波測定をした場合についても同様に実験を行った。非接触による脈波測定の詳細については第2実施形態で詳細に説明する。
図7は、非接触方式で脈波を測定した場合の、遅れ時間L、収縮期血圧SBPの相関係数、及び拡張期血圧DBPの相関係数を表したものである。
図7(a)では、額M1、前腕M4、手首M5(
図2参照)、及び手平M6′の脈波m1、m4、m5、m6′を測定し、脈波要素の最低値Vを使用して脈波m1を基準とする脈波m4、m5、m6′の遅れ時間L14、L15、L16′を表している。
一方、
図7(b)、(c)では、脈波要素の最低値V、最高値T、最大傾きD(
図3参照)を使用して算出した遅れ時間Lから求めた血圧(SBP、DBP)の相関係数を表している。
図7に示されるように、非接触方式で測定した脈波を使用して算出した遅れ時間L、及び血圧の相関係数については、
図5の接触方式で測定した場合と同様な傾向にある。
【0035】
以上の
図5~
図7で説明した内容で、更に多くの実験を行った結果、次の結論が得られた。
(a)対象者15の2箇所で測定した脈波mの遅れ時間Lが、基準値Thよりも大きい場合の脈波mを使用した場合に精度良く血圧を測定することができる。
すなわち、遅れ時間Lが基準値Thよりも大きいか否かにより、血圧の測定が可能か否かの判断(血圧測定可否判断)を行うことができる。
(b)基準値Thは0.1秒~0.06秒の範囲で選択されることが好ましく、最適値は0.08秒である。
基準値Thを0.1秒~0.06秒の範囲で選択することで、測定位置についての判断を行わずに測定していた従来に比べて、より精度が高い収縮期血圧SBP、拡張期血圧DBPを測定することが可能になる。
(c)2箇所の脈波mの遅れ時間Lを算出する脈波要素としては、脈波の最低値V、最高値T、最大傾きD、及び、相関遅れCのいずれかを使用することが可能である。
(d)上記(c)の脈波要素(VTDC)のいずれを使用して算出した遅れ時間Lでも、上記(a)の血圧測定可否判断を行うことができる。
(e)血圧測定可否判断をする場合の遅れ時間Lの算出は、上記(c)の脈波要素(VTDC)のいずれも使用可能であるが、脈波の最低値Vの使用が最適である。
脈波の最低値Vが最適なのは、最低値Vが血流量の最小値に対応するため、反射波(心臓に戻る脈波)の影響を最も受けやすいと考えられるためである。
従って、脈波の最低値Vで算出した遅れ時間Lを使用することで、血圧測定可否判断の精度をより高くすることができる。
(f)収縮期血圧SBP、拡張期血圧DBPを求める際に使用する遅れ時間Lの算出は、上記(c)の脈波要素(VTDC)の何れを使用することも使用可能である。
(g)上記(a)~(f)については、脈波の検出方式が接触式、非接触式に共通している。
【0036】
上記結論に基づき、基準値Th=0.08秒とした場合の血圧測定可否判断の結果について
図6に表している。
図6(a)に点線で示すように基準値Thを0.08秒に設定した場合、全16人の対象者15のうち、黒丸で示した6人の遅れ時間Lが基準値Th=0.08以上であるため、現状の測定位置での血圧測定の対象となる。
一方、黒の四角で示した10人は遅れ時間Lが基準値Th未満であるため、第2脈波m2の測定位置の変更を求める警告(報知)の対象となる。
この報知対象となる10人の相関係数(
図6(b)(c))を確認すると、8人が収縮期血圧SBPと拡張期血圧DBPの少なくとも一方が相関係数が正の値となっているため、血圧を正しく測定できない脈波であり、報知が正しいと評価できる。すなわち、遅れ時間Lと血圧との負の相関関係が得られない脈波を使用した誤った血圧測定を行ってしまうことはなかった。
【0037】
一方、失敗と記載した2人については、遅れ時間Lが基準値Th未満であるため報知の対象となっているが、相関係数がいずれも-0.2以下で正しく測定できる脈波であり、報知の判断は誤りである。
しかし、誤判断ではあるが、現状位置での脈波では測定を行わずに測定位置の変更を指示するものであり、誤った血圧値を出力してしまうことはない。
【0038】
次に、以上の実験結果をもとに
図1で説明した第1実施形態の血圧測定装置1による血圧測定処理について説明する。
図8は、血圧測定装置1による血圧測定処理の処理内容を表したフローチャートである。
CPU2は、血圧測定プログラム10aに従い、第1脈波測定部7が測定した対象者15の第1脈波m1を取得し、RAM4に保存する(ステップ705)。
またCPU2は、第2脈波測定部8が第1脈波m1と同時に測定した対象者15の第2脈波m2を取得しRAM4に保存する(ステップ715)。
なお、第1脈波m1と第2脈波mは、第1脈波測定部7と第2脈波測定部8から継続的に測定され入力されるので、CPU2は継続的にRAM4に保存している。
【0039】
次にCPU2は、遅れ時間Lを算出する(ステップ720)。すなわち、CPU2は、RAM4に保存した第1脈波m1に対する第2脈波m2の遅れ時間Lを算出してRAM4に保存する。
図9は、遅れ時間L算出処理の詳細を表したフローチャートである。
CPU2は、RAM4に保存した第1脈波m1の最低値(谷)V1を探索する(ステップ805)。
更にCPU2は、探索した最低値(谷)V1の時間t1を求めてRAM4に保存する(ステップ810)。
【0040】
次にCPU2は、RAM4に保存した第2脈波m2から最低値(谷)V2を探索する(ステップ815)。
すなわち、CPU2は、第2脈波m2から、時間(t1-0.1)から時間t1の間にある最低値Vaと、時間t1よりも後(遅い時間)にある最低値Vbを探索する。
そして、CPU2は、最低値Vaがなければ、最低値Vbを最低値(谷)V2とする。一方、CPU2は、最低値Vaがあれば、VaとVbのうち、時間t1に近い方を最低値(谷)V2とする。
【0041】
更にCPU2は、探索した最低値(谷)V2の時間t2を求めてRAM4に保存する(ステップ820)。
次に、CPU2は、RAM4に保存した時間t1、t2から遅れ時間L=t2-t1を算出してRAM4に保存し(ステップ825)、メインルーチンにリターンする。
【0042】
図8に戻り、CPU2は、RAM4に保存した遅れ時間Lが基準値Th(本実施形態では0.08秒)よりも大きいか否かを判断する(ステップ725)。すなわち、CPU2は、遅れ時間Lが基準値Thよりも大きいか否かによって、現在の脈波の測定位置で血圧測定が可能か否かの判断(血圧測定可否判断)を行う。
遅れ時間Lが基準値Th以下である場合(ステップ725;N)、CPU2は、その旨の報知を行い(ステップ730)、処理を終了する。
ここで、CPU2が行う報知としては、例えば、「正確な血圧測定ができないため、第2脈波測定部8の測定位置を変更してください。」とディスプレイ5に画像表示し、及び/又は、スピーカから音声出力することにより行う。
【0043】
一方、遅れ時間Lが基準値Thよりも大きい場合(ステップ725;Y)、CPU2は、データ10bに保存されている収縮期血圧SBP用のパラメータPS1、PS2を読出してRAM4に設定する(ステップ735)。
次にCPU2は、設定したパラメータPS1、PS2と遅れ時間Lを使用し、式(A)により収縮期血圧SBPを算出し、RAM4に保存する(ステップ740)。
収縮期血圧SBP=PS1×遅れ時間L+PS2 … 式(A)
【0044】
またCPU2は、データ10bから拡張期血圧DBP用のパラメータPD1、PD2を読出してRAM4に設定する(ステップ745)。
CPU2は、設定したパラメータPD1、PD2と遅れ時間Lを使用し、上述した式(B)により拡張期血圧DBP算出し、RAM4に保存する(ステップ745)。
拡張期血圧DBP=PD1×遅れ時間L+PD2 … 式(B)
CPU2は、算出した収縮期血圧SBPと拡張期血圧DBPをディスプレイ5や、通信制御部11を介して外部装置に出力し(ステップ750)、処理を終了する。
【0045】
なお、説明した第1実施形態では、
図9で説明した遅れ時間算出処理において、遅れ時間Lを脈波m1、m2の最低値V1、V2を使用して算出する場合について説明した。
これに対して、
図3で説明したように、遅れ時間Lを最高値(ピーク)T、最大傾きD、相関遅れ(脈波全体の遅れ)Cを使用して遅れ時間Lを算出することも可能である。
【0046】
遅れ時間Lを最高値(ピーク)Tを使用して遅れ時間Lを算出する場合、
図9の遅れ時間算出処理において、「最低値(谷)V」、「V」を「最高値(ピーク)T」、「T」に読替えることで対応可能である。
脈波mの相関遅れ(脈波全体の遅れ)Cを使用して遅れ時間Lを算出する処理については、第2実施形態で説明する。
【0047】
一方、遅れ時間Lを最大傾きDを使用して算出する場合には、
図9と別の処理が必要である。
図10は、脈波mの最大傾きDを使用して遅れ時間Lを算出する遅れ時間算出処理のフローチャートである。
CPU2は、RAM4に保存した第1脈波m1の微分(傾きD1)を算出する(ステップ905)。
またCPU2、RAM4に保存した第2脈波m2の微分(傾きD2)を算出する(ステップ910)。
【0048】
次にCPU2は、算出した傾きD1の最大値を探索する(ステップ915)。
そしてCPU2は、探索した傾きD1の最大値の時間t1を求めてRAM4に保存する(ステップ920)。
またCPU2は、傾きD2の最大値を探索する(ステップ925)。すなわち、CPU2は、ステップ920で求めた時間(t1-0.1)から時間t1の間における傾きの最大値Daと、時間t1よりも後(遅い時間)にある傾きの最大値Dbを探索し、最大値Daと最大値Dbの大きい方を傾きD2の最大値とする。
そして、CPU2は、探索した傾きD2の最大値の時間t2を求めてRAM4に保存する(ステップ930)。
次にCPU2は、RAM4に保存した時間t1、t2から遅れ時間L=t2-t1を算出してRAM4に保存し(ステップ935)、メインルーチンにリターンする。
【0049】
説明した第1実施形態では、脈波m1、m2の最低値V1、V2で求めた遅れ時間Lを使用して、血圧測定可否判断(ステップ725、
図9)と、式(A)(B)で血圧の決定(ステップ740、750)を行う場合について説明した。即ち、血圧測定可否判断と血圧決定ともに同一の脈波要素(最低値V)を使用する場合について説明した。
これに対して、血圧測定可否判断で使用する遅れ時間Lと、式(A)(B)の血圧決定に使用する遅れ時間Lとを、別の脈波要素(VTDC)を使用して求めることも可能である。
例えば、最低値Vを使用して算出した遅れ時間LVで血圧測定可否判断(ステップ725)を行い、脈波mの最大傾きDを使用して算出した遅れ時間LDで血圧(SBP、DBP)を決定(ステップ740、750)することも可能である。
この場合、ステップ725とステップ730の間にステップ727として、「遅れ時間Lを算出」する処理を加える。
ステップ720とステップ727における各遅れ時間Lの算出については、
図9、
図10等で説明した遅れ時間Lの算出や、後述の第2実施形態で説明する遅れ時間Lの算出方法を使用する。
【0050】
以上説明したように、第1実施形態及び変形例における血圧測定装置1によれば、心臓からの距離が異なる位置で測定した第1脈波m1と第2脈波m2の遅れ時間Lを求め、この遅れ時間Lが基準値Thよりも大きいか否かにより、血圧の測定が可能か否かの判断(血圧測定可否判断)を行うことができる。
そして、遅れ時間Lが基準値Th以下である場合に、他の測定位置での測定を促す報知を行うので、測定位置についての判断を行わずに測定していた従来に比べて、より精度が高い収縮期血圧SBP、拡張期血圧DBPを測定することが可能になる。
血圧測定可否判断の基準値Thは、0.1秒~0.06秒の範囲で選択することが可能であり、最適値Th=0.08秒を選択することで、より精度高く判断を行うことができる。
また、遅れ時間Lを算出する際に使用する脈波要素としては、脈波の最低値V、最高値T、最大傾きD、及び、相関遅れCのいずれかの使用が可能であるが、血圧測定可否判断において、反射波(心臓に戻る脈波)の影響を最も受け易い最低値Vを使用することで、判定精度をより高くすることができる。
【0051】
次に血圧測定装置1の第2実施形態について説明する。
(3)第2実施形態の概要
第2実施形態における血圧測定装置1は、第1脈波と第2脈波を非接触で取得する場合の実施形態である。この第2実施形態では、脈波の最低値Vにより求めた遅れ時間LVを使用して血圧の測定が可能か否かを判断し、測定可能である場合に脈波の相関遅れCにより求めた遅れ時間LCを使用して収縮期血圧SBPと拡張期血圧DBPを求める。
第2実施形態の血圧測定装置1では、スマホ等の端末装置を使用し、第1脈波を顔を撮影した動画から取得し、第2脈波を指を撮影した動画から取得する。そして両脈波から血圧を推定するために次の3つの特徴を使用している。
【0052】
血圧測定装置1(
図12)は、表カメラ7で対象者15の顔を撮影し、これと同時に、対象者15の指を照明9で照明しながら裏カメラ8で対象者15の指を撮影して、顔動画と指動画を取得する。
血圧測定装置1は、顔動画に関しては、HSV色空間のH、S成分によって顔を検出し、検出した顔の顔脈波をYIQ色空間のQ成分で取得する(特徴1)。外光や動きの外乱を受ける顔に関してはQ値で脈波を検出し、外乱を受けない指に関してはG値で脈波を検出することにより、脈波の信頼性を高めることができる。
【0053】
更に、血圧測定装置1は、顔脈波の波形全体と指脈波の波形全体を用いて、顔脈波に対する指脈波の遅れ時間を検出する。検出は、顔脈波に対して指脈波を時間方向にシフトし、最も相互相関の高いシフト量から遅れのデータ点数を特定する。そして、更に、遅れのデータ点数から遅れ時間Lを算出する(特徴2)。
顔脈波と指脈波は、元は同じ脈波であるため、指脈波を遅れた分だけシフトすれば、波形が顔脈波と概略適合する。これを相互相関によって計測し、これが最大となるシフト量が遅れ時間Lに対応することを利用したものである。
【0054】
加えて、血圧測定装置1は、30[fps:frames per second(1秒あたりのフレーム数)]程度で撮影した顔動画と指動画をスプライン補間することによって顔脈波と指脈波を240[fps]程度のカメラで撮影した場合と同等の波形とし、補間後の顔脈波と指脈波によって高い分解能で相互相関を計測する(特徴3)。
これにより、5[mmHg]程度の高い分解能で血圧を測定することができ、実用に供することができる。
遅れ時間Lと血圧の関係は実験によって求まっており、血圧測定装置1は、実験で求めた関係式に、特徴1~3を適用して取得した遅れ時間Lを適用して対象者15の血圧を測定する。
【0055】
(4)第2実施形態の詳細
血圧測定装置1は、例えば、スマートフォンなどの携帯端末で構成される。
図11は、本実施形態の血圧測定装置1の構成を説明するための図である。
血圧測定装置1は、例えば、スマートフォンなどの携帯端末で構成され、対象者15を撮影した動画によって非接触・非侵襲にて対象者15の血圧を測定することができる。
血圧測定装置1は、CPU(Central Processing Unit)2、ROM(Read Only Memory)3、RAM(Random Access Memory)4、ディスプレイ5、タッチパネル6、表カメラ7、裏カメラ8、照明9、記憶部10などから構成されている。
【0056】
CPU2は、記憶部10やROM3などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。本実施形態では、表カメラ7や裏カメラ8で撮影した対象者15の動画を用いて血圧を検出する。
ROM3は、読み取り専用メモリであって、血圧測定装置1を動作させるための基本的なプログラムやパラメータなどが記憶されている。
RAM4は、読み書きが可能なメモリであって、CPU2が動作する際のワーキングメモリを提供する。本実施形態では、動画を構成するフレーム画像(1コマの静止画像)の画像データを展開して記憶したり、計算結果を記憶したりすることにより、CPU2が、動画から血圧を検出するのを支援する。
【0057】
ディスプレイ5は、例えば、液晶パネルを用いて構成されており、各種アプリケーションプログラムを選択するためのアイコンや、これらアプリケーションが提供する各種画面を表示する。本実施形態では、例えば、ディスプレイ5は、測定した血圧を表示する。
ここで、ディスプレイ5は、血圧を表示する表示手段として機能しており、このように、血圧測定装置1は、血圧をディスプレイ5に出力する出力手段を備えている。
【0058】
タッチパネル6は、ユーザの指によるタッチを検知して、これによりアイコンの選択や、各アプリケーションが提供する各種入力画面への入力を受け付ける。
本実施形態では、血圧測定装置1は、血圧測定プログラム10aの起動用のアイコンへのタッチを検出して、これを起動するのに用いたり、血圧測定プログラムが提供する血圧測定画面に表示された測定開始ボタンへのタッチを検出して血圧測定を開始したりする。
【0059】
表カメラ7と裏カメラ8は、動画撮影カメラであって(静止画も撮影できる)、レンズで構成された光学系と、これによって結像した像を電気信号に変換する画像素子を用いて構成されている。
表カメラ7は、ディスプレイ5が設けられた表面に配設されており、裏カメラ8は、これと対向する裏面に配設されている。
【0060】
表カメラ7、裏カメラ8は、それぞれ、対象者の顔と指を所定のフレームレートで撮影し、これら連続するフレーム画像で構成された顔動画と指動画を出力する。
当該フレーム画像は、画像を構成する最小単位である画素(ピクセル)の配列により構成されている。
また、照明9は、裏カメラ8と一体的に(あるいは近接して)形成されており、裏カメラ8の撮影対象を照明する。
【0061】
ここで、表カメラ7は、第1の側に配設され、対象者の第1の体表面を環境光下などで撮影する第1のカメラとして機能している。
また、裏カメラ8は、第1の側と対向する第2の側に配設され、対象者の第2の体表面を所定の照明光で照明しながら撮影する第2のカメラとして機能している。
【0062】
記憶部10は、ハードディスクやEEPROM(Electrically Erasable Programmable Read-Only Memory)などの記憶媒体を用いて構成されており、CPU2が血圧を測定するための血圧測定プログラムやその他のプログラム、及び各種データ(撮影した顔動画や指動画の動画データなど)を記憶している。
【0063】
血圧測定プログラムは、CPU2に血圧測定処理を行わせるプログラムである。
血圧測定装置1は、血圧測定プログラムを実行することにより、血圧測定装置としての各種機能を提供することができる。
また、CPU2は、表カメラ7で撮影した顔動画や裏カメラ8で撮影した指動画の動画データを記憶部10に記憶して、これを用いて血圧を検出する。
【0064】
このように、血圧測定装置1は、第1のカメラで対象者の第1の体表面を環境光下で撮影した第1の動画と、第2のカメラで対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得手段を備えている。ここで例えば、第1の体表面は対象者の顔であり、第2の体表面は対象者の指である。
【0065】
図12の各図は、本実施形態に係る血圧測定装置1の使用形態を説明するための図である。
以下では、一例として、血圧測定装置1は、スマートフォンなどの携帯端末で構成されているものとする。
血圧測定の対象である対象者15は、裏カメラ8に指の指紋面を当接させつつ血圧測定装置1を把持し、表カメラ7を自身の顔面に向けてその姿勢を保持する。裏カメラ8に当てる指は、裏カメラ8の位置に従って当て易い何れの指でも良い。
【0066】
このように把持された血圧測定装置1は、表カメラ7で対象者15の顔面を撮影しつつ、同時に裏カメラ8で対象者15の指を撮影する。
この際に、指の撮影に関しては、照明9を動作させて指紋面を照明しながら撮影する。
なお、本実施形態では、撮影が容易なことから指を撮影するが、手のひらや手の甲、あるいは手首など、他の部位でも血圧測定は可能である。
【0067】
血圧測定装置1は、表カメラ7で撮影した顔動画に関しては、屋外や室内灯などの環境光の下で撮影するため、環境光の変化による外乱の影響を受ける。また、表カメラ7を顔に向けて保持するため、手のぶれによって顔が画面の中で動く動き外乱の影響も受ける。
一方、裏カメラ8で撮影した指動画に関しては、照明9による照明下で指を裏カメラ8に密接させて撮影するため、これらの外乱の影響を受けない。
【0068】
そこで、血圧測定装置1は、顔動画に関しては、これらの外乱に対して頑健性のあるQ値(YIQ色空間のQ成分の値)の時間変化によって脈波を検出し、指動画に関しては、血流の変化の検出に適したG値(RGB色空間のG成分の値)の時間変化によって脈波を検出する。
血圧測定装置1は、血圧を良好に検出するために、特徴1~3の3つの特徴を有するが、顔動画でQ値を用い、指動画でG値を用いる手法は、特徴1を構成する。
【0069】
このように、血圧測定装置1は、第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、第1の動画から第1の脈波を取得し、第2の動画から第2の脈波を取得する脈波取得手段を備えている。
そして、当該脈波取得手段は、第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得する。
【0070】
顔動画については、まず、血圧測定装置1は、
図12(a)に示したように、表カメラ7で撮影した顔動画のフレーム画像である顔フレーム画像31をRGB色空間からHSV色空間に変換する。
そして、H成分のH値とS成分のS値が所定の範囲にある領域を抽出すると、顔フレーム画像31bに示したように、皮膚領域が塊となった塊領域25によって顔領域(脈波を測定する測定領域を規定する)を抽出することができる。H成分とS成分で顔領域を良好に抽出できることは、本願発明者らの新たな知見によるものである。
【0071】
次に、血圧測定装置1は、顔フレーム画像31をRGB色空間からYIQ色空間に変換し、変換後の顔フレーム画像31cにおける測定領域26の各画素のQ値を取得してこれらを平均する。
顔動画を構成する各顔フレーム画像31からこのようにして平均したQ値を取得するとQ値の時系列が得られ、これが顔の脈波(以下、顔脈波)を表す顔信号となる。このように、血圧測定装置1は、顔脈波に関しては、YIQのQチャネルを使用する。
【0072】
指動画については、血圧測定装置1は、
図12(b)に示したように、照明装置で照明しながら裏カメラ8で撮影した指動画のフレーム画像である指フレーム画像32のRGB値から各画素のG値を取得し、これらを平均する。
指動画を構成する各指フレーム画像32からこのようにして平均したG値を取得するとG値の時系列が得られ、これが指の脈波(以下、指脈波)を表す指信号となる。このように、血圧測定装置1は、指脈波に関しては、RGBのGチャネルを使用する。
【0073】
図13の各図は、指信号の反転を説明するための図である。
図13(a)は、指信号16と顔信号18の振幅の時間変化を表している。
技術的な理由により、指信号16の振幅は、顔信号18の振幅に対して反転して検出される。そのため、血圧測定装置1は、
図13(b)に示したように、指信号16の振幅を反転して指信号17を生成し、これを用いて血圧の測定処理を行う。
このように、血圧測定装置1が備える脈波取得手段は、G成分を反転した値を用いて第2の脈波を取得する。
【0074】
図14の各図は、脈波の伝搬の遅れを説明するための図である。
一般的に、脈波の伝搬速度は6.84[m/s]程度である。
これによると、心臓から顔までの距離は0.3m程度であるため、心臓から顔までの脈波の伝搬時間は0.0439[s]程度である。
また、心臓から指までの距離は1[m]程度であるため、心臓から指までの脈波の伝搬時間は0.1462[s]程度である。
【0075】
これにより、指脈波は、顔脈波に対して0.1023[s]程度遅れる。この遅れによる遅れ時間(遅延時間)Lの大小が血圧の大小と相関しており、血圧測定装置1は、この遅れ時間Lを計測することにより血圧を求める。
このように、血圧測定装置1は、第1の脈波と第2の脈波の間の伝搬の遅れを用いて対象者の血圧を取得する血圧取得手段を備えている。
【0076】
血圧測定装置1は、このように微少な遅れ時間の大小を検出するため、バンドパスフィルタによって、顔脈波と指脈波の本来の形をできるだけ保持しつつ、余分な信号を取り除く。
図14(a)は、指信号17をフィルタ処理した指信号19と、顔信号18をフィルタ処理した顔信号20を示している。
【0077】
図14(a)に示したように、フィルタ処理によって指信号19と顔信号20が本来の脈波に近い波形となり、比較に適した形となる。
血圧測定装置1は、顔脈波と指脈波の波形全体を用いた相関関係により遅れを検出するため、このように指信号19と顔信号20の波形をなるべく本来の波形とすることにより、より精密に遅れ時間Lの検出を行うことができる。
【0078】
このように、血圧測定装置1は、第1の脈波の波形の全体と、第2の脈波の波形の全体と、を用いて第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段(遅れ時間取得手段)を備えている。
そして、遅れ取得手段は、第1の脈波の波形と、第2の脈波の波形と、の間の相関関係を用いて伝搬の遅れを取得している。
【0079】
図14(b)は、顔信号20に対する指信号19の遅れ時間Lに対する相互相関を示している。
血圧測定装置1は、顔信号20と指信号19の相関関係として後述の相互相関を用いる。
相互相関は、顔信号20に対して指信号19を時間軸方向にシフトし、その場合の相互相関、即ち、そのシフト時点で顔信号20と指信号19の波形形状が全体的にどの程度近いかを表す指標、をプロットしたものである。相互相関が最も大きいとき、即ち、波形の形状が全体的に最も近いときのシフト量が遅れ時間Lとなる。
【0080】
なお、本実施形態では、顔信号20に対して指信号19を時間方向に移動させたが、両信号は、相対的に移動すればよいため、指信号19に対して顔信号20を移動してもよく、また、指信号19と顔信号20の双方を時間方向に移動しても良い。
このように、遅れ取得手段は、第1の脈波の波形と、第2の脈波の波形と、のうちの少なくとも一方を時間方向にシフトしながら、シフトごとの相関関係を取得し、当該相関関係が最大となるシフト量を伝搬の遅れとして取得している。
【0081】
ところで、顔フレーム画像31と指フレーム画像32の対応するフレームが同時に撮影されているならば、指信号19を遅れ時間分だけ時間が早い方向にシフトすれば、相互相関が最大となるため、相互相関が最大となったシフト量により、遅れ時間Lを得ることができる。
ところが、一般的な携帯端末では、顔フレーム画像31と指フレーム画像32の撮影タイミングが異なっている場合があり、この撮影タイミングのずれが遅れの測定に影響してしまう。場合によっては、指脈波の方が顔脈波よりも早く伝達するということもあり得る。
【0082】
そこで、血圧測定装置1は、指信号19を何れの方向にもシフトさせて相互相関を計算し、遅れが0より大きい領域のピークを探索して(指脈波は顔脈波より必ず遅れるため)、これを遅れ時間とする。
表カメラ7、裏カメラ8の撮影タイミングが調節できる場合は、調節すればよいが、調節できない場合でも、伝搬の順番(脈波はまず顔に伝播して、次に指に伝搬するというように、心臓から遠い方で伝搬が遅れる)は一定で、遅れる時間は一定と仮定すると、このようにピーク探索によって遅れ時間を得ることができる。
【0083】
図の例では、相互相関のピークは、-0.0375[s]となっているが、遅れ時間>0の範囲でピークを探索すると、当該条件を満たす右隣のピークの遅れが遅れ時間Lとなる。
このように、血圧測定装置1は、第1の脈波の波形と第2の脈波の波形うち、心臓から遠い方の体表面で撮影した動画から取得した脈波が遅れる範囲で相関関係のピークを探索し、当該探索したピークの位置によってシフト量を取得している。
【0084】
図15は、相互相関の式を表した図である。
以下では、文字コードの誤変換防止のため、数式の下付文字を通常の文字で記す。
本実施形態では、相互相関の計算式を
図15(a)に示した式(1)のRS1S2で定義した。S1は指信号19を表し、S2は顔信号20を表している。
【0085】
mは、S2に対してS1をシフトするデータ点数であって、Nは、データ点数の総数である。
mが0以上の場合は、式(1)の上式に示したように、m=0、1、2、・・・、Mとして、S1(n+m)×S2(n)をn=0からn=N-m-1まで加算することにより各mごとの相互相関を計算することができる。
例えば、
図15(b)は、m=1の場合を示しており、この場合、相互相関は、S1(1)S2(0)+S1(2)S2(1)+・・・+S1(N-1)S2(N-2)となって、顔信号20に対して指信号19を1データ点だけデータ点が若い方にシフトした相互相関を計算することができる。
このように、mが1増えるごとに、指信号19を1データ点だけデータ点が若い方にシフトした相互相関を計算することができる。
【0086】
一方、mが負の場合は、mの符号を反転させてm=-1、-2、-3、・・・、-MとしてS1(n+m)×S2(n)をn=-mからN-1まで加算することにより相互相関を計算する。
例えば、
図15(c)は、m=-1の場合を示しており、この場合、相互相関は、S1(0)S2(1)+S1(1)S2(2)+・・・+S1(N-2)S2(N-1)となって、顔信号20に対して指信号19を1データ点だけデータ点が進む方にシフトした相互相関を計算することができる。
このように、mが1減るごとに、指信号19を1データ点だけデータ点が進む方にシフトした相互相関を計算することができる。
【0087】
指データは顔データよりも遅延するため、本実施形態では、少なくとも指データのデータ点を顔データのデータ点に対して若い方にシフトして、相互相関が最大となるmを求めれば良い。
mの最大値Mは、実験により適した値を求めることができる。本実施形態では、例えば、後述の240[fps]相当の分解能を用いる場合、一例としてM=480である。
【0088】
なお、式(1)は、一例であって各種の変形が可能である。例えば、式(1)では、指信号19と顔信号20の相対的な位置を時間方向にシフトして、両者の重なっている全てのデータ点について演算を行って加算しているが、一部のデータ点について演算して加算するようにしても良い。
また、両信号の少なくとも一方を時間方向に移動させながら波形全体の類似を計測するものであれば、他の計算式を採用することもできる。この場合、両波形が最も類似する場合の時間方向の相対的な移動量が遅れ時間Lに対応する。
【0089】
表カメラ7と裏カメラ8の対応するフレームが同時に撮影されていない場合や、色空間の変換などの何らかの関係で遅れ<0となる場合を考慮し、このように時間軸の正負の方向にシフトして、遅れ>0となる領域のピークを探索することにより、指信号は顔信号よりも遅れるという条件を満たすことができる。
【0090】
このように規定した相互相関を計算すると、顔信号20に対して指信号19をシフトしていった場合に、顔信号20の波形と指信号19の波形が全体的に近い場合に大きな値となり、近くない場合に小さな値となる。
【0091】
このように、血圧測定装置1は、指信号19と顔信号20の波形全体によって遅れ時間を測定するため、外乱による影響を受けにくく、単に、指信号19と顔信号20のピークから遅れ時間を求める場合よりも、精度が高く頑強に遅れ時間を計測することができる。
【0092】
図16の各図は、相互相関の例を表した図である。
図中の黒丸は、顔信号20を構成する顔データ点を表し、黒三角は、指信号19を構成する指データ点を示しており、それぞれ、顔フレーム画像31と指フレーム画像32から作成したものである。
【0093】
図16(a)は、遅れ(指信号19のシフト量)が0データ点数の場合である。この場合、両者の波形の相互相関は良くなく、負の値となっている。
図16(b)は、遅れが4データ点数の場合である。この場合、遅れが0データ点数の場合よりも相互相関が改善し、0程度の値となっている。
【0094】
以降、
図16(c)~(f)に示したように、遅れのデータ点数が8、12となるにつれて相互相関が大きくなり、16、20となるにつれて小さくなっている。
この図の例では、データ点数が12のあたりで、指信号19と顔信号20の波形の形状が全体的に合うため、データ点数12個分の時間付近が遅れ時間Lと推定される。
【0095】
図17は、
図16の例に係る遅れのデータ点数と相互相関の関係を表した図である。
図166の例で、遅れのデータ点数に対して、相互相関をプロットすると、データ点数が11の時に相互相関が最大となった。
このデータの例では、データ点数11個分の遅れの時間が正である場合、この時間が遅れ時間の候補となる(後述するように、0<ピークの遅れ時間L<1.1秒という制限を設けた)。
以上のように、指信号19と顔信号20のピークによって遅れ時間Lを計測せずに、これらの波形全体を用いて遅れ時間を計測する手法は、特徴2を構成する。
【0096】
ところで、このように、相互相関は、データ点数によって離散的に求められるが、これによって、遅れ時間Lの分解能が制限される。
この離散間隔は、顔動画と指動画のフレームレートによって規定されるため、指信号19と顔信号20の生のデータをそのまま用いると、遅れ時間Lは、フレームレートで規定される分解能よりも高い精度で求めることができない。
【0097】
例えば、顔信号20に対する指信号19の遅れは、0.1[s]程度であるが、一般に用いられている携帯端末で撮影できる動画のフレームレートは、30[fps]程度であるため、0.1[s]の間に3フレーム程度しか撮影することができない。この分解能だと、40[mmHg]程度の分解能しか得られない。
また、例えフレームレートを上げることができる機種であったとしても、撮像素子が高フレームレート用に設計されていないため、画像が劣化してしまい、高分解能で血圧を計測することは困難である。
【0098】
血圧測定装置1は、少なくとも5[mmHg]程度の分解能で血圧を測定したいため、240[fps]程度のフレームレートが必要である。
そこで、血圧測定装置1は、動画のフレームレートで取得した指信号19、顔信号20の離散的なデータを補間して、これをサンプリングすることにより、240[fps]相当のデータ点を作成する。
【0099】
データの補間方法は各種あるが、ここでは、一例としてスプライン補間を用いた。これは、脈波は、生体による自然な現象であるため、データの間で不連続な異常値をとることはなく、データの間を滑らかにつなぐスプライン補間が適しているからである。なお、ベジエ補間などの他の補間方法を用いてもよい。
【0100】
図18の各図は、脈波の補間を説明するための図である。
図18(a)に示したように、補間前の黒丸で示した顔データ点と黒三角で示した指データ単は、顔フレーム画像31と指フレーム画像32のフレームレートに従って、0.1[s]あたり3個程度の時間間隔の飛び飛びの値となっている。
【0101】
これに対し、血圧測定装置1は、
図18(b)に示したように、顔データと指データをスプライン補間で補間し、補間した曲線上の値をサンプリングすることにより、240[fps]相当のデータ点を生成している。これにより、0.1秒あたり24個のデータ点を生成することができる。
補間によって生成した顔データと指データは、時間間隔が小さく、黒丸や黒三角で図示できないため、それぞれ、実線と破線で示している。
【0102】
より詳細には、血圧測定装置1は、
図18(c)に示したように、補間前の顔データ点36、36、・・・を用いてスプライン曲線38を生成し、スプライン曲線38上で240[fps]に相当する顔データ点37、37・・・を取得する。
血圧測定装置1は、指データ点に関しても同様にして、スプライン補間した指データ点を取得する。
そして、血圧測定装置1は、補間した顔信号と指信号の全体を用いて相互相関を計算する。
【0103】
このように、血圧測定装置1の有する脈波取得手段は、第1の動画の色成分の変化と、第2の動画の色成分の変化から、それぞれ、第1の動画のフレームレートと、第2の動画のフレームレートに応じた離散的な第1の脈波と離散的な第2の脈波を取得している。
そして、血圧測定装置1は、離散的な第1の脈波と離散的な第2の脈波の、それぞれの離散値を補間する補間手段を備えている。
更に、血圧測定装置1の有する遅れ取得手段は、補間した第1の脈波の波形の全体と、補間した第2の脈波の波形の全体と、を用いて取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得している。
【0104】
図19は、相互相関の補間による効果を説明するための図である。
図19(a)は、29[fps]で撮影した顔フレーム画像31と指フレーム画像32から取得した、補間前の相互相関を表している。補正前の相互相関列からは、1/29秒単位で遅れ時間のピークを探索することができる。図の例は、模式図であるが、これによると、遅れの最大値のデータ点は11であり、時間に換算すると、約0.379[s]である。
【0105】
図19(b)は、240[fps]相当に補間した顔データ点と指データ点の相互相関を表している。補間後の相互関係列からは、より分解能の高い1/240秒単位で遅れ時間のピークを探索することができる。図の例では、遅れの最大のデータ点は87であり、時間に換算すると、約0.3625秒である。こちらの値の方がより真の値に近い値となっている。
【0106】
以上のように、血圧測定装置1は、データ点を補間することにより、相互相関による遅れ時間Lの分解能を高めることができる。
このような、指信号19と顔信号20の各データ点をスプライン補間することによって分解能を向上させる手法は、特徴3を構成する。
【0107】
図20は、バンドパスフィルタの最適化を説明するための図である。
相互相関を計算する場合、なるべく脈波に由来する波形を残し、他の原因に由来する波形を除きたい。
そこで、血圧測定装置1は、バンドパスフィルタを用いて、補間前の指信号19と顔信号20をフィルタリングする。
【0108】
図は、通過帯域の下限側のカットオフ周波数に対する相互相関の実験値を示している。図に示したように、周波数が20[bpm:beats per minute(1分あたりの脈拍数)]程度以下では、脈波以外の要素の影響が大きいため相互相関の値が急減し、正確な測定を行うことができない低相関領域となっている。
40[bpm]以上が脈拍数領域であるが、20[bpm]程度から良好な相互相関を得ることができる。
【0109】
本願発明者が、実験して試行錯誤した結果、バンドパスフィルタの通過帯域の下限は20[bpm]が適当であることが分かった。
同様に、通過帯域の上限は、250[bpm]が適当であることが分かった。
そのため、血圧測定装置1では、通過帯域を20~250[bpm]とするバンドパスフィルタを採用することとした。
【0110】
図21と
図22は、血圧測定装置1が行う血圧測定処理の全体的な流れを説明するためのフローチャートである。
以下の処理は、記憶部10に記憶した血圧測定プログラムに従ってCPU2が行うものである。
まず、CPU2は、動画フレーム読み込み処理を行う(ステップ5)。
これは、表カメラ7と裏カメラ8を共に動作させ、表カメラ7で撮影した顔動画と、裏カメラ8で撮影した指動画を記憶部10などに記憶しておき、これをRAM4に読み込む処理である。
【0111】
次に、CPU2は、バンドパスフィルタに関する設定や、他のパラメータの設定を行うパラメータ設定・初期化処理を行う(ステップ10)。
次に、CPU2は、顔フレーム画像31で皮膚を検出することにより顔領域を抽出して、これを測定領域に設定する測定領域設定処理を行う(ステップ15)。
そして、CPU2は、測定領域のQ値を用いて顔信号を取得する顔信号取得処理を行う(ステップ20)。
【0112】
次に、CPU2は、顔信号取得処理をまだ行っていない顔フレーム画像31がある場合は(ステップ25;N)、ステップ15に戻り、全ての顔フレーム画像31に対して顔信号取得処理を行った場合は(ステップ25;Y)、顔信号のスペクトルをFFT(fast Fourier Transform:高速フーリエ変換)にて周波数解析する顔信号スペクトル計算処理を行う(ステップ30)。
【0113】
そして、CPU2は、顔信号のスペクトルから顔脈拍数を検出する顔脈拍数検出処理を行い(ステップ35)、次いで、顔信号のS/N比を計算することにより検出した顔脈拍数の信号強度を評価する顔信号強度評価処理を行う(ステップ40)。
【0114】
以上のステップ30~40は、S/N比によって顔信号の信頼性を評価するための処理であり、次にCPU2は、顔信号の信頼度が十分でない場合は(ステップ45;N)、「信号が弱くて血圧が測定できません」などの警告をディスプレイ5に表示するなどして(ステップ50)、処理を終了する。
【0115】
一方、顔信号の信頼度が十分である場合(ステップ45;Y)、CPU2は、指フレーム画像32のG値を用いて指信号を取得する指信号取得処理を行う(ステップ55)。
次に、CPU2は、指信号取得処理をまだ行っていない指フレーム画像32がある場合は(ステップ60;N)、ステップ55に戻り、全ての指フレーム画像32に対して指信号取得処理を行った場合は(ステップ60;Y)、指信号のスペクトルをFFTにて周波数解析する指信号スペクトル計算処理を行う(ステップ65)。
【0116】
そして、CPU2は、指信号のスペクトルから指脈拍数を検出する指脈拍数検出処理を行い(ステップ70)、次いで、指信号のS/N比を計算することにより検出した指脈拍数の信号強度を評価する指信号強度評価処理を行う(ステップ75)。
【0117】
以上のステップ65~75は、S/N比によって指信号の信頼性を評価するための処理であり、次にCPU2は、指信号の信頼度が十分でない場合は(ステップ80;N)、「信号が弱くて血圧が測定できません」などの警告をディスプレイ5に表示するなどして(ステップ95)、処理を終了する。
【0118】
一方、指信号の信頼度が十分である場合(ステップ80;Y)、CPU2は、顔信号や指信号に対して、バンドパスフィルタを適用したり、データ点を補間するなどの前処理(以下、顔指信号前処理という)を行う(ステップ85)。
【0119】
次にCPU2は、脈波(顔信号、指信号)の最低値(谷)Vを使用して遅れ時間Lを算出し(ステップ720)、血圧測定可否判断を行う(ステップ725)。
CPU2は、血圧測定可否判断が不可であれば(ステップ725;N)その旨の報知を行い(ステップ730)、処理を終了する。
以上のステップ720、ステップ725、及び、ステップ730の各処理の詳細は、
図8で説明した第1実施形態と同じなので省略する。
【0120】
なお、本実施形態では、裏カメラ8に指の指紋面を当接させた状態で脈波の測定を行っている。
従って、ステップ730の報知では、例えば「正確な血圧測定ができないため、裏カメラ8を別の位置に当接させてください。」というように報知内容を第2実施形態に合わせて変更することが好ましい。
【0121】
一方、血圧測定可否判断が可能であれば(ステップ725;Y)、CPU2は、ステップ85の顔指信号前処理を行った顔信号と指信号を用いて血圧を測定する血圧測定処理を行って(ステップ90)、血圧測定処理を終了する。
【0122】
以下、
図21、
図22で説明した各処理の詳細について説明する。
図23は、ステップ5(
図21)の動画フレーム読み込み処理を説明するためのフローチャートである。
まず、CPU2は、記憶部10に記憶した顔動画と指動画の動画データをそれぞれRAM4に読み込む(ステップ105)。
次に、CPU2は、これらの動画のフレームレートを取得してRAM4に記憶する(ステップ110)。フレームレートは、顔動画と指動画のファイルに付随しており(撮影時間とフレーム数から計算しても良い)、これを読むことにより取得する。本実施形態では、両動画のフレームレートが同じとするが、異なっていても良く、何れの場合も後に240[fps]相当に補間する。
【0123】
次に、CPU2は、それぞれの動画のフレーム数を取得してCPU2に記憶する(ステップ115)。
次に、CPU2は、顔動画と指動画のそれぞれに対して、ステップ110でRAM4に記憶したフレームレートと、動画の長さ(時間)に基づいて、後ほどFFTにて用いる時間ベクトルを作成するための各パラメータを準備してRAM4に記憶し(ステップ120)、メインルーチンにリターンする。
【0124】
図24は、ステップ10(
図21)のパラメータ設定・初期化処理を説明するためのフローチャートである。
まず、CPU2は、測定領域設定用のパラメータをRAM4に記憶して設定する(ステップ125)。
これは、HSV色空間にて顔領域をHとSの値によって抽出するのであるが、そのためのH値の範囲と、S値の範囲を設定するものである。これらH値、S値の上下限値は、本願発明者が実験により求めた。
【0125】
次に、CPU2は、バンドパスフィルタ(BPF)安定化時間をRAM4に記憶して設定する(ステップ130)。
これは、バンドパスフィルタを信号に適用した場合、デジタル処理の関係で最初の方の出力値は、正しい値が得られないため、信号が安定するまでの安定化時間を設定するものである。バンドパスフィルタを適用した信号の安定化時間に達するまでの部分は削除する。ここでは、安定化時間として2秒を設定した。
【0126】
次に、CPU2は、バンドパスフィルタの周波数領域をRAM4に記憶して設定する(ステップ135)。上で述べたように、ここでは、周波数領域を20~250[bpm]に設定した。
次に、CPU2は、伝達関数をRAM4に記憶することにより、フィルタのパラメータを準備する(ステップ140)。
【0127】
次に、CPU2は、顔信号と指信号に対してそれぞれの信頼度(S/N比)の基準をRAM4に記憶して設定する(ステップ145)。ここでは、一例として両信号とも信頼度の基準を0とした。
【0128】
次に、CPU2は、形態学的クロージングの素子の定義パラメータをRAM4に記憶して設定する(ステップ150)。
ここでは、定義パラメータとして10画素の丸い形状の素子を定義した。
形態学的クロージングとは、定義した素子に基づいて膨張(dilation)処理と、収縮(erosion)処理を行うことにより、図形を穴埋めしたり、切断部分を結合したりする処理である。
【0129】
例えば、縁の厚い眼鏡をかけている場合、顔面は眼鏡によって区画されて、額、左右の眼部、鼻以下の部位の4つに認識されてしまうが、これらの領域は近接しているため、形態学的クロージングによって眼鏡の部分を穴埋めすることにより1つの塊(ひとまとまりの部位)にまとめることができる。
形態学的クロージングでまとまることにより、CPU2は、額、左右の眼部、鼻以下の部位の4つからなる領域を顔の領域であると認識して、これら4つの領域を測定領域に設定することができる。
【0130】
図25は、ステップ15(
図21)の測定領域設定処理を説明するためのフローチャート(a)と、説明図(b)である。
図25(a)のステップ160、165は、顔動画の顔フレーム画像31を取得するステップであるが、
図25(b)に示したように1つのフレームに指領域の画像と顔領域の画像が含まれている場合、CPU2は、未処理のうちの最も撮影時間の若いフレームを選択して(ステップ160)、顔領域に限定して画像を抽出し(ステップ165)、これを顔フレーム画像31としてRAM4に記憶する。
一方、顔動画と指動画が別動画である場合は、顔動画から未処理の最も撮影時間の若い顔フレーム画像31を取得してRAM4に記憶する。
【0131】
そして、CPU2は、RAM4に記憶した顔フレーム画像31の色空間をRGB色空間からHSV色空間に変換し、変換後のHSV画像データをRAM4に記憶する(ステップ170)。
【0132】
次に、CPU2は、
図24のステップ125で設定したH成分の上下限値の基準値をRAM4から読み出す。
そして、CPU2は、HSV画像で、H成分が当該上下限基準値の範囲となる領域を抽出する(抜き出す)Hマスク(BWH)を作成してRAM4に記憶する(ステップ175)。
【0133】
更に、CPU2は、
図24のステップ125で設定したS成分の上下限値の基準値をRAM4から読み出す。
そして、CPU2は、HSV画像で、S成分が当該上下限基準値の範囲となる領域を抽出するSマスク(BWS)を作成してRAM4に記憶する(ステップ180)。
【0134】
次に、CPU2は、RAM4に記憶したHマスク(BWH)とSマスク(BWS)を論理積にて合成して、H成分とS成分の両者がそれぞれ基準値以内となる領域を抽出するHSマスク(BWH×BWS)を作成してRAM4に記憶する(ステップ185)。
【0135】
次に、CPU2は、RAM4に記憶したHSマスクを用いて、HSV画像からH成分とS成分の両者がそれぞれ基準値以内となる領域を抽出することにより、塊領域(皮膚がまとまって露出しており、塊となって検出される領域)の検出を試みる(ステップ190)。
【0136】
ステップ190において塊領域を検出した場合(ステップ195;Y)、CPU2は、最大4つの塊領域(bigBlobs)を選択する(ステップ200)。
ここで、最大4つとしたのは、眼鏡を着用している対象者15の場合、顔面が眼鏡の縁によって区画されて、4つの塊領域として検出される場合があるからである。
【0137】
次に、CPU2は、
図24のステップ150で設定したパラメータをRAM4から読み出し、これを用いることにより、選択した塊領域に対して形態学的クロージングの処理を行う(ステップ205)。
これにより、4つの塊領域が眼鏡によって分割された顔面であった場合、これらは近接しているため、形態学的クロージングによって眼鏡部分が穴埋めされて一つの領域にまとまる。
【0138】
次に、CPU2は、形態学的クロージング後の最大の塊領域(bigBlobf)を特定する(ステップ210)。
これにより、眼鏡の着用の有無にかかわらず、顔の領域を最大の塊領域として特定することができる。
【0139】
そして、CPU2は、bigBlobsとbigBlobfの論理積(bigBlobs×bigBlobf)によって脈拍数の測定領域(bigBlob)を設定する(ステップ215)。
これにより、眼鏡を着用しない場合は顔全体が、眼鏡をかけて顔が4つの部位に分かれた場合は、これら4つの領域が脈拍の測定領域となる。
【0140】
そして、CPU2は、測定領域の画素を1、それ以外の画素を0とする行列によって測定領域をRAM4に記憶する。
このように、CPU2は、形態学的クロージングでひとまとまりにできる範囲の塊領域を脈拍数の測定領域に設定する。
【0141】
図12(a)の例では、背景や衣服などが写った元の顔フレーム画像31から、皮膚が露出している顔面部と首のあたりの塊領域25を抽出して、これを測定領域26に設定することができる。
【0142】
一方、塊領域を検出しなかった場合(ステップ195;N)、CPU2は、測定領域をゼロ行列としてRAM4に記憶する(ステップ220)。
以上の処理を行った後、CPU2は、メインルーチンにリターンする。
【0143】
図26は、ステップ20(
図21)の顔信号取得処理を説明するためのフローチャートである。
まず、CPU2は、測定領域の大きさ(面積)を画素数によって計算し、これをRAM4に記憶する(ステップ230)。
次に、CPU2は、RAM4に記憶した測定領域の大きさが基準値より大きいか否かを判断する(ステップ235)。
この基準値は、これより大きければ脈拍数が測定できるというフレームに対する面積であって、例えば、フレームの5%に設定してある。
【0144】
測定領域の大きさが基準値より大きい場合(ステップ235;Y)、CPU2は、ステップ165(
図25)でRAM4に記憶した顔フレーム画像31をRGB色空間からYIQ色空間に変換して変換後のYIQ画像データをRAM4に記憶する(ステップ240)。
【0145】
次に、CPU2は、予め用意したカメラ特性を用いてYIQ画像データの各画素のQ値を調整する(ステップ245)。カメラ特性は、撮像素子に由来する画素のQ値のばらつきを補正するのに用いる特性である。
次に、CPU2は、YIQ画像データの各画素のQ値を成分とするQ行列とステップ215(
図25)でRAM4に記憶した測定領域の行列との論理積を計算することにより、Q行列を測定領域に限定する(ステップ250)。
限定したQ行列は、測定領域にだけQ値があり、他の領域は色成分が0となっている。
【0146】
次に、CPU2は、当該限定したQ行列のQ値の平均を計算することにより、測定領域のQ値を平均してRAM4に記憶する(ステップ255)。このQ値が顔信号のデータ点となる。ステップ255を繰り返すことにより、データ点の時系列がRAM4に記憶されて、これが顔信号となる。
【0147】
一方、測定領域の大きさが基準値を満たさない場合(ステップ235;N)、CPU2は、当該顔フレーム画像31が動画の最初のフレーム画像ではないか否かを判断する(ステップ260)。
最初のフレーム画像ではない場合(ステップ260;Y)、即ち、動画の2枚目以降のフレーム画像である場合、CPU2は、測定領域の大きさが十分でないため、Q値=前回のQ値として、前回のQ値を今回の推定値として採用する(ステップ265)。これは、1フレームレートの時間間隔で脈拍が大きく変化することがないことから、前回のQ値と今回のQ値が大きく異なることはないため、今回のQ値を前回のQ値で代用するものである。
【0148】
一方、当該顔フレーム画像31が動画の最初のフレーム画像である場合(ステップ260;N)、CPU2は、Q値を0に設定してRAM4に記憶する(ステップ270)。
CPU2は、以上の処理を行った後、メインルーチンにリターンする。
【0149】
図27は、ステップ30(
図21)の顔信号スペクトル計算処理を説明するためのフローチャートである。
まず、CPU2は、Q値の線形傾向(トレンド)を計算して、元のQ値からこれを減算し、減算後のQ値をRAM4に記憶する(ステップ280)。以下では、この減算後のQ値を用いる。
【0150】
次に、CPU2は、ステップ120(
図23)で準備したパラメータを用いて、等間隔(例えば、1秒)の時間ベクトルを作成してRAM4に記憶する(ステップ285)。
更に、CPU2は、当該作成した時間ベクトルに対応するようにQ値を補間してRAM4に記憶する(ステップ290)。これらは、FFTの計算に必要な前処理である。
そして、CPU2は、これらRAM4に記憶した時間ベクトルと補間後のQ値を用いてFFTを実行することにより顔信号のスペクトルを計算してRAM4に記憶する(ステップ295)。
【0151】
次に、CPU2は、RAM4に記憶した顔信号のスペクトルの範囲を、脈拍数測定領域に限定し、当該限定した顔信号のスペクトルをRAM4に記憶して(ステップ300)、メインルーチンにリターンする。この脈拍数測定領域は、例えば、40~200[bpm]とする。
【0152】
図28は、ステップ35(
図21)の顔脈拍数検出処理を説明するためのフローチャートである。
CPU2は、ステップ300(
図27)でRAM4に記憶したスペクトルで最大ピークを探索する(ステップ310)。
次に、CPU2は、探索した最大ピークの周波数を計算して、これを脈拍数ピークとしてRAM4に記憶し(ステップ315)、メインルーチンにリターンする。当該脈拍数ピークは、顔脈波の基本波の脈拍数に対応している。
【0153】
図29は、ステップ40(
図21)の顔信号強度評価処理を説明するためのフローチャート(a)と、説明図(b)である。
まず、CPU2は、ステップ315(
図28)でRAM4に記憶した脈拍数ピークを中心とした、
図29(b)のような±5[bpm]の範囲の基本波のマスク(HR_M1)を作成してRAM4に記憶する(ステップ330)。
【0154】
次に、CPU2は、基本波の高調波に対しても同様に、
図29(b)のような±5[bpm]のマスク(HR_M2)を作成してRAM4に記憶する(ステップ335)。
そして、CPU2は、ステップ330、335でRAM4に記憶したHR_M1とHR_M2から、これらを合わせた1つの信号マスク(HR_M)を作成してRAM4に記憶する(ステップ340)。
【0155】
次に、CPU2は、基本波と高調波以外の領域を範囲とする外乱マスク(HRN_M=1-HR_M)を作成してRAM4に記憶する(ステップ345)。
そして、CPU2は、ステップ300(
図27)でRAM4に記憶した顔信号のスペクトルを正規化してRAM4に記憶する(ステップ350)。
正規化した顔信号のスペクトルをFFT_HRnとすると、これは、顔信号のスペクトルFFT_HRを、FFT_HRの最大値で除した値となる。
【0156】
次に、CPU2は、S/N比を計算する際に用いる項であるnumを計算してRAM4に記憶する(ステップ355)。
numは、正規化した顔信号のスペクトルのうち、マスクした基本波と高調波のパワーに相当する値であって、FFT_HRn(i)の自乗にHR_M(i)を乗じてiで総和を取ったものである。iは、FFT_HRnとHR_Mの離散値を指定するパラメータである。
【0157】
次に、CPU2は、S/N比を計算する際に用いるもう一つの項であるdenを計算してRAM4に記憶する(ステップ360)。
denは、正規化した顔信号のスペクトルのうち、マスクした基本波と高調波以外の領域のパワーに相当する値であって、FFT_HRn(i)の自乗にHRn_M(i)を乗じてiで総和を取ったものである。
【0158】
次に、CPU2は、ステップ355、360でRAM4に記憶したnumとdenを読み出し、S/N比を計算してRAM4に記憶する(ステップ365)。
S/N比(HR_SNR)は、denに対するnumの比の常用対数を10倍することにより計算する。
【0159】
図30は、ステップ55(
図22)の指信号取得処理を説明するためのフローチャート(a)と、説明図(b)である。
ステップ380、385は、指動画の指フレーム画像32を取得するステップであるが、
図30(b)に示したように1つのフレームに指領域の画像と顔領域の画像が含まれている場合、CPU2は、未処理のうちの最も撮影時間の若いフレームを選択して(ステップ380)、指領域に限定して画像を抽出し(ステップ385)、これを指フレーム画像32としてRAM4に記憶する。
一方、顔動画と指動画が別動画である場合は、指動画から未処理の最も撮影時間の若い指フレーム画像32を取得してRAM4に記憶する。
【0160】
次に、CPU2は、指フレーム画像32の各画素をGチャネルに限定し、各画素のG値を取得してRAM4に記憶する(ステップ390)。
そして、CPU2は、ステップ390で記憶した各画素のG値を平均してRAM4に記憶し(ステップ395)、メインルーチンにリターンする。このG値が指信号のデータ点となる。ステップ395を繰り返すことにより、データ点の時系列がRAM4に記憶されて、これが指信号となる。
【0161】
CPU2は、G値の平均をRAM4に記憶した後、これに対して、指信号スペクトル計算処理(
図22、ステップ65)、指脈拍数検出処理(
図22、ステップ70)、及び指信号強度評価処理(
図22、ステップ75)を行うが、これらの処理は、それぞれ、顔信号スペクトル計算処理(
図27)、顔脈拍数検出処理(
図28)、及び顔信号強度評価処理(
図29)と同じであるため、説明を省略する。
【0162】
図31は、ステップ85(
図22)の顔指信号前処理を説明するためのフローチャートである。
まず、CPU2は、ステップ135(
図24)でRAM4に記憶した周波数領域(20~250[bpm])を読み出す。
そして、ステップ255(
図26)でRAM4に記憶した顔信号に対して、当該周波数領域のバンドパスフィルタを適用し、フィルタリングした顔信号をRAM4に記憶する(ステップ410)。
【0163】
次に、CPU2は、ステップ395(
図30)でRAM4に記憶した指信号に対しても同様にバンドパスフィルタを適用し、フィルタリングした指信号をRAM4に記憶する(ステップ415)。
【0164】
次に、CPU2は、ステップ130(
図24)でRAM4に記憶した安定化時間を読み出し、ステップ410でRAM4に記憶した顔信号の安定化時間の部分(最初の2秒間)を削除して、削除後の顔信号をRAM4に記憶する(ステップ420)。
同様に、CPU2は、ステップ415でRAM4に記憶した指信号の安定化時間の部分を削除して、削除後の指信号をRAM4に記憶する(ステップ425)。
【0165】
次に、CPU2は、補間時間分解能をRAM4に記憶して設定する(ステップ430)。これは、スプライン補間にて補間する時間間隔であり、ここでは、240[fps]相当の分解能とした。
そして、CPU2は、ステップ430で設定した分解能に従って、FFTで用いる補間時間ベクトルを作成してRAM4に記憶する(ステップ435)。
【0166】
次に、CPU2は、ステップ420でRAM4に記憶した顔信号(フィルタリング済み、安定化時間削除済み)を読み出し、これをステップ435で作成した時間ベクトルに従ってスプライン補間する(ステップ440)。これによって240[fps]相当の顔信号のデータ点が作成される。
【0167】
次に、CPU2は、同様に、ステップ425でRAM4に記憶した指信号(フィルタリング済み、安定化時間削除済み)を読み出し、これをステップ435で作成した時間ベクトルに従ってスプライン補間する(ステップ445)。これによって240[fps]相当の指信号のデータ点が作成される。
【0168】
次に、CPU2は、ステップ440でRAM4に記憶した顔信号を正規化してRAM4に記憶し(ステップ450)、ステップ445でRAM4に記憶した指信号を正規化してRAM4に記憶する(ステップ455)。
正規化は、下に示したように、信号(顔信号、又は指信号)(i)から信号の平均を減算し、これを信号の標準偏差で除することにより、正規化された信号(i)を計算することにより行う。
ここで正規化された信号(i)は、次の式による。
正規化された信号(i)=(信号(i)-信号の平均)/信号の標準偏差
以上の処理を行った後、CPU2は、メインルーチンにリターンする。
【0169】
図32は、ステップ90(
図22)の血圧測定処理を説明するためのフローチャートである。
まず、CPU2は、相互相関と遅延を計算する(ステップ505)。すなわち、CPU2は、ステップ450(
図31)でRAM4に記憶した正規化した顔信号と、ステップ455(
図31)でRAM4に記憶した正規化した指信号を読み出し、これら正規化した顔信号と指信号の相互相関と遅延(遅れ時間L)の関係(
図14(b)のような関係)を計算してRAM4に記憶する(ステップ505)。
より具体的には、CPU2は、RAM4にNとmを設定し、式(1)に従って計算して
図19(b)のような相互相関とmの関係を計算する。
mは、遅れ時間に相当するデータ点の個数であるから、CPU2は、当該mに隣接するデータ点の時間間隔(ここでは、240[fps]相当でサンプリングするため1/240秒)を適用することにより
図14(b)のような相互相関と遅れ時間の関係を計算する。
そして、CPU2は、0~1.1秒の間で相互相関のピークを検索し、検索したピークの時間を遅れ時間としてRAM4に記憶する。
【0170】
次に、CPU2は、相互相関の最大検索領域をRAM4に記憶して設定する(ステップ510)。これは、相互相関のピークを探索する遅れ時間の範囲を設定するものであり、遅れ時間は正であるため、実験結果を参考にして一例として0~1.1[s]とした。
次に、CPU2は、相互相関のピークの最大検索領域をステップ510でRAM4に記憶した範囲に限定する(ステップ515)。
【0171】
次に、CPU2は、ステップ505でRAM4に記憶した相互相関の遅れ時間に対するピークをステップ515で限定した最大検索領域で検索し(ステップ520)、これによって、相互相関のピークを特定する(ステップ525)。
そして、CPU2は、当該特定した相互相関の最大ピークに対応する遅れ時間Lを決定し、RAM4に記憶する(ステップ530)。
【0172】
ところで、遅れ時間Lと、最高血圧(収縮期血圧SBP)及び最低血圧(拡張期血圧DBP)の関係は、第1実施形態で説明したように実験によって求まっている式(A)(B)に遅れ時間L、と最高血圧推定パラメータ(PS1、PS2)、最低血圧推定パラメータ(PD1、PD2)を適用することで、それぞれ、最高血圧と最低血圧の絶対値を求めることができる。
これらのパラメータは、対象者15ごとに設定しても良いし、あるいは、全ての対象者15に対して適用する代表的な値を用いても良い。
本実施形態では、第1実施形態と異なり、最低値Vではなく、相関遅れCを使用して遅れ時間Lを求めているので、相関遅れCに対応した各パラメータ値が記憶部10に保存されている。
【0173】
CPU2は、RAM4に最高血圧推定パラメータ(PS1、PS2)を記憶して設定する(ステップ535)。
そして、CPU2は、実験で求めた式(A)にステップ530でRAM4に記憶した遅れ時間Lと、ステップ535でRAM4に記憶した最高血圧推定パラメータ(PS1、PS2)を代入して、最高血圧を計算により決定し、これをRAM4に記憶する(ステップ540)。
収縮期血圧SBP=PS1×遅れ時間L+PS2 … 式(A)
【0174】
次に、CPU2は、RAM4に最低血圧推定パラメータ(PD1、PD2)を記憶して設定する(ステップ545)。
そして、CPU2は、実験で求めた式(B)にステップ530でRAM4に記憶した遅れ時間Lと、ステップ545でRAM4に記憶した最低血圧推定パラメータ(PD1、PD2)を代入して、最高血圧を計算により決定し、これをRAM4に記憶する(ステップ550)。
拡張期血圧DBP=PD1×遅れ時間L+PD2 … 式(B)
以上の処理を行うと、CPU2は、RAM4に記憶した最高血圧と最低血圧をディスプレイ5に表示してメインルーチンにリターンする。
【0175】
(変形例)
以上説明した実施形態では、表カメラ7と裏カメラ8で撮影した顔動画と指動画を予め記憶部10に記憶しておき、これを解析して血圧を測定したが、次に、顔動画と指動画をリアルタイムで撮影して血圧を測定する例について説明する。
本変形例では、
図21の「動画フレーム読み込み」の処理(ステップ5)を、「動画撮影処理」に変更したものである。他の処理は、実施形態と同じである。
【0176】
図33は、変更後におけるステップ5の動画撮影処理を説明するためのフローチャートである。
まず、CPU2は、表カメラ7で対象者15の顔を撮影して、顔フレーム画像31をRAM4に記憶し(ステップ560)、更に、裏カメラ8で対象者15の指を撮影して、指フレーム画像32をRAM4に記憶する(ステップ565)。
【0177】
次に、CPU2は、撮影した顔フレーム画像31の数と指フレーム画像32の数を数えてRAM4に記憶し(ステップ570)、十分な時間これらフレーム画像を収集した否かを判断する(ステップ575)。
まだ、十分な時間収集していない場合(ステップ575;N)、CPU2は、ステップ560に戻って、更にフレーム画像を収集する。
【0178】
一方、十分な時間収集した場合(ステップ575;Y)、CPU2は、表カメラ7で収集した顔フレーム画像31を顔動画としてRAM4に記憶し、裏カメラ8で収集した指フレーム画像32を指動画としてRAM4に記憶する(ステップ580)。
ステップ570で記憶した顔フレーム画像31の数と、指フレーム画像32の数が、ステップ115(
図23)のフレーム数取得に相当する。
【0179】
次に、CPU2は、フレームレートを取得してRAM4に記憶し(ステップ585)、時間ベクトルを設定してRAM4に記憶する(ステップ590)。
これらは、ステップ110、120(
図23)と同様である。
他の処理は、先に説明した実施形態と同じである。
本変形例によれば、顔動画と指動画を十分な時間収集するごとに、血圧をリアルタイムで測定し、これを更新することができる。
【0180】
図34は、血圧測定装置1の性能を評価した図である。
図34(a)で太線で示した測定値45は、血圧測定装置1によって測定した最高血圧であって、細線で示した測定値46は、指に装着するタイプの一般に利用される血圧計で測定した最高血圧である。
縦軸は、最高血圧[mmHg]を表し、横軸は、血圧をサンプリングしたサンプルナンバーを表し、時間軸に対応している。
図に示したように、最高血圧は、時間と共に変動するが、両者は高い精度で一致している。
【0181】
図34(b)で太線で示した測定値47は、血圧測定装置1によって測定した最低血圧であって、細線で示した測定値48は一般の血圧計で測定した最低血圧である。
図に示したように、最低血圧は、時間と共に変動するが、これも両者は高い精度で一致している。
【0182】
以上に説明した実施形態で、特徴1は、次の構成を提供する。
(第1構成)対象者の第1の体表面を環境光下で撮影した第1の動画と、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を出力する出力手段と、を具備したことを特徴とする血圧測定装置。
(第2構成)前記脈波取得手段は、前記第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、前記第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得することを特徴とする第1構成の血圧測定装置。
(第3構成)前記脈波取得手段は、前記G成分を反転した値を用いて前記第2の脈波を取得することを特徴とする第2構成の血圧測定装置。
(第4構成)前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指であることを特徴とする第1構成、第2構成、又は第3構成の血圧測定装置。
(第5構成)第1の側に配設され、対象者の第1の体表面を撮影する第1のカメラと、前記第1の側と対向する第2の側に配設され、前記対象者の第2の体表面を所定の照明光で照明しながら撮影する第2のカメラと、前記第1のカメラで前記対象者の第1の体表面を環境光下で撮影した第1の動画を取得し、前記第2のカメラで前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を表示する表示手段と、を具備したことを特徴とする携帯端末。
(第6構成)対象者の第1の体表面を環境光下で撮影した第1の動画と、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得機能と、前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得機能と、前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得機能と、前記取得した血圧を出力する出力機能と、をコンピュータで実現する血圧測定プログラム。
【0183】
特徴2は、次の構成を提供する。
(第21構成)対象者の第1の体表面を撮影した第1の動画と、前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画の色を構成する成分の変化から第1の脈波を取得し、前記取得した第2の動画の色を構成する成分の変化から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波の波形の全体と、前記取得した第2の脈波の波形の全体と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を出力する出力手段と、を具備したことを特徴とする血圧測定装置。
(第22構成)前記遅れ取得手段は、前記第1の脈波の波形と、前記第2の脈波の波形と、の間の相関関係を用いて前記伝搬の遅れを取得することを特徴とする第21構成の血圧測定装置。
(第23構成)前記遅れ取得手段は、前記第1の脈波の波形と、前記第2の脈波の波形と、のうちの少なくとも一方を時間方向にシフトしながら、前記シフトごとの相関関係を取得し、当該相関関係が最大となるシフト量を前記伝搬の遅れとして取得することを特徴とする第22構成の血圧測定装置。
(第24構成)前記第1の脈波の波形と前記第2の脈波の波形のうち、心臓から遠い方の前記体表面で撮影した動画から取得した脈波が遅れる範囲で前記相関関係のピークを探索し、前記探索したピークの位置によって前記シフト量を取得することを特徴とする第23構成に記載の血圧測定装置。
(第25構成)前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指であることを特徴とする第21構成から第24構成までのうちの何れか1の構成に記載の血圧測定装置。
(第26構成)第1の側に配設され、対象者の第1の体表面を撮影する第1のカメラと、前記第1の側と対向する第2の側に配設され、前記対象者の第2の体表面を撮影する第2のカメラと、前記第1のカメラで前記対象者の第1の体表面を撮影した第1の動画を取得し、前記第2のカメラで前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画の色を構成する成分の変化から第1の脈波を取得し、前記取得した第2の動画の色を構成する成分の変化から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波の波形の全体と、前記取得した第2の脈波の波形の全体と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を表示する表示手段と、を具備したことを特徴とする携帯端末。
(第27構成)対象者の第1の体表面を撮影した第1の動画と、前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得機能と、前記取得した第1の動画の色を構成する成分の変化から第1の脈波を取得し、前記取得した第2の動画の色を構成する成分の変化から第2の脈波を取得する脈波取得機能と、前記取得した第1の脈波の波形の全体と、前記取得した第2の脈波の波形の全体と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得機能と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得機能と、前記取得した血圧を出力する出力機能と、をコンピュータで実現する血圧測定プログラム。
【0184】
特徴3は、次の構成を提供する。
(第31構成)対象者の第1の体表面を撮影した第1の動画と、前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画の色を構成する成分の変化と、前記取得した第2の動画の色を構成する成分の変化から、それぞれ、前記第1の動画のフレームレートと、前記第2の動画のフレームレートに応じた離散的な第1の脈波と離散的な第2の脈波を取得する脈波取得手段と、前記取得した離散的な第1の脈波と離散的な第2の脈波の、それぞれの離散値を補間する補間手段と、前記補間した第1の脈波の波形と、前記補間した第2の脈波の波形と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を出力する出力手段と、を具備したことを特徴とする血圧測定装置。
(第32構成)前記遅れ取得手段は、前記第1の脈波の波形と、前記第2の脈波の波形と、の間の相関関係を用いて前記伝搬の遅れを取得することを特徴とする第31構成の血圧測定装置。
(第33構成)前記遅れ取得手段は、前記補間した第1の脈波の波形と、前記補間した第2の脈波の波形と、のうちの少なくとも一方を時間方向にシフトしながら、前記シフトごとの相関関係を取得し、当該相関関係が最大となるシフト量を前記伝搬の遅れとして取得することを特徴とする第32構成の血圧測定装置。
(第34構成)前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指であることを特徴とする第31構成、第32構成、又は第33構成の血圧測定装置。
(第35構成)第1の側に配設され、対象者の第1の体表面を撮影する第1のカメラと、前記第1の側と対向する第2の側に配設され、前記対象者の第2の体表面を撮影する第2のカメラと、前記第1のカメラで前記対象者の第1の体表面を撮影した第1の動画を取得し、前記第2のカメラで前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画の色を構成する成分の変化と、前記取得した第2の動画の色を構成する成分の変化から、それぞれ、前記第1の動画のフレームレートと、前記第2の動画のフレームレートに応じた離散的な第1の脈波と離散的な第2の脈波を取得する脈波取得手段と、前記取得した離散的な第1の脈波と離散的な第2の脈波の、それぞれの離散値を補間する補間手段と、前記補間した第1の脈波の波形と、前記補間した第2の脈波の波形と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を表示する表示手段と、を具備したことを特徴とする携帯端末。
(第36構成)対象者の第1の体表面を撮影した第1の動画と、前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得機能と、前記取得した第1の動画の色を構成する成分の変化と、前記取得した第2の動画の色を構成する成分の変化から、それぞれ、前記第1の動画のフレームレートと、前記第2の動画のフレームレートに応じた離散的な第1の脈波と離散的な第2の脈波を取得する脈波取得機能と、前記取得した離散的な第1の脈波と離散的な第2の脈波の、それぞれの離散値を補間する補間機能と、前記補間した第1の脈波の波形と、前記補間した第2の脈波の波形と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得機能と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得機能と、前記取得した血圧を出力する出力機能と、をコンピュータで実現する血圧測定プログラム。
【0185】
以上のように、血圧測定装置1は、スマートフォンを用いた相対血圧測定手段を提供する。ここで、特徴1~特徴3について、従来、本実施形態と効果をまとめると次のようになる。
(特徴1)
従来は、スマートフォンで血圧を測定する場合、スマートフォンの表面カメラ(顔を撮影)と裏面カメラ(指を撮影)の映像からR-G成分によって相対血圧を測定している。
本実施形態では、表面カメラ(顔を撮影)の映像では、H成分とS成分(測定領域の抽出)とQ成分(顔信号)を用いる。裏面カメラ(指を撮影)の場合、スマートフォンの照明を用いてG成分(指信号)を用いることで、動きと光外乱の対策により脈波信号(顔信号、指信号)の信頼性を強化することができる。
【0186】
(特徴2)
従来は、スマートフォンで血圧を測定する場合、スマートフォンの表面カメラ(顔を撮影)と裏面カメラ(指を撮影)の映像からR-G成分を抽出する。そして、抽出した波形のピークの時間差から相対血圧を測定している。
本実施形態では、ピークではなく、波全体の波形を用いる(相関手法)、ことで、脈波の遅れ(及び血圧)を精度高く測定することができる。
【0187】
(特徴3)
従来は、スマートフォンで血圧を測定する場合、スマートフォンの表面カメラ(顔を撮影)と裏面カメラ(指を撮影)の映像によって相対血圧を測定している。しかし、スマートフォンに用いられているカメラの大部分は30~60[fps]のため、血圧を測定する場合の分解能が足りない。
本実施形態では、映像から抽出した脈波をスプライン補間し、補間後の脈波に対して相関手法を適用することで、高い分解能(時間分解能)で血圧を推定・測定することができる。
【符号の説明】
【0188】
1 血圧測定装置
2 CPU
3 ROM
4 RAM
5 ディスプレイ
6 タッチパネル
7 第1脈波測定部(表カメラ)
8 第2脈波測定部(裏カメラ)
9 照明
10 記憶部
10a 血圧測定プログラム
10b データ
11 通信制御部
15 対象者
16、17、19 指信号
18、20 顔信号
25 塊領域
26 測定領域
31 顔フレーム画像
32 指フレーム画像
36 顔データ点(補間前)
37 顔データ点(補間後)
38 スプライン曲線
45、46 測定値(最高血圧)
47、48 測定値(最低血圧)
M1、M4~M7 測定位置(額、前腕、手首、親指付根、指先)
V 最低値(谷)
T 最高値(ピーク)
D 最大傾き
C 相関遅れ(脈波全体の遅れ)