IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アイシン精機株式会社の特許一覧

特許7483206血圧測定装置、携帯端末、及び血圧測定プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-07
(45)【発行日】2024-05-15
(54)【発明の名称】血圧測定装置、携帯端末、及び血圧測定プログラム
(51)【国際特許分類】
   A61B 5/022 20060101AFI20240508BHJP
   A61B 5/02 20060101ALI20240508BHJP
【FI】
A61B5/022 400H
A61B5/02 310V
A61B5/02 310A
【請求項の数】 4
(21)【出願番号】P 2020053728
(22)【出願日】2020-03-25
(65)【公開番号】P2021153609
(43)【公開日】2021-10-07
【審査請求日】2023-02-03
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110004244
【氏名又は名称】弁理士法人仲野・川井国際特許事務所
(74)【代理人】
【識別番号】100096655
【弁理士】
【氏名又は名称】川井 隆
(74)【代理人】
【識別番号】100091225
【弁理士】
【氏名又は名称】仲野 均
(72)【発明者】
【氏名】ジョーンズ マイケル
【審査官】北島 拓馬
(56)【参考文献】
【文献】特開平05-130380(JP,A)
【文献】特開2014-198198(JP,A)
【文献】特開2016-190022(JP,A)
【文献】特開2018-166929(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00 - 5/03
(57)【特許請求の範囲】
【請求項1】
対象者の第1の体表面を環境光下で撮影した第1の動画と、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得手段と、
前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得手段と、
前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、
前記取得した血圧を出力する出力手段と、を具備し、
前記脈波取得手段は、前記第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、前記第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得し、
前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指である、
ことを特徴とする血圧測定装置。
【請求項2】
前記脈波取得手段は、前記G成分を反転した値を用いて前記第2の脈波を取得することを特徴とする請求項1に記載の血圧測定装置。
【請求項3】
第1の側に配設され、対象者の第1の体表面を撮影する第1のカメラと、
前記第1の側と対向する第2の側に配設され、前記対象者の第2の体表面を所定の照明光で照明しながら撮影する第2のカメラと、
前記第1のカメラで前記対象者の第1の体表面を環境光下で撮影した第1の動画を取得し、前記第2のカメラで前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得手段と、
前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得手段と、
前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、
前記取得した血圧を表示する表示手段と、を具備し、
前記脈波取得手段は、前記第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、前記第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得し、
前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指である、
ことを特徴とする携帯端末。
【請求項4】
対象者の第1の体表面を環境光下で撮影した第1の動画と、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得機能と、
前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得機能と、
前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得機能と、
前記取得した血圧を出力する出力機能と、
をコンピュータで実現する血圧測定プログラム、であって、
前記脈波取得機能は、前記第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、前記第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得し、
前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指である、
ことを特徴とする血圧測定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、血圧測定装置、携帯端末、及び血圧測定プログラムに関し、例えば、非接触で血圧を測定するものに関する。
【背景技術】
【0002】
近年の健康志向の高まりにともなって、血圧測定の需要が高まっている。
血圧の測定は、例えば、測定用の器具を腕や指に装着して専用の装置により行われている。
特許文献1の「血流指標算出プログラム、血流指標算出装置および血流指標算出方法」では、携帯端末を用いて非接触にて相対血圧を測定する技術が提案されている。
この技術では、携帯端末の表面のカメラで対象者の顔を動画撮影し、同時に裏面のカメラで対象者の指を動画撮影する。
そして、動画撮影した映像の色を構成するRGB成分のうち、R成分とG成分(脈波に伴って変化する)を用いて顔と指の脈波の波形を検出する。
心臓から体各部への脈波の伝搬時間と血圧の間には相関関係があり、検出した顔の脈波のピークに対する指の脈波のピークの遅延量によって血圧を測定することができる。
【0003】
しかし、脈波のピークは、外光の変化などによる外乱が大きい領域であり、特許文献1記載の技術では、外乱の影響で精度の高い測定が困難であるという問題があった。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2014-198198号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、外乱の影響の少ない血圧測定を行うことを目的とする。
【課題を解決するための手段】
【0006】
(1)本発明では、対象者の第1の体表面を環境光下で撮影した第1の動画と、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を出力する出力手段と、を具備し、前記脈波取得手段は、前記第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、前記第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得し、前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指である、ことを特徴とする血圧測定装置を提供する。
(2)請求項2に記載の発明では、前記脈波取得手段は、前記G成分を反転した値を用いて前記第2の脈波を取得することを特徴とする請求項1に記載の血圧測定装置を提供する。
(3)請求項3に記載の発明では、第1の側に配設され、対象者の第1の体表面を撮影する第1のカメラと、前記第1の側と対向する第2の側に配設され、前記対象者の第2の体表面を所定の照明光で照明しながら撮影する第2のカメラと、前記第1のカメラで前記対象者の第1の体表面を環境光下で撮影した第1の動画を取得し、前記第2のカメラで前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を表示する表示手段と、を具備し、前記脈波取得手段は、前記第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、前記第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得し、前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指である、ことを特徴とする携帯端末を提供する。
(4)請求項4に記載の発明では、対象者の第1の体表面を環境光下で撮影した第1の動画と、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得機能と、前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得機能と、前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得機能と、前記取得した血圧を出力する出力機能と、をコンピュータで実現する血圧測定プログラム、であって、前記脈波取得機能は、前記第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、前記第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得し、前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指である、ことを特徴とする血圧測定プログラムを提供する。
【発明の効果】
【0007】
本発明によれば、2つの動画において、異なる種類の色成分の時間変化を用いることにより、外乱の影響の少ない血圧測定を行うことができる。
【図面の簡単な説明】
【0008】
図1】血圧測定装置の構成を説明するための図である。
図2】血圧測定装置の使用形態を説明するための図である。
図3】指信号の反転を説明するための図である。
図4】脈波の伝搬の遅れを説明するための図である。
図5】相互相関の式を表した図である。
図6】相互相関の例を表した図である。
図7】遅れのデータ点数と相互相関の関係を表した図である。
図8】脈波の補間を説明するための図である。
図9】相互相関の補間による効果を説明するための図である。
図10】バンドパスフィルタの最適化を説明するための図である。
図11】血圧測定処理を説明するためのフローチャートである。
図12】血圧測定処理を説明するためのフローチャートの続きである。
図13】動画フレーム読み込み処理を説明するためのフローチャートである。
図14】パラメータ設定・初期化処理を説明するためのフローチャートである。
図15】測定領域設定処理を説明するためのフローチャートと説明図である。
図16】顔信号取得処理を説明するためのフローチャートである。
図17】顔信号スペクトル計算処理を説明するためのフローチャートである。
図18】顔脈拍数検出処理を説明するためのフローチャートである。
図19】顔信号強度評価処理を説明するためのフローチャートと説明図である。
図20】指信号取得処理を説明するためのフローチャートと説明図である。
図21】顔指信号前処理を説明するためのフローチャートである。
図22】血圧測定処理を説明するためのフローチャートである。
図23】動画撮影処理を説明するためのフローチャートである。
図24】血圧測定装置の性能を評価した図である。
【発明を実施するための形態】
【0009】
(1)実施形態の概要
血圧測定装置1(図2)は、表カメラ7で対象者15の顔を撮影し、これと同時に、対象者15の指を照明9で照明しながら裏カメラ8で対象者15の指を撮影して、顔動画と指動画を取得する。
血圧測定装置1は、顔動画に関しては、HSV色空間のH、S成分によって顔を検出し、検出した顔の顔脈波をYIQ色空間のQ成分で取得する(特徴1)。外光や動きの外乱を受ける顔に関してはQ値で脈波を検出し、外乱を受けない指に関してはG値で脈波を検出することにより、脈波の信頼性を高めることができる。
【0010】
更に、血圧測定装置1は、顔脈波の波形全体と指脈波の波形全体を用いて、顔脈波に対する指脈波の遅れ時間を検出する。検出は、顔脈波に対して指脈波を時間方向にシフトし、最も相互相関の高いシフト量から遅れのデータ点数を特定する。そして、更に、遅れのデータ点数から遅れ時間を算出する(特徴2)。
顔脈波と指脈波は、元は同じ脈波であるため、指脈波を遅れた分だけシフトすれば、波形が顔脈波と概略適合する。これを相互相関によって計測し、これが最大となるシフト量が遅れ時間に対応することを利用したものである。
【0011】
加えて、血圧測定装置1は、30[fps:frames per second(1秒あたりのフレーム数)]程度で撮影した顔動画と指動画をスプライン補間することによって顔脈波と指脈波を240[fps]程度のカメラで撮影した場合と同等の波形とし、補間後の顔脈波と指脈波によって高い分解能で相互相関を計測する(特徴3)。
これにより、5[mmHg]程度の高い分解能で血圧を測定することができ、実用に供することができる。
遅れ時間と血圧の関係は実験によって求まっており、血圧測定装置1は、実験で求めた関係式に、特徴1~3を適用して取得した遅れ時間を適用して対象者15の血圧を測定する。
【0012】
(2)実施形態の詳細
図1は、本実施形態の血圧測定装置1の構成を説明するための図である。
血圧測定装置1は、例えば、スマートフォンなどの携帯端末で構成され、対象者15を撮影した動画によって非接触・非侵襲にて対象者15の血圧を測定することができる。
血圧測定装置1は、CPU(Central Processing Unit)2、ROM(Read Only Memory)3、RAM(Random Access Memory)4、ディスプレイ5、タッチパネル6、表カメラ7、裏カメラ8、照明9、記憶部10などから構成されている。
【0013】
CPU2は、記憶部10やROM3などに記憶されたプログラムに従って、各種の情報処理や制御を行う中央処理装置である。
本実施形態では、表カメラ7や裏カメラ8で撮影した対象者15の動画を用いて血圧を検出する。
【0014】
ROM3は、読み取り専用メモリであって、血圧測定装置1を動作させるための基本的なプログラムやパラメータなどが記憶されている。
RAM4は、読み書きが可能なメモリであって、CPU2が動作する際のワーキングメモリを提供する。
本実施形態では、動画を構成するフレーム画像(1コマの静止画像)の画像データを展開して記憶したり、計算結果を記憶したりすることにより、CPU2が、動画から血圧を検出するのを支援する。
【0015】
ディスプレイ5は、例えば、液晶パネルを用いて構成されており、各種アプリケーションプログラムを選択するためのアイコンや、これらアプリケーションが提供する各種画面を表示する。本実施形態では、例えば、ディスプレイ5は、測定した血圧を表示する。
ここで、ディスプレイ5は、血圧を表示する表示手段として機能しており、このように、血圧測定装置1は、血圧をディスプレイ5に出力する出力手段を備えている。
【0016】
タッチパネル6は、ユーザの指によるタッチを検知して、これによりアイコンの選択や、各アプリケーションが提供する各種入力画面への入力を受け付ける。
本実施形態では、血圧測定装置1は、血圧測定プログラム起動用のアイコンへのタッチを検出して、これを起動するのに用いたり、血圧測定プログラムが提供する血圧測定画面に表示された測定開始ボタンへのタッチを検出して血圧測定を開始したりする。
【0017】
表カメラ7と裏カメラ8は、動画撮影カメラであって(静止画も撮影できる)、レンズで構成された光学系と、これによって結像した像を電気信号に変換する画像素子を用いて構成されている。
表カメラ7は、ディスプレイ5が設けられた表面に配設されており、裏カメラ8は、これと対向する裏面に配設されている。
【0018】
表カメラ7、裏カメラ8は、それぞれ、対象者の顔と指を所定のフレームレートで撮影し、これら連続するフレーム画像で構成された顔動画と指動画を出力する。
当該フレーム画像は、画像を構成する最小単位である画素(ピクセル)の配列により構成されている。
また、照明9は、裏カメラ8と一体的に(あるいは近接して)形成されており、裏カメラ8の撮影対象を照明する。
【0019】
ここで、表カメラ7は、第1の側に配設され、対象者の第1の体表面を環境光下などで撮影する第1のカメラとして機能している。
また、裏カメラ8は、第1の側と対向する第2の側に配設され、対象者の第2の体表面を所定の照明光で照明しながら撮影する第2のカメラとして機能している。
【0020】
記憶部10は、ハードディスクやEEPROM(Electrically Erasable Programmable Read-Only Memory)などの記憶媒体を用いて構成されており、CPU2が血圧を測定するための血圧測定プログラムやその他のプログラム、及び各種データ(撮影した顔動画や指動画の動画データなど)を記憶している。
【0021】
血圧測定プログラムは、CPU2に血圧測定処理を行わせるプログラムである。
血圧測定装置1は、血圧測定プログラムを実行することにより、血圧測定装置としての各種機能を提供することができる。
また、CPU2は、表カメラ7で撮影した顔動画や裏カメラ8で撮影した指動画の動画データを記憶部10に記憶して、これを用いて血圧を検出する。
【0022】
このように、血圧測定装置1は、第1のカメラで対象者の第1の体表面を環境光下で撮影した第1の動画と、第2のカメラで対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得手段を備えている。ここで例えば、第1の体表面は対象者の顔であり、第2の体表面は対象者の指である。
【0023】
図2の各図は、本実施形態に係る血圧測定装置1の使用形態を説明するための図である。
以下では、一例として、血圧測定装置1は、スマートフォンなどの携帯端末で構成されているものとする。
血圧測定の対象である対象者15は、裏カメラ8に指の指紋面を当接させつつ血圧測定装置1を把持し、表カメラ7を自身の顔面に向けてその姿勢を保持する。裏カメラ8に当てる指は、裏カメラ8の位置に従って当て易い何れの指でも良い。
【0024】
このように把持された血圧測定装置1は、表カメラ7で対象者15の顔面を撮影しつつ、同時に裏カメラ8で対象者15の指を撮影する。
この際に、指の撮影に関しては、照明9を動作させて指紋面を照明しながら撮影する。
なお、本実施形態では、撮影が容易なことから指を撮影するが、手のひらや手の甲、あるいは手首など、他の部位でも血圧測定は可能である。
【0025】
血圧測定装置1は、表カメラ7で撮影した顔動画に関しては、屋外や室内灯などの環境光の下で撮影するため、環境光の変化による外乱の影響を受ける。また、表カメラ7を顔に向けて保持するため、手のぶれによって顔が画面の中で動く動き外乱の影響も受ける。
一方、裏カメラ8で撮影した指動画に関しては、照明9による照明下で指を裏カメラ8に密接させて撮影するため、これらの外乱の影響を受けない。
【0026】
そこで、血圧測定装置1は、顔動画に関しては、これらの外乱に対して頑健性のあるQ値(YIQ色空間のQ成分の値)の時間変化によって脈波を検出し、指動画に関しては、血流の変化の検出に適したG値(RGB色空間のG成分の値)の時間変化によって脈波を検出する。
血圧測定装置1は、血圧を良好に検出するために、特徴1~3の3つの特徴を有するが、顔動画でQ値を用い、指動画でG値を用いる手法は、特徴1を構成する。
【0027】
このように、血圧測定装置1は、第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、第1の動画から第1の脈波を取得し、第2の動画から第2の脈波を取得する脈波取得手段を備えている。
そして、当該脈波取得手段は、第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得する。
【0028】
顔動画については、まず、血圧測定装置1は、図2(a)に示したように、表カメラ7で撮影した顔動画のフレーム画像である顔フレーム画像31をRGB色空間からHSV色空間に変換する。
そして、H成分のH値とS成分のS値が所定の範囲にある領域を抽出すると、顔フレーム画像31bに示したように、皮膚領域が塊となった塊領域25によって顔領域(脈波を測定する測定領域を規定する)を抽出することができる。H成分とS成分で顔領域を良好に抽出できることは、本願発明者らの新たな知見によるものである。
【0029】
次に、血圧測定装置1は、顔フレーム画像31をRGB色空間からYIQ色空間に変換し、変換後の顔フレーム画像31cにおける測定領域26の各画素のQ値を取得してこれらを平均する。
顔動画を構成する各顔フレーム画像31からこのようにして平均したQ値を取得するとQ値の時系列が得られ、これが顔の脈波(以下、顔脈波)を表す顔信号となる。このように、血圧測定装置1は、顔脈波に関しては、YIQのQチャネルを使用する。
【0030】
指動画については、血圧測定装置1は、図2(b)に示したように、照明装置で照明しながら裏カメラ8で撮影した指動画のフレーム画像である指フレーム画像32のRGB値から各画素のG値を取得し、これらを平均する。
指動画を構成する各指フレーム画像32からこのようにして平均したG値を取得するとG値の時系列が得られ、これが指の脈波(以下、指脈波)を表す指信号となる。このように、血圧測定装置1は、指脈波に関しては、RGBのGチャネルを使用する。
【0031】
図3の各図は、指信号の反転を説明するための図である。
図3(a)は、指信号16と顔信号18の振幅の時間変化を表している。
技術的な理由により、指信号16の振幅は、顔信号18の振幅に対して反転して検出される。そのため、血圧測定装置1は、図3(b)に示したように、指信号16の振幅を反転して指信号17を生成し、これを用いて血圧の測定処理を行う。
このように、血圧測定装置1が備える脈波取得手段は、G成分を反転した値を用いて第2の脈波を取得する。
【0032】
図4の各図は、脈波の伝搬の遅れを説明するための図である。
一般的に、脈波の伝搬速度は6.84[m/s]程度である。
これによると、心臓から顔までの距離は0.3m程度であるため、心臓から顔までの脈波の伝搬時間は0.0439[s]程度である。
また、心臓から指までの距離は1[m]程度であるため、心臓から指までの脈波の伝搬時間は0.1462[s]程度である。
【0033】
これにより、指脈波は、顔脈波に対して0.1023[s]程度遅れる。この遅れによる遅れ時間(遅延時間)の大小が血圧の大小と相関しており、血圧測定装置1は、この遅れ時間を計測することにより血圧を求める。
このように、血圧測定装置1は、第1の脈波と第2の脈波の間の伝搬の遅れを用いて対象者の血圧を取得する血圧取得手段を備えている。
【0034】
血圧測定装置1は、このように微少な遅れ時間の大小を検出するため、バンドパスフィルタによって、顔脈波と指脈波の本来の形をできるだけ保持しつつ、余分な信号を取り除く。
図4(a)は、指信号17をフィルタ処理した指信号19と、顔信号18をフィルタ処理した顔信号20を示している。
【0035】
図に示したように、フィルタ処理によって指信号19と顔信号20が本来の脈波に近い波形となり、比較に適した形となる。
血圧測定装置1は、顔脈波と指脈波の波形全体を用いた相関関係により遅れを検出するため、このように指信号19と顔信号20の波形をなるべく本来の波形とすることにより、より精密に遅れ時間の検出を行うことができる。
【0036】
このように、血圧測定装置1は、第1の脈波の波形の全体と、第2の脈波の波形の全体と、を用いて第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段を備えている。
そして、遅れ取得手段は、第1の脈波の波形と、第2の脈波の波形と、の間の相関関係を用いて伝搬の遅れを取得している。
【0037】
図4(b)は、顔信号20に対する指信号19の遅れ時間に対する相互相関を示している。
血圧測定装置1は、顔信号20と指信号19の相関関係として後述の相互相関を用いる。
相互相関は、顔信号20に対して指信号19を時間軸方向にシフトし、その場合の相互相関、即ち、そのシフト時点で顔信号20と指信号19の波形形状が全体的にどの程度近いかを表す指標、をプロットしたものである。相互相関が最も大きいとき、即ち、波形の形状が全体的に最も近いときのシフト量が遅れ時間となる。
【0038】
なお、本実施形態では、顔信号20に対して指信号19を時間方向に移動させたが、両信号は、相対的に移動すればよいため、指信号19に対して顔信号20を移動してもよく、また、指信号19と顔信号20の双方を時間方向に移動しても良い。
このように、遅れ取得手段は、第1の脈波の波形と、第2の脈波の波形と、のうちの少なくとも一方を時間方向にシフトしながら、シフトごとの相関関係を取得し、当該相関関係が最大となるシフト量を伝搬の遅れとして取得している。
【0039】
ところで、顔フレーム画像31と指フレーム画像32の対応するフレームが同時に撮影されているならば、指信号19を遅れ時間分だけ時間が早い方向にシフトすれば、相互相関が最大となるため、相互相関が最大となったシフト量により、遅れ時間を得ることができる。
ところが、一般的な携帯端末では、顔フレーム画像31と指フレーム画像32の撮影タイミングが異なっている場合があり、この撮影タイミングのずれが遅れの測定に影響してしまう。場合によっては、指脈波の方が顔脈波よりも早く伝達するということもあり得る。
【0040】
そこで、血圧測定装置1は、指信号19を何れの方向にもシフトさせて相互相関を計算し、遅れが0より大きい領域のピークを探索して(指脈波は顔脈波より必ず遅れるため)、これを遅れ時間とする。
表カメラ7、裏カメラ8の撮影タイミングが調節できる場合は、調節すればよいが、調節できない場合でも、伝搬の順番(脈波はまず顔に伝播して、次に指に伝搬するというように、心臓から遠い方で伝搬が遅れる)は一定で、遅れる時間は一定と仮定すると、このようにピーク探索によって遅れ時間を得ることができる。
【0041】
図の例では、相互相関のピークは、-0.0375[s]となっているが、遅れ時間>0の範囲でピークを探索すると、当該条件を満たす右隣のピークの遅れが遅れ時間となる。
このように、血圧測定装置1は、第1の脈波の波形と第2の脈波の波形うち、心臓から遠い方の体表面で撮影した動画から取得した脈波が遅れる範囲で相関関係のピークを探索し、当該探索したピークの位置によってシフト量を取得している。
【0042】
図5は、相互相関の式を表した図である。
以下では、文字コードの誤変換防止のため、数式の下付文字を通常の文字で記す。
本実施形態では、相互相関の計算式を図5(a)に示した式(1)のRS1S2で定義した。S1は指信号19を表し、S2は顔信号20を表している。
【0043】
mは、S2に対してS1をシフトするデータ点数であって、Nは、データ点数の総数である。
mが0以上の場合は、式(1)の上式に示したように、m=0、1、2、・・・、Mとして、S1(n+m)×S2(n)をn=0からn=N-m-1まで加算することにより各mごとの相互相関を計算することができる。
例えば、図5(b)は、m=1の場合を示しており、この場合、相互相関は、S1(1)S2(0)+S1(2)S2(1)+・・・+S1(N-1)S2(N-2)となって、顔信号20に対して指信号19を1データ点だけデータ点が若い方にシフトした相互相関を計算することができる。
このように、mが1増えるごとに、指信号19を1データ点だけデータ点が若い方にシフトした相互相関を計算することができる。
【0044】
一方、mが負の場合は、mの符号を反転させてm=-1、-2、-3、・・・、-MとしてS1(n+m)×S2(n)をn=-mからN-1まで加算することにより相互相関を計算する。
例えば、図5(c)は、m=-1の場合を示しており、この場合、相互相関は、S1(0)S2(1)+S1(1)S2(2)+・・・+S1(N-2)S2(N-1)となって、顔信号20に対して指信号19を1データ点だけデータ点が進む方にシフトした相互相関を計算することができる。
このように、mが1減るごとに、指信号19を1データ点だけデータ点が進む方にシフトした相互相関を計算することができる。
【0045】
指データは顔データよりも遅延するため、本実施形態では、少なくとも指データのデータ点を顔データのデータ点に対して若い方にシフトして、相互相関が最大となるmを求めれば良い。
mの最大値Mは、実験により適した値を求めることができる。本実施形態では、例えば、後述の240[fps]相当の分解能を用いる場合、一例としてM=480である。
【0046】
なお、式(1)は、一例であって各種の変形が可能である。例えば、式(1)では、指信号19と顔信号20の相対的な位置を時間方向にシフトして、両者の重なっている全てのデータ点について演算を行って加算しているが、一部のデータ点について演算して加算するようにしても良い。
また、両信号の少なくとも一方を時間方向に移動させながら波形全体の類似を計測するものであれば、他の計算式を採用することもできる。この場合、両波形が最も類似する場合の時間方向の相対的な移動量が遅れ時間に対応する。
【0047】
表カメラ7と裏カメラ8の対応するフレームが同時に撮影されていない場合や、色空間の変換などの何らかの関係で遅れ<0となる場合を考慮し、このように時間軸の正負の方向にシフトして、遅れ>0となる領域のピークを探索することにより、指信号は顔信号よりも遅れるという条件を満たすことができる。
【0048】
このように規定した相互相関を計算すると、顔信号20に対して指信号19をシフトしていった場合に、顔信号20の波形と指信号19の波形が全体的に近い場合に大きな値となり、近くない場合に小さな値となる。
【0049】
このように、血圧測定装置1は、指信号19と顔信号20の波形全体によって遅れ時間を測定するため、外乱による影響を受けにくく、単に、指信号19と顔信号20のピークから遅れ時間を求める場合よりも、精度が高く頑強に遅れ時間を計測することができる。
【0050】
図6の各図は、相互相関の例を表した図である。
図中の黒丸は、顔信号20を構成する顔データ点を表し、黒三角は、指信号19を構成する指データ点を示しており、それぞれ、顔フレーム画像31と指フレーム画像32から作成したものである。
【0051】
図6(a)は、遅れ(指信号19のシフト量)が0データ点数の場合である。この場合、両者の波形の相互相関は良くなく、負の値となっている。
図6(b)は、遅れが4データ点数の場合である。この場合、遅れが0データ点数の場合よりも相互相関が改善し、0程度の値となっている。
【0052】
以降、図6(c)~(f)に示したように、遅れのデータ点数が8、12となるにつれて相互相関が大きくなり、16、20となるにつれて小さくなっている。
この図の例では、データ点数が12のあたりで、指信号19と顔信号20の波形の形状が全体的に合うため、データ点数12個分の時間付近が遅れ時間と推定される。
【0053】
図7は、図6の例に係る遅れのデータ点数と相互相関の関係を表した図である。
図6の例で、遅れのデータ点数に対して、相互相関をプロットすると、データ点数が11の時に相互相関が最大となった。
このデータの例では、データ点数11個分の遅れの時間が正である場合、この時間が遅れ時間の候補となる(後述するように、0<ピークの遅れ時間<1.1秒という制限を設けた)。
以上のように、指信号19と顔信号20のピークによって遅れ時間を計測せずに、これらの波形全体を用いて遅れ時間を計測する手法は、特徴2を構成する。
【0054】
ところで、このように、相互相関は、データ点数によって離散的に求められるが、これによって、遅れ時間の分解能が制限される。
この離散間隔は、顔動画と指動画のフレームレートによって規定されるため、指信号19と顔信号20の生のデータをそのまま用いると、遅れ時間は、フレームレートで規定される分解能よりも高い精度で求めることができない。
【0055】
例えば、顔信号20に対する指信号19の遅れは、0.1[s]程度であるが、一般に用いられている携帯端末で撮影できる動画のフレームレートは、30[fps]程度であるため、0.1[s]の間に3フレーム程度しか撮影することができない。この分解能だと、40[mmHg]程度の分解能しか得られない。
また、例えフレームレートを上げることができる機種であったとしても、撮像素子が高フレームレート用に設計されていないため、画像が劣化してしまい、高分解能で血圧を計測することは困難である。
【0056】
血圧測定装置1は、少なくとも5[mmHg]程度の分解能で血圧を測定したいため、240[fps]程度のフレームレートが必要である。
そこで、血圧測定装置1は、動画のフレームレートで取得した指信号19、顔信号20の離散的なデータを補間して、これをサンプリングすることにより、240[fps]相当のデータ点を作成する。
【0057】
データの補間方法は各種あるが、ここでは、一例としてスプライン補間を用いた。これは、脈波は、生体による自然な現象であるため、データの間で不連続な異常値をとることはなく、データの間を滑らかにつなぐスプライン補間が適しているからである。なお、ベジエ補間などの他の補間方法を用いてもよい。
【0058】
図8の各図は、脈波の補間を説明するための図である。
図8(a)に示したように、補間前の黒丸で示した顔データ点と黒三角で示した指データ単は、顔フレーム画像31と指フレーム画像32のフレームレートに従って、0.1[s]あたり3個程度の時間間隔の飛び飛びの値となっている。
【0059】
これに対し、血圧測定装置1は、図8(b)に示したように、顔データと指データをスプライン補間で補間し、補間した曲線上の値をサンプリングすることにより、240[fps]相当のデータ点を生成している。これにより、0.1秒あたり24個のデータ点を生成することができる。
補間によって生成した顔データと指データは、時間間隔が小さく、黒丸や黒三角で図示できないため、それぞれ、実線と破線で示している。
【0060】
より詳細には、血圧測定装置1は、図8(c)に示したように、補間前の顔データ点36、36、・・・を用いてスプライン曲線38を生成し、スプライン曲線38上で240[fps]に相当する顔データ点37、37・・・を取得する。
血圧測定装置1は、指データ点に関しても同様にして、スプライン補間した指データ点を取得する。
そして、血圧測定装置1は、補間した顔信号と指信号の全体を用いて相互相関を計算する。
【0061】
このように、血圧測定装置1の有する脈波取得手段は、第1の動画の色成分の変化と、第2の動画の色成分の変化から、それぞれ、第1の動画のフレームレートと、第2の動画のフレームレートに応じた離散的な第1の脈波と離散的な第2の脈波を取得している。
そして、血圧測定装置1は、離散的な第1の脈波と離散的な第2の脈波の、それぞれの離散値を補間する補間手段を備えている。
更に、血圧測定装置1の有する遅れ取得手段は、補間した第1の脈波の波形の全体と、補間した第2の脈波の波形の全体と、を用いて取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得している。
【0062】
図9は、相互相関の補間による効果を説明するための図である。
図9(a)は、29[fps]で撮影した顔フレーム画像31と指フレーム画像32から取得した、補間前の相互相関を表している。補正前の相互相関列からは、1/29秒単位で遅れ時間のピークを探索することができる。図の例は、模式図であるが、これによると、遅れの最大値のデータ点は11であり、時間に換算すると、約0.379[s]である。
【0063】
図9(b)は、240[fps]相当に補間した顔データ点と指データ点の相互相関を表している。補間後の相互関係列からは、より分解能の高い1/240秒単位で遅れ時間のピークを探索することができる。図の例では、遅れの最大のデータ点は87であり、時間に換算すると、約0.3625秒である。こちらの値の方がより真の値に近い値となっている。
【0064】
以上のように、血圧測定装置1は、データ点を補間することにより、相互相関による遅れ時間の分解能を高めることができる。
このような、指信号19と顔信号20の各データ点をスプライン補間することによって分解能を向上させる手法は、特徴3を構成する。
【0065】
図10は、バンドパスフィルタの最適化を説明するための図である。
相互相関を計算する場合、なるべく脈波に由来する波形を残し、他の原因に由来する波形を除きたい。
そこで、血圧測定装置1は、バンドパスフィルタを用いて、補間前の指信号19と顔信号20をフィルタリングする。
【0066】
図は、通過帯域の下限側のカットオフ周波数に対する相互相関の実験値を示している。図に示したように、周波数が20[bpm:beats per minute(1分あたりの脈拍数)]程度以下では、脈波以外の要素の影響が大きいため相互相関の値が急減し、正確な測定を行うことができない低相関領域となっている。
40[bpm]以上が脈拍数領域であるが、20[bpm]程度から良好な相互相関を得ることができる。
【0067】
本願発明者が、実験して試行錯誤した結果、バンドパスフィルタの通過帯域の下限は20[bpm]が適当であることが分かった。
同様に、通過帯域の上限は、250[bpm]が適当であることが分かった。
そのため、血圧測定装置1では、通過帯域を20~250[bpm]とするバンドパスフィルタを採用することとした。
【0068】
図11図12は、血圧測定装置1が行う血圧測定処理の全体的な流れを説明するためのフローチャートである。
以下の処理は、記憶部10に記憶した血圧測定プログラムに従ってCPU2が行うものである。
まず、CPU2は、動画フレーム読み込み処理を行う(ステップ5)。
これは、表カメラ7と裏カメラ8を共に動作させ、表カメラ7で撮影した顔動画と、裏カメラ8で撮影した指動画を記憶部10などに記憶しておき、これをRAM4に読み込む処理である。
【0069】
次に、CPU2は、バンドパスフィルタに関する設定や、他のパラメータの設定を行うパラメータ設定・初期化処理を行う(ステップ10)。
次に、CPU2は、顔フレーム画像31で皮膚を検出することにより顔領域を抽出して、これを測定領域に設定する測定領域設定処理を行う(ステップ15)。
そして、CPU2は、測定領域のQ値を用いて顔信号を取得する顔信号取得処理を行う(ステップ20)。
【0070】
次に、CPU2は、顔信号取得処理をまだ行っていない顔フレーム画像31がある場合は(ステップ25;N)、ステップ15に戻り、全ての顔フレーム画像31に対して顔信号取得処理を行った場合は(ステップ25;Y)、顔信号のスペクトルをFFT(fast Fourier Transform:高速フーリエ変換)にて周波数解析する顔信号スペクトル計算処理を行う(ステップ30)。
【0071】
そして、CPU2は、顔信号のスペクトルから顔脈拍数を検出する顔脈拍数検出処理を行い(ステップ35)、次いで、顔信号のS/N比を計算することにより検出した顔脈拍数の信号強度を評価する顔信号強度評価処理を行う(ステップ40)。
【0072】
以上のステップ30~40は、S/N比によって顔信号の信頼性を評価するための処理であり、次にCPU2は、顔信号の信頼度が十分でない場合は(ステップ45;N)、「信号が弱くて血圧が測定できません」などの警告をディスプレイ5に表示するなどして(ステップ50)、処理を終了する。
【0073】
一方、顔信号の信頼度が十分である場合(ステップ45;Y)、CPU2は、指フレーム画像32のG値を用いて指信号を取得する指信号取得処理を行う(ステップ55)。
次に、CPU2は、指信号取得処理をまだ行っていない指フレーム画像32がある場合は(ステップ60;N)、ステップ55に戻り、全ての指フレーム画像32に対して指信号取得処理を行った場合は(ステップ60;Y)、指信号のスペクトルをFFTにて周波数解析する指信号スペクトル計算処理を行う(ステップ65)。
【0074】
そして、CPU2は、指信号のスペクトルから指脈拍数を検出する指脈拍数検出処理を行い(ステップ70)、次いで、指信号のS/N比を計算することにより検出した指脈拍数の信号強度を評価する指信号強度評価処理を行う(ステップ75)。
【0075】
以上のステップ65~75は、S/N比によって指信号の信頼性を評価するための処理であり、次にCPU2は、指信号の信頼度が十分でない場合は(ステップ80;N)、「信号が弱くて血圧が測定できません」などの警告をディスプレイ5に表示するなどして(ステップ95)、処理を終了する。
【0076】
一方、指信号の信頼度が十分である場合(ステップ80;Y)、CPU2は、顔信号や指信号に対して、バンドパスフィルタを適用したり、データ点を補間するなどの前処理(以下、顔指信号前処理という)を行い(ステップ85)、顔指信号前処理を行った顔信号と指信号を用いて血圧を測定する血圧測定処理を行って(ステップ90)、血圧測定処理を終了する。
以下、これらの処理について詳細に説明する。
【0077】
図13は、ステップ5(図11)の動画フレーム読み込み処理を説明するためのフローチャートである。
まず、CPU2は、記憶部10に記憶した顔動画と指動画の動画データをそれぞれRAM4に読み込む(ステップ105)。
次に、CPU2は、これらの動画のフレームレートを取得してRAM4に記憶する(ステップ110)。フレームレートは、顔動画と指動画のファイルに付随しており(撮影時間とフレーム数から計算しても良い)、これを読むことにより取得する。本実施形態では、両動画のフレームレートが同じとするが、異なっていても良く、何れの場合も後に240[fps]相当に補間する。
【0078】
次に、CPU2は、それぞれの動画のフレーム数を取得してCPU2に記憶する(ステップ115)。
次に、CPU2は、顔動画と指動画のそれぞれに対して、ステップ110でRAM4に記憶したフレームレートと、動画の長さ(時間)に基づいて、後ほどFFTにて用いる時間ベクトルを作成するための各パラメータを準備してRAM4に記憶し(ステップ120)、メインルーチンにリターンする。
【0079】
図14は、ステップ10(図11)のパラメータ設定・初期化処理を説明するためのフローチャートである。
まず、CPU2は、測定領域設定用のパラメータをRAM4に記憶して設定する(ステップ125)。
これは、HSV色空間にて顔領域をHとSの値によって抽出するのであるが、そのためのH値の範囲と、S値の範囲を設定するものである。これらH値、S値の上下限値は、本願発明者が実験により求めた。
【0080】
次に、CPU2は、バンドパスフィルタ(BPF)安定化時間をRAM4に記憶して設定する(ステップ130)。
これは、バンドパスフィルタを信号に適用した場合、デジタル処理の関係で最初の方の出力値は、正しい値が得られないため、信号が安定するまでの安定化時間を設定するものである。バンドパスフィルタを適用した信号の安定化時間に達するまでの部分は削除する。ここでは、安定化時間として2秒を設定した。
【0081】
次に、CPU2は、バンドパスフィルタの周波数領域をRAM4に記憶して設定する(ステップ135)。上で述べたように、ここでは、周波数領域を20~250[bpm]に設定した。
次に、CPU2は、伝達関数をRAM4に記憶することにより、フィルタのパラメータを準備する(ステップ140)。
【0082】
次に、CPU2は、顔信号と指信号に対してそれぞれの信頼度(S/N比)の基準をRAM4に記憶して設定する(ステップ145)。ここでは、一例として両信号とも信頼度の基準を0とした。
【0083】
次に、CPU2は、形態学的クロージングの素子の定義パラメータをRAM4に記憶して設定する(ステップ150)。
ここでは、定義パラメータとして10画素の丸い形状の素子を定義した。
形態学的クロージングとは、定義した素子に基づいて膨張(dilation)処理と、収縮(erosion)処理を行うことにより、図形を穴埋めしたり、切断部分を結合したりする処理である。
【0084】
例えば、縁の厚い眼鏡をかけている場合、顔面は眼鏡によって区画されて、額、左右の眼部、鼻以下の部位の4つに認識されてしまうが、これらの領域は近接しているため、形態学的クロージングによって眼鏡の部分を穴埋めすることにより1つの塊(ひとまとまりの部位)にまとめることができる。
形態学的クロージングでまとまることにより、CPU2は、額、左右の眼部、鼻以下の部位の4つからなる領域を顔の領域であると認識して、これら4つの領域を測定領域に設定することができる。
【0085】
図15は、ステップ15(図11)の測定領域設定処理を説明するためのフローチャート(a)と、説明図(b)である。
図15(a)のステップ160、165は、顔動画の顔フレーム画像31を取得するステップであるが、図15(b)に示したように1つのフレームに指領域の画像と顔領域の画像が含まれている場合、CPU2は、未処理のうちの最も撮影時間の若いフレームを選択して(ステップ160)、顔領域に限定して画像を抽出し(ステップ165)、これを顔フレーム画像31としてRAM4に記憶する。
一方、顔動画と指動画が別動画である場合は、顔動画から未処理の最も撮影時間の若い顔フレーム画像31を取得してRAM4に記憶する。
【0086】
そして、CPU2は、RAM4に記憶した顔フレーム画像31の色空間をRGB色空間からHSV色空間に変換し、変換後のHSV画像データをRAM4に記憶する(ステップ170)。
【0087】
次に、CPU2は、図14のステップ125で設定したH成分の上下限値の基準値をRAM4から読み出す。
そして、CPU2は、HSV画像で、H成分が当該上下限基準値の範囲となる領域を抽出する(抜き出す)Hマスク(BWH)を作成してRAM4に記憶する(ステップ175)。
【0088】
更に、CPU2は、図14のステップ125で設定したS成分の上下限値の基準値をRAM4から読み出す。
そして、CPU2は、HSV画像で、S成分が当該上下限基準値の範囲となる領域を抽出するSマスク(BWS)を作成してRAM4に記憶する(ステップ180)。
【0089】
次に、CPU2は、RAM4に記憶したHマスク(BWH)とSマスク(BWS)を論理積にて合成して、H成分とS成分の両者がそれぞれ基準値以内となる領域を抽出するHSマスク(BWH×BWS)を作成してRAM4に記憶する(ステップ185)。
【0090】
次に、CPU2は、RAM4に記憶したHSマスクを用いて、HSV画像からH成分とS成分の両者がそれぞれ基準値以内となる領域を抽出することにより、塊領域(皮膚がまとまって露出しており、塊となって検出される領域)の検出を試みる(ステップ190)。
【0091】
ステップ190において塊領域を検出した場合(ステップ195;Y)、CPU2は、最大4つの塊領域(bigBlobs)を選択する(ステップ200)。
ここで、最大4つとしたのは、眼鏡を着用している対象者15の場合、顔面が眼鏡の縁によって区画されて、4つの塊領域として検出される場合があるからである。
【0092】
次に、CPU2は、図14のステップ150で設定したパラメータをRAM4から読み出し、これを用いることにより、選択した塊領域に対して形態学的クロージングの処理を行う(ステップ205)。
これにより、4つの塊領域が眼鏡によって分割された顔面であった場合、これらは近接しているため、形態学的クロージングによって眼鏡部分が穴埋めされて一つの領域にまとまる。
【0093】
次に、CPU2は、形態学的クロージング後の最大の塊領域(bigBlobf)を特定する(ステップ210)。
これにより、眼鏡の着用の有無にかかわらず、顔の領域を最大の塊領域として特定することができる。
【0094】
そして、CPU2は、bigBlobsとbigBlobfの論理積(bigBlobs×bigBlobf)によって脈拍数の測定領域(bigBlob)を設定する(ステップ215)。
これにより、眼鏡を着用しない場合は顔全体が、眼鏡をかけて顔が4つの部位に分かれた場合は、これら4つの領域が脈拍の測定領域となる。
【0095】
そして、CPU2は、測定領域の画素を1、それ以外の画素を0とする行列によって測定領域をRAM4に記憶する。
このように、CPU2は、形態学的クロージングでひとまとまりにできる範囲の塊領域を脈拍数の測定領域に設定する。
【0096】
図2(a)の例では、背景や衣服などが写った元の顔フレーム画像31から、皮膚が露出している顔面部と首のあたりの塊領域25を抽出して、これを測定領域26に設定することができる。
【0097】
一方、塊領域を検出しなかった場合(ステップ195;N)、CPU2は、測定領域をゼロ行列としてRAM4に記憶する(ステップ220)。
以上の処理を行った後、CPU2は、メインルーチンにリターンする。
【0098】
図16は、ステップ20(図11)の顔信号取得処理を説明するためのフローチャートである。
まず、CPU2は、測定領域の大きさ(面積)を画素数によって計算し、これをRAM4に記憶する(ステップ230)。
次に、CPU2は、RAM4に記憶した測定領域の大きさが基準値より大きいか否かを判断する(ステップ235)。
この基準値は、これより大きければ脈拍数が測定できるというフレームに対する面積であって、例えば、フレームの5%に設定してある。
【0099】
測定領域の大きさが基準値より大きい場合(ステップ235;Y)、CPU2は、ステップ165(図15)でRAM4に記憶した顔フレーム画像31をRGB色空間からYIQ色空間に変換して変換後のYIQ画像データをRAM4に記憶する(ステップ240)。
【0100】
次に、CPU2は、予め用意したカメラ特性を用いてYIQ画像データの各画素のQ値を調整する(ステップ245)。カメラ特性は、撮像素子に由来する画素のQ値のばらつきを補正するのに用いる特性である。
次に、CPU2は、YIQ画像データの各画素のQ値を成分とするQ行列とステップ215(図15)でRAM4に記憶した測定領域の行列との論理積を計算することにより、Q行列を測定領域に限定する(ステップ250)。
限定したQ行列は、測定領域にだけQ値があり、他の領域は色成分が0となっている。
【0101】
次に、CPU2は、当該限定したQ行列のQ値の平均を計算することにより、測定領域のQ値を平均してRAM4に記憶する(ステップ255)。このQ値が顔信号のデータ点となる。ステップ255を繰り返すことにより、データ点の時系列がRAM4に記憶されて、これが顔信号となる。
【0102】
一方、測定領域の大きさが基準値を満たさない場合(ステップ235;N)、CPU2は、当該顔フレーム画像31が動画の最初のフレーム画像ではないか否かを判断する(ステップ260)。
最初のフレーム画像ではない場合(ステップ260;Y)、即ち、動画の2枚目以降のフレーム画像である場合、CPU2は、測定領域の大きさが十分でないため、Q値=前回のQ値として、前回のQ値を今回の推定値として採用する(ステップ265)。これは、1フレームレートの時間間隔で脈拍が大きく変化することがないことから、前回のQ値と今回のQ値が大きく異なることはないため、今回のQ値を前回のQ値で代用するものである。
【0103】
一方、当該顔フレーム画像31が動画の最初のフレーム画像である場合(ステップ260;N)、CPU2は、Q値を0に設定してRAM4に記憶する(ステップ270)。
CPU2は、以上の処理を行った後、メインルーチンにリターンする。
【0104】
図17は、ステップ30(図11)の顔信号スペクトル計算処理を説明するためのフローチャートである。
まず、CPU2は、Q値の線形傾向(トレンド)を計算して、元のQ値からこれを減算し、減算後のQ値をRAM4に記憶する(ステップ280)。以下では、この減算後のQ値を用いる。
【0105】
次に、CPU2は、ステップ120(図13)で準備したパラメータを用いて、等間隔(例えば、1秒)の時間ベクトルを作成してRAM4に記憶する(ステップ285)。
更に、CPU2は、当該作成した時間ベクトルに対応するようにQ値を補間してRAM4に記憶する(ステップ290)。これらは、FFTの計算に必要な前処理である。
そして、CPU2は、これらRAM4に記憶した時間ベクトルと補間後のQ値を用いてFFTを実行することにより顔信号のスペクトルを計算してRAM4に記憶する(ステップ295)。
【0106】
次に、CPU2は、RAM4に記憶した顔信号のスペクトルの範囲を、脈拍数測定領域に限定し、当該限定した顔信号のスペクトルをRAM4に記憶して(ステップ300)、メインルーチンにリターンする。この脈拍数測定領域は、例えば、40~200[bpm]とする。
【0107】
図18は、ステップ35(図11)の顔脈拍数検出処理を説明するためのフローチャートである。
CPU2は、ステップ300(図17)でRAM4に記憶したスペクトルで最大ピークを探索する(ステップ310)。
次に、CPU2は、探索した最大ピークの周波数を計算して、これを脈拍数ピークとしてRAM4に記憶し(ステップ315)、メインルーチンにリターンする。当該脈拍数ピークは、顔脈波の基本波の脈拍数に対応している。
【0108】
図19は、ステップ40(図11)の顔信号強度評価処理を説明するためのフローチャート(a)と、説明図(b)である。
まず、CPU2は、ステップ315(図18)でRAM4に記憶した脈拍数ピークを中心とした、図19(b)のような±5[bpm]の範囲の基本波のマスク(HR_M1)を作成してRAM4に記憶する(ステップ330)。
【0109】
次に、CPU2は、基本波の高調波に対しても同様に、図19(b)のような±5[bpm]のマスク(HR_M2)を作成してRAM4に記憶する(ステップ335)。
そして、CPU2は、ステップ330、335でRAM4に記憶したHR_M1とHR_M2から、これらを合わせた1つの信号マスク(HR_M)を作成してRAM4に記憶する(ステップ340)。
【0110】
次に、CPU2は、基本波と高調波以外の領域を範囲とする外乱マスク(HRN_M=1-HR_M)を作成してRAM4に記憶する(ステップ345)。
そして、CPU2は、ステップ300(図17)でRAM4に記憶した顔信号のスペクトルを正規化してRAM4に記憶する(ステップ350)。
正規化した顔信号のスペクトルをFFT_HRnとすると、これは、顔信号のスペクトルFFT_HRを、FFT_HRの最大値で除した値となる。
【0111】
次に、CPU2は、S/N比を計算する際に用いる項であるnumを計算してRAM4に記憶する(ステップ355)。
numは、正規化した顔信号のスペクトルのうち、マスクした基本波と高調波のパワーに相当する値であって、FFT_HRn(i)の自乗にHR_M(i)を乗じてiで総和を取ったものである。iは、FFT_HRnとHR_Mの離散値を指定するパラメータである。
【0112】
次に、CPU2は、S/N比を計算する際に用いるもう一つの項であるdenを計算してRAM4に記憶する(ステップ360)。
denは、正規化した顔信号のスペクトルのうち、マスクした基本波と高調波以外の領域のパワーに相当する値であって、FFT_HRn(i)の自乗にHRn_M(i)を乗じてiで総和を取ったものである。
【0113】
次に、CPU2は、ステップ355、360でRAM4に記憶したnumとdenを読み出し、S/N比を計算してRAM4に記憶する(ステップ365)。
S/N比(HR_SNR)は、denに対するnumの比の常用対数を10倍することにより計算する。
【0114】
図20は、ステップ55(図12)の指信号取得処理を説明するためのフローチャート(a)と、説明図(b)である。
ステップ380、385は、指動画の指フレーム画像32を取得するステップであるが、図20(b)に示したように1つのフレームに指領域の画像と顔領域の画像が含まれている場合、CPU2は、未処理のうちの最も撮影時間の若いフレームを選択して(ステップ380)、指領域に限定して画像を抽出し(ステップ385)、これを指フレーム画像32としてRAM4に記憶する。
一方、顔動画と指動画が別動画である場合は、指動画から未処理の最も撮影時間の若い指フレーム画像32を取得してRAM4に記憶する。
【0115】
次に、CPU2は、指フレーム画像32の各画素をGチャネルに限定し、各画素のG値を取得してRAM4に記憶する(ステップ390)。
そして、CPU2は、ステップ390で記憶した各画素のG値を平均してRAM4に記憶し(ステップ395)、メインルーチンにリターンする。このG値が指信号のデータ点となる。ステップ395を繰り返すことにより、データ点の時系列がRAM4に記憶されて、これが指信号となる。
【0116】
CPU2は、G値の平均をRAM4に記憶した後、これに対して、指信号スペクトル計算処理(図12、ステップ65)、指脈拍数検出処理(図12、ステップ70)、及び指信号強度評価処理(図12、ステップ75)を行うが、これらの処理は、それぞれ、顔信号スペクトル計算処理(図17)、顔脈拍数検出処理(図18)、及び顔信号強度評価処理(図19)と同じであるため、説明を省略する。
【0117】
図21は、ステップ85(図12)の顔指信号前処理を説明するためのフローチャートである。
まず、CPU2は、ステップ135(図14)でRAM4に記憶した周波数領域(20~250[bpm])を読み出す。
そして、ステップ255(図16)でRAM4に記憶した顔信号に対して、当該周波数領域のバンドパスフィルタを適用し、フィルタリングした顔信号をRAM4に記憶する(ステップ410)。
【0118】
次に、CPU2は、ステップ395(図20)でRAM4に記憶した指信号に対しても同様にバンドパスフィルタを適用し、フィルタリングした指信号をRAM4に記憶する(ステップ415)。
【0119】
次に、CPU2は、ステップ130(図14)でRAM4に記憶した安定化時間を読み出し、ステップ410でRAM4に記憶した顔信号の安定化時間の部分(最初の2秒間)を削除して、削除後の顔信号をRAM4に記憶する(ステップ420)。
同様に、CPU2は、ステップ415でRAM4に記憶した指信号の安定化時間の部分を削除して、削除後の指信号をRAM4に記憶する(ステップ425)。
【0120】
次に、CPU2は、補間時間分解能をRAM4に記憶して設定する(ステップ430)。これは、スプライン補間にて補間する時間間隔であり、ここでは、240[fps]相当の分解能とした。
そして、CPU2は、ステップ430で設定した分解能に従って、FFTで用いる補間時間ベクトルを作成してRAM4に記憶する(ステップ435)。
【0121】
次に、CPU2は、ステップ420でRAM4に記憶した顔信号(フィルタリング済み、安定化時間削除済み)を読み出し、これをステップ435で作成した時間ベクトルに従ってスプライン補間する(ステップ440)。これによって240[fps]相当の顔信号のデータ点が作成される。
【0122】
次に、CPU2は、同様に、ステップ425でRAM4に記憶した指信号(フィルタリング済み、安定化時間削除済み)を読み出し、これをステップ435で作成した時間ベクトルに従ってスプライン補間する(ステップ445)。これによって240[fps]相当の指信号のデータ点が作成される。
【0123】
次に、CPU2は、ステップ440でRAM4に記憶した顔信号を正規化してRAM4に記憶し(ステップ450)、ステップ445でRAM4に記憶した指信号を正規化してRAM4に記憶する(ステップ455)。
正規化は、下に示したように、信号(顔信号、又は指信号)(i)から信号の平均を減算し、これを信号の標準偏差で除することにより、正規化された信号(i)を計算することにより行う。
ここで正規化された信号(i)は、次の式による。
正規化された信号(i)=(信号(i)-信号の平均)/信号の標準偏差
以上の処理を行った後、CPU2は、メインルーチンにリターンする。
【0124】
図22は、ステップ90(図12)の血圧測定処理を説明するためのフローチャートである。
まず、CPU2は、相互相関と遅延を計算する(ステップ505)。すなわち、CPU2は、ステップ450(図21)でRAM4に記憶した正規化した顔信号と、ステップ455(図21)でRAM4に記憶した正規化した指信号を読み出し、これら正規化した顔信号と指信号の相互相関と遅延(遅れ時間)の関係(図4(b)のような関係)を計算してRAM4に記憶する(ステップ505)。
より具体的には、CPU2は、RAM4にNとmを設定し、式(1)に従って計算して図9(b)のような相互相関とmの関係を計算する。
mは、遅れ時間に相当するデータ点の個数であるから、CPU2は、当該mに隣接するデータ点の時間間隔(ここでは、240[fps]相当でサンプリングするため1/240秒)を適用することにより図4(b)のような相互相関と遅れ時間の関係を計算する。
そして、CPU2は、0~1.1秒の間で相互相関のピークを検索し、検索したピークの時間を遅れ時間としてRAM4に記憶する。
【0125】
次に、CPU2は、相互相関の最大検索領域をRAM4に記憶して設定する(ステップ510)。これは、相互相関のピークを探索する遅れ時間の範囲を設定するものであり、遅れ時間は正であるため、実験結果を参考にして一例として0~1.1[s]とした。
次に、CPU2は、相互相関のピークの最大検索領域をステップ510でRAM4に記憶した範囲に限定する(ステップ515)。
【0126】
次に、CPU2は、ステップ505でRAM4に記憶した相互相関の遅れ時間に対するピークをステップ515で限定した最大検索領域で検索し(ステップ520)、これによって、相互相関のピークを特定する(ステップ525)。
そして、CPU2は、当該特定した相互相関の最大ピークに対応する遅れ時間を決定し、RAM4に記憶する(ステップ530)。
【0127】
ところで、遅れ時間と、最高血圧及び最低血圧の関係は、実験によって求まっており、実験によって求めた計算式に遅れ時間を適用すると、最高血圧と最低血圧の相対値が分かるようになっている。
更に、最低血圧推定パラメータ、最高血圧推定パラメータを適用すると、それぞれ、最高血圧と最低血圧の絶対値を求めることができる。
これらのパラメータは、対象者15ごとに設定しても良いし、あるいは、全ての対象者15に対して適用する代表的な値を用いても良い。
【0128】
CPU2は、RAM4に最高血圧推定パラメータを記憶して設定する(ステップ535)。
そして、CPU2は、実験で求めた関係式にステップ530でRAM4に記憶した遅れ時間と、ステップ535でRAM4に記憶した最高血圧推定パラメータを代入して、最高血圧を計算により決定し、これをRAM4に記憶する(ステップ540)。
【0129】
次に、CPU2は、RAM4に最低血圧推定パラメータを記憶して設定する(ステップ545)。
そして、CPU2は、実験で求めた関係式にステップ530でRAM4に記憶した遅れ時間と、ステップ545でRAM4に記憶した最低血圧推定パラメータを代入して、最高血圧を計算により決定し、これをRAM4に記憶する(ステップ550)。
以上の処理を行うと、CPU2は、RAM4に記憶した最高血圧と最低血圧をディスプレイ5に表示してメインルーチンにリターンする。
【0130】
(変形例)
以上説明した実施形態では、表カメラ7と裏カメラ8で撮影した顔動画と指動画を予め記憶部10に記憶しておき、これを解析して血圧を測定したが、次に、顔動画と指動画をリアルタイムで撮影して血圧を測定する例について説明する。
本変形例では、図11の「動画フレーム読み込み」の処理(ステップ5)を、「動画撮影処理」に変更したものである。他の処理は、実施形態と同じである。
【0131】
図23は、変更後におけるステップ5の動画撮影処理を説明するためのフローチャートである。
まず、CPU2は、表カメラ7で対象者15の顔を撮影して、顔フレーム画像31をRAM4に記憶し(ステップ560)、更に、裏カメラ8で対象者15の指を撮影して、指フレーム画像32をRAM4に記憶する(ステップ565)。
【0132】
次に、CPU2は、撮影した顔フレーム画像31の数と指フレーム画像32の数を数えてRAM4に記憶し(ステップ570)、十分な時間これらフレーム画像を収集した否かを判断する(ステップ575)。
まだ、十分な時間収集していない場合(ステップ575;N)、CPU2は、ステップ560に戻って、更にフレーム画像を収集する。
【0133】
一方、十分な時間収集した場合(ステップ575;Y)、CPU2は、表カメラ7で収集した顔フレーム画像31を顔動画としてRAM4に記憶し、裏カメラ8で収集した指フレーム画像32を指動画としてRAM4に記憶する(ステップ580)。
ステップ570で記憶した顔フレーム画像31の数と、指フレーム画像32の数が、ステップ115(図13)のフレーム数取得に相当する。
【0134】
次に、CPU2は、フレームレートを取得してRAM4に記憶し(ステップ585)、時間ベクトルを設定してRAM4に記憶する(ステップ590)。
これらは、ステップ110、120(図13)と同様である。
他の処理は、先に説明した実施形態と同じである。
本変形例によれば、顔動画と指動画を十分な時間収集するごとに、血圧をリアルタイムで測定し、これを更新することができる。
【0135】
図24は、血圧測定装置1の性能を評価した図である。
図24(a)で太線で示した測定値45は、血圧測定装置1によって測定した最高血圧であって、細線で示した測定値46は、指に装着するタイプの一般に利用される血圧計で測定した最高血圧である。
縦軸は、最高血圧[mmHg]を表し、横軸は、血圧をサンプリングしたサンプルナンバーを表し、時間軸に対応している。
図に示したように、最高血圧は、時間と共に変動するが、両者は高い精度で一致している。
【0136】
図24(b)で太線で示した測定値47は、血圧測定装置1によって測定した最低血圧であって、細線で示した測定値48は一般の血圧計で測定した最低血圧である。
図に示したように、最低血圧は、時間と共に変動するが、これも両者は高い精度で一致している。
【0137】
以上に説明した実施形態で、特徴1は、次の構成を提供する。
(第1構成)対象者の第1の体表面を環境光下で撮影した第1の動画と、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を出力する出力手段と、を具備したことを特徴とする血圧測定装置。
(第2構成)前記脈波取得手段は、前記第1の動画からYIQ成分に含まれるQ成分を用いて第1の脈波を取得し、前記第2の動画からRGB成分に含まれるG成分を用いて第2の脈波を取得することを特徴とする第1構成の血圧測定装置。
(第3構成)前記脈波取得手段は、前記G成分を反転した値を用いて前記第2の脈波を取得することを特徴とする第2構成の血圧測定装置。
(第4構成)前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指であることを特徴とする第1構成、第2構成、又は第3構成の血圧測定装置。
(第5構成)第1の側に配設され、対象者の第1の体表面を撮影する第1のカメラと、前記第1の側と対向する第2の側に配設され、前記対象者の第2の体表面を所定の照明光で照明しながら撮影する第2のカメラと、前記第1のカメラで前記対象者の第1の体表面を環境光下で撮影した第1の動画を取得し、前記第2のカメラで前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を表示する表示手段と、を具備したことを特徴とする携帯端末。
(第6構成)対象者の第1の体表面を環境光下で撮影した第1の動画と、前記対象者の第2の体表面を所定の照明光下で撮影した第2の動画を取得する動画取得機能と、前記取得した第1の動画と第2の動画のそれぞれから、異なる種類の色成分の時間変化を用いて、前記第1の動画から第1の脈波を取得し、前記第2の動画から第2の脈波を取得する脈波取得機能と、前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得機能と、前記取得した血圧を出力する出力機能と、をコンピュータで実現する血圧測定プログラム。
【0138】
特徴2は、次の構成を提供する。
(第21構成)対象者の第1の体表面を撮影した第1の動画と、前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画の色を構成する成分の変化から第1の脈波を取得し、前記取得した第2の動画の色を構成する成分の変化から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波の波形の全体と、前記取得した第2の脈波の波形の全体と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を出力する出力手段と、を具備したことを特徴とする血圧測定装置。
(第22構成)前記遅れ取得手段は、前記第1の脈波の波形と、前記第2の脈波の波形と、の間の相関関係を用いて前記伝搬の遅れを取得することを特徴とする第21構成の血圧測定装置。
(第23構成)前記遅れ取得手段は、前記第1の脈波の波形と、前記第2の脈波の波形と、のうちの少なくとも一方を時間方向にシフトしながら、前記シフトごとの相関関係を取得し、当該相関関係が最大となるシフト量を前記伝搬の遅れとして取得することを特徴とする第22構成の血圧測定装置。
(第24構成)前記第1の脈波の波形と前記第2の脈波の波形のうち、心臓から遠い方の前記体表面で撮影した動画から取得した脈波が遅れる範囲で前記相関関係のピークを探索し、前記探索したピークの位置によって前記シフト量を取得することを特徴とする第23構成に記載の血圧測定装置。
(第25構成)前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指であることを特徴とする第21構成から第24構成までのうちの何れか1の構成に記載の血圧測定装置。
(第26構成)第1の側に配設され、対象者の第1の体表面を撮影する第1のカメラと、前記第1の側と対向する第2の側に配設され、前記対象者の第2の体表面を撮影する第2のカメラと、前記第1のカメラで前記対象者の第1の体表面を撮影した第1の動画を取得し、前記第2のカメラで前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画の色を構成する成分の変化から第1の脈波を取得し、前記取得した第2の動画の色を構成する成分の変化から第2の脈波を取得する脈波取得手段と、前記取得した第1の脈波の波形の全体と、前記取得した第2の脈波の波形の全体と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を表示する表示手段と、を具備したことを特徴とする携帯端末。
(第27構成)対象者の第1の体表面を撮影した第1の動画と、前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得機能と、前記取得した第1の動画の色を構成する成分の変化から第1の脈波を取得し、前記取得した第2の動画の色を構成する成分の変化から第2の脈波を取得する脈波取得機能と、前記取得した第1の脈波の波形の全体と、前記取得した第2の脈波の波形の全体と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得機能と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得機能と、前記取得した血圧を出力する出力機能と、をコンピュータで実現する血圧測定プログラム。
【0139】
特徴3は、次の構成を提供する。
(第31構成)対象者の第1の体表面を撮影した第1の動画と、前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画の色を構成する成分の変化と、前記取得した第2の動画の色を構成する成分の変化から、それぞれ、前記第1の動画のフレームレートと、前記第2の動画のフレームレートに応じた離散的な第1の脈波と離散的な第2の脈波を取得する脈波取得手段と、前記取得した離散的な第1の脈波と離散的な第2の脈波の、それぞれの離散値を補間する補間手段と、前記補間した第1の脈波の波形と、前記補間した第2の脈波の波形と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を出力する出力手段と、を具備したことを特徴とする血圧測定装置。
(第32構成)前記遅れ取得手段は、前記第1の脈波の波形と、前記第2の脈波の波形と、の間の相関関係を用いて前記伝搬の遅れを取得することを特徴とする第31構成の血圧測定装置。
(第33構成)前記遅れ取得手段は、前記補間した第1の脈波の波形と、前記補間した第2の脈波の波形と、のうちの少なくとも一方を時間方向にシフトしながら、前記シフトごとの相関関係を取得し、当該相関関係が最大となるシフト量を前記伝搬の遅れとして取得することを特徴とする第32構成の血圧測定装置。
(第34構成)前記第1の体表面は前記対象者の顔であり、前記第2の体表面は前記対象者の指であることを特徴とする第31構成、第32構成、又は第33構成の血圧測定装置。
(第35構成)第1の側に配設され、対象者の第1の体表面を撮影する第1のカメラと、
前記第1の側と対向する第2の側に配設され、前記対象者の第2の体表面を撮影する第2のカメラと、前記第1のカメラで前記対象者の第1の体表面を撮影した第1の動画を取得し、前記第2のカメラで前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得手段と、前記取得した第1の動画の色を構成する成分の変化と、前記取得した第2の動画の色を構成する成分の変化から、それぞれ、前記第1の動画のフレームレートと、前記第2の動画のフレームレートに応じた離散的な第1の脈波と離散的な第2の脈波を取得する脈波取得手段と、前記取得した離散的な第1の脈波と離散的な第2の脈波の、それぞれの離散値を補間する補間手段と、前記補間した第1の脈波の波形と、前記補間した第2の脈波の波形と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得手段と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得手段と、前記取得した血圧を表示する表示手段と、を具備したことを特徴とする携帯端末。
(第36構成)対象者の第1の体表面を撮影した第1の動画と、前記対象者の第2の体表面を撮影した第2の動画を取得する動画取得機能と、前記取得した第1の動画の色を構成する成分の変化と、前記取得した第2の動画の色を構成する成分の変化から、それぞれ、前記第1の動画のフレームレートと、前記第2の動画のフレームレートに応じた離散的な第1の脈波と離散的な第2の脈波を取得する脈波取得機能と、前記取得した離散的な第1の脈波と離散的な第2の脈波の、それぞれの離散値を補間する補間機能と、前記補間した第1の脈波の波形と、前記補間した第2の脈波の波形と、を用いて前記取得した第1の脈波と第2の脈波の間の伝搬の遅れを取得する遅れ取得機能と、前記取得した伝搬の遅れを用いて前記対象者の血圧を取得する血圧取得機能と、前記取得した血圧を出力する出力機能と、をコンピュータで実現する血圧測定プログラム。
【0140】
以上のように、血圧測定装置1は、スマートフォンを用いた相対血圧測定手段を提供する。ここで、特徴1~特徴3について、従来、本実施形態と効果をまとめると次のようになる。
(特徴1)
従来は、スマートフォンで血圧を測定する場合、スマートフォンの表面カメラ(顔を撮影)と裏面カメラ(指を撮影)の映像からR-G成分によって相対血圧を測定している。
本実施形態では、表面カメラ(顔を撮影)の映像では、H成分とS成分(測定領域の抽出)とQ成分(顔信号)を用いる。裏面カメラ(指を撮影)の場合、スマートフォンの照明を用いてG成分(指信号)を用いることで、動きと光外乱の対策により脈波信号(顔信号、指信号)の信頼性を強化することができる。
【0141】
(特徴2)
従来は、スマートフォンで血圧を測定する場合、スマートフォンの表面カメラ(顔を撮影)と裏面カメラ(指を撮影)の映像からR-G成分を抽出する。そして、抽出した波形のピークの時間差から相対血圧を測定している。
本実施形態では、ピークではなく、波全体の波形を用いる(相関手法)、ことで、脈波の遅れ(及び血圧)を精度高く測定することができる。
【0142】
(特徴3)
従来は、スマートフォンで血圧を測定する場合、スマートフォンの表面カメラ(顔を撮影)と裏面カメラ(指を撮影)の映像によって相対血圧を測定している。しかし、スマートフォンに用いられているカメラの大部分は30~60[fps]のため、血圧を測定する場合の分解能が足りない。
本実施形態では、映像から抽出した脈波をスプライン補間し、補間後の脈波に対して相関手法を適用することで、高い分解能(時間分解能)で血圧を推定・測定することができる。
【符号の説明】
【0143】
1 血圧測定装置
2 CPU
3 ROM
4 RAM
5 ディスプレイ
6 タッチパネル
7 表カメラ
8 裏カメラ
9 照明
10 記憶部
15 対象者
16、17、19 指信号
18、20 顔信号
25 塊領域
26 測定領域
31 顔フレーム画像
32 指フレーム画像
36 顔データ点(補間前)
37 顔データ点(補間後)
38 スプライン曲線
45、46 測定値(最高血圧)
47、48 測定値(最低血圧)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24