【文献】
西舘 泉 他,”皮膚のRGB画像を用いた容積脈波の非接触計測”,電気学会研究会資料 光・量子デバイス研究会 OQD−11−030〜037,2011年 9月26日,pp.11-15
(58)【調査した分野】(Int.Cl.,DB名)
前記被写体検出ステップにより前記画像から前記2つの部位を検出できない場合には、前記2つの部位の再撮像を通知する通知ステップを更に備える請求項2に記載の脈波伝播速度の測定方法。
前記画像データを構成する複数の画像のうち、第1の画像において前記2つの部位が存在する領域を追尾領域として設定し、前記追尾領域の画像から特徴量を抽出し、前記第1の画像に時系列的に後続する第2の画像において、前記特徴量との類似度が最も高くなる画像領域を前記2つの部位が存在する領域として検出することで前記2つの部位の追尾処理を行う追尾処理ステップを含む請求項1〜3のいずれか1項に記載の脈波伝播速度の測定方法。
前記補間ステップは、あらかじめ用意された複数の波形モデルの中から前記2つの部位の時間的な画素値変化に最もフィッティングする波形モデルを選択し、前記選択した波形モデルに基づいて前記補間データを生成する請求項9に記載の脈波伝播速度の測定方法。
【発明を実施するための形態】
【0019】
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
【0020】
(第1の実施形態)
最初に、本発明の第1の実施形態に係る脈波伝播速度システムの概要について説明する。
【0021】
図1は、本実施形態の脈波伝播速度の測定システムの全体構成を示す概略図である。
図1に示すように、本実施形態の脈波伝播速度の測定システムは、撮像装置100と、脈波伝播速度算出装置(以下、「PWV算出装置」という。)200とを備える。撮像装置100とPWV算出装置200は、例えばインターネットなどのネットワーク300を介して各種データを送受信可能に接続される。
【0022】
撮像装置100は、例えば、スマートフォン、カメラ付き携帯電話、デジタルカメラ、ビデオカメラ、Webカメラなどの一般的な撮像機能(可視光カメラ)付き端末装置で構成される。本例では、撮像装置100は、スマートフォンにより構成される。撮像装置100は、人体の異なる2箇所の部位(以下、「測定部位」ともいう。)を非接触状態で撮像し、時系列的に連続した画像データ(RGB形式の画像データ)を出力する。画像データは、動画データに限らず、複数の静止画データでもよい。本例では、画像データが複数のフレーム画像からなる動画データで構成される場合を一例に説明する。
【0023】
撮像装置100によって撮像される測定部位としては、人体の離れた位置における皮膚領域であれば特に限定されるものではないが、一般の利用者の利便性を考慮すると、顔領域と手領域であることが好ましく、その中でも特に頬領域と手のひら領域であることが好ましい。人体の皮膚領域は脈波(脈動)に応じて血流量が変化するので、後述するPWV算出装置200において、その皮膚領域における画素値の時間的な変化(皮膚の色変化)を検出することによって、脈波に応じて振幅が変化する脈波信号(脈波データ)を取得することができる。また、頬領域と手のひら領域は、顔領域や手領域における他の領域と比べて皮膚領域が広く、ノイズの影響をできるだけ抑えた状態で皮膚の色変化を確実に検出することが可能となる。
【0024】
PWV算出装置200は、一般的なパーソナルコンピュータで構成され、例えば、病院などの医療施設等に設置される。PWV算出装置200は、撮像装置100によって撮像した人体の異なる2箇所の部位(測定部位)を含む画像データに基づき、各測定部位における画素値変化を検出することによって、脈波に対応して振幅が変化する脈波信号(脈波データ)を取得する。そして、各測定部位における脈波信号の時間差から脈波伝播速度を算出し、その結果をモニタなどの表示部に出力する。なお、各測定部位の画素値変化については、RGB画像の各色成分のうち、R成分、G成分、又はB成分の画素値の時間的な変化を検出すればよい。
【0025】
本実施形態の脈波伝播速度の測定システムによれば、撮像装置100がスマートフォン、カメラ付き携帯電話、デジタルカメラ、ビデオカメラなどで構成され、人体の異なる2箇所の部位(測定部位)を非接触状態で撮像した画像データを用いて脈波伝播速度の測定が行われるので、一般の利用者が日常的に利用しやすく、低コストで、姿勢等の影響を受けることなく、高精度な測定が可能となる。以下、脈波伝播速度の測定システムを構成する各部の構成について説明する。
【0026】
図2は、撮像装置100の構成を示すブロック図である。
図2に示すように、撮像装置100は、撮像部102と、制御部104と、記憶部106と、表示部108と、操作部110と、通信部112と、被写体検出部116と、追尾処理部118と、撮影支援部119とを備える。
【0027】
撮像部102は、撮影レンズと、可視光を受光する可視光用撮像素子(例えばCCDセンサやCMOSセンサ)を備え、撮影レンズにより撮像素子に結像される被写体像をその撮像素子において電気信号に変換し画像データとする。さらに、撮像部102は、画像データに対してノイズリダクション処理、黒レベル減算処理、混色補正、シェーディング補正、ホワイトバランス補正、ガンマ補正、同時化処理、RGB/YC変換処理等の信号処理を施す。本例では、撮像部102からRGB形式の画像データが出力される。
【0028】
表示部108は、例えば、液晶や有機ELなどで構成されるディスプレイ(例えば、タッチパネルディスプレイなど)であって、撮像部102で取得される画像データ、撮像装置100を操作するためのGUI(Graphical User Interface)などを表示する。
【0029】
通信部112は、後述するPWV算出装置200の通信部202とインターネットなどのネットワークを介して各種データの送受信を行う。
【0030】
記憶部106は、例えば、ROM(Read Only Memory)やRAM(Random Access Memory)などにより構成され、制御部104で実行されるオペレーションシステムのプログラム及び各種アプリケーションソフトなどや撮像部102で取得される画像データなどを記憶する。
【0031】
制御部104は、例えば、CPUやマイクロコンピュータなどにより構成され、記憶部106に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより撮像装置100全体の動作制御を行う。
【0032】
撮影支援部119(本発明の「ガイド枠表示部」に相当)は、例えば、CPUやマイクロコンピュータなどにより構成され、表示部108の画面上に撮影ガイド枠を撮影画像に合成して表示する処理を行う。例えば、撮像装置100において動画撮影が開始されると、
図3や
図4に示すように表示部108の画面上には撮影ガイド枠として顔ガイド枠140と手ガイド枠142が表示される。撮影ガイド枠の形状は特に限定されず、各種形状のものとすることができる。また、表示部108の画面の上部には、例えば「枠内に顔と手を撮影してください」と通知メッセージ144が表示される。これにより、利用者は、
図5に示すように、顔ガイド枠140と手ガイド枠142に合わせた位置と大きさで顔と手を動画撮影するようになる。このため、適切な位置で撮影された顔と手の画像データを取得することが可能となり、各測定部位における脈波データを精度良く求めることができる。
【0033】
なお、顔ガイド枠140や手ガイド枠142、通知メッセージ144などの撮影支援機能については、利用者がこれらの表示/非表示を選択的に選べるようにしてもよい。例えば
図5に示した例では、通知メッセージ144は非表示とされている。
【0034】
操作部110は、テンキーや各種の機能を選択するためのボタン、又はタッチパネル等によって構成され、表示部108とともにGUIを構成している。操作部110は、動画撮影を開始又は終了するための入力操作等、各種操作に用いられる。
【0035】
被写体検出部116は、撮像部102で取得された画像データのうち、例えば最初に入力されたフレーム画像(初期フレーム画像)から特定の被写体領域として人体の異なる2箇所の部位(第1及び第2測定部位)を検出する。本例では、第1測定部位として頬領域を検出し、第2測定部位として手のひら領域を検出する。各測定部位を検出する方法としては、例えば、パターンマッチングによる方法、あるいは、人物の顔や手の多数のサンプル画像を用いた学習により得られた判別器を用いる方法などを用いることができる。また、ROMにあらかじめ人体の顔を登録しておき、被写体の検出後に顔認識を行うことにより、特定の顔を認識するようにしてもよい。また、表示部108の画面上には、
図5に示すように、被写体領域として検出した各測定部位(すなわち、頬領域と手のひら領域)に対応した位置に被写体枠150、152が表示される。
【0036】
図6は、被写体検出部116の構成を示すブロック図である。
図6に示すように、被写体検出部116は、被写体の人体領域を検出する人体領域検出部120と、人体領域から顔領域を検出する顔領域検出部122と、人体領域から手領域を検出する手領域検出部124とを備える。さらに、被写体検出部116は、顔領域から頬領域を検出する頬領域検出部126と、顔領域から額領域を検出する額領域検出部128と、手領域から手のひら領域を検出する手のひら領域検出部130と、手領域から手の指領域を検出する手の指領域検出部132とを備える。このように被写体検出部116を構成することにより、人体領域から細部にわたって段階的に各部を検出することができる。
【0037】
なお、複数の顔領域や手領域が検出された場合には顔領域と手領域の関連付けが困難となることから、利用者にエラーメッセージを通知して再撮影を促すことが望ましい。ただし、顔領域が1箇所で手領域が2箇所に検出された場合には同一人物である可能性が高いことから、その場合にはこれらの領域を被写体領域として検出してもよい。
【0038】
図2に戻り、追尾処理部118は、被写体検出部116において検出された第1及び第2測定部位である頬領域と手のひら領域を追尾領域として追尾処理を行う。具体的には、前フレーム画像内の追尾領域における画像の特徴量と、現フレーム画像の追尾候補領域における画像の特徴量との類似度が最も高くなる領域(この領域が原フレーム画像における追尾領域となる)を、現フレーム画像の中から探索する。
【0039】
追尾領域を特定する情報には、例えば、追尾領域の位置を示す情報や追尾領域の色及び輝度を示す情報などが含まれている。追尾処理部118は、記憶部106から現フレーム画像を取得すると、前フレーム画像で特定された追尾領域の位置近辺の所定領域における追尾領域の色および輝度に近い領域を、現フレーム画像から検出して追尾領域を特定する。そして、追尾処理部118は、現フレーム画像で特定された追尾領域の位置、並びに、追尾被写体の色及び輝度に基づいて、記憶部106に順次記憶されるフレーム画像から追尾領域を特定することを繰り返して行う。このように追尾処理が行われ、追尾処理部118は、追尾領域である各測定部位(第1及び第2測定部位)を撮像するのに最適となるように各種の撮像パラメータ(フォーカスや明るさなど)を調整する。
【0040】
図7は、PWV算出装置200の構成を示すブロック図である。
図7に示すように、PWV算出装置200は、通信部202と、記憶部204と、表示部206と、操作部208と、制御部210と、演算部212と備える。なお、PWV算出装置200は、物理的に1台のコンピュータで構成されていることに限らず、互いにネットワークに接続された複数台のコンピュータで構成されていてもよい。
【0041】
記憶部204は、例えば、ROM、RAM、又はHDD(Hard Disk Drive)などにより構成され、制御部210で実行されるオペレーションシステムのプログラム及び各種アプリケーションソフトなどを記憶する。また、記憶部204は、撮像装置100から取得した画像データを一時的に記憶する画像メモリとして機能する。
【0042】
表示部206は、カラー表示が可能な液晶モニタ等のディスプレイで構成され、制御部210から出力された各種管理情報等を表示する。
【0043】
操作部208は、マウス、キーボード等からなる。操作部208により操作された結果は制御部210へ入力され、入力が行われたか否か、どのボタンへの入力が行われたか等が検出される。
【0044】
通信部202は、撮像装置100の通信部112とインターネットなどのネットワークを介してデータの送受信を行う。
【0045】
制御部210は、例えば、CPUやマイクロコンピュータなどにより構成され、記憶部204に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することによりPWV算出装置200全体の動作制御を行う。
【0046】
演算部212は、例えば、CPUやマイクロコンピュータなどにより構成され、制御部210からの指示に従って各種演算処理を行う。
【0047】
図8は、演算部212の構成を示すブロック図である。
図8に示すように、演算部212は、領域検出部226、領域追跡部227、脈波検出部216、脈拍数算出部218、脈波伝播速度算出部220、健康状態推定部222、及び出力部224を備える。
【0048】
領域検出部226及び領域追跡部227は、画像データの各フレーム画像の中から第1及び第2測定部位を抽出するための機能ブロックであり、撮像装置100における被写体検出部116及び追尾処理部118と同様の処理が行われる。すなわち、領域検出部226によって、例えば最初に入力されたフレーム画像(初期フレーム画像)の中から第1及び第2測定部位として頬領域と手のひら領域を検出した後、これらの領域を追尾領域として、これに続くフレーム画像について領域追跡部227により追尾処理を行う。この追尾処理の結果(追尾情報)については脈波検出部216に対して出力される。なお、PWV算出装置200が、撮像装置100の追尾処理部118による追尾処理の結果(追尾情報)を取得できる場合にはその追尾情報を利用することができる。この場合、演算部212には、領域検出部226及び領域追跡部227を設けなくてもよい。
【0049】
脈波検出部216は、領域追跡部227又は撮像装置100の追尾処理部118から取得した追尾情報に基づいて各フレーム画像の中から各測定部位を抽出し、各測定部位における画素値変化を検出する。具体的には、例えば
図9に示すように、各フレーム画像F
0〜F
nにおいて、頬領域(第1測定部位)に属する各画素の画素値の平均画素値D1と、手のひら領域(第2測定部位)に属する各画素の画素値の平均画素値D2とを求める。これにより、例えば
図10に示すような画素値変化を示すグラフが得られる。なお、
図10において、横軸はフレーム番号(時間軸)であり、縦軸は画素値(平均値)である。また、
図10において実線で示した波形は、各フレーム画像における各測定部位の画素値(黒丸部分)から算出したものであり、この波形が脈波に対応した振幅を有する脈波信号(脈波データ)となる。
【0050】
ところで、各フレーム画像の画素値(
図10の黒丸部分)から脈波信号を求める際、フレームレートが高ければ脈波信号を高い時間分解能で求めることが可能であるが、一般の利用者が日常的に利用するカメラはフレームレートが30fps以下であり、数ミリ秒の時間分解能が必要となる自律神経状態の推定が困難となる場合が考えられる。なお、血圧や脈拍の測定だけなら100ミリ秒程度の時間分解能で十分である。
【0051】
そこで、本実施形態では、画像データが30fps以下のフレームレートである場合でも、脈波信号を高い時間分解能で求めることができるようにするために、例えば
図11に示すような複数の脈波信号モデル(波形モデル)P
1〜P
nが記憶部204にあらかじめ記憶されている。そして、記憶部204から脈波検出部216に対して各脈波信号モデルP
1〜P
nが与えられるようになっている(
図8参照)。なお、各脈波信号モデルP
1〜P
nは互いに異なる複数の波形パターン(脈波波形)からなる。
【0052】
脈波検出部216は、本発明の「補間ステップ」として、各脈波信号モデルP
1〜P
nに対して各測定データ(各フレーム画像の画素値)をそれぞれフィッティングして、その中で最も類似度が高い脈波信号モデルを選択する。そして、選択した脈波信号モデルを用いて、取得できていないフレーム画像間の画素値変化を推定する。これにより、画像データが30fps以下のフレームレートである場合においても、フレーム画像間における未取得の画素値変化を脈波信号モデルに基づいて推定することができ、
図10に示すような脈波信号を高い時間分解能で精度良く求めることが可能となる。
【0053】
図12は、第1及び第2測定部位の画素値変化と心電波形との関係を示した図である。
図12に示すように、各測定部位の画素値変化と心電波形とは相関性があり、脈波(脈動)に応じて振幅が変化する脈波信号(脈波データ)として各測定部位の画素値変化を用いることができる。これは、人体の顔や手の皮膚領域は心拍に応じて血流量が変化するためであり、各測定部位における画素値は脈波(脈動)に応じて振幅が変化する。したがって、皮膚領域である人体の顔領域や手領域(好ましくは頬領域や手のひら領域)の画素値変化を検出することによって、脈波に応じて振幅が変化する脈波信号(脈波データ)として用いることができる。このようにして検出された各測定部位の脈波信号は、脈拍数算出部218及び脈波伝播速度算出部(以下、PWV算出部という。)220に出力される。
【0054】
本実施形態において、各測定部位の画素値を算出する前に、画像データに対して空間フィルタを使用したフィルタリング処理を施しておくことが好ましい。具体的には、各フレーム画像において第1及び第2測定部位が抽出された後、各測定部位に属する全画素に対し、注目画素とその周辺画素(M×N画素)の画素値を使用して注目画素の画素値を変換する。空間フィルタとしては、平滑化フィルタ(例えば平均化フィルタ)、メディアンフィルタ、又は、これらのフィルタを組み合わせて好ましく用いることができる。フィルタサイズとしては、例えば3×3、5×5、7×7画素のものが用いられ、画素値の変動量に応じて決めればよい。
【0055】
このように画像データに対して空間フィルタを使用したフィルタリング処理を施すことによって、皮膚の色のばらつき、電気的なノイズ、光の当たり方、体の移動、カメラの移動、各測定部位の検出誤差などに起因するノイズの影響を受けることなく、各測定部位の画素値変化を精度良く検出することができる。また、画像データに対してノイズ低減の処理をした後の時間信号としての脈波信号には、未だノイズ成分が残っている場合がある。これに対しては、脈波信号に対して周波数平滑化フィルタ、トリムド平均値フィルタ、メディアンフィルタなどのノイズ低減処理を行ってもよい。
【0056】
また、空間フィルタに代えて、又は空間フィルタと組み合わせて、2次元の空間周波数フィルタを使用したフィルタリング処理を施してもよい。これによれば、画像データから不要な周波数のノイズ成分を除去することができる。また、外れ値処理を行ってもよい。
【0057】
図8に戻り、脈拍数算出部218は、脈波検出部216で検出された各測定部位の脈波信号に基づき、各測定部位における脈拍数を算出し、その結果を健康状態推定部222及び出力部224に対して出力する。
【0058】
PWV算出部220は、脈波検出部216で検出された各測定部位の脈波信号に基づき、脈波伝播速度を算出し、その算出結果を健康状態推定部222及び出力部224に対してそれぞれ出力する。具体的には、例えば
図13に示すように、脈波検出部216で検出された各測定部位の脈波信号の基準点(例えば立ち上がり点)の時間差(脈波伝播時間)T[秒]を求め、各測定部位間の心臓からの距離差をL[m]としたとき、次式(1)によって脈波伝播速度V[m/秒]を算出することができる。
【0059】
V=L/T …(1)
なお、脈波伝播速度Vは脈波検出部216で検出された各測定部位の脈波信号と同時に求めるものであってもよい。
【0060】
また、脈波伝播時間T[秒]は次式(2)によっても求めることができる。
【0061】
T=(C/360)×(tan
-1(H(y)/y)‐tan
-1(H(x)/x))…(2)
ここで、xとyはある2つの測定部位の脈波信号であり、H(x)とH(y)はそれぞれのヒルベルト変換であり、C[秒]は脈波信号xまたはyの周期、あるいは両者の平均値である。
【0062】
なお、距離Lについては、あらかじめメモリ(不図示)に測定部位の組み合わせ毎に複数パターンを登録しておき、被写体検出部116で検出された被写体(測定部位)に応じて決定するようにしてもよい。例えば、年齢、性別、身長、体重などの体型情報をユーザが入力すると、その体型情報に最も適合する距離Lを決定するようにしてもよい。
【0063】
健康状態推定部222は、脈拍数算出部218で算出された脈拍数と、PWV算出部220で算出された脈波伝播速度とに基づき、撮像装置100で撮像された人体の健康状態を推定する。この健康状態推定部222は、血圧を推定する血圧推定部228と、動脈硬化状態を推定する動脈硬化状態推定部230と、自律神経活動状態を推定する自律神経活動状態232とを備え、これらの推定結果を出力部224に対して出力する。
【0064】
出力部224は、演算部212で求められた各種情報(すなわち、脈拍数、脈拍伝播速度、血圧、動脈硬化状態、及び自律神経活動状態)を、例えば表示部206や記憶部204などに出力する。
【0065】
なお、本実施形態において、PWV算出部220から健康状態推定部222に対し脈波伝播時間Tを出力し、健康状態推定部222において脈波伝播時間Tを利用して人体の健康状態を推定するようにしてもよい。
【0066】
具体的には、人体に刺激を与える前の脈波伝播時間T
1と、人体に刺激を与えた後の脈波伝播時間T
2との差R(すなわち、R=|T
2−T
1|)を求め、その差Rから人体の精神的・身体的状態を推定することができる。健常者は刺激により大きく変化するが、健康でない場合には変化が小さい。生体に与える刺激としては、以下のようなものが考えられる。
【0067】
五感に対する刺激:フラッシュ、良いにおい、大きな音、酢を口に入れる等
精神的な刺激:話しかける、映像を見せる、音楽を聞かせる等
筋肉への刺激:走る、立ち上がる、重いものを持ち上げる等
次に、第1の実施形態において行われる処理について説明する。
図14は、第1の実施形態において撮像装置100で行われる処理を示すフローチャートである。
【0068】
まず、本発明の「撮像ステップ」としての動画撮影が開始される(ステップS10)。具体的には、
図15に示すように、撮像装置100の表示部108の画面上に「動画撮影メニュー」が表示されている状態において、ユーザによって「脈波伝播速度測定モード」が選択されると、制御部104により、撮像部102における動画撮影が開始される。また、「脈波伝播速度測定モード」の動作オプションとして測定部位を選択するサブメニューが用意されており、デフォルトでは測定部位(第1及び第2測定部位)として顔と手が選択されている。測定部位を変更する場合には、このサブメニューを開いて、測定部位に対応するチェックボックスを選択又は非選択とすることにより、所望の測定部位に変更することができる。なお、利用者が自分の撮影を行う場合には撮像装置100のインカメラ機能が用いられる。
【0069】
このようにして動画撮影が開始されると、撮影支援部119により、表示部108の画面上に撮影ガイド枠が表示される(ステップS12)。例えば
図3や
図4に示すように、表示部108の画面上に顔ガイド枠140と手ガイド枠142が表示される。このように表示部108の画面上に測定部位に対応した撮影ガイド枠を表示することで、例えば
図5に示すように、利用者は、顔ガイド枠140及び手ガイド枠142にそれぞれ対応した位置、大きさで顔と手を撮影するようになる。これによって、各測定部位の位置や大きさを特定しやすくなるので、測定部位の検出処理や追尾処理に要する時間を短縮化できるとともに安定かつ高精度に測定を行うことが可能となる。
【0070】
次に、本発明の「被写体検出ステップ」としての被写体検出処理が行われる(ステップS14)。具体的には、被写体検出部116において、撮像部102で取得された画像データのうち、例えば最初に入力されたフレーム画像(初期フレーム画像)において、特定の被写体領域として人体の異なる2箇所の部位(第1及び第2測定部位)が検出される。
【0071】
図16は被写体検出処理のフローチャートである。まず、被写体検出部116の人体領域検出部120が、被写体の人体領域を検出し(ステップS30)、次に、顔領域検出部122が顔領域を検出し、さらに頬領域検出部126及び額領域検出部128により頬領域と額領域を検出する(ステップS32)。次に、手領域検出部124が手領域を検出し、手のひら領域検出部130及び手の指領域検出部132により手のひら領域と手の指領域を検出する(ステップS34)。そして、被写体検出処理を終了する。
【0072】
図14に戻り、被写体検出部116により頬領域と手のひら領域が検出されたか否かを判定する(ステップS16)。ステップS14が肯定されると、追尾処理部118は、頬領域と手のひら領域を追尾領域として設定し、
図5に示すように、各追尾領域に追尾枠154、156を表示部108の画面上に表示する(ステップS18)。なお、追尾枠154、156は、被写体枠150、152の表示色を変更したものである。そして、追尾処理部118は、本発明の「追尾処理ステップ」として、これらの追尾領域について追尾処理を行う(ステップS20)。追尾処理では、前フレーム画像内の追尾領域における画像の特徴量と、現フレーム画像の追尾候補領域における画像の特徴量との類似度が最も高くなる領域(この領域が原フレーム画像における追尾領域となる)を、現フレーム画像の中から探索する。
【0073】
次に、追尾処理部118は、追尾処理が正常に行われているか否か(すなわち、現フレーム画像の中から前フレーム画像内の追尾領域と類似が高くなる領域が検出されたか否か、及び、並行して実施した領域検出処理結果との位置関係が保たれているか)を判定する(ステップS22)。ステップS22が肯定されると、追尾処理部118は、制御部104を介して、追尾領域を撮像するのに最適となるように各種の撮像パラメータ(フォーカスや明るさなど)を調整する(ステップS24)。
【0074】
一方、ステップS16又はステップS22が否定された場合には、領域検出処理又は追尾処理が適切に行われていないため、本発明の「通知ステップ」として、利用者に被写体の再撮像を通知する通知メッセージを表示部108の画面上に表示する(ステップS29)。そして、ステップS14に戻り、領域検出処理以降の処理を再び行う。なお、制御部104及び表示部108が本発明の「通知部」に相当する。
【0075】
ステップS24が行われた後、動画撮影の終了指示が行われたか否かが判定される(ステップS26)。ステップS26が否定された場合には、ステップS20に戻り、被写体追尾処理以降の処理を繰り返し行う。一方、ステップS26が肯定された場合には、制御部104による制御によって動画撮影を終了する(ステップS26)。その後、操作部110を操作することによって画像データの送信指示が行われると、ネットワークを介してPWV算出装置200に画像データを送信し(ステップS28)、すべての処理を終了する。
【0076】
図17は、第1の実施形態においてPWV算出装置200で行われる処理を示すフローチャートである。
【0077】
図17に示すように、PWV算出装置200は、撮像装置100から送信された画像データを取得する(ステップS40)。PWV算出装置200で取得された画像データは記憶部204に一旦記憶される。
【0078】
次に、演算部212は、記憶部204に記憶された画像データを読み出し、脈波伝播速度を算出するための解析処理を行う(ステップS42)。
【0079】
そして、演算部212は、解析処理により得られた結果(脈拍数、脈拍伝播速度、血圧、動脈硬化状態、及び自律神経活動状態)を出力する(ステップS44)。
【0080】
ここで、演算部212で行われる解析処理について説明する。
図18は、画像解析処理のフローチャートである。
【0081】
まず、脈波検出部216は、記憶部204に記憶された画像データを取得する(ステップS50)。なお、脈波検出部216は、撮像装置100から画像データを直接取得してもよい。
【0082】
次に、脈波検出部216は、本発明の「脈波検出ステップ」として、撮像装置100から出力された画像データに基づき、人体の異なる2箇所の部位(第1及び第2測定部位)である頬領域と手のひら領域における画素値変化をそれぞれ検出することによって、各測定部位における脈波信号(脈波データ)を取得する(ステップS52、S54)。
【0083】
次に、脈波伝播速度算出部220は、本発明の「脈波伝播速度算出ステップ」として、各測定部位における脈波信号の時間差から脈波伝播速度を算出する(ステップS56)。
【0084】
次に、健康状態推定部222が、本発明の「健康状態推定ステップ」として、脈波伝播速度算出部220で算出された脈波伝播速度に基づき、撮像装置100で撮像された人体の健康状態として、血圧、動脈硬化状態、及び自律神経活動状態を推定する(ステップS58)。
【0085】
このようにして求められた各種情報(脈波伝播速度、血圧、動脈硬化状態、及び自律神経活動状態)は、例えば
図19に示すように、PWV算出装置200の表示部206の画面上に表示される。これにより、PWV算出装置200が設置される病院等において、医師は、この表示部206の画面上に表示された各種情報を確認することにより、撮像装置100によって撮像された利用者(患者等)と直接対面することなく、遠隔で利用者の健康状態を容易に把握することが可能となる。また、利用者の体調変化を早期段階で把握することができるので、病気を未然に防ぐことが可能となる。一方、利用者にとっては、簡単な方法で健康状態を測定することができ、利便性が向上する。また、脈波伝播速度、血圧、動脈硬化状態、及び自律神経活動状態は、
図20に示すように、撮像装置100の表示部108の画面上に表示してもよい。これにより、撮像装置100の利用者は、自分の健康状態を日常的に把握することが可能となる。
【0086】
以上のとおり、本実施形態によれば、単一の可視光カメラにより非接触状態で人体の異なる2箇所の部位(第1及び第2測定部位)を同時に撮像した画像データに基づいて脈波伝播速度が求められるので、一般の利用者が日常的に利用でき、低コストで、姿勢等の影響を受けることなく、脈波伝播速度の測定精度を向上させることが可能となる。また、各測定部位には非接触状態で画像データの撮像が行われるので、脈波センサを装着する場合とは違って外部からの圧力による影響を受けることなく安定かつ高精度に脈波伝播速度を求めることができる。
【0087】
なお、本実施形態では、PWV算出装置200において脈波伝播速度の算出処理や健康状態の推定処理を行うようにしたが、これに限らず、撮像装置100でこれらの処理を実施するようにしてもよい。これによれば、人体の異なる2箇所の部位の撮像しながら脈波伝播速度などをリアルタイムで算出することができ、撮像装置100の利用者は簡単に自分の健康状態を把握することができる。
【0088】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。以下、第1の実施形態と共通する部分については説明を省略し、本実施形態の特徴的部分を中心に説明する。
【0089】
図21は、第2の実施形態に係るPWV算出装置200の演算部212の構成を示すブロック図である。
図21中、
図8と共通する構成要素には同一の符号を付し、その説明を省略する。
【0090】
第2の実施形態では、演算部212には、各フレーム画像において照明光の光量又は色の時間的な変化を検出するために基準領域における画素値の時間的な変化(皮膚の色変化)を検出する基準領域検出部234が設けられる。なお、基準領域検出部234は、本発明の「光情報検出ステップ」を行う処理部である。以下では、照明光の光量が時間的に変化する場合を一例に説明するが、照明光の色が時間的に変化する場合についても同様である。
【0091】
基準領域とは、照明光の光量の時間的な変化を検出するための領域である。このため、脈動(血流)で画素値が変化せず、測定対象となる人体の体表面と同じ照明変動が観測できる部位であることが必要である。また、基準領域としては、領域のばらつきが小さく、ある程度広い領域であることが望ましい。これらのことから、基準領域としては、皮膚以外の領域が好ましく、例えば、衣類、眼鏡、白目、歯、基準シールなどが考えられる。また、これらの中でも白目がより好ましく、利用者の状態に左右されることなく、照明光の明るさ、色の時間的な変化を安定かつ確実に検出することができる。なお、基準領域における各画素の画素値は、前述の測定部位と同様に、各種ノイズ成分が含まれることから、各種フィルタ(移動平均フィルタ、メディアンフィルタ、空間周波数フィルタ)によるフィルタリング処理や外れ値処理を施しておくことが望ましく、これによって、ノイズの影響を受けることなく、照明光の光量の時間的な変化を検出することができる。
【0092】
基準領域検出部234の検出結果(すなわち、基準領域における画素値変化)は、脈波検出部216に対して出力される。
【0093】
脈波検出部216は、本発明の「補正ステップ」として、基準領域検出部234で検出された基準領域における画素値変化に基づき、各測定部位における画素値を補正する。具体的には、各測定部位における画素値は、照明光の光量変動に比例して変化するので、各測定部位における画素値(測定値)を光量の変動量の比率で割ることで補正を行う。
【0094】
例えば、
図22に示すように、基準領域における基準画素値(例えば時間平均画素値)をAとし、光量が変動したときにおける基準領域における画素値をBとし、また、そのときにおける測定部位(第1又は第2測定部位)における画素値をCとしたとき、測定部位における補正画素値Xは次式(3)によって求めることができる。
【0095】
X=A×C/B …(3)
脈波検出部216は、本発明の「脈波検出ステップ」として、補正前の画素値Cに代えて、補正画素値Xを用いて脈波の検出を行う。これにより、照明光の光量又は色の時間的な変化による影響を受けることなく、安定かつ確実に脈波を検出することが可能となり、それによって脈波伝播速度を精度良く算出することができる。
【0096】
以上、本発明に係る脈波伝播速度の測定方法及びシステム並びに撮像装置について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。