(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下に、図面を参照して、本発明にかかる脈波分析装置、脈波分析方法、および脈波分析プログラムの実施の形態を詳細に説明する。
【0010】
(実施の形態にかかる脈波分析方法の一実施例)
図1は、実施の形態にかかる脈波分析方法の一実施例を示す説明図である。
図1において、脈波分析装置100は、対象者の脈波波形の分析を支援するコンピュータである。対象者とは、脈波波形を計測する対象である。対象者は、例えば、人間である。脈波波形とは、心臓の拍動に伴って対象者の血管を流れる血液の体積または圧力の時間変化を表す波形である。
【0011】
ところで、高齢化や医療費の増加などの理由によって、対象者の生体情報を用いて対象者の健康に関する判断を効率よく行うことが求められている。例えば、対象者の生体情報のうちの脈波波形から得られる種々の情報は、対象者の生命反応を見るための重要な指標の一つであり、対象者の健康に関する判断を行う際に用いられる。
【0012】
具体的には、脈拍数は、対象者の健康状態を表す指標となりうる。また、脈拍数が異常に高い状態(いわゆる、頻脈)が、心理的なストレス負荷がないにも関わらず高頻度で発生したり持続したりする場合には、心臓の機能が正常に働いていないことが疑われる。また、一拍ごとの脈波間隔の揺らぎは、対象者にかかるストレスを表す指標となりうる。また、脈波波形は、対象者の血管年齢を表す指標となりうる。また、脈波波形は、対象者が、心不全や脳梗塞などの重大な病気につながる不整脈の状態であるか否かを表す指標となりうる。不整脈とは、心拍数や脈拍のリズムが一定ではないことである。不整脈の状態では、脈波波形が周期的ではない波形になる。
【0013】
このように、対象者の健康状態に関する多くの情報が脈波波形から得られる。このため、できるだけ簡便な方法により、日常的かつ継続的に、対象者が意識しなくても、対象者の脈波波形を効率よく計測することが望ましい。例えば、対象者が何かしらの機器の操作を行わなくても、対象者の脈波波形を非侵襲かつ非接触で測定することが望ましい。ここで、例えば、対象者の血管での吸収光量が血流量に依存することを利用して、対象者の動画像から対象者の体表面の輝度変化を解析することにより、血管を流れる血液の体積の変動に対応する対象者の脈波波形を、非侵襲かつ非接触で計測する技術が考えられる。
【0014】
一方で、計測された脈波波形にノイズが含まれる場合がある。例えば、対象者を撮影した動画像は、対象者の体動がある場合には、脈波波形の信号に対応する成分に加えて、対象者の体動に起因するノイズの成分を含んでしまう傾向がある。このため、例えば、対象者に静態を保たせることにより、対象者の脈波波形に含まれるノイズの成分を低減し、対象者の脈波波形の計測精度の向上を図る場合がある。
【0015】
しかしながら、この場合では、対象者に長時間静態を保つ負担がかかってしまうため、日常的かつ継続的に、対象者が意識しなくても、対象者の脈波波形を計測することは困難になってしまう。さらに、対象者が静態を保つことができなければ、対象者の体動などに起因して脈波波形に現れるノイズが大きくなり、脈波波形にノイズが含まれることを回避することができない。結果として、脈波波形にノイズが含まれているために、精度よく脈波波形を解析することができないことがある。例えば、ノイズによって脈波波形に乱れが生じた場合に、対象者の不整脈などによって脈波波形が乱れたと誤って判定してしまうことがある。脈波波形の乱れとは、脈波波形が周期的ではない波形になることである。
【0016】
そこで、本実施の形態では、対象者に静態を保たせなくても、対象者の動画像から対象者の脈波波形の脈波らしさを示す指標値を算出することにより、対象者の脈波波形の分析精度の向上を図ることができる脈波分析方法について説明する。
【0017】
指標値とは、対象者の脈波波形が乱れた場合に、対象者の体動などに起因するノイズによって脈波波形が乱れたのか否かを示す値である。指標値は、対象者の体動が脈波波形に与える影響の度合いを示す。指標値は、例えば、対象者のそれぞれの部位にある血管を流れる血液の体積の変動を検出することにより得られるそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す値である。それぞれの部位は、例えば、対象者の左頬と右頬である。対象者の体動は、例えば、対象が首を振るなどである。部位の脈波波形は、当該部位表面の輝度変化を基に生成された脈波らしき波形である。
【0018】
ここで、脈波波形間の一致度合いを示す値は、値が小さいほど、対象者の体動が大きく、対象者の体動に起因するノイズによって脈波波形が乱れやすい状態であることを示し、脈波らしさが小さいことを示す。具体的には、対象者の体動が比較的大きい場合には、それぞれの部位に当たる光量の変動度合いが異なり、それぞれの部位の色彩の変動度合いが異なるため、それぞれの部位の脈波波形の変動度合いも異なり、一致度合いを示す値が小さくなる。一方で、対象者の体動が比較的小さい場合には、それぞれの部位の色彩の変動度合いの差異が比較的小さいため、一致度合いを示す値が大きくなる。
【0019】
図1の例では、脈波分析装置100は、対象者を撮影した複数の撮影画像のそれぞれの撮影画像から、対象者の複数の部位のそれぞれの部位の画像を抽出する。部位とは、対象者の身体の一部分である。複数の部位は、例えば、顔面と左頬と右頬となどである。
【0020】
撮影画像とは、光電変換素子によって、ある時点での被写体からの光信号を電気信号に変換して得られたデータである。撮影画像は、例えば、RGB(Red,Green,and Blue)カラーモデルによって被写体の色についてRGB各色の大きさで表現したデータである。
【0021】
複数の撮影画像とは、撮影された順に、時系列に並べられた複数の画像である。複数の撮影画像は、例えば、動画像101に含まれる一連の撮影画像である。動画像101とは、時系列に沿った一連のフレーム画像である。動画像101は、例えば、脈波分析装置100によって撮影された一連のフレーム画像である。また、動画像101は、他のコンピュータによって撮影されてもよい。動画像101は、既に撮影が終了していてもよいし、リアルタイムに取得中であってもよい。
【0022】
脈波分析装置100は、例えば、対象者の顔面を撮影した動画像101を取得する。そして、脈波分析装置100は、取得した動画像101に含まれるそれぞれの撮影画像から、対象者の複数の部位のそれぞれの部位の画像を抽出する。脈波分析装置100は、例えば、画像認識の技術を用いて、対象者の左頬の画像と、対象者の右頬の画像とを抽出する。それぞれの部位の画像を抽出する詳細については、例えば、
図4〜
図6を用いて後述する。
【0023】
脈波分析装置100は、それぞれの撮影画像から抽出したそれぞれの部位の画像を解析することによりそれぞれの部位の脈波波形を生成する。脈波分析装置100は、抽出した対象者の左頬の画像に基づいて対象者の左頬の色彩の変動を解析し、対象者の左頬の血管を流れる血液の体積の変動を検出し、対象者の左頬の脈波波形を生成する。
【0024】
脈波分析装置100は、抽出した対象者の右頬の画像に基づいて対象者の右頬の色彩の変動を解析し、対象者の右頬の血管を流れる血液の体積の変動を検出し、対象者の右頬の脈波波形を生成する。それぞれの部位の脈波波形を生成する詳細については、例えば、
図7および
図8を用いて後述する。
【0025】
脈波分析装置100は、生成したそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の一致度を算出する。脈波分析装置100は、例えば、相関係数を用いて、それぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の一致度を算出する。脈波波形間の第1の一致度を算出する詳細については、例えば、
図10、
図11および
図12を用いて後述する。
【0026】
脈波分析装置100は、算出した第1の一致度を出力する。脈波分析装置100は、例えば、算出した第1の一致度と、それぞれの部位の脈波波形とを対応付けて、脈波分析装置100が有するディスプレイに表示し、脈波分析装置100のユーザに通知する。これによれば、脈波分析装置100は、対象者を撮影した動画像101に基づいて、対象者の脈波波形の脈波らしさを示す指標値を算出することができる。
【0027】
これにより、脈波分析装置100は、対象者の動画像101から対象者の脈波波形の脈波らしさを示す指標値を算出することにより、対象者の脈波波形の解析精度の向上を図ることができる。脈波分析装置100は、例えば、算出した第1の一致度が相対的に小さい場合には、生成したそれぞれの部位の脈波波形にはノイズが含まれると判定することができる。脈波波形にノイズが含まれるとは、脈波波形に含まれるノイズが、脈波波形の分析において無視できない程度に大きいことである。
【0028】
また、脈波分析装置100は、脈波波形に含まれるノイズが、脈波波形の分析において無視可能な程度に小さい場合には、ノイズが含まれないと判定する。そして、脈波分析装置100は、ノイズが含まれると判定した脈波波形については対象者の健康に関する判断などに用いないようにすることができ、ノイズが含まれないと判定した脈波波形については対象者の健康に関する判断などに用いるようにすることができる。
【0029】
ここでは、脈波分析装置100が対象者を撮影し、対象者を撮影した動画像101を取得する場合について説明したが、これに限らない。例えば、脈波分析装置100は、他のコンピュータによって撮影された動画像101を他のコンピュータから受信してもよい。具体的には、脈波分析装置100がサーバとして動作し、クライアント装置から動画像101を取得して指標値を算出し、算出した指標値または判定した結果などをクライアント装置に送信してもよい。
【0030】
(脈波分析装置100のハードウェア構成例)
次に、
図2を用いて、
図1に示した脈波分析装置100のハードウェア構成例について説明する。脈波分析装置100は、例えば、サーバ、PC(Personal Computer)、ノートPC、タブレット型PC、スマートフォンなどである。
【0031】
図2は、脈波分析装置100のハードウェア構成例を示すブロック図である。
図2において、脈波分析装置100は、CPU(Central Processing Unit)201と、メモリ202と、I/F(Interface)203と、ディスクドライブ204と、ディスク205と、カメラ206とを有する。また、各構成部は、バス200によってそれぞれ接続される。
【0032】
ここで、CPU201は、脈波分析装置100の全体の制御を司る。メモリ202は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)およびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU201のワークエリアとして使用される。メモリ202に記憶されるプログラムは、CPU201にロードされることで、コーディングされている処理をCPU201に実行させる。
【0033】
I/F203は、通信回線を通じてネットワーク210に接続され、ネットワーク210を介して他のコンピュータに接続される。そして、I/F203は、ネットワーク210と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。I/F203には、例えば、モデムやLAN(Local Area Network)アダプタなどを採用することができる。
【0034】
ディスクドライブ204は、CPU201の制御に従ってディスク205に対するデータのリード/ライトを制御する。ディスクドライブ204は、例えば、磁気ディスクドライブである。ディスク205は、ディスクドライブ204の制御で書き込まれたデータを記憶する不揮発メモリである。
【0035】
カメラ206は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの光電変換素子を有する装置である。カメラ206は、撮影範囲内の被写体からの光信号を光電変換素子によって電気信号に変換し、変換した電気信号から画像データを生成し、生成した画像データをメモリ202やディスク205に記憶する。
【0036】
脈波分析装置100は、上述した構成部のほか、例えば、SSD(Solid State Drive)、半導体メモリ、キーボード、マウス、ディスプレイなどを有することにしてもよい。また、脈波分析装置100は、ディスクドライブ204およびディスク205の代わりに、SSDおよび半導体メモリなどを有していてもよい。
【0037】
(脈波分析装置100の機能的構成例)
次に、
図3を用いて、脈波分析装置100の機能的構成例について説明する。
図3は、脈波分析装置100の機能的構成例を示すブロック図である。脈波分析装置100は、取得部301と、生成部302と、算出部303と、判定部304と、分析部305と、出力部306とを含む。
【0038】
取得部301〜出力部306は、制御部となる機能であり、例えば、
図2に示したメモリ202やディスク205などの記憶領域に記憶されたプログラムをCPU201に実行させることにより、または、I/F203により、その機能を実現する。各機能部の処理結果は、例えば、メモリ202やディスク205などの記憶領域に記憶される。
【0039】
取得部301は、対象者を撮影した複数の撮影画像を取得する。対象者とは、脈波波形を計測する対象である。対象者は、例えば、人間である。対象者は、動物であってもよい。複数の撮影画像とは、撮影された順に、時系列に並べられた複数の画像である。複数の撮影画像は、例えば、動画像101から抽出することにより得られる複数の画像である。
【0040】
複数の撮影画像は、例えば、動画像101に含まれる一連の撮影画像である。複数の撮影画像は、動画像101の中から所定の条件を満たす一部のフレーム画像を抽出することにより得られた、抽出された複数のフレーム画像であってもよい。複数の撮影画像は、具体的には、1/60秒間隔で撮影された動画像101の中から抽出された1/6秒間隔で撮影された複数のフレーム画像であってもよい。
【0041】
また、複数の撮影画像は、例えば、動画像101に含まれる一連のフレーム画像を加工して得られた一連の画像であってもよい。複数の撮影画像は、具体的には、動画像101に含まれる一連のフレーム画像から所定の波長成分を取り出して得られる、所定の波長成分で表現された一連の画像であってもよい。複数の撮影画像は、静止画像を撮影可能なデジタルカメラなどの撮影装置によって連続撮影された複数の画像であってもよい。
【0042】
取得部301は、例えば、対象者を撮影した動画像101を取得する。動画像101は、例えば、映像を撮影可能なビデオカメラなどの撮影装置によって撮影された一連のフレーム画像である。対象者を撮影した動画像101とは、対象者の複数の部位を含む、対象者の身体の少なくとも一部分を撮影した画像である。対象者の身体の一部分は、対象者の複数の部位の一つであってもよい。対象者の身体の一部分は、例えば、対象者の顔面である。
【0043】
複数の部位は、例えば、連動する2つ以上の部位を含む。連動する2つ以上の部位とは、対象者の動きに応じて一緒に同様に動く部位である。連動する2つ以上の部位は、例えば、対象者の顔面の動きに応じて一緒に同様に動く対象者の左頬と鼻である。また、複数の部位は、同一平面上にない2つ以上の部位を含んでもよい。同一平面上にない2つ以上の部位とは、例えば、曲面上にある2つ以上の部位である。同一平面上にない2つ以上の部位は、例えば、対象者の左頬と額である。
【0044】
また、複数の部位は、対象者の身体において対称的に存在する部位を含んでもよい。対称的に存在する部位は、例えば、対象者の顔に対称的に存在する左頬と右頬である。複数の部位のうちの2つ以上の部位は包含関係であってもよい。複数の部位は、例えば、対象者の顔面と、対象者の顔面に包含される対象者の左頬とを含んでもよい。複数の部位は、具体的には、対象者の顔面と、対象者の顔面のうちの左頬と、対象者の顔面のうちの右頬とを含んでもよい。
【0045】
複数の部位の少なくともいずれかは、ノイズが含まれるか否かの判定対象となる脈波波形が生成される部位として用いられる。また、複数の部位の少なくともいずれかは、指標値の算出元の脈波波形が生成される部位として用いられる。判定対象の脈波波形が生成される部位と、指標値の算出元の脈波波形が生成される部位とは重複してもよい。
【0046】
また、対象者の複数の部位は、対象者の異なる2つ以上の部分のそれぞれに含まれる部位の集合であってもよい。取得部301は、具体的には、カメラ206を用いて対象者の顔面を撮影した動画像101を取得する。これにより、取得部301は、対象者の脈波波形の生成元になる対象者の動画像を取得することができる。
【0047】
生成部302は、取得部301が取得した動画像101に含まれるそれぞれの撮影画像から対象者のそれぞれの部位の画像を抽出する。対象者のそれぞれの部位の画像とは、撮影画像内で対象者の身体の少なくとも一部分が写った部分画像である。それぞれの撮影画像において、部分画像の面積は、一定の大きさでなくてもよい。それぞれの撮影画像は、動画像101のうち、対象者の身体が写った部分画像が所定の大きさ以上になる撮影画像であってもよい。
【0048】
そして、生成部302は、それぞれの撮影画像から抽出した対象者のそれぞれの部位の画像を解析することによりそれぞれの部位の脈波波形を生成する。解析とは、例えば、対象者のそれぞれの部位の一連の画像をスペクトル分析することにより、当該部位における肌の色彩の変動に基づいて、当該部位の血管を流れる血液の体積の変動を検出することである。脈波波形とは、対象者の血管を流れる血液の体積の変動から得られる、心臓の拍動に伴って対象者の血管を流れる血液の体積の時間変化を表す波形である。
【0049】
生成部302は、例えば、取得部301が取得した動画像101から、判定対象の脈波波形が生成される部位が写った画像として、それぞれの撮影画像内で対象者の顔面が写った部分画像を抽出する。それぞれの撮影画像において、部分画像の面積は、一定の大きさでなくてもよい。そして、生成部302は、抽出した対象者の顔面が写った部分画像に基づいて、対象者の顔面の色彩の変動を解析し、対象者の顔面の血管を流れる血液の体積の変動を検出することにより、対象者の顔面の血管について脈波波形を生成する。生成部302は、さらに、生成した対象者の顔面の脈波波形を、所定期間ごとの部分波形に分割してもよい。所定期間は、例えば、推定した脈拍周期の倍数になる長さの期間である。これにより、生成部302は、ノイズが含まれるか判定する対象である対象者の脈波波形を生成することができる。
【0050】
生成部302は、例えば、取得部301が取得した動画像101から、指標値の算出元の脈波波形が生成される部位が写った画像として、それぞれの撮影画像内で対象者の顔面の左頬が写った部分画像と、対象者の右頬が写った部分画像とを抽出する。そして、生成部302は、抽出した対象者の左頬が写った部分画像に基づいて、対象者の左頬の色彩の変動を解析し、対象者の左頬の血管を流れる血液の体積の変動を検出することにより、対象者の左頬の血管について脈波波形を生成する。生成部302は、さらに、生成した対象者の左頬の脈波波形を、所定期間ごとの部分波形に分割してもよい。
【0051】
また、生成部302は、抽出した対象者の右頬が写った部分画像に基づいて、対象者の右頬の色彩の変動を解析し、対象者の右頬の血管を流れる血液の体積の変動を検出することにより、対象者の右頬の血管について脈波波形を生成する。生成部302は、さらに、生成した対象者の右頬の脈波波形を、所定期間ごとの部分波形に分割してもよい。これにより、生成部302は、ノイズが含まれるか判定する際に用いられるそれぞれの部位の脈波波形を生成することができる。これにより、生成部302は、具体的には、算出部303が脈波らしさを示す指標値を算出する際に用いられるそれぞれの部位の脈波波形を生成することができる。
【0052】
ここで、例えば、ノイズが含まれるか判定する対象である脈波波形と、指標値を算出する際に用いられる脈波波形とは、少なくとも同じ複数の撮影画像から生成された脈波波形であればよく、異なる脈波波形であってもよいし、重複してもよい。
【0053】
算出部303は、生成部302が生成した脈波波形の脈波らしさを示す指標値を算出する。指標値とは、対象者の脈波波形が乱れた場合に、対象者の体動などに起因するノイズによって脈波波形が乱れたのか否かを示す値である。指標値は、例えば、対象者のそれぞれの部位の脈波波形のうち、少なくともいずれかの脈波波形間の一致度合いを示す第1の一致度である。指標値は、対象者のそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の一致度の平均値、中央値、最大値、最小値などの統計値であってもよい。
【0054】
また、指標値は、例えば、いずれかの部位の脈波波形内の異なる部分波形間の一致度合いを示す第2の一致度であってもよい。第2の一致度とは、対象者の脈波波形がどのくらい周期的であるか(周期性の度合い)を示し、対象者の脈波波形においてどのくらい類似する部分波形が繰り返し現れるか否かを示す値である。また、第2の一致度は、対象者の脈波波形がどのくらい乱れているかを示す。
【0055】
ここで、部分波形間の一致度合いを示す第2の一致度は、値が小さいほど、対象者のいずれかの部位の脈波波形の乱れが大きいことを示す。具体的には、対象者の体動や不整脈によれば、対象者のいずれかの部位の脈波波形の振幅が変動してしまい、いずれかの部位の脈波波形において類似する部分波形が繰り返されることなく、部分波形間の一致度合いを示す値が小さくなる。一方で、対象者の体動や不整脈がなければ、いずれかの部位の脈波波形が心臓の収縮や拡張に対応する周期的な波形になり、いずれかの部位の脈波波形において類似する部分波形が繰り返され、部分波形間の一致度合いを示す値が大きくなる。
【0056】
また、第2の一致度は、例えば、対象者のいずれかの部位の脈波波形のうちの脈波間隔のばらつきの大きさを示す値であってもよい。第2の一致度は、例えば、対象者のいずれかの部位の脈波波形において隣り合う極大値または極小値の差分の標準偏差であってもよい。また、第2の一致度は、例えば、対象者のいずれかの部位の脈波波形における脈波間隔の標準偏差であってもよい。また、第2の一致度は、例えば、対象者のいずれかの部位の脈波波形から求められたスペクトル分布のピーク幅であってもよい。また、第2の一致度は、例えば、対象者のいずれかの部位の脈波波形から求められたスペクトル分布のピーク比率であってもよい。ピーク比率は、例えば、スペクトル分布のうちの最大値と2番目に大きい値との比率である。
【0057】
算出部303は、例えば、相関係数を用いて、生成部302が生成したそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の一致度を算出する。算出部303は、具体的には、指標値の算出元の脈波波形が生成される部位の脈波波形として生成された、対象者の左頬の脈波波形と、対象者の右頬の脈波波形との一致度合いを示す第1の一致度を算出する。
【0058】
また、算出部303は、具体的には、複数の部位が3つ以上の部位を含む場合、複数の部位のうちの所定の組み合わせごとに、組み合わせ内のそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の一致度を算出してもよい。これにより、算出部303は、脈波らしさを示す指標値として、第1の一致度を算出することができる。
【0059】
また、算出部303は、例えば、生成部302が生成した対象者のいずれかの部位の脈波波形から所定時間分の部分波形を複数抽出し、相関係数を用いて、抽出した複数の部分波形のうちの部分波形間の一致度合いを示す第2の一致度を算出する。これにより、算出部303は、脈波らしさを示す指標値として、第2の一致度を算出することができる。
【0060】
判定部304は、算出部303が算出した第1の一致度に基づいて、生成部302が生成した対象者の脈波波形にノイズが含まれるか否かを判定する。ノイズとは、対象者の体動などに起因する脈波波形の乱れである。判定部304は、例えば、算出部303が算出した第1の一致度が、第1の閾値以下である場合に、生成部302が生成した対象者の顔面の脈波波形にノイズが含まれると判定する。これにより、判定部304は、比較的大きなノイズが含まれる脈波波形と、脈波波形を分析する際に無視可能な程度に比較的小さなノイズが含まれる脈波波形とを判別することができる。
【0061】
また、判定部304は、複数の部位が3つ以上の部位を含む場合、3つ以上の部位の脈波波形のうちの脈波波形間についての第1の一致度の統計値、例えば平均値に基づいて、生成部302が生成した対象者の脈波波形にノイズが含まれるか否かを判定してもよい。統計値は、例えば、平均値、中央値、最大値、最小値などである。判定部304は、例えば、第1の一致度の平均値が、第1の閾値以下である場合に、生成部302が生成した対象者の顔面の脈波波形にノイズが含まれると判定する。これにより、判定部304は、比較的大きなノイズが含まれる脈波波形と、脈波波形を分析する際に無視可能な程度に比較的小さなノイズが含まれる脈波波形とを判別することができる。
【0062】
また、判定部304は、複数の部位が3つ以上の部位を含む場合、組み合わせごとの第1の一致度の統計値、例えば最小値に基づいて、生成部302が生成した対象者の脈波波形にノイズが含まれるか否かを判定する。判定部304は、例えば、第1の一致度のうちの最小値が、第1の閾値以下である場合に、生成部302が生成した対象者の顔面の脈波波形にノイズが含まれると判定する。これにより、判定部304は、比較的大きなノイズが含まれる脈波波形と、脈波波形を分析する際に無視可能な程度に比較的小さなノイズが含まれる脈波波形とを判別することができる。
【0063】
また、判定部304は、算出部303が算出した第2の一致度に基づいて、生成部302が生成した対象者の脈波波形にノイズが含まれるか否かを判定してもよい。判定部304は、例えば、算出部303が算出した第2の一致度が、第2の閾値以下である場合に、生成部302が生成した対象者の顔面の脈波波形にノイズが含まれると判定する。これにより、判定部304は、比較的大きなノイズが含まれる脈波波形と、脈波波形を分析する際に無視可能な程度に比較的小さなノイズが含まれる脈波波形とを判別することができる。
【0064】
また、判定部304は、算出部303が算出した第1の一致度と、算出部303が算出した第2の一致度とに基づいて、生成部302が生成した対象者の脈波波形にノイズが含まれるか否かを判定してもよい。判定部304は、例えば、算出部303が算出した第1の一致度が、第1の閾値以下であり、かつ、算出部303が算出した第2の一致度が、第2の閾値以下である場合に、生成部302が生成した対象者の顔面の脈波波形にノイズが含まれると判定する。これにより、判定部304は、比較的大きなノイズが含まれる脈波波形と、脈波波形を分析する際に無視可能な程度に比較的小さなノイズが含まれる脈波波形とを判別することができる。
【0065】
また、判定部304は、算出部303が算出した第1の一致度に基づいて、複数の部位のいずれかの部位の脈波波形にノイズが含まれるか否かを判定してもよい。判定部304は、例えば、算出部303が算出したある部位が関わる第1の一致度が全て第1の閾値以下である場合に、その部位の脈波波形にノイズが含まれると判定する。これにより、判定部304は、比較的大きなノイズが含まれる脈波波形と、脈波波形を分析する際に無視可能な程度に比較的小さなノイズが含まれる脈波波形とを判別することができる。
【0066】
分析部305は、判定部304が判定した結果に基づいて、対象者の脈波波形を分析する。分析部305は、例えば、判定部304が判定した結果、ノイズが含まれないと判断された脈波波形を用いて、対象者の脈拍数を算出する。これにより、分析部305は、対象者の脈波波形を分析して、対象者の健康状態を判断することができる。
【0067】
出力部306は、算出部303が算出した第1の一致度、算出部303が算出した第2の一致度、判定部304が判定した結果、または、分析部305が分析した結果の少なくともいずれかを出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、I/F203による外部装置への送信、メモリ202やディスク205などの記憶領域への記憶などがある。
【0068】
出力部306は、例えば、算出部303が算出した第1の一致度と、生成部302が生成した対象者の脈波波形とを対応付けて出力する。出力部306は、具体的には、算出部303が算出した第1の一致度と、生成部302が生成した対象者の顔面の脈波波形とを対応付けて出力する。これにより、出力部306は、対象者の脈波波形についての脈波らしさの指標値として、算出した第1の一致度をユーザに通知することができる。
【0069】
出力部306は、例えば、算出部303が算出した第1の一致度と、生成部302が生成した複数の部位のいずれかの部位の脈波波形とを対応付けて出力する。出力部306は、具体的には、算出部303が算出した第1の一致度と、生成部302が生成した対象者の左頬または右頬の脈波波形とを対応付けて出力する。これにより、出力部306は、複数の部位のいずれかの部位の脈波波形についての脈波らしさの指標値として、算出した第1の一致度をユーザに通知することができる。
【0070】
出力部306は、さらに、算出部303が算出した第1の一致度と、算出部303が算出した第2の一致度とを対応付けて出力してもよい。
【0071】
出力部306は、例えば、判定部304が判定した結果と、生成部302が生成した対象者の脈波波形とを対応付けて出力する。出力部306は、具体的には、判定部304が判定した結果と、生成部302が生成した対象者の顔面の脈波波形とを対応付けて出力する。
【0072】
出力部306は、例えば、分析部305が分析した結果と、生成部302が生成した対象者の脈波波形とを対応付けて出力する。出力部306は、具体的には、分析部305が分析した結果と、生成部302が生成した対象者の顔面の脈波波形とを対応付けて出力する。
【0073】
(対象者の脈波波形を生成し、脈波波形にノイズが含まれるか否かを判定する実施例)
次に、
図4〜
図13を用いて、脈波分析装置100が、対象者の脈波波形を生成し、脈波波形にノイズが含まれるか否かを判定する実施例について説明する。
【0074】
まず、脈波分析装置100は、対象者を撮影した動画像101を取得する。動画像101は、例えば、RGBの輝度によって表現される一連の撮影画像である。また、動画像101は、RGBとは異なる波長帯に属する色の輝度によって表現されてもよい。また、動画像101は、近赤外や赤の輝度によって表現されてもよい。
【0075】
また、動画像101は、例えば、輝度と相関関係がある一連のデータであってもよい。動画像101は、例えば、レーザースペックル血流計によって取得される一連のデータのように、光の当たり方によって信号強度が変わるものであれば、信号強度が赤血球の量や速度に依存していてもよい。
【0076】
次に、脈波分析装置100は、取得した動画像101から、対象者についての所定の画像を抽出する。所定の画像は、例えば、対象者の複数の部位が含まれる対象者の身体の一部分が写った画像である。対象者の身体の一部分は、対象者の複数の部位の一つであってもよい。身体の一部分は、例えば、顔面、腕、首、足首、手、指などである。複数の部位は、例えば、身体の一部分である顔面、および、身体の一部分である顔面のさらに一部分である顔面左側、顔面右側、額、左頬、右頬などである。
【0077】
脈波分析装置100は、例えば、
図4〜
図6に後述する第1例〜第3例のいずれかのように、取得した動画像101から、対象者のそれぞれの部位の脈波波形の生成元となる対象者のそれぞれの部位の画像を抽出する。ここで、
図4の説明に移行する。
【0078】
〈対象者のそれぞれの部位の画像を抽出する第1例〉
図4は、対象者のそれぞれの部位の画像を抽出する第1例を示す説明図である。ここで、脈波分析装置100は、脈波波形の生成元の画像のうちで対象者の身体が写った領域が大きいほうが、脈波波形を精度よく計測しやすくなる。一方で、脈波分析装置100は、脈波波形の生成元の画像のうちで対象者の身体以外の部分が写った領域が含まれると、脈波波形を精度よく計測することが難しくなる。例えば、対象者が写っていない背景などの領域は、対象者の部位以外の輝度を示すため、対象者の部位の脈波波形に対してノイズを生じさせうる。
【0079】
このため、脈波分析装置100は、対象者のそれぞれの部位が写った領域が大きくなり、かつ、対象者のそれぞれの部位以外が写った領域が小さくなるように、対象者のそれぞれの部位の画像を抽出することが好ましい。また、脈波分析装置100は、動画像101のうち、必ずしもすべての撮影画像から対象者のそれぞれの部位の画像を抽出しなくてもよい。脈波分析装置100は、例えば、動画像101のいずれかの撮影画像において対象者のそれぞれの部位が写った領域が一定以下であれば、当該撮影画像から対象者のそれぞれの部位の画像を抽出しなくてもよい。
【0080】
図4において、脈波分析装置100は、動画像101のそれぞれの撮影画像400について、顔検出エンジンを用いて対象者の顔面が写った領域を検出し、対象者の顔面の画像410を抽出する。顔検出エンジンとは、所定の画像の中から人の顔、および、人の顔のうちの額や鼻や口や目や頬などの部位が写った領域を検出するソフトウェアである。脈波分析装置100は、さらに、動画像101のそれぞれの撮影画像400から抽出した対象者の顔面の画像410を左右で分割し、顔面左側の画像411と、顔面右側の画像412とを抽出する。
【0081】
次に、脈波分析装置100は、ノイズが含まれるか否かを判定する対象であり、分析する対象である脈波波形の生成元の画像として、相対的に対象者の身体が写った領域が大きい対象者の顔面の画像410を用いるように設定する。そして、脈波分析装置100は、対象者の顔面の画像410と、残った顔面左側の画像411と、顔面右側の画像412とを、脈波らしさの指標値の算出元の画像として用いるように設定する。
【0082】
このとき、脈波分析装置100は、動画像101に含まれる撮影画像400のうち、必ずしもすべての撮影画像400から、対象者の顔面の画像410と、顔面左側の画像411と、顔面右側の画像412とを抽出しなくてもよい。例えば、脈波分析装置100は、顔面左側の画像411、または、顔面右側の画像412が所定の大きさ以下である撮影画像400からは、顔面左側の画像411と顔面右側の画像412とを抽出しなくてもよい。これにより、脈波分析装置100は、処理量を低減し、処理時間の増大を抑制することができる。ここで、
図5の説明に移行する。
【0083】
〈対象者のそれぞれの部位の画像を抽出する第2例〉
図5は、対象者のそれぞれの部位の画像を抽出する第2例を示す説明図である。ここで、脈波分析装置100は、脈波らしさの指標値の算出元の画像として対象者の3つ以上の部位のそれぞれの部位の画像を用いて、対象者の種々の体動を考慮して脈波らしさの指標値を算出してもよい。
【0084】
脈波分析装置100は、例えば、脈波らしさの指標値の算出元の画像として、対象者の顔面の左右方向に存在する部位の画像が含まれるようにし、かつ、対象者の顔面の上下方向に存在する部位の画像が含まれるようにする。対象者の顔面の左右方向に存在する部位の画像と、対象者の顔面の上下方向に存在する部位の画像とは、重複する画像を含んでもよい。これにより、脈波分析装置100は、対象者の顔面の左右への動きに起因するノイズと、対象者の顔面の上下の動きに起因するノイズとをより考慮することができる。
【0085】
図5において、脈波分析装置100は、動画像101のそれぞれの撮影画像400について、顔検出エンジンを用いて対象者の顔面が写った領域を検出し、対象者の顔面の画像410を抽出する。脈波分析装置100は、さらに、顔検出エンジンを用いて、対象者の額が写った領域、左頬が写った領域、右頬が写った領域を検出し、対象者の額の画像501と、左頬の画像502と、右頬の画像503とを抽出する。これにより、脈波分析装置100は、顔の上下の動きなど、顔の左右の動き以外も考慮して、脈波らしさの指標値を算出可能にすることができる。ここで、
図6の説明に移行する。
【0086】
〈対象者のそれぞれの部位の画像を抽出する第3例〉
図6は、対象者のそれぞれの部位の画像を抽出する第3例を示す説明図である。ここで、対象者の身体には、対象者が静止させた状態を保つことが難しく、脈波波形にノイズを生じさせやすい部位が存在する。例えば、対象者の目は、瞬きにより脈波波形にノイズを生じさせることがある。
【0087】
このため、脈波分析装置100は、対象者が静止させた状態を保つことが難しく、脈波波形にノイズを生じさせやすい部位を除外した画像を抽出してもよい。これにより、脈波分析装置100は、脈波らしさの指標値を精度よく算出しやすくすることができる。
【0088】
図6において、脈波分析装置100は、動画像101のそれぞれの撮影画像400について、顔検出エンジンを用いて対象者の顔面が写った領域を検出し、対象者の顔面の画像410を抽出する。脈波分析装置100は、さらに、顔検出エンジンを用いて、対象者の目が写った領域を検出し、対象者の顔面が写った領域から対象者の目が写った領域を除外する。
【0089】
また、脈波分析装置100は、さらに、対象者の顔面の画像410のうち、対象者の目が映った領域よりも上にある顔上部の画像601を抽出する。また、脈波分析装置100は、さらに、対象者の顔面の画像410のうち、対象者の目が映った領域よりも下にある顔下部の画像602を抽出する。また、脈波分析装置100は、さらに、対象者の顔下部の画像602のうち、左頬の画像502と、右頬の画像503とを抽出する。これにより、脈波分析装置100は、目などのノイズを発生させやすい領域を除外した画像を抽出し、ノイズの低減化を図ることができる。
【0090】
以下では、
図4に示した第1例のように、脈波分析装置100が、対象者の顔面の画像410と、対象者の顔面左側の画像411と、対象者の顔面右側の画像412とを抽出した場合を例に挙げて、実施例についての説明を続ける。
【0091】
脈波分析装置100は、抽出した対象者の顔面の画像410、顔面左側の画像411、および、顔面右側の画像412に基づいて、対象者の顔面の脈波波形、顔面左側の脈波波形、および、顔面右側の脈波波形を生成する。脈波分析装置100は、例えば、
図7および
図8に後述する一例のように、対象者の顔面の脈波波形、顔面左側の脈波波形、および、顔面右側の脈波波形を生成する。ここで、
図7の説明に移行する。
【0092】
〈対象者のそれぞれの部位の脈波波形を生成する一例〉
図7および
図8は、対象者のそれぞれの部位の脈波波形を生成する一例を示す説明図である。脈波波形を生成する技術としては、例えば、国際公開第2014/038077号に記載の技術を参照することができる。
【0093】
ここで、心臓の収縮や拡張に応じて、人の身体の血管を流れる血流量は変動する。そして、対象者の血管での吸収光量は、血管を流れる血流量に依存する傾向がある。このため、心臓の収縮や拡張に応じて、撮影画像のうちの対象者の部位の画像の輝度も変動し、対象者の部位における脈拍に対応する輝度になる。換言すれば、撮影画像のうちの対象者の部位の画像における所定の波長成分の代表値の時系列データは、対象者の部位についての脈拍成分を含む時系列データになる。
【0094】
一方で、対象者の体動などによる対象者の部位に当たる光量の変動に応じて、撮影画像のうちの対象者の部位の画像の輝度は変動してしまうことがある。このため、撮影画像のうちの対象者の部位の画像の所定の波長成分の代表値の時系列データは、対象者の部位についての脈拍成分とは異なるノイズ成分も含むことがある。そこで、脈波分析装置100は、複数の波長成分の代表値の時系列データを取得し、後述するフィルタなどを用いた所定の演算を行い、撮影画像の所定の波長成分の代表値の時系列データからノイズ成分の低減化を図って、対象者の部位の脈波波形を生成する。
【0095】
図7において、脈波分析装置100は、それぞれの撮影画像f(1),・・・,f(n)から抽出した対象者のいずれかの部位の画像に基づいて、当該画像に含まれる所定の波長成分の代表値の時系列データを取得する。脈波分析装置100は、例えば、対象者のいずれかの部位の画像に含まれる、R成分、G成分、および、B成分の代表値の時系列データを取得する。R成分、G成分、および、B成分の代表値は、それぞれ、例えば、R成分、G成分、および、B成分の平均値である。
【0096】
脈波分析装置100は、取得した代表値の時系列データが、等時間間隔の時系列データではない場合には、線形近似やスプライン近似を用いたリサンプリング技術によって、代表値の時系列データを等時間間隔の時系列データに変換する。等時間間隔の時系列データは、例えば、それぞれの時刻t(1),・・・,t(n)の所定の波長成分の代表値の時系列データである。
【0097】
脈波分析装置100は、血液中のヘモグロビンが緑色の光を吸収する特性があるため、脈拍成分を表す度合いが相対的に大きいG成分の代表値の時系列データを、dbGreenとして設定する。また、脈波分析装置100は、G成分の代表値以外のR成分の代表値とB成分の代表値との平均値の時系列データを生成し、dbRedとして設定する。ここで、
図8の説明に移行する。
【0098】
図8において、脈波分析装置100は、BPF(Band Pass Filter)801によって、dbRedの特定周波数帯の信号成分を抽出する。特定周波数帯は、例えば、12bpm以上18bpm未満の周波数である。また、脈波分析装置100は、BPF801によって、dbGreenの特定周波数帯の信号成分を抽出する。
【0099】
次に、脈波分析装置100は、演算部802によって、dbRedの特定周波数帯の信号成分の絶対値の時系列データを抽出する。また、脈波分析装置100は、演算部802によって、dbGreenの特定周波数帯の信号成分の絶対値の時系列データを抽出する。
【0100】
そして、脈波分析装置100は、LPF(Low Pass Filter)803によって、dbRedの特定周波数帯の絶対値の時系列データに対して平滑化処理を実行し、急峻な周波数成分を除去する。また、脈波分析装置100は、LPF803によって、dbGreenの特定周波数帯の絶対値の時系列データに対して平滑化処理を実行し、急峻な周波数成分を除去する。
【0101】
次に、脈波分析装置100は、演算部804によって、平滑化されたdbRedの特定周波数帯の絶対値を、平滑化されたdbGreenの特定周波数帯の絶対値で除算して、補正係数kを算出する。
【0102】
そして、脈波分析装置100は、BPF805によって、dbRedの脈波周波数帯の信号成分を抽出する。脈波周波数帯は、例えば、42bpm以上150bpm未満の周波数帯である。また、脈波分析装置100は、BPF805によって、dbGreenの脈波周波数帯の信号成分を抽出する。
【0103】
次に、脈波分析装置100は、演算部806によって、抽出されたdbRedの脈波周波数帯の信号成分に、算出した補正係数kを乗算する。そして、脈波分析装置100は、演算部807によって、抽出されたdbGreenの脈波周波数帯の信号成分から、補正係数kが乗算されたdbRedの脈波周波数帯の信号成分を減算する。
【0104】
次に、脈波分析装置100は、BPF808によって、減算後の信号の時系列データの脈波周波数帯の信号成分を抽出する。そして、脈波分析装置100は、抽出された波形を対象者のいずれかの部位の脈波波形として設定する。
【0105】
ここでは、脈波分析装置100が、複数の波長成分の代表値の時系列データを取得する場合について説明したが、これに限らない。例えば、脈波分析装置100は、BPFによって、所定の波長成分の代表値の時系列データから脈波周波数帯の信号成分を抽出し、抽出された波形を対象者のいずれかの部位の脈波波形として設定してもよい。
【0106】
ここでは、脈波分析装置100が、血流量に応じた輝度に基づいて脈波波形を生成する場合について説明したが、これに限らない。例えば、脈波分析装置100は、心臓の収縮や拡張による対象者の皮膚の振動を検出することにより、脈波波形を生成してもよい。また、例えば、脈波分析装置100は、心臓の収縮や拡張による、対象者の血管や血液の動きを検出することにより、脈波波形を生成してもよい。
【0107】
また、脈波分析装置100は、同様に、抽出したそれぞれの部位の画像に基づいて、それぞれの部位の脈波波形を生成する。これにより、脈波分析装置100は、ノイズが含まれるか否かを判定する対象であり、分析する対象である脈波波形になる、対象者の顔面の脈波波形を生成することができる。また、脈波分析装置100は、指標値を算出する際に用いられる脈波波形になる対象者の顔面、顔面左側、顔面右側の脈波波形を生成することができる。ここで、
図9の説明に移行する。
【0108】
〈判定対象の部分波形を決定する一例〉
図9は、判定対象の部分波形を決定する一例を示す説明図である。
図9において、脈波分析装置100は、生成した対象者のいずれかの部位の脈波波形900のうち、正から負または負から正に波形が転換する転換点を特定する。いずれかの部位は、例えば、判定対象かつ指標値の算出元になる脈波波形が生成された部位であり、具体的には、対象者の顔面である。いずれかの部位は、例えば、判定対象ではない脈波波形が生成された部位であってもよく、具体的には、顔面左側や顔面右側などであってもよい。
【0109】
次に、脈波分析装置100は、転換点3つ分の長さを1周期として、所定数の周期分の期間を着目期間として設定する。所定数の周期は、整数倍の周期でなくてもよい。所定数の周期は、例えば、3.5周期である。所定数の周期は、例えば、4周期などであってもよい。脈波分析装置100は、所定数の周期分の長さの期間ごとに着目期間を設定することにより、複数の着目期間を設定してもよい。
【0110】
そして、脈波分析装置100は、生成した対象者のいずれかの部位の脈波波形900のうちの着目期間内の部分波形901を、ノイズが含まれるか否かを判定する判定対象の部分波形901に設定する。また、着目期間は、複数設定される場合には、互いに一部分が重複していてもよい。ここで、
図10の説明に移行する。
【0111】
〈第1の一致度を算出する一例〉
図10は、第1の一致度を算出する第1例を示す説明図である。ここで、脈波分析装置100は、指標値として、対象者のそれぞれの部位にある血管を流れる血液の体積の変動に対応するそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の一致度を用いる。
【0112】
対象者の体動がなければ、それぞれの部位の脈波波形は、心臓の拡張や収縮によって心臓から同じように流れていった血流に対応する波形になるため、一致度合いは大きくなる傾向がある。このため、第1の一致度は、値が小さいほど、対象者の体動が大きく、対象者の体動に起因するノイズによって脈波波形が乱れやすい状態であることを示し、脈波らしさが小さいことを示す。
【0113】
図10において、脈波分析装置100は、それぞれの部位の脈波波形のうちの着目期間内の部分波形間の一致度合いを示す第1の一致度を算出する。脈波分析装置100は、例えば、顔面右側の脈波波形1010のうちの着目期間内の部分波形1011を抽出する。そして、脈波分析装置100は、抽出した部分波形1011のデータ列x(i)を取得する。x(i)は、着目期間内の部分波形1011の値x(1),・・・,x(X)を時刻順に並べたデータ列である。例えば、iの単位はミリ秒である。
【0114】
また、脈波分析装置100は、顔面左側の脈波波形のうちの着目期間をずらし幅zの分ずらした他の期間内の部分波形1021を抽出する。そして、脈波分析装置100は、抽出した部分波形1021のデータ列y(z,i)を取得する。y(z,i)は、着目期間をずらし幅zの分ずらした他の期間内の部分波形1021の値y(z,1),・・・,x(z,X)を時刻順に並べたデータ列である。z=0では、y(z,i)は、着目期間内の部分波形の値y(z,1),・・・,y(z,X)になる。例えば、zの単位はミリ秒である。
【0115】
そして、脈波分析装置100は、z=0に設定して、下記式(1)にデータ列x(i)とデータ列y(z,i)とを代入する。これにより、脈波分析装置100は、顔面右側の着目期間内の部分波形1011と顔面左側の着目期間内の部分波形1021との一致度合いを示す第1の一致度として、下記式(1)における相関係数s(z)を算出する。
【0117】
ここでは、脈波分析装置100が上記式(1)を用いて顔面右側の着目期間内の部分波形1011と顔面左側の着目期間内の部分波形1021との一致度合いを示す第1の一致度を算出する場合について説明したが、これに限らない。例えば、脈波分析装置100は、下記式(2)にデータ列x(i)とデータ列y(z,i)とを代入することにより、第1の一致度として、下記式(2)における相関係数s(z)を算出してもよい。
【0119】
また、例えば、脈波分析装置100は、ユークリッド距離や正規化されたユークリッド距離などを用いて、顔面右側の着目期間内の部分波形1011と顔面左側の着目期間内の部分波形1021との一致度合いを示す第1の一致度を算出してもよい。
【0120】
また、ここでは、脈波分析装置100が2つの部位のそれぞれの部位の脈波波形に基づいて第1の一致度を算出する場合について説明したが、これに限らない。例えば、脈波分析装置100は、3つ以上の脈波波形に基づいて、第1の一致度を算出してもよい。
【0121】
具体的には、脈波分析装置100は、額、左頬、右頬のそれぞれの部位の脈波波形がある場合に、それぞれの部位の着目期間内の部分波形を示すデータ列を取得してもよい。そして、脈波分析装置100は、それぞれのデータ列の組み合わせを上記式(1)に代入することにより、それぞれのデータ列の組み合わせについて第1の一致度を算出し、算出した第1の一致度の平均値を算出してもよい。これにより、脈波分析装置100は、それぞれの部位が同一平面上にない場合に、第1の一致度の指標値としての尤もらしさの向上を図ることができる。
【0122】
具体的には、脈波分析装置100は、左頬、右頬、顔上部、顔下部などのそれぞれの部位の脈波波形がある場合に、左頬と右頬との組み合わせや顔上部と顔下部との組み合わせのように、対応する組み合わせごとに第1の一致度を算出してもよい。そして、脈波分析装置100は、算出した第1の一致度の統計値、例えば最小値を算出する。統計値は、例えば、平均値、中央値、最大値、最小値などである。これにより、脈波分析装置100は、対象者の種々の体動に対応可能な第1の一致度を算出し、第1の一致度の指標値としての尤もらしさの向上を図ることができる。ここで、
図11の説明に移行する。
【0123】
図11は、第1の一致度を算出する第2例を示す説明図である。ここで、対象者のそれぞれの部位が物理的に離れている場合には、心臓からの距離が異なるため、それぞれの部位の脈波波形は類似する波形になるが、時間方向にずれてしまうことがある。そこで、脈波分析装置100は、第1の一致度を算出する際に、対象者のいずれかの部位の脈波波形と、他の部位の脈波波形をずらした波形との第1の一致度を算出してもよい。
【0124】
図11において、脈波分析装置100は、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形と、他の部位の脈波波形のうちの着目期間をずらし幅zの分ずらした他の期間内の部分波形との第1の一致度を算出する。例えば、zの単位をミリ秒とする。
【0125】
脈波分析装置100は、顔面右側の脈波波形1010のうちの着目期間内の部分波形1011を抽出し、抽出した部分波形1011のデータ列x(i)を取得する。x(i)は、着目期間内の部分波形1011の値x(1),・・・,x(X)を時刻順に並べたデータ列である。例えば、iの単位はミリ秒である。
【0126】
また、脈波分析装置100は、例えば、z=−100〜100の間を1ずつインクリメントしながら、顔面左側の脈波波形1020のうちの着目期間をずらし幅zの分ずらした他の期間内の部分波形1100を抽出する。そして、脈波分析装置100は、抽出した部分波形1100のデータ列y(z,i)を取得する。y(z,i)は、着目期間をずらし幅zの分ずらした他の期間内の部分波形1100の値y(z,1),・・・,x(z,X)を時刻順に並べたデータ列である。例えば、zの単位はミリ秒である。
【0127】
そして、脈波分析装置100は、例えば、z=−100〜100の間を1ずつインクリメントしながら、上記式(1)または上記式(2)にデータ列x(i)とデータ列y(z,i)とを代入することにより、相関係数s(z)を算出する。そして、脈波分析装置100は、z=−100〜100の相関係数s(z)のうちの最大値を、第1の一致度として設定する。
【0128】
ここでは、脈波分析装置100が上記式(1)または上記式(2)を用いて第1の一致度を算出する場合について説明したが、これに限らない。例えば、脈波分析装置100は、ユークリッド距離や正規化されたユークリッド距離などを用いて第1の一致度を算出してもよい。
【0129】
また、ここでは、脈波分析装置100が2つの部位のそれぞれの部位の脈波波形に基づいて第1の一致度を算出する場合について説明したが、これに限らない。例えば、脈波分析装置100は、3つ以上の脈波波形に基づいて、第1の一致度を算出してもよい。
【0130】
具体的には、脈波分析装置100は、額、左頬、右頬のそれぞれの部位の脈波波形がある場合に、部位の組み合わせごとに、着目期間内の部分波形と、着目期間をずらし幅zの分ずらした他の期間内の部分波形との第1の一致度を算出する。そして、脈波分析装置100は、算出した第1の一致度の平均値を算出してもよい。これにより、脈波分析装置100は、それぞれの部位が同一平面上にない場合に、第1の一致度の指標値としての尤もらしさの向上を図ることができる。
【0131】
具体的には、脈波分析装置100は、左頬、右頬、顔上部、顔下部などのそれぞれの部位の脈波波形がある場合に、左頬と右頬との組み合わせや顔上部と顔下部との組み合わせのように、対応する組み合わせごとに第1の一致度を算出してもよい。そして、脈波分析装置100は、算出した第1の一致度の最小値を算出する。これにより、脈波分析装置100は、対象者の種々の体動に対応可能な第1の一致度を算出することができる。ここで、
図12の説明に移行する。
【0132】
〈第2の一致度を算出する一例〉
図12は、第2の一致度を算出する一例を示す説明図である。第2の一致度を算出する技術としては、例えば、特開2014−176584号公報に記載の技術を参照することができる。
【0133】
図12において、脈波分析装置100は、対象者のいずれかの部位の脈波波形のうち、着目期間内の部分波形と、着目期間をずらし幅zの分ずらした他の期間内の部分波形との第2の一致度を算出する。例えば、zの単位をミリ秒とする。
【0134】
脈波分析装置100は、例えば、顔面の脈波波形900のうちの着目期間内の部分波形901を抽出する。そして、脈波分析装置100は、抽出した部分波形901のデータ列x(i)を取得する。x(i)は、着目期間内の部分波形901の値x(1),・・・,x(X)を時刻順に並べたデータ列である。例えば、iの単位はミリ秒とする。
【0135】
また、脈波分析装置100は、z=400〜1500の間を1ずつインクリメントしながら、顔面の脈波波形900のうちの着目期間をずらし幅zの分ずらした他の期間内の部分波形1200を抽出する。そして、脈波分析装置100は、抽出した部分波形1200のデータ列y(z,i)を取得する。y(z,i)は、着目期間をずらし幅zの分ずらした他の期間内の部分波形1200の値y(z,1),・・・,x(z,X)を時刻順に並べたデータ列である。例えば、zの単位はミリ秒である。
【0136】
次に、脈波分析装置100は、z=400〜1500の間を1ずつインクリメントしながら、上記式(1)または上記式(2)にデータ列x(i)とデータ列y(z,i)とを代入することにより、相関係数s(z)を算出する。そして、脈波分析装置100は、z=400〜1500の相関係数s(z)のうちの最大値を、第2の一致度として設定する。また、脈波分析装置100は、z=400〜1500のうち、相関係数s(z)が最大値になるときのzを、脈波間隔として採用してもよい。
【0137】
ここでは、脈波分析装置100が上記式(1)または上記式(2)を用いて第2の一致度を算出する場合について説明したが、これに限らない。例えば、脈波分析装置100は、ユークリッド距離や正規化されたユークリッド距離などを用いて第2の一致度を算出してもよい。また、第2の一致度は、脈波間隔のばらつきを表す指標から算出しても良い。脈波間隔を表す指標は、例えば、脈波間隔の標準偏差や波波形から求められたスペクトル分布のピーク幅などである。
【0138】
〈ノイズが含まれるか否かを判定する一例〉
図13は、ノイズが含まれるか否かを判定する一例を示す説明図である。ここで、第1の一致度は、人の体動があるとそれぞれの部位への照射光量の時間変化が異なるため、小さい値になる傾向がある。換言すれば、第1の一致度は、値が小さいほど、対象者の体動に起因するノイズによって脈波波形が乱れた可能性が高いことを示す。
【0139】
一方で、第2の一致度は、値が大きい場合には、脈波波形が周期的であることを示す。換言すれば、第2の一致度は、値が大きいほど、脈波波形にノイズが含まれない傾向があることを示す。これにより、脈波分析装置100は、第1の一致度の傾向と、第2の一致度の傾向とに基づいて、脈波波形にノイズが含まれるか否かを区別可能になる。
【0140】
図13において、脈波分析装置100は、第1の一致度が第1の閾値以上の場合に、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形に、ノイズが含まれないと判定する。第1の閾値は、例えば、0.6である。また、脈波分析装置100は、第2の一致度が第2の閾値以上である場合に、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形に、ノイズが含まれないと判定する。第2の閾値は、例えば、0.7である。
【0141】
脈波分析装置100は、第1の一致度の平均値を算出している場合には、第1の一致度の平均値と第1の閾値とを比較することにより、脈波波形がノイズを含むか否かを判定してもよい。また、脈波分析装置100は、第1の一致度の最小値を算出している場合には、第1の一致度の最小値と第1の閾値とを比較することにより、脈波波形がノイズを含むか否かを判定してもよい。
【0142】
〈判定した結果に応じて脈波波形を分析する一例〉
脈波分析装置100は、対象者のいずれかの部位の脈波波形のうちのノイズが含まれないと判定された部分波形を用いて、対象者のいずれかの部位の脈波波形を分析する。脈波分析装置100は、ノイズが含まれないと判定された部分波形と、ノイズが含まれると判定された部分波形が重複する場合には、ノイズが含まれないと判定された部分波形のうちノイズが含まれると判定された部分波形と重複しない部分を用いてもよい。これにより、脈波分析装置100は、ノイズが含まれる部分波形を用いずに、対象者のいずれかの部位の脈波波形を分析することができ、分析精度の向上を図ることができる。
【0143】
脈波分析装置100は、例えば、対象者のいずれかの部位の脈波波形を分析して、脈拍数[bpm]を算出する。また、脈波分析装置100は、例えば、対象者のいずれかの部位の脈波波形を分析して、対象者のいずれかの部位の脈波波形を2回微分して加速度脈波波形を算出し、加速度脈波波形から血管年齢を算出してもよい。また、脈波分析装置100は、例えば、対象者のいずれかの部位の脈波波形を分析して、対象者が不整脈であるか否かを判定してもよい。
【0144】
ここでは、脈波分析装置100が、ノイズが含まれる部分波形を用いずに、対象者のいずれかの部位の脈波波形を分析する場合について説明したが、これに限らない。例えば、脈波分析装置100は、第1の一致度と第2の一致度と対象者のいずれかの部位の脈波波形とを用いて、対象者のいずれかの部位の脈波波形を分析してもよい。
【0145】
(判定処理手順の一例)
次に、
図14を用いて、脈波分析装置100が実行する判定処理手順の一例について説明する。
【0146】
図14は、判定処理手順の一例を示すフローチャートである。
図14において、脈波分析装置100は、人の身体の一部分が撮影された動画像101を取得する(ステップS1401)。次に、脈波分析装置100は、人の複数の部位のそれぞれの部位について、
図15に後述する脈波波形の生成処理を実行する(ステップS1402)。そして、脈波分析装置100は、生成したいずれかの部位の脈波波形に基づいて着目期間を設定する(ステップS1403)。
【0147】
次に、脈波分析装置100は、生成した複数の部位のそれぞれの部位の脈波波形のうち、着目期間内の部分波形間の一致度合いを示す第1の一致度を算出する(ステップS1404)。そして、脈波分析装置100は、生成したいずれかの部位の脈波波形のうち、着目期間内の部分波形と、着目期間をずらし幅の分移動させた比較対象期間内の部分波形との一致度合いを示す第2の一致度を算出する(ステップS1405)。
【0148】
次に、脈波分析装置100は、第1の一致度と第2の一致度とに基づいて、生成したいずれかの部位の脈波波形のうちの着目期間内の部分波形にノイズが含まれるか否かを判定する(ステップS1406)。そして、脈波分析装置100は、判定した結果に基づいて、生成したいずれかの部位の脈波波形を解析する(ステップS1407)。
【0149】
次に、脈波分析装置100は、解析した結果を出力する(ステップS1408)。そして、脈波分析装置100は、判定処理を終了する。これにより、脈波分析装置100は、人のいずれかの部位の脈波波形にノイズが含まれるか否かを判定して、人のいずれかの部位の脈波波形の分析精度の向上を図ることができる。
【0150】
(生成処理手順の一例)
次に、
図15を用いて、脈波分析装置100が実行する生成処理手順の一例について説明する。
【0151】
図15は、生成処理手順の一例を示すフローチャートである。
図15において、脈波分析装置100は、動画像101から、人の複数の部位のそれぞれの部位の画像を抽出する(ステップS1501)。
【0152】
次に、脈波分析装置100は、抽出した画像に基づいて、当該画像に含まれる所定の波長成分の代表値の時系列データを取得する(ステップS1502)。そして、脈波分析装置100は、BPFによって、取得した波長成分ごとの時系列データから特定周波数帯の信号成分を抽出する(ステップS1503)。
【0153】
次に、脈波分析装置100は、抽出した波長成分ごとの特定周波数帯の信号成分から、特定周波数帯の信号成分の絶対値の時系列データを抽出する(ステップS1504)。そして、脈波分析装置100は、LPFによって、抽出した波長成分ごとの特定周波数帯の絶対値の時系列データに対して平滑化処理を実行し、急峻な周波数成分を除去する(ステップS1505)。
【0154】
次に、脈波分析装置100は、平滑化された波長成分ごとの特定周波数帯の絶対値の時系列データに基づいて、補正係数を算出する(ステップS1506)。また、脈波分析装置100は、ステップS1503〜S1506と並行して、BPFによって、取得した波長成分ごとの時系列データから脈波周波数帯の信号成分を抽出する(ステップS1507)。
【0155】
次に、脈波分析装置100は、抽出されたいずれかの脈波周波数帯の信号成分に、算出した補正係数を乗算する(ステップS1508)。そして、脈波分析装置100は、いずれかの波長成分の脈波周波数帯の信号成分から、補正係数kが乗算された波長成分の脈波周波数帯の信号成分を減算する(ステップS1509)。
【0156】
次に、脈波分析装置100は、BPFによって、減算後の信号の時系列データの脈波周波数帯の信号成分を抽出する(ステップS1510)。そして、脈波分析装置100は、生成処理を終了する。これにより、脈波分析装置100は、対象者の脈波波形を生成することができる。
【0157】
以上説明したように、脈波分析装置100によれば、対象者を撮影した動画像101に含まれるそれぞれの撮影画像から抽出した、対象者の複数の部位のそれぞれの部位の画像を解析することによりそれぞれの部位の脈波波形を生成することができる。そして、脈波分析装置100によれば、生成したそれぞれの部位の脈波波形同士の第1の一致度を算出し、算出した第1の一致度を出力することができる。これにより、脈波分析装置100は、対象者の動画像101から対象者の脈波波形の脈波らしさを示す指標値を算出することにより、対象者の脈波波形の解析精度の向上を図ることができる。脈波分析装置100は、例えば、生成した脈波波形の脈波らしさを考慮して、対象者の健康に関する判断などに用いることができる。
【0158】
また、脈波分析装置100によれば、それぞれの撮影画像から抽出した対象者の画像を解析することにより対象者の脈波波形を生成し、算出した第1の一致度に基づいて、生成した対象者の脈波波形にノイズが含まれるか否かを判定することができる。これにより、脈波分析装置100は、算出した第1の一致度が相対的に小さい場合には、生成した脈波波形にはノイズが含まれると判定することができる。そして、脈波分析装置100は、ノイズが含まれる脈波波形については対象者の健康に関する判断などに用いないようにすることができる。
【0159】
また、脈波分析装置100によれば、生成した対象者の脈波波形から抽出した複数の所定時間分の部分波形のそれぞれの部分波形同士の第2の一致度を算出することができる。そして、脈波分析装置100によれば、算出した第1の一致度と、算出した第2の一致度とに基づいて、生成した対象者の脈波波形にノイズが含まれるか否かを判定することができる。これにより、脈波分析装置100は、算出した第1の一致度が相対的に小さい場合、または、算出した第2の一致度が相対的に小さい場合には、生成した脈波波形にはノイズが含まれると判定することができる。そして、脈波分析装置100は、ノイズが含まれる脈波波形については対象者の健康に関する判断などに用いないようにすることができる。
【0160】
また、脈波分析装置100によれば、それぞれの撮影画像に、所定期間内の撮影画像を用いることができる。これにより、脈波分析装置100は、動画像101全体から生成される脈波波形のうちの所定期間内の脈波波形について脈波らしさを示す指標値を算出することができる。結果として、脈波分析装置100は、所定期間ごとに脈波波形にノイズが含まれるか否かを判定可能になる。
【0161】
また、脈波分析装置100によれば、それぞれの撮影画像に、部位ごとに異なる所定期間内の撮影画像を用いることができる。これにより、脈波分析装置100は、脈のタイミングが異なる複数の部位を用いる場合であっても、部位ごとの脈のタイミングを考慮して、部位ごとの脈波波形の第1の一致度を算出することができる。
【0162】
また、脈波分析装置100によれば、複数の部位に、連動する2つ以上の部位を用いることができる。これにより、脈波分析装置100は、対象者の体動に応じて、複数の部位のそれぞれに同様の動きが現れるようにすることができ、脈波らしさの指標値を算出しやすくすることができる。
【0163】
また、脈波分析装置100によれば、複数の部位に、同一平面上にない2つ以上の部位を用いることができる。これにより、脈波分析装置100は、対象者の体動に応じて、複数の部位のそれぞれに同様の動きが現れるようにすることができ、脈波らしさの指標値を算出しやすくすることができる。
【0164】
また、脈波分析装置100によれば、複数の部位に、対象者の顔面において対称的に存在する部位を用いることができる。これにより、脈波分析装置100は、対象者の体動に応じて、複数の部位のそれぞれに同様の動きが現れるようにすることができ、脈波らしさの指標値を算出しやすくすることができる。
【0165】
また、脈波分析装置100によれば、3つ以上の部位のそれぞれの部位の脈波波形同士の第1の一致度の平均値に基づいて、生成した対象者の脈波波形にノイズが含まれるか否かを判定することができる。これにより、脈波分析装置100は、生成した対象者の脈波波形に、対象者の種々の体動に起因するノイズが含まれるか否かを判定しやすくすることができる。
【0166】
また、脈波分析装置100によれば、複数の部位のうちの所定の組み合わせごとに、組み合わせ内のそれぞれの部位の脈波波形同士の第1の一致度を算出することができる。そして、脈波分析装置100は、算出した組み合わせごとの第1の一致度のうちの最小値に基づいて、生成した対象者の脈波波形にノイズが含まれるか否かを判定することができる。これにより、脈波分析装置100は、生成した対象者の脈波波形に、対象者の種々の体動に起因するノイズが含まれるか否かを判定しやすくすることができる。
【0167】
また、脈波分析装置100によれば、それぞれの撮影画像から抽出した対象者の画像を解析することにより対象者の脈波波形を生成し、算出した第1の一致度と、生成した対象者の脈波波形とを対応付けて出力することができる。これにより、脈波分析装置100は、対象者の脈波波形についての脈波らしさの指標値として、算出した第1の一致度をユーザに通知することができる。
【0168】
また、脈波分析装置100によれば、算出した第1の一致度に基づいて、複数の部位のいずれかの部位の脈波波形にノイズが含まれるか否かを判定することができる。これにより、脈波分析装置100は、算出した第1の一致度が相対的に小さい場合には、生成した脈波波形にはノイズが含まれると判定することができる。そして、脈波分析装置100は、ノイズが含まれる脈波波形については対象者の健康に関する判断などに用いないようにすることができる。
【0169】
また、脈波分析装置100によれば、算出した第1の一致度と、複数の部位のいずれかの部位の脈波波形とを対応付けて出力することができる。これにより、脈波分析装置100は、複数の部位のいずれかの部位の脈波波形についての脈波らしさの指標値として、算出した第1の一致度をユーザに通知することができる。
【0170】
なお、本実施の形態で説明した脈波分析方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本脈波分析プログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本脈波分析プログラムは、インターネット等のネットワークを介して配布してもよい。
【0171】
上述した実施の形態に関し、さらに以下の付記を開示する。
【0172】
(付記1)対象者を撮影した複数の撮影画像から、前記対象者の複数の部位のそれぞれの部位の画像を抽出し、
前記複数の撮影画像から抽出した前記それぞれの部位の画像を解析することにより前記それぞれの部位の脈波波形を生成し、
生成した前記それぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の一致度を算出する、
制御部を有することを特徴とする脈波分析装置。
【0173】
(付記2)前記制御部は、
算出した前記第1の一致度に基づいて、生成した前記対象者の脈波波形にノイズが含まれるか否かを判定する、ことを特徴とする付記1に記載の脈波分析装置。
【0174】
(付記3)前記制御部は、
算出した前記第1の一致度が低い場合に、生成した前記対象者の脈波波形にノイズを含んでいると判定する、ことを特徴とする付記2に記載の脈波分析装置。
【0175】
(付記4)前記制御部は、
生成した前記対象者の脈波波形から所定時間分の部分波形を複数抽出し、
抽出した前記複数の部分波形のうちの部分波形間の一致度合いを示す第2の一致度を算出し、
算出した前記第1の一致度と、算出した前記第2の一致度とに基づいて、生成した前記対象者の脈波波形にノイズが含まれるか否かを判定する、ことを特徴とする付記2または3に記載の脈波分析装置。
【0176】
(付記5)前記それぞれの部位の脈波波形は、所定時間内の脈波波形に限定する、ことを特徴とする付記1〜4のいずれか一つに記載の脈波分析装置。
【0177】
(付記6)前記制御部は、
前記それぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の一致度を算出する際に、一方の波形を時間方向にずらした上で、前記第1の一致度を算出する、ことを特徴とする付記1〜5のいずれか一つに記載の脈波分析装置。
【0178】
(付記7)前記複数の部位は、連動して動く2つ以上の部位を含む、ことを特徴とする付記1〜6のいずれか一つに記載の脈波分析装置。
【0179】
(付記8)前記複数の部位は、同一平面上にない2つ以上の部位を含む、ことを特徴とする付記1〜7のいずれか一つに記載の脈波分析装置。
【0180】
(付記9)前記複数の部位は、前記対象者の身体において対称的に存在する2つ以上の部位を含む、ことを特徴とする付記1〜8のいずれか一つに記載の脈波分析装置。
【0181】
(付記10)前記複数の部位は、3つ以上の部位を含み、
前記制御部は、
前記3つ以上の部位のそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の一致度の統計値を算出することを特徴とする付記1〜9のいずれか一つに記載の脈波分析装置。
【0182】
(付記11)前記複数の部位は、3つ以上の部位を含み、
前記制御部は、
前記複数の部位の所定の組み合わせごとに、前記組み合わせ内の部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の一致度を算出し、
算出した前記組み合わせごとの第1の一致度の統計値を算出することを特徴とする付記1〜10のいずれか一つに記載の脈波分析装置。
【0183】
(付記12)前記制御部は、
算出した前記第1の一致度と、生成した前記対象者の脈波波形とを対応付けて出力する、ことを特徴とする付記1〜11のいずれか一つに記載の脈波分析装置。
【0184】
(付記13)前記制御部は、
算出した前記第1の一致度に基づいて、前記複数の部位のいずれかの部位の脈波波形にノイズが含まれるか否かを判定する、ことを特徴とする付記2〜12のいずれか一つに記載の脈波分析装置。
【0185】
(付記14)前記制御部は、
算出した前記第1の一致度と、前記複数の部位のいずれかの部位の脈波波形とを対応付けて出力する、ことを特徴とする付記1〜13のいずれか一つに記載の脈波分析装置。
【0186】
(付記15)コンピュータが、
対象者を撮影した複数の撮影画像から、前記対象者の複数の部位のそれぞれの部位の画像を抽出し、
前記複数の撮影画像から抽出した前記それぞれの部位の画像を解析することにより前記それぞれの部位の脈波波形を生成し、
生成した前記それぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の一致度を算出する、
処理を実行することを特徴とする脈波分析方法。
【0187】
(付記16)コンピュータに、
対象者を撮影した複数の撮影画像から、前記対象者の複数の部位のそれぞれの部位の画像を抽出し、
前記複数の撮影画像から抽出した前記それぞれの部位の画像を解析することにより前記それぞれの部位の脈波波形を生成し、
生成した前記それぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の一致度を算出する、
処理を実行させることを特徴とする脈波分析プログラム。