【国等の委託研究の成果に係る記載事項】(出願人による申告)平成23年度、総務省委託研究「4次元メディアシステムの研究開発」産業技術力強化法第19条の適用を受ける特許出願
(58)【調査した分野】(Int.Cl.,DB名)
前記第2のステップでは、胸腹壁表面を撮像する撮像手段のレンズと胸腹壁との距離変化を前記第1の時系列データとして算出することを特徴とする請求項1に記載の心拍計測方法。
前記第2の時系列データを、時間変化量の大きさに応じて色彩情報に変換し、各点の三次元座標に当該色彩情報を映像として表示することで、心拍による胸腹壁表面の動態を可視化するステップを有することを特徴とする請求項1又は3に記載の心拍計測方法。
前記第2の時系列データを、時間変化量の大きさに応じて色彩情報に変換し、各点の三次元座標に当該色彩情報を映像として表示することで、心拍による胸腹壁表面の動態を可視化する動態可視化手段を有することを特徴とする請求項6又は8に記載の心拍計測装置。
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献1、2の手法は、高価な計測機器を必要とする。また、非特許文献3の手法は、安価なカラー撮像手段を用いることから照明変動に対するロバスト性が低く、定量的な心拍波形計測の実現は難しい。
【0006】
本発明が解決しようとする課題は、安価な装置構成で簡便に心拍波形の非接触計測を実現することである。
【課題を解決するための手段】
【0007】
本発明に係る心拍計測方法は、
人の胸部の三次元形状変化を取得することで非接触でその心拍を計測する心拍計測方法であって、
前記人の胸腹壁表面の三次元形状を三次元座標点群データとして取得する第1のステップと、
該第1のステップで取得された三次元座標点群データを構成する各点における三次元座標の時間変化を第1の時系列データとして算出する第2のステップと、
前記第1の時系列データに対するバンドパスフィルター処理により、心拍の周波数帯の成分を抽出することで、心拍による三次元座標の時間変化を第2の時系列データとして算出する第3のステップと、
を有することを特徴とする。
【0008】
また、前記第1のステップでは、パターン光が投影された人の胸腹壁表面を撮像した画像から前記三次元座標点群データを取得することが望ましい。
【0009】
また、前記第2のステップでは、胸腹壁表面を撮像する撮像手段のレンズと胸腹壁との距離変化を前記第1の時系列データとして算出することが望ましい。
【0010】
また、前記第2の時系列データを、その大きさに応じて色彩情報に変換し、各点の三次元座標に当該色彩情報を映像として表示することで、心拍による胸腹壁表面の動態を可視化するステップを有してもよい。
【0011】
また、胸腹部に対応させた複数の区画についてそれぞれ前記第2の時系列データを算出し、所定の基準区画の心拍周波数成分に対して他の区画の心拍周波数成分の位相差を算出するステップを有してもよい。
【0012】
本発明に係る心拍計測装置は、
人の胸部の三次元形状変化を取得することで非接触でその心拍を計測する心拍計測装置であって、
前記人の胸腹壁表面の三次元形状を三次元座標点群データとして取得する点群データ取得手段と、
該点群データ取得手段で取得された前記三次元座標点群データを構成する各点における三次元座標の時間変化を第1の時系列データとして算出する点群座標時間変化算出手段と、
前記第1の時系列データに対するバンドパスフィルター処理により、心拍の周波数帯の成分を抽出することで、心拍に起因する各点における三次元座標の時間変化を前記第2の時系列データとして算出する心拍起因点群座標時間変化算出手段と、
を備えることを特徴とする。
【0013】
また、胸腹部表面にパターン光を投影するパターン光投影手段と、
パターン光が投影された人の胸腹部表面を撮像する撮像手段と、を備え、
前記点群データ取得手段は前記撮像手段で撮像された画像から前記三次元座標点群データを取得することが望ましい。
【0014】
また、前記点群座標時間変化算出手段が、前記撮像手段のレンズと胸腹壁との距離変化を前記第1の時系列データとして算出することが望ましい。
【0015】
また、前記第2の時系列データを、時間変化量の大きさに応じて色彩情報に変換し、各点の三次元座標に当該色彩情報を映像として表示することで、心拍による胸腹壁表面の動態を可視化する動態可視化手段を有してもよい。
【0016】
また、胸腹部に対応させた複数の区画についてそれぞれ前記第2の時系列データを算出し、所定の基準区画の心拍周波数成分に対して他の区画の心拍周波数成分の位相差を算出する位相差算出手段を有してもよい。
【発明の効果】
【0017】
本発明に係る心拍計測方法及び心拍計測装置では、安価な装置構成で簡便に心拍波形の非接触計測が実現できる。
【図面の簡単な説明】
【0018】
【
図1】
図1は本発明の心拍計測方法について示した流れ図である。
【
図2】
図2(A)は本発明の胸腹壁の三次元取得について示した説明図、
図2(B)は演算装置の構成図である。(実施例1)
【
図3】
図3(A)は投影される静的パターン、
図3(B)は静的パターンの寸法について示した説明図である。(実施例1)
【
図4】
図4は三次元形状復元アルゴリズムについて示した流れ図である。(実施例1)
【
図5】
図5は胸腹壁に投影された波線パターン画像を示した図面代用写真である。(実施例1)
【
図6】
図6は三次元形状復元された胸腹壁の立体図を示した図面代用写真である。(実施例1)
【
図7】
図7(A)は胸腹壁上の点における三次元座標の時間変化の原波形、
図7(B)は原波形のバンドパスフィルタ−処理後の波形を示したグラフである。(実施例2)
【
図8】
図8はECGとの同時計測結果について示したグラフである。(実施例2)
【
図9】
図9はECGとの一致性について示したグラフである。(実施例2)
【
図10】
図10は胸腹壁三次元形状の時間変化の空間分布を示した図面代用写真である。(実施例2)
【
図11】
図11は胸腹壁上に設定されたサンプルポイントについて説明した図面代用写真である。(実施例3)
【
図12】
図12はサンプルポイントD1〜D6における三次元座標の時間変化について示したグラフである。(実施例3)
【
図13】
図13は胸腹壁上に設定されたサンプルポイントにおける心拍周波数成分の位相差について示した図面代用写真である。(実施例3)
【発明を実施するための形態】
【0019】
本実施の形態に係る心拍計測方法は、胸腹壁表面の三次元形状変化を取得することで、非接触で人の心拍を計測するものであり、
図1に示す3つのステップを有する。
【0020】
まず、第1のステップにおいては、アクティブステレオ法を用いることで、人の胸腹壁表面の三次元形状が三次元座標点群データとして取得される。後述するように、三次元座標点群データは、パターン光が投影された人の胸腹壁表面を撮像した画像から取得される。
【0021】
次に、第2のステップにおいては、第1のステップで取得された三次元座標点群データを構成する各点における三次元座標について時間変化を算出し、第1の時系列データを取得する。後述するように、第1の時系列データは、胸腹壁表面を撮像する撮影手段のレンズと胸腹壁との距離変化として算出される。
【0022】
続く第3のステップにおいては、第1の時系列データに対してバンドパスフィルター処理が施され、心拍の周波数帯の成分が抽出される。これにより、各点における心拍による三次元座標の時間変化が第2の時系列データとして算出される。
【0023】
さらに、本実施の形態に係る心拍計測方法は、第3のステップに続くステップとして、第3のステップで算出された各点における心拍による三次元座標の時間変化が、その大きさに応じて色彩情報に変換される。そして、各点の三次元座標に当該色彩情報が映像として表示されることで、心拍による胸腹壁表面の動態の可視化がなされる。
【0024】
さらに、後述するように、胸腹部に対応させた複数の区画について、第2の時系列データを算出し、所定の基準区画の心拍周波数成分に対する他の区画の心拍周波数成分の位相差を算出するステップを備えた形態でもよい。
【0025】
上記の心拍計測方法は、以下の心拍計測装置を用いて実現され得る。心拍計測装置は、胸腹壁表面の三次元形状変化を取得することで非接触で心拍を計測するものであり、以下に説明する点群データ取得手段、点群座標時間変化算出手段、および、心拍起因点群座標時間変化算出手段から構成される。
【0026】
点群データ取得手段においては、アクティブステレオ法を用いることで、人の胸腹壁表面の三次元形状が三次元座標点群データとして取得される。
【0027】
点群座標時間変化算出手段においては、三次元座標点群データで取得された三次元座標点群データを構成する各点における三次元座標について時間変化を算出し、その時系列データ(第1の時系列データ)を取得する。
【0028】
心拍起因点群座標時間変化算出手段においては、第1の時系列データに対してバンドパスフィルター処理が施され、心拍の周波数帯の成分が抽出される。これにより、心拍以外の体動、すなわち呼吸や痙攣微動などに起因する信号成分が除去され、各点における心拍による三次元座標の時間変化が第2の時系列データとして算出される。
【0029】
さらに、心拍計測装置は、前記の構成に加えて、心拍起因点群座標時間変化算出手段で算出された各点における心拍による三次元座標の時間変化を、その大きさに応じて色彩情報に変換し、各点の三次元座標に当該色彩情報を映像として表示するための動態可視化手段を備えてもよい。これにより、心拍による胸腹壁表面の動態の可視化を行うことができる。
【0030】
さらに、心拍計測装置は、胸腹部に対応させた複数の区画について、第2の時系列データを算出し、所定の基準区画の心拍周波数成分に対する他の区画の心拍周波数成分の位相差を算出する位相差算出手段を備えた形態であってもよい。
【0031】
なお、点群データ取得手段、点群座標時間変化算出手段、心拍起因点群座標時間変化算出手段、動態可視化手段および位相差算出手段は、それぞれ点群データ取得部、点群座標時間変化算出部、心拍起因点群座標時間変化算出部、動態可視化部および位相差算出部として演算装置に組み込まれて処理するよう構成されていればよい。また、心拍計測装置は、上記のそれぞれの手段により算出されるデータ等をモニタ等へ出力する出力部を有する。
【実施例1】
【0032】
以下、実施例に基づき、心拍計測装置を用いた心拍計測方法について詳述する。本実施例においては、アクティブステレオ法を用いて人の胸腹壁の三次元形状の取得が行われる。心拍計測装置は、
図2(A)に示すように、パターン光投影手段21、撮像手段22、演算装置25から構成される。演算装置25は、
図2(B)に示すように、点群データ取得部、点群座標時間変化算出部、心拍起因点群座標時間変化算出部を有する。パターン光投影手段21からパターン光23が被験者(人)24の胸腹壁に投影され、撮像手段22によって撮影される。
【0033】
パターン光投影手段21は、液晶プロジェクタを用いるのが好適であるが、透過型回折格子とレーザー光源との組み合わせによるパターンプロジェクタを用いてもよい。また、パターン光の模様が描かれたネガフィルムにハロゲン光、LED光、レーザー光を透過させ、パターン光を投影してもよい。パターン光投影手段21の光源からは、可視光〜近赤外光の帯域の波長を持つ光が適宜選択され出力される。撮像手段22には、ハイスピード撮影に対応したCCDカメラ、CMOSカメラが用いられる。
【0034】
この実施例においては、
図3に示す静的パターンを投影する。このパターンは、単色で、正弦波形状の縦横の曲線をグリッド状に配置したものである。パターンは静的であるため同期の必要が無く、撮影に同期は必要ない。そのため、非常に高いフレームレートでの計測が可能である。
【0035】
本実施例における三次元形状復元アルゴリズムを
図4に示す。このアルゴリズムは、本発明の発明者等によって行われた発明(特開2009−300277号公報、特願2011−157249(特開2013−24608号公報)、特願2011−158175(特開2013−24655号公報))に基づくものである。
【0036】
復元アルゴリズムにおいては、まず撮影した画像から線検出を行う。Belief−Propagation(BP)による最適化により、単色のグリッド状の線を、縦と横に安定して分離して検出する。検出された縦横の線から交点を算出し、交点をノードとしたグラフを作る。次に各ノードに対応するエピポーラ線の位置をパターン光投影手段21パターン上で計算し、そのライン上にグリッドの交点がある場合、これを対応候補とする。この時、通常は複数の対応候補が見つかるので、BPを利用して各点における対応候補の最適な組み合わせを求める。このままでは復元結果は疎であるので、最後に、各画素での深さを、補間およびパターンと観測画像の画素単位のマッチングを利用して求めることで、密な三次元形状を得る。
【0037】
パターン光投影手段21により投影される静的パターンは、画像処理によって一意に対応が決まるパターンではなく、対応の優先順位に関する情報を与えるために、縦、横の波線からなるグリッドパターンを用いる。波線パターンは単純なパターンであるため、画像中での曲線として検出しやすく、輝度値のピークを計算することにより、その位置をサブピクセル精度で得ることができる。
【0038】
波線として周期的な正弦波パターンを用いるが、波線グリッドは対応点検出に有効な情報を持つ。本発明の心拍計測方法では縦、横の波線の交点を特徴点として用いる。交点の配置は、波線の間隔と波長で決定される。一定の間隔と波長を持つ波線を用いるが、下記に述べるように、縦波線の間隔が横波線の波長の整数倍でないため、交点まわりのパターンが局所的に固有なパターンを持ち、対応付けのための特徴量として用いることができる。
【0039】
交点周囲の局所的パターンは、投影パターン全体の中で一意性を持つものではない。
図3(B)において、Sx、Syを隣接する波線の間隔、Wx、Wyを波長とすると、Nx=lcm(Sx;Wx)=Sx;Ny=lcm(Sy;Wy)=Syを用いて、同一パターンが、横、縦軸に沿ってそれぞれNx、Ny本の波線ごとに起こる。ここで1cm(a;b)はaとbの最小公倍数であり、添字x、yはそれぞれ横、縦軸に沿った値を表すものとする。しかしながら、局所パターンは、各サイクルにおいて識別可能なパターンである。
図3(B)は、Sx=10;Sy=11;Wx=Wy=14;Ax=Ay=1(単位は画素)からなるパターンの例である。この例では、1周期は縦線7本、横線14本となる。よって、98(=7×14)種類の交点が1周期で構成される矩形の中に存在することとなる。
【0040】
ステレオマッチングでは、対応点候補はエピポーラ線上の点に限られている。あるパターン光投影手段画像の交点とエピポーラ線が適当な距離以内に位置している場合、そのパターン光投影手段画像の交点は対応点候補の1つとして選択される。候補の数は、撮像手段画像の交点位置に依存する。対応点候補は、パターン光投影手段画像において疎に分布するため、画素単位で候補点を探索する通常のステレオ視と比べて、対応候補の数を大幅に少なくすることができる。
【0041】
前記のアクティブステレオ法により、被験者の胸壁に投影された波線パターン画像から三次元形状復元を行い、胸壁の三次元形状の時間変化から心拍波形を算出する。心拍計測を目的としていることから、画像取得に用いられる撮像手段22はハイスピード撮影に対応しているものが用いられる。心拍波形の計測には、撮像手段22が60FPS以上のフレームレートでの撮影に対応していることが好ましい。ここで、画像取得中、被験者24は背もたれ付きの椅子に着座しているものとする。
【0042】
復元された点群データは、分布密度が場所により異なり、またフレーム間での点同士の対応を厳密に取ることは不可能である。そこで、撮像手段22のレンズを原点とし深度方向をZ軸としたXYZ三次元座標系において、XY平面に2次元格子点を設定し、点群データを格子状に空間リサンプリングして新たに三次元座標を求める。そして、同じ格子点でフレーム間の対応付けを行い、連続するフレーム間での深度変化を算出することで心拍波形を算出する。つまり、心拍波形は胸腹壁と撮像手段レンズ間の距離変化(速度)に対応する。なお、三次元点群データの空間リサンプリングに用いられる補間法はどのようなものであってもよいが、例えば、計算コストが低い線形補間三角網法を用いる。
【0043】
算出される心拍波形には、雑音や呼吸成分の体動が含まれるため、透過帯域0.4〜5Hzのバンドパスフィルター処理を行うことで、心拍成分のみを抽出し、心拍波形の算出が行われる。
【実施例2】
【0044】
本発明の心拍計測方法および心拍計測装置の妥当性を検証するために、試作システムによる実測を行った。試作システムにおいては、ハイスピード対応の撮像手段22として、EPIX社製SILICON VIDEO(R)monochrome643Mを用いた。643Mにおいては、VGA画像を最大フレームレート211FPSで撮影することが可能である。ここでは、100FPSでの画像取得を行うこととした。撮像手段レンズの焦点距離は8mmであった。また、波線パターンを投影するためのパターン光投影手段21として、エプソン社製液晶パターン光投影手段EB−1750を用いた。パターン光投影手段レンズと撮像手段レンズとの間隔は600mmに設定した。
【0045】
ここで、被験者(人)24は健常者男性(年齢41歳、身長1.71m、体重62kg)である。なお、計測に先立ち、被験者とは計測同意書を取り交わしている。被験者の上半身の着衣は白色のティーシャツである。計測時間は30秒間であり、計測開始後、約10秒間は呼吸を停止し、残りの時間は通常の呼吸を行うこととした。
【0046】
以下に、計測結果について示す。
図5は、ハイスピード撮像手段で取得された胸壁の波線パターン画像である。この波線パターン画像を実施例1に示した復元アルゴリズムを用いて三次元点群データを復元し、さらに、三次元点群データをXY平面において格子状にリサンプリングする。
図6は、リサンプル点群データから三次元形状復元された胸腹壁の立体図である。
【0047】
図6中に×印で示した点の三次元座標の時間変化について、原波形と原波形のバンドパスフィルター処理後の波形を、
図7(A)、
図7(B)にそれぞれ示す。
図7(A)において、原波形には大きな高周波ノイズが含まれている。一方、心拍の主要信号成分が含まれる0.4〜5Hzの周波数成分のみを高速フーリエ変換を用いたバンドパスフィルター処理により抽出した結果、
図7(B)に示すように周期的な波形が得られた。
【0048】
さらに、ECGとの同時計測により、算出される心拍波形の妥当性について検討した。用いたECGはLOGICAL PRODUCT社製コンパクトワイヤレスECGロガーである。ECG電極は被験者の左胸部下に設置した。ECGを用いた心拍波形の計測結果を
図8に示す。
図8より、フィルタ処理後の波形の振幅より、腹壁の表面に現れる点群の座標変化は毎フレームでサブミリオーダーであると考えられた。また、
図8より、本発明の心拍計測方法による心拍波形のピークの出現間隔とECG波形のピーク(R波)の出現間隔がほぼ一致していることがわかる。
【0049】
図9は、それぞれの手法におけるピークの出現間隔についてまとめたBland−Altman図である。
図9より、両手法のピーク出現間隔には十分な一致性が存在することが明らかとなり、本発明の心拍計測方法により心拍を算出できることが立証された。
【0050】
図10は、空間リサンプリングの格子点における胸腹壁の三次元形状の時間変化(フレーム間の変化量)の空間分布を色彩情報(ここではグレースケール)に変化して、復元された胸壁部の三次元形状の上に重ねて表現したものである。
図10より心拍は、心臓が存在する胸壁の左側に出現していることがわかる。このように心拍による僅かな体表の変化を可視化することで、腹胸壁表面に現れる心拍動態の視認が可能となる。
【実施例3】
【0051】
実施例2において復元された胸腹部の三次元形状の表面において、
図11に示すような格子状のサンプルポイントA1、A2、A3、A4、A5、A6、B1、B2、B3、B4、B5、B6、C1、C2、C3、C4、C5、C6、D1、D2、D3、D4、D5、D6、E1、E2、E3、E4、E5、E6、F1、F2、F3、F4、F5、F6を設定し、心拍周波数成分の位相について調べた。
【0052】
図12は、サンプルポイントD1、D2、D3、D4、D5、D6における三次元座標の時間変化である。
図12より、D1やD2のように下方にあるサンプルポイントと比較してD3、D4、D5、D6のような上方にあるサンプルポイントの方に位相の遅れが生じていることがわかる。
【0053】
図13は、サンプルポイントA1における位相を基準(ゼロ)となるように、各サンプルポイントにおける位相差を求めたコンター図として示した位相マップである。下方から上方に位相の遅れが生じていることが明らかであり、これは心臓の機械機能(収縮拡張様式)に伴う胸壁の変化を示している。心臓の収縮拡張様式は、心臓疾患によって多様な動態を示すことが知られていることから、本発明の心拍計測方法を用い胸壁変動の位相マップを提示することで、心臓疾患のスクリーニングや病状の把握に役立てることが可能である。
【0056】
なお、本発明は、本発明の範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
【0057】
本出願は、2012年7月24日に出願された日本国特許出願2012−163796号に基づく。本明細書中に、日本国特許出願2012−163796号の明細書、特許請求の範囲全体を参照として取り込むものとする。