特許 7514521 心拍測定システム、心拍測定方法、及び心拍測定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-03

(45)【発行日】2024-07-11

(54)【発明の名称】心拍測定システム、心拍測定方法、及び心拍測定プログラム

(51)【国際特許分類】

   A61B 5/02 20060101AFI20240704BHJP

   A61B 5/0245 20060101ALI20240704BHJP

【ＦＩ】

A61B5/02 310Z

A61B5/0245 A

【請求項の数】 4

(21)【出願番号】P 2020135364

(22)【出願日】2020-08-07

(65)【公開番号】P2022031001

(43)【公開日】2022-02-18

【審査請求日】2023-07-27

(73)【特許権者】

【識別番号】520300507

【氏名又は名称】株式会社イー・ライフ

(74)【代理人】

【識別番号】100127384

【弁理士】

【氏名又は名称】坊野 康博

(74)【代理人】

【識別番号】100152054

【弁理士】

【氏名又は名称】仲野 孝雅

(72)【発明者】

【氏名】満倉 靖恵

(72)【発明者】

【氏名】安井 正人

(72)【発明者】

【氏名】楊 浩勇

(72)【発明者】

【氏名】古川 俊治

【審査官】藤原 伸二

(56)【参考文献】

【文献】特開２０１５－２０５０５０（ＪＰ，Ａ）

【文献】特開２０２０－０９２８１７（ＪＰ，Ａ）

【文献】特開２００６－２７１７３１（ＪＰ，Ａ）

【文献】特開２０００－２７６４６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０２－５／０３

Ａ６１Ｂ ５／３４６－５／３６６

(57)【特許請求の範囲】

【請求項1】

測定対象者を被写体として連続撮影することにより生成された複数の画像を取得する画像取得手段と、
前記複数の画像の間における色を表現する値の変化に基づいて、前記測定対象者の脈波成分を示す信号である脈波信号を検出する脈波信号検出手段と、
前記脈波信号と、心拍を示す波形のモデルであるモデル信号との相互相関を解析することで前記脈波信号における心拍のタイミングを検出すると共に、該検出した心拍のタイミングに基づいて前記測定対象者の心拍に関する測定を行う測定手段と、
を備え、
前記測定手段は、
前記脈波信号の相互相関の解析対象とする部分を、以前解析対象とした部分と一部を重ねてシフトした上で相互相関の解析することにより、心拍のタイミングを検出することを繰り返し、
前記繰り返しにおいて、前記心拍のタイミングを検出した回数の時系列に沿った分布を求め、
前記求めた分布に対してピーク探索を行い、ピークとして探索された心拍のタイミングよりも相対的に検出回数が少ないため、ピークとして探索されなかった心拍のタイミングについては破棄し、
ピークとして探索された心拍のタイミングに基づいて、前記測定対象者の心拍に関する測定をする、
ことを特徴とする心拍測定システム。

【請求項2】

前記複数の画像は、測定対象者の顔部分を被写体として含む画像であり、
前記測定手段は、前記心拍に関する測定として、前記測定対象者の心拍の間隔を測定する、
ことを特徴とする請求項１に記載の心拍測定システム。

【請求項3】

コンピュータが行なう心拍測定方法であって、
測定対象者を被写体として連続撮影することにより生成された複数の画像を取得する画像取得ステップと、
前記複数の画像の間における色を表現する値の変化に基づいて、前記測定対象者の脈波成分を示す信号である脈波信号を検出する脈波信号検出ステップと、
前記脈波信号と、心拍を示す波形のモデルであるモデル信号との相互相関を解析することで前記脈波信号における心拍のタイミングを検出すると共に、該検出した心拍のタイミングに基づいて前記測定対象者の心拍に関する測定を行う測定ステップと、
を含み、
前記測定ステップでは、
前記脈波信号の相互相関の解析対象とする部分を、以前解析対象とした部分と一部を重ねてシフトした上で相互相関の解析することにより、心拍のタイミングを検出することを繰り返し、
前記繰り返しにおいて、前記心拍のタイミングを検出した回数の時系列に沿った分布を求め、
前記求めた分布に対してピーク探索を行い、ピークとして探索された心拍のタイミングよりも相対的に検出回数が少ないため、ピークとして探索されなかった心拍のタイミングについては破棄し、
ピークとして探索された心拍のタイミングに基づいて、前記測定対象者の心拍に関する測定をする、
ことを特徴とする心拍測定方法。

【請求項4】

測定対象者を被写体として連続撮影することにより生成された複数の画像を取得する画像取得機能と、
前記複数の画像の間における色を表現する値の変化に基づいて、前記測定対象者の脈波成分を示す信号である脈波信号を検出する脈波信号検出機能と、
前記脈波信号と、心拍を示す波形のモデルであるモデル信号との相互相関を解析することで前記脈波信号における心拍のタイミングを検出すると共に、該検出した心拍のタイミングに基づいて前記測定対象者の心拍に関する測定を行う測定機能と、
をコンピュータに実現させ、
前記測定機能は、
前記脈波信号の相互相関の解析対象とする部分を、以前解析対象とした部分と一部を重ねてシフトした上で相互相関の解析することにより、心拍のタイミングを検出することを繰り返し、
前記繰り返しにおいて、前記心拍のタイミングを検出した回数の時系列に沿った分布を求め、
前記求めた分布に対してピーク探索を行い、ピークとして探索された心拍のタイミングよりも相対的に検出回数が少ないため、ピークとして探索されなかった心拍のタイミングについては破棄し、
ピークとして探索された心拍のタイミングに基づいて、前記測定対象者の心拍に関する測定をする、
ことを特徴とする心拍測定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、心拍測定システム、心拍測定方法、及び心拍測定プログラムに関する。

【背景技術】

【0002】

従来、心疾患の予防等の目的で、心拍を測定することが広く行われている。この心拍の測定は、可能な限り簡便に行われることが望ましい。この要望に応じるため、例えば、心拍を測定可能な、小型のウェアラブルデバイスが用いられる。もっとも、たとえ小型であったとしても、ウェアラブルデバイスを装着すること自体が、測定者にとって負担と感じられる場合もある。
そのため、測定対象者に非接触で心拍を測定する技術が存在する。例えば、特許文献１に開示の技術では、測定対象者を被写体とした画像を撮影する。そして、この画像における輝度の変化に基づいて、心拍を測定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－０９２８１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１等に開示されているような、画像に基づいて心拍を測定する一般的な技術には、測定の精度を向上させるために、改善の余地があると考えられる。

【0005】

本発明は、このような状況に鑑みてなされたものである。そして、本発明の課題は、画像に基づいた心拍に関する測定を、より精度高く行うことである。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明の一実施形態に係る心拍測定システムは、
測定対象者を被写体として連続撮影することにより生成された複数の画像を取得する画像取得手段と、
前記複数の画像の間における色を表現する値の変化に基づいて、前記測定対象者の脈波成分を示す信号である脈波信号を検出する脈波信号検出手段と、
前記脈波信号と、心拍を示す波形のモデルであるモデル信号との相互相関を解析することで前記脈波信号における心拍のタイミングを検出すると共に、該検出した心拍のタイミングに基づいて前記測定対象者の心拍に関する測定を行う測定手段と、
を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、画像に基づいた心拍に関する測定を、より精度高く行うことができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る心拍測定システムのシステム構成を示す図である。

【図2】本発明の一実施形態に係る撮影装置の構成の一例を示すブロック図である。

【図3】本発明の一実施形態に係る心拍測定装置の構成の一例を示すブロック図である。

【図4】脈波信号の波形の補正について示すグラフである。

【図5】相互相関解析に用いられるモデル信号の一例について示すグラフである。

【図6】心拍のタイミングの測定について説明するための、検出回数の分布の一例について示すグラフである。

【図7】本実施形態における相互相関解析を伴う測定の測定結果の一例について示すグラフである。

【図8】本発明の一実施形態に係る撮影装置が実行する撮影処理の流れを示すフローチャートである。

【図9】本発明の一実施形態に係る心拍測定装置が実行する心拍測定処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付の図面を参照して本発明の実施形態の一例について説明する。

【0010】

［システム構成］
図１は、本実施形態に係る心拍測定システムＳのシステム構成を示す図である。図１に示すように、心拍測定システムＳは、撮影装置１０と、心拍測定装置２０とを含む。また、図１には、心拍測定システムＳによって心拍を測定する対象の人物である測定対象者も図示する。

【0011】

撮影装置１０と、心拍測定装置２０とは、相互に通信可能に接続される。この通信は、任意の通信方式に準拠して行われてよく、その通信方式は特に限定されない。また、この通信における接続は、有線接続であっても、無線接続であってもよい。さらに、この通信は、各装置の間で直接行われてもよいし、中継装置を含んだネットワークを介して行われてもよい。この場合、ネットワークは、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、インターネットや、携帯電話網といったネットワーク、或いはこれらを組み合わせたネットワークにより実現される。

【0012】

心拍測定システムＳは、撮影装置１０により測定対象者を被写体とした画像を撮影し、心拍測定装置２０によりこの画像に基づいた心拍に関する測定を、より精度高く行うシステムである。

【0013】

撮影装置１０は、測定対象者を被写体として連続撮影することにより複数の画像を生成する。そして、撮影装置１０は、生成した複数の画像に対応する画像データを、心拍測定装置２０に対して送信する。撮影装置１０は、例えば、スマートフォンやデジタルカメラやビデオカメラ等の撮影機能を備えた情報処理装置により実現することができる。

【0014】

心拍測定装置２０は、撮影装置１０が送信した画像データを取得する。そして、心拍測定装置２０は、取得した画像データに基づいて、測定対象者の心拍に関する測定を行う。心拍測定装置２０は、例えば、パーソナルコンピュータやサーバ装置等の演算処理能力を備えた情報処理装置により実現することができる。
心拍に関する測定を行う場合、心拍測定装置２０は、複数の画像の間における色を表現する値の変化に基づいて、測定対象者の脈波成分を示す信号である脈波信号を検出する。また、心拍測定装置２０は、脈波信号と、心拍を示す波形のモデルであるモデル信号との相互相関を解析することで脈波信号における心拍のタイミングを検出すると共に、該検出した心拍のタイミングに基づいて測定対象者の心拍に関する測定を行う。

【0015】

このように、心拍測定システムＳでは、各装置が協働することにより、測定対象者の画像から脈波信号を検出する。そして、心拍測定システムＳでは、脈波信号とモデル信号との相互相関を解析することで心拍のタイミングを検出し、これに基づいて心拍に関する測定を行う。
これにより、心拍測定システムＳによれば、画像に基づいた心拍に関する測定を、より精度高く行うことができる。したがって、心拍測定システムＳによれば、例えば、被写体となった測定対象者の向きの変化（例えば、顔向きの変化）や、周辺環境に起因する明るさの変化等の測定に対して影響を及ぼすような事象があったとしても、測定対象者の心拍に関する測定をすることが可能となる。また、心拍測定システムＳによれば、測定対象者に非接触で心拍に関する測定することができ、測定対象者はウェアラブルデバイス等を装着する必要がないので、より簡便に、心拍に関する測定を実現することが可能となる。

【0016】

次に、このような処理を実現するための、撮影装置１０及び心拍測定装置２０の構成や機能について、より詳細に説明をする。

【0017】

［撮影装置の構成］
次に、撮影装置１０の構成について、図２を参照して説明をする。図２は、撮影装置１０の構成の一例を示すブロック図である。
図２に示すように、撮影装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、通信部１４と、記憶部１５と、入力部１６と、出力部１７と、撮像部１８と、を備えている。これら各部は、信号線により接続されており、相互に信号を送受する。

【0018】

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１５からＲＡＭ１３にロードされたプログラムに従って各種の処理（例えば、後述する撮影処理）を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

【0019】

通信部１４は、ＣＰＵ１１が、他の装置（例えば、心拍測定装置２０）との間で通信を行うための通信制御を行う。
記憶部１５は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。

【0020】

入力部１６は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。出力部１７は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。なお、撮影装置１０が、例えばスマートフォンやデジタルカメラにより実現される場合には、入力部１６をタッチセンサによって構成し、出力部１７のディスプレイに重ねて配置することにより、タッチパネルを備える構成とすることも可能である。
撮像部１８は、レンズ及び撮像素子等を備えた撮像装置によって構成され、被写体のデジタル画像を撮像する。

【0021】

撮影装置１０では、これら各部が協働することにより、「撮影処理」を行なう。ここで、撮影処理は、測定対象者を被写体として連続撮影することにより複数の画像を生成すると共に、生成した複数の画像に対応する画像データを、心拍測定装置２０に対して送信する一連の処理である。

【0022】

撮影処理が実行される場合、図２に示すように、ＣＰＵ１１において、撮影制御部１１１と、画像データ送信部１１２と、が機能する。
また、記憶部１５の一領域には、画像データ記憶部２５１が設けられる。
以下で特に言及しない場合も含め、これら機能ブロック間では、処理を実現するために必要なデータを、適切なタイミングで適宜送受信する。

【0023】

撮影制御部１１１は、入力部１６が受け付けた撮影者（測定対象者自身が撮影者であってもよいし、他の人物が撮影者であってもよい。）からの指示操作、又は、通信部１４を介して受信した撮影者からの指示情報に基づいて、撮像部１８による測定対象者を被写体とした連続撮影を制御する。例えば、撮影制御部１１１は、撮影者による撮影を補助するためのライブビュー画面や所定のユーザインタフェースを出力部１７から出力すると共に、入力部１６が受け付けた操作指示を反映する等の制御をする。ここで、本実施形態では、撮影制御部１１１は、測定対象者の顔を被写体として連続撮影をすることを想定するが、これは説明のための一例に過ぎない。撮影装置１０が、測定対象者の顔以外の他の部位（例えば、首や手や心臓近傍の上半身の部位）を撮影するようにしてもよい。

【0024】

また、撮影制御部１１１は、撮像部１８による連続撮影により複数の画像を生成する。そして、撮影制御部１１１は、生成した複数の画像に対応する画像データを、画像データ記憶部２５１に記憶させる。すなわち、画像データ記憶部２５１は、画像データを記憶する記憶部として機能する。なお、複数の画像に対応する画像データは、汎用の動画形式であってよい。例えば、ＲＧＢにより表現される３０ＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）の動画形式であってよい。

【0025】

画像データ送信部１１２は、撮影制御部１１１が画像データ記憶部１５１に記憶させた画像データを、心拍測定装置２０に対して送信する。なお、送信は、生成された画像データを画像データ記憶部１５１に記憶しておき、撮影終了後に画像データ記憶部１５１に記憶されている画像データをまとめて一度に送信するようにしてもよいし、撮影制御部１１１による画像データの生成に伴いリアルタイムに送信を行うようにしてもよい。

【0026】

［心拍測定装置の構成］
次に、心拍測定装置２０の構成について、図３を参照して説明をする。図３は、心拍測定装置２０の構成の一例を示すブロック図である。図３に示すように、心拍測定装置２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、通信部２４と、記憶部２５と、入力部２６と、出力部２７と、ドライブ２８と、を備えている。これら各部は、信号線により接続されており、相互に信号を送受する。

【0027】

ＣＰＵ２１は、ＲＯＭ２２に記録されているプログラム、又は、記憶部２５からＲＡＭ２３にロードされたプログラムに従って各種の処理（例えば、後述する心拍判定処理）を実行する。
ＲＡＭ２３には、ＣＰＵ２１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

【0028】

通信部２４は、ＣＰＵ２１が、他の装置（例えば、撮影装置１０）との間で通信を行うための通信制御を行う。
記憶部２５は、ＤＲＡＭ等の半導体メモリで構成され、各種データを記憶する。

【0029】

入力部２６は、各種ボタンやタッチパネル、或いはマウスやキーボード等の外部入力装置で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部２７は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。

【0030】

ドライブ２８には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア（図示を省略する。）が適宜装着される。ドライブ２８よってリムーバブルメディアから読み出されたプログラムや各種データは、必要に応じて記憶部２５にインストールされる。

【0031】

心拍測定装置２０では、これら各部が協働することにより、「心拍測定処理」を行なう。
ここで、心拍測定処理は、撮影装置１０が送信した画像データを取得すると共に、この画像データに基づいて、測定対象者の心拍に関する測定を行う一連の処理である。

【0032】

この心拍測定処理が実行される場合、図３に示すように、ＣＰＵ２１において、画像データ取得部２１１と、領域抽出部２１２と、脈波信号検出部２１３と、波形補正部２１４と、心拍測定部２１５と、が機能する。
また、記憶部２５の一領域には、画像データ記憶部２５１と、脈波信号記憶部２５２と、モデル信号記憶部２５３と、が設けられる。
以下で特に言及しない場合も含め、これら機能ブロック間では、処理を実現するために必要なデータを、適切なタイミングで適宜送受信する。

【0033】

画像データ取得部２１１は、撮影装置１０から送信された測定対象者を被写体とした複数の画像に対応する画像データを、受信することにより取得する。そして、画像データ取得部２１１は、取得した画像データを画像データ記憶部２５１に記憶させる。すなわち、画像データ記憶部２５１は、画像データを記憶する記憶部として機能する。

【0034】

なお、撮影装置１０は、画像データをリムーバブルメディアに格納するようにしてもよい。そして、画像データ取得部２１１は、画像データを通信により取得するのではなく、ドライブ２８に挿入された、このリムーバブルメディアから取得するようにしてもよい。

【0035】

領域抽出部２１２は、後述の脈波信号検出部２１３が、画像データから測定対象者の脈波成分を示す信号である脈波信号を検出するために、画像データに対応する複数の画像それぞれから、所定の領域を抽出する処理を行う。具体的に、領域抽出部２１２は、画像データ記憶部２５１に記憶されている画像データに対応する複数の画像それぞれから、脈波成分を検出する際に不要となる背景や衣服や顔以外の部位が撮影されている領域を除外した領域である顔領域を抽出する。さらに、脈波信号検出部２１３は、抽出した顔領域それぞれから、脈波成分を検出する際に不要となる頭髪や眼球や口腔内が撮影されている領域を除外した領域である皮膚領域を抽出する。そして、脈波信号検出部２１３は、この皮膚領域を抽出後の画像を、３１３に対して出力する。この皮膚領域が、後述の脈波信号検出部２１３によって脈波信号を検出する対象の領域となる。

【0036】

ここで、領域抽出部２１２による顔領域及び皮膚領域の抽出は、任意の手法により実現できる。例えば、領域抽出部２１２による顔領域の抽出は、顔領域の抽出手法として広く用いられている、Ｖｉｏｌａ－Ｊｏｎｅｓ法という手法により実現することができる。Ｖｉｏｌａ－Ｊｏｎｅｓ法では、顔領域における特徴（例えば、頬より目の周りの領域の方が暗い、或いは、鼻筋よりその両脇の領域の方が暗いといった特徴）を示すＨａａｒ Ｌｉｋｅ特徴量に基づいたＨａａｒ Ｃａｓｃａｄｅ識別器を生成する。そして、このＨａａｒ Ｃａｓｃａｄｅ識別器に基づいて、画像から顔領域を精度高く抽出することができる。

【0037】

次に、領域抽出部２１２は、抽出した顔領域それぞれから、さらに皮膚領域を抽出する。例えば、領域抽出部２１２による皮膚領域の抽出は、ＯＣ―ＳＶＭ（Ｏｎｅ Ｃｌａｓｓ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の分類器を用いることにより実現することができる。この場合、領域抽出部２１２は、まず、ＲＧＢで表現される画像データを、輝度信号Ｙと、２つの色差信号Ｃｒ及びＣｂとで表現されるＹＣｒＣｂで表現されるように変換する。そして、領域抽出部２１２は、輝度信号Ｙを分離し、２つの色差信号Ｃｒ及びＣｂのみに基づいて、皮膚領域の抽出を行う。このように、領域抽出部２１２は、輝度信号Ｙによって示される明度成分を一度分離することで皮膚の陰影の影響を低減して、皮膚領域の抽出を行うことができる。

【0038】

そして、領域抽出部２１２は、ＯＣ－ＳＶＭによる外れ値検出を行う。この場合、例えば、脈波信号検出部２１３は、顔領域の中心が皮膚であるとみなし、この中心の領域の画素のＣｒ及びＣｂ値を正常データとして、１つのクラス分の学習を行うことにより、外れ値検出を行うための識別境界を決定する。そして、領域抽出部２１２は、得られた識別境界を基準に外れ値に対応する領域（皮膚でない領域に相当）を検出する。これにより、皮膚領域と、皮膚でない領域とを分離することができる。そして、領域抽出部２１２は、皮膚領域については、再度ＲＧＢで表現される元の画像に再変換を行う。一方で、領域抽出部２１２は、皮膚でない領域については、ＲＧＢそれぞれの値をゼロに置換する。領域抽出部２１２は、このようにして、画像から皮膚領域を抽出することができる。

【0039】

このような顔領域の抽出及び皮膚領域の抽出をする処理により、領域抽出部２１２は、画像データに対応する複数の画像それぞれから（すなわち、動画における各フレームから）、皮膚領域が抽出された画像（以下、「皮膚領域画像」と称する。）を生成することができる。そして、領域抽出部２１２は、この複数の画像それぞれに対応する複数の皮膚領域画像を、脈波信号検出部２１３に対して出力する。

【0040】

脈波信号検出部２１３は、領域抽出部２１２から入力された、複数の皮膚領域画像の間における色を表現する値の変化に基づいて、測定対象者の脈波成分を示す信号である脈波信号を検出する。例えば、領域抽出部２１２による脈波信号の検出は、脈波信号の検出手法として広く用いられている、ｒＰＰＧ（Ｒｅｍｏｔｅ Ｐｈｏｔｏ－ＰｌｅｔｈｙｓｍｏＧｒａｐｈｙ）という手法により実現することができる。ｒＰＰＧでは、血液の成分（例えば、ヘモグロビン）が周囲の組織よりも光を吸収することから、皮膚の拡散反射に血流量に伴う成分である脈波成分が重畳することに着目している。

【0041】

具体的に、ｒＰＰＧでは、画像における関心領域（ここでは、顔領域における皮膚領域）における、ＲＧＢの値の変化に基づいて、測定対象者の脈波成分を示す信号である脈波信号を検出する。なお、この場合に、頭髪や眼球や口腔内といった領域が画像に含まれている場合には、これらの動きが外乱となりうる。ただし、本実施形態では、領域抽出部２１２により、これらの皮膚でない領域を除外し、皮膚領域を抽出しているので、このような外乱の影響を低減することができる。

【0042】

また、この場合に、脈波信号検出部２１３は、測定対象者それぞれの皮膚色の個人差や、光源の色を考慮して、皮膚領域画像に対して所定の前処理を行ってから、ｒＰＰＧによる脈波信号の検出を行うようにしてもよい。例えば、複数の皮膚領域画像それぞれから（すなわち、皮膚領域画像からなる動画の各フレームから）、各フレームそれぞれについての空間的平均ＲＧＢ値であるＣ（ｔ）を算出する。そして、各フレームのＣ（ｔ）それぞれを、全フレームの値Ｃ（ｔ）の平均値によって除算することにより、各フレームそれぞれについてのＣ_ｎ（ｔ）を算出する。そして、この前処理後のＣ_ｎ（ｔ）を対象として、ｒＰＰＧによる脈波信号の検出を行うようにする。これにより、測定対象者それぞれの皮膚色の個人差や、光源の色の影響を抑制することができる。

【0043】

さらに、脈波信号検出部２１３は、ｒＰＰＧによる脈波信号の検出において、ＰＯＳ（Ｐｌａｎｅ－Ｏｒｔｈｏｇｏｎａｌ－ｔｏ－Ｓｋｉｎ）という手法をさらに適用するようにしてもよい。ＰＯＳは、ＲＧＢ値の変化には脈波成分と明度変化に由来する成分が混在していることに着目した手法であり、ＲＧＢ空間において明度変化が発生するベクトルの方向と直交する軸へ、脈波成分抽出のために空間的平均ＲＧＢ値であるＣ（ｔ）（又は、上述した前処理後のＣ_ｎ（ｔ））を投影する。これにより、脈波信号検出部２１３は、脈波信号を、より精度高く検出することができる。なお、ＰＯＳの詳細については、例えば、下記の非特許文献１に開示されている。

【0044】

＜非特許文献１＞
W. Wang, et al., "Algorithmic Principles of Remote PPG”, ［online］， IEEE Transactions on Biomedical Engineering, Vol. 64, No. 7, 2017，［令和２年７月１３日検索］，インターネット＜URL：https://pure.tue.nl/ws/portalfiles/portal/31563684/TBME_00467_2016_R1_preprint.pdf＞

【0045】

脈波信号検出部２１３は、このようにして脈波信号を検出し、この検出した脈波信号を波形補正部２１４に対して出力する。

【0046】

波形補正部２１４は、脈波信号検出部２１３から入力された脈波信号を、心拍測定部２１５による心拍に関する測定のために補正する。図４は、脈波信号検出部２１３による脈波信号の波形の補正について示すグラフである。図４（Ａ）に示すように、前提として、脈波信号には、撮影時の照明変化等に起因してベースラインの変動が存在する。そこで、波形補正部２１４は、移動平均フィルタを用いたトレンド除去を行う。例えば、波形補正部２１４は、脈波信号を、平均が０、標準偏差が１となるように変換することによりＺ－ｓｃｏｒｅ化する。次に、波形補正部２１４は、脈波信号から、所定の長さの時間窓（例えば、１秒幅）とした移動平均線をベースライン信号として抽出する。そして、波形補正部２１４は、脈波信号から、このベースライン信号を減算する。すると、図４（Ａ）に示した脈波信号は、図４（Ｂ）に示すようなトレンド除去された脈波信号となる。また、波形補正部２１４は、さらに、脈波の周波数特性を考慮したバンドバスフィルタ（例えば、０．５［Ｈｚ］－５［Ｈｚ］のバンドバスフィルタ）に脈波信号を透過させる等の処理をしてもよい。

【0047】

波形補正部２１４は、このようにして脈波信号を補正する。そして、波形補正部２１４は、補正後の脈波信号を脈波信号記憶部２５２に記憶させる。すなわち、脈波信号記憶部２５２は、脈波信号を記憶する記憶部として機能する。

【0048】

心拍測定部２１５は、脈波信号と、心拍を示す波形のモデルであるモデル信号との相互相関を解析することで脈波信号における心拍のタイミングを検出すると共に、該検出した心拍のタイミングに基づいて測定対象者の心拍に関する測定を行う。

【0049】

モデル信号は、ｒＰＰＧにおいて理想的な心拍を示す波形のモデルに対応する信号である。理想的な心拍を示す波形としては、例えば、ｒＰＰＧにおける心拍に対応する波形であって、一般的に計測対象者によくみられる典型的な心拍の波形や、複数の心拍の波形を平均化した心拍の波形を用いることができる。

【0050】

図５は、心拍測定部２１５による相互相関解析に用いられるモデル信号の一例について示すグラフである。このような波形であるモデル信号は、心拍測定システムＳを利用するユーザにより予め作成され、モデル信号記憶部２５３に記憶されている。すなわち、モデル信号記憶部２５３は、モデル信号を記憶する記憶部として機能する。なお、このユーザは、このモデル信号を用いた心拍に関する測定結果等を参考にして、より精度高く測定が行えるように、このモデル信号を適宜修正等することができる。

【0051】

このモデル信号との相互相関解析を行う場合、心拍測定部２１５は、まず脈波信号を脈波信号記憶部２５２から読み出して、解析対象とする所定の長さの時間窓（例えば、２秒幅）に切り出す。また、心拍測定部２１５は、解析対象とした切り出した脈波信号をＺ－ｓｃｏｒｅ化し、モデル信号記憶部２５３に記憶されているモデル信号と相互相関解析を行うことにより、相互相関係数を算出する。そして、心拍測定部２１５は、算出された相関係数の高い箇所を、心拍のタイミングとして検出する。ただし、この時点では、心拍測定部２１５は、この検出した心拍のタイミングは、あくまで心拍のタイミングの候補であるとしてカウントするにとどめる。

【0052】

そして、心拍測定部２１５は、解析対象を新たに脈波信号から切り出して、このように心拍のタイミングを検出し、それを心拍のタイミングの候補としてカウントすることを繰り返す。ここで、解析対象の切り出しは、以前解析対象とした部分とオーバーラップさせて（すなわち、以前解析対象とした部分と一部を重ねて）所定の長さの時間窓（例えば、０．１秒幅）シフトすることにより行われる。つまり、解析対象を所定の長さの時間窓（例えば、０．１秒幅）ずつシフトして、モデル信号との相互相関解析を行うことが繰り返される。そして、このようなシフトを繰り返して、心拍測定部２１５に記憶されている脈波信号が全て解析対象として切り出されて、相互相関解析が行われた場合に、相互相関解析の繰り返しは終了する。

【0053】

次に、心拍測定部２１５は、この相互相関解析の繰り返しにおいて心拍のタイミングが検出された回数（すなわち、心拍のタイミングの候補としてカウントされた回数）に基づいて、測定対象者の心拍に関する測定をする。図６は、心拍測定部２１５による心拍のタイミングの測定について説明するための、検出回数の分布の一例について示すグラフである。一例として、図６（Ａ）に示すように、心拍測定部２１５により、相互相関解析の繰り返しにおいて心拍のタイミングが検出された回数（すなわち、心拍のタイミングの候補としてカウントされた回数）の分布が作成されたとする。この場合、心拍測定部２１５は、このような分布を示す波形に対してピーク探索を行うことにより、ピーク（例えば、局所的な最大値）を探索する。

【0054】

図６（Ｂ）には、このようにして探索されたピークを「破線の丸」にて示す。心拍測定部２１５は、このように探索されたピークを、測定された心拍のタイミングとして選択する。一方で、何度か心拍のタイミングの候補としてカウントされているタイミングであっても、ピークとして探索されなかったカウント回数の少ないタイミングについては、測定された心拍のタイミングとしては選択せず、破棄する。これにより、より尤度の高いタイミングを選択して、測定対象者の心拍のタイミングを、より精度高く測定することができる。

【0055】

また、心拍測定部２１５は、その測定結果を出力する。例えば、心拍測定部２１５は、この測定された測定対象者の心拍のタイミングそのものを、測定結果として出力する。或いは、心拍測定部２１５は、この測定された測定対象者の心拍のタイミングの間隔を、測定結果として出力する。この出力は、例えば、出力部２７に含まれるディスプレイへの表示や、出力部２７に含まれるスピーカからの音声出力や、通信部２４を介した印刷装置（図示を省略する。）からの紙媒体への印刷や、通信部２４を介した他の装置（図示を省略する。）への送信であってよい。心拍測定システムＳを利用するユーザは、この出力された測定結果を、例えば、心疾患の予防等の用途に有益な情報として活用することができる。

【0056】

図７は、このような本実施形態における相互相関解析を伴う測定の測定結果の一例について示すグラフである。比較のため、図７（Ａ）には、正解値として、測定対象者の身体に電極を接触させて心拍を測定する心電計にて測定された心拍間隔を示す。また、図７（Ｂ）には、従来例として、ｒＰＰＧにより測定された脈波信号に対して単純にピーク探索を行った場合に測定された心拍間隔を示す。一方で、図７（Ｃ）には、本実施形態として上述したように、様々な補正処理や、モデル信号との相互相関解析や、検出回数分布に基づいた選択を行った場合に測定された心拍間隔を示す。なお、図７（Ａ）に対応する心電計での測定と、図７（Ｂ）や（Ｃ）に対応する画像データを得るための撮影は、同一の測定対象者に対して同時に並行して行われた。したがって、理想的には、測定される心拍間隔は同じになるはずである。

【0057】

しかしながら、図７（Ａ）と図７（Ｂ）を比較すると、非常に大きな誤差が生じている。すなわち、高精度で測定できる心電計と比較して、ｒＰＰＧにより測定された脈波信号に対して単純にピーク探索を行った場合には、非常に大きな測定誤差が生じることが分かる。一方で、図７（Ａ）と図７（Ｃ）を比較すると、非常に近しい結果となっており誤差はほぼ生じてない。すなわち、高精度で測定できる心電計と比較して、本実施形態によれば、同様に高精度で測定できていることが分かる。
このように、本実施形態によれば、画像に基づいた心拍に関する測定を、心電計と同様に、より精度高く行うことができる。加えて、本実施形態によれば、測定対象者に非接触で心拍に関する測定することができ、測定対象者は心電計を装着する必要がないので、より簡便に、心拍に関する測定を実現することが可能となる。

【0058】

［撮影処理］
次に、図８を参照して、撮影装置１０が実行する撮影処理の流れについて説明する。図８は、撮影装置１０が実行する撮影処理の流れを説明するフローチャートである。撮影処理は、撮影者（測定対象者自身が撮影者であってもよいし、他の人物が撮影者であってもよい。）からの、撮影開始の指示操作に伴い実行される。

【0059】

ステップＳ１１において、撮影制御部１１１は、撮像部１８による測定対象者を被写体とした連続撮影を制御することにより、複数の画像の生成を開始する。
ステップＳ１２において、撮影制御部１１１は、ステップＳ１１にて生成した複数の画像に対応する画像データを、画像データ記憶部２５１に記憶させる。

【0060】

ステップＳ１３において、撮影制御部１１１は、撮像部１８による撮影を終了するか否かを判定する。ここで撮影は、ステップＳ１１での撮影が所定時間経過したことや、撮影者からの撮影終了の指示操作があったことを条件として終了する。撮影を終了する場合は、ステップＳ１３においてＹｅｓと判定され、処理はステップＳ１４に進む。一方で、撮影を終了しない場合は、ステップＳ１３においてＮｏと判定され、処理はステップＳ１１に戻り、繰り返される。

【0061】

ステップＳ１４において、画像データ送信部１１２は、撮影制御部１１１が画像データ記憶部１５１に記憶させた画像データを、心拍測定装置２０に対して送信する。これにより、本処理は終了する。なお、図中では、生成された画像データを画像データ記憶部１５１に記憶しておき、撮影終了後に画像データ記憶部１５１に記憶されている画像データをまとめて一度に送信することを想定しているが、撮影制御部１１１による画像データの生成に伴いリアルタイムに送信を行うようにしてもよい点については上述した通りである。

【0062】

以上説明した撮影処理により、撮影装置１０は、測定対象者を被写体として連続撮影することにより複数の画像を生成すると共に、生成した複数の画像に対応する画像データを、心拍測定装置２０に対して送信することができる。

【0063】

［測定モデル構築処理］
次に、図９を参照して、心拍測定装置２０が実行する心拍測定処理の流れについて説明する。図９は、心拍測定装置２０が実行する心拍測定処理の流れを説明するフローチャートである。心拍測定処理は、心拍測定システムＳのユーザからの、心拍測定処理開始の指示操作に伴い実行される。

【0064】

ステップＳ２１において、画像データ取得部２１１は、撮影装置１０から送信された測定対象者を被写体とした複数の画像に対応する画像データを、受信することにより取得する。

【0065】

ステップＳ２２において、画像データ取得部２１１は、ステップＳ２１にて取得した画像データを画像データ記憶部２５１に記憶させる。
ステップＳ２３において、領域抽出部２１２は、ステップＳ２２にて画像データ記憶部２５１に記憶されている画像データから、顔領域を抽出する。

【0066】

ステップＳ２４において、領域抽出部２１２は、ステップＳ２３にて抽出された顔領域から、皮膚領域を抽出し、複数の皮膚領域画像を生成する。
ステップＳ２５において、脈波信号検出部２１３は、ステップＳ２４にて、生成された複数の皮膚領域画像の間における色を表現する値の変化に基づいて、測定対象者の脈波成分を示す信号である脈波信号を検出する。

【0067】

ステップＳ２６において、波形補正部２１４は、ステップＳ２５にて検出された脈波信号を、心拍に関する測定のために補正する。
ステップＳ２７において、波形補正部２１４は、ステップＳ２６にて補正した脈波信号を、脈波信号記憶部２５２に記憶させる。

【0068】

ステップＳ２８において、心拍測定部２１５は、ステップＳ２７にて脈波信号記憶部２５２に記憶されている脈波信号と、心拍を示す波形のモデルであるモデル信号との相互相関を解析することで脈波信号における心拍のタイミングを検出する。

【0069】

ステップＳ２９において、心拍測定部２１５は、ステップＳ２８にて心拍のタイミングが検出された回数（すなわち、心拍のタイミングの候補としてカウントされた回数）に基づいて、測定対象者の心拍に関する測定をする。

【0070】

ステップＳ３０において、心拍測定部２１５は、ステップＳ２９にて測定された測定結果を出力する。これにより、本処理は終了する。

【0071】

以上説明した各処理によれば、図７を参照して説明したように、画像に基づいた心拍に関する測定を、心電計と同様に、より精度高く行うことができる。加えて、以上説明した各処理によれば、測定対象者に非接触で心拍に関する測定することができ、測定対象者は心電計を装着する必要がないので、より簡便に、心拍に関する測定を実現することが可能となる。

【0072】

［変形例］
以上、本発明の実施形態について説明したが、この実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明は、本発明の要旨を逸脱しない範囲で、その他の様々な実施形態を取ることが可能である共に、省略及び置換等種々の変形を行うことができる。この場合に、これら実施形態及びその変形は、本明細書等に記載された発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0073】

一例として、上述した実施形態における心拍測定システムＳの装置構成は一例に過ぎず、適宜変更することが可能である。例えば、上述した実施形態では、撮影装置１０と、心拍測定装置２０とが別体の装置として実現されていたが、撮影装置１０と、心拍測定装置２０とが一体の装置として実現されてもよい。他にも、例えば、心拍測定装置２０を、例えば、クラウドシステム等のように、複数のコンピュータにより分散して実現するようにしてもよい。

【0074】

［構成例］
以上のように、本実施形態に係る心拍測定システムＳは、画像データ取得部２１１と、脈波信号検出部２１３と、心拍測定部２１５と、を備える。
画像データ取得部２１１は、測定対象者を被写体として連続撮影することにより生成された複数の画像を取得する。
脈波信号検出部２１３は、複数の画像の間における色を表現する値の変化に基づいて、測定対象者の脈波成分を示す信号である脈波信号を検出する。
心拍測定部２１５は、脈波信号と、心拍を示す波形のモデルであるモデル信号との相互相関を解析することで脈波信号における心拍のタイミングを検出すると共に、該検出した心拍のタイミングに基づいて測定対象者の心拍に関する測定を行う。
このように、心拍測定システムＳは、測定対象者の画像から脈波信号を検出する。そして、心拍測定システムＳは、脈波信号とモデル信号との相互相関を解析することで心拍のタイミングを検出し、これに基づいて心拍に関する測定を行う。

【0075】

これにより、心拍測定システムＳによれば、画像に基づいた心拍に関する測定を、より精度高く行うことができる。したがって、心拍測定システムＳによれば、例えば、被写体となった測定対象者の向きの変化（例えば、顔向きの変化）や、周辺環境に起因する明るさの変化等の測定に対して影響を及ぼすような事象があったとしても、測定対象者の心拍に関する測定をすることが可能となる。また、心拍測定システムＳによれば、測定対象者に非接触で心拍に関する測定することができ、測定対象者はウェアラブルデバイス等を装着する必要がないので、より簡便に、心拍に関する測定を実現することが可能となる。

【0076】

心拍測定部２１５は、脈波信号の相互相関の解析対象とする部分を、以前解析対象とした部分と一部を重ねてシフトした上で相互相関の解析することにより、心拍のタイミングを検出することを繰り返す。
心拍測定部２１５は、繰り返しにおいて心拍のタイミングが検出された回数に基づいて、測定対象者の心拍に関する測定をする。
これにより、脈波信号の同一部分に対して複数の解析を行うことができる。そのため、測定の尤度が向上し、測定対象者の心拍に関する測定を、より精度高く行うことができる。

【0077】

心拍測定部２１５は、
心拍のタイミングを検出した回数の時系列に沿った分布を求め、該求めた分布に対してピーク探索を行うことにより、検出回数の少ない心拍のタイミングについては、測定を行う際に用いる心拍のタイミングから除外する。
これにより、検出回数の少ない心拍のタイミングを破棄することができる。そのため、測定の尤度が向上し、測定対象者の心拍に関する測定を、より精度高く行うことができる。

【0078】

複数の画像は、測定対象者の顔部分を被写体として含む画像であり、
心拍測定部２１５は、心拍に関する測定として、測定対象者の心拍の間隔を測定する。
これにより、被写体となった人物の顔画像に基づいて、その人物の心拍の間隔を測定することができる。

【0079】

［ハードウェアやソフトウェアによる機能の実現］
上述した実施形態による一連の処理を実行させる機能は、ハードウェアにより実現することもできるし、ソフトウェアにより実現することもできるし、これらの組み合わせにより実現することもできる。換言すると、上述した一連の処理を実行する機能が、心拍測定システムＳの何れかにおいて実現されていれば足り、この機能をどのような態様で実現するのかについては、特に限定されない。

【0080】

例えば、上述した一連の処理を実行する機能を、演算処理を実行するプロセッサによって実現する場合、この演算処理を実行するプロセッサは、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

【0081】

また、例えば、上述した一連の処理を実行する機能を、ソフトウェアにより実現する場合、そのソフトウェアを構成するプログラムは、ネットワーク又は記録媒体を介してコンピュータにインストールされる。この場合、コンピュータは、専用のハードウェアが組み込まれているコンピュータであってもよいし、プログラムをインストールすることで所定の機能を実行することが可能な汎用のコンピュータ（例えば、汎用のパーソナルコンピュータ等の電子機器一般）であってもよい。また、プログラムを記述するステップは、その順序に沿って時系列的に行われる処理のみを含んでいてもよいが、並列的或いは個別に実行される処理を含んでいてもよい。また、プログラムを記述するステップは、本発明の要旨を逸脱しない範囲内において、任意の順番に実行されてよい。

【0082】

このようなプログラムを記録した記録媒体は、コンピュータ本体とは別に配布されることによりユーザに提供されてもよく、コンピュータ本体に予め組み込まれた状態でユーザに提供されてもよい。この場合、コンピュータ本体とは別に配布される記憶媒体は、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、或いはＢｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、例えば、ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）等により構成される。これら記憶媒体は、例えば、図３のドライブ２８に装着されて、コンピュータ本体に組み込まれる。また、コンピュータ本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ１２、図３のＲＯＭ２２、図２の記憶部１５、或いは図３の記憶部２５に含まれるハードディスク等により構成される。

【符号の説明】

【0083】

１０ 撮影装置、２０ 心拍測定装置、１１，２１ ＣＰＵ、１２，２２ ＲＯＭ、１３，２３ ＲＡＭ、１４，２４ 通信部、１５，２５ 記憶部、１６，２６ 入力部、１７，２７ 出力部、１８ 撮像部、２８ ドライブ、１１１ 撮影制御部、１１２ 画像データ送信部、１５１，２５１ 画像データ記憶部、２１１ 画像データ取得部、２１２ 領域抽出部、２１３ 脈波信号検出部、２１４ 波形補正部、２１５ 心拍測定部、２１６ 測定部、２５２ 脈波信号記憶部、２５３ モデル信号記憶部、Ｓ 心拍測定システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】