特許 7564632 情報処理装置及び脈波算出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-01

(45)【発行日】2024-10-09

(54)【発明の名称】情報処理装置及び脈波算出方法

(51)【国際特許分類】

   A61B 5/02 20060101AFI20241002BHJP

【ＦＩ】

A61B5/02 310A

【請求項の数】 9

(21)【出願番号】P 2020057366

(22)【出願日】2020-03-27

(65)【公開番号】P2021153878

(43)【公開日】2021-10-07

【審査請求日】2022-09-21

【前置審査】

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100147304

【弁理士】

【氏名又は名称】井上 知哉

(74)【代理人】

【識別番号】100148493

【弁理士】

【氏名又は名称】加藤 浩二

(72)【発明者】

【氏名】富澤 亮太

(72)【発明者】

【氏名】足立 佳久

(72)【発明者】

【氏名】奥村 哲也

(72)【発明者】

【氏名】岩井 敬文

(72)【発明者】

【氏名】江戸 勇樹

(72)【発明者】

【氏名】小川 莉絵子

(72)【発明者】

【氏名】田中 怜

(72)【発明者】

【氏名】樋口 浩一

【審査官】▲高▼ 芳徳

(56)【参考文献】

【文献】特開２０１８－１６４５８７（ＪＰ，Ａ）

【文献】特開２０１３－１２１４２０（ＪＰ，Ａ）

【文献】特開２０１６－１２３４７３（ＪＰ，Ａ）

【文献】特開２００８－１４２１６２（ＪＰ，Ａ）

【文献】実開平０５－０１３４０６（ＪＰ，Ｕ）

【文献】国際公開第２０１７／０８５８９６（ＷＯ，Ａ１）

【文献】特開２０１４－１９８２０２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０２ － ５／０３

(57)【特許請求の範囲】

【請求項1】

体表の動画像から、前記体表の異なる位置に対応する複数の脈波を算出する脈波算出部と、
前記複数の脈波に含まれる２つの脈波の間の類似度を算出する類似度算出部と、
前記類似度が所定の条件を満たす場合に前記２つの脈波を合成候補脈波リストに追加し、前記合成候補脈波リストに含まれる脈波を合成する脈波合成部と、
を備える情報処理装置。

【請求項2】

前記脈波合成部は、前記動画像から脈波を合成することを特徴とする、請求項１に記載の情報処理装置。

【請求項3】

前記体表を撮影し、前記動画像を取得する撮像部をさらに備える、請求項１又は２項に記載の情報処理装置。

【請求項4】

前記類似度算出部は、前記２つの脈波の相関値および差分値の少なくともいずれかに基づいて、前記類似度を算出する、請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

前記脈波の形状の特徴を示す特徴量を抽出する特徴量抽出部をさらに備え、
前記類似度算出部は、少なくとも２つの前記特徴量の比較結果に基づいて、前記類似度を算出する、請求項１～３のいずれか１項に記載の情報処理装置。

【請求項6】

前記動画像から複数の画素を含む、複数の領域を決定する領域決定部をさらに備え、
前記脈波算出部は、前記複数の領域のうちの各領域の画素値の統計値に基づいて、前記複数の脈波のうちの各脈波を算出する、
請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

前記脈波算出部は、前記動画像に含まれる一画素の画素値と、前記一画素に隣接する少なくとも一の画素の画素値との統計値に基づいて、前記複数の脈波のうち、前記一画素に対応する一の脈波を算出する、請求項１～５のいずれか一項に記載の情報処理装置。

【請求項8】

前記脈波合成部が合成した脈波に基づいて、生体情報を抽出する生体情報抽出部をさらに備える、請求項１～７のいずれか一項に記載の情報処理装置。

【請求項9】

体表の動画像から、前記体表の異なる位置に対応する複数の脈波を算出するステップと、
前記複数の脈波に含まれる２つの脈波の間の類似度を算出するステップと、
前記類似度が所定の条件を満たす場合に前記２つの脈波を合成候補脈波リストに追加し、前記合成候補脈波リストに含まれる脈波を合成するステップと、
を含む脈波算出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置及び脈波算出方法に関する。

【背景技術】

【0002】

例えば、特許文献１は、被験者が撮影された画像において、複数の画素の輝度信号を用いて、被験者の脈波を検出する技術を開示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－０７３１５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された技術では、複数の画素において、異なる血管の脈波を検出した場合、各画素に対応する脈波の形状が異なり、正確に脈波を算出できない。本開示の一態様は、体表を撮影した画像から血管の脈波を正確に算出することに貢献する情報処理装置及び脈波算出方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

本開示の一態様に係る情報処理装置は、体表の動画像から、前記体表の異なる位置に対応する複数の脈波を算出する脈波算出部と、前記複数の脈波のうちの少なくとも２つの脈波の類似度を算出する類似度算出部と、前記類似度を元に脈波を合成する脈波合成部と、を備える。

【0006】

本開示の一態様に係る脈波算出方法は、体表の動画像から、前記体表の異なる位置に対応する複数の脈波を算出するステップと、前記複数の脈波のうちの少なくとも２つの脈波の類似度を算出するステップと、前記類似度を元に脈波を合成するステップと、を含む。

【図面の簡単な説明】

【0007】

【図1】情報処理装置１００と生体Ａとの関係の一例を示す図である。

【図2】情報処理装置の電気的構成の一例を示すブロック図である。

【図3】第一実施形態の制御部の機能的構成の一例を示すブロック図である。

【図4】フレーム画像内の関心領域の一例を示す図である。

【図5】合成候補脈波に対応する画素の一例を示す図である。

【図6】第一実施形態の情報処理装置で実行される処理の一例を示すフローチャートである。

【図7】注目脈波に対応する画素と血管との関係の一例を示す図である。

【図8A】脈波の一例を示す図である。

【図8B】脈波の一例を示す図である。

【図9】第二実施形態の制御部の機能的構成の一例を示すブロック図である。

【図10】第三実施形態の制御部の機能的構成の一例を示すブロック図である。

【図11】注目領域の一例を示す図である。

【図12】第四実施形態の制御部の機能的構成の一例を示すブロック図である。

【図13】脈波に対応する画素と周辺画素との一例を示す図である。

【図14】第五実施形態の制御部の機能的構成の一例を示すブロック図である。

【図15】脈波特徴量の一例を示す図である。

【図16】第五実施形態の情報処理装置で実行される処理フローの一例を示すフローチャートである。

【図17】第六実施形態の制御部の機能的構成の一例を示すブロック図である。

【図18】第六実施形態の情報処理装置で実行される処理フローの一例を示すフローチャートである。

【図19】第１脈波と第２脈波とに対応する画素と、血管との関係の一例を示す図である。

【発明を実施するための形態】

【0008】

（第一実施形態）
第一実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

【0009】

図１は、情報処理装置１００と生体Ａとの関係の一例を示す図である。情報処理装置１００は、撮像部１０１により生体Ａの体表を撮影し、生体Ａの脈波を算出する。脈波は、血管の容積の変化を示す信号である。具体的には、心臓の拍動に伴って、血管の容積が変化することで、撮影される体表の色が変化する。そこで、情報処理装置１００は、撮像部１０１により撮影された体表の色の変化に基づいて脈波を算出する。例えば、情報処理装置１００は、ＰＣ（Personal Computer）、スマートフォン、タブレット、ノートパソコン、または、脈波測定用専用端末等である。

【0010】

撮像部１０１は、生体Ａの体表を撮影し、体表の動画像を取得する。具体的には、撮像部１０１は、所定のフレームレート（例えば、１０～３００ｆｐｓ（frames per second））で、所定の時間（例えば、１０秒～６０秒間）、生体Ａの体表を撮影する。撮像部１０１は、取得した体表の動画像を、記憶部２０１（図２参照）に格納する。以下の説明では、説明の便宜上、体表の動画像を単に「動画像」と称する。体表は、生体Ａの顔の体表を含む。撮像部１０１は、体表の動画像を取得できればよく、撮像部１０１の配置位置、及び種類は限定されない。例えば、撮像部１０１は、ＲＧＢカメラ、または赤外線カメラであってもよい。なお、以下の説明では、説明の便宜上、生体Ａとして人を例示して説明するが、生体Ａは人以外の生体であってもよい。

【0011】

図２は、情報処理装置１００の電気的構成の一例を示すブロック図である。情報処理装置１００は、撮像部１０１、記憶部２０１、制御部２０２、出力部２０３等を含む。

【0012】

記憶部２０１は、任意の情報を格納可能な記憶機器であり、例えば、ハードディスク、ＳＳＤ（Solid State Drive）、半導体メモリ等により構成される。記憶部２０１は、撮像部１０１により取得された、体表の動画像を格納する。また、記憶部２０１は、例えば、制御部２０２を機能させるプログラム、制御部２０２を機能させるために必要となるデータ等を記憶する。

【0013】

制御部２０２は、記憶部２０１に格納されるプログラム及びデータに従って、各種処理を実行する。制御部２０２は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサによって実現される。

【0014】

出力部２０３は、生体Ａの脈波を出力する。例えば、出力部２０３は、表示装置である。

【0015】

図３は、制御部２０２の機能的構成の一例を示すブロック図である。制御部２０２は、画像取得部３０１、関心領域抽出部３０２、脈波算出部３０３、類似度算出部３０４、脈波合成部３０５、出力制御部３０６等を含む。

【0016】

画像取得部３０１は、動画像を記憶部２０１から取得する。記憶部２０１に格納される動画像は、複数のフレーム画像を含む。フレーム画像とは、動画像の各フレームの画像である。

【0017】

関心領域抽出部３０２は、取得した動画像に含まれるフレーム画像から、１又は２以上の関心領域を抽出する。関心領域は、フレーム画像のうちの体表の領域の一部であって、複数の画素を含む領域である。例えば、動画像が生体Ａの顔領域を含む場合、関心領域は頬部分、及び額部分である。

【0018】

脈波算出部３０３は、動画像から、体表の異なる位置に対応する複数の脈波を算出する。本明細書において、脈波とは、体表の同一の位置に関して、各フレーム画像の画素値（例えば、輝度値）を示す時系列の信号より算出される血管の容積の変化を示す時系列の信号である。本明細書において、画素値は、動画像内の画素の明るさを示す情報であって、例えば、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）ごとの各画素の画素値または各画素の輝度値である。本実施形態において、体表の同一の位置とは、撮像部１０１と生体Ａとの位置関係が一定である限り、フレーム画像の同一の画素であるとする。また、本実施形態において、体表の異なる位置とは、関心領域内の各画素であるとする。そのため、本実施形態において、脈波算出部３０３は、関心領域内の各画素に関して、画素値の時間的な変化より血管の容積の変化を示す時系列の信号を算出する。

【0019】

類似度算出部３０４は、複数の脈波のうちの少なくとも２つの脈波の類似度を算出する。具体的には、類似度算出部３０４は、複数の脈波のうちの少なくとも２つの脈波の相関値、及び差分値の少なくともいずれかに基づいて、類似度を算出する。以下の説明では、説明の便宜上、当該類似度を「脈波類似度」と称する。また、以下の説明では、説明の便宜上、一の脈波類似度に関連する、少なくとも２つの脈波を「注目脈波」と称する。

【0020】

脈波合成部３０５は、脈波類似度を元に脈波を合成する。例えば、脈波合成部３０５は、脈波類似度に基づいて、脈波算出部３０３が算出した少なくとも２つの脈波から合成する。以下の説明では、説明の便宜上、合成対象の少なくとも２つの脈波を「合成候補脈波」と称する。また、以下の説明では、説明の便宜上、脈波合成部３０５が合成した脈波を「合成脈波」と称する。

【0021】

出力制御部３０６は、出力部２０３に合成脈波を出力させる。または、出力制御部３０６は、通信手段を介して、情報処理装置１００とは異なる装置に合成脈波を送信してもよい。

【0022】

次に、体表の動画像において画素に対応する脈波について詳細に説明する。図４は、一のフレーム画像４０１内の関心領域４０２の一例を示す。画像取得部３０１がフレーム画像４０１から、縦Ｗ×横Ｈの画素の関心領域４０２を抽出した場合、脈波算出部３０３は、関心領域４０２内の各画素に対応する脈波を算出する。つまり、画像取得部３０１が縦Ｗ×横Ｈ画素の関心領域４０２を抽出した場合、脈波算出部３０３は、Ｗ×Ｈ個の脈波を算出する。例えば、図４に例示する関心領域４０２は、縦１０×横１０の画素を含む。そのため、脈波算出部３０３は、関心領域４０２内の各画素に対応する、１００個の脈波を算出する。

【0023】

類似度算出部３０４は、関心領域４０２内の各画素に対応する脈波のうち、少なくとも２つの脈波類似度を算出する。例えば、類似度算出部３０４は、関心領域４０２内の画素４０３ａに対応する脈波と、関心領域４０２内の画素４０３ｂに対応する脈波とを注目脈波として選択する。そして、類似度算出部３０４は、画素４０３ａに対応する脈波と、画素４０３ｂに対応する脈波との脈波類似度を算出する。このようにして、類似度算出部３０４は、関心領域４０２内の全ての画素に対応する脈波に関して、脈波類似度を算出する。

【0024】

図５は、合成候補脈波に対応する画素の一例を示す図である。複数の画素５０１の各画素に対応する脈波の脈波類似度が上記所定の条件を満たす場合、脈波合成部３０５は、複数の画素５０１に対応する脈波を合成脈波候補リストに追加する。そして、脈波合成部３０５は、合成脈波候補リストに含まれる脈波（即ち、複数の画素５０１に対応する脈波）を合成する。これにより、脈波合成部３０５は、上記所定の条件を満たす複数の位置に対応する脈波を合成して、合成脈波を算出する。

【0025】

次に、本実施形態の情報処理装置１００で実行される処理フローの一例について説明する。図６は、本実施形態の情報処理装置１００で実行される処理の一例を示すフローチャートである。本例では、撮像部１０１が撮影を開始後、記憶部２０１に格納される動画像のフレーム数が、所定のフレーム数を超えた場合、制御部２０２は、図６に示すＳ６０１の処理を開始する。また、Ｓ６０１の処理を開始する時点では、合成候補脈波は決定されていないものとする。

【0026】

Ｓ６０１において、画像取得部３０１は、記憶部２０１から体表の動画像を取得する。例えば、画像取得部３０１は、撮像部１０１から撮影を開始してから、所定の第１時間（例えば、３０秒）経過後に、記憶部２０１から動画像を取得する。第１時間は、情報処理装置１００が、動画像から脈波を算出するために必要な撮影時間である。または、画像取得部３０１は、第１時間より短い第２時間（例えば、１秒）ごとに、記憶部２０１から動画像を取得してもよい。

【0027】

Ｓ６０２において、関心領域抽出部３０２は、Ｓ６０１で取得された動画像に含まれる各フレーム画像４０１から、関心領域４０２を抽出する。そして、関心領域抽出部３０２は、抽出した関心領域４０２を脈波算出部３０３に出力する。または、関心領域抽出部３０２は、抽出した関心領域４０２と、顔の部分の名称（頬、額等）とを対応付けて、脈波算出部３０３に出力してもよい。

【0028】

また、関心領域抽出部３０２は、フレーム画像４０１に顔領域が含まれるか否かを判断してもよい。例えば、関心領域抽出部３０２は、取得した動画像から、生体Ａの顔を認証する。ここで、関心領域抽出部３０２は、パターンマッチング、ＳＶＭ（Support Vector Machine）、ニューラルネット等を用いて、動画像から生体Ａの顔を認証してもよく、認証手法の詳細は問わない。例えば、関心領域抽出部３０２は、顔領域を含むフレーム画像４０１のうち、時系列で連続して顔領域を含む複数のフレーム画像４０１から、関心領域４０２を抽出する。

【0029】

Ｓ６０３において、脈波算出部３０３は、Ｓ６０２で抽出された関心領域４０２から複数の脈波を算出する。具体的には、脈波算出部３０３は、関心領域４０２内の各画素から、画素値を抽出する。そして、脈波算出部３０３は、Ｓ６０１で取得された動画像のフレーム数が、所定の第１時間に相当するフレーム数以上である場合、当該所定の第１時間にわたり、関心領域４０２内の画素毎に、画素値の時間的な変化を示す信号を抽出する。脈波算出部３０３は、所定の信号処理方法を用いて、抽出された信号を処理し、当該処理された結果を脈波として算出する。例えば、信号処理方法は、独立成分分析、主成分分析、色素成分分離、バンドパスフィルタ、またはローパスフィルタ等であってもよい。さらに、脈波算出部３０３は、算出した脈波を正規化してもよい。例えば、脈波算出部３０３は、脈波の最大値が１であり、脈波の最小値が－１となるように、脈波を正規化する。

【0030】

脈波算出部３０３は、算出した脈波と、脈波識別情報とを対応付けて、類似度算出部３０４に出力する。脈波識別情報は、脈波を識別する情報であって、例えば、脈波に対応する位置を識別する情報（例えば、フレーム画像４０１における、当該脈波に対応する画素の座標値）である。または、脈波識別情報は脈波に対応する位置毎に割り当てられた、フレーム画像４０１内の座標値とは異なる番号であってもよい。

【0031】

Ｓ６０４において、類似度算出部３０４は、Ｓ６０３で算出された複数の脈波から、少なくとも２つの注目脈波を選択する。換言すると、類似度算出部３０４は、関心領域４０２内の複数の画素のうち、異なる画素に対応する少なくとも２つの注目脈波を選択する。

【0032】

Ｓ６０５において、類似度算出部３０４は、注目脈波の脈波類似度を算出する。具体的には、類似度算出部３０４は、注目脈波に含まれる全ての脈波の組み合わせに関して、脈波類似度を算出する。この場合、類似度算出部３０４は、_ＮＣ_２個（＝（Ｎ×（Ｎ－１）／２）個）の類似度を算出する。ここで、Ｎは、注目脈波に含まれる脈波の個数であり、自然数である。または、類似度算出部３０４は、注目脈波に含まれる少なくとも２つの脈波のうち、一の基準の脈波を決定してもよい。そして、類似度算出部３０４は、決定した基準の脈波と、注目脈波に含まれる基準の脈波以外の脈波との脈波類似度を算出してもよい。この場合、類似度算出部３０４は、Ｎ－１個の類似度を算出する。

【0033】

例えば、類似度算出部３０４は、以下の式（１）を用いて算出される相関係数ｒ１を、脈波類似度として算出する。以下の説明では、時点ｉにおける体表の位置ｐの画素値（例えば、輝度値）より算出された脈波の値を、ｘ（ｐ，ｉ）と表記する。また、以下の説明では、体表の位置ｐにおける時間ｔの脈波の信号を、Ｘ（ｐ，ｔ）と表記する。つまり、Ｘ（ｐ，ｔ）はｘ（ｐ，ｉ）のベクトル（ｉは整数）であって、Ｘ（ｐ，ｔ）＝｛ｘ（ｐ，０）,ｘ（ｐ，１），…，ｘ（ｐ，t），…｝である。また、式（１）に示すＸ（ｐ１、ｔ）、及びＸ（ｐ２、ｔ）は、それぞれ、体表の位置ｐ１、及び体表の位置ｐ２に対応する、時間ｔの脈波の信号である。例えば、ｘ（ｐ１，ｉ）及びｘ（ｐ２，ｉ）は、それぞれ異なる位置ｐ１、及び位置ｐ２に対応する、時点ｉにおける画素値を示す。例えば、時点ｉは動画像のフレーム番号である。

【数1】

【0034】

例えば、式（１）に示す期待値Ｅ（Ｘ（ｐ１，ｔ））、及び期待値Ｅ（Ｘ（ｐ２，ｔ））は、以下の式（２）、式（３）を用いて決定する。

【数2】

ここで、Ｔは動画像の時間長、つまり動画像に含まれるフレーム画像の枚数である。

【0035】

または、類似度算出部３０４は、以下の式（４）を用いて算出される相関関数Ｒ（τ）を用いて、脈波類似度を算出してもよい。

【数3】

【0036】

類似度算出部３０４は、式（４）に示す相関関数Ｒ（τ）が最大になる時のτを時間差τ_ｍａｘとして決定してもよい。そして、類似度算出部３０４は、時間差τ_ｍａｘにおける相互相関関数の値Ｒ（τ）を、脈波類似度として算出してもよい。

【0037】

あるいは、類似度算出部３０４は、注目脈波間の差分値に基づいて、脈波類似度を算出してもよい。例えば、類似度算出部３０４は、以下の式（５）を用いて、体表の位置ｐ１、及び体表の位置ｐ２に対応する注目脈波間の平均絶対偏差の逆数ｒ２を、脈波類似度として算出してもよい。

【数4】

【0038】

なお、上記の式（１）、式（４）、式（５）は、脈波類似度を算出するための式の一例である。脈波類似度は、体表の異なる位置に対応する脈波間の類似度を示す指標であればよく、上記の式により算出される相関値、相互相関値、及び差分値に限定されない。

【0039】

Ｓ６０６において、類似度算出部３０４は、Ｓ６０５で算出された脈波類似度と、当該脈波類似度に対応する注目脈波とを対応付けて記憶部２０１に格納する。

【0040】

Ｓ６０７において、類似度算出部３０４は、全ての脈波に関して脈波類似度を算出したか否かを判定する。全ての脈波に関して脈波類似度が算出されていない場合（Ｓ６０７：Ｎｏ）、複数の脈波から少なくとも２つの新たな注目脈波を選択する（Ｓ６０８）。そして、制御部２０２は処理をＳ６０５に戻すことで処理を継続する。一方、全ての脈波に関して脈波類似度が算出された場合（Ｓ６０７：Ｙｅｓ）、制御部２０２は処理をＳ６０９に移行する。

【0041】

Ｓ６０９において、脈波合成部３０５は、脈波類似度が所定の条件を満たす脈波を、合成候補脈波リストに追加する。例えば、脈波類似度が所定の閾値（例えば、閾値＝０．９）以上である場合、脈波合成部３０５は、当該脈波類似度に対応する注目脈波が上記所定の条件を満たすと判定する。または、脈波合成部３０５は、記憶部２０１に格納された脈波類似度のうち、脈波類似度が高い順に、所定の数（例えば、１０）の注目脈波が上記所定の条件を満たすと判定してもよい。

【0042】

Ｓ６１０において、脈波合成部３０５は、Ｓ６０９で決定された合成候補脈波リストに含まれる脈波を合成する。例えば、脈波合成部３０５は、Ｓ６０９で決定された合成候補脈波における、各時点の画素値（例えば、輝度値）の平均値を算出する。脈波合成部３０５は、算術平均または相乗平均等により各時点の画素値の平均値を算出してもよい。そして、脈波合成部３０５は、算出した平均値の時系列の信号をもとに合成脈波を算出する。

【0043】

または、脈波合成部３０５は、合成候補脈波の画素値を、当該合成候補脈波に対応する脈波類似度に応じて重みづけをしてもよい。その場合、脈波合成部３０５は、重みづけされた合成候補脈波を合成して、合成脈波を算出する。

【0044】

または、脈波合成部３０５は、合成候補脈波間の位相差を除去する処理を行い、合成候補脈波の最頻値または中央値を算出してもよい。そして、脈波合成部３０５は、算出された最頻値または中央値の時系列の信号を、合成脈波として算出する。

【0045】

または、脈波合成部３０５は、合成候補脈波間の位相差を除去する処理を行い、合成候補脈波に多変量解析（主成分分析、独立成分分析等）を行ってもよい。そして、脈波合成部３０５は、多変量解析により得られた成分を、合成脈波として算出してもよい。

【0046】

または、類似度算出部３０４が、式（４）を用いて時間差τ_ｍａｘにおける相互相関関数の値Ｒ（τ）を、脈波類似度として算出した場合、脈波合成部３０５は、時間差τ_ｍａｘに応じて合成候補脈波の画素値に重みづけをしてもよい。その場合、脈波合成部３０５は、重みづけされた合成候補脈波を合成する。

【0047】

Ｓ６１１において、出力制御部３０６は、Ｓ６１０で合成した合成脈波を出力部２０３に出力させる。または、出力制御部３０６は、通信手段を介して、情報処理装置１００とは異なる装置に合成脈波を送信してもよい。

【0048】

脈波算出部３０３が、一の画素に対応する脈波を算出する場合、撮影時の照明等による影響により、算出された脈波にノイズが含まれるおそれがある。そこで、複数の画素に対応する脈波を合成することで、脈波に含まれるノイズが平滑化される。しかし、異なる血管の脈波は、血管の容積の変化がそれぞれ異なるため、異なる血管の脈波を合成した場合、正確に脈波を算出できない。一方、異なる位置に対応する少なくとも２つの脈波に関して、同一の血管の脈波に対応する脈波類似度は、異なる血管の脈波に対応する脈波類似度よりも高くなる。そこで、脈波合成部３０５が、脈波類似度が相対的に高い、少なくとも２つの脈波を合成することで、情報処理装置１００は、算出される脈波のシグナルノイズ比を向上できる。

【0049】

図７は、注目脈波に対応する画素と血管との関係の一例を示す。例えば、脈波算出部３０３が、関心領域７０１内の画素７０１ａ及び画素７０１ｂに対応する脈波をそれぞれ算出したとする。画素７０１ａ及び画素７０１ｂに対応する２つの脈波は、血管７１１に対応する脈波である。そして、画素７０１ａ及び画素７０１ｂに対応する２つの注目脈波の脈波類似度は、所定の閾値を超えるとする。

【0050】

同様に、脈波算出部３０３が、関心領域７０２内の画素７０２ａ及び画素７０２ｂに対応する脈波をそれぞれ算出したとする。ここで、７０２ａ及び画素７０２ｂに対応する２つの脈波は、血管７１１に対応する脈波である。そして、画素７０２ａ及び画素７０２ｂに対応する２つの注目脈波の脈波類似度は、所定の閾値を超えるとする。その場合、脈波合成部３０５は、画素７０１ａ、画素７０１ｂ、画素７０２ａ及び画素７０２ｂに対応する脈波を合成して、合成脈波を算出する。

【0051】

一方、脈波算出部３０３が、関心領域７０３内の画素７０３ａ及び画素７０３ｂに対応する脈波をそれぞれ算出したとする。ここで、画素７０３ａ及び画素７０３ｂに対応する２つの脈波は、血管７１２に対応する脈波である。しかし、例えば、画素７０１ａ及び画素７０３ａに対応する２つの脈波は、異なる血管の脈波である。さらに、画素７０１ａ及び画素７０３ａに対応する２つの脈波は、所定の閾値以下であるとする。その場合、合成候補脈波は、画素７０１ａ及び画素７０３ａに対応する脈波の組み合わせを含まない。

【0052】

また、脈波算出部３０３が、関心領域７０４内の画素７０４ａ及び画素７０４ｂに対応する脈波をそれぞれ算出したとする。ここで、画素７０４ａ及び画素７０４ｂに対応する２つの脈波は、血管７１２に対応する脈波である。そして、画素７０４ａ及び画素７０４ｂに対応する２つの注目脈波の脈波類似度は、所定の閾値を超えるとする。その場合、脈波合成部３０５は、画素７０３ａ、画素７０３ｂ、画素７０４ａ及び画素７０４ｂに対応する脈波を合成して、合成脈波を算出する。

【0053】

図８Ａ及び図８Ｂは、脈波の一例を示す図である。図８Ａに示す脈波Ｘ（７０１ａ，ｔ）は、図７に示す画素７０１ａに対応する脈波を示す。また、図８Ａに示す脈波Ｘ（７０２ａ，ｔ）は、図７に示す画素７０２ａに対応する脈波Ｘを示す。つまり、脈波Ｘ（７０１ａ，ｔ）及び脈波Ｘ（７０２ａ，ｔ）は、図７に例示する血管７１１に対応する脈波である。

【0054】

ここで、脈波Ｘ（７０１ａ，ｔ）と脈波Ｘ（７０２ａ，ｔ）との脈波類似度が所定の条件を満たすとする。さらに、図８Ａに示すように、脈波Ｘ（７０２ａ，ｔ）は、脈波Ｘ（７０１ａ，ｔ）と時間差τ１の遅延があるとする。その場合、脈波合成部３０５は、脈波Ｘ（７０２ａ，ｔ）を時間差τ１、時間軸方向にシフトした脈波Ｘ２と、脈波Ｘ（７０１ａ，ｔ）とを合成し、合成脈波を算出する。ここで、脈波Ｘ２（７０２ａ，ｔ）＝｛ｘ（７０２ａ，τ１），ｘ（７０２ａ，τ１＋１），…，ｘ（７０２ａ，τ１＋ｔ），…｝である。時間差τ１は、例えば、上記の時間差τ_ｍａｘである。つまり、脈波合成部３０５は、合成候補脈波間の位相差を除去する処理を行い、脈波を合成する。

【0055】

一方、図８Ｂに示す脈波Ｘ（７０３ａ，ｔ）は、図７に示す画素７０３ａに対応する脈波を示す。また、図８Ｂに示す脈波Ｘ（７０４ａ，ｔ）は、図７に示す画素７０４ａに対応する脈波を示す。つまり、脈波Ｘ（７０３ａ，ｔ）及び脈波Ｘ（７０４ａ，ｔ）は、図７に例示する血管７１２に対応する脈波である。

【0056】

同様に、脈波Ｘ（７０３ａ，ｔ）と脈波Ｘ（７０４ａ，ｔ）との脈波類似度が所定の条件を満たすとする。さらに、図８Ｂに示すように、脈波Ｘ（７０４ａ，ｔ）は、脈波Ｘ（７０３ａ，ｔ）と時間差τ２の遅延があるとする。その場合、脈波合成部３０５は、脈波Ｘ（７０４ａ，ｔ）を時間差τ２、時間軸方向にシフトした、脈波Ｘ３と、脈波Ｘ（７０３ａ，ｔ）とを合成し、合成脈波を算出する。ここで、脈波Ｘ３（７０４ａ，ｔ）＝｛ｘ（７０４ａ，τ２），ｘ（７０４ａ，τ２＋１），…，ｘ（７０４ａ，τ２＋ｔ），…｝である。時間差τ２は、例えば、上記の時間差τ_ｍａｘである。

【0057】

以上の通り、脈波合成部３０５は、それぞれ、同一の血管の脈波を合成して合成脈波を算出する。その結果、情報処理装置１００は、単一の画素に対応する脈波を出力する場合よりも、より正確に脈波を算出できる。

【0058】

（変形例１）画像取得部３０１は、フレーム画像４０１全体を関心領域４０２として決定してもよい。換言すると、脈波算出部３０３は、フレーム画像４０１内の各画素に関して、それぞれ脈波を算出してもよい。つまり、脈波合成部３０５は、動画像から脈波を合成する。具体的には、脈波合成部３０５は、フレーム画像４０１の各画素から算出された脈波に対応する脈波類似度に基づいて、脈波を合成する。

【0059】

（変形例２）情報処理装置１００とは異なる装置が、撮像部１０１を備えてもよい。その場合、情報処理装置１００は、情報処理装置１００とは異なる装置から、ネットワーク等を介して、撮像部１０１が生成した動画像を取得する。

【0060】

（変形例３）情報処理装置１００は、生体Ａを追跡する機能を備えてもよい。その場合、情報処理装置１００は、生体Ａを追跡し、同一の生体Ａの体表の動画像を取得できる。その結果、情報処理装置１００は、生体Ａが動いている状態においても、体表の同一の位置から脈波を算出できる。例えば、撮像部１０１が生体Ａの動きに合わせてうごくようになっていて、撮像部１０１の各画素がそれぞれ生体Ａの体表の同一の位置を撮影し続けるようにしてもよい。また、例えば、画像処理によって画像フレーム間で生体Ａの同一の位置を追跡してもよい。このとき、体表の同一の位置は、フレーム画像の同一の画素とは限らない。

【0061】

（第二実施形態）
第二実施形態について説明する。以下の各実施形態では、第一実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、第一実施形態と異なる点を説明する。

【0062】

図９は、本実施形態の制御部２０２の機能的構成の一例を示すブロック図である。図９に例示する制御部２０２と、図３に例示する制御部２０２との相違点は、生体情報抽出部９０１をさらに備える点である。

【0063】

生体情報抽出部９０１は、合成脈波に基づいて、生体情報を抽出する。生体情報は、脈拍数、ストレスレベル、及び血圧の少なくともいずれかを含む。本実施形態においては、生体情報を算出及び推定することを「生体情報の抽出」と称する。

【0064】

例えば、生体情報抽出部９０１は、合成脈波のピーク数をカウントし、カウントされたピーク数を脈拍数として算出する。

【0065】

また、例えば、生体情報抽出部９０１は、合成脈波における所定の時間間隔に対して、高速フーリエ変換を行ってパワースペクトルを算出する。そして、生体情報抽出部９０１は、当該パワースペクトルを解析してストレスレベルを算出する。

【0066】

また、例えば、生体情報抽出部９０１は、合成脈波に２回の時間微分を行い、加速度脈波を算出し、当該加速度脈波から血圧を推定する。また、例えば、生体情報抽出部９０１は、合成脈波の形状から血圧を推定する。

【0067】

上記の通り、合成脈波は、体表の単一の位置（例えば、単一の画素）に対応する脈波よりもシグナルノイズ比が高くなる。そのため、生体情報抽出部９０１は、体表の単一の位置に対応する脈波に基づいて生体情報を抽出する場合よりも、信頼性が高い生体情報を抽出できる。

【0068】

（第三実施形態）
第三実施形態について説明する。図１０は、本実施形態の制御部２０２の機能的構成の一例を示すブロック図である。図１０に例示する制御部２０２と、図３に例示する制御部２０２との相違点は、領域決定部１００１をさらに備える点である。さらに、本実施形態の制御部２０２は、脈波算出部３０３に替えて、脈波算出部１００２を備える。

【0069】

領域決定部１００１は、画像取得部３０1が取得した動画像に含まれるフレーム画像から、複数の画素を含む複数の領域を決定する。

【0070】

脈波算出部１００２は、各領域から、一の脈波を算出する。具体的には、脈波算出部１００２は、複数の領域の画素値の統計値（例えば、合計値または平均値）に基づいて、複数の脈波のうちの各脈波を算出する。例えば、脈波算出部１００２は、フレーム画像毎に、領域の画素値の統計値を算出し、算出した統計値の時間的な変化を示す信号を算出する。そして、脈波算出部１００２は、所定の信号処理方法を用いて、算出された信号を処理し、当該処理された結果を脈波として算出する。

【0071】

類似度算出部３０４は、脈波算出部１００２が算出した複数の領域に対応する脈波のうちの少なくとも２つの脈波の類似度を算出する。例えば、全ての領域の脈波の組み合わせに関して、脈波類似度を算出する。この場合、類似度算出部３０４は、_ＮＣ_２個（＝（Ｎ×（Ｎ－１）／２）個）の類似度を算出する。ここで、Ｎは、領域の個数であり、自然数である。または、類似度算出部３０４は、少なくとも２つの領域の脈波のうち、一の基準の脈波を決定してもよい。そして、類似度算出部３０４は、決定した基準の脈波と、基準の脈波以外の脈波との脈波類似度を算出してもよい。この場合、類似度算出部３０４は、Ｎ－１個の類似度を算出する。

【0072】

脈波合成部３０５は、類似度算出部３０４が算出した脈波類似度を元に合成脈波を合成する。例えば、脈波合成部３０５は、脈波類似度に基づいて、領域決定部１００１が設定した少なくとも２つの領域における脈波を合成する。以下の説明では、説明の便宜上、合成対象の少なくとも２つの領域を「合成候補領域」と称する。

【0073】

次に、体表の動画像において脈波に対応する画素について詳細に説明する。図１１は、注目領域の一例を示す図である。領域決定部１００１は、関心領域４０２から領域を決定する。図１１に例示する領域１１０１、領域１１０２、領域１１０３及び領域１１０４は、領域の一例である。

【0074】

ここで、記憶部２０１は、関心領域４０２内の各領域に対応する脈波と、当該脈波に対応する脈波類似度とを対応付けて格納しているとする。

【0075】

例えば、脈波合成部３０５は、関心領域４０２内において、複数の領域を含む合成候補領域を決定する。脈波合成部３０５は、各領域に対応する脈波類似度に基づいて、領域１１０１、領域１１０２、領域１１０３及び領域１１０４から、複数の合成候補領域を決定する。例えば、脈波合成部３０５は、領域１１０１及び領域１１０２を、合成候補領域として決定したとする。その場合、脈波合成部３０５は、領域１１０１及び領域１１０２に含まれる画素の画素値の統計値の時間的な変化を示す信号を元に、合成脈波を一の脈波として算出する。

【0076】

これにより、脈波合成部３０５は、脈波類似度が相対的に高い注目脈波を合成して、合成脈波を算出できる。そのため、上記と同様の理由により、算出された合成脈波のシグナルノイズ比が向上する。さらに、上記と同様の理由により、出力部２０３は、体表の単一の位置（例えば、単一の画素）に対応する脈波を出力する場合よりも、一の血管の脈波をより正確に出力できる。

【0077】

（第四実施形態）
第四実施形態について説明する。図１２は、本実施形態の制御部２０２の機能的構成の一例を示すブロック図である。本実施形態の制御部２０２は、脈波算出部３０３に替えて、脈波算出部１２０１を備える。

【0078】

脈波算出部１２０１は、動画像に含まれる一画素の画素値と、一画素に隣接する少なくとも一の画素の画素値との統計値（例えば、合計値または平均値）に基づいて、複数の脈波のうち、当該一画素に対応する一の脈波を算出する。以下の説明では、説明の便宜上、脈波に対応する一画素に隣接する少なくとも一の画素を「周辺画素」と称する。

【0079】

図１３は、脈波に対応する画素と周辺画素との一例を示す図である。例えば、脈波算出部１２０１は、関心領域４０２内の画素１３０１に関して、画素１３０１の画素値と、画素１３０１に隣接する８画素の周辺画素１３０２の画素値との統計値を算出する。脈波算出部１２０１は、画素１３０１の統計値の時間的な変化を示す信号を元に、画素１３０１に対応する脈波を算出する。

【0080】

図１３に例示する通り、画素１３０１の周辺画素１３０２は、画素１３０１を取り囲む８画素であるとする。そして、画像取得部３０１が縦Ｗ×横Ｈ画素の関心領域４０２を抽出した場合、脈波算出部３０３は、（Ｗ－２）×（Ｈ－２）個の脈波を算出する。例えば、図１３に例示する関心領域４０２は、縦１０×横１０の画素を含む。その場合、脈波算出部３０３は、図１３に破線で示す領域１３０３内の各画素に関して、当該各画素と周辺画素との統計値に基づいて、各画素に対応する、６４（＝（１０－２）×（１０－２））個の脈波を算出する。なお、図１３に例示する周辺画素１３０２は、画素１３０１を取り囲む８画素であるが、周辺画素１３０２は８画素より少なくてもよい。また、周辺画素１３０２の画素数は８画素より多くてもよい。例えば、周辺画素１３０２は、画素１３０１に取り囲む画素に、さらに隣接する画素を含んでもよい。

【0081】

これにより、脈波算出部１２０１は、一画素の画素値から脈波を算出する場合よりも、算出される脈波に含まれるノイズを平滑化できる。その結果、脈波算出部１２０１は、一画素の画素値から脈波を算出する場合よりも、算出される脈波のシグナルノイズ比を向上でき、より正確に脈波を算出できる。

【0082】

（第五実施形態）
第五実施形態について説明する。図１４は、本実施形態の制御部２０２の機能的構成の一例を示すブロック図である。図１４に例示する制御部２０２と、図３に例示する制御部２０２との相違点は、特徴量抽出部１４０１をさらに備える点である。さらに、本実施形態の制御部２０２は、類似度算出部３０４と脈波合成部３０５とに替えて、類似度算出部１４０２と脈波合成部１４０３とを備える。

【0083】

特徴量抽出部１４０１は、脈波の形状の特徴を示す特徴量を抽出する。以下の説明では、説明の便宜上、当該特徴量を「脈波特徴量」と称する。脈波特徴量は、脈波における特徴点に関する値であって、例えば、周期、振幅、周波数、立ち上がり角度及びスペクトルの少なくともいずれかである。以下の説明では、説明の便宜上、当該特徴点を「脈波特徴点」と称する。脈波特徴点は、脈波の極大点、極小点、変曲点等である。または、脈波特徴点は、脈波を、１階または複数階微分した信号、または周波数解析を行ったスペクトルの極大点、極小点、変曲点等であってもよい。

【0084】

類似度算出部１４０２は、少なくとも２つの脈波特徴量の比較結果に基づいて、脈波類似度を算出する。

【0085】

脈波合成部１４０３は、類似度算出部１４０２が算出した脈波類似度に基づいて、少なくとも２つの脈波を合成する。

【0086】

図１５は、脈波特徴量の一例を示す図である。以下の説明では、図１５は脈波Ｘ１５０１の一例を示す。図１５に例示するｔ１１は、脈波Ｘ１５０１において、極小値ａ１５に対応する時点を示す。また、図１５に例示するｔ１２は、脈波Ｘ１５０１において、極大値ａ１６に対応する時点を示す。図１５に例示するｈは、脈波Ｘ１５０１上において時点ｔ１１における極小値ａ１５と時点ｔ１２における極大値ａ１６との差分値を示す。例えば、特徴量抽出部１４０１は、図１５に例示するｈ＝（ａ１６－ａ１５）を、脈波特徴量の一つとして算出する。以下の説明では、説明の便宜上、一の脈波において、隣り合う極小点と極大点との差分値を「波高」と称する。

【0087】

また、図１５に例示するθは、時点ｔ１１から時点ｔ１２間における脈波Ｘ１５０１の立ち上がり角度を示す。例えば、特徴量抽出部１４０１は、図１５に例示する立ち上がり角度θ＝ｔａｎ^－１（（ａ１６－ａ１５）／（ｔ１２－ｔ１１））（ｒａｄ）を、脈波特徴量の一つとして算出する。

【0088】

次に、本実施形態の情報処理装置１００で実行される処理フローの一例について説明する。図１６は、本実施形態の情報処理装置１００で実行される処理フローの一例を示すフローチャートである。本例では、撮像部１０１が撮影を開始後、記憶部２０１に格納される動画像のフレーム数が、所定のフレーム数を超えた場合、本実施形態の制御部２０２は、図６に示すＳ６０１～Ｓ６０４の処理を実行する。そして、制御部２０２は、図６に示すＳ６０４の処理を実行した場合、図１６に示すＳ１６０１の処理を開始する。

【0089】

Ｓ１６０１において、特徴量抽出部１４０１は、Ｓ６０４で選択された注目脈波から脈波特徴量を抽出する。例えば、特徴量抽出部１４０１は、選択された注目脈波のうちの各注目脈波から脈波特徴点を抽出する。そして、特徴量抽出部１４０１は、抽出した脈波特徴点に基づいて、注目脈波から脈波特徴量を抽出する。

【0090】

特徴量抽出部１４０１は、一の脈波から、複数の極大点及び複数の極小点を抽出した場合、当該極大点及び当該極小点に基づいて、複数の波高ｈを抽出する。例えば、特徴量抽出部１４０１が、一の脈波から、極大点と極小点との組み合わせを１０組抽出した場合、１０個の波高ｈを算出する。

【0091】

また、特徴量抽出部１４０１は、同一種別の複数の脈波特徴量を抽出した場合、抽出した複数の脈波特徴量の統計値（例えば、平均値又は中央値）を、類似度算出部１４０２に脈波特徴量として出力する。または、特徴量抽出部１４０１は、抽出した複数の脈波特徴量を類似度算出部１４０２に出力する。

【0092】

または、特徴量抽出部１４０１は、脈波特徴量と特徴量識別情報とを対応付けて、類似度算出部１４０２に出力してもよい。特徴量識別情報は、脈波特徴量を識別する情報であって、例えば、脈波特徴量に対応する時点を示す情報、脈波特徴量に対応する脈波特徴点を識別する情報である。脈波特徴点を識別する情報は、例えば、一の脈波において脈波特徴点ごとに割り振られた番号である。

【0093】

Ｓ１６０２において、類似度算出部１４０２は、脈波特徴量を比較する。具体的には、類似度算出部１４０２は、少なくとも２つの注目脈波のうちの各注目脈波の脈波特徴量を比較する。例えば、特徴量抽出部１４０１が複数の脈波特徴量を抽出した場合、各脈波特徴量を比較する。

【0094】

Ｓ１６０３において、類似度算出部１４０２は、少なくとも２つの注目脈波に対応する各脈波特徴量の比較結果に基づいて、脈波類似度を算出する。具体的には、類似度算出部１４０２は、少なくとも２つの注目脈波に対応する各脈波特徴量の比較結果に基づいて、脈波類似度を算出する。そして、制御部２０２は処理をＳ６０６に移行する。そして、制御部２０２は、Ｓ６０６～Ｓ６０８の処理を実行する。そして、全ての脈波に関して脈波類似度が算出された場合（Ｓ６０７：Ｙｅｓ）、制御部２０２は処理をＳ１６０４に移行する。

【0095】

例えば、類似度算出部１４０２は、少なくとも２つの注目脈波に対応する、同一種別の脈波特徴量の差分値に基づいて、脈波類似度を算出する。脈波特徴量の差分値は、少なくとも２つの注目脈波の特徴量の差である。ここで、類似度算出部１４０２は、少なくとも２つの注目脈波の特徴量の平均二乗誤差を、脈波特徴量の差分値として算出してもよい。そして、類似度算出部１４０２は、算出した脈波類似度を、脈波合成部１４０３に出力する。

【0096】

また、特徴量抽出部１４０１は、少なくとも２つの注目脈波に関して、同一種別の複数の注目脈波の脈波特徴量を抽出した場合、類似度算出部１４０２は、一の注目脈波の複数の脈波特徴量と、当該一の注目脈波と異なる注目脈波の複数の脈波特徴量との差分値を算出する。つまり、類似度算出部１４０２は、同一種別の脈波特徴量に関して、複数の差分値を算出する。その場合、類似度算出部１４０２は、算出した複数の差分値の統計値（例えば、平均値又は中央値）を、脈波類似度として、脈波合成部１４０３に出力する。または、類似度算出部１４０２は、同一種別の脈波特徴量に関して、複数の差分値を算出した場合、複数の差分値を脈波類似度として、脈波合成部１４０３に出力してもよい。

【0097】

例えば、特徴量抽出部１４０１が、２つの脈波に関して、それぞれ、波高の波形特徴量をｈ１、ｈ２、…と複数個（例えば、１０個）ずつ抽出したとする。その場合、類似度算出部１４０２は、一方の脈波に対応する波高ｈ１と、他方の脈波に対応する波高ｈ１との差分値、一方の脈波に対応する波高ｈ２と、他方の脈波に対応する波高ｈ２との差分値、…を算出する。ここで、一方の脈波に対応する波高ｈ１と、他方の脈波に対応する波高ｈ１は同じ時刻における脈波に関する特徴量であってもよい。そして、類似度算出部１４０２は、抽出した波高ｈ１、ｈ２、…の差分値を脈波類似度として脈波合成部１４０３に出力する。ここで、抽出した波高ｈ１、ｈ２、…の差分値の平均値を脈波合成部１４０３に出力してもよい。

【0098】

また、特徴量抽出部１４０１は、少なくとも２つの注目脈波に関して、複数種別の注目脈波の脈波特徴量を抽出した場合、類似度算出部１４０２は、複数種別の一の注目脈波の脈波特徴量と、複数種別の当該一の注目脈波と異なる注目脈波の脈波特徴量との差分値を算出する。つまり、類似度算出部１４０２は、複数種別の脈波特徴量に関して、それぞれの差分値を算出する。

【0099】

例えば、特徴量抽出部１４０１が、２つの脈波に関して、それぞれ、波高ｈと立ち上がり角度θとを含む脈波特徴量を抽出したとする。その場合、類似度算出部１４０２は、一方の脈波に対応する波高ｈと、他方の脈波に対応する波高ｈとの差分値を算出する。同様に、類似度算出部１４０２は、一方の脈波に対応する立ち上がり角度θと、他方の脈波に対応する立ち上がり角度θとの差分値を算出する。そして、類似度算出部１４０２は、抽出した波高ｈの差分値と、抽出した立ち上がり角度θの差分値とを、脈波類似度として脈波合成部１４０３に出力する。

【0100】

Ｓ１６０４において、脈波合成部１４０３は、Ｓ６０６で記憶部２０１に格納された脈波類似度が、所定の条件を満たす脈波を合成候補脈波リストに追加する。そして、制御部２０２は処理をＳ６１０に移行する。

【0101】

例えば、類似度算出部１４０２は、同一種別の脈波特徴量の差分値を、脈波類似度として算出したとする。その場合、脈波特徴量の差分値が小さいほど、当該差分値に対応する少なくとも２つの注目脈波は、類似した特徴を有する信号である。そこで、脈波合成部１４０３は、少なくとも２つの注目脈波に対応する脈波特徴量の差分値が所定の範囲内である場合、当該少なくとも２つの注目脈波を、合成候補脈波リストに追加する。

【0102】

または、類似度算出部１４０２は、複数の種別の脈波特徴量に関して、それぞれ同一種別の脈波特徴量の複数の差分値を算出し、算出された複数の差分値を、脈波類似度として算出したとする。類似度算出部１４０２は、複数の種別の脈波特徴量のうち、一の脈波特徴量の差分値が所定の範囲内である場合、脈波合成部１４０３は、当該差分値に対応する少なくとも２つの注目脈波を、合成候補脈波リストに追加する。

【0103】

または、類似度算出部１４０２は、複数の種別の脈波特徴量のうち、所定の数を超える脈波特徴量の差分値が所定の範囲内である場合、脈波合成部１４０３は、当該差分値に対応する少なくとも２つの注目脈波を、合成候補脈波リストに追加する。

【0104】

または、脈波合成部１４０３は、脈波特徴量の複数の種別のうち、脈波特徴量の種別毎に、脈波特徴量の差分値が小さい順に、注目脈波の優先順位を決定してもよい。または、脈波合成部１４０３は、複数の種別の脈波特徴量に関して、脈波特徴量の差分値が小さい順に、注目脈波の優先順位を決定してもよい。その場合、脈波合成部１４０３は、決定した優先順位に基づいて、合成候補脈波リストに追加する注目脈波を決定する。

【0105】

以上より、本実施形態の情報処理装置１００は、脈波特徴量を比較して、脈波類似度を算出することで、脈波全体を比較して脈波類似度を算出する場合よりも、脈波に含まれるノイズの影響を軽減できる。さらに、本実施形態の情報処理装置１００は、脈波特徴量を比較することで、脈波全体を比較する場合よりも、脈波類似度を算出する際の計算量を削減できる。

【0106】

（第六実施形態）
第六実施形態について説明する。図１７は、本実施形態の制御部２０２の機能的構成の一例を示すブロック図である。図１７に例示する制御部２０２と、図３に例示する制御部２０２との相違点は、部位検出部１７０１をさらに備える点である。さらに、本実施形態の制御部２０２は、脈波算出部３０３、類似度算出部３０４、及び脈波合成部３０５に替えて、脈波算出部１７０２と、類似度算出部１７０３と、脈波合成部１７０４とを備える。

【0107】

部位検出部１７０１は、画像取得部３０１が取得した動画像から、生体Ａの第１部位と、生体Ａの第１部位とは異なる第２部位とを検出する。例えば、第１部位は首であり、第２部位は顔である。

【0108】

脈波算出部１７０２は、動画像から生体の第１部位に対応する第１脈波と、前記第１部位とは異なる第２部位に対応する少なくとも２つの第２脈波とを算出する。

【0109】

類似度算出部１７０３は、第１脈波と少なくとも２つの第２脈波との脈波類似度を算出する。

【0110】

脈波合成部１７０４は、第１脈波と少なくとも２つの第２脈波との脈波類似度が所定の閾値を超える場合、少なくとも２つの第２脈波を合成する。

【0111】

次に、本実施形態の情報処理装置１００で実行される処理フローの一例について説明する。図１８は、本実施形態の情報処理装置１００で実行される処理フローの一例を示すフローチャートである。本例では、第１部位が生体Ａの首であり、第２部位が生体Ａの顔である。また、本例では、撮像部１０１が生体Ａの首と顔との撮影を開始後、記憶部２０１に格納される動画像のフレーム数が、所定のフレーム数を超えた場合、制御部２０２は、図１８に示すＳ１８０１の処理を開始する。

【0112】

Ｓ１８０１において、画像取得部３０１は、記憶部２０１から体表の動画像を取得する。動画像の各フレーム画像４０１は、生体Ａの首の領域と顔の領域の画素値を含む。

【0113】

Ｓ１８０２において、部位検出部１７０１は、Ｓ１８０１で取得された動画像から、首の位置と顔の位置とを特定する。

【0114】

例えば、部位検出部１７０１は、各フレーム画像４０１から、顔の特徴点（例えば、目の両端、鼻、口の両端）を検出し、各フレーム画像４０１に含まれる顔（第２部位）の位置を特定する。ここで、顔の位置は、複数の画素を含む領域である。パターンマッチング、ＳＶＭ（Support Vector Machine）、ニューラルネット等を用いて、動画像から生体Ａの顔の位置を特定してもよく、顔の位置の特定手法の詳細は問わない。

【0115】

例えば、部位検出部１７０１は、各フレーム画像４０１において、特定した顔の位置とは異なる体表の領域から、首（第１部位）の位置を特定する。ここで、首の位置は、複数の画素を含む領域である。

【0116】

Ｓ１８０３において、脈波算出部１７０２は、Ｓ１８０２で特定した首の位置から、第１脈波を算出する。ここで、脈波算出部１７０２は、左右それぞれの頸動脈に対応する、２つの第１脈波を算出してもよい。

【0117】

例えば、脈波算出部１７０２は、首の位置に含まれる各画素の画素値の時間的な変化に基づいて、複数の脈波（以下、「第１脈波候補」と称する）を算出する。そして、脈波算出部１７０２は、算出した複数の第１脈波候補から、第１脈波を決定する。例えば、脈波算出部１７０２は、算出した複数の第１脈波候補から、脈波の振幅の統計値（例えば、平均値）が最大の脈波を、第１脈波として決定する。

【0118】

または、脈波算出部１７０２は、算出した複数の第１脈波候補のうち、シグナルノイズ比が最大の脈波を、第１脈波として決定する。例えば、脈波算出部１７０２は、算出した複数の第１脈波候補のうち、所定の時間間隔に対して、高速フーリエ変換を行ってパワースペクトルを算出する。そして、所定の周波数帯域（例えば、０．５Ｈｚ～４．０Ｈｚ）のパワースペクトルの統計値（例えば、最大値）が最大の脈波を、第１脈波として決定してもよい。または、例えば、 所定の周波数帯域（例えば、０．５Ｈｚ～４．０Ｈｚ）のパワースペクトルの積分値（シグナル）と、所定の周波数帯域以外のパワースペクトルの積分値（ノイズ）との比が最大の脈波を、第１脈波として決定してもよい。

【0119】

Ｓ１８０４において、関心領域抽出部３０２は、Ｓ１８０２で特定した顔の位置から、関心領域４０２を抽出する。脈波算出部１７０２が、左右それぞれの頸動脈に対応する２つの第１脈波を算出した場合、関心領域抽出部３０２は、特定した顔の位置から、左右の頬に対応する２つの関心領域４０２を抽出する。

【0120】

Ｓ１８０５において、脈波算出部１７０２は、関心領域４０２から複数の第２脈波を算出する。関心領域抽出部３０２が、左右の頬に対応する２つの関心領域４０２を抽出した場合、脈波算出部１８０５は、それぞれ関心領域４０２から第２脈波を算出する。

【0121】

Ｓ１８０６において、類似度算出部１７０３は、複数の第２脈波から、少なくとも２つの注目脈波を選択する。

【0122】

Ｓ１８０７において、類似度算出部１７０３は、第１脈波と、Ｓ１８０６で選択した注目脈波との脈波類似度を算出する。つまり、類似度算出部１７０３は、首の位置の脈波と、顔の位置の脈波との脈波類似度を算出する。具体的には、脈波算出部１７０２が、左右それぞれの頸動脈に対応する、２つの第１脈波を算出した場合、類似度算出部１７０３は、左の頸動脈に対応する第１脈波と、左頬に対応する複数の第２脈波との脈波類似度を算出する。

【0123】

同様に、脈波算出部１７０２が、左右それぞれの頸動脈に対応する、２つの第１脈波を算出した場合、類似度算出部１７０３は、右の頸動脈に対応する第１脈波と、右頬に対応する複数の第２脈波との脈波類似度を算出する。

【0124】

ここで、頸動脈は顔の部分の血管よりも太いため、心臓の拍動に伴った頸動脈の容積の変化は、顔の部分の血管の容積の変化よりも大きくなる。そのため、頸動脈の体表の色の変化は、顔の部分の体表の色の変化よりも顕著である。換言すると、脈波算出部１７０２が算出する頸動脈の部分の画素に対応する脈波は、顔の部分の画素に対応する脈波よりもシグナルノイズ比が高い。そのため、類似度算出部１７０３が、頸動脈の脈波と、顔の部分の脈波との脈波類似度を算出することで、顔の部分の脈波同士との脈波類似度を算出する場合よりも、より正確に同一の血管に接続する脈波の脈波類似度を算出できる。

【0125】

Ｓ１８０８において、類似度算出部１７０３は、Ｓ１８０７で算出された脈波類似度と、当該脈波類似度に対応する注目脈波とを対応付けて記憶部２０１に格納する。

【0126】

Ｓ１８０９において、類似度算出部１７０３は、全ての第２脈波に関して脈波類似度を算出したか否かを判定する。全ての第２脈波に関して脈波類似度が算出されていない場合（Ｓ１８０９：Ｎｏ）、類似度算出部１７０３は、複数の第２脈波から少なくとも２つの新たな注目脈波を選択する（Ｓ１８１０）。そして、制御部２０２は処理をＳ１８０７に戻すことで処理を継続する。一方、全ての第２脈波に関して脈波類似度が算出された場合（Ｓ１８０９：Ｙｅｓ）、制御部２０２は処理をＳ１８１１に遷移する。

【0127】

Ｓ１８１１において、脈波合成部１７０４は、脈波類似度が所定の条件を満たす第２脈波を、合成候補脈波リストに追加する。これにより、脈波合成部１７０４は、顔の部分の血管に対応する脈波のうち、同一の頸動脈に接続する血管に対応する脈波を、合成候補脈波リストに追加できる。Ｓ１８１１の処理の詳細は、上記の６０９と同様であるため、詳細な説明は省略する。

【0128】

Ｓ１８１２において、脈波合成部１７０４は、合成候補脈波リストに含まれる第２脈波を合成する。

【0129】

Ｓ１８１３において、脈波合成部１７０４は、合成した第２脈波を出力する。

【0130】

図１９は、第１脈波と第２脈波とに対応する画素と、血管との関係の一例を示す。図１９は、生体Ａの顔と首との領域を含むフレーム画像１９０１を示す。血管１９０３は、頸動脈１９０２に接続する、顔の血管である。血管１９０５は、頸動脈１９０４の血管に接続する、顔の血管である。画素１９０６は、頸動脈１９０２に対応する位置の画素である。また、画素１９０７は、頸動脈１９０４に対応する位置の画素である。

【0131】

脈波算出部１７０２は、画素１９０７に対応する第１脈波を算出する。さらに、関心領域抽出部３０２が関心領域１９０９を抽出した場合、脈波算出部１７０２は、関心領域１９０９内の各画素に対応する第２脈波を算出する。例えば、類似度算出部１７０３は、画素１９０７に対応する第１脈波と、画素１９１４に対応する第２脈波との脈波類似度を算出する。また、類似度算出部１７０３は、画素１９０７に対応する第１脈波と、画素１９１５に対応する第２脈波との脈波類似度を算出する。

【0132】

ここで、画素１９０７に対応する第１脈波は、頸動脈１９０４の脈波であるため、顔の血管１９０５に対応する第２脈波よりもシグナルノイズ比が高い。そのため、類似度算出部１７０３が、画素１９０７に対応する第１脈波と、画素１９１５に対応する第２脈波との脈波類似度を算出することで、画素１９１４に対応する第２脈波と、画素１９１５に対応する第２脈波との脈波類似度を算出する場合よりも、より正確に脈波類似度を算出できる。

【0133】

脈波合成部１７０４は、関心領域１９０９内の画素に対応する、少なくとも２つの脈波から、画素１９０７に対応する第１脈波との脈波類似度が所定の条件を満たす脈波を、合成候補脈波として決定する。これにより、脈波合成部１７０４が、関心領域１９０９内の少なくとも２つの画素に対応する脈波の脈波類似度に基づいて合成候補脈波を決定し、合成脈波を算出する場合よりも、合成脈波のシグナルノイズ比が高くなる。

【0134】

同様に、関心領域抽出部３０２が関心領域１９０８を抽出した場合、脈波算出部１７０２は、関心領域１９０８内の各画素に対応する第２脈波を算出する。ここで、画素１９０６に対応する第１脈波は、頸動脈１９０２の脈波であるため、顔の血管１９０３に対応する位置の画素１９１２に対応する脈波よりも、シグナルノイズ比が高い。そのため、上記と同様に、類似度算出部１７０３が、画素１９０６に対応する第１脈波と、画素１９１３に対応する第２脈波との脈波類似度を算出することで、画素１９１２に対応する第２脈波と、画素１９１３に対応する第２脈波との脈波類似度を算出する場合よりも、より正確に脈波類似度を算出できる。

【0135】

出力制御部３０６は、顔の左右それぞれに対応する合成脈波を算出する。心臓から顔までの血管に異常がない場合、顔の左右の脈波は、互いに類似する。しかし、心臓から顔までの血管に異常がある場合、顔の左右の脈波のうち、いずれか一方の脈波の形状が正常時から変化するおそれがある。その結果、心臓から顔までの血管に異常がある場合、顔の左右の脈波は異なるものとなる。そのため、顔の左右の脈波の差分は、心臓から顔までの血管に異常があるか否かを判断するための指標となり得る。そこで、出力制御部３０６は、顔の左右の脈波の差分を出力してもよい。これにより、情報処理装置１００は、心臓から顔までの血管に異常があることを示す情報を出力できる。

【0136】

本開示における情報処理装置または脈波算出方法の主体は、コンピュータとして制御部２０２を備えている。このコンピュータが、記憶部２０１に格納されるプログラムを実行することによって、本開示における情報処理装置または脈波算出方法の主体の機能が実現される。コンピュータは、上記プログラムにしたがって動作するプロセッサを主なハードウェア構成として備える。プロセッサは、上記プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、またはＬＳＩ(Large Scale Integration)を含む１つまたは複数の電子回路で構成される。複数の電子回路は、１つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは１つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。上記プログラムは、コンピュータが読み取り可能なＲＯＭ、光ディスク、ハードディスクドライブなどの非一時的記録媒体に記録される。上記プログラムは、記録媒体に予め格納されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

【0137】

本開示の一態様は、上述した実施の形態及び変形例に限定されるものではなく変形可能であり、上記の構成は、実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えることができる。

【符号の説明】

【0138】

１００ 情報処理装置、１０１ 撮像部、２０１ 記憶部、２０２ 制御部、２０３ 出力部、３０１ 画像取得部、３０２ 関心領域抽出部、３０３ 脈波算出部、３０４ 類似度算出部、３０５ 脈波合成部、３０６ 出力制御部、４０１ フレーム画像、４０２ 関心領域、４０３ａ 画素、４０３ｂ 画素、５０１ 画素、７０１ 関心領域、７０１ａ 画素、７０１ｂ 画素、７０２ 関心領域、７０２ａ 画素、７０２ｂ 画素、７０３ 関心領域、７０３ａ 画素、７０３ｂ 画素、７０４ 関心領域、７０４ａ 画素、７０４ｂ 画素、７１１ 血管、７１２ 血管、９０１ 生体情報抽出部、１００１ 領域決定部、１００２ 脈波算出部、１１０１ 領域、１１０２ 領域、１１０３ 領域、１１０４ 領域、１２０１ 脈波算出部、１３０１ 画素、１３０２ 周辺画素、１３０３ 領域、１４０１ 特徴量抽出部、１４０２ 類似度算出部、１４０３ 脈波合成部、１７０１ 部位検出部、１７０２ 脈波算出部、１７０３ 類似度算出部、１７０４ 脈波合成部、１９０１ フレーム画像、１９０２ 頸動脈、１９０３ 血管、１９０４ 頸動脈、１９０５ 血管、１９０６ 画素、１９０７ 画素、１９０８ 関心領域、１９０９ 関心領域、１９１２ 画素、１９１３ 画素、１９１４ 画素、１９１５ 画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】