特開 2024-134637 情報処理装置、脈波算出方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024134637

(43)【公開日】2024-10-04

(54)【発明の名称】情報処理装置、脈波算出方法及びプログラム

(51)【国際特許分類】

   A61B 5/02 20060101AFI20240927BHJP

【ＦＩ】

A61B5/02 310Z

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023044926

(22)【出願日】2023-03-22

(71)【出願人】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100147304

【弁理士】

【氏名又は名称】井上 知哉

(74)【代理人】

【識別番号】100148493

【弁理士】

【氏名又は名称】加藤 浩二

(72)【発明者】

【氏名】富澤 亮太

(72)【発明者】

【氏名】足立 佳久

(72)【発明者】

【氏名】奥村 哲也

【テーマコード（参考）】

4C017

【Ｆターム（参考）】

4C017AA09

4C017AB06

4C017AC27

4C017BC11

4C017FF15

(57)【要約】

【課題】生体が移動することに起因して脈波信号にノイズが含まれることを抑制できる情報処理装置を提供する。
【解決手段】情報処理装置は、生体を撮像した動画像を構成する各フレームの画像について、関心領域の位置を設定する関心領域設定部と、前記動画像を構成する第１フレームの画像において、前記第１フレームの画像を含む複数の第２フレームの画像について設定された複数の関心領域の位置における画素の画素値の複数の第１代表値を算出する画素値算出部と、前記複数の第１代表値を合成して前記第１フレームについての第２代表値を算出する画素値合成部と、前記第２代表値の時間変化から脈波信号を算出する脈波算出部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

生体を撮像した動画像を構成する各フレームの画像について、関心領域の位置を設定する関心領域設定部と、
前記動画像を構成する第１フレームの画像において、前記第１フレームの画像を含む複数の第２フレームの画像について設定された複数の関心領域の位置における画素の画素値の複数の第１代表値を算出する画素値算出部と、
前記複数の第１代表値を合成して前記第１フレームについての第２代表値を算出する画素値合成部と、
前記第２代表値の時間変化から脈波信号を算出する脈波算出部と、
を備える情報処理装置。

【請求項2】

前記生体を撮像して前記動画像を取得する撮像部
をさらに備える
請求項１に記載の情報処理装置。

【請求項3】

前記第２代表値は、
前記第１フレームについて前記複数の第２フレームが選択された場合、前記画素値合成部によって算出され、前記第１フレームについて前記複数の第２フレームが選択されない場合、前記第１フレームの画像について設定された関心領域の位置における画素の画素値の代表値である
請求項１又は２に記載の情報処理装置。

【請求項4】

前記複数の第２フレームの画像は、所定時間内に撮像された複数の画像を示す
請求項１又は２に記載の情報処理装置。

【請求項5】

前記複数の第２フレームの画像は、連続して撮像された複数の画像を示す
請求項１又は２に記載の情報処理装置。

【請求項6】

前記複数の第２フレームの画像は、前記第１フレームの画像と、前記第１フレームよりも前に撮像された少なくとも一のフレームの画像とを示す
請求項１又は２に記載の情報処理装置。

【請求項7】

前記複数の第２フレームの画像は、前記第１フレームの画像と、前記第１フレームよりも後に撮像された少なくとも一のフレームの画像とを示す
請求項１又は２に記載の情報処理装置。

【請求項8】

前記画素値合成部は、前記複数の第１代表値それぞれについて重み付けし、重み付けされた複数の第１代表値を合成して前記第２代表値を算出する
請求項１又は２に記載の情報処理装置。

【請求項9】

前記第１フレームの画像について設定された第１関心領域と、前記複数の第２フレームのうち第１フレームとは異なるフレームの画像について設定された第２関心領域との間の移動量を算出する移動量算出部
をさらに備え、
前記画素値合成部は、前記複数の第１代表値それぞれについて前記移動量に応じて重み付けする
請求項８に記載の情報処理装置。

【請求項10】

前記移動量は、前記第１関心領域と前記第２関心領域との間の位置の差、前記第１関心領域と前記第２関心領域との間の面積の差、及び前記第１関心領域と前記第２関心領域との間の回転角度からなる群より選択される少なくともいずれかに基づいて算出される
請求項９に記載の情報処理装置。

【請求項11】

前記複数の第２フレームの画像は、前記移動量に応じて決定された時間内に撮像された複数の画像を示す
請求項９に記載の情報処理装置。

【請求項12】

生体を撮像した動画像を構成する各フレームの画像について、関心領域の位置を設定する工程と、
前記動画像を構成する第１フレームの画像において、前記第１フレームの画像を含む複数の第２フレームの画像について設定された複数の関心領域の位置における画素の画素値の複数の第１代表値を算出する工程と、
前記複数の第１代表値を合成して前記第１フレームについての第２代表値を算出する工程と、
前記第２代表値の時間変化から脈波信号を算出する工程と、
を含む脈波算出方法。

【請求項13】

コンピュータに、
生体を撮像した動画像を構成する各フレームの画像について、関心領域の位置を設定する機能と、
前記動画像を構成する第１フレームの画像において、前記第１フレームの画像を含む複数の第２フレームの画像について設定された複数の関心領域の位置における画素の画素値の複数の第１代表値を算出する機能と、
前記複数の第１代表値を合成して前記第１フレームについての第２代表値を算出する機能と、
前記第２代表値の時間変化から脈波信号を算出する機能と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、脈波算出方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１は、人間の顔の映像から脈波を算出する際、映像の各フレームで顔を検出し、脈波精度を低下させるノイズ源を特定し、関心領域と関心領域を分割したサブ領域を設定し、サブ領域ごとに算出した脈波信号をノイズ源の情報を使って重み付けしてノイズ抑制脈波信号を形成する技術を開示する。特許文献１に開示された技術においては、剛体運動又は非剛体運動が発生したと判定した場合、剛体運動又は非剛体運動はノイズ源であると特定し、関心領域の中で動きがあった部分の画素を使用せずに脈波を算出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開ＷＯ２０１９／２０３１０６

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された技術においては、撮像対象である生体が移動して剛体運動又は非剛体運動が発生したと判定した場合、生体が移動していない場合よりも関心領域内で使用される画素数が減少する。脈波を算出するために使用される関心領域内の画素数が減少した場合、Ｓ／Ｎ比が低下するため、データ全体でのノイズが増加するおそれがある。また、特許文献１に開示された技術では、生体が移動したか否かに応じて関心領域内で画素数が変化するため、算出される脈波信号においてノイズが含まれるおそれがある。そこで、本開示の一態様は、生体が移動することに起因して脈波信号にノイズが含まれることを抑制できる情報処理装置、脈波算出方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0005】

本開示の一形態に係る情報処理装置は、生体を撮像した動画像を構成する各フレームの画像について、関心領域の位置を設定する関心領域設定部と、前記動画像を構成する第１フレームの画像において、前記第１フレームの画像を含む複数の第２フレームの画像について設定された複数の関心領域の位置における画素の画素値の複数の第１代表値を算出する画素値算出部と、前記複数の第１代表値を合成して前記第１フレームについての第２代表値を算出する画素値合成部と、前記第２代表値の時間変化から脈波信号を算出する脈波算出部と、を備える。

【0006】

本開示の一形態に係る脈波算出方法は、生体を撮像した動画像を構成する各フレームの画像について、関心領域の位置を設定する工程と、前記動画像を構成する第１フレームの画像において、前記第１フレームの画像を含む複数の第２フレームの画像について設定された複数の関心領域の位置における画素の画素値の複数の第１代表値を算出する工程と、前記複数の第１代表値を合成して前記第１フレームについての第２代表値を算出する工程と、前記第２代表値の時間変化から脈波信号を算出する工程と、を含む。

【0007】

本開示の一形態に係るプログラムは、コンピュータに、生体を撮像した動画像を構成する各フレームの画像について、関心領域の位置を設定する機能と、前記動画像を構成する第１フレームの画像において、前記第１フレームの画像を含む複数の第２フレームの画像について設定された複数の関心領域の位置における画素の画素値の複数の第１代表値を算出する機能と、前記複数の第１代表値を合成して前記第１フレームについての第２代表値を算出する機能と、前記第２代表値の時間変化から脈波信号を算出する機能と、を実行させる。

【図面の簡単な説明】

【0008】

【図1】情報処理装置の使用態様の一例を示す図である。

【図2】第一実施形態に係る情報処理装置の構成の一例を示すブロック図である。

【図3】第一実施形態に係る情報処理装置の動作の一例を示すフローチャートである。

【図4A】５つの第２フレームの画像における関心領域のそれぞれの位置の一例を示す図である。

【図4B】第１フレームの画像における、図４Ａに例示する５つの関心領域それぞれの位置の一例を示す図である。

【図5】第２代表値の時間変化を示す時系列信号の一例を示す図である。

【図6】図５に例示する時系列信号から算出された脈波信号の一例を示す図である。

【図7】第二実施形態に係る情報処理装置の構成の一例を示すブロック図である。

【図8】第二実施形態に係る情報処理装置の動作の一例を示すフローチャートである。

【図9】図８に続き、第二実施形態に係る情報処理装置の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

（第一実施形態）
図１～図６を参照して、第一実施形態について説明する。なお、図面については、同一又は同様の要素には同一の符号を付し、重複する説明は省略する。

【0010】

図１は、情報処理装置１００の使用態様の一例を示す図である。図１に例示するように、情報処理装置１００は、撮像部１０１を備える。

【0011】

情報処理装置１００は、撮像部１０１によって取得された画像から脈波を示す脈波信号を算出する。例えば、情報処理装置１００は、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、脈波測定専用端末等である。本明細書において、脈波とは、体表の同一の位置に関して、画像に含まれる画素の画素値を示す時系列の信号から算出される、血管の容積の変化を示す時系列の信号である。本明細書において、画素値は、画像に含まれる画素の明るさを示す情報であって、例えば、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）ごとの画素の画素値または画素の輝度値である。

【0012】

撮像部１０１は、生体１０２を撮像して動画像２１１（図２参照）を取得する。動画像２１１は、生体１０２の体表の像を含む。例えば、撮像部１０１は、ＣＣＤ（Charged Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサによって構成される。撮像部１０１は、ＲＧＢのフィルタを含むカメラ用のイメージセンサによって構成されてもよい。

【0013】

図２は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。情報処理装置１００は、撮像部１０１と、記憶部２０１と、制御部２０２とを備える。

【0014】

撮像部１０１は、生体１０２を撮像して動画像２１１を取得する。

【0015】

記憶部２０１は、各種データ、プログラム等を記録可能な記録媒体であり、例えば、ハードディスク、ＳＳＤ（Solid State Drive）、半導体メモリ等により構成される。

【0016】

制御部２０２は、記憶部２０１に格納されるプログラム及びデータに従って、各種処理を実行する。制御部２０２は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサによって実現される。

【0017】

制御部２０２は、関心領域設定部２０３と、画素値算出部２０４と、画素値合成部２０５と、脈波算出部２０６とを備える。

【0018】

関心領域設定部２０３は、動画像２１１を構成する各フレームの画像について、関心領域の位置を設定する。関心領域は、体表の像に設定される。例えば、体表の像は、顔の像、頬の像、額の像、掌の像、手首の像、足の裏の像等である。そして、関心領域設定部２０３は、動画像２１１を構成する各フレームの画像について、関心領域情報２１２と識別情報２１３との組を、画素値算出部２０４へ出力する。関心領域情報２１２は、動画像２１１を構成する各フレームの画像について、関心領域を示す座標を示す。識別情報２１３は、関心領域が設定されたフレームを識別する情報である。

【0019】

画素値算出部２０４は、動画像２１１を構成する第１フレームの画像において、第１フレームの画像を含む複数の第２フレームの画像について設定された複数の関心領域の位置における画素の画素値の複数の第１代表値２１４を算出する。画素値算出部２０４は、第１フレームについて複数の第２フレームが選択された場合、複数の第１代表値２１４と複数の識別情報２１５との組を、画素値合成部２０５へ出力する。複数の識別情報２１５は、第１フレームと複数の第２フレームとを識別する情報である。

【0020】

また、第１フレームについて複数の第２フレームが選択されない場合、画素値算出部２０４は、第１フレームの画像について設定された関心領域の位置における画素の画素値の代表値を、第２代表値２１６として算出する。そして、第１フレームについて複数の第２フレームが選択されない場合、画素値算出部２０４は、第２代表値２１６と識別情報２１７との組を、脈波算出部２０６へ出力する。識別情報２１７は、第１フレームを識別する情報である。

【0021】

画素値合成部２０５は、複数の第１代表値２１４を合成して第１フレームについての第２代表値２１６を算出する。画素値合成部２０５は、第２代表値２１６と、識別情報２１７との組を、脈波算出部２０６へ出力する。

【0022】

脈波算出部２０６は、第２代表値２１６の時間変化から脈波信号を算出する。

【0023】

図３は、本実施形態に係る情報処理装置１００の動作の一例を示すフローチャートである。

【0024】

ステップＳ３０１において撮像部１０１は、生体１０２を撮像して動画像２１１を取得する。撮像部１０１は、取得された動画像２１１を構成する各フレームの画像を、関心領域設定部２０３と画素値算出部２０４とへ出力する。なお、情報処理装置１００は、撮像部１０１とは異なる装置から、動画像２１１を取得してもよい。つまり、撮像部１０１とは異なる装置が生体１０２を撮像して動画像２１１を取得してもよい。そして、撮像部１０１とは異なる装置は、取得した動画像２１１を情報処理装置１００に送信してもよい。

【0025】

ステップＳ３０２において関心領域設定部２０３は、動画像２１１を構成する各フレームの画像について、関心領域の位置を設定する。そして、関心領域設定部２０３は、動画像２１１を構成する各フレームの画像について、関心領域情報２１２と識別情報２１３との組を、画素値算出部２０４へ出力する。例えば、識別情報２１３は、動画像２１１を構成する各フレームの通し番号を示す。または、識別情報２１３は、動画像２１１を構成する各フレームが取得された時点について、撮像部１０１が撮像処理を開始してからの経過時間を示してもよい。または、識別情報２１３は、動画像２１１を構成する各フレームが取得された時刻を示してもよい。

【0026】

例えば、関心領域設定部２０３は、動画像２１１を構成するフレームの画像に顔の像が含まれる場合、目、鼻、口等の特徴点を検出することにより、動画像２１１を構成するフレームの画像に顔の像が含まれるか否かを判定する。例えば、関心領域設定部２０３は、頬の像の領域を関心領域として設定するとする。その場合、関心領域設定部２０３は、動画像２１１を構成するフレームの画像に頬の像が含まれる場合、検出された頬の像の位置に関心領域を設定する。

【0027】

例えば、関心領域設定部２０３は、動画像２１１を構成する各フレームの画像について、頬の像を検出することにより、関心領域の位置を設定する。または、関心領域設定部２０３は、動画像２１１を構成する一つのフレームの画像について、関心領域を設定した場合、当該一つのフレーム以降のフレームの画像については、物体追跡技術によって関心領域を追跡して、関心領域の位置を設定してもよい。

【0028】

例えば、関心領域の形状は、直線で囲まれた多角形でもよいし、曲線で囲まれた形状でもよい。または、関心領域の形状は、生体の部位の形状に合わせて決められた形状であってもよい。例えば、関心領域設定部２０３が関心領域を多角形で設定する場合、関心領域情報２１２は、関心領域を示す多角形の頂点の座標を示す。また、例えば、関心領域設定部２０３が関心領域を円で設定する場合、関心領域情報２１２は、関心領域を示す円の中心の座標と、関心領域を示す半径の長さとを示す。

【0029】

または、関心領域情報２１２は、動画像２１１を構成する各フレームの画像について、論理値行列を示されてもよい。関心領域情報２１２により示される論理値行列は、画像に含まれる各画素が、関心領域に含まれるか否かを示す。つまり、関心領域情報２１２により示される論理値行列は、動画像を構成するフレームの画像と同じサイズの行列であり、関心領域の位置を示す。

【0030】

ステップＳ３０３において画素値算出部２０４は、動画像２１１を構成する複数のフレームから時系列順に第１フレームを選択する。

【0031】

ステップＳ３０４において画素値算出部２０４は、動画像２１１を構成する複数のフレームから、ステップＳ３０３で選択された第１フレームを含む複数の第２フレームを選択できるか否かを判定する。ここで、複数の第２フレームは、第１フレームの画像を含み、所定時間内に撮像された複数の画像を示すとする。その場合、画素値算出部２０４は、第１フレームの画像を含み、且つ所定時間内に撮像された複数のフレームの画像を選択できるか否かを判定する。

【0032】

または、複数の第２フレームの画像は、第１フレームの画像を含み、連続して撮像された複数の画像を、複数の第２フレームの画像を示すとする。その場合、画素値算出部２０４は、第１フレームの画像を含み、且つ連続して所定時間内に撮像された複数のフレームの画像を選択できるか否かを判定する。

【0033】

また、例えば、複数の第２フレームの画像は、第１フレームの画像と、第１フレームよりも前に撮像された少なくとも一のフレームの画像とを示すとする。そして、第１フレームが、動画像２１１を構成する複数のフレームの画像のうち、最初に撮像されたフレームの画像を示すとする。その場合、画素値算出部２０４は、動画像２１１を構成する複数のフレームから複数の第２フレームを選択できない。

【0034】

また、例えば、複数の第２フレームの画像は、第１フレームの画像と、第１フレームよりも後に撮像された少なくとも一のフレームの画像とを示すとする。そして、第１フレームが、動画像２１１を構成する複数のフレームの画像のうち、最後に撮像されたフレームの画像を示すとする。その場合、画素値算出部２０４は、動画像２１１を構成する複数のフレームから第１フレームを含む複数の第２フレームを選択できない。

【0035】

ステップＳ３０４において複数の第２フレームを選択できない場合、ステップＳ３０５において画素値算出部２０４は、第１フレームの画像において、第１フレームの画像で設定された関心領域の位置における画素の画素値の第２代表値２１６を算出する。例えば、撮像部１０１が、ＲＧＢのフィルタを含むカメラ用のイメージセンサによって構成される場合、ステップＳ３０５において画素値算出部２０４は、第１フレームの画像において、Ｒ、Ｇ、Ｂそれぞれの画素について画素値の第２代表値２１６を算出する。そして、画素値算出部２０４は、第２代表値２１６と識別情報２１７との組を、脈波算出部２０６へ出力する。識別情報２１７は、第１フレームを識別する情報である。第２代表値２１６は、関心領域の各画素の画素値の平均値、中央値、最大値、最小値等である。

【0036】

一方、ステップＳ３０４において複数の第２フレームを選択できる場合、ステップＳ３０６において画素値算出部２０４は、第１フレームの画像において、複数の第２フレームの画像で設定された複数の関心領域それぞれの位置における画素の画素値の複数の第１代表値２１４を算出する。

【0037】

例えば、撮像部１０１が、ＲＧＢのフィルタを含むカメラ用のイメージセンサによって構成される場合、ステップＳ３０６において画素値算出部２０４は、第１フレームの画像において、複数の第２フレームの画像で設定された複数の関心領域それぞれの位置におけるＲ、Ｇ、Ｂそれぞれの画素について複数の第１代表値２１４を算出する。例えば、第２フレームのフレーム数が１０フレームであるとする。その場合、第１フレームの画像において、第２フレームである１０フレームの画像で設定された１０個の関心領域が設定される。そして、画素値算出部２０４は、Ｒ、Ｇ、Ｂそれぞれの画素について、設定された１０個の関心領域それぞれの位置における画素の画素値から１０個の第１代表値２１４を算出する。そして、画素値算出部２０４は、複数の第１代表値２１４と識別情報２１５との組を、画素値合成部２０５へ出力する。識別情報２１５は、第１フレームと複数の第２フレームとを識別する情報である。

【0038】

ステップＳ３０７において画素値合成部２０５は、同一の第１フレームの画像において算出された複数の第１代表値２１４を合成して、当該第１フレームについての第２代表値２１６を算出する。ステップＳ３０７で算出される第２代表値２１６は、複数の第１代表値２１４の平均値、中央値、最大値、最小値等である。

【0039】

例えば、撮像部１０１が、ＲＧＢのフィルタを含むカメラ用のイメージセンサによって構成される場合、ステップＳ３０７において画素値合成部２０５は、第１フレームの画像において、Ｒ、Ｇ、Ｂそれぞれの画素について画素値の第２代表値２１６を算出する。例えば、第２フレームのフレーム数が１０フレームである場合、画素値算出部２０４は、Ｒ、Ｇ、Ｂそれぞれの画素について、１０個の第１代表値２１４を算出する。その場合、画素値合成部２０５は、Ｒ、Ｇ、Ｂそれぞれの画素について、算出された１０個の第１代表値２１４を合成して第２代表値２１６を算出する。または、画素値合成部２０５は、複数の第１代表値２１４それぞれについて重み付けし、重み付けされた複数の第１代表値２１４を合成して第２代表値２１６を算出してもよい。

【0040】

ステップＳ３０８において画素値算出部２０４は、動画像２１１を構成する各フレームを第１フレームとして選択したか否かを判定する。ステップＳ３０８において動画像２１１を構成する各フレームが第１フレームとして選択されていない場合、制御部２０２は、処理をステップＳ３０３に戻す。一方、ステップＳ３０８において動画像２１１を構成する各フレームが第１フレームとして選択されている場合、制御部２０２は、処理をステップＳ３０９に移行する。

【0041】

ステップＳ３０９において脈波算出部２０６は、第２代表値２１６の時間変化から脈波信号を算出する。具体的には、脈波算出部２０６は、第２代表値２１６の時間変化から、脈波信号を算出する。例えば、脈波算出部２０６は、主成分分析、独立成分分析等の多変量解析により第２代表値２１６の時間変化を示す信号を処理し、処理された結果を脈波信号として算出する。

【0042】

例えば、画素値合成部２０５が、Ｒ、Ｇ、Ｂそれぞれの画素について複数の第１代表値２１４を合成して、第２代表値２１６を算出した場合、脈波算出部２０６は、Ｒ、Ｇ、Ｂそれぞれの画素について第２代表値２１６の時系列信号を算出する。つまり、画素値合成部２０５が、Ｒ、Ｇ、Ｂそれぞれの画素について第２代表値２１６を算出した場合、脈波算出部２０６は、第２代表値２１６の時間変化を示す３つの時系列信号を算出する。そして、脈波算出部２０６は、算出された３つの時系列信号から脈波信号を算出する。

【0043】

例えば、画素値算出部２０４が、第１フレームの画像Ｆｔと、第１フレームよりも前に撮像された少なくとも一のフレームの画像とを、複数の第２フレームの画像として選択するとする。その場合、ステップＳ３０９において脈波算出部２０６は、動画像２１１を構成する複数のフレームの画像のうち、最初に撮像されたフレームの画像については、ステップＳ３０４で算出された第２代表値２１６を使用し、２フレーム目以降のフレームの画像については、ステップＳ３０７で算出された第２代表値２１６を使用する。

【0044】

図４Ａは、ｆ－４番目のフレームからｆ番目のフレームまでの５つの第２フレームの画像における関心領域４００～４０４のそれぞれの位置の一例を示す。図４Ｂは、ｆ番目のフレームである第１フレームの画像における、図４Ａに例示する関心領域４００～４０４それぞれの位置の一例を示す。

【0045】

例えば、ｆ－４番目のフレームの画像で設定された関心領域４００が矩形であるとする。そして、関心領域４００において、左上の頂点の座標Ｐ１が（ｘ１，ｙ１）であり、右下の頂点の座標Ｐ２が（ｘ２，ｙ２）であるとする。その場合、画素値算出部２０４は、ｆ番目のフレームの画像において、左上の頂点の座標Ｐ１が（ｘ１，ｙ１）であり、右下の頂点の座標Ｐ２が（ｘ２，ｙ２）を有する矩形の関心領域の位置の画素の画素値の第１代表値２１４を算出する。同様に、ｆ－３番目のフレームからｆ番目のフレームで設定された関心領域４０１から関心領域４０４の位置の画素の画素値の４つの第１代表値２１４を算出する。そして、画素値合成部２０５は、関心領域４００から関心領域４０４の位置の画素の画素値の５つの第１代表値２１４の第２代表値２１６を算出する。

【0046】

図５は、第２代表値２１６の時間変化を示す時系列信号５０１の一例を示す図である。さらに、図５は、比較例として、動画像を構成する各フレームの画像で設定された関心領域の位置における画素の画素値の代表値の時間変化を示す時系列信号５０２の一例を示す。

【0047】

例えば、生体１０２がわずかに動いたために、関心領域の位置が、直前のフレームで設定された関心領域の位置から１画素移動したとする。その場合、関心領域の位置が１画素移動することで、関心領域に含まれる画素の画素値の分布が急激に変化し得る。関心領域に含まれる画素の画素値の分布が急激に変化した場合、時系列信号５０２における期間Ｔ５０３に例示するように、関心領域の位置における画素の画素値の代表値が、急激に変化する。

【0048】

一方、時系列信号５０１においては、期間Ｔ５０３において、時系列信号５０２よりも第２代表値２１６の変化が緩やかである。つまり、情報処理装置１００は、画素値の代表値が急激に変化することを抑制できる。

【0049】

図６は、図５に例示する時系列信号５０１から算出された脈波信号６０１の一例を示す図である。さらに、図６は、比較例として、図５に例示する時系列信号５０２から算出された脈波信号６０２の一例を示す。図６に例示する期間Ｔ６０３は、図５に例示する期間Ｔ５０３と同一の期間である。

【0050】

関心領域の位置における画素の画素値の代表値が急激に変化することは、代表値の時間変化から算出される脈波信号のノイズの原因となるおそれがある。例えば、時系列信号５０２における期間Ｔ５０３に例示するように関心領域の位置における画素の画素値の代表値が急激に変化した場合、期間Ｔ６０３における脈波信号６０２は、期間Ｔ６０３における脈波信号６０１よりも急激な変化を示す。一方、情報処理装置１００は、複数の第１代表値２１４を合成して算出された第２代表値２１６の時間変化から脈波信号を算出する。これにより、情報処理装置１００は、生体１０２がわずかに移動することに起因する関心領域内の画素の画素値の変動により、算出される脈波信号にノイズが含まれることを抑制できる。

【0051】

（第二実施形態）
図７～図９を参照して、第二実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。

【0052】

図７は、本実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。図７に例示する情報処理装置１００と、図２に例示する情報処理装置１００との相違点は、図７に例示する情報処理装置１００は、移動量算出部７０１を備える点にある。

【0053】

移動量算出部７０１は、第１フレームの画像について設定された第１関心領域と、複数の第２フレームのうち第１フレームとは異なるフレームの画像について設定された第２関心領域との間の移動量７０２を算出する。移動量算出部７０１は、複数の第２フレームのうち第１フレームとは異なる各フレームについての移動量７０２と識別情報７０３との組を、画素値合成部２０５へ出力する。識別情報７０３は、移動量７０２を算出するために使用された第２関心領域が設定されたフレームを識別する情報である。移動量７０２は、第１関心領域と第２関心領域との間の位置の差、第１関心領域と第２関心領域との間の面積の差、及び第１関心領域と第２関心領域との間の回転角度からなる群より選択される少なくともいずれかに基づいて算出される。

【0054】

本実施形態に係る画素値合成部２０５は、複数の第１代表値２１４それぞれについて移動量７０２に応じて重み付けする。なお、複数の第２フレームの画像は、移動量７０２に応じて決定された時間内に撮像された複数の画像を示してもよい。

【0055】

図８は、本実施形態に係る情報処理装置１００の動作の一例を示すフローチャートである。ステップＳ８０１～ステップＳ８０４の処理は、図３に例示するステップＳ３０１～ステップＳ３０４の処理と同様であるため、詳細な説明は省略する。

【0056】

ステップＳ８０４において複数の第２フレームを選択できない場合、制御部２０２は、処理をステップＳ８０５に移行する。ステップＳ８０５の処理は、図３に例示するステップＳ３０５と同様であるため、詳細な説明は省略する。そして、制御部２０２は、処理をステップＳ８０６に移行する。ステップＳ８０６～ステップＳ８０７の処理は、図３に例示するステップＳ３０８～ステップＳ３０９の処理と同様であるため、詳細な説明は省略する。一方、ステップＳ８０４において複数の第２フレームを選択できる場合、制御部２０２は、処理を図９に例示するステップＳ９０１に移行する。

【0057】

次に、図９を参照しながら、本実施形態に係る情報処理装置１００の動作について引き続き説明する。

【0058】

ステップＳ９０１において移動量算出部７０１は、図８に例示するステップＳ８０３で選択された第１フレームの画像について設定された第１関心領域と、図８に例示するステップＳ８０４で選択された複数の第２フレームのうち第１フレームとは異なるフレームの画像について設定された第２関心領域との間の移動量７０２を算出する。つまり、移動量算出部７０１は、複数の第２フレームのうち第１フレームとは異なる各フレームについて、第１関心領域と第２関心領域との間の移動量７０２を算出する。そして、移動量算出部７０１は、複数の第２フレームのうち第１フレームとは異なる各フレームについての移動量７０２と識別情報７０３との組を、画素値合成部２０５へ出力する。識別情報７０３は、移動量７０２が算出されたフレームを識別する情報である。

【0059】

移動量７０２は、第１関心領域と第２関心領域との間の位置の差、第１関心領域と第２関心領域との間の面積の差、及び第１関心領域と第２関心領域との間の回転角度からなる群より選択される少なくともいずれかに基づいて算出される。

【0060】

例えば、第１関心領域と第２関心領域との間の位置の差とは、第１関心領域の中心の座標と、第２関心領域の中心の座標間の距離である。例えば、第１関心領域が多角形である場合、第１関心領域の中心とは、第１関心領域の重心である。同様に、第２関心領域が多角形である場合、第２関心領域の中心とは、第２関心領域の重心である。

【0061】

また、例えば、第１関心領域と第２関心領域との間の面積の差とは、第１関心領域の面積と、第２関心領域の面積との差分値である。または、第１関心領域と第２関心領域との間の面積の差とは、第１関心領域の面積に対する第２関心領域の面積の比率を示してもよい。

【0062】

また、例えば、第１関心領域と第２関心領域との間の回転角度とは、第１関心領域に含まれる画素と、第２関心領域に含まれる画素とにおける対応画素のオプティカルフロー等から算出される回転角度である。なお、移動量算出部７０１は、第１関心領域と第２関心領域との間の回転角度を算出できればよく、算出方法の詳細は問わない。

【0063】

ステップＳ９０２において画素値算出部２０４は、第１フレームの画像において、複数の第２フレームの画像で設定された複数の関心領域それぞれの位置における画素の画素値の複数の第１代表値２１４を算出する。ステップＳ９０２の処理は、図３に例示するステップＳ３０６の処理と同様であるため、詳細な説明は省略する。

【0064】

ステップＳ９０３において画素値合成部２０５は、複数の第１代表値２１４それぞれについて、移動量７０２に応じて重み付けする。例えば、第１関心領域が設定された第１フレームの画像が撮像された時点と、第２関心領域が設定されたフレームの画像が撮像された時点間において、生体１０２が移動したとする。その場合、第１フレームの画像において、第１関心領域の位置と第２関心領域の位置との間の移動量７０２が相対的に大きいとする。そこで、例えば、画素値合成部２０５は、移動量７０２が相対的に大きい第２関心領域の位置ほど、第１代表値２１４に対して相対的に小さい重み付けをする。

【0065】

ステップＳ９０４において画素値合成部２０５は、ステップＳ９０３で重み付けされた複数の第１代表値２１４を合成して、第２代表値２１６を算出する。そして、制御部２０２は、図８に例示するステップＳ８０６に移行する。

【0066】

例えば、画素値合成部２０５は、移動量７０２が相対的に大きい第２関心領域の位置ほど、第１代表値２１４に対して相対的に小さい重み付けをするとする。これにより、画素値合成部２０５は、複数の第２フレームで設定された複数の関心領域の位置のうち、第１関心領域の位置から相対的に離れた位置で算出される第１代表値２１４を重視せずに、第２代表値２１６を算出できる。

【0067】

生体１０２が移動することにより第２フレームで設定される関心領域の位置のばらつきが増加し、脈波信号に含まれるノイズが増加するおそれがある。しかし、本実施形態に係る情報処理装置１００は、関心領域の移動量に応じて重みづけされた複数の第１代表値２１４を合成して、第２代表値２１６を算出する。そのため、本実施形態に係る情報処理装置１００は、第一実施形態に係る情報処理装置１００と同様の効果を奏するとともに、生体１０２が移動することに起因して、脈波信号を算出するために無関係である画素の画素値を利用することを抑制できる。

【0068】

上記実施形態で実行される各処理は、各実施形態で例示した処理態様に限定されない。上述した機能ブロックは、集積回路等に形成された論理回路（ハードウェア）、又はＣＰＵを用いたソフトウェアの何れを用いて実現してもよい。上記実施は、複数のコンピュータで実行されてもよい。例えば、情報処理装置１００の制御部２０２の各機能ブロックで実行される処理は、他のコンピュータで一部の処理が実行されてもよいし、複数のコンピュータで全ての処理が分担して実行されてもよい。

【0069】

本開示は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。本開示は、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

【符号の説明】

【0070】

１００ 情報処理装置、１０１ 撮像部、１０２ 生体、２０１ 記憶部、２０２ 制御部、２０３ 関心領域設定部、２０４ 画素値算出部、２０５ 画素値合成部、２０６ 脈波算出部、２１１ 動画像、２１２ 関心領域情報、２１３ 識別情報、２１４ 第１代表値、２１５ 識別情報、２１６ 第２代表値、２１７ 識別情報、４００ 関心領域、４０１ 関心領域、４０２ 関心領域、４０３ 関心領域、４０４ 関心領域、５０１ 時系列信号、５０２ 時系列信号、５０３ 期間、６０１ 脈波信号、６０２ 脈波信号、７０１ 移動量算出部、７０２ 移動量、７０３ 識別情報

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】