特許 7657092 映像解析装置、映像解析方法、および脈波検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-27

(45)【発行日】2025-04-04

(54)【発明の名称】映像解析装置、映像解析方法、および脈波検出装置

(51)【国際特許分類】

   A61B 5/02 20060101AFI20250328BHJP

   A61B 5/0245 20060101ALI20250328BHJP

【ＦＩ】

A61B5/02 310B

A61B5/0245 F

【請求項の数】 5

(21)【出願番号】P 2021068587

(22)【出願日】2021-04-14

(65)【公開番号】P2022163574

(43)【公開日】2022-10-26

【審査請求日】2024-03-21

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】日下部 曜

(72)【発明者】

【氏名】足立 佳久

(72)【発明者】

【氏名】富澤 亮太

(72)【発明者】

【氏名】大鐘 ひなつ

(72)【発明者】

【氏名】田中 怜

(72)【発明者】

【氏名】岩井 敬文

【審査官】渡戸 正義

(56)【参考文献】

【文献】特開２０１７－１５３７７３（ＪＰ，Ａ）

【文献】特開平０２－２９９６３３（ＪＰ，Ａ）

【文献】特開２０１７－１０４４８８（ＪＰ，Ａ）

【文献】特開２０２０－１５７１０２（ＪＰ，Ａ）

【文献】国際公開第２０２０／０７０８０８（ＷＯ，Ａ１）

【文献】国際公開第２０１６／００６０２７（ＷＯ，Ａ１）

【文献】国際公開第２０１４／０３８０７７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００ － ５／０３

(57)【特許請求の範囲】

【請求項1】

少なくとも赤色、青色、および緑色の各カラーフィルタおよび撮像部を有する撮像装置によって撮像された生体が映った映像から、所定のアルゴリズムに基づいて、上記生体の関心領域を検出する関心領域検出部と、
上記関心領域に含まれる複数の画素の内、赤色画素、緑色画素、および青色画素の各画素の各画素値の各時系列データを検出する時間変化検出部と、
上記時間変化検出部からの出力に基づいて、上記生体の脈波を検出する脈波検出部とを備えており、
前記時間変化検出部は、前記緑色画素の画素値の時系列データをそのまま出力すると共に、前記赤色画素の画素値の時系列データおよび前記青色画素の画素値の時系列データのうち少なくともいずれかにノイズ低減フィルタを適用することによって、ノイズが低減された前記時系列データを出力する映像解析装置。

【請求項2】

前記脈波検出部は、検出された前記脈波に脈波ノイズフィルタを適用することによって、前記脈波からノイズを低減し、
前記ノイズ低減フィルタは、前記脈波ノイズフィルタによって低減されるノイズの周波数よりも低い周波数のノイズを低減するフィルタである請求項１に記載の映像解析装置。

【請求項3】

前記ノイズ低減フィルタは、前記脈波の周波数帯域を含んだ周波数帯域のノイズを低減するフィルタである、請求項１または２に記載の映像解析装置。

【請求項4】

請求項１から３のいずれか１項に記載の映像解析装置と、
上記撮像装置とを備えている脈波検出装置。

【請求項5】

少なくとも赤色、青色、および緑色の各カラーフィルタおよび撮像部を有する撮像装置によって撮像された生体が映った映像から、所定のアルゴリズムに基づいて、上記生体の関心領域を検出する関心領域検出ステップと、
上記関心領域に含まれる複数の画素の内、赤色画素、緑色画素、および青色画素の各画素の画素値の時系列データを検出する時間変化検出ステップと、
上記時間変化検出ステップにおける出力に基づいて、上記生体の脈波を検出する脈波検出ステップとを有しており、
前記時間変化検出ステップにおいて、前記緑色画素の画素値の時系列データをそのまま出力すると共に、前記赤色画素の画素値の時系列データおよび前記青色画素の画素値の時系列データのうち少なくともいずれかにノイズ低減フィルタを適用することによって、ノイズが低減された時系列データを出力する映像解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

以下の開示は、映像解析装置、映像解析方法、および脈波検出装置に関する。

【背景技術】

【0002】

生体の脈波を検出する装置の一例として、撮像素子（受光素子）の出力値（画素値）に基づいて脈波を検出する脈波検出装置が知られている。特許文献１には、生体の部位から、脈波情報を光学的に取得する脈波情報取得部と、前記脈波情報に基づいて、脈波特徴量を算出する脈波特徴量算出部とを備える脈波測定装置が開示される。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開公報ＷＯ２０１５／０９８９７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した従来技術には、脈波の周波数帯域に含まれるノイズを除去できないので、信号品質の良い脈波を得ることができないという問題がある。

【0005】

本開示の一態様の目的は、信号品質の良い脈波を得ることにある。

【課題を解決するための手段】

【0006】

本開示の一態様に係る映像解析装置は、前記の課題を解決するために、少なくとも赤色、青色、および緑色の各カラーフィルタおよび撮像部を有する撮像装置によって撮像された生体が映った映像から、所定のアルゴリズムに基づいて、上記生体の関心領域を検出する関心領域検出部と、上記関心領域に含まれる複数の画素の内、赤色画素、緑色画素、および青色画素の各画素の各画素値の各時系列データを検出する時間変化検出部と、上記時間変化検出部からの出力に基づいて、上記生体の脈波を検出する脈波検出部とを備えており、前記時間変化検出部は、前記緑色画素の画素値の時系列データをそのまま出力すると共に、前記赤色画素の画素値の時系列データおよび前記青色画素の画素値の時系列データのうち少なくともいずれかにノイズ低減フィルタを適用することによって、ノイズが低減された前記時系列データを出力する構成である。

【発明の効果】

【0007】

本開示の一態様によれば、信号品質の良い脈波を得ることができる。

【図面の簡単な説明】

【0008】

【図1】実施形態１の脈波検出装置の要部の構成を示すブロック図である。

【図2】カラーフィルタ部における赤色カラーフィルタ、緑色カラーフィルタ、および青色カラーフィルタの配置例を示す図である。

【図3】関心領域検出部によって検出された関心領域の一例を示す図である。

【図4】各色チャネル画像における欠損画素値の補間処理の一例を示す図である。

【図5】関心領域から検出された、関心領域内のＲ画素値、Ｇ画素値、およびＢ画素値の各時系列データの一例を示す図である。

【図6】関心領域から検出された、関心領域内のＲ画素値、Ｇ画素値、およびＢ画素値の各時系列データに対して、高速フーリエ変換を適用した後の各画素値の周波数成分を示す図である。

【図7】図５に示すＲ画素値、Ｇ画素値、およびＢ画素値の各時系列データに基づいて検出された脈波の一例を示す図である。

【図8】図５に示すＲ画素値、Ｇ画素値、およびＢ画素値の各時系列データのうち、Ｒ画素値の時系列データおよびＢ画素値の時系列データにノイズ低減フィルタをそれぞれ適用した上で、Ｒ画素値、Ｇ画素値、およびＢ画素値の各時系列データに基づいて検出された脈波の一例を示す図である。

【図9】映像解析装置によって実行される一連の処理の流れを示すフローチャート図である。

【図10】ベイヤ配列されたカラーフィルタと、フルカラー画像を生成する他の方法とを説明する図である。

【図11】脈波検出装置の変形例に係る要部の構成を示すブロック図である。

【図12】脈波検出装置の変形例に係る要部の構成を示すブロック図である。

【図13】実施形態２に係る脈波検出装置の要部の構成を示すブロック図である。

【発明を実施するための形態】

【0009】

〔実施形態１〕
実施形態１の脈波検出装置１について、以下に説明する。説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、以降の各実施形態では同じ符号を付記し、その説明を繰り返さない。簡潔化のため、公知技術と同様の事項についても、説明を適宜省略する。

【0010】

本明細書において述べる各構成および各数値は、特に明示されない限り、単なる一例であることに留意されたい。したがって、特に明示されない限り、各部材の位置関係は、各図の例に限定されない。また、各図面は、各部材の形状、構造、および位置関係を概略的に説明するものであり、必ずしも実際の通りに描かれていないことに留意されたい。本明細書では、２つの数ＡおよびＢに関する「Ａ～Ｂ」という記載は、特に明示されない限り、「Ａ以上かつＢ以下」を意味する。

【0011】

（脈波検出装置１の概要）
図１は、脈波検出装置１の要部の構成を示すブロック図である。脈波検出装置１は、生体９００（例：人）の脈波を検出する。脈波検出装置１は、非接触式の脈波検出装置の一例である。以下、生体Ｈの脈波を、単に脈波と称する。脈波検出装置１は、映像解析装置１０および撮像装置５０（例：カメラ）を備える。映像解析装置１０と撮像装置５０とは、互いに通信可能に接続されている。

【0012】

撮像装置５０は、生体Ｈが映った映像（動画像）を撮像する。具体的には、撮像装置５０は、映像を構成する画像（静止画）を、フレーム期間ごとに撮像する。実施形態１では、撮像装置５０が、ＲＧＢ（Red，Green，Blue）カメラである場合を例示する。このため、実施形態１における映像は、ＲＧＢカラー映像である。撮像装置５０は、カラーフィルタ部５１および撮像部５２を備える。

【0013】

カラーフィルタ部５１は、少なくとも赤色カラーフィルタ５１１Ｒ、緑色カラーフィルタ５１１Ｇ、および青色カラーフィルタ５１１Ｂを備える。カラーフィルタ部５１は、これら以外のカラーフィルタ、例えば黄色カラーフィルタまたは近赤外カラーフィルタを備えてもよい。撮像部５２は、アレイ状に配列された複数の撮像素子５２０を備える。撮像素子５２０は、公知のイメージセンサである。撮像素子５２０は、生体９００から到来し、かつ、カラーフィルタ部５１を通過した光（例：外光）を受光する。

【0014】

撮像素子５２０は、撮像装置５０の画素とも称される。このことから、本明細書では、撮像素子５２０を、撮像画素とも称する。撮像部５２では、Ｗ個×Ｈ個の撮像画素が配列されている。Ｗは水平方向における撮像画素数（１行あたりの撮像画素）を表し、Ｈは垂直方向における撮像画素（１列あたりの撮像画素）を表す。撮像画素は、自身が受光した光の強度（例：輝度）を示す電気信号の信号値（例：電流値）を、画素値（階調値）として出力する。より具体的には、撮像画素は、アナログ値としての画素値を出力する。

【0015】

撮像装置５０では、不図示のＡＤ変換器によって、アナログ値としての画素値がデジタル値に変換される。そして、撮像装置５０は、デジタル画像（デジタル画素値を有する画像）を出力する。一例として、実施形態１における画素値は、８ビットのデジタル値として標本化されている。したがって、実施形態１における画素値は、０～２５５の範囲にある。

【0016】

図２は、カラーフィルタ部５１における赤色カラーフィルタ５１１Ｒ、緑色カラーフィルタ５１１Ｇ、および青色カラーフィルタ５１１Ｂの配置例を示す図である。撮像装置５０において、赤色カラーフィルタ５１１Ｒ、緑色カラーフィルタ５１１Ｇ、および青色カラーフィルタ５１１Ｂはそれぞれ、撮像素子５２０と１対１に対応するように配置されている。１つの赤色カラーフィルタ５１１Ｒは、１つの撮像素子５２０を覆うように配置されている。１つの緑色カラーフィルタ５１１Ｇは、別の１つの撮像素子５２０を覆うように配置されている。１つの青色カラーフィルタ５１１Ｂは、さらに別の１つの撮像素子５２０を覆うように配置されている。

【0017】

図２に示される通り、実施形態１では、赤色カラーフィルタ５１１Ｒ、緑色カラーフィルタ５１１Ｇ、および青色カラーフィルタ５１１Ｂが、ベイヤ配列されている場合を例示する。図２の例におけるカラーフィルタ部５１では、４つの（水平方向２つ×垂直方向２つの）撮像画素に対応するカラーフィルタユニット５１０が規定されている。

【0018】

１つのカラーフィルタユニット５１０は、（ｉ）１つの赤色カラーフィルタ５１１Ｒと、（ｉｉ）２つの緑色カラーフィルタ５１１Ｇ（緑色カラーフィルタ５１１Ｇ１・５１１Ｇ２）と、（ｉｉｉ）１つの緑色カラーフィルタ５１１Ｇを含んでいる。そして、カラーフィルタ部５１では、複数のカラーフィルタユニット５１０が、水平方向および垂直方向に繰り返し配列されている。このように、カラーフィルタ部５１では、赤色カラーフィルタ５１１Ｒ、緑色カラーフィルタ５１１Ｇ、および青色カラーフィルタ５１１Ｂが、１：２：１の個数比でモザイク状に（より詳細には、チェッカーパターンを成すように）配置されている。

【0019】

本明細書では、赤色カラーフィルタ５１１Ｒに対応する撮像画素を、赤色撮像画素と称する。１つの赤色撮像画素は、赤色カラーフィルタ５１１Ｒを通過した光（赤色光）を受光し、当該赤色光の強度を示す赤色画素値（Ｒ画素値）を出力する。また、緑色カラーフィルタ５１１Ｇに対応する撮像画素を、緑色撮像画素と称する。１つの緑色撮像画素は、緑色カラーフィルタ５１１Ｇを通過した光（緑色光）を受光し、当該緑色光の強度を示す緑色画素値（Ｇ画素値）を出力する。また、青色カラーフィルタ５１１Ｂに対応する撮像画素を、青色撮像画素と称する。１つの青色撮像画素は、青色カラーフィルタ５１１Ｂを通過した光（青色光）を受光し、当該青色光の強度を示す青色画素値（Ｂ画素値）を出力する。

【0020】

撮像部５２は、映像のフレーム期間ごとに、（ｉ）Ｒチャネル画像ＩＭＧＲ（複数の赤色撮像画素によって出力されたＲ画素値の分布を示す画像）、（ｉｉ）Ｇチャネル画像ＩＭＧＲＧ（複数の緑色撮像画素によって出力されたＧ画素値の分布を示す画像）、および、（ｉｉｉ）Ｂチャネル画像ＩＭＧＢ（複数の青色撮像画素によって出力されたＢ画素値の分布を示す画像）を、それぞれ生成する。ＩＭＧＲ、ＩＭＧＧ、およびＩＭＧＢはいずれも、解像度Ｗ×Ｈを有する。そして、撮像部５２は、ＩＭＧＲとＩＭＧＧとＩＭＧＢとを合成することにより、モザイク状のＲＧＢカラー画像としての画像ＩＭＧを生成する。言い換えれば、撮像部５２は、ＩＭＧをＲＡＷ画像として生成する。

【0021】

以上の通り、撮像部５２は、映像を構成する各フレームとして、ＲＡＷ画像としてのＩＭＧを生成する。そして、撮像部５２は、生成した各フレームをフレーム番号順に配列することにより、映像（ＲＡＷ映像）を生成する。撮像部５２は、生成した映像を、映像解析装置１０に供給する。

【0022】

映像解析装置１０は、関心領域検出部１１、時間変化検出部１２、および脈波検出部１３を備える。時間変化検出部１２は、２つのノイズ低減フィルタ２１および２２を備える。ノイズ低減フィルタ２１および２２は、いずれもノイズを低減するローパスフィルタ（ノイズ低減フィルタ）である。時間変化検出部１２は、これらの以外のノイズ低減フィルタ、例えば平均フィルタ、ガウシアンフィルタ、中央値フィルタ、最大値フィルタ、または最小値フィルタを備えてもよい。

【0023】

映像解析装置１０は、撮像装置５０から取得した映像を解析することにより、脈波を検出する。より具体的には、映像解析装置１０は、映像の各フレーム（複数のＩＭＧのそれぞれ）を解析することにより、脈波を検出する。

【0024】

関心領域検出部１１は、所定のアルゴリズムに基づいて（例：公知のアルゴリズムを用いて）、ＩＭＧから関心領域（Region of Interest，ＲＯＩ）を検出する。関心領域とは、生体９００の所定の部位が映ったＩＭＧの部分領域である。図３は、関心領域検出部１１によって検出された関心領域の一例を示す図である。以下の説明では、図３の例における関心領域を、関心領域９１０と表記する。

【0025】

図３の例におけるＩＭＧは、生体９００の顔全体が映った画像である。図３の例では、顔の片側の頬が、所定の部位として予め設定されている。まず、関心領域検出部１１は、ＩＭＧから顔領域（生体９００の顔が映った領域）を検出する。そして、関心領域検出部１１は、顔領域内において顔の片側の頬が映った領域を、関心領域９１０として検出する。図３の例における関心領域９１０は、矩形領域である。

【0026】

但し、当業者であれば明らかである通り、所定の部位は、頬に限定される必要はなく、生体９００の血管に関する情報を検出可能な部位であればよい。所定の部位の別の例としては、額、鼻根部、首、指先、および掌を挙げることができる。関心領域は、時間の変化に伴う生体の肌の色変化が表現されている画像領域であればよい。また、関心領域の数は、必ずしも１つに限定されない。このように、ＩＭＧは、図３の例に限定されない。

【0027】

時間変化検出部１２は、関心領域９１０に含まれる複数の画素の内、赤色画素、緑色画素、および青色画素の各画素の各画素値の各時系列データを検出する。時系列データとは、時間の変化に伴って変化する各データ（画素値等）とその時の時刻データを時系列に並べたデータのセットのことである。脈波検出部１３は、検出された各時系列データに基づいて、生体９００の脈波を検出する。

【0028】

一例として、時間変化検出部１２は、各フレームにおける、（ｉ）関心領域９１０に含まれるＲ画素値の平均値Ｒａｖｅ、（ｉｉ）関心領域９１０に含まれるＧ画素値の平均値Ｇａｖｅ、および、（ｉｉｉ）関心領域９１０に含まれるＢ画素値の平均値Ｂａｖｅを、それぞれ算出する。すなわち、時間変化検出部１２は、Ｒａｖｅ、Ｇａｖｅ、およびＢａｖｅのそれぞれの時系列データを導出する。そして、脈波検出部１３は、公知のアルゴリズムを用いて当該時系列データを解析することにより、脈波を検出（導出）してよい。一例として、脈波検出部１３は、国際公開公報「ＷＯ２０２０／０９０３４８」に開示されている手法を用いて、脈波を検出してよい。

【0029】

但し、関心領域９１０内において画素値の飽和が生じている場合、脈波検出部１３における脈波の検出精度が低下しうる。このような画素値の飽和は、例えば、外光の輝度が高い場合に生じうる。そこで、実施形態１では、以下に述べる通り、脈波検出部１３は、関心領域９１０に含まれる画素の内、画素値の飽和が生じている画素（以下、飽和画素と称する）の影響を低減させた上で、脈波を検出する。なお、飽和画素の影響を低減させる処理は時間変化検出部１２で行ってもよい。

【0030】

本明細書における「画素値の飽和」とは、画素値が、画像（より厳密には、デジタル画像データ）において設定可能な所定の最大値をとっていることを意味する。上述の通り、実施形態１では、画素値が８ビットのデジタル値として標本化されている。このため、実施形態１における「画素値の飽和」とは、画素値が２５５であることを意味する。これに対し、実施形態１における「画素値の非飽和」とは、画素値が０～２５４であることを意味する。以上のことから、実施形態１における飽和画素は、画素値２５５を有する画素である。したがって、実施形態１では、画素値２５５を、飽和画素値とも称する。なお、上記の説明における画素値は、Ｒ画素値、Ｇ画素値、またはＢ画素値のいずれか１つを指す。また、画素値の飽和を画素値が２５５であることとしたが、これに限らず、２５５に近い値を閾値（例えば２４０など）として、閾値以上の画素値を飽和画素値としてもよい。

【0031】

図４は、カラーフィルタがベイヤ配列されている場合に各画素において欠落した情報を揃える方法を説明する図である。以下では、青色カラーフィルタ５１１Ｂを通過する光を受ける画素において欠落した情報を揃える例を説明する。青色カラーフィルタ５１１Ｂを通過する光を受ける青色画素は、青色の情報を有するが、緑色および赤色の情報が欠落している。そこで、青色カラーフィルタ５１１Ｂを通過する光を受ける青色画素の上下左右のそれぞれに配置される、緑色カラーフィルタ５１１Ｇを通過する光を受ける各緑色画素から、青色画素におけるＧ画素値を求める。そこで、青色カラーフィルタ５１１Ｂを通過する光を受ける青色画素の右上、左上、右下、および左下のそれぞれに配置される、赤色カラーフィルタ５１１Ｒを通過する光を受ける各赤色画素から、青色画素におけるＲ画素値を求める。これにより、１つの画素に３色の情報（画素値）を揃えることができる。

【0032】

図５は、関心領域９１０から検出された、関心領域９１０内のＲ画素値、Ｇ画素値、およびＢ画素値の各時系列データの一例を示す図である。図５の１０１０はＲ画素値の時系列データを示し、図５の１０２０はＧ画素値の時系列データを示し、図５の１０３０はＢ画素値の時系列データを示す。図５の各グラフにおいて、縦軸は各画素の画素値（輝度値）を示し、横軸は測定フレーム（時刻）を示す。図５に示すように、Ｇ画素値の時系列データにはノイズが小さいため、脈波の成分が観察される。一方、Ｒ画素値の時系列データおよびＢ画素値の時系列データにはノイズが大きいため、脈波の成分は観察されない。

【0033】

図５に示すように、Ｇ画素値の時系列データには、生体の動きによる画素値の輝度変化が含まれる。したがって、Ｇ画素値の時系列データのみに基づいて良好な脈波を検出することは困難である。

【0034】

図６は、関心領域９１０から検出された、関心領域９１０内のＲ画素値、Ｇ画素値、およびＢ画素値の各時系列データに対して、高速フーリエ変換を適用した後の各画素値の周波数成分を示す図である。図６の１１１０は、高速フーリエ変換が適用された後のＲ画素値の周波数成分を示し、図６の１０２０は、高速フーリエ変換が適用された後のＧ画素値の周波数成分を示し、図６の１０３０は、高速フーリエ変換が適用された後のＢ画素値の周波数成分を示す。図６の各グラフにおいて、縦軸はパワースペクトルを示し、横軸は周波数を示す。

【0035】

図６の範囲６０に示すように、高速フーリエ変換が適用された後のＧ画素値の周波数成分において、脈波の周波数付近にパワースペクトルのピークが観察される。一方、高速フーリエ変換が適用されたＲ画素値の周波数成分においては、脈波の周波数付近にパワースペクトルのピークが観察されない。同様に、高速フーリエ変換が適用されたＢ画素値の周波数成分においては、脈波の周波数付近にパワースペクトルのピークが観察されない。

【0036】

図７は、図５に示すＲ画素値、Ｇ画素値、およびＢ画素値の各時系列データに基づいて検出された脈波の一例を示す図である。この図に示すように、検出された脈波にはノイズが乗っている。したがって、信号品質の悪い脈波が検出される結果となっている。

【0037】

図８は、図５に示すＲ画素値、Ｇ画素値、およびＢ画素値の各時系列データのうち、Ｒ画素値の時系列データおよびＢ画素値の時系列データにノイズ低減フィルタ２１および２２をそれぞれ適用した上で、Ｒ画素値、Ｇ画素値、およびＢ画素値の各時系列データに基づいて検出された脈波の一例を示す図である。この図に示すように、検出された脈波ではノイズが除去されている。したがって、信号品質の良い脈波が検出された結果となっている。Ｒ画素値の時系列データおよびＢ画素値の時系列データには、図５に示すように大きなノイズを含んでいる。しかし、これらの時系列データは、Ｇ画素値の時系列データに含まれるトレンドに近いトレンドをも含んでいる。したがって、Ｒ画素値の時系列データにノイズ低減フィルタ２１を適用し、さらにＢ画素値の時系列データにノイズ低減フィルタ２２を適用すれば、これらの時系列データに含まれるトレンドを有効に除去することができる。

【0038】

赤色画素の画素値の時系列データおよび青色画素の赤色画素の時系列データには、脈波成分がほとんど含まれない。そのため、ノイズ低減フィルタ２１および２２は、脈波の周波数帯域を含んだ帯域のノイズを低減するフィルタであってもよい。これにより、Ｒ画素値の時系列データおよびＢ画素値の時系列データにそれぞれ含まれる広い周波数帯域のノイズを低減することができる。このように、脈波はほとんど含まれないがノイズが混入しているＲ画素値の時系列データおよびＢ画素値の時系列データに対してノイズ低減フィルタ２１および２２をそれぞれ適用すれば、生体９００の体動によって発生する画素値の輝度変化の影響を低減して、良好な信号品質の脈波を検出することができる。

【0039】

図９は、映像解析装置１０によって実行される一連の処理の流れを示すフローチャート図である。ステップＳ１において、撮像装置５０によって撮像された生体９００が映った映像ＩＭＧから、所定のアルゴリズムに基づいて、生体９００の関心領域９１０を検出する。ステップＳ２において、時間変化検出部１２は、関心領域９１０に含まれる複数の画素の内、赤色画素、緑色画素、および青色画素の各画素の各画素値の各時系列データを検出し、脈波検出部１３に出力する。その際、時間変化検出部１２は、緑色画素の画素値の時系列データをそのまま脈波検出部１３に出力する。さらに、赤色画素の画素値の時系列データにノイズ低減フィルタ２１を適用し、青色画素の画素値の時系列データにノイズ低減フィルタ２２に適用することによって、ノイズが低減された各時系列データを脈波検出部１３に出力する。ステップＳ３において、脈波検出部１３は、時間変化検出部１２の出力、すなわちＲ画素値、Ｇ画素値、およびＢ画素値の各時系列データに基づいて、生体９００の脈波を検出する。ステップＳ４において、映像解析装置１０は、脈波の測定が終了した否かを判定する。判定結果が真の場合（ステップＳ４においてＹＥＳ）、映像解析装置１０は、図９に示す一連の処理の実行を終了する。判定結果が偽の場合（ステップＳ４においてＮＯ）、関心領域検出部１１が、ステップＳ１に戻って再び関心領域９１０を検出する。

【0040】

図１０は、ベイヤ配列されたカラーフィルタ５１１と、フルカラー画像を生成する他の方法とを説明する図である。本例では、映像解析装置１０は、図１０に示す網掛部分の１つの赤色画素、２つの緑色画素、１つの青色画素を含む４つの画素のブロックから、フルカラー画像を構成する１つの画素のＲ、Ｇ、Ｂの情報（画素値）を得る。例えば、撮像装置５０の撮像画像に含まれる４つの画素からなるブロックと、ブロックに対応するフルカラー画像の画素について、ブロック内に１つ存在する赤色画素の情報を、フルカラー画像の画素のＲの情報とする。さらに、ブロック内に２つ存在するＧ画素の情報の平均値を、フルカラー画像の画素のＧの情報とする。さらに、ブロック内に１つ存在するＢ画素の情報を、フルカラー画像の画素のＢの情報とする。これらにより、高さ方向の画素の数がＨでありかつ幅方向の画素の数がＷである撮像装置５０の撮像画像から、高さ方向の画素の数がＨ÷２でありかつ幅方向の画素の数がＷ÷２のフルカラー画像が得られる。

【0041】

本実施形態では、ノイズ低減フィルタ２１および２２を適用する条件として、撮像装置５０固有のＲ画素値およびＢ画素値の各ＳＮ比（Signal to Noise比）に対して閾値を設けても良い。この際、時間変化検出部１２は、関心領域９１０に含まれるＲ画素値のＳＮ比が、赤色画素に対して設定された閾値を超えるか否かに基づいて、赤色画素の画素値の時系列データにノイズ低減フィルタ２１を適用するか否かを決定する。さらに、時間変化検出部１２は、関心領域９１０に含まれるＢ画素値のＳＮ比が、青色画素に対して設定された閾値を超えるか否かに基づいて、Ｂ画素値の時系列データにノイズ低減フィルタ２２を適用するか否かを決定する。より詳細には、時間変化検出部１２は、関心領域９１０に含まれるＲ画素値のＳＮ比が赤色画素用の閾値を超える場合、Ｒ画素値の時系列データにノイズ低減フィルタ２１を適用することを決定し、超えない場合、ノイズ低減フィルタ２１を適用しないことを決定する。さらに、時間変化検出部１２は、関心領域９１０に含まれるＢ画素値のＳＮ比が青色画素用の閾値を超える場合、Ｂ画素値の時系列データにノイズ低減フィルタ２２を適用することを決定し、超えない場合、ノイズ低減フィルタ２２を適用しないことを決定する。

【0042】

あるいは、ノイズ低減フィルタ２１および２２を適用する条件として、撮像装置５０固有の赤色カラーフィルタ５１１Ｒおよび青色カラーフィルタ５１１Ｂの各分光感度に対して、特定の波長の範囲に含まれる透過率の合計値に閾値を設定してもよい。

【0043】

（変形例）
本実施形態１では、時間変化検出部１２が、Ｒ画素値の時系列データおよびＢ画素値の時系列データの双方に、ノイズ低減フィルタ２１および２２を個別に適用する例を説明した。しかしこれに限らず、時間変化検出部１２は、Ｒ画素値の時系列データおよびＢ画素値の時系列データのうち少なくともいずれかに、対応するノイズ低減フィルタ２１または２２のみを個別に適用する構成であってもよい。このような構成例について、以下に説明する。

【0044】

図１１は、脈波検出装置１の変形例に係る要部の構成を示すブロック図である。この図に示すように、脈波検出装置１を構成する映像解析装置１０は、ノイズ低減フィルタ２１および２２のうち、赤色画素に対応するノイズ低減フィルタ２１のみを備える構成であってもよい。本例に係る映像解析装置１０において、時間変化検出部１２は、赤色画素の画素値の時系列データに対してはノイズ低減フィルタ２１を適用するが、青色画素の画素値の時系列データにはノイズ低減フィルタ２２を適用しない。

【0045】

したがって時間変化検出部１２は、実施形態１と同様に、Ｇ画素値の時系列データをそのまま脈波検出部１３に出力すると共に、Ｒ画素値の時系列データにノイズ低減フィルタ２１を適用することによって、ノイズが低減されたＲ画素値の時系列データを脈波検出部１３に出力する。さらに時間変化検出部１２は、実施形態１と異なり、Ｂ画素値の時系列データについてはそのまま脈波検出部１３に出力する。これにより脈波検出部１３は、ノイズが低減されないＢ画素値の時系列データおよびＧ画素値の時系列データと、ノイズが低減されたＲ画素値の時系列データとに基づいて、脈波を検出する。その結果、信号品質の良い脈波を検出することができる。

【0046】

図１２は、脈波検出装置１の変形例に係る要部の構成を示すブロック図である。この図に示すように、脈波検出装置１を構成する映像解析装置１０は、ノイズ低減フィルタ２１および２２のうち、青色画素に対応するノイズ低減フィルタ２２のみを備える構成であってもよい。本例に係る映像解析装置１０において、時間変化検出部１２は、青色画素の画素値の時系列データに対してはノイズ低減フィルタ２２を適用するが、赤色画素の画素値の時系列データにはノイズ低減フィルタ２１を適用しない。

【0047】

したがって時間変化検出部１２は、実施形態１と同様に、Ｇ画素値の時系列データをそのまま脈波検出部１３に出力すると共に、Ｂ画素値の時系列データにノイズ低減フィルタ２２を適用することによって、ノイズが低減されたＢ画素値の時系列データを脈波検出部１３に出力する。さらに時間変化検出部１２は、実施形態１と異なり、Ｒ画素値の時系列データについてはそのまま脈波検出部１３に出力する。これにより脈波検出部１３は、ノイズが低減されないＲ画素値の時系列データおよびＧ画素値の時系列データと、ノイズが低減されたＢ画素値の時系列データとに基づいて、脈波を検出する。その結果、実施形態１と同様に、信号品質の良い脈波を検出することができる。

【0048】

〔実施形態２〕
図１３は、実施形態２に係る脈波検出装置１Ａの要部の構成を示すブロック図である。この図に示すように、脈波検出装置１Ａは、映像解析装置１０Ａおよび撮像装置５０（例：カメラ）を備える。映像解析装置１０Ａと撮像装置５０とは、互いに通信可能に接続されている。撮像装置５０の構成は、実施形態１と同一であるため、詳細な説明を省略する。

【0049】

脈波検出部１３Ａは、脈波ノイズフィルタ３１を備える。脈波ノイズフィルタ３１は、脈波検出部１３Ａによって検出された脈波から、脈波の周波数帯域以外の帯域のノイズを除去するフィルタである。脈波検出部１３Ａは、検出された脈波に脈波ノイズフィルタ３１を適用することによって、脈波からノイズを除去する。

【0050】

赤色画素の画素値の時系列データおよび青色画素の赤色画素の時系列データには、脈波成分がほとんど含まれない。そのため、ノイズ低減フィルタ２１および２２は、脈波の周波数帯域を含んだ帯域のノイズを低減するフィルタであってもよい。さらには、ノイズ低減フィルタ２１および２２は、脈波ノイズフィルタ３１によって除去されるノイズの周波数よりも低い周波数のノイズを低減するフィルタであってもよい。これらのノイズ低減フィルタ２１および２２ならびに脈波ノイズフィルタ３１を用いることによって、脈波の信号品質をさらに良好にすることができる。

【0051】

本実施形態においても、実施形態１と同様に、ノイズ低減フィルタ２１および２２を適用するか否かを決定するための閾値を設定することができる。なお、脈波検出部１３Ａは、検出された脈波に対して脈波ノイズフィルタ３１を常に適用する。

【0052】

〔ソフトウェアによる実現例〕
脈波検出装置１（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に、映像解析装置１０または１０Ａに含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0053】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0054】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0055】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本開示の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0056】

また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。

【0057】

〔付記事項〕
本開示の一態様は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成できる。

【符号の説明】

【0058】

１、１Ａ脈波検出装置
１０、１０Ａ 映像解析装置
１１ 関心領域検出部
１２ 時間変化検出部
１３、１３Ａ 脈波検出部
２１、２２ ノイズ低減フィルタ
３１ 脈波ノイズフィルタ
５０ 撮像装置
５１ カラーフィルタ部
５２ 撮像部
５２０ 撮像素子
５１０ カラーフィルタユニット
５１１Ｒ 赤色カラーフィルタ
５１１Ｇ 緑色カラーフィルタ
５１１Ｂ 青色カラーフィルタ
９００ 生体
９１０ 関心領域
ＩＭＧ 画像（生体が映った映像の１フレーム）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】