特開 2022-160891 映像解析装置、脈波検出装置、および映像解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022160891

(43)【公開日】2022-10-20

(54)【発明の名称】映像解析装置、脈波検出装置、および映像解析方法

(51)【国際特許分類】

   A61B 5/02 20060101AFI20221013BHJP

【ＦＩ】

A61B5/02 310B

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021065397

(22)【出願日】2021-04-07

(71)【出願人】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】富澤 亮太

(72)【発明者】

【氏名】足立 佳久

(72)【発明者】

【氏名】岩井 敬文

(72)【発明者】

【氏名】大鐘 ひなつ

(72)【発明者】

【氏名】田中 怜

(72)【発明者】

【氏名】日下部 曜

【テーマコード（参考）】

4C017

【Ｆターム（参考）】

4C017AA09

4C017AC28

4C017BC11

4C017BC23

4C017FF05

4C017FF15

(57)【要約】

【課題】従来とは異なる手法によって、脈波の検出精度を向上させる。
【解決手段】映像解析装置（１０）において、関心領域検出部（１１）は、所定のアルゴリズムに基づいて、生体（９００）が映った映像から当該生体（９００）の関心領域を検出する。脈波検出部（１２）は、関心領域に含まれる複数の画素の内、画素値閾値以上の画素値を有する特定高輝度画素の影響を低減させた上で、上記複数の画素の画素値の時間変化に基づいて、生体（９００）の脈波を検出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定のアルゴリズムに基づいて、生体が映った映像から上記生体の関心領域を検出する関心領域検出部と、
上記関心領域に含まれる複数の画素の内、画素値閾値以上の画素値を有する特定高輝度画素の影響を低減させた上で、上記複数の画素の画素値の時間変化に基づいて、上記生体の脈波を検出する脈波検出部と、を備えている、映像解析装置。

【請求項2】

上記画素値閾値は、画素値の飽和が生じる蓋然性が高いことを示す値として設定されており、
上記脈波検出部は、上記複数の画素の内、上記画素値閾値以上の画素値を有する画素を、上記特定高輝度画素として特定する、請求項１に記載の映像解析装置。

【請求項3】

上記画素値閾値は、所定の飽和画素値と等しい値に設定されており、
上記脈波検出部は、上記複数の画素の内、上記画素値閾値と等しい画素値を有する画素である上記特定高輝度画素を、飽和画素として特定する、請求項２に記載の映像解析装置。

【請求項4】

上記脈波検出部は、上記複数の画素から上記特定高輝度画素を除いた画素を、通常画素として特定し、
上記脈波検出部は、上記通常画素の画素値の時間変化に基づいて、上記脈波を検出する、請求項１から３のいずれか１項に記載の映像解析装置。

【請求項5】

上記脈波検出部は、上記複数の画素から上記特定高輝度画素を除いた画素を、通常画素として特定し、
上記特定高輝度画素の画素値を特定高輝度画素値と称し、上記通常画素の画素値を通常画素値と称し、
上記脈波検出部は、
上記特定高輝度画素値に対する重み係数である特定重み係数を、上記通常画素値に対する重み係数である通常重み係数よりも小さく設定し、かつ、
（ｉ）上記特定高輝度画素値に上記特定重み係数を乗じた値である重み付き特定高輝度画素値、および、（ｉｉ）上記通常画素値に上記通常重み係数を乗じた値である重み付き通常画素値を用いて、所定の演算式に従って、上記脈波を検出する、請求項１から３のいずれか１項に記載の映像解析装置。

【請求項6】

上記映像を記憶する映像記憶部をさらに備えており、
上記脈波検出部は、上記映像記憶部が記憶した上記映像の少なくとも１つのフレームにおいて、上記特定高輝度画素の影響を低減させた上で、上記複数の画素の画素値の時間変化に基づいて上記脈波を検出する、請求項１から５のいずれか１項に記載の映像解析装置。

【請求項7】

上記脈波検出部は、上記複数の画素から上記特定高輝度画素を除いた画素を、通常画素として特定し、
上記脈波検出部は、上記通常画素の数が画素数閾値以上である場合に、上記脈波を検出する、請求項１から６のいずれか１項に記載の映像解析装置。

【請求項8】

請求項１から７のいずれか１項に記載の映像解析装置と、
上記映像を撮像する撮像装置と、を備えている、脈波検出装置。

【請求項9】

所定のアルゴリズムに基づいて、生体が映った映像から上記生体の関心領域を検出する関心領域検出ステップと、
上記関心領域に含まれる複数の画素の内、画素値閾値以上の画素値を有する特定高輝度画素の影響を低減させた上で、上記複数の画素の画素値の時間変化に基づいて、上記生体の脈波を検出する脈波検出ステップと、を含んでいる、映像解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

以下の開示は、生体が映った映像を解析することにより、上記生体の脈波を検出する映像解析装置に関する。

【背景技術】

【0002】

生体の脈波を検出する装置の一例として、撮像素子（受光素子）の出力値（画素値）に基づいて脈波を検出する脈波検出装置が知られている。但し、このような脈波検出装置においては、画素値の飽和によって脈波の検出精度が低下しうることが知られている。そこで、特許文献１では、脈波の検出精度を向上させることを目的とした技術が提案されている。具体的には、特許文献１では、撮像素子の受光量を飽和レベル以下に抑制するように液晶フィルタを制御するという手法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８－３０１９３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、近年では、撮像装置によって生体の映像を撮像し、かつ、当該映像を解析することにより、脈波を検出する技術が提案されている。但し、後述する通り、このような映像解析に基づく脈波の検出精度を向上させるための具体的な手法については、特許文献１では何ら考慮されていない。本開示の一態様の目的は、従来とは異なる手法によって、脈波の検出精度を向上させることにある。

【課題を解決するための手段】

【0005】

上記の課題を解決するために、本開示の一態様に係る映像解析装置は、所定のアルゴリズムに基づいて、生体が映った映像から上記生体の関心領域を検出する関心領域検出部と、上記関心領域に含まれる複数の画素の内、画素値閾値以上の画素値を有する特定高輝度画素の影響を低減させた上で、上記複数の画素の画素値の時間変化に基づいて、上記生体の脈波を検出する脈波検出部と、を備えている。

【0006】

また、本開示の一態様に係る映像解析方法は、所定のアルゴリズムに基づいて、生体が映った映像から上記生体の関心領域を検出する関心領域検出ステップと、上記関心領域に含まれる複数の画素の内、画素値閾値以上の画素値を有する特定高輝度画素の影響を低減させた上で、上記複数の画素の画素値の時間変化に基づいて、上記生体の脈波を検出する脈波検出ステップと、を含んでいる。

【発明の効果】

【0007】

本開示の一態様によれば、従来とは異なる手法によって、脈波の検出精度を向上させることが可能となる。

【図面の簡単な説明】

【0008】

【図1】実施形態１の脈波検出装置の要部の構成を示すブロック図である。

【図2】カラーフィルタ部における赤色カラーフィルタ、緑色カラーフィルタ、および青色カラーフィルタの配置例を示す図である。

【図3】関心領域検出部によって検出された関心領域の一例を示す図である。

【図4】各色チャネル画像における欠損画素値の補間処理の一例を示す図である。

【図5】補間後の各色チャネル画像の合成処理の一例を示す図である。

【図6】フルカラー関心領域画像における１つの画素値の時間変化の様子を例示する図である。

【図7】ある時刻におけるフルカラー関心領域画像内の各画素の分類の一例を示す図である。

【図8】ある時刻におけるフルカラー関心領域画像内の各画素の分類の別の例を示す図である。

【図9】実施形態１の一変形例における画素値閾値について説明するための図である。

【図10】実施形態２の脈波検出装置の要部の構成を示すブロック図である。

【図11】各色低解像度チャネル画像における各画素値の設定処理の一例を示す図である。

【図12】各色低解像度チャネル画像の合成処理の一例を示す図である。

【図13】実施形態３の脈波検出装置の要部の構成を示すブロック図である。

【発明を実施するための形態】

【0009】

〔実施形態１〕
実施形態１の脈波検出装置１について、以下に説明する。説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、以降の各実施形態では同じ符号を付記し、その説明を繰り返さない。簡潔化のため、公知技術と同様の事項についても、説明を適宜省略する。

【0010】

本明細書において述べる各構成および各数値は、特に明示されない限り、単なる一例であることに留意されたい。従って、特に明示されない限り、各部材の位置関係は、各図の例に限定されない。また、各図面は、各部材の形状、構造、および位置関係を概略的に説明するものであり、必ずしも実際の通りに描かれていないことに留意されたい。本明細書では、２つの数ＡおよびＢに関する「Ａ～Ｂ」という記載は、特に明示されない限り、「Ａ以上かつＢ以下」を意味する。

【0011】

（脈波検出装置１の概要）
図１は、脈波検出装置１の要部の構成を示すブロック図である。脈波検出装置１は、生体９００（例：人）の脈波を検出する。脈波検出装置１は、非接触式の脈波検出装置の一例である。以下、生体Ｈの脈波を、単に脈波と称する。脈波検出装置１は、映像解析装置１０および撮像装置５０（例：カメラ）を備える。映像解析装置１０と撮像装置５０とは、互いに通信可能に接続されている。

【0012】

撮像装置５０は、生体Ｈが映った映像（動画像）を撮像する。具体的には、撮像装置５０は、映像を構成する画像（静止画）を、フレーム期間ごとに撮像する。実施形態１では、撮像装置５０が、ＲＧＢ（Red，Green，Blue）カメラである場合を例示する。このため、実施形態１における映像は、ＲＧＢカラー映像である。撮像装置５０は、カラーフィルタ部５１および撮像部５２を備える。

【0013】

カラーフィルタ部５１は、赤色カラーフィルタ５１１Ｒ、緑色カラーフィルタ５１１Ｇ、および青色カラーフィルタ５１１Ｂを備える。撮像部５２は、アレイ状に配列された複数の撮像素子５２０を備える。撮像素子５２０は、公知のイメージセンサである。撮像素子５２０は、生体９００から到来し、かつ、カラーフィルタ部５１を通過した光（例：外光）を受光する。

【0014】

撮像素子５２０は、撮像装置５０の画素とも称される。このことから、本明細書では、撮像素子５２０を、撮像画素とも称する。撮像部５２では、Ｗ個×Ｈ個の撮像画素が配列されている。Ｗは水平方向における撮像画素数（１行あたりの撮像画素）を表し、Ｈは垂直方向における撮像画素（１列あたりの撮像画素）を表す。撮像画素は、自身が受光した光の強度（例：輝度）を示す電気信号の信号値（例：電流値）を、画素値（階調値）として出力する。より具体的には、撮像画素は、アナログ値としての画素値を出力する。

【0015】

撮像装置５０では、不図示のＡＤ変換器によって、アナログ値としての画素値がデジタル値に変換される。そして、撮像装置５０は、デジタル画像（デジタル画素値を有する画像）を出力する。一例として、実施形態１における画素値は、８ビットのデジタル値として標本化されている。従って、実施形態１における画素値は、０～２５５の範囲にある。

【0016】

図２は、カラーフィルタ部５１における赤色カラーフィルタ５１１Ｒ、緑色カラーフィルタ５１１Ｇ、および青色カラーフィルタ５１１Ｂの配置例を示す図である。撮像装置５０において、赤色カラーフィルタ５１１Ｒ、緑色カラーフィルタ５１１Ｇ、および青色カラーフィルタ５１１Ｂはそれぞれ、撮像素子５２０と１対１に対応するように配置されている。１つの赤色カラーフィルタ５１１Ｒは、１つの撮像素子５２０を覆うように配置されている。１つの緑色カラーフィルタ５１１Ｇは、別の１つの撮像素子５２０を覆うように配置されている。１つの青色カラーフィルタ５１１Ｂは、さらに別の１つの撮像素子５２０を覆うように配置されている。

【0017】

図２に示される通り、実施形態１では、赤色カラーフィルタ５１１Ｒ、緑色カラーフィルタ５１１Ｇ、および青色カラーフィルタ５１１Ｂが、ベイヤ配列されている場合を例示する。図２の例におけるカラーフィルタ部５１では、４つの（水平方向２つ×垂直方向２つの）撮像画素に対応するカラーフィルタユニット５１０が規定されている。

【0018】

１つのカラーフィルタユニット５１０は、（ｉ）１つの赤色カラーフィルタ５１１Ｒと、（ｉｉ）２つの緑色カラーフィルタ５１１Ｇ（緑色カラーフィルタ５１１Ｇ１・５１１Ｇ２）と、（ｉｉｉ）１つの緑色カラーフィルタ５１１Ｇを含んでいる。そして、カラーフィルタ部５１では、複数のカラーフィルタユニット５１０が、水平方向および垂直方向に繰り返し配列されている。このように、カラーフィルタ部５１では、赤色カラーフィルタ５１１Ｒ、緑色カラーフィルタ５１１Ｇ、および青色カラーフィルタ５１１Ｂが、１：２：１の個数比でモザイク状に（より詳細には、チェッカーパターンを成すように）配置されている。

【0019】

本明細書では、赤色カラーフィルタ５１１Ｒに対応する撮像画素を、赤色撮像画素と称する。１つの赤色撮像画素は、赤色カラーフィルタ５１１Ｒを通過した光（赤色光）を受光し、当該赤色光の強度を示す赤色画素値（Ｒ画素値）を出力する。また、緑色カラーフィルタ５１１Ｇに対応する撮像画素を、緑色撮像画素と称する。１つの緑色撮像画素は、緑色カラーフィルタ５１１Ｇを通過した光（緑色光）を受光し、当該緑色光の強度を示す緑色画素値（Ｇ画素値）を出力する。また、青色カラーフィルタ５１１Ｂに対応する撮像画素を、青色撮像画素と称する。１つの青色撮像画素は、青色カラーフィルタ５１１Ｂを通過した光（青色光）を受光し、当該青色光の強度を示す青色画素値（Ｂ画素値）を出力する。

【0020】

撮像部５２は、映像のフレーム期間ごとに、（ｉ）Ｒチャネル画像ＩＭＧＲ（複数の赤色撮像画素によって出力されたＲ画素値の分布を示す画像）、（ｉｉ）Ｇチャネル画像ＩＭＧＲＧ（複数の緑色撮像画素によって出力されたＧ画素値の分布を示す画像）、および、（ｉｉｉ）Ｂチャネル画像ＩＭＧＢ（複数の青色撮像画素によって出力されたＢ画素値の分布を示す画像）を、それぞれ生成する。ＩＭＧＲ、ＩＭＧＧ、およびＩＭＧＢはいずれも、解像度Ｗ×Ｈを有する。そして、撮像部５２は、ＩＭＧＲとＩＭＧＧとＩＭＧＢとを合成することにより、モザイク状のＲＧＢカラー画像としての画像ＩＭＧを生成する。言い換えれば、撮像部５２は、ＩＭＧをＲＡＷ画像として生成する。

【0021】

以上の通り、撮像部５２は、映像を構成する各フレームとして、ＲＡＷ画像としてのＩＭＧを生成する。そして、撮像部５２は、生成した各フレームをフレーム番号順に配列することにより、映像（ＲＡＷ映像）を生成する。撮像部５２は、生成した映像を、映像解析装置１０に供給する。

【0022】

映像解析装置１０は、関心領域検出部１１および脈波検出部１２を備える。映像解析装置１０は、撮像装置５０から取得した映像を解析することにより、脈波を検出する。より具体的には、映像解析装置１０は、映像の各フレーム（複数のＩＭＧのそれぞれ）を解析することにより、脈波を検出する。

【0023】

関心領域検出部１１は、所定のアルゴリズムに基づいて（例：公知のアルゴリズムを用いて）、ＩＭＧから関心領域（Region of Interest，ＲＯＩ）を検出する。関心領域とは、生体９００の所定の部位が映ったＩＭＧの部分領域である。図３は、関心領域検出部１１によって検出された関心領域の一例を示す図である。以下の説明では、図３の例における関心領域を、関心領域９１０と表記する。

【0024】

図３の例におけるＩＭＧは、生体９００の顔全体が映った画像である。図３の例では、顔の片側の頬が、所定の部位として予め設定されている。まず、関心領域検出部１１は、ＩＭＧから顔領域（生体９００の顔が映った領域）を検出する。そして、関心領域検出部１１は、顔領域内において顔の片側の頬が映った領域を、関心領域９１０として検出する。図３の例における関心領域９１０は、矩形領域である。

【0025】

但し、当業者であれば明らかである通り、所定の部位は、頬に限定される必要はなく、生体９００の血管に関する情報を抽出可能な部位であればよい。所定の部位の別の例としては、額、鼻根部、首、指先、および掌を挙げることができる。関心領域は、時間変化に伴う生体の肌の色変化が表現されている画像領域であればよい。また、関心領域の数は、必ずしも１つに限定されない。このように、ＩＭＧは、図３の例に限定されない。

【0026】

脈波検出部１２は、関心領域９１０に含まれる複数の画素の画素値の時間変化に基づいて、脈波を検出する。一例として、脈波検出部１２は、各フレームにおける、（ｉ）関心領域９１０に含まれるＲ画素値の平均値Ｒａｖｅ、（ｉｉ）関心領域９１０に含まれるＧ画素値の平均値Ｇａｖｅ、および、（ｉｉｉ）関心領域９１０に含まれるＢ画素値の平均値Ｂａｖｅを、それぞれ算出する。すなわち、脈波検出部１２は、Ｒａｖｅ、Ｇａｖｅ、およびＢａｖｅのそれぞれの時系列データを導出する。

【0027】

そして、脈波検出部１２は、公知のアルゴリズムを用いて当該時系列データを解析することにより、脈波を検出（導出）してよい。一例として、脈波検出部１２は、国際公開公報「ＷＯ２０２０／０９０３４８」に開示されている手法を用いて、脈波を検出してよい。

【0028】

但し、関心領域９１０内において画素値の飽和が生じている場合、脈波検出部１２における脈波の検出精度が低下しうる。このような画素値の飽和は、例えば、外光の輝度が高い場合に生じうる。そこで、実施形態１では、以下に述べる通り、脈波検出部１２は、関心領域９１０に含まれる画素の内、画素値の飽和が生じている画素（以下、飽和画素と称する）の影響を低減させた上で、脈波を検出する。

【0029】

本明細書における「画素値の飽和」とは、画素値が、画像（より厳密には、デジタル画像データ）において設定可能な所定の最大値をとっていることを意味する。上述の通り、実施形態１では、画素値が８ビットのデジタル値として標本化されている。このため、実施形態１における「画素値の飽和」とは、画素値が２５５であることを意味する。これに対し、実施形態１における「画素値の非飽和」とは、画素値が０～２５４であることを意味する。以上のことから、実施形態１における飽和画素は、画素値２５５を有する画素である。従って、実施形態１では、画素値２５５を、飽和画素値とも称する。なお、上記の説明における画素値は、Ｒ画素値、Ｇ画素値、またはＢ画素値のいずれか１つを指す。

【0030】

（実施形態１における脈波検出部１２の処理の例）
図４および図５はそれぞれ、脈波検出部１２の処理の一例を説明する図である。以下に述べる通り、図４には、各色チャネル画像における欠損画素値の補間処理の一例が示されている。図５には、補間後の各色チャネル画像の合成処理の一例が示されている。

【0031】

脈波検出部１２は、ＲＡＷ画像としての関心領域９１０の画像（以下、関心領域ＲＡＷ画像と称する）を、関心領域Ｒチャネル画像ＩＭＧＲ１、関心領域Ｇチャネル画像ＩＭＧＧ１、および関心領域Ｂチャネル画像ＩＭＧＢ１に分解する。図４には、ＩＭＧＲ１、ＩＭＧＧ１、およびＩＭＧＢ１の一例が示されている。以下では、例えば、ＩＭＧＲ１におけるｉ行ｊ列目の画素を、ＩＭＧＲ１（ｉ，ｊ）と表記する。また、当該画素の画素値についても、ＩＭＧＲ１（ｉ，ｊ）と表記する。

【0032】

図４に示される通り、ＩＭＧＲ１には、画素値の欠損が生じている画素が存在する。以下、画素値の欠損が生じている画素を、欠損画素と称する。ＩＭＧＲ１における欠損画素は、（ｉ）緑色撮像画素に対応する位置の画素、および、（ｉｉ）青色撮像画素に対応する位置の画素である。他方、画素値の欠損が生じていない画素を、非欠損画素と称する。ＩＭＧＲ１における非欠損画素は、赤色撮像画素に対応する位置の画素である。

【0033】

脈波検出部１２は、ＩＭＧＲ１における非欠損画素値（非欠損画素の画素値）を用いて、ＩＭＧＲ１における欠損画素値（欠損画素の画素値）を補間することにより、補間後関心領域Ｒチャネル画像ＩＭＧＲ２を生成する。すなわち、脈波検出部１２は、ＩＭＧＲ１をデモザイキング（より具体的には、カラーデモザイキング）することにより、ＩＭＧＲ２を生成する。

【0034】

一例として、ＩＭＧＲ１における注目画素として、ＩＭＧＲ１（２，２）を考える。図４の例におけるＩＭＧＲ１（２，２）は、欠損画素である。脈波検出部１２は、ある欠損画素（例えばＩＭＧＲ１（２，２））を中心とする３×３の矩形領域における非欠損画素値を用いて、当該欠損画素の画素値を補間してよい。すなわち、脈波検出部１２は、上記非欠損画素値を用いて、上記欠損画素に対応する位置におけるＩＭＧＲ２の画素値を設定してよい。

【0035】

図４の例では、ＩＭＧＲ１（１，１）、ＩＭＧＲ１（１，３）、ＩＭＧＲ１（３，１）、およびＩＭＧＲ１（３，３）が、上記矩形領域における非欠損画素値である。従って、脈波検出部１２は、これら４つの非欠損画素値を用いて、ＩＭＧＲ２（２，２）を設定する。一例として、脈波検出部１２は、上記４つの非欠損画素値を用いた線形補間によって、ＩＭＧＲ２（２，２）を設定してよい。

【0036】

図４の例では、脈波検出部１２は、上記４つの非欠損画素値の平均値として、ＩＭＧＲ２（２，２）を設定する。すなわち、脈波検出部１２は、
ＩＭＧＲ２（２，２）
＝｛ＩＭＧＲ２（１，１）＋ＩＭＧＲ２（１，３）
＋ＩＭＧＲ２（３，１）＋ＩＭＧＲ２（３，３）｝／４ …（１）
として、ＩＭＧＲ２（２，２）を設定する。その他の非欠損画素値についても、上記の例と同様に補間されてよい。なお、注目画素が非欠損画素である場合の補間については、後述するＩＭＧＢ１についての例を参照されたい。

【0037】

同様に、脈波検出部１２は、ＩＭＧＧ１をデモザイキングすることにより、補間後関心領域Ｇチャネル画像ＩＭＧＧ２を生成する。一例として、ＩＭＧＧ１における注目画素として、ＩＭＧＧ１（２，２）を考える。図４の例におけるＩＭＧＧ１（２，２）も、ＩＭＧＲ１（２，２）と同様に、欠損画素である。

【0038】

脈波検出部１２は、ＩＭＧＧ１（２，２）を中心とする３×３の矩形領域における非欠損画素値を用いて、ＩＭＧＲ２（２，２）を設定する。図４の例では、ＩＭＧＧ１（１，２）、ＩＭＧＧ１（２，１）、ＩＭＧＧ１（２，３）、およびＩＭＧＧ１（３，２）が、上記矩形領域における非欠損画素値である。図４の例では、脈波検出部１２は、
ＩＭＧＧ２（２，２）
＝｛ＩＭＧＧ１（１，２）＋ＩＭＧＧ１（２，１）
＋ＩＭＧＧ１（２，３）＋ＩＭＧＧ１（３，２）｝／４ …（２）
として、ＩＭＧＧ２（２，２）を設定する。

【0039】

同様に、脈波検出部１２は、ＩＭＧＢ１をデモザイキングすることにより、補間後関心領域Ｂチャネル画像ＩＭＧＢ２を生成する。一例として、ＩＭＧＢ１における注目画素として、ＩＭＧＢ１（２，２）を考える。図４の例におけるＩＭＧＢ１（２，２）は、ＩＭＧＲ１（２，２）およびＩＭＧＧ１（２，２）とは異なり、非欠損画素である。

【0040】

注目画素が非欠損画素である場合、脈波検出部１２は、当該非欠損画素の画素値を、当該非欠損画素に対応する位置におけるＩＭＧＢ２の画素値として設定する。従って、脈波検出部１２は、
ＩＭＧＢ２（２，２）＝ＩＭＧＢ１（２，２） …（３）
として、ＩＭＧＢ２（２，２）を設定する。

【0041】

以上の通り、脈波検出部１２は、ＩＭＧＲ１、ＩＭＧＧ１、およびＩＭＧＢ１のそれぞれをデモザイキングすることにより、非欠損画素を有しないＩＭＧＲ２、ＩＭＧＧ２、およびＩＭＧＢ２を生成する。上記の通り生成されたＩＭＧＲ２、ＩＭＧＧ２、およびＩＭＧＢ２はそれぞれ、解像度Ｗ×Ｈを有する。

【0042】

続いて、脈波検出部１２は、ＩＭＧＲ２、ＩＭＧＧ２、およびＩＭＧＢ２を合成することにより、解像度Ｗ×Ｈを有する関心領域フルカラー画像ＩＭＧ２を生成する。図５には、ＩＭＧ２の一例が示されている。図５に示される通り、ＩＭＧ２は、フルカラーＲＧＢ画像である。フルカラーＲＧＢ画像とは、画像中の全ての画素が、Ｒ画素値、Ｇ画素値、およびＢ画素値の３つの画素値を有する画像である。以下、当該３つの画素値を、総称的にＲＧＢ画素値と称する。

【0043】

具体的には、脈波検出部１２は、
ＩＭＧ２（ｉ，ｊ）
＝｛ＩＭＧＲ２（ｉ，ｊ），ＩＭＧＧ２（ｉ，ｊ），ＩＭＧＢ２（ｉ，ｊ）｝…（４）
として、ＩＭＧ２（ｉ，ｊ）のＲ画素値、Ｇ画素値、およびＢ画素値をそれぞれ設定する。図５の例では、ＩＭＧＲ２（２，２）＝８０、ＩＭＧＧ２（２，２）＝１３０、ＩＭＧＢ２（２，２）＝２００である。従って、脈波検出部１２は、ＩＭＧ２（２，２）＝（８０，１３０，２００）として、ＩＭＧ２（２，２）を設定する。

【0044】

ＩＭＧ２は、フルカラーＲＧＢ画像であるので、関心領域ＲＡＷ画像に比べて、より多くの色情報を含んでいる。すなわち、ＩＭＧ２は、生体９００の血管に関する情報をより多く含んでいる。このため、ＩＭＧ２に基づいて脈波を検出することにより、脈波の検出精度を向上させることができる。

【0045】

そこで、実施形態１では、脈波検出部１２は、フレームごとに、ＩＭＧ２に含まれる各画素の画素値（ＲＧＢ画素値）を用いて、Ｒａｖｅ、Ｇａｖｅ、およびＢａｖｅを、それぞれ算出することが好ましい。このように、脈波検出部１２は、ＩＭＧ２に基づいてＲａｖｅ、Ｇａｖｅ、およびＢａｖｅの時系列データを導出することが好ましい。そして、脈波検出部１２は、当該時系列データを解析することにより、脈波を検出する。

【0046】

加えて、実施形態１では、脈波検出部１２は、ＩＭＧ２に含まれる飽和画素の影響を低減させた上で、脈波を検出する。飽和画素は、本開示の一態様に係る特定高輝度画素（後述）の一例である。一例として、脈波検出部１２は、ＩＭＧ２内の画素の内、画素値閾値Ｌｔｈ以上の画素値を有する画素を、特定高輝度画素として判定（特定）する。

【0047】

実施形態１では、Ｌｔｈは、画素値の飽和を示す値として設定されている。すなわち、Ｌｔｈは、飽和画素値と等しい値として設定されている。具体的には、Ｌｔｈ＝２５５として設定されている。このことから、実施形態１におけるＬｔｈは、飽和閾値と称されてもよい。以下では、飽和閾値としてのＬｔｈを、Ｌｔｈ１と表記する。実施形態１では、脈波検出部１２は、ＩＭＧ２内の画素の内、Ｌｔｈ１に等しい画素値を有する画素（すなわち画素値２５５を有する画素）を、飽和画素として判定する。

【0048】

図６は、ＩＭＧ２内のある１つの画素（例えば、ＩＭＧ２（２，２））の画素値Ｌの時間変化の様子を例示するグラフである。Ｌは、Ｒ画素値、Ｇ画素値、またはＢ画素値のいずれか１つである。図６の例におけるＬは、Ｂ画素値であるものとする。図６のグラフにおける横軸は、時刻ｔである。当該横軸は、フレーム番号と読み替えられてもよい。

【0049】

図６の例では、ｔ１～ｔ２（第１時間範囲）およびｔ３～ｔ４（第２時間範囲）において、Ｌ＝Ｌｔｈ１である。このため、脈波検出部１２は、第１時間範囲および第２時間範囲において、ＩＭＧ２（２，２）が飽和画素であると判定する。この場合、一例として、脈波検出部１２は、第１時間範囲および第２時間範囲において、ＩＭＧ２（２，２）のＲ画素値、Ｇ画素値、およびＢ画素値を用いることなく、Ｒａｖｅ、Ｇａｖｅ、およびＢａｖｅを、それぞれ算出する。

【0050】

但し、ＩＭＧ２（２，２）のＢ画素値が飽和している場合であっても、ＩＭＧ２（２，２）のＲ画素値およびＧ画素値については非飽和であることも考えられる。そこで、ＩＭＧ２（２，２）において、Ｂ画素値が飽和しており、かつ、Ｒ画素値およびＧ画素値が非飽和である場合、脈波検出部１２は、第１時間範囲および第２時間範囲において、ＩＭＧ２（２，２）のＲ画素値およびＧ画素値を用いて、ＲａｖｅおよびＧａｖｅを、それぞれ算出してもよい。脈波検出部１２は、飽和が生じた画素値を排除して、時系列データを算出できればよい。

【0051】

図７は、ある時刻（例：ｔ１）におけるＩＭＧ２内の各画素の分類の一例を示す図である。上述の通り、脈波検出部１２は、Ｌｔｈ１に基づいて飽和画素６１０を特定する。この場合、脈波検出部１２は、ＩＭＧ２内の各画素から飽和画素６１０を除いた画素を、通常画素６２０としてさらに特定してよい。そして、脈波検出部１２は、通常画素６２０の画素値の時間変化に基づいて、脈波を検出してよい。

【0052】

（効果）
上述の通り、特許文献１の技術（従来技術の一例）では、撮像素子の受光量を飽和レベル以下に抑制するように液晶フィルタが制御される。但し、特許文献１の技術では、腕時計型の脈波検出装置（接触式の脈波検出装置）を前提としている。従って、特許文献１の技術では、関心領域に対して光（例：外光）が入射する方向がある程度限定されている。このため、特許文献１では、外光の方向が予め特定されているという前提に基づいて、液晶フィルタの制御手法が提案されている。

【0053】

しかしながら、撮像装置によって撮像された映像を解析することによって脈波を検出する脈波検出装置（便宜上、「映像解析ベースの脈波検出装置」と称する）では、関心領域に対して多くの様々な方向から外光が入射することが一般的である。このため、映像解析ベースの脈波検出装置では、特許文献１の技術とは異なり、関心領域に対して光外光が入射する方向を予め特定することは困難である。

【0054】

それゆえ、特許文献１の技術を映像解析ベースの脈波検出装置に採用したとしても、撮像素子の受光量を適切に制御することはできない。すなわち、特許文献１の技術を映像解析ベースの脈波検出装置に採用したとしても、関心領域内における飽和画素の発生を抑制することはできない。以上の通り、従来では、映像解析ベースの脈波検出装置における脈波の検出精度を向上するための手法については、考慮されていなかった。

【0055】

他方、上述の通り、脈波検出装置１（より具体的には、映像解析装置１０）では、関心領域内における飽和画素の影響を低減させた上で、脈波を検出できる。このため、関心領域内における飽和画素が存在していたとしても、脈波の検出精度の低下を防止できる。従って、特許文献１の技術とは異なり、外光の方向が予め特定されていなくとも、脈波の検出精度を向上させることができる。以上の通り、脈波検出装置１によれば、従来とは異なる手法によって脈波の検出精度を向上させることができる。

【0056】

〔変形例〕
（１）図８は、ある時刻（例：ｔ１）におけるＩＭＧ２内の各画素の分類の別の例を示す図である。図８の例においても、上述の図６と同様に、脈波検出部１２によって飽和画素６１０が特定されている。脈波検出部１２は、飽和画素６１０の周辺に位置する画素を、周辺画素６１５としてさらに特定してよい。

【0057】

一例として、脈波検出部１２は、ＩＭＧ２内において、飽和画素６１０から所定の距離範囲内に存在している画素を、周辺画素６１５として特定してよい。図８の例では、脈波検出部１２は、飽和画素６１０に隣接する画素（１画素分だけ離間している画素）を、周辺画素６１５として特定する。図８の例では、画素間の距離は、８近傍距離（チェス盤距離）として定義されている。但し、当然ながら、本開示の一態様において、画素間の距離の定義は、図８の例に限定されない。

【0058】

図８の例において、脈波検出部１２は、ＩＭＧ２の各画素から、飽和画素６１０および周辺画素６１５を除いた画素を、通常画素６２０Ａとしてさらに特定する。そして、脈波検出部１２は、通常画素６２０Ａの画素値の時間変化に基づいて、脈波を検出してよい。

【0059】

多くの場合、画像内における画素値の局所的な分布は、ある程度の連続性を有している。このため、周辺画素６１５は、ある時刻においては飽和画素でなくとも、時間の進展に伴って飽和画素へと変化する蓋然性（可能性）が高い画素であると予期される。そこで、図８に示す通り、脈波検出部１２は、飽和画素６１０のみならず、周辺画素６１５をさらに排除して、通常画素６２０Ａを特定してもよい。これにより、飽和画素６１０の影響のみならず、周辺画素６１５の影響をも低減した上で、脈波を検出できる。その結果、脈波の検出精度をさらに向上させることが可能となる。

【0060】

（２）上述の通り、本開示の一態様において、脈波検出部１２は、通常画素の画素値の時間変化に基づいて、脈波を検出してよい。但し、通常画素の画素数があまりに少ない場合には、不十分な（低い）精度の脈波が検出されることも懸念される。

【0061】

そこで、脈波検出部１２は、通常画素の数が画素数閾値未満である場合に、脈波の検出を停止してよい。言い換えれば、脈波検出部１２は、通常画素の数が画素数閾値以上である場合にのみ、脈波の検出を行ってもよい。なお、脈波検出部１２は、通常画素の数が画素数閾値未満以上である場合には、脈波の検出を停止する旨の報知情報を出力してもよい。一例として、脈波検出部１２は、通常画素の数が画素数閾値未満以上である場合には、「十分な精度の脈波を検出できないと懸念されるため、脈波の検出を停止する」旨を示すエラーメッセージを、脈波検出装置１の表示部（不図示）に出力してもよい。

【0062】

上記の構成によれば、通常画素の数が画素数閾値未満である場合に、不十分な精度の脈波が検出されてしまうことを防止できる。画素数閾値は、特に限定されないが、ある程度高い精度の脈波の検出が可能であると期待される通常画素の数を基準として設定されてよい。一例として、画素数閾値は、１００に設定されてよい。

【0063】

（３）上述の各説明から明らかである通り、Ｌｔｈ（画素値閾値）は飽和閾値（Ｌｔｈ１）に限定されない。一例として、Ｌｔｈは、画素値の飽和が生じる蓋然性が高いことを示す値として設定されてもよい。そこで、本明細書では、画素値がＬｔｈ以上である画素を、特定高輝度画素と称する。なお、本明細書では、飽和画素も、「画素値の飽和が生じる蓋然性が高い画素」に含まれるものとする。

【0064】

以下、本変形例におけるＬｔｈを、Ｌｔｈ２と称する。一例として、Ｌｔｈ２＝２３０として設定されてよい。但し、当然ながら、Ｌｔｈ２は、上記の例に限定されない。Ｌｔｈ２は、飽和画素値の９０％以上かつ１００％以下の値として設定されてよい。従って、画素値が８ビットのデジタル値として標本化されている場合（飽和画素値２５５である場合）、Ｌｔｈ２は２３０以上かつ２５５以下に設定されていればよい。

【0065】

特定高輝度画素は、飽和画素ほど顕著ではなくとも、脈波の検出精度の低下に寄与すると考えられる。このため、脈波検出部１２は、一例として、画素値がＬｔｈ２以上である画素を、特定高輝度画素として判定してよい。そして、脈波検出部１２は、特定高輝度画素の影響を低減させた上で、脈波を検出してよい。この場合、脈波検出の精度をより一層向上させることができる。以上の説明から理解される通り、上述の図８の例における周辺画素は、特定高輝度画素の別の例であると言える。

【0066】

図９は、Ｌｔｈ２について説明するための図である。図９においても、図６と同様に、ＩＭＧ２内のある１つの画素（例えば、ＩＭＧ２（２，２））の画素値Ｌの時間変化の様子が例示されている。図９の例におけるＬも、図６の例と同様に、Ｂ画素値であるものとする。

【0067】

図９の例では、（ｉ）ｔｍ１～ｔｍ２（第１時間範囲）、（ｉｉ）ｔｍ３～ｔｍ４（第２時間範囲）、および、（ｉｉｉ）ｔｍ５～ｔｍ６（第３時間範囲）において、Ｌ≧Ｌｔｈ２である。このため、脈波検出部１２は、第１時間範囲、第２時間範囲、および第３時間範囲において、ＩＭＧ２（２，２）が特定高輝度画素であると判定する。

【0068】

そこで、一例として、脈波検出部１２は、第１時間範囲、第２時間範囲、および第３時間範囲において、ＩＭＧ２（２，２）のＲ画素値、Ｇ画素値、およびＢ画素値を用いることなく、Ｒａｖｅ、Ｇａｖｅ、およびＢａｖｅを、それぞれ算出する。これにより、脈波検出部１２は、特定高輝度画素であるＩＭＧ２（２，２）の影響を低減させた上で、脈波を検出できる。

【0069】

但し、ＩＭＧ２（２，２）のＢ画素値がＬｔｈ２以上である場合であっても、ＩＭＧ２（２，２）のＲ画素値およびＧ画素値についてはＬｔｈ２未満であることも考えられる。そこで、ＩＭＧ２（２，２）において、Ｂ画素値がＬｔｈ２以上であり、かつ、Ｒ画素値およびＧ画素値がＬｔｈ２未満である場合、脈波検出部１２は、第１時間範囲、第２時間範囲、および第３時間範囲において、ＩＭＧ２（２，２）のＲ画素値およびＧ画素値を用いて、ＲａｖｅおよびＧａｖｅを、それぞれ算出してもよい。この場合にも、脈波検出部１２は、特定高輝度画素であるＩＭＧ２（２，２）の影響を低減させた上で、脈波を検出できる。以上の通り、脈波検出部１２は、Ｌｔｈ２以上の画素値を排除して、時系列データを算出できればよい。

【0070】

（４）特定高輝度画素（例：飽和画素）の影響を低減して脈波を検出する手法は、上述の各例に限定されない。例えば、飽和画素の画素値を必ずしも排除することなく、脈波を検出することもできる。

【0071】

一例として、上述の図７の通り、ＩＭＧ２内の各画素が、飽和画素と通常画素とに分類されている場合を考える。この場合、脈波検出部１２は、飽和画素値および通常画素の画素値（以下、通常画素値と称する）に対し、異なる重み係数を設定してもよい。以下の説明では、飽和画素値に対する重み係数をｗ１、通常画素値に対する重み係数をｗ２と、それぞれ表記する。具体的には、脈波検出部１２は、ｗ１をｗ２よりも小さい値に設定する。ｗ１およびｗ２はそれぞれ、飽和重み係数および通常重み係数と称されてもよい。

【0072】

そして、脈波検出部１２は、（ｉ）飽和画素値にｗ１を乗じた値である重み付き飽和画素値、および、（ｉｉ）通常画素値にｗ２を乗じた値である重み付き通常画素値を、脈波を導出するための所定の演算式に代入することによって、脈波を導出してよい。当該演算式は、ある画素値に対する重み係数が小さいほど、当該画素値が演算結果（脈波）に与える影響が小さくなるように設定されているものとする。以上の通り、脈波検出部１２は、重み付き飽和画素値および重み付き通常画素値を用いて、上記演算式に従って脈波を検出してよい。これにより、飽和画素値が脈波に及ぼす影響を低減しつつ、当該飽和画素値の存在を考慮して脈波を検出できる。

【0073】

別の例として、脈波検出部１２が、Ｌｔｈ２に基づいて、ＩＭＧ２内の各画素を特定高輝度画素と通常画素とに分類する場合を考える。この場合、飽和画素についての上記の例と同様に、脈波検出部１２は、特定高輝度画素の画素値（以下、特定高輝度画素値と称する）および通常画素値に対し、異なる重み係数を設定してもよい。以下の説明では、特定高輝度画素値に対する重み係数をｗ１ａと表記する。脈波検出部１２は、ｗ１ａをｗ２よりも小さい値に設定する。ｗ１ａは、ｗ１と等しい値に設定されてもよいし、あるいはｗ１よりも大きい値に設定されてもよい。ｗ１ａは、特定重み係数と称されてもよい。

【0074】

そして、脈波検出部１２は、（ｉ）特定高輝度画素値にｗ１ａを乗じた値である重み付き特定高輝度画素値、および、（ｉｉ）重み付き通常画素値を、上記演算式に代入することによって、脈波を導出してよい。以上の通り、脈波検出部１２は、重み付き特定高輝度画素値および重み付き通常画素値を用いて、上記演算式に従って脈波を検出してよい。これにより、特定高輝度画素値が脈波に及ぼす影響を低減しつつ、当該特定高輝度画素値の存在を考慮して脈波を検出できる。

【0075】

さらに別の例として、上述の図８の通り、ＩＭＧ２内の各画素が、飽和画素と周辺画素と通常画素とに分類されている場合を考える。この場合、脈波検出部１２は、飽和画素値、周辺画素の画素値（以下、周辺画素値と称する）、および通常画素値のそれぞれに対し、異なる重み係数を設定してもよい。以下の説明では、周辺画素値に対する重み係数をｗｍと表記する。脈波検出部１２は、ｗｍを、ｗ２よりも小さく、かつ、ｗ１よりも大きい値に設定する。ｗｍは、周辺重み係数と称されてもよい。

【0076】

そして、脈波検出部１２は、（ｉ）重み付き飽和画素値、（ｉｉ）周辺画素値にｗｍを乗じた値である重み付き周辺画素値、および、（ｉｉｉ）重み付き通常画素値を、上記演算式に代入することによって、脈波を導出してよい。以上の通り、脈波検出部１２は、重み付き飽和画素値、重み付き周辺画素値、および重み付き通常画素値を用いて、上記演算式に従って脈波を検出してよい。これにより、飽和画素値および周辺画素値が脈波に及ぼす影響の違いを考慮しつつ、脈波を検出できる。

【0077】

〔実施形態２〕
図１０は、実施形態２の脈波検出装置２の要部の構成を示すブロック図である。脈波検出装置２の映像解析装置を、映像解析装置１０Ａと称する。また、映像解析装置１０Ａの脈波検出部を、脈波検出部１２Ａと称する。脈波検出部１２Ａは、脈波検出部１２とは異なる手法によって、関心領域のフルカラー画像を生成する。

【0078】

図１１および図１２はそれぞれ、脈波検出部１２Ａの処理の一例を説明する図である。以下に述べる通り、図１１には、各色低解像度チャネル画像における各画素値の設定処理の一例が示されている。図１１には、上述の図４と同様のＩＭＧＲ１、ＩＭＧＧ１、およびＩＭＧＢ１が例示されている。図１２には、各色低解像度チャネル画像の合成処理の一例が示されている。

【0079】

脈波検出部１２Ａは、ＩＭＧＲ１、ＩＭＧＧ１、およびＩＭＧＢ１をそれぞれダウンコンバートすることにより、低解像度Ｒチャネル画像ＩＭＧＲ３、低解像度Ｇチャネル画像ＩＭＧＧ３、および低解像度Ｂチャネル画像ＩＭＧＢ３を生成する。図１０の例では、脈波検出部１２Ａは、解像度Ｗ／２×Ｈ／２を有するＩＭＧＲ３、ＩＭＧＧ３、およびＩＭＧＢ３を生成する。すなわち、脈波検出部１２Ａは、ＩＭＧＲ１、ＩＭＧＧ１、およびＩＭＧＢ１のそれぞれについて、水平解像度および垂直解像度を半減させるダウンコンバートを行う。

【0080】

一例として、脈波検出部１２Ａは、ＩＭＧＲ１における２×２の矩形領域（以下、赤色画素ユニットと称する）に含まれる各画素の画素値を用いて、ＩＭＧＲ３における１つの画素値を設定する。１つの画素ユニットは、上述の図２における１つのカラーフィルタユニット５１０に対応する。以下では、ＩＭＧＲ１（ｉ，ｊ）、ＩＭＧＲ１（ｉ，ｊ＋１）、ＩＭＧＲ１（ｉ＋１，ｊ）、およびＩＭＧＲ１（ｉ＋１，ｊ＋１）という４つの画素を含む画素ユニットを、赤色画素ユニットＲｕｎｉｔ（ｉ，ｊ）と称する。その他の色における画素ユニットについても、同様に表記する。

【0081】

図２の各色カラーフィルタの配置によれば、ＩＭＧＲ１における１つのＲｕｎｉｔは、１つの非欠損画素のみを含んでいる。例えば、Ｒｕｎｉｔ（１，１）は、非欠損画素としてＩＭＧＲ１（１，１）のみを含んでいる。そこで、脈波検出部１２Ａは、１つのＲｕｎｉｔにおける単一の非欠損画素値を、当該１つのＲｕｎｉｔに対応するＩＭＧＲ３の画素値として設定してよい。一例として、脈波検出部１２Ａは、
ＩＭＧＲ３（１，１）＝ＩＭＧＲ１（１，１） …（５）
として、ＩＭＧＲ３（１，１）を設定してよい。図１０の例では、ＩＭＧＲ１（１，１）＝８０である。このため、脈波検出部１２Ａは、ＩＭＧＲ３（１，１）＝８０として、Ｒｕｎｉｔ（１，１）に対応する画素の画素値を設定する。

【0082】

以上の通り、Ｒｕｎｉｔ（ｉ，ｊ）に含まれる単一の非欠損画素値と１対１に対応させるようにＩＭＧＲ３（ｉ，ｊ）の画素値を設定することにより、解像度Ｗ／２×Ｈ／２を有するＲチャネル画像であるＩＭＧＲ３が生成される。

【0083】

図３の各色カラーフィルタの配置によれば、ＩＭＧＢ１における１つの青色画素ユニットＢｕｎｉｔは、１つの非欠損画素のみを含んでいる。従って、ＩＭＧＲ３についての上記の例と同様に、ＩＭＧＢ１に基づいてＩＭＧＢ３が生成されてよい。例えば、Ｂｕｎｉｔ（１，１）は、非欠損画素としてＩＭＧＢ１（２，２）のみを含んでいる。そこで、脈波検出部１２Ａは、
ＩＭＧＢ３（１，１）＝ＩＭＧＢ１（２，２） …（６）
として、ＩＭＧＢ３（１，１）を設定してよい。

【0084】

図１１の例では、ＩＭＧＢ１（２，２）＝１８０である。このため、脈波検出部１２Ａは、ＩＭＧＢ３（１，１）＝１８０として、Ｂｕｎｉｔ（１，１）に対応する画素の画素値を設定する。このように、Ｂｕｎｉｔ（ｉ，ｊ）に含まれる単一の非欠損画素値と１対１に対応させるようにＩＭＧＢ３（ｉ，ｊ）の画素値を設定することにより、解像度Ｗ／２×Ｈ／２を有するＢチャネル画像であるＩＭＧＲ３が生成される。

【0085】

ところで、図３の各色カラーフィルタの配置によれば、ＩＭＧＧ１における１つの緑色画素ユニットＧｕｎｉｔは、２つの非欠損画素を含んでいる。例えば、Ｇｕｎｉｔ（１，１）は、２つの非欠損画素としてＩＭＧＧ１（１，２）およびＩＭＧＧ１（２，１）を含んでいる。

【0086】

そこで、脈波検出部１２Ａは、１つのＢｕｎｉｔにおける２つの非欠損画素値の平均値を、当該画素ユニットに対応するＩＭＧＢ３の画素値として設定してよい。一例として、脈波検出部１２Ａは、
ＩＭＧＧ３（１，１）＝｛ＩＭＧＧ１（１，２）＋ＩＭＧＧ１（２，１）｝／２
…（７）
として、ＩＭＧＧ３（１，１）を設定してよい。図１１の例では、ＩＭＧＧ１（１，２）＝１４０、ＩＭＧＧ１（２，１）＝１５０である。このため、脈波検出部１２Ａは、ＩＭＧＧ３（１，１）＝１４５として、Ｇｕｎｉｔ（１，１）に対応する画素の画素値を設定する。

【0087】

このように、Ｇｕｎｉｔ（ｉ，ｊ）に含まれる２つの非欠損画素値の平均値と１対１に対応させるようにＩＭＧＧ３（ｉ，ｊ）の画素値を設定することにより、解像度Ｗ／２×Ｈ／２を有するＧチャネル画像であるＩＭＧＧ３が生成される。

【0088】

以上の通り、脈波検出部１２Ａは、ある色のチャネル画像における１つの画素ユニットに含まれる１つ以上の非欠損画素の画素値の統計値（例：平均値）に基づいて、当該ある色の低解像度チャネル画像における上記画素ユニットに対応する画素の画素値を設定してよい。これにより、非欠損画素値の補間を行うことなく、各色の低解像度チャネル画像を生成できる。

【0089】

続いて、脈波検出部１２Ａは、ＩＭＧＲ３、ＩＭＧＧ３、およびＩＭＧＢ３を合成することにより、解像度Ｗ／２×Ｈ／２を有する低解像度関心領域フルカラー画像ＩＭＧ３を生成する。図１２には、ＩＭＧ３の一例が示されている。ＩＭＧ３は、上述のＩＭＧ２と同様に、フルカラーＲＧＢ画像である。

【0090】

具体的には、脈波検出部１２Ａは、
ＩＭＧ３（ｉ，ｊ）
＝｛ＩＭＧＲ３（ｉ，ｊ），ＩＭＧＧ３（ｉ，ｊ），ＩＭＧＢ３（ｉ，ｊ）｝…（８）
として、ＩＭＧ３（ｉ，ｊ）のＲ画素値、Ｇ画素値、およびＢ画素値をそれぞれ設定する。上述の通り、ＩＭＧＲ３（１，１）＝８０、ＩＭＧＧ２（１，１）＝１４５、ＩＭＧＢ３（１，１）＝１８０である。従って、脈波検出部１２Ａは、ＩＭＧ３（１，１）＝（８０，１４５，１８０）として、ＩＭＧ３（１，１）を設定する。

【0091】

脈波検出部１２Ａは、フレームごとに、ＩＭＧ３に含まれる各画素の画素値（ＲＧＢ画素値）を用いて、Ｒａｖｅ、Ｇａｖｅ、およびＢａｖｅを、それぞれ算出する。このように、脈波検出部１２Ａは、ＩＭＧ３に基づいてＲａｖｅ、Ｇａｖｅ、およびＢａｖｅの時系列データを導出する。そして、脈波検出部１２は、実施形態１と同様に、当該時系列データを解析することにより、脈波を検出する。

【0092】

以上の通り、脈波検出装置２によれば、非欠損画素値の補間を行うことなく生成された関心領域のフルカラー画像（例：ＩＭＧ３）に基づき、脈波を検出できる。このため、非欠損画素値の補間に起因する誤差の影響を排除した上で、脈波を検出できる。それゆえ、脈波検出装置２によれば、脈波の検出精度をより一層高めることができる。

【0093】

〔実施形態３〕
図１３は、実施形態３の脈波検出装置３の要部の構成を示すブロック図である。脈波検出装置３の映像解析装置を、映像解析装置１０Ｂと称する。映像解析装置１０Ｂは、映像解析装置１０とは異なり、映像記憶部１３をさらに有する。また、脈波検出装置３の脈波検出部を、脈波検出部１２Ｂと称する。脈波検出部１２Ｂは、脈波検出部１２とは異なる手法によって脈波を検出する。

【0094】

映像記憶部１３は、撮像装置５０（より具体的には、撮像部５２）が生成した映像を記憶する。一例として、映像記憶部１３は、撮像部５２が生成したＲＡＷ映像を記憶する。なお、映像記憶部１３は、撮像部５２が生成した映像のうち、関心領域検出部１１が検出した関心領域９１０に含まれる画素の画素値のみを記録してもよい。

【0095】

映像記憶部１３が記憶する映像のフレーム数は、予め設定された所定のフレーム数であってよい。言い換えれば、映像記憶部１３が記憶する映像の時間長は、予め設定されていてよい。一例として、所定のフレーム数が３００に設定されている場合を考える。この場合、映像記憶部１３は、撮像部５２が生成した映像のフレーム数が３００フレームに達するまで、当該映像の各フレームを記憶する。

【0096】

なお、映像記憶部１３は、映像から生体９００の顔領域が検出されている期間に亘って、当該映像を記憶してもよい。例えば、映像記憶部１３は、関心領域検出部１１によって映像から顔領域が検出されたことを契機として、当該映像の記憶を開始してよい。そして、映像記憶部１３は、関心領域検出部１１によって映像から顔領域が検出されなくなった（顔領域の検出が終了した）ことを契機として、当該映像の記憶を終了してもよい。

【0097】

また、映像記憶部１３は、映像中において検出された顔領域の位置が大きく変化した場合に、当該映像の記憶を終了してもよい。このような顔領域の位置の大きい変化は、例えば生体９００が大きく動いた場合に生じうる。

【0098】

一例として、実施形態３の関心領域検出部１１では、顔領域の位置の変化についての許容閾値（換言すれば、生体９００の動きについての許容閾値）が予め設定されていてもよい。この場合、映像記憶部１３は、映像の任意の２つのフレーム間（例：隣接する２つのフレーム間）における顔領域の位置の変化量（移動量）が許容閾値以上であると関心領域検出部１１が判定した場合に、当該映像の記憶を終了してもよい。

【0099】

許容閾値は、実空間における生体９００のサイズ（より具体的には、生体９００の顔のサイズ）を基準として、脈波検出装置３の設計者によって適宜設定されてよい。例えば、許容閾値は、映像における５０画素分の長さに設定されていてよい。５０画素分という本例の長さは、例えば、実空間における５センチメートルに相当する長さとして設定されている。

【0100】

脈波検出部１２Ｂは、映像記憶部１３が記憶した映像の各フレームにおいて、関心領域９１０に含まれる複数の画素のうち、Ｌｔｈ以上の画素値を有する画素を、特定高輝度画素として特定する。例えば、脈波検出部１２Ｂは、映像記憶部１３が記憶した映像の各フレームにおいて、Ｌｔｈ１以上の画素値を有する画素を、飽和画素として特定する。

【0101】

この場合、例えば、脈波検出部１２Ｂは、映像記憶部１３が記憶した映像の全フレームに亘って通常画素であると特定された画素の画素値のみを用いて、Ｒａｖｅ、Ｇａｖｅ、およびＢａｖｅのそれぞれの時系列データを導出する。例えば、脈波検出部１２Ｂは、映像記憶部１３が記憶した映像の全フレームに亘って非飽和画素であると特定された画素の画素値のみを用いて、Ｒａｖｅ、Ｇａｖｅ、およびＢａｖｅのそれぞれの時系列データを導出してよい。

【0102】

なお、脈波検出部１２Ｂは、実施形態１と同様に、ＩＭＧ２に基づいてＲａｖｅ、Ｇａｖｅ、およびＢａｖｅのそれぞれの時系列データを導出してもよい。あるいは、脈波検出部１２Ｂは、実施形態２と同様に、ＩＭＧ３に基づいてＲａｖｅ、Ｇａｖｅ、およびＢａｖｅのそれぞれの時系列データを導出してもよい。

【0103】

映像記憶部１３に記憶される映像では、全フレームに亘って関心領域９１０に含まれる画素数は同じである必要がある。また、映像中の各画素は、全フレームに亘って、生体９００の同一箇所の色情報を表現していることが望ましい。

【0104】

このため、映像記憶部１３は、生体９００が動いた場合には、所定の画像処理技術によって、当該生体９００の同一箇所を追尾（トラッキング）した画像を生成してもよい。あるいは、撮像装置５０に、生体９００を追尾する機能を付与してもよい。また、上述の通り、生体９００が大きく動いた場合には、映像記憶部１３に映像の記憶を終了させてもよい。

【0105】

脈波検出装置３では、映像の全フレームに亘って、関心領域９１０に含まれる同じ画素数の画素の情報（例：同じ画素数の画素値分布）を使用して、脈波を検出できる。すなわち、脈波検出装置３では、映像のフレーム間における関心領域９１０に含まれる画素数の違いに起因する誤差の影響を低減して、脈波を検出できる。

【0106】

以上の通り、脈波検出装置３は、映像記憶部１３が記憶した映像の全フレームに亘って（言い換えれば、映像記憶部１３が記憶した映像の時間長の全体に亘って）、特定高輝度画素の影響を低減させた上で、関心領域９１０に含まれる複数の画素の画素値の時間変化に基づいて、脈波を検出する。

【0107】

但し、当業者であれば明らかである通り、脈波検出装置３は、必ずしも映像の全フレームに亘って、特定高輝度画素の影響を低減させる必要はない。脈波検出装置３は、映像記憶部１３が記憶した映像の少なくとも１つのフレームにおいて、特定高輝度画素の影響を低減させた上で、関心領域９１０に含まれる複数の画素の画素値の時間変化に基づいて、脈波を検出できればよい。

【0108】

〔ソフトウェアによる実現例〕
脈波検出装置１～３（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に、映像解析装置１０～１０Ｂに含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0109】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0110】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0111】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0112】

また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。

【0113】

〔付記事項〕
本開示の一態様は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成できる。

【符号の説明】

【0114】

１、２、３ 脈波検出装置
１０、１０Ａ、１０Ｂ 映像解析装置
１１ 関心領域検出部
１２、１２Ａ、１２Ｂ 脈波検出部
１３ 映像記憶部
５０ 撮像装置
５１ カラーフィルタ部
５２ 撮像部
５２０ 撮像素子
５１０ カラーフィルタユニット
５１１Ｒ 赤色カラーフィルタ
５１１Ｇ、５１１Ｇ１・５１１Ｇ２ 緑色カラーフィルタ
５１１Ｂ 青色カラーフィルタ
６１０ 飽和画素（特定高輝度画素）
６１５ 周辺画素（特定高輝度画素）
６２０、６２０Ａ 通常画素（特定高輝度画素を除いた画素）
９００ 生体
９１０ 関心領域
ＩＭＧ 画像（生体が映った映像の１フレーム）
ＩＭＧ２ 関心領域フルカラー画像
ＩＭＧ３ 低解像度関心領域フルカラー画像
Ｌｔｈ１ 飽和閾値（画素値閾値）
Ｌｔｈ２ 画素値閾値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】