特許 7443044 生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-26

(45)【発行日】2024-03-05

(54)【発明の名称】生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240227BHJP

   A61B 5/02 20060101ALI20240227BHJP

   A61B 5/0245 20060101ALI20240227BHJP

   A61B 5/021 20060101ALI20240227BHJP

   G03B 15/00 20210101ALI20240227BHJP

   G03B 7/091 20210101ALI20240227BHJP

【ＦＩ】

G06T7/00 660A

A61B5/02 310Z

A61B5/0245 Z

A61B5/021

G03B15/00 Q

G03B7/091

【請求項の数】 16

(21)【出願番号】P 2019225919

(22)【出願日】2019-12-13

(65)【公開番号】P2021096537

(43)【公開日】2021-06-24

【審査請求日】2022-09-21

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】富澤 亮太

(72)【発明者】

【氏名】奥村 哲也

(72)【発明者】

【氏名】足立 佳久

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開２０１４－１９８２０１（ＪＰ，Ａ）

【文献】特開２０１８－０６８７２０（ＪＰ，Ａ）

【文献】特開２００５－０４９８５４（ＪＰ，Ａ）

【文献】特開２００９－０４４４６１（ＪＰ，Ａ）

【文献】特開２００５－２１８５０７（ＪＰ，Ａ）

【文献】特開２０１８－００８０３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ａ６１Ｂ ５／０２

Ａ６１Ｂ ５／０２４５

Ａ６１Ｂ ５／０２１

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／０９１

(57)【特許請求の範囲】

【請求項1】

生体情報を取得する生体情報取得装置であって、
撮像部に撮像された第１の画像に含まれる１以上の被写体の顔のうち、最も大きく写った、第１の被写体の顔を検出する顔検出部と、
上記顔検出部により検出された上記第１の被写体の顔が上記生体情報を取得するのに適した方向である第１の方向を向いているかを判定する顔方向判定部と、
上記第１の被写体の顔は上記第１の方向を向いていると上記顔方向判定部が判定した場合に、上記撮像部により撮像された、上記第１の画像とは異なる第２の画像から上記第１の被写体の生体情報を算出する算出部と、を備え、
上記第２の画像に含まれる、上記第１の被写体とは異なる第２の被写体の顔が最も大きい顔であることを上記顔検出部が検出した場合に、上記撮像部による上記第２の画像の連続的な撮像を停止させる、生体情報取得装置。

【請求項2】

生体情報を取得する生体情報取得装置であって、
撮像部に撮像された第１の画像に含まれる１以上の被写体の顔のうち、最も大きく写った、第１の被写体の顔を検出する顔検出部と、
上記顔検出部により検出された上記第１の被写体の顔が上記生体情報を取得するのに適した方向である第１の方向を向いているかを判定する顔方向判定部と、
上記第１の被写体の顔は上記第１の方向を向いていると上記顔方向判定部が判定した場合に、上記撮像部により撮像された、上記第１の画像とは異なる第２の画像から上記第１の被写体の生体情報を算出する算出部と、を備え、
上記第１の方向は、上記第１の被写体と予め対応付けられている、生体情報取得装置。

【請求項3】

上記撮像部が上記第２の画像を連続的に撮像している間に上記第１の被写体の顔が上記第１の方向とは異なる第２の方向を向いていると上記顔方向判定部が判定した場合に、上記撮像部による上記第２の画像の撮像を停止させる、請求項１または２に記載の生体情報取得装置。

【請求項4】

上記算出部は、上記撮像部による上記第２の画像の撮像開始と同時、又は、上記撮像部による上記第２の画像の撮像終了後に上記生体情報を算出する、請求項１から３の何れか１項に記載の生体情報取得装置。

【請求項5】

上記顔検出部および上記顔方向判定部の少なくとも何れか一方は、上記撮像部が上記第２の画像を撮像している間に動作を停止する、請求項１から４の何れか１項に記載の生体情報取得装置。

【請求項6】

上記算出部は、上記第１の被写体の顔の向きに応じて、上記生体情報を取得する上記第１の被写体の身体の部位を変更する、請求項１から５の何れか１項に記載の生体情報取得装置。

【請求項7】

上記第１の方向は、上記撮像部と正対する方向、上記画像の縦方向を軸とした水平方向の角度、及び、上記画像の横方向を軸とした垂直方向の角度のうちの何れか一つにより規定される、請求項１から６の何れか１項に記載の生体情報取得装置。

【請求項8】

上記第１の方向は、（１）上記生体情報の種類、（２）上記第１の被写体の、上記生体情報を取得する身体の部位、及び、（３）上記生体情報を取得する被写体、のうちの少なくとも何れか一つに応じて変更される、請求項１から７の何れか１項に記載の生体情報取得装置。

【請求項9】

上記生体情報は、脈波、脈拍数、及び血圧のうちの少なくとも一つを含む、請求項１から８の何れか１項に記載の生体情報取得装置。

【請求項10】

生体情報を取得する端末装置であって、
第１の画像及び第２の画像を撮像する撮像部と、
上記第１の画像に含まれる複数の被写体の顔のうち、最も大きく写った、第１の被写体の顔を検出する顔検出部と、
上記顔検出部により検出された上記第１の被写体の顔が上記生体情報の取得に適した第１の方向を向いているかを判定する顔方向判定部と、
上記第１の被写体の顔は上記第１の方向を向いていると上記顔方向判定部が判定した場合に、上記第２の画像から上記第１の被写体の生体情報を算出する算出部と、を備え、
上記第２の画像に含まれる、上記第１の被写体とは異なる第２の被写体の顔が最も大きい顔であることを上記顔検出部が検出した場合に、上記撮像部による上記第２の画像の連続的な撮像を停止させる、端末装置。

【請求項11】

生体情報を取得する端末装置であって、
第１の画像及び第２の画像を撮像する撮像部と、
上記第１の画像に含まれる複数の被写体の顔のうち、最も大きく写った、第１の被写体の顔を検出する顔検出部と、
上記顔検出部により検出された上記第１の被写体の顔が上記生体情報の取得に適した第１の方向を向いているかを判定する顔方向判定部と、
上記第１の被写体の顔は上記第１の方向を向いていると上記顔方向判定部が判定した場合に、上記第２の画像から上記第１の被写体の生体情報を算出する算出部と、を備え、
上記第１の方向は、上記第１の被写体と予め対応付けられている、端末装置。

【請求項12】

上記撮像部、上記顔検出部、上記顔方向判定部、及び上記算出部のうち少なくとも何れかの動作状態をユーザに通知する通知部を備える、請求項１０または１１に記載の端末装置。

【請求項13】

生体情報を取得する生体情報取得方法であって、
撮像部に撮像された第１の画像に含まれる複数の被写体の顔のうち、最も大きく写った、第１の被写体の顔を検出する検出ステップと、
上記検出ステップにて検出された上記第１の被写体の顔が上記生体情報の取得に適した第１の方向を向いているかを判定する判定ステップと、
上記第１の被写体の顔は上記第１の方向を向いていると上記判定ステップにて判定された場合に、上記撮像部により撮像された、上記第１の画像とは異なる第２の画像から上記第１の被写体の生体情報を算出する算出ステップと、を含み、
上記第２の画像に含まれる、上記第１の被写体とは異なる第２の被写体の顔が最も大きい顔であることを上記検出ステップで検出した場合に、上記撮像部による上記第２の画像の連続的な撮像を停止させる、生体情報取得方法。

【請求項14】

生体情報を取得する生体情報取得方法であって、
撮像部に撮像された第１の画像に含まれる複数の被写体の顔のうち、最も大きく写った、第１の被写体の顔を検出する検出ステップと、
上記検出ステップにて検出された上記第１の被写体の顔が上記生体情報の取得に適した第１の方向を向いているかを判定する判定ステップと、
上記第１の被写体の顔は上記第１の方向を向いていると上記判定ステップにて判定された場合に、上記撮像部により撮像された、上記第１の画像とは異なる第２の画像から上記第１の被写体の生体情報を算出する算出ステップと、を含み、
上記第１の方向は、上記第１の被写体と予め対応付けられている、生体情報取得方法。

【請求項15】

請求項１から９の何れか１項に記載の生体情報取得装置としてコンピュータを機能させるための生体情報取得プログラムであって、上記顔検出部、上記顔方向判定部、および上記算出部としてコンピュータを機能させるための生体情報取得プログラム。

【請求項16】

請求項１５に記載の生体情報取得プログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、生体情報を取得することが可能な、生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体に関する。

【背景技術】

【0002】

端末装置が撮像した画像の中に複数の顔が検出された場合に、その複数の顔から１人を選択する技術が知られている。特許文献１は、複数の顔それぞれの画像の大きさを比較し、その大きさが最も大きい顔に基づいて被写体を決定する技術を開示する。特許文献２、３も、画像の中の複数の顔から１つの顔を選択する技術を開示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平２００５－０４９８５４号公報（２００５年２月２４日公開）

【文献】特開平２００７－６０３３号公報（２００７年１月１１日公開）

【文献】特開平２００９－７７２６６号公報（２００９年４月９日公開）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述のような従来技術は次のような課題を有する。

【0005】

近年、カメラで撮像した人物の顔の動画像を解析することでその人物の脈波を算出する技術が開発されている。そのような技術を利用したアプリケーションが、カメラ付き携帯端末（スマートフォンなど）において広く使われている。複数の人物の顔が動画像に写っている場合、原理的には、当該複数の人物の脈波を測定することは可能である。

【0006】

しかしながら、複数の人物の脈波を同時に算出しようとすると、携帯端末の画像処理能力（計算能力）に大きな負荷をかける。そこで、リアルタイムで精度よく脈波を取得するために、複数の人物のうち１人を選択して、その選択された１人の脈波を取得する方法が考えられる。特許文献１～３は、画像中の複数の顔から１つの顔を選択する技術を開示する。一方で、特許文献１～３は、画像中の顔から脈波を算出する技術を開示していない。

【0007】

さらに、一般には、人物の顔が大きく撮像されている場合には脈波の算出に使用できる画素の個数が増え、その結果、シグナルノイズ比の高い脈波を取得しやすくなる。

【0008】

しかしながら、撮像された人物の顔が大きいからといって、必ずしも精度の高い脈波を取得できるわけではない。この点を課題として指摘する先行技術文献は見当たらない。

【0009】

本開示の一態様は、測定対象の生体の像を含む画像から当該測定対象の生体情報を、従来よりも高い精度で取得することが可能な、生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体を実現することを目的とする。

【課題を解決するための手段】

【0010】

上記の課題を解決するために、本開示の一態様に係る生体情報取得装置は、生体情報を取得する生体情報取得装置であって、撮像部に撮像された第１の画像に含まれる１以上の被写体の顔のうち、最も大きく写った、第１の被写体の顔を検出する顔検出部と、上記顔検出部により検出された上記第１の被写体の顔が上記生体情報を取得するのに適した方向である第１の方向を向いているかを判定する顔方向判定部と、上記第１の被写体の顔は上記第１の方向を向いていると上記顔方向判定部が判定した場合に、上記撮像部により撮像された、上記第１の画像とは異なる第２の画像から上記第１の被写体の生体情報を算出する算出部と、を備える。

【0011】

上記の課題を解決するために、本開示の一態様に係る端末装置は、生体情報を取得する端末装置であって、第１の画像及び第２の画像を撮像する撮像部と、上記第１の画像に含まれる１以上の被写体の顔のうち、最も大きく写った、第１の被写体の顔を検出する顔検出部と、上記顔検出部により検出された上記第１の被写体の顔が上記生体情報の取得に適した第１の方向を向いているかを判定する顔方向判定部と、上記第１の被写体の顔は上記第１の方向を向いていると上記顔方向判定部が判定した場合に、上記第２の画像から上記第１の被写体の生体情報を算出する算出部と、を備える。

【0012】

上記の課題を解決するために、本開示の一態様に係る生体情報取得方法は、生体情報を取得する生体情報取得方法であって、撮像部に撮像された第１の画像に含まれる１以上の被写体の顔のうち、最も大きく写った、第１の被写体の顔を検出する検出ステップと、上記検出ステップにて検出された上記第１の被写体の顔が上記生体情報の取得に適した第１の方向を向いているかを判定する判定ステップと、上記第１の被写体の顔は上記第１の方向を向いていると上記判定ステップにて判定された場合に、上記撮像部により撮像された、上記第１の画像とは異なる第２の画像から上記第１の被写体の生体情報を算出する算出ステップと、を含む。

【発明の効果】

【0013】

本開示の一態様によれば、測定対象の生体の像を含む画像から当該測定対象の生体情報を、従来よりも高い精度で算出することができる。

【図面の簡単な説明】

【0014】

【図1】本開示に係る生体情報取得部を備えた端末装置の要部構成図である。

【図2】脈波を取得される人が第２の方向を向いた場合に、その人物の脈波が取得され続ける様子を示す。

【図3】脈波を取得される人が第２の方向を向いた場合に、その人物の脈波の取得が中断される様子を示す。

【図4】撮像部が撮像した画像の一例を示す。

【図5】顔検出部が顔検出した画像の一例を示す。

【図6】顔検出部が出力した検出結果の一例を示す。

【図7】顔検出部が顔検出した画像の一例を示す。

【図8】顔方向判定部による判定結果の一例を示す。

【図9】本開示に係る端末装置により脈波を取得するフローである。

【図10】他の実施形態に係る端末装置により脈波を取得するフローである。

【図11】他の実施形態に係る、端末装置を備えた端末装置の要部構成図である。

【図12】他の実施形態に係る端末装置の外観図の一例である。

【発明を実施するための形態】

【0015】

以下、本開示の実施形態を図面に基づいて説明する。以下に説明する実施形態は、本開示の実現手段としての一例であり、本開示が適用される装置の構成又は各種条件によって適宜修正又は変更されるべきものであり、本開示は以下の実施形態に限定されるものではない。また、以下に説明する図面において、同一または機能的に同様の構成要素については同一符号を付し、その繰り返しの説明は省略する。さらに、各図面は、以下の説明と併せて参照したときに分かりやすいように示したものであり、必ずしも一定の比率の縮尺で描かれていない。

【0016】

〔生体情報取得装置１０の動作（概要）〕
最初に、本開示に係る生体情報取得装置１０の動作を図２、図３により説明する。生体情報取得装置１０は、撮像した人物の画像から、その人物の生体情報を取得するための装置である。生体情報は、脈波、脈拍数、又は血圧等を含む。また、生体情報は、心拍間隔（ＲＲＩ：RRInterval）、呼吸性洞性不整脈成分（ＲＳＡ：Respiratory Sinus Arrhythmia）、呼吸数、血圧性変動（ＭＷＳＡ：Mayer Wave related Sinus Arrhythmia）等も含んでよい。以下の説明では、生体情報は脈波であるものとする。

【0017】

図２、図３では、画面内に複数の人が検出された場合に、複数の顔それぞれの画像の大きさが比較され、最も大きい顔の人物の脈拍が取得されるものとする。

【0018】

図２は、脈波を取得される人が第２の方向を向いた場合に、その人物の脈波が取得され続ける様子を示す。図２は、生体情報取得装置１０が使用されない場合に対応する。

【0019】

図２の１１０では、画面内に２人の人が検出されている。手前の人（以下、「第１の人物」（第１の被写体）と称する。）の脈拍が取得される。第１の人物は第１の方向を向いている。第１の方向は、脈波取得に適した方向である。

【0020】

図２の１２０では、第１の人物は第２の方向を向いている。第２の方向は、第１の方向とは異なる方向である。図２の１２０は、第１の人物が第２の方向を向いた場合においても、第１の人物の脈波が取得され続ける様子を示す。第１の人物が第２の方向を向いているため、取得される第１の人物の脈波は精度が低くなりうる。

【0021】

図３は、脈波を取得される人が第２の方向を向いた場合に、その人物の脈波の取得が中断される様子を示す。図３は、生体情報取得装置１０が使用される場合に対応する。図３の１３０は図２の１１０と同様の状況を示すため、ここでの説明は省略する。

【0022】

図３の１４０では、第１の人物は第２の方向を向いている。第２の方向は、脈波取得に適した方向ではない。そのため、生体情報取得装置１０は、第１の人物の脈拍の取得を中断する。これにより、生体情報取得装置１０は、第１の人物の脈拍をより高い精度で取得することができる。

【0023】

以下、生体情報取得装置１０、及び生体情報取得装置１０を備えた端末装置１の詳細を図１等により説明する。

【0024】

〔端末装置１および生体情報取得装置１０の構成〕
図１は、本開示に係る生体情報取得装置１０を備えた端末装置１の要部構成図である。端末装置１は、撮像した人物の顔の画像（動画像）からその人物の生体情報を取得（算出）することが可能な端末装置である。端末装置１は、スマートフォン、タブレット、ノートＰＣ、又は脈波測定用専用端末等であってよい。生体情報は、脈波、脈拍数、又は血圧等を含む。以下の説明では、生体情報は脈波とする。

【0025】

端末装置１は、撮像部２と生体情報取得装置１０とを備える。

【0026】

撮像部２は、画像を撮像し、その画像に係る画像データを顔検出部１１に出力する。撮像部２は、動画像を撮像し、その動画像に係る動画像データを、顔検出部１１および脈波算出部１３（算出部）に出力する。撮像部２は、画像データ及び／又は動画像データを、顔検出部１１、顔方向判定部１２、及び脈波算出部１３に出力してもよい。撮像部２は、動画像の撮像に代えて、複数の画像を連続的に撮像してもよい。

【0027】

撮像部２は、ＲＧＢカメラ又は赤外線カメラ等の撮像装置で構成される。撮像部２は、撮像部２が出力した動画像データに基づいて脈波を算出されることが可能な任意の撮像装置であってよい。

【0028】

生体情報取得装置１０は、撮像された人物の動画像から、その人物の生体情報（脈波等）を取得するための装置である。生体情報取得装置１０は、顔検出部１１、顔方向判定部１２、及び脈波算出部１３（算出部）を備える。

【0029】

顔検出部１１は、撮像部２が撮像した画像および動画像に写る最も大きい顔の人物を検出し、検出結果を顔方向判定部１２及び脈波算出部１３に出力する。検出結果は、例えば、（１）顔検出部１１が検出した顔の領域の画像、（２）その領域の位置、（３）その領域の大きさ、などに関する情報を含む。撮像部２が撮像した画像および動画像に１人しか人物が写っていない場合、顔検出部１１は、その１人の顔に関する検出結果を顔方向判定部１２及び脈波算出部１３に出力する。

【0030】

顔方向判定部１２は、顔検出部１１が出力した検出結果に基づいて、顔検出部１１が検出した顔の向きを判定する。顔方向判定部１２は、判定結果を脈波算出部１３に出力する。判定結果は、（１）顔方向判定部１２が判定した顔の向きが第１の方向（脈波取得に適した方向）であるか否か、及び／又は、（２）顔方向判定部１２が判定した顔の向きの角度、などに関する情報を含む。

【0031】

脈波算出部１３は、顔方向判定部１２が出力した判定結果に基づき、撮像部２が取得した動画像データから顔検出部１１が検出した顔の脈波を算出する。算出された脈波は、端末装置１に備えられたディスプレイなどで表示されてもよいし、メモリなどに保存されてもよい。

【0032】

脈波算出部１３は、算出された脈波に基づいて、他の生体情報（脈拍数、又は血圧など）を算出してもよい。脈波算出部１３は、血管の変化に伴う動画像データの画素値の変化に基づいて、他の生体情報を算出してもよい。

【0033】

顔検出部１１、顔方向判定部１２、及び脈波算出部１３は、ＣＰＵなどの演算装置によって構成され、端末装置１の内部、又は、クラウドなどの外部に設けられてもよい。

【0034】

〔顔検出部１１の動作例〕
顔検出部１１の動作例を図４～図７により説明する。図４は、撮像部２が撮像した画像の一例を示す。画面内には２人の顔が写っている。撮像部２は、撮像した画像に係る画像データを顔検出部１１に出力する。

【0035】

図５は、顔検出部１１が顔検出した画像の一例を示す。顔検出部１１は、画像に写っている２人のうち、顔の大きい方の人（第１の人物）の顔を検出する。第１の人物の顔の領域に枠が描かれている画像が端末装置１のディスプレイに表示されてもよい。

【0036】

図６は、顔検出部１１が出力した検出結果の一例を示す。検出結果は、（１）顔検出部１１が検出した顔の領域の画像、（２）その領域の位置（１７０、２０）、（３）その領域の大きさ（１００×１００）に関する情報を含む。領域の位置は、顔の領域の画像の中心点などであってよい。以下、このような検出結果を得る方法の一例を示す。

【0037】

図７は、顔検出部１１が顔検出した画像の一例を示す。最初に、顔検出部１１は、画像に写っている複数の顔をすべて検出し、それぞれの位置と大きさを検出する。次に、顔検出部１１は、検出されたすべての顔の中から、最も大きい顔を選択する。そして、顔検出部１１は、選択された顔の領域の画像、その領域の位置、及び、その領域の大きさを含む検出結果を顔方向判定部１２に出力する。顔検出部１１は、検出されたすべての顔の位置を取得しなくてもよい。顔検出部１１は、最も大きい顔を選択した後に、選択された顔の大きさを取得してもよい。

【0038】

以下、同様の検出結果を得るための他の例を示す。

【0039】

所定のテンプレートに一致する領域を探索することにより顔検出する、パターンマッチングに類似した方法がある。この方法を採用する場合、通常、探索に使用するテンプレートのサイズを複数使用して顔検出する。サイズの大きいテンプレートから順にテンプレートを使用する。これにより、最も大きい顔が最初に検出され、顔が一つでも検出された時点で顔検出を終了することができる。この方法によると、最も大きい顔のみが検出される。この方法は、複数の顔を検出する方法よりも、最も大きい顔を検出するのに要する時間を短縮できる。

【0040】

以下、同様の結果を得るための他の例を示す。

【0041】

最初に、一定のサイズを有するテンプレートを一つ準備する。次に、撮像部２が撮像した画像を拡大または縮小した複数の画像を準備する。その複数の画像のうち最も小さい画像から順に、テンプレートに一致する領域を探索する。この方法を用いることにより、顔検出部１１は、一番大きい顔を最初に検出することできる。

【0042】

以上の様々な方法により、顔検出部１１は、撮像部２が撮像した動画像に写る最も大きい顔を検出し、顔方向判定部１２及び脈波算出部１３に検出結果を出力することができる。

【0043】

〔顔方向判定部１２の動作例〕
顔方向判定部１２の動作例を図８により説明する。図８は、顔方向判定部１２による判定結果の一例を示す。顔方向判定部１２は、顔検出部１１が出力した検出結果に基づいて、顔検出部１１が検出した顔の向きを判定する。判定結果は、（１）顔方向判定部１２が判定した顔の向きが第１の方向（精度よく脈波を取得するのに適した方向）であるか否か、又は、（２）顔方向判定部１２が判定した顔の向きの角度、などに関する情報を含む。

【0044】

図８左図は、顔が撮像部２に正対する方向を向いている。この方向は、脈波取得に適した方向であり、第１の方向と称する。図８右図は、顔が撮像部２に正対しない方向を向いている。この方向は、脈波取得に適しない方向であり、第２の方向と称する。第１の方向は、顔方向判定部１２により規定されてよい。以下、具体的に説明する。

【0045】

第１の方向は、幅を持った範囲を含んでよく、例えば、正対する方向から水平方向に±４５度の範囲と規定されてよい。第１の方向は、顔の向きの角度を数字で表すことで規定されてよいし、例えば「正面」「ななめ」「横」のような言語によって規定されてもよい。

【0046】

第１の方向は、顔を左右に動かす時の、画像の縦方向を軸とした水平方向の角度で規定されてよい。第１の方向は、顔を上下に動かす時の、画像の横方向を軸とした垂直方向の角度で規定されてよい。第１の方向は、首をかしげる時、あるいは、端末装置１を傾ける時の、画像面に垂直な方向に軸を持つ回転方向の角度で規定されてよい。第１の方向は、水平方向の角度、垂直方向の角度、及び／又は、回転方向の角度といった複数の角度を組み合わせて規定されてよい。

【0047】

第１の方向は、取得したい脈波の種類、又は脈波を取得する位置などに基づいて規定されてよい。例えば、左右の両頬における脈波を取得する場合には、第１の方向は、顔が端末装置１に正対する向きであってよい。右頬の脈波を取得する場合には、第１の方向は、顔が端末装置１に正対する方向から水平方向に回転した、顔が画面の右側を向く方向であってよい。首筋の脈波を取得する場合には、第１の方向は、顔が端末装置１に正対する方向から垂直方向に回転した、顔が画面の上側を向く方向であってよい。顔に光が真上から当たっている環境において頬で脈波を取得する場合には、第１の方向は、顔がカメラに正対する方向から回転方向に回転した、首を傾げる、又は身体を傾ける方向であってよい。

【0048】

顔面の血管の分布には個人差があるため、精度よく脈波を取得できる顔の角度は人によって異なる。そのため、第１の方向は、個々人ごとに規定されてよい。その場合、顔検出部１１の出力する検出結果に個人を識別する情報を含める。端末装置１は、複数の人物の顔を予めメモリに記録しておき、そのメモリの顔と顔検出した顔とを照合し、人物を特定することができる。顔方向判定部１２は、その人物を識別する情報に基づいて第１の方向を規定する。すなわち、第１の方向は、第１の人物に対して予め対応付けられている。個人を識別する情報は、人物の名前、文字、記号、又は数字などで表される、個人を識別するコード等である。

【0049】

顔方向判定部１２は、上記の様々な第１の方向を公知の方法を用いて規定（判定）することができる。例えば、顔方向判定部１２は、顔の器官（目、口など）の位置関係に基づいて顔の角度を推定（判定）してよい。また、顔方向判定部１２は、顔の角度の様々なテンプレートを用い、それらテンプレートとのマッチング結果に応じて顔の方向（角度）を推定（判定）してもよい。

【0050】

〔脈波算出方法〕
次に、端末装置１により脈波を取得する方法を図９により説明する。図９は、端末装置１により脈波を取得するフローである。

【0051】

まず、Ｓ１０にて、撮像部２を起動する。

【0052】

次に、Ｓ２０にて、撮像部２が、画像を撮像し、動画像データを取得する。撮像部２は、顔検出部１１に動画像データを出力する。

【0053】

Ｓ３０では、顔検出部１１が、撮像部２により撮像された画像に写っている最も大きい顔を検出する。顔検出部１１が最も大きい顔を検出した場合（Ｓ４０にてＹｅｓ）、Ｓ５０に進む。顔検出部１１は、顔方向判定部１２及び脈波算出部１３に検出結果を出力する。検出結果は、検出した顔の領域の、画像、位置、及び大きさを含む。顔検出部１１が顔を１つも検出しなかった場合（Ｓ４０にてＮｏ）、Ｓ２０に戻る。

【0054】

Ｓ５０では、顔方向判定部１２が、検出結果に含まれる、最も大きい顔の画像の顔の向きが第１の方向であるか否かを判定する。Ｓ５０にてＹｅｓの場合はＳ６０に進む。Ｓ５０にてＮｏの場合はＳ２０に戻る。

【0055】

Ｓ６０では、撮像部２が、動画像を撮像し、動画像データを取得する。撮像部２は、脈波算出部１３に動画像データを出力する。

【0056】

Ｓ７０では、脈波算出部１３が、動画像データに基づいて、顔検出部１１により検出された顔の脈波を算出する。動画像中の顔の位置は、検出結果に含まれる顔の位置の情報に基づいて決定される。

【0057】

以上により、生体情報取得装置１０は、撮像部２により撮像された画像（動画像）に写った人のうち、最も顔が大きく写った人物の脈波を、その人物が第１の方向を向いているときに取得することができる。

【0058】

一般に、人物の顔が大きく撮像されている場合には脈波の算出に使用できる画素の個数が増え、その結果、シグナルノイズ比の高い脈波を取得しやすくなる。端末装置１は、撮像部２に撮像された画像に含まれる１以上の人物のうち、最も顔の大きく写った人物の脈波を取得する。これにより、端末装置１は、精度の高い脈波を取得することができる。

【0059】

端末装置１のユーザが自身の脈波を取得しようとする場合、そのユーザは撮像部２から最も近い位置にいる可能性が高い。つまり、端末装置１に近い人ほど、動画像内で大きく写りやすい。このため、端末装置１は、ユーザの脈波を取得しやすくする。

【0060】

端末装置１は、動画像に最も大きく写った人が第１の方向を向いたときに、その人物の脈波を取得する。これにより、端末装置１は、より精度の高い脈波を取得することができる。

【0061】

端末装置１は以下の構成を備えてもよい。

【0062】

顔検出部１１は、公知の技術を用いて顔検出することができる。公知の技術として、例えば、パターンマッチングなどの機械学習が挙げられる。

【0063】

撮像部２が顔方向判定部１２に画像データを出力する場合、顔検出部１１は、顔検出部１１が検出した顔の領域の画像を検出結果に含めなくてもよい。顔方向判定部１２は、検出結果に含まれる顔の領域の位置に基づいて、最も大きい顔の領域の画像を取得することができる。

【0064】

顔方向判定部１２は脈波算出部１３に判定結果を出力する。その判定結果が、顔検出部１１から顔方向判定部１２に出力された検出結果に含まれていた顔の位置を示す情報を含んでもよい。この場合、顔検出部１１は、脈波算出部１３に検出結果を出力しなくてもよい。脈波算出部１３は、撮像部２から出力された動画像データから検出結果に含まれる顔の画像を探すことによって、脈波を算出する顔の位置を決定することができる。

【0065】

Ｓ６０は、事前に設定された所定の時間（例えば１０秒間）にわたって行われてよい。顔検出部１１は、撮像部２が動画像を撮像するのと同時に、動画像内の画像に写る顔を検出してもよい。顔検出部１１は検出した顔を追跡してよい。撮像部２は、動画像内の画像に顔が写っている間は動画像の撮像を続け、顔検出部１１が顔を検出しなくなったとき、あるいは、顔検出部１１が顔を追跡できなくなったとき、動画像の撮像を終了してもよい。

【0066】

脈波算出部１３は、動画像データの画素値の時間変化に基づいて、公知の技術（独立成分分析または色素成分分離など）により脈波を算出してよい。脈波算出部１３は、顔検出部１１により検出された顔の、主に皮膚が写っている部位から脈波を取得する。脈波算出部１３は、撮像部２による動画像の撮像が終了してから脈波を算出してよい。脈波算出部１３は、動画像データの取得開始と同時に脈波を算出してよい。顔方向判定部１２から脈波算出部１３に出力される判定情報に顔の向きに関する情報が含まれている場合には、脈波算出部１３は、顔の方向に応じて脈波を測定する身体の部位を変更してよい。

【0067】

〔実施形態２〕
実施形態２について、以下に説明する。説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0068】

本実施形態に係る、端末装置１により脈波を取得する他の方法を図１０により説明する。図１０は、実施形態２に係る端末装置１により脈波を取得するフローである。Ｓ１１０からＳ１６０は、図９のＳ１０からＳ６０と同一であるため、その説明は省略する。

【0069】

Ｓ１７０にて、撮像部２は、動画像データを取得しつつ、動画像に含まれる画像データを顔検出部１１へ出力する。撮像部２は、動画像に含まれるすべての画像データを顔検出部１１に出力してよい。撮像部２は、事前に設定した所定の間隔ごとに顔検出部１１に画像データを出力してよい。所定の間隔は、時間（例えば１秒ごと）、又は、枚数（例えば３０枚ごと）に基づくものであってよい。撮像部２は、顔検出部１１に出力する画像データを取得するたびに、顔検出部１１へ画像データを出力してもよい。撮像部２は、顔検出部１１に出力する画像データが任意の枚数蓄積されるたびに、顔検出部１１にそれらの画像データをまとめて出力してもよい。

【0070】

Ｓ１８０にて、顔検出部１１は、撮像部２により撮像された画像に写っている最も大きい顔を検出する。顔検出部１１が最も大きい顔を検出した場合（Ｓ１９０にてＹｅｓ）、Ｓ２００に進む。このとき、顔検出部１１は、顔方向判定部１２へ検出結果を出力する。顔検出部１１が顔を１つも検出しなかった場合（Ｓ１９０にてＮｏ）、Ｓ１２０に戻る。これにより、撮像部２は、動画像データの取得を停止（または中断）する。

【0071】

Ｓ２００では、顔方向判定部１２は、検出結果に基づいて、撮像部２が取得した動画像の中の画像に写っている最も大きい顔が第１の方向を向いているかを判定する。Ｓ２００にてＹｅｓの場合はＳ２１０に進む。顔方向判定部１２は、脈波算出部１３に判定結果を出力する。Ｓ２００にてＮｏの場合、Ｓ１２０に戻る。撮像部２は、動画像データの取得を中断する。以上の操作は、撮像部２が動画像データの取得を終了するまで続けられる（Ｓ２１０にてＹｅｓ）。

【0072】

Ｓ２２０では、脈波算出部１３が、撮像部２により撮像された動画像から、顔検出部１１により検出された顔の脈波を算出する。

【0073】

撮像部２が動画像データの取得を中断した場合、その旨がユーザに知らされてもよい。撮像部２が動画像データの取得を中断した場合、撮像部２が画像データを再取得し、顔検出部１１が最も大きい顔を検出し、顔方向判定部１２が顔の向きを判定してよい。撮像部２が動画像データの取得を中断した場合、生体情報取得装置１０は、脈波を取得するかどうかユーザに問いかけてもよい。撮像部２が動画像データの取得を中断した場合、脈波算出部１３は、それまでに取得した動画像から脈波を算出してよい。

【0074】

以上の構成によると、撮像部２が動画像データを取得している間、脈波を取得される顔が最も大きく画像内に写っており、その顔が第１の方向を向いていることが保証される。そのため、撮像部２が動画像データを取得している間に第２の方向を人物の顔が向いた場合には、脈波算出部１３は脈波を算出しない。これにより、生体情報取得装置１０は、精度の高い脈波を取得することができる。

【0075】

また、脈波を取得したい人（第１の人物）とは異なる人（第２の人物（第２の被写体））が顔検出部１１に検出されたことを受けて撮像部２が動画像データを取得開始した場合、撮像部２が動画像データを取得している間に顔検出部１１が第１の人物を検出する。顔検出部１１が第１の人物を検出したことを受けて、脈波算出部１３が第１の人物の脈波を算出する。そのような構成も実現可能である。以下、その構成を説明する。

【0076】

第１の人物がマスクまたはサングラスなどの遮蔽物を着用することで、顔検出部１１が第１の人物の顔を検出できない場合がある。そのような場合であって、かつ、画像中に第２の人物が写っていた場合、顔検出部１１は、第２の人物の顔を検出する。そして、顔方向判定部１２が第２の人物は第１の方向を向いていると判定した場合、撮像部２が動画像データを取得開始し、脈波算出部１３は第２の人物の脈波を算出する。

【0077】

実施形態１では、脈波算出部１３は第２の人物の脈波を算出し続けうる。実施形態２では、第１の人物が遮蔽物を取り除き、顔の最も大きく写った人が第２の人物から第１の人物に切り替わった場合、顔検出部１１は第１の人物を検出する。これにより、脈波算出部１３は第１の人物の脈波を取得する。

【0078】

撮像部２が動画像データを取得している間に、顔検出部１１および顔方向判定部１２を動作させるかどうか予め設定できるようにしてよい。

【0079】

例えば、脈波算出部１３が第１の人物の脈波を算出している間に撮像部２の近くに第２の人物が割り込む場合がある。このとき、顔の最も大きく写っている人が、第１の人物から第２の人物に切り替わる可能性がある。この場合、撮像部２は動画像データの取得を中断し、脈波算出部１３は第１の人物の脈波の算出を停止する。このとき、動画像の中の画像に対して顔検出部１１および顔方向判定部１２の少なくとも何れか一方の動作を停止するように予め設定していた場合、撮像部２は動画像データを取得し続け、脈波算出部１３は、第１の人物の脈波を算出することができる。

【0080】

このように、生体情報取得装置１０は、様々な構成で実現することができる。

【0081】

〔実施形態３〕
実施形態３について、図１１、図１２を用いて以下に説明する。説明の便宜上、実施形態１、２にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0082】

図１１は、本実施形態に係る、生体情報取得装置１０を備えた端末装置１５の要部構成図である。端末装置１５は、撮像部２、生体情報取得装置１０、通知部５、及びメモリ６を備える。

【0083】

通知部５は、顔方向判定部１２の判定結果に基づく通知を行う。通知部５は、例えば、（１）ディスプレイ（例えば、液晶画面または有機ＥＬ画面）、（２）音発生装置（例えば、スピーカ）、（３）光発生装置（例えば、ＬＥＤライト）、（４）振動発生装置（例えば、バイブレータ）である。通知部５は、上記（１）～（４）の組み合わせにより構成されてもよい。

【0084】

端末装置１５のユーザが、第１の方向を把握できない場合が考えられる。そのような場合、通知部５は、上記（１）～（４）の少なくとも一つを用いて、第１の方向をユーザに通知することができる。

【0085】

また、ユーザは、第１の方向を向いたときに、端末装置１５のディスプレイが見えない場合も考えられる。そのような場合、ユーザは、第１の方向を向いているのか、撮像部２が画像（動画像）の撮像をしているのか、ディスプレイを通して把握することができない。そのような場合、通知部５は、例えば上記（２）～（４）の方法によってユーザの置かれている状況をユーザに通知することができる。

【0086】

例えば、ユーザが第２の方向を向いている場合、ユーザが無理にディスプレイを視ようとすると、脈波算出部１３は、ユーザの脈波を正確に算出できない可能性がある。そこで、通知部５は、撮像部２が動画像の取得を完了したタイミングで、動画像の取得が完了したことを音により通知する。これにより、撮像部２が動画像を撮像している間、ユーザは第１の方向を向き続けることができる。

【0087】

メモリ６は、撮像部２により撮像された画像（動画像）、またはユーザを識別するための情報などを記録する。メモリ６は、当然に、実施形態１、２に係る端末装置１に含まれてよい。メモリ６は、端末装置１の内部ではなく、端末装置１の外部に設けられてよい。

【0088】

図１２は、本開示に係る端末装置１５の外観図の一例である。端末装置１５は、正面カメラ部２ａ、音発生部５ａ、及びディスプレイ７を備える。

【0089】

正面カメラ部２ａは、撮像部２として使用され、被写体である人物の画像を取得する。

【0090】

ディスプレイ７は、撮像部２が撮像した画像（動画像）、又は脈波算出部１３が算出した脈波などを表示する。

【0091】

音発生部５ａは、通知部５として使用され、顔方向判定部１２の判定結果に基づく通知を行う。音発生部５ａは、顔方向判定部１２の判定結果を音によってユーザに通知する。例えば、音発生部５ａは、ユーザの顔が第１の方向を向いているとの顔方向判定部１２による判定結果を受けて動画像の取得が開始したことを音で通知する。また、音発生部５ａは、ユーザの顔が第１の方向を向いていないとの顔方向判定部１２による判定結果を受けて音を鳴らし続ける。この場合、顔検出部１１の検出結果に基づいて、音発生部５ａは、ユーザの顔が検出されていないときにも音を鳴らし続けてもよい。

【0092】

ディスプレイ７は、音発生部５ａに代えて、あるいは、音発生部５ａとともに上記通知を行ってよい。例えば、ディスプレイ７は、第１の方向を表示する。これにより、ユーザは、第１の方向を容易に把握することができる。

【0093】

このように、通知部５は、様々な方法でユーザに各種通知をすることができる。通知部５は、撮像部２が動画像の取得を完了したタイミング、または、脈波算出部１３が脈波の算出を終了したタイミングで、その旨をユーザに通知してよい。

【0094】

このように、通知部５は、撮像部２、顔検出部１１、顔方向判定部１２、及び脈波算出部１３のうち少なくとも何れかの動作状態をユーザに通知することができる。

【0095】

生体情報取得装置１０は、人物の生体情報を取得するものとして説明した。しかしながら、生体情報取得装置１０は、同様の方法で、人間以外の生体情報を取得してもよい。従って、「被写体」には人間以外の動物も含まれてよい。

【0096】

〔ソフトウェアによる実現例〕
生体情報取得装置１０の制御ブロック（特に顔検出部１１、顔方向判定部１２、及び脈波算出部１３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0097】

後者の場合、生体情報取得装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0098】

本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

【符号の説明】

【0099】

１、１５ 端末装置
２ 撮像部
２ａ 正面カメラ部
５ 通知部
５ａ 音発生部
６ メモリ
７ ディスプレイ
１０ 生体情報取得装置
１１ 顔検出部
１２ 顔方向判定部
１３ 脈波算出部（算出部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】