IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特開2023-165459生体情報測定装置、生体情報測定方法及び生体情報測定プログラム
<>
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図1
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図2
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図3
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図4
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図5
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図6
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図7
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図8
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図9
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図10
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図11
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図12
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図13
  • 特開-生体情報測定装置、生体情報測定方法及び生体情報測定プログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023165459
(43)【公開日】2023-11-16
(54)【発明の名称】生体情報測定装置、生体情報測定方法及び生体情報測定プログラム
(51)【国際特許分類】
   A61B 5/02 20060101AFI20231109BHJP
   A61B 5/0245 20060101ALI20231109BHJP
   A61B 5/08 20060101ALI20231109BHJP
   A61B 5/1171 20160101ALI20231109BHJP
   A61B 5/1455 20060101ALI20231109BHJP
   H04N 5/64 20060101ALI20231109BHJP
   A61B 5/01 20060101ALI20231109BHJP
   A61B 5/00 20060101ALI20231109BHJP
   A61B 5/021 20060101ALI20231109BHJP
   G02B 27/02 20060101ALI20231109BHJP
【FI】
A61B5/02 B
A61B5/0245 200
A61B5/08
A61B5/1171 100
A61B5/1171 300
A61B5/1455
H04N5/64 511A
A61B5/01 350
A61B5/00 M
A61B5/021
G02B27/02 Z
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2022076466
(22)【出願日】2022-05-06
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】西村 公伸
【テーマコード(参考)】
2H199
4C017
4C038
4C117
【Fターム(参考)】
2H199CA23
2H199CA42
2H199CA76
2H199CA92
4C017AA08
4C017AA10
4C017AA12
4C017AA16
4C017AB06
4C017AC28
4C017EE01
4C017FF17
4C038KK01
4C038KL07
4C038VA04
4C038VB03
4C038VB04
4C038VC02
4C117XA01
4C117XB02
4C117XC11
4C117XD01
4C117XD05
4C117XE03
4C117XE06
4C117XE13
4C117XE15
4C117XE23
4C117XE24
4C117XE37
4C117XE42
4C117XE43
4C117XQ18
4C117XQ19
(57)【要約】
【課題】ユーザの負担を抑えて生体情報の測定を行うことが可能な生体情報測定装置、生体情報測定方法及び生体情報測定プログラムを提供すること。
【解決手段】本技術に係る生体情報測定装置は、反射スペクトル生成部と、分析処理部とを具備する。上記反射スペクトル生成部は、表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する。上記分析処理部は、上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する。
【選択図】図1
【特許請求の範囲】
【請求項1】
表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が前記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する反射スペクトル生成部と、
前記照射光の波長スペクトルである照射スペクトルと前記反射スペクトルに基づいて前記ユーザの生体情報を算出する分析処理部と
を具備する生体情報測定装置。
【請求項2】
請求項1に記載の生体情報測定装置であって、
前記反射スペクトル生成部は、前記反射光の撮像により生成されたデータである反射光受光データから前記反射スペクトルを生成する
生体情報測定装置。
【請求項3】
請求項1に記載の生体情報測定装置であって、
前記表示映像の映像データと、前記生体情報測定装置のデバイス特性に基づいて前記照射スペクトルを算出する照射スペクトル算出部をさらに具備し、
前記スペクトル取得部は、前記照射スペクトル算出部から前記照射スペクトルを取得する
生体情報測定装置。
【請求項4】
請求項1に記載の生体情報測定装置であって、
前記照射光が撮像されて生成されたデータである照射光受光データから前記照射スペクトルを生成する照射スペクトル生成部をさらに具備し、
前記スペクトル取得部は、前記照射スペクトル算出部から前記照射スペクトルを取得する
生体情報測定装置。
【請求項5】
請求項1に記載の生体情報測定装置であって、
前記表示映像を表示する表示部と、
前記反射光を撮像し、反射光受光データを生成する反射光撮像部と
をさらに具備する生体情報測定装置。
【請求項6】
請求項5に記載の生体情報測定装置であって、
前記照射光を撮像し、照射光受光データを生成する照射光撮像部
をさらに具備する生体情報測定装置。
【請求項7】
請求項5に記載の生体情報測定装置であって、
前記ユーザの頭部に装着され、前記表示部が前記ユーザの眼前に配置されるヘッドマウントディスプレイである
生体情報測定装置。
【請求項8】
請求項7に記載の生体情報測定装置であって、
前記反射光撮像部は、前記測定範囲に対向して配置されている
生体情報測定装置。
【請求項9】
請求項8に記載の生体情報測定装置であって、
前記照射光を撮像し、照射光受光データを生成する照射光撮像部をさらに具備し、
前記照射光撮像部は、前記表示部に対向して配置されている
生体情報測定装置。
【請求項10】
請求項5に記載の生体情報測定装置であって、
前記表示部及び前記反射光撮像部は前記ユーザから離間して配置され、
前記反射光撮像部が撮像した画像に基づいて前記測定範囲を認識する測定範囲認識部をさらに具備する
生体情報測定装置。
【請求項11】
請求項1に記載の生体情報測定装置であって、
前記分析処理部は、前記照射スペクトル及び前記反射スペクトルと生体情報が、生体情報の種類毎にモデル化された生体情報算出モデルを利用して前記ユーザの生体情報を特定する
生体情報測定装置。
【請求項12】
請求項11に記載の生体情報測定装置であって、
前記生体情報算出モデルは機械学習により生成された予測モデルである
生体情報測定装置。
【請求項13】
請求項1に記載の生体情報測定装置であって、
前記生体情報は、脈拍数、動脈血酸素飽和度、肌水分量、体表面温度、呼吸数又は血圧である
生体情報測定装置。
【請求項14】
請求項1に記載の生体情報測定装置であって、
前記生体情報は、静脈パターン又は虹彩パタ-ンであり、
前記分析処理部は、前記生体情報を用いて生体認証を行う
生体情報測定装置。
【請求項15】
表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が前記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する反射スペクトル生成部と、
前記照射光の波長スペクトルである照射スペクトルと前記反射スペクトルに基づいて前記ユーザの生体情報を算出する分析処理部
として情報処理装置を動作させる生体情報測定プログラム。
【請求項16】
表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が前記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成し、
前記照射光の波長スペクトルである照射スペクトルと前記反射スペクトルに基づいて前記ユーザの生体情報を算出する
生体情報測定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、光によりユーザの生体情報を測定する生体情報測定装置、生体情報測定方法及び生体情報測定プログラムに関する。
【背景技術】
【0002】
脈拍数や動脈血酸素飽和度、体表面温度といった生体情報の測定は生体センシングと呼ばれる。生体センシングはユーザの負担が少ないものが好適であり、特に家庭内で長期的に生体情報を測定する場合等には負担の程度による影響が大きい。この点、光を用いる生体センシングはユーザの負担が少ないものの、外光による影響を受けやすいため、その対策を行う必要がある。
【0003】
例えば、特許文献1には、ヘッドマウントディスプレイに搭載され、表示パネルを所定規則で発光させ、ユーザの皮膚や眼球による反射光を撮像し、画像情報を登録情報と照合することによりユーザの個人識別を行う装置が開示されている。ヘッドマウントディスプレイを利用することで外光を遮蔽でき、高精度に個人識別を行うことが可能とされている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2021-18729号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載のような手法は、表示パネルを所定規則で発光させる必要がある。所定規則の発光には、表示パネルを特定の一色で発光させ、その色を順次切り替えたり、表示パネルの区画毎に異なる色で発光させたりすることが含まれている。この光はユーザから見ると特に意味を有しないものであり、ユーザは識別処理が完了するまで待機する必要があるため、依然としてユーザの負担が存在する。
【0006】
以上のような事情に鑑み、ユーザの負担を抑えて生体情報の測定を行うことが可能な生体情報測定装置、生体情報測定方法及び生体情報測定プログラムを提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本技術の一形態に係る生体情報測定装置は、反射スペクトル生成部と、分析処理部とを具備する。
上記反射スペクトル生成部は、表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する。
上記分析処理部は、上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する。
【0008】
上記反射スペクトル生成部は、上記反射光の撮像により生成されたデータである反射光受光データから上記反射スペクトルを生成してもよい。
【0009】
上記生体情報測定装置は、上記表示映像の映像データと、上記生体情報測定装置のデバイス特性に基づいて上記照射スペクトルを算出する照射スペクトル算出部をさらに具備し、
上記スペクトル取得部は、上記照射スペクトル算出部から上記照射スペクトルを取得してもよい。
【0010】
上記生体情報測定装置は、上記照射光が撮像されて生成されたデータである照射光受光データから上記照射スペクトルを生成する照射スペクトル生成部をさらに具備し、上記スペクトル取得部は、上記照射スペクトル算出部から上記照射スペクトルを取得してもよい。
【0011】
上記生体情報測定装置は、上記表示映像を表示する表示部と、上記反射光を撮像し、反射光受光データを生成する反射光撮像部とをさらに具備してもよい。
【0012】
上記生体情報測定装置は、上記照射光を撮像し、照射光受光データを生成する照射光撮像部をさらに具備してもよい。
【0013】
上記生体情報測定装置は、上記ユーザの頭部に装着され、上記表示部が上記ユーザの眼前に配置されるヘッドマウントディスプレイであってもよい。
【0014】
上記反射光撮像部は、上記測定範囲に対向して配置されていてもよい。
【0015】
上記生体情報測定装置は、上記照射光を撮像し、照射光受光データを生成する照射光撮像部をさらに具備し、上記照射光撮像部は、上記表示部に対向して配置されていてもよい。
【0016】
上記表示部及び上記反射光撮像部は上記ユーザから離間して配置され、上記生体情報測定装置は、上記反射光撮像部が撮像した画像に基づいて上記測定範囲を認識する測定範囲認識部をさらに具備してもよい。
【0017】
上記分析処理部は、上記照射スペクトル及び上記反射スペクトルと生体情報が、生体情報の種類毎にモデル化された生体情報算出モデルを利用して上記ユーザの生体情報を特定してもよい。
【0018】
上記生体情報算出モデルは機械学習により生成された予測モデルであってもよい。
【0019】
上記生体情報は、脈拍数、動脈血酸素飽和度、肌水分量、体表面温度、呼吸数又は血圧であってもよい。
【0020】
上記生体情報は、静脈パターン又は虹彩パタ-ンであり、上記分析処理部は、上記生体情報を用いて生体認証を行ってもよい。
【0021】
上記目的を達成するため、本技術の一形態に係る生体情報測定プログラムは、反射スペクトル生成部と、分析処理部として情報処理装置を動作させる。
上記反射スペクトル生成部は、表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する。
上記分析処理部は、上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する。
【0022】
上記目的を達成するため、本技術の一形態に係る生体情報測定方法は、表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する。
上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する。
【図面の簡単な説明】
【0023】
図1】本技術の第1の実施形態に係る生体情報検出装置の模式図である。
図2】測定範囲の模式図である。
図3】上記生体情報検出装置の機能的構成を示すブロック図である。
図4】上記生体情報検出装置の照射スペクトル算出部が算出する照射スペクトルの例である。
図5】上記生体情報検出装置の反射スペクトル生成部が生成する反射スペクトルの例である。
図6】上記生体情報検出装置の動作を示すフローチャートである。
図7】上記生体情報検出装置のズレへの対応を示す模式図である。
図8】上記生体情報検出装置のズレへの対応を示す模式図である。
図9】上記生体情報検出装置の他の構成を示す模式図である。
図10】上記生体情報検出装置の機能的構成を示すブロック図である。
図11】本技術の第2の実施形態に係る生体情報検出装置の模式図である。
図12】上記生体情報検出装置の機能的構成を示すブロック図である。
図13】上記生体情報検出装置の動作を示すフローチャートである。
図14】本技術の第1の実施形態及び第2の実施形態に係る生体情報検出装置のハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【0024】
(第1の実施形態)
本技術の第1の実施形態に係る生体情報検出装置について説明する。
【0025】
[生体情報検出装置の構成]
図1は本実施形態に係る生体情報測定装置100の模式図である。同図に示すように生体情報測定装置100はユーザUの頭部Hに装着されるヘッドマウントディスプレイであり、筐体111、表示部112及び反射光撮像部113を備える。
【0026】
筐体111は頭部Hに装着され、表示部112及び反射光撮像部113を支持する。筐体111には、表示部112と反射光撮像部113を隔てる仕切り111aが設けられている。筐体111の具体的構成は特に限定されず、表示部112と反射光撮像部113の頭部Hに対する位置を保持できるものであればよいが、外光の遮蔽性に優れるものが好適である。
【0027】
表示部112はユーザUの眼前に配置され、映像を表示する。以下、表示部112に表示される映像を「表示映像」とし、表示映像を形成する光を「照射光」とする。図1においてこの照射光を照射光L1として示す。照射光L1は、ユーザUの顔表面に入射する光であり、表示部112から出射された出射光と、この出射光が筐体111の内部で反射された光を含む。図2に示すように、ユーザUは目に入射する照射光L1によって表示映像を視認することができる。また、照射光L1の一部はユーザUの顔表面で反射され反射光となる。図1においてこの反射光を反射光L2として示す。
【0028】
表示部112には出射光の光量が一定より大きいものが利用でき、例えば液晶ディスプレイが利用できる。表示部112は1つが設けられてもよく、左目用と右目用に2つが設けられてもよい。なお、ヘッドマウントディスプレイには、スマートフォン等の他の表示装置を装着可能なものもあるが、そのような他の表示装置を表示部112として利用することも可能である。また、表示部112とユーザUの目の間にはレンズ等の光学素子が配置されてもよい。
【0029】
反射光撮像部113は、反射光L2を撮像し、反射光L2の受光データである反射光受光データを生成する。反射光撮像部113は、ユーザUの顔表面のうち、「測定範囲」を撮像する。測定範囲はユーザUの顔表面のうち特定の範囲である。図1においてこの測定範囲を測定範囲Sとして示す。図2は測定範囲Sの例を示す模式図である。同図において目の間に相当する範囲S1、こめかみに相当する範囲S2及び目の下に相当する範囲S3を示す。測定範囲Sはこれらの範囲のうちいずれか1つ又は複数とすることができる。また、測定範囲SはユーザUの顔表面のうち、範囲S1~S3以外の範囲であってもよい。反射光撮像部113は、測定範囲Sに対向し、測定範囲Sで反射される反射光L2を撮像する。なお、反射光撮像部113とユーザUの顔表面の間にはレンズ等の光学素子が配置されてもよい。
【0030】
反射光撮像部113は一般的な撮像素子であってもよく、MSC(マルチスペクトラムカメラ)を構成する撮像素子であってもよい。一般的なカメラは、赤色、緑色又は青色のカラーフィルタが設けられた受光素子により、赤色、緑色、青色の3チャンネルで撮像を行う。これに対しMSCは9チャンネル等、より多くのチャンネルで撮像を行うことができるカメラである。
【0031】
図3は生体情報測定装置100の機能的構成を示すブロック図である。同図に示すように生体情報測定装置100は映像取得部121、表示制御部122、照射スペクトル算出部123、反射スペクトル生成部124及び分析処理部125を備える。これらの機能的構成はソフトウェアとハードウェアの協働により実現される。これらの機能的構成は筐体111内に搭載されていてもよく、筐体111の外部装置に搭載されていてもよい。
【0032】
映像取得部121は、映像データVを取得し、表示部112で表示される表示映像を構成する映像データV(t)を生成する。映像取得部121は、生体情報測定装置100が備えるストレージや外部機器、ネットワーク等から映像データVを取得することができる。映像データVの内容は特に限定されず、映画やゲーム映像といった動画であってもよく、静止画であってもよい。映像データV(t)は以下のように表される。
【0033】
V(t)=[V(t);V(t);V(t)] (式1)
【0034】
(式1)においてV(t)は表示映像のうち赤色成分の強度、V(t)は表示映像のうち緑色成分の強度、V(t)は表示映像のうち青色成分の強度である。映像取得部121は、生成した映像データV(t)を表示制御部122及び照射スペクトル算出部123に供給する。
【0035】
表示制御部122は、表示部112(図1参照)を制御し、映像取得部121から供給された映像データV(t)を表示部112に表示させる。これにより、表示映像を形成する照射光L1がユーザの顔表面に照射される。
【0036】
照射スペクトル算出部123は、映像データV(t)と生体情報測定装置100のデバイス特性Fに基づいて照射スペクトルを算出する。照射スペクトルは照射光L1の波長スペクトルであり、図4は照射スペクトルの例である。
【0037】
デバイス特性Fは表示部112から出射された出射光とユーザの顔表面に入射する照射光L1の関係を表す特性である。表示部112から出射された出射光は、表示部112の表示特性や光学素子の特性、筐体111の内周面における反射、測定範囲Sの位置等による影響を受けるが、デバイス特性Fはこれらの影響を含む。デバイス特性Fは事前の測定によって求めることができる。具体的には測定範囲Sに特性が既知の撮像素子を配置し、表示部112から入射する光を受光させることによりデバイス特性Fを求めることができる。デバイス特性Fは以下のように表される。
【0038】
F=[fr1,fr2…frN
g1,fg2…fgN
b1,fb2…fbN] (式2)
【0039】
(式2)においてNはスペクトルの分割数(bin数)であり、例えば512である。これは照射スペクトルの波長帯域を512区画に分割して計算することを意味する。測定範囲Sにデバイス特性Fの測定用撮像素子が配置されたときの、赤色カラーフィルタが設けられた受光素子を赤色受光素子、緑色カラーフィルタが設けられた受光素子を緑色受光素子、青色カラーフィルタが設けられた受光素子を青色受光素子とする。(式2)においてfr1は赤色受光素子で受光される光の第1区画での強度変化率を示し、fr2は赤色受光素子で受光される光の第2区画での強度変化率、frNは赤色受光素子で受光される光の第N区画での強度変化率を示す。緑色受光素子(f)、青色受光素子(f)も同様である。
【0040】
デバイス特性Fは反射光撮像部113のチャンネル数に合わせたものとする。(式2)では、反射光撮像部113が赤色、緑色、青色の3チャンネルである場合の表示特性を示す。反射光撮像部113がMSCである場合、デバイス特性FはMSCのチャンネル数に合わせたものとする。
【0041】
照射スペクトル算出部123は、映像データV(t)とデバイス特性Fを積算することにより、照射スペクトルを算出することができる。以下、照射スペクトル算出部123が算出する照射スペクトルを照射スペクトルR(t)とする。照射スペクトルR(t)は以下のように表される。
【0042】
R(t)=V(t)F=[r(t)、r(t)、…r(t)] (式3)
【0043】
(式3)においてrは第1区画の強度、rは第2区画の強度、rNは第N区画の強度を示す。このように照射スペクトル算出部123は、表示部112から出射された出射光に対して表示部112の表示特性や筐体111の反射特性を反映させ、照射光L1の波長スペクトル、即ち照射スペクトルを算出する。なお、照射スペクトル算出部123は映像データV(t)の複数画素分を平均し、低解像度化することで計算量を低減させることも可能である。照射スペクトル算出部123は算出した照射スペクトルR(t)を分析処理部125に供給する。
【0044】
反射スペクトル生成部124は、反射光撮像部113から反射光受光データを取得し、反射光受光データから反射スペクトルA(t)を生成する。反射スペクトルA(t)は、反射光L2の波長スペクトルであり、以下のように表される。
【0045】
A(t)=[a(t)、a(t)、…a(t)] (式4)
【0046】
(式4)においてaは反射光撮像部113のチャンネルiの受光素子が出力する光量を示す。また、Mは反射光撮像部113のチャンネル数を示す。反射スペクトル生成部124は、反射光撮像部113の全受光素子の光量を平均してスカラーとしてもよいし、各受光素子の光量を個別に処理してもよい。また、複数の受光素子の光量を平均して処理してもよい。処理対象の受光素子数が多いと、後述する生体情報算出モデルが複雑化する。反射スペクトル生成部124は、生成した反射スペクトルA(t)を分析処理部125に供給する。
【0047】
分析処理部125は、照射スペクトルR(t)と反射スペクトルA(t)に基づいてユーザの生体情報を算出する。図5は、照射スペクトルR(t)と反射スペクトルA(t)の例を示すグラフである。同図に示すように、照射スペクトルR(t)と反射スペクトルA(t)には差分が生じる。この差分の特徴、即ち差分が生じている波長帯域や強度変化量は測定範囲Sにおける生体情報を反映している。したがって、分析処理部125は、照射スペクトルR(t)と反射スペクトルA(t)に基づいてユーザの生体情報を算出することができる。
【0048】
具体的には分析処理部125は、波長スペクトル差分データベース126から生体情報算出モデルNを取得することができる。生体情報算出モデルNは、照射スペクトルR(t)及び反射スペクトルA(t)と生体情報が、生体情報の種類毎にモデル化されたものである。分析処理部125は、以下の(式5)に示すように、照射スペクトルR(t)と反射スペクトルA(t)を生体情報算出モデルNに適用し、生体情報(index)を算出することができる。
【0049】
N(R(t)、A(t))=index (式5)
【0050】
生体情報算出モデルNを利用して算出可能な生体情報は、脈拍数、SpO2(動脈血酸素飽和度)、肌水分量、体表面温度、呼吸数、血圧、静脈パターン及び虹彩パタ-ン等であり、生体情報毎に生体情報算出モデルNを準備する。分析処理部125は、算出しようとする生体情報の種類に応じて生体情報算出モデルNを選択し、生体情報の算出に利用することができる。
【0051】
生体情報算出モデルNは、照射スペクトルR(t)と反射スペクトルA(t)を入力、ウェアラブルデバイス等を用いて測定された生体情報を教師とする機械学習手法により生成された予測モデルとすることができる。また、生体情報算出モデルNは機械学習により生成されたものに限られない。以下、分析処理部125が生体情報算出モデルNを利用して算出する生体情報の具体例を示す。
【0052】
分析処理部125は、R(t)、A(t)に対して緑波長帯域のフィルタ、FFT(fast Fourier transform)、1Hz以上2.5Hz以下のBPF(Band Pass Filter)及びピーク検出を実行し、ピーク値を脈拍数とすることができる。また、分析処理部125は、R(t)、A(t)に対して赤又は近赤外波長帯域のフィルタ結果のそれぞれの比に基づいてSpOを算出することができる。
【0053】
また、分析処理部125はR(t)、A(t)の遠赤外波長帯域の強度と気温センサの値に基づき、体表面温度を算出することができる。体温に近い温度は遠赤外波長の一部が関連するためである。また、分析処理部125は、R(t)、A(t)に対して近赤外波長帯域のフィルタ結果のそれぞれの比に基づいて肌水分量を算出することができる。動脈と違い静脈は近赤外波長帯域を吸収するため、緑波長帯域を活用する脈拍数と異なる波長帯域を利用する。
【0054】
また、分析処理部125はR(t)、A(t)に対しての緑波長帯域のフィルタ、1Hz以上2.5Hz以下のBPF及び包絡線検出によって呼吸数を算出することができる。また、分析処理部125は、緑波長帯域のフィルタ、1Hz以上2.5Hz以下のBPF及びピーク検出を顔表面の異なる複数の測定範囲Sで実行し、ピークの伝搬速度に基づき血圧を算出することができる。心臓から送られる血液の波は脈波として観測できるため、脈波を同じ経路の二か所で計測し、脈波が伝搬する速度を求めると、相対的な血圧が推定できる(Pulse Transit Time方式のカフレス血圧推定)。
【0055】
また、分析処理部125はR(t)、A(t)に対しての緑波長帯域のフィルタによって得られる2次元情報に基づいて顔の静脈パターンを認識し、ユーザの生体認証を行うことができる。また、分析処理部125は、R(t)、A(t)に対しての赤外波長帯域のフィルタによって得られる2次元情報に基づいて眼の虹彩パターンを認識し、ユーザの生体認証を行うことができる。
【0056】
分析処理部125が算出する生体情報は上記のものに限られず、照射スペクトルR(t)と反射スペクトルA(t)に基づいて算出可能な生体情報であればよい。
【0057】
[生体情報検出装置の動作]
生体情報測定装置100の動作について説明する。図6は生体情報測定装置100の動作を示すフローチャートである。
【0058】
生体情報測定装置100の動作が開始されると、分析処理部125が波長スペクトル差分データベース126から算出しようとする生体情報の生体情報算出モデルNを取得する(St101)。続いて、映像取得部121が映像データVを取得(St102)し、表示制御部122が表示部112に映像データV(t)を供給して表示部112に表示映像を表示させる(St103)。
【0059】
続いて、照射スペクトル算出部123が映像データV(t)とデバイス特性Fに基づいて照射スペクトルR(t)を算出する(St104)。続いて、反射スペクトル生成部124が反射光撮像部113から反射光受光データを取得し、反射光受光データから反射スペクトルA(t)を生成する(St105)。
【0060】
続いて、分析処理部125が照射スペクトルR(t)及び反射スペクトルA(t)を生体情報算出モデルNに適用し、N(R(t)、A(t))から生体情報を算出する(St106)。続いて、分析処理部125は時刻tを時刻t+1とし(St107)、再度、生体情報算出モデルNの取得(St101)から繰り返し実行する。なお、時刻tは映像データV(t)フレームであり、時刻t+1は1フレーム分を加算することを意味する。
【0061】
生体情報測定装置100は以上のようにして生体情報を測定する。なお、反射スペクトルA(t)を生成するステップ(St105)では反射光受光データを保存しておき、後でサーバーなど計算能力が高い処理装置で映像データV(t)、デバイス特性Fと共にN(R(t)、A(t))を計算することも可能である。
【0062】
[生体情報検出装置による効果]
生体情報測定装置100では上述のように、ユーザの顔表面に照射される光とユーザの顔表面で反射された光の差異に基づいて生体情報を測定することができる。ユーザの顔表面に照射される光は表示部112に表示される表示映像を構成する光であり、表示映像の内容は特に制限されない。したがって、ユーザが映画やゲーム映像といった任意の映像を視聴している間に生体情報の測定が可能であり、生体情報の測定にかかるユーザの負担が少ない。このため、生体情報測定装置100は家庭内で毎日、あるいは長時間にわたるような生体情報の測定にも適している。
【0063】
[ヘッドマウントディスプレイのズレに対する対応]
生体情報測定装置100を構成するヘッドマウントディスプレイがユーザUの頭部Hに対してズレを生じた場合、生体情報測定装置100は以下のように対応することができる。図7及び図8は反射光撮像部113による撮像画像の例である。
【0064】
分析処理部125は、赤外線による接近センサ等を利用して顔の接近を検出し、このときの時刻を初期時刻tとする。反射スペクトル生成部124は、反射光撮像部113において受光された全受素子の光量Aall(t)に対して中央の複数の受光素子の光量を平均したものをA(t)として生体情報の算出に用いる。この際、分析処理部125は、全受素子の光量Aall(t)を記憶しておく。
【0065】
時間が経過し、次のフレームtとなったらAall(t)とAall(t)の相互関係を算出し、撮像画像全体のシフト量(x、y)を算出する。分析処理部125は、Aall(t)からA(t)を抽出する際、撮像画像の中央から算出したシフト量(x、y)を差し引いた位置を新たな中央として更新する。図7及び図8の例では、時刻tにおける撮像画像の中央を図7に示す点Pとすると、時刻tにおける撮像画像の中央を図8に示す点Pとする。以降、分析処理部125は時間の経過と共に撮像画像の中央を更新し、ヘッドマウントディスプレイのズレに対応する。
【0066】
[生体情報測定装置の他の構成について]
上記説明において生体情報測定装置100はヘッドマウントディスプレイであるものとしたが、それ以外の構成とすることも可能である。図9は、他の構成を有する生体情報測定装置100の模式図である。同図に示すように、表示部112及び反射光撮像部113はユーザUから離間して配置されている。表示部112は、ヘッドマウントディスプレイではない表示装置であり、例えばテレビジョン装置や映画館のスクリーンである。反射光撮像部113は、ユーザUに対向して配置され、ユーザUを撮像する撮像素子である。
【0067】
図10はこの生体情報測定装置100の機能的構成を示すブロック図である。同図に示すように生体情報測定装置100はさらに測定範囲認識部127を備えるものとすることができる。測定範囲認識部127は、反射光撮像部113によって撮像された画像に対して顔認識処理や顔パーツ認識処理を行い、測定範囲Sを認識する。さらに、測定範囲認識部127は、反射スペクトル生成部124が生成した反射スペクトルA(t)のうち、測定範囲Sの反射スペクトルA´(t)を抽出し、分析処理部125に供給する。分析処理部125は、照射スペクトルR(t)及び反射スペクトルA´(t)を生体情報算出モデルNに適用し、N(R(t)、A´(t))から生体情報を算出することができる。
【0068】
測定範囲認識部127は、反射光撮像部113の視野内に複数のユーザUが存在する場合、複数のユーザUに対してそれぞれ測定範囲Sを認識することができ、この場合、生体情報測定装置100は複数のユーザUの生体情報を同時に測定することが可能となる。測定範囲SもユーザUの顔表面に限られず、耳たぶや手のようにユーザUの体表面のうち撮像可能な範囲であればよい。
【0069】
なお、ユーザUの視聴環境が映画館のように暗く、外光がない場合はよいが、通常の室内のように外光が存在する場合、外光の影響を排除する必要がある。具体的には測定範囲認識部127は反射光撮像部113に対するユーザUの距離を算出し、ユーザUの位置での照明条件を特定する。分析処理部125はこの照明条件と、生体情報算出モデルNの構築時の照明条件の類否を判定する。分析処理部125は両照明条件が類似していれば反射スペクトルA´(t)を利用して生体情報を算出し、両正面条件が相違していれば差異に応じて反射スペクトルA´(t)を補正し、生体情報の算出に利用することができる。
【0070】
(第2の実施形態)
本技術の第2の実施形態に係る生体情報検出装置について説明する。
【0071】
[生体情報検出装置の構成]
図11は本実施形態に係る生体情報測定装置150の模式図である。同図に示すように生体情報測定装置150はユーザUの頭部Hに装着されるヘッドマウントディスプレイであり、筐体111、表示部112、反射光撮像部113及び照射光撮像部151を備える。なお、このうち、照射光撮像部151以外の構成は第1の実施形態に係る生体情報測定装置100と同様であるので説明を省略する。
【0072】
照射光撮像部151は照射光L1を撮像し、照射光L1の受光データである照射光受光データを生成する。照射光撮像部151は図11に示すようにユーザUの顔表面の近傍に配置され、表示部112に対向する。上述のように表示部112から出射された出射光は、表示部112の表示特性等による影響を受け、照射光L1としてユーザUの顔表面に照射される。照射光撮像部151はこの照射光L1を撮像し、照射光受光データを生成する。
【0073】
図12は本実施形態に係る生体情報測定装置150の機能的構成を示すブロック図である。同図に示すように生体情報測定装置150は映像取得部161、表示制御部162、照射スペクトル生成部163、反射スペクトル生成部164及び分析処理部165を備える。これらの機能的構成はソフトウェアとハードウェアの協働により実現される。これらの機能的構成は筐体111内に搭載されていてもよく、筐体111の外部装置に搭載されていてもよい。
【0074】
映像取得部161は第1の実施形態と同様に、映像データVを取得し、表示部112で表示される表示映像を構成する映像データV(t)を生成する。表示制御部162は、表示部112(図11参照)を制御し、映像取得部161から供給された映像データV(t)を表示部112に表示させる。これにより、表示映像を形成する照射光L1がユーザの顔表面に照射される。
【0075】
照射スペクトル生成部163は、照射光撮像部151から照射光受光データを取得し、照射光受光データから照射スペクトルB(t)を生成する。照射スペクトルB(t)は、照射光L1の波長スペクトルであり、以下のように表される。
【0076】
B(t)=[b(t)、b(t)、…bQ(t)] (式6)
【0077】
(式6)においてbは照射光撮像部151のチャンネルiの受光素子が出力する光量を示す。また、Qは照射光撮像部151のチャンネル数を示す。照射スペクトル生成部163は、照射光撮像部151の全受光素子の光量を平均してスカラーとしてもよいし、各受光素子の光量を個別に処理してもよい。また、複数の受光素子の光量を平均して処理してもよい。第1の実施形態では照射スペクトル算出部123が照射スペクトルR(t)を算出したが、本実施形態では照射スペクトルR(t)を算出する代わりに照射光受光データから生成された照射スペクトルB(t)を利用する。照射スペクトル生成部163は、生成した照射スペクトルB(t)を分析処理部165に供給する。
【0078】
反射スペクトル生成部164は、反射光撮像部113から反射光受光データを取得し、反射光受光データから反射スペクトルA(t)を生成する。反射スペクトルA(t)は第1の実施形態と同様に反射光L2の波長スペクトルである。反射スペクトル生成部164は、生成した反射スペクトルA(t)を分析処理部165に供給する。
【0079】
分析処理部165は、照射スペクトルB(t)と反射スペクトルA(t)に基づいてユーザの生体情報を算出する。第1の実施形態と同様に、照射スペクトルB(t)と反射スペクトルA(t)には差分(図5参照)が生じる。この差分の特徴、即ち差分が生じている波長帯域や強度変化量は測定範囲Sにおける生体情報を反映している。したがって、分析処理部165は、照射スペクトルB(t)と反射スペクトルA(t)に基づいてユーザの生体情報を算出することができる。
【0080】
具体的には分析処理部165は、波長スペクトル差分データベース166から生体情報算出モデルNを取得することができる。生体情報算出モデルNは、照射スペクトルB(t)及び反射スペクトルA(t)と生体情報が、生体情報の種類毎にモデル化されたものであり、分析処理部165は、以下の(式7)に示すように、照射スペクトルB(t)と反射スペクトルA(t)を生体情報算出モデルNに適用し、生体情報(index)を算出することができる。
【0081】
N(B(t)、A(t))=index (式7)
【0082】
生体情報算出モデルNを利用して算出可能な生体情報は、第1の実施形態と同様に脈拍数、SpO2(動脈血酸素飽和度)、肌水分量、体表面温度、呼吸数、血圧、静脈パターン及び虹彩パタ-ン等であり、分析処理部165は、算出しようとする生体情報の種類に応じて生体情報算出モデルNを選択し、生体情報の算出に利用することができる。
【0083】
生体情報算出モデルNは、照射スペクトルB(t)と反射スペクトルA(t)を入力、ウェアラブルデバイス等を用いて測定された生体情報を教師とする機械学習手法により生成された予測モデルとすることができる。また、生体情報算出モデルNは機械学習により生成されたものに限られない。分析処理部165が生体情報算出モデルNを利用して算出する生体情報の具体例は第1の実施形態と同様であり、第1の実施形態の説明において照射スペクトルR(t)を照射スペクトルB(t)に置き換えればよい。分析処理部165は測定された静脈パターン又は虹彩パタ-ンに基づいて生体認証を行うことも可能である。
【0084】
[生体情報検出装置の動作]
生体情報測定装置150の動作について説明する。図13は生体情報測定装置150の動作を示すフローチャートである。
【0085】
生体情報測定装置150の動作が開始されると、分析処理部165が波長スペクトル差分データベース166から算出しようとする生体情報の生体情報算出モデルNを取得する(St151)。続いて、映像取得部161が映像データVを取得(St152)し、表示制御部162が表示部112に映像データV(t)を供給して表示部112に表示映像を表示させる(St153)。
【0086】
続いて、照射スペクトル生成部163が照射光撮像部151から照射光受光データを取得し、照射光受光データから照射スペクトルB(t)を生成する(St154)。また、反射スペクトル生成部164が反射光撮像部113から反射光受光データを取得し、反射光受光データから反射スペクトルA(t)を生成する(St154)。
【0087】
続いて、分析処理部165が照射スペクトルB(t)及び反射スペクトルA(t)を生体情報算出モデルNに適用し、N(B(t)、A(t))から生体情報を算出する(St155)。続いて、分析処理部165は時刻tを時刻t+1とし(St156)、再度、生体情報算出モデルNの取得(St151)から繰り返し実行する。なお、時刻tは映像データV(t)フレームであり、時刻t+1は1フレーム分を加算することを意味する。
【0088】
生体情報測定装置150は以上のようにして生体情報を測定する。なお、照射スペクトルB(t)及び反射スペクトルA(t)を生成するステップ(St154)では照射光撮像データ及び反射光撮像データを保存しておき、後でサーバーなど計算能力が高い処理装置で映像データV(t)と共にN(B(t)、A(t))を計算することも可能である。
【0089】
[生体情報測定装置の効果]
生体情報測定装置150では第1の実施形態に係る生体情報測定装置100と同様に、ユーザの顔表面に照射される光とユーザの顔表面で反射された光の差異に基づいて生体情報を測定することができるため、生体情報の測定にかかるユーザの負担が少ない。生体情報測定装置150は生体情報測定装置100と比較して、照射光撮像部151を設ける必要がある一方、デバイス特性Fの事前の測定や照射スペクトルR(t)の算出処理が不要である。
【0090】
[その他]
生体情報測定装置150では、第1の実施形態と同様の手法で、生体情報測定装置150を構成するヘッドマウントディスプレイのズレに対応することが可能である(図7及び図8参照)。さらに、生体情報測定装置150は第1の実施形態と同様にヘッドマウントディスプレイ以外の装置とすることも可能である(図9図10参照)。
【0091】
(生体情報測定装置のハードウェア構成)
第1の実施形態に係る生体情報測定装置100及び第2の実施形態に係る生体情報測定装置150の機能的構成を実現することが可能なハードウェア構成について説明する。図14はこのハードウェア構成を示す模式図である。
【0092】
同図に示すように、生体情報測定装置100及び生体情報測定装置150は、CPU(Central Processing Unit)1001及びGPU(Graphics Processing Unit)1002を内蔵している。CPU1001及びGPU1002にはバス1005を介して、入出力インターフェース1006が接続されている。バス1005には、ROM(Read Only Memory)1003およびRAM(Random Access Memory)1004が接続されている。
【0093】
入出力インターフェース1006には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1007、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1008、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1009、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1010が接続されている。また、磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリなどのリムーバブル記憶媒体1012に対してデータを読み書きするドライブ1011が接続されている。
【0094】
CPU1001は、ROM1003に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体1012ら読み出されて記憶部1009にインストールされ、記憶部1009からRAM1004にロードされたプログラムに従って各種の処理を実行する。RAM1004にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。GPU1002はCPU1001による制御を受けて、画像描画に必要な計算処理を実行する。
【0095】
以上のように構成される生体情報測定装置100及び生体情報測定装置150では、CPU1001が、例えば、記憶部1009に記憶されているプログラムを、入出力インターフェース1006及びバス1005を介して、RAM1004にロードして実行することにより、上述した一連の処理が行われる。
【0096】
生体情報測定装置100及び生体情報測定装置150が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体1012に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0097】
生体情報測定装置100及び生体情報測定装置150では、プログラムは、リムーバブル記憶媒体1012をドライブ1011に装着することにより、入出力インターフェース1006を介して、記憶部1009にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1010で受信し、記憶部1009にインストールすることができる。その他、プログラムは、ROM1003や記憶部1009に、あらかじめインストールしておくことができる。
【0098】
なお、生体情報測定装置100及び生体情報測定装置150が実行するプログラムは、本開示で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。また、生体情報測定装置100及び生体情報測定装置150のハードウェア構成はすべてが一つの装置に搭載されていなくてもよく、複数の装置によって生体情報測定装置100及び生体情報測定装置150が構成されていてもよい。また生体情報測定装置100及び生体情報測定装置150のハードウェア構成の一部又はネットワークを介して接続されている複数の装置に搭載されていてもよい。
【0099】
(本開示について)
本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、本開示中に記載されていない効果が発揮される可能性もある。また、本開示中に記載された特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。
【0100】
なお、本技術は以下のような構成もとることができる。
【0101】
(1)
表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する反射スペクトル生成部と、
上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する分析処理部と
を具備する生体情報測定装置。
(2)
上記(1)に記載の生体情報測定装置であって、
上記反射スペクトル生成部は、上記反射光の撮像により生成されたデータである反射光受光データから上記反射スペクトルを生成する
生体情報測定装置。
(3)
上記(1)又は(2)に記載の生体情報測定装置であって、
上記表示映像の映像データと、上記生体情報測定装置のデバイス特性に基づいて上記照射スペクトルを算出する照射スペクトル算出部をさらに具備し、
上記スペクトル取得部は、上記照射スペクトル算出部から上記照射スペクトルを取得する
生体情報測定装置。
(4)
上記(1)又は(2)に記載の生体情報測定装置であって、
上記照射光が撮像されて生成されたデータである照射光受光データから上記照射スペクトルを生成する照射スペクトル生成部をさらに具備し、
上記スペクトル取得部は、上記照射スペクトル算出部から上記照射スペクトルを取得する
生体情報測定装置。
(5)
上記(1)に記載の生体情報測定装置であって、
上記表示映像を表示する表示部と、
上記反射光を撮像し、反射光受光データを生成する反射光撮像部と
をさらに具備する生体情報測定装置。
(6)
上記(5)に記載の生体情報測定装置であって、
上記照射光を撮像し、照射光受光データを生成する照射光撮像部
をさらに具備する生体情報測定装置。
(7)
上記(5)に記載の生体情報測定装置であって、
上記ユーザの頭部に装着され、上記表示部が上記ユーザの眼前に配置されるヘッドマウントディスプレイである
生体情報測定装置。
(8)
上記(7)に記載の生体情報測定装置であって、
上記反射光撮像部は、上記測定範囲に対向して配置されている
生体情報測定装置。
(9)
上記(8)に記載の生体情報測定装置であって、
上記照射光を撮像し、照射光受光データを生成する照射光撮像部をさらに具備し、
上記照射光撮像部は、上記表示部に対向して配置されている
生体情報測定装置。
(10)
上記(5)に記載の生体情報測定装置であって、
上記表示部及び上記反射光撮像部は上記ユーザから離間して配置され、
上記反射光撮像部が撮像した画像に基づいて上記測定範囲を認識する測定範囲認識部をさらに具備する
生体情報測定装置。
(11)
上記(1)から(10)のうちいずれか1つに記載の生体情報測定装置であって、
上記分析処理部は、上記照射スペクトル及び上記反射スペクトルと生体情報が、生体情報の種類毎にモデル化された生体情報算出モデルを利用して上記ユーザの生体情報を特定する
生体情報測定装置。
(12)
上記(11)に記載の生体情報測定装置であって、
上記生体情報算出モデルは機械学習により生成された予測モデルである
生体情報測定装置。
(13)
上記(1)から(12)のうちいずれか1つに記載の生体情報測定装置であって、
上記生体情報は、脈拍数、動脈血酸素飽和度、肌水分量、体表面温度、呼吸数又は血圧である
生体情報測定装置。
(14)
上記(1)から(12)のうちいずれか1つに記載の生体情報測定装置であって、
上記生体情報は、静脈パターン又は虹彩パタ-ンであり、
上記分析処理部は、上記生体情報を用いて生体認証を行う
生体情報測定装置。
(15)
表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成する反射スペクトル生成部と、
上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する分析処理部
として情報処理装置を動作させる生体情報測定プログラム。
(16)
表示映像を形成し、ユーザの身体の特定の範囲である測定範囲に照射された照射光が上記測定範囲で反射された反射光の波長スペクトルである反射スペクトルを生成し、
上記照射光の波長スペクトルである照射スペクトルと上記反射スペクトルに基づいて上記ユーザの生体情報を算出する
生体情報測定方法。
【符号の説明】
【0102】
100、150…生体情報測定装置
111…筐体
112…表示部
113…反射光撮像部
121、161…映像取得部
122、162…表示制御部
123…照射スペクトル算出部
124、164…反射スペクトル生成部
125、165…分析処理部
126、166…波長スペクトル差分データベース
127…測定範囲認識部
151…照射光撮像部
163…照射スペクトル生成部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14