(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-06
(45)【発行日】2024-02-15
(54)【発明の名称】生体情報計測装置、生体情報計測システム、生体情報計測装置の作動方法、及び制御プログラム
(51)【国際特許分類】
A61B 5/02 20060101AFI20240207BHJP
A61B 5/021 20060101ALI20240207BHJP
A61B 5/0245 20060101ALI20240207BHJP
A61B 5/16 20060101ALI20240207BHJP
【FI】
A61B5/02 310A
A61B5/021
A61B5/0245 A
A61B5/16 110
(21)【出願番号】P 2020000594
(22)【出願日】2020-01-07
【審査請求日】2022-09-21
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100147304
【氏名又は名称】井上 知哉
(72)【発明者】
【氏名】江戸 勇樹
(72)【発明者】
【氏名】足立 佳久
(72)【発明者】
【氏名】岩井 敬文
(72)【発明者】
【氏名】小川 莉絵子
(72)【発明者】
【氏名】富澤 亮太
【審査官】▲高▼ 芳徳
(56)【参考文献】
【文献】国際公開第2019/216417(WO,A1)
【文献】特開2017-124153(JP,A)
【文献】特開2009-017354(JP,A)
【文献】特開2011-045458(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00 - 5/03
A61B 5/06 - 5/22
A61B 10/00
(57)【特許請求の範囲】
【請求項1】
モデルを学習させるために撮影された肌の映像を学習用映像として取得する学習フェーズにおいて、前記肌に照射された第1の照射光のスペクトルを記憶させる記憶制御部と、
前記モデルを用いて、生体に関連する情報を含む生体情報を予測する予測フェーズにおいて、前記第1の照射光のスペクトルと、
前記予測フェーズにおいて前記肌に照射された第2の照射光のスペクトルとの差を、被調整スペクトル差として算出するスペクトル差算出部と、
前記予測フェーズにおいて、前記被調整スペクトル差を所定の値域に収めるように前記肌に照射するための光を出射する光源を制御する光源制御部と、
前記制御された光源から被制御光が出射され、前記被制御光が照射された前記肌を撮影した予測用映像に基づく予測情報と前記モデルとに基づいて、前記生体情報を予測する予測部とを備えた生体情報計測装置。
【請求項2】
前記学習用映像に含まれる色情報に基づいて、前記第1の照射光のスペクトルを推定する第1スペクトル推定部をさらに備えた、請求項1に記載の生体情報計測装置。
【請求項3】
前記予測用映像に含まれる色情報に基づいて、前記第2の照射光のスペクトルを推定する第2スペクトル推定部をさらに備えた、請求項1又は2に記載の生体情報計測装置。
【請求項4】
前記算出部は、前記光源が制御された後、前記被調整スペクトル差を再度算出し、
前記光源制御部は、前記光源を再度制御して前記再度算出された前記被調整スペクトル差を前記所定の値域に収める、請求項1~3のいずれか1項に記載の生体情報計測装置。
【請求項5】
前記学習用映像から算出される脈波と、前記生体に関連する情報との入出力関係を、前記モデルに学習させる学習部をさらに備え、
前記予測部は、前記入出力関係に基づいて、前記予測用映像から算出される脈波から前記生体情報を予測する、請求項1~4のいずれか1項に記載の生体情報計測装置。
【請求項6】
前記光源制御部は、3波長帯域以上の光源を制御する、請求項1~5のいずれか1項に記載の生体情報計測装置。
【請求項7】
前記第1の照射光のスペクトルの計測値または前記第2の照射光のスペクトルの計測値を取得する取得部をさらに備えた、請求項1~6のいずれか1項に記載の生体情報計測装置。
【請求項8】
生体情報計測装置と、
光源と、
撮影装置とを含み、
前記生体情報計測装置は、
モデルを学習させるために撮影された肌の映像を学習用映像として取得する学習フェーズにおいて、前記肌に照射された第1の照射光のスペクトルを記憶させる記憶制御部と、
前記モデルを用いて、生体に関連する情報を含む生体情報を予測する予測フェーズにおいて、前記第1の照射光のスペクトルと、
前記予測フェーズにおいて前記肌に照射された第2の照射光のスペクトルとの差を、被調整スペクトル差として算出するスペクトル差算出部と、
前記予測フェーズにおいて、前記被調整スペクトル差を所定の値域に収めるように前記肌に照射するための光を出射する前記光源を制御する光源制御部と、
前記制御された光源から被制御光が出射され、前記被制御光が照射された前記肌を撮影した予測用映像に基づく予測情報と前記モデルとに基づいて、前記生体情報を予測する予測部とを備えた
生体情報計測システム。
【請求項9】
生体情報計測装置の作動方法であって、
前記生体情報計測装置が、モデルを学習させるために撮影された肌の映像を学習用映像として取得する学習フェーズにおいて、前記肌に照射された第1の照射光のスペクトルを記憶させる記憶制御ステップと、
前記生体情報計測装置が、前記モデルを用いて、生体に関連する情報を含む生体情報を予測する予測フェーズにおいて、前記第1の照射光のスペクトルと、
前記予測フェーズにおいて前記肌に照射された第2の照射光のスペクトルとの差を、被調整スペクトル差として算出するステップと、
前記生体情報計測装置が、
前記予測フェーズにおいて、前記被調整スペクトル差を所定の値域に収めるように前記肌に照射するための光を出射する光源を制御する光源制御ステップと、
前記生体情報計測装置が、前記制御された光源から被制御光が出射され、前記被制御光が照射された前記肌を撮影した予測用映像に基づく予測情報と前記モデルとに基づいて、前記生体情報を予測する予測ステップとを含む生体情報計測装置の作動方法。
【請求項10】
生体情報計測装置に、
モデルを学習させるために撮影された肌の映像を学習用映像として取得する学習フェーズにおいて、前記肌に照射された第1の照射光のスペクトルを記憶させる記憶制御機能と、
前記モデルを用いて、生体に関連する情報を含む生体情報を予測する予測フェーズにおいて、前記第1の照射光のスペクトルと、
前記予測フェーズにおいて前記肌に照射された第2の照射光のスペクトルとの差を、被調整スペクトル差として算出するスペクトル差算出機能と、
前記予測フェーズにおいて、前記被調整スペクトル差を所定の値域に収めるように前記肌に照射するための光を出射する光源を制御する光源制御機能と、
前記制御された光源から被制御光が出射され、前記被制御光が照射された前記肌を撮影した予測用映像に基づく予測情報と前記モデルとに基づいて、前記生体情報を予測する予測機能とを実現させる制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、生体情報計測装置、生体情報計測システム、生体情報計測装置の作動方法、及び制御プログラムに関する。
【背景技術】
【0002】
特許文献1には、肌を撮影した映像から脈波を計測する脈波計測装置が記載されている。さらに、特許文献1には、計測された脈波から生体情報を算出する脈波演算装置が記載されている。ここで、特許文献1に記載された脈波演算装置は、外乱光が位置する方向と外乱光の輝度特性とに基づいて、脈波計測装置の最適な設置位置を決定する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、肌への照射光の波長に応じて、体内の物質(ヘモグロビン等)の吸光度が異なる。そして、吸光度が変化することで撮影される肌の色が変化する。そのため、肌に照射される光が変化した場合、撮影される肌の色が変化する。その結果、撮影環境が変化した場合、肌を撮影した映像から計測される脈波及び生体情報は変化する。
【0005】
特許文献1に記載された技術では、外乱光が位置する方向と外乱光の輝度特性とに応じて、脈波計測装置の位置を移動する。ここで、特許文献1に記載された技術では、脈波計測装置を適切な位置に移動できない場合、撮影環境の変化により生体情報の計測精度が低下するおそれがある。
【0006】
そこで、本開示の一態様は、例えば、撮影環境の変化により生体情報の計測精度が低下することを抑制できる生体情報計測装置などを提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示の一態様に係る生体情報計測装置は、モデルを学習させるために撮影された肌の映像を学習用映像として取得する学習フェーズにおいて、前記肌に照射された第1の照射光のスペクトルを記憶させる記憶制御部と、前記モデルを用いて、生体に関連する情報を含む生体情報を予測する予測フェーズにおいて、前記肌に照射された第2の照射光のスペクトルと、前記第1の照射光のスペクトルとに基づいて、前記肌に光を照射する光源を制御する光源制御部と、前記制御された光源から被制御光が出射され、前記被制御光が照射された前記肌を撮影した予測用映像に基づく予測情報と前記モデルとに基づいて、前記生体情報を予測する予測部とを備える。
【0008】
本開示の一態様に係る生体情報計測システムは、生体情報計測装置と、光源と、撮影装置とを含み、前記生体情報計測装置は、モデルを学習させるために撮影された肌の映像を学習用映像として取得する学習フェーズにおいて、前記肌に照射された第1の照射光のスペクトルを記憶させる記憶制御部と、前記モデルを用いて生体に関連する情報を含む生体情報を予測する予測フェーズにおいて、前記肌に照射された第2の照射光のスペクトルと、前記第1の照射光のスペクトルとに基づいて、前記肌に光を照射する前記光源を制御する光源制御部と、前記制御された光源から被制御光が出射され、前記被制御光が照射された前記肌を撮影した予測用映像に基づく予測情報と前記モデルとに基づいて、前記生体情報を予測する予測部とを備える。
【0009】
本開示の一態様に係る生体情報計測装置の制御方法は、モデルを学習させるために撮影された肌の映像を学習用映像として取得する学習フェーズにおいて、前記肌に照射された第1の照射光のスペクトルを記憶させる記憶制御ステップと、前記モデルを用いて生体に関連する情報を含む生体情報を予測する予測フェーズにおいて、前記肌に照射された第2の照射光のスペクトルと、前記第1の照射光のスペクトルとに基づいて、前記肌に光を照射する光源を制御する光源制御ステップと、前記制御された光源から被制御光が出射され、前記被制御光が照射された前記肌を撮影した予測用映像に基づく予測情報と前記モデルとに基づいて、前記生体情報を予測する予測ステップとを含む。
【0010】
本開示の一態様に係る制御プログラムは、生体情報計測装置に、モデルを学習させるために撮影された肌の映像を学習用映像として取得する学習フェーズにおいて、前記肌に照射された第1の照射光のスペクトルを記憶させる記憶制御機能と、前記モデルを用いて生体に関連する情報を含む生体情報を予測する予測フェーズにおいて、前記肌に照射された第2の照射光のスペクトルと、前記第1の照射光のスペクトルとに基づいて、前記肌に光を照射する光源を制御する光源制御機能と、前記制御された光源から被制御光が出射され、前記被制御光が照射された前記肌を撮影した予測用映像に基づく予測情報と前記モデルとに基づいて、前記生体情報を予測する予測機能とを実現させる。
【図面の簡単な説明】
【0011】
【
図1】第1の実施形態に係る生体情報計測システムの一例を示す模式図である。
【
図2】撮影装置が生成する映像の一例を示す図である。
【
図3】第1の実施形態に係る生体情報計測装置の機能構成の一例を示すブロック図である。
【
図4】画素値と、光のスペクトル等との関係の一例を示す図である。
【
図5】肌に照射された光のスペクトルを映像に基づいて推定する処理の一例を示すフローチャートである。
【
図6】学習フェーズ、予測フェーズそれぞれにおける上記生体情報計測装置の動作の一例を示すフローチャートである。
【
図7】予測フェーズにおける上記生体情報計測装置の動作の一例を示すフローチャートである。
【
図8】被調整スペクトル差を算出した結果の一例を示すグラフである。
【
図9】第1の実施形態の変形例に係る生体情報計測装置の機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【0012】
[第1の実施形態]
以下、
図1~
図9に基づいて、第1の実施形態を説明する。なお、図面については、同一または同等の要素には同一の符号を付し、重複する説明は省略する。
【0013】
(生体情報計測システム100の全体構成)
図1は、生体情報計測システム100の一例を示す模式図である。
【0014】
生体情報計測システム100は、被験者104の生体情報を非接触で計測するためのシステムである。ここで、生体情報計測システム100が計測する生体情報は、例えば、血圧、心拍数、ストレスレベルなどである。生体情報計測システム100は、例えば、光源101と、撮影装置102と、生体情報計測装置103とを含む。
【0015】
光源101は、被験者(生体)104の肌に光を照射する。なお、以下の説明では、被験者104が人間である例を説明するが、被験者104は動物などであってもよい。
【0016】
また、光源101は、3波長帯域以上の光を出射する。光源101は、例えば、ピークのスペクトルの波長が600、500、450nmから所定の範囲内の光を出射する。換言すると、光源101は、赤色、緑色、青色の光を出射する。光源101は、例えば、LED(Light Emitting Diode)等を含む。
【0017】
さらに、光源101は、波長帯域毎に、光を出射するタイミングを変化させる機構を備える。生体情報計測装置103は、当該タイミングを制御し、波長帯域毎に、当該光源101から出射される光の強度(以下「光源101の強度」と称する)を変化させる。
【0018】
撮影装置102は、被験者104の肌を含む領域を撮影する装置である。撮影装置102は、光源から出射される光の波長帯域に感度を有する。すなわち、撮影装置102は、例えば、赤色、緑色、青色の光の波長帯域に感度を有するRGBカメラなどであってよい。なお、肌に照射される光は、光源101から出射される光と外部光との合成光であるため、撮影装置102によって撮影された映像は、合成光の影響を受ける。
【0019】
生体情報計測装置103は、撮影装置102によって撮影された肌の色の変化から、脈波を推定する。ここで、脈波は、末梢血管の容積の変化を示す信号である。心臓の拍動に伴って末梢血管の血圧・容積が変化し、これが肌の色を変化させるため、生体情報計測装置103は当該変化から脈波を推定できる。生体情報計測装置103が脈波を推定する方法の詳細は後述する。
【0020】
生体情報計測装置103は、肌を撮影した学習用映像から推定される学習用脈波と、学習用生体情報との組み合わせを学習用データとしてモデルを学習させる。なお、以下の説明では、モデルを学習させる段階を「学習フェーズ」と称する。また、上記学習用映像は、学習フェーズにおいて生体情報計測装置103が生成した映像であり、上記学習用脈波は、当該学習用映像から推定される脈波である。さらに、上記学習用生体情報は、例えば、血圧計などの計測装置を用いて実際に計測された生体情報である。
【0021】
生体情報計測装置103は、モデルを学習させるとき、光源から肌に照射された光のスペクトル(以下「学習時スペクトル」と称する)を推定し、当該スペクトルを記憶させる。なお、生体情報計測装置103が光のスペクトルを推定する方法の詳細は、
図7を参照して後述する。
【0022】
また、生体情報計測装置103は、肌を撮影した予測用映像から予測用脈波を推定し、学習済みのモデルに基づいて当該予測用脈波から生体情報を予測する。すなわち、生体情報計測装置103は、学習済みのモデルを用いた予測により、非接触で被験者104の生体情報を計測する。
【0023】
なお、以下の説明では、学習済みのモデルを用いて生体情報を予測する段階を「予測フェーズ」と称する。また、上記予測用映像は、予測フェーズにおいて生体情報計測装置103が生成した映像であり、上記予測用脈波は、当該予測用映像から推定される脈波である。
【0024】
生体情報計測装置103は、予測フェーズにおいても、学習フェーズと同様に、光源から肌に照射された光のスペクトル(以下「予測時スペクトル」と称する)を推定する。次に、学習時スペクトルに基づいて光源101の強度を制御し、外部光の影響をキャンセルするように予測時スペクトルを補正する。これにより、学習フェーズと予測フェーズとで撮影条件とを揃えることができる。
【0025】
そして、生体情報計測システム100は、補正後の予測時スペクトルを持つ光を肌に照射し、生体情報を再度予測する。したがって、生体情報計測システム100および生体情報計測装置103は、撮影環境の変化により生体情報の計測精度が低下することを抑制できる。
【0026】
(学習用映像及び予測用映像の取得方法)
図2は、撮影装置102が生成する映像の一例を示す図である。
図2に基づいて、撮影装置102が生成する映像について説明する。なお、以下の説明においては、撮影装置102が、被験者104の顔を撮影する場合を例示して説明する。
【0027】
例えば、撮影装置102は、所定のフレームレート(例えば、300fps(frames per second))で、所定の時間(例えば、30秒~60秒間)、被験者104の顔を撮影し、時系列の撮影映像を生成する。撮影映像は、複数のフレーム画像201を含む。
【0028】
生体情報計測装置103は、撮影映像に含まれるフレーム画像201から、肌を含む関心領域(所謂ROI(Region Of Interest))202をそれぞれ抽出し、抽出した関心領域202の映像を生成する。例えば、フレーム画像201のサイズが縦640×横480画素である場合、関心領域202のサイズは、縦20×横20画素であってよい。
【0029】
なお、
図2に例示するように、画像201が顔領域を含む場合、関心領域202は額部分であってよい。このとき、生体情報計測装置103は、額部分の肌を含む関心領域202を示す時系列の映像を学習用映像及び予測用映像として取得する。
【0030】
(生体情報計測装置103の機能構成)
図3は、生体情報計測装置103の機能構成の一例を示すブロック図である。生体情報計測装置103は、例えば、記憶部310、制御部320等を含む。
【0031】
記憶部310は、生体情報計測装置103の全体を制御するために必要な情報を記憶する。記憶部310は、ROM(Read Only Memory)、RAM(Random Access Memory)等により実現され、その詳細は問わない。
【0032】
記憶部310は、モデル311、学習時スペクトル312等を記憶する。モデル311は、学習用脈波と生体情報との入出力関係を近似する数理モデルであってよく、例えば、線形モデル、サポートベクトルマシン、全結合型ニューラルネットワーク、畳み込みニューラルネットワークなどであってよい。
【0033】
モデル311が全結合型ニューラルネットワークである場合、例えば、その入力は事前に抽出した脈波の特徴量(例えば、脈波の振幅など)であってよい。また、モデル311が畳み込みニューラルネットワークである場合、例えば、その入力は複数のフレームにそれぞれ対応する脈波の波形であってよい。
【0034】
制御部320は、生体情報計測装置103の全体を制御する。制御部320は、例えば、映像取得部321、第1スペクトル推定部322、第1脈波算出部323、生体情報取得部324、学習部325、記憶制御部326、第2スペクトル推定部327、第2脈波算出部328、スペクトル差算出部(算出部)329、光源制御部330、予測部331等を含む。
【0035】
制御部320は、例えば、CPU(Central Processing Unit)等のプロセッサにより実現される。プロセッサは、例えば、記憶部310に格納されたプログラムを読み出し、実行することで、制御部320に含まれる各部を機能させる。
【0036】
なお、第1スペクトル推定部322、第1脈波算出部323、生体情報取得部324、及び学習部325は、学習フェーズに関連する処理を実行する。第2スペクトル推定部327、第2脈波算出部328、スペクトル差算出部329、光源制御部330、及び予測部331は、予測フェーズに関連する処理を実行する。
【0037】
映像取得部321は、時系列の撮影映像を取得する。さらに、映像取得部321は、撮影映像に含まれる各フレーム画像201から関心領域202を抽出する。
【0038】
映像取得部321は、学習フェーズにおいて学習用映像を生成し、第1脈波算出部323に当該生成した学習用映像を出力する。さらに、映像取得部321は、学習フェーズにおいて、学習用映像に含まれる1つのフレーム画像を、学習用画像として第1スペクトル推定部322に出力する。
【0039】
また、映像取得部321は、予測フェーズにおいて予測用映像を生成し、第2脈波算出部328に当該生成した予測用映像を出力する。さらに、映像取得部322は、予測フェーズにおいて、予測用映像に含まれる1つのフレーム画像を、予測用画像として第2スペクトル推定部327に出力する。
【0040】
第1スペクトル推定部322は、学習用映像に含まれる色情報に基づいて、学習フェーズにおいて肌に照射された光(第1の照射光)のスペクトルを、学習時スペクトル312として推定する。第1スペクトル推定部322は、当該推定した学習時スペクトル312を記憶部310に記憶させる。学習用映像に含まれる色情報は、学習用画像に含まれる各画素の画素値である。本実施形態においては、画素値は、R(Red)、G(Green)、B(Blue)各色の濃度を含む。なお、以下の説明では、説明の便宜上、学習用映像に含まれる色情報を「学習用色情報」と称する。
【0041】
第1脈波算出部323は、学習用色情報に基づいて学習用脈波を算出する。第1脈波算出部323は、例えば、学習用映像に含まれる複数のフレームにおける、画素の画素値、輝度値等の時系列変化に基づいて、学習用脈波を算出してもよい。
【0042】
生体情報取得部324は、学習用フェーズにおいて、被験者104の生体情報を学習用生体情報として取得する。
【0043】
学習部325は、学習用脈波と学習用生体情報との入出力関係を、モデル311に学習させる。
【0044】
記憶制御部326は、学習フェーズにおいて、学習時スペクトル312を記憶させる。また、記憶制御部326は、学習フェーズの後、学習済みのモデル311を記憶部310に記憶させる。
【0045】
第2スペクトル推定部327は、予測用映像に含まれる色情報に基づいて、予測フェーズにおいて肌に照射された光(第2の照射光)のスペクトルを、予測時スペクトルとして推定する。予測用映像に含まれる色情報は、予測用画像に含まれる各画素の画素値である。以下の説明では、説明の便宜上、予測用映像に含まれる色情報を、「予測用色情報」と称する。
【0046】
第2脈波算出部328は、予測用映像から予測用脈波を算出する。
【0047】
スペクトル差算出部329は、学習用色情報に基づく値と、予測用色情報に基づく値との差を算出する。学習用色情報に基づく値は、例えば、学習用画像に含まれる複数の画素に対応する画素値の平均値を含む。また、予測用色情報に基づく値は、例えば、予測用画像に含まれる複数の画素に対応する画素値の平均値を含む。以下の説明では、説明の便宜上、スペクトル差算出部329が算出する上記差を、「被調整スペクトル差」と称する。被調整スペクトル差を算出する方法の詳細は後述する。
【0048】
光源制御部330は、予測フェーズにおいて、予測時スペクトルと学習時スペクトル312とに基づいて光源101を制御する。具体的には、光源制御部330は、光源101の強度を制御することにより、被調整スペクトル差を低減させる。例えば、光源制御部330は、光源101を制御して被調整スペクトル差を所定の値域に収める。
【0049】
予測部331は、予測用映像に基づく予測情報とモデル311とに基づいて生体情報を予測する。予測情報は、予測用映像から推定される情報であり、例えば、被制御光が照射された肌が撮影されたとき、当該予測用映像から推定される予測用脈波である。なお、被制御光は、光源制御部により制御された光源101から出射された光である。具体的には、被制御光は、光源制御部330が被調整スペクトル差を低減させた後、光源101から出射される光である。
【0050】
次に、生体情報計測装置103の動作について説明する。
【0051】
生体情報計測装置103の動作に関して、まずは、光のスペクトルの推定方法について詳細に説明する。
【0052】
(光のスペクトルの推定方法)
肌を撮影した映像に含まれる画素の画素値と、肌に照射された光のスペクトル等との関係について説明する。
図4は、画素値と、光のスペクトル等との関係の一例を示す図である。
【0053】
R、G、B各色に対応する光の波長帯域に関して、光源101から出射される光のスペクトルと、外部光のスペクトルと、肌の色素に関する物質の吸収係数と、撮影装置102の分光感度とを乗じた値と、R、G、B毎の画素値とは相関する。
【0054】
光源101から出射される光のスペクトルと、光源101の強度とは相関する。また、外部光は、肌の撮影環境において、光源101から出射される光とは異なる光である。外部光は、例えば、太陽光であってもよい。また、肌の色素に関する物質は、肌の色に関連する物質である。肌の色素に関する物質は、メラニン、ヘモグロビン等を含む。肌の色素に関する物質の吸収係数は、肌に照射された光の波長帯域に応じて異なる。また、撮影装置102の分光感度は、R、G、B各色に対応する光の波長帯域に対する分光感度である。
【0055】
ここで、撮影装置102が所定の時間(例えば、30秒~60秒間)、肌を撮影する場合に、撮影装置102の分光感度は定常である場合を例示して説明する。その場合、R、G、B毎の画素値は、R、G、B各色に対応する光の波長帯域に関して、肌に照射された光のスペクトルと相関する。上記の通り、肌に照射された光は、光源101から出射される光と外部光との合成光である。そのため、肌に照射された光のスペクトルと、光源101から出射される光のスペクトルおよび外部光のスペクトルとは相関する。
【0056】
従って、学習フェーズにおいては、R、G、B各色に対応する光の波長帯域における学習時スペクトル312と、学習用映像におけるR、G、B毎の画素値とは相関する。同様に、予測フェーズにおいては、R、G、B各色に対応する光の波長帯域における予測時スペクトルと、予測用映像におけるR、G、B毎の画素値とは相関する。
【0057】
以上より、肌を撮影した映像に含まれる画素の画素値と、肌に照射された光のスペクトルとは相関する。そこで、生体情報計測装置100は、肌に照射された光のスペクトルを映像に基づいて推定する。
【0058】
次に、肌に照射された光のスペクトルを映像に基づいて推定する処理の詳細について説明する。
図5は、肌に照射された光のスペクトルを映像に基づいて推定する処理の一例を示すフローチャートである。具体的には、
図5は、
図6に示すステップS603(後述)の一例と、及び
図7に示すステップS703(後述)の処理の一例とを示すフローチャートである。
【0059】
ステップS501において、生体情報計測装置103は、映像に含まれる複数の画素の画素値の平均値を、R、G、B毎に算出する。具体的には、学習フェーズにおいては、第1スペクトル推定部322は、学習用映像に含まれる複数の画素の画素値の平均値を、R、G、B毎に算出する。また、予測フェーズにおいては、第2スペクトル推定部327は、予測用映像に含まれる複数の画素の画素値の平均値を、R、G、B毎に算出する。
【0060】
ステップS502において、生体情報計測装置103は、R、G、B毎に算出された画素値の平均値を正規化する。
【0061】
ステップS503において、生体情報計測装置103は、R、G、B毎の画素値の正規化した平均値を、肌に照射された光のスペクトルとして推定する。学習フェーズにおいては、第1スペクトル推定部322は、R、G、B毎の画素値の正規化した平均値を、学習時スペクトル312として推定する。換言すると、第1スペクトル推定部322は、学習用映像に含まれる各色の画素値の平均値を正規化した値を、学習時スペクトルとして推定する。そして、記憶制御部326は、学習フェーズにおいて、学習時スペクトル312を記憶部310に記憶させる。また、予測フェーズにおいては、第2スペクトル推定部327は、R、G、B毎の画素値の正規化した平均値を、予測時スペクトルとして推定する。換言すると、第2スペクトル推定部327は、予測用映像に含まれる各色の画素値の平均値を正規化した値を、予測時スペクトルとして推定する。
【0062】
次に、学習フェーズ、予測フェーズそれぞれにおける生体情報計測装置103の動作について説明する。
図6は、学習フェーズ、予測フェーズそれぞれにおける生体情報計測装置103の動作の一例を示すフローチャートである。
図6のステップS601~S606は、学習フェーズにおける生体情報計測装置103の動作の一例を示す。
図6のステップS611~S612は、予測フェーズにおける生体情報計測装置103の動作の一例を示す。
【0063】
(学習フェーズにおける生体情報計測装置103の動作)
まず、学習フェーズにおける生体情報計測装置103の動作について説明する。
【0064】
ステップS601において、光源制御部330は、光源101に光を出射させる。
【0065】
ステップS602において、映像取得部321は、撮影装置102に被験者104の肌を撮影させる。撮影装置102は、映像取得部321からの指示に応じて、被験者104の肌を撮影し、撮影映像を生成する。ここで、撮影装置102が被験者104の肌を撮影する際、光源101から出射される光が当該肌に照射されている。そして、映像取得部321は、学習用映像を取得する。具体的には、映像取得部321は、撮影映像から関心領域202の映像を、学習用映像として取得する。
【0066】
ステップS603において、第1スペクトル推定部322は、学習時スペクトル312を推定する。具体的には、映像取得部321は、時系列の学習用映像に含まれる1つのフレーム画像201を、学習用画像として抽出する。学習用画像は、時系列の学習用映像における任意のフレーム画像201であってよい。第1スペクトル推定部322は、学習用画像に基づいて、学習時スペクトル312を推定する。
【0067】
ステップS604において、第1脈波算出部323は、学習用映像に基づいて、学習用脈波を算出する。例えば、第1脈波算出部323は、学習用映像に含まれる各フレーム画像201から、特徴量を抽出する。特徴量は、学習用色情報に関連する情報であり、例えば、R、G、B毎の各画素の画素値、各画素の輝度等であってもよい。そして、第1脈波算出部323は、所定の時間にわたり、特徴量の時間的な変化を示す信号を算出する。第1脈波算出部323は、当該信号に対して独立成分分析、ローパスフィルタ等の処理を行うことで出力された信号を、学習用脈波として決定する。
【0068】
ステップS605において、生体情報取得部324は、学習用生体情報を取得する。具体的には、生体情報取得部324は、学習用脈波を取得した時点に対応する生体情報を、学習用生体情報として取得する。例えば、生体情報取得部324は、学習用映像を生成する時点と同期して、学習用生体情報を取得してもよい。なお、生体情報を計測する方法の詳細は問わない。例えば、生体情報を計測する装置(例えば、血圧計等)が、生体情報(例えば、血圧)を計測してもよい。そして、生体情報取得部324は、当該装置から生体情報を取得してもよい。
【0069】
ステップS606において、学習部325は、学習用脈波と学習用生体情報との入出力関係を、モデル311に学習させる。そして、記憶制御部326は、学習済みのモデル311を記憶部310に記憶させる。
【0070】
学習フェーズを終了後に、予測フェーズにおいて、生体情報計測装置103は、光源101の強度を調整する(ステップS611)。そして、生体情報計測装置103は、学習済みのモデル311に基づいて、生体情報を予測する(ステップS612)。
【0071】
(予測フェーズにおける生体情報計測装置103の動作)
次に、予測フェーズにおける生体情報計測装置103の動作について詳細に説明する。
図7は、予測フェーズにおける生体情報計測装置103の動作の一例を示すフローチャートである。
図7に示すステップS701~706は、
図4に示すステップS411の詳細な処理である。また、
図7に示すステップS707~708は、
図6に示すステップS612の詳細な処理である。
【0072】
ステップS701において、光源制御部330は、光源101の強度の初期値を設定する。例えば、当該初期値は、学習フェーズにおける光源101の強度と同一であってもよい。
【0073】
そして、光源制御部330は、光源103に光を出射させる。そして、撮影装置102は、映像取得部321からの指示に応じて、被験者104の肌を撮影し、撮影映像を生成する。そして、映像取得部321は、予測用映像を取得する。具体的には、映像取得部321は、撮影映像から関心領域202の映像を、予測用映像として取得する。ここで、学習フェーズにおける撮影環境と、予測フェーズにおける撮影環境とは異なってよい。また、学習フェーズにおける光源101の強度と、予測フェーズにおける光源101の強度とは異なってよい。
【0074】
ステップS702において、光源101の強度の更新回数が所定の上限回数であるか否かを、光源制御部330は判定する。当該更新回数は、予測フェーズにおいて、光源制御部330が光源101の強度を更新する回数である。光源101の強度の更新回数が所定の上限回数である場合(ステップS702:Yes)には、制御は、ステップS703に遷移する。
【0075】
ステップS703において、第2スペクトル推定部327は、予測用映像に基づいて、予測時スペクトルを推定する。具体的には、第2スペクトル推定部327は、予測用映像を入力として、
図6に示すステップS601~S603の処理を実行する。
【0076】
ステップS704において、スペクトル差算出部329は、学習時スペクトル312と、予測時スペクトルとの差を、被調整スペクトル差として算出する。具体的には、スペクトル差算出部329は、R、G、Bのそれぞれで、学習時スペクトル312と予測時スペクトルとの差を、被調整スペクトル差として算出する。
【0077】
ここで、学習時スペクトル312は、R、G、B毎に、学習用映像に含まれる複数の画素の画素値の正規化した平均値である。また、予測時スペクトルは、R、G、B毎に、予測用映像に含まれる複数の画素の画素値の正規化した平均値である。そのため、スペクトル差算出部329は、学習用映像に関して算出された正規化した平均値と、予測用映像に関して算出された正規化した平均値との差を、被調整スペクトル差として算出する。
【0078】
ステップS705において、被調整スペクトル差が所定の値域であるか否かを、スペクトル差算出部329は判定する。例えば、-0.1<=所定の値域<=0.1であってもよい。
【0079】
例えば、スペクトル差算出部329が、予測用映像に関して算出された正規化した平均値から、学習用映像に関して算出された正規化した平均値を引いた値を、被調整スペクトル差として算出したとする。その場合に、被調整スペクトル差が上記所定の値域の上限値より大きい場合、光源制御部330は、光源101の強度を高める。一方、被調整スペクトル差が上記所定の値域の下限値より小さい場合、光源制御部330は、光源101の強度を低める。
【0080】
被調整スペクトル差が所定の値域ではない場合(ステップS705:No)には、光源制御部330は、光源101の強度を更新する(ステップS706)。具体的には、光源制御部330は、被調整スペクトル差に基づいて、光源101の強度を制御する。例えば、光源制御部330は、設定されている光源101の強度に、被調整スペクトル差に応じた値をR、G、B毎に高める又は低めることにより、光源101の強度を更新してもよい。
【0081】
光源制御部330が光源の強度を更新した場合、制御は、ステップS702に戻り、処理を継続する。つまり、スペクトル差算出部329は、光源101が制御された後、被調整スペクトル差を再度算出する(ステップS703、及びステップS704)。そして、光源制御部330は、光源101を再度制御して再度算出された被調整スペクトル差を所定の値域に収める。これにより、生体情報計測装置103は、学習時スペクトル312と予測時スペクトルとの差分を小さくできる。
【0082】
被調整スペクトル差が所定の値域である場合(ステップS705:Yes)には、第2脈波算出部328は、予測用映像から予測用脈波を算出する(ステップS707)。
【0083】
具体的には、被調整スペクトル差が所定の値域である場合には、映像取得部321は、撮影装置102に、被験者104の肌を再撮影させる。つまり、光源101が被制御光を出射する状態において、撮影装置102は、被験者104の肌を再撮影し、撮影映像を生成する。そして、映像取得部321は、当該撮影映像に基づいて、予測用映像を生成する。そして、第2脈波算出部328は、生成した予測用映像から予測用脈波を算出する。つまり、第2脈波算出部328は、光源101の強度を調整後に肌を再撮影した予測用映像から予測用脈波を算出する。
【0084】
例えば、第2脈波算出部328は、予測用映像に含まれる各フレーム画像201から特徴量を抽出する。特徴量は、予測用色情報に関連する。特徴量は、例えば、R、G、B毎の画素値であってもよい。そして、第2脈波算出部328は、抽出した特徴量に基づく時系列信号を生成する。第2脈波算出部328は、例えば、生成した時系列信号に対して独立成分分析、ローパスフィルタ等の処理を行う。第2脈波算出部328は、当該処理を行うことで出力された信号を、予測用脈波として決定する。
【0085】
ステップS708において、予測部331は、学習済みのモデル311に基づいて、予測用脈波から生体情報を予測する。例えば、予測部331は、学習済みのモデル311に含まれる複数の学習用脈波と、予測用脈波との相関値を算出する。予測部331は、算出した相関値のうち、最大の相関値に対応する学習用脈波を特定する。そして、予測部331は、特定した学習用脈波に対応付けられた生体情報を、予測用脈波に対応する生体情報として予測してもよい。
【0086】
なお、予測フェーズにおいて、複数回、連続して生体情報を予測する場合がある。その場合、光源制御部330は、初回に設定された光源101の強度に基づいて、光源101を制御してもよい。あるいは、予測部331が生体情報を予測する前に、スペクトル差算出部329は、毎回、被調整スペクトル差を算出してもよい。そして、光源制御部330は、算出された被調整スペクトル差に基づいて、毎回、光源101を制御してもよい。
【0087】
(被調整スペクトル差の算出結果)
次に、被調整スペクトル差を算出した結果の一例について説明する。
図8は、被調整スペクトル差を算出した結果の一例を示すグラフである。縦軸は、スペクトル差算出部329が算出した被調整スペクトル差を示す。横軸は、更新回数を示す。ここで、スペクトル差算出部329が、
図8に例示する被調整スペクトル差を算出する前に、光源制御部330は、R、G、B各色に対応する光の強度を同等の優先順位により制御したものとする。
図8に例示するように、被調整スペクトル差は、光源101の強度が変更されるたびに小さくなる。
【0088】
なお、ヘモグロビンの吸光度の波長依存性により、R、G、B各色に対応する光のうち、G各色に対応する波長帯域の光が、脈波の形状に最も影響が大きい。そのため、光源制御部330は、R、B各色に対応する光の強度より、G各色に対応する光の強度を優先して制御してもよい。これにより、生体情報計測装置103は、R、G、B各色に対応する光の強度を同等の優先順位により制御する場合よりも、光源101の強度の更新回数を低減できる。
【0089】
また、光源制御部330は、R、B各色に対応する被調整スペクトル差に応じた変化量より、Gの色に対応する被調整スペクトル差に応じた変化量を大きく設定して、光源101を制御してもよい。これにより、生体情報計測装置103は、R、G、B各色に対応する光の強度を、R、G、B各色に関して同等の変化量により制御する場合よりも、予測時スペクトルの変化量を大きくできる。
【0090】
(効果)
以上より、生体情報計測システム100は、光源101の強度を調整することで、被調整スペクトル差を小さくすることができる。換言すると、生体情報計測システム100は、光源101の強度を調整することで、予測時スペクトルを学習時スペクトルに近づけることができる。その結果、生体情報計測システム100は、光源101の強度を調整することで、予測時の撮影環境を学習時の撮影環境に近づけることができる。これにより、生体情報計測システム100は、肌を撮影した映像に基づく脈波から生体情報を予測する場合、撮影環境の変化により予測精度が低下することを抑制できる。その結果、生体情報計測システム100は、学習時の撮影環境と予測時の撮影環境とが異なる場合に、生体情報の予測精度を向上させることができる。
【0091】
(変形例1)
生体情報計測装置103の変形例1として、生体情報計測装置901について説明する。
図9は、生体情報計測装置901の機能構成の一例を示すブロック図である。生体情報計測装置901は、第1スペクトル推定部322と、第2スペクトル推定部327とに替えて、スペクトル取得部(取得部)902を含む。さらに、生体情報計測装置901は、スペクトル差算出部329に替えて、スペクトル差算出部903を含む。
【0092】
スペクトル取得部902は、肌への照射光のスペクトルの計測値を取得する。計測値は、例えば、分光器により計測された、肌への照射光のスペクトルであってもよい。具体的には、スペクトル取得部902は、学習フェーズにおいて、学習時スペクトルの計測値を取得する。記憶制御部326は、学習時スペクトル312の計測値を記憶部310に記憶させる。また、スペクトル取得部902は、予測フェーズにおいて、予測時スペクトルの計測値を取得する。換言すると、スペクトル取得部902は、学習時スペクトルの計測値または予測時スペクトルの計測値を取得する。
【0093】
スペクトル差算出部903は、学習時スペクトルの計測値と、予測時スペクトルの計測値との差分を被調整スペクトル差として算出する。従って、生体情報計測装置901は、より一層、正確に、被調整スペクトル差を算出できる。そのため、生体情報計測装置901は、生体情報計測装置103よりも、光源101の強度の更新回数を低減することに貢献する。
【0094】
なお、光源101は、3波長帯域以上の光を出射するとして、例えば、ピークのスペクトルの波長が600、500、450nmから所定の範囲内の光を出射する例を述べたがこれに限らない。光源101は、赤色、緑色、青色に加えて、近赤外の光を出射してもよい。その場合、撮影装置102は、例えば、赤色、緑色、青色、近赤外の光の波長帯域に感度を有するRGB+IRカメラなどであってよい。また、撮影装置102は、RGBカメラとIRカメラの2台の組合せで構成されていてもよい。
【0095】
(付記事項)
上述の実施形態は、以下の形態のように記載してもよいが、以下に限定されない。
【0096】
(形態1)モデルを学習させるために撮影された肌の映像を学習用映像として取得する学習フェーズにおいて、前記肌に照射された第1の照射光のスペクトルを記憶させる記憶制御部と、前記モデルを用いて、生体に関連する情報を含む生体情報を予測する予測フェーズにおいて、前記肌に照射された第2の照射光のスペクトルと、前記第1の照射光のスペクトルとに基づいて、前記肌に光を照射する光源を制御する光源制御部と、前記制御された光源から被制御光が出射され、前記被制御光が照射された前記肌を撮影した予測用映像に基づく予測情報と前記モデルとに基づいて、前記生体情報を予測する予測部とを備えた生体情報計測装置。
【0097】
(形態2)前記学習用映像に含まれる色情報に基づいて、前記第1の照射光のスペクトルを推定する第1スペクトル推定部をさらに備えた、形態1に記載の生体情報計測装置。
【0098】
(形態3)前記予測用映像に含まれる色情報に基づいて、前記第2の照射光のスペクトルを推定する第2スペクトル推定部をさらに備えた、形態1又は2に記載の生体情報計測装置。
【0099】
(形態4)前記学習用映像に含まれる色情報に基づく値と、前記予測用映像に含まれる色情報に基づく値との差を算出する算出部をさらに備え、前記光源制御部は、前記光源を制御して前記差を所定の値域に収める、形態1~3のいずれか一形態に記載の生体情報計測装置。
【0100】
(形態5)前記算出部は、前記光源が制御された後、前記差を再度算出し、前記光源制御部は、前記光源を再度制御して前記再度算出された前記差を前記所定の値域に収める、形態4に記載の生体情報計測装置。
【0101】
(形態6)前記学習用映像から算出される脈波と、前記生体に関連する情報との入出力関係を、前記モデルに学習させる学習部をさらに備え、前記予測部は、前記入出力関係に基づいて、前記予測用映像から算出される脈波から前記生体情報を予測する、形態1~5のいずれか一形態に記載の生体情報計測装置。
【0102】
(形態7)前記光源制御部は3波長帯域以上の光源を制御する、形態1~6のいずれか一形態に記載の生体情報計測装置。
【0103】
(形態8)前記第1の照射光のスペクトルの計測値または前記第2の照射光のスペクトルの計測値を取得する取得部をさらに備えた、形態1~7のいずれか一形態に記載の生体情報計測装置。
【0104】
(形態9)生体情報計測装置と、光源と、撮影装置とを含み、前記生体情報計測装置は、モデルを学習させるために撮影された肌の映像を学習用映像として取得する学習フェーズにおいて、前記肌に照射された第1の照射光のスペクトルを記憶させる記憶制御部と、前記モデルを用いて生体に関連する情報を含む生体情報を予測する予測フェーズにおいて、前記肌に照射された第2の照射光のスペクトルと、前記第1の照射光のスペクトルとに基づいて、前記肌に光を照射する前記光源を制御する光源制御部と、前記制御された光源から被制御光が出射され、前記被制御光が照射された前記肌を撮影した予測用映像に基づく予測情報と前記モデルとに基づいて、前記生体情報を予測する予測部とを備えた生体情報計測システム。
【0105】
(形態10)モデルを学習させるために撮影された肌の映像を学習用映像として取得する学習フェーズにおいて、前記肌に照射された第1の照射光のスペクトルを記憶させる記憶制御ステップと、前記モデルを用いて生体に関連する情報を含む生体情報を予測する予測フェーズにおいて、前記肌に照射された第2の照射光のスペクトルと、前記第1の照射光のスペクトルとに基づいて、前記肌に光を照射する光源を制御する光源制御ステップと、前記制御された光源から被制御光が出射され、前記被制御光が照射された前記肌を撮影した予測用映像に基づく予測情報と前記モデルとに基づいて、前記生体情報を予測する予測ステップとを含む生体情報計測装置の制御方法。
【0106】
(形態11)生体情報計測装置に、モデルを学習させるために撮影された肌の映像を学習用映像として取得する学習フェーズにおいて、前記肌に照射された第1の照射光のスペクトルを記憶させる記憶制御機能と、前記モデルを用いて生体に関連する情報を含む生体情報を予測する予測フェーズにおいて、前記肌に照射された第2の照射光のスペクトルと、前記第1の照射光のスペクトルとに基づいて、前記肌に光を照射する光源を制御する光源制御機能と、前記制御された光源から被制御光が出射され、前記被制御光が照射された前記肌を撮影した予測用映像に基づく予測情報と前記モデルとに基づいて、前記生体情報を予測する予測機能とを実現させる制御プログラム。
【0107】
本開示は、上記実施形態に限定されるものではなく、上記実施形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。
【0108】
〔ソフトウェアによる実現例〕
生体情報計測装置103の制御ブロック(特に、制御部320)は、集積回路(IC(Integrated Circuit)チップ)等に形成された論理回路(ハードウェア)によって実現してよいし、CPUを用いてソフトウェアによって実現してよい。後者の場合、生体情報計測装置103は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROMまたは記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM等を備えている。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてよい。具体的には、本開示の実施の形態に係るプログラムは、生体情報計測装置103に搭載されたコンピュータに、映像取得部321、第1スペクトル推定部322、第1脈波算出部323、生体情報取得部324、学習部325、記憶制御部326、第2スペクトル推定部327、第2脈波算出部328、スペクトル差算出部329、光源制御部330、予測部331をそれぞれ実現させる。なお、スペクトル取得部902、スペクトル差算出部903についても同様であり、詳細な説明は省略する。
【符号の説明】
【0109】
100 生体情報計測システム、101 光源、102 撮影装置、103 生体情報計測装置、104 被験者、201 フレーム画像、202 関心領域、310 記憶部、311 モデル、312 学習時スペクトル、320 制御部、321 映像取得部、322 第1スペクトル推定部、323 第1脈波算出部、324 生体情報取得部、325 学習部、326 記憶制御部、327 第2スペクトル推定部、328 第2脈波推定部、329 スペクトル差推定部、330 光源制御部、331 予測部、901 生体情報計測装置、902 スペクトル取得部、903 スペクトル差算出部