(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-07
(45)【発行日】2023-03-15
(54)【発明の名称】生体情報計測方法、生体情報計測プログラム、及び生体情報計測装置
(51)【国際特許分類】
A61B 10/00 20060101AFI20230308BHJP
A61B 5/1455 20060101ALI20230308BHJP
A61B 5/026 20060101ALI20230308BHJP
【FI】
A61B10/00 K ZDM
A61B5/1455
A61B5/026 120
(21)【出願番号】P 2021099742
(22)【出願日】2021-06-15
【審査請求日】2023-02-14
【早期審査対象出願】
(73)【特許権者】
【識別番号】520477429
【氏名又は名称】合同会社画像技術研究所
(74)【代理人】
【識別番号】100186129
【氏名又は名称】滝川 水大
(72)【発明者】
【氏名】高橋 雅人
(72)【発明者】
【氏名】津村 徳道
【審査官】門田 宏
(56)【参考文献】
【文献】国際公開第2019/031527(WO,A1)
【文献】国際公開第2015/137151(WO,A1)
【文献】特表2018-504946(JP,A)
【文献】特開2018-108278(JP,A)
【文献】特開平10-57329(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00 - 5/03
A61B 5/06 - 5/22
A61B 10/00
(57)【特許請求の範囲】
【請求項1】
体の特定の部位における皮膚部を指で押圧した後に、押圧されていた前記皮膚部の色の変化を写した画像に基づいて生体情報を計測する生体情報計測方法であって、
第1の指の爪床部分の画像情報である第1爪床画像を取得するステップと、
取得した前記第1爪床画像から、前記第1の指の爪床部分の特定情報である第1爪床情報を生成するステップと、
生成した前記第1爪床情報と、前記第1の指の押圧量との相関関係を有した相関関係情報を生成するステップと、
第2の指の爪床部分の画像情報である第2爪床画像を取得するステップと、
取得した前記第2爪床画像から、前記第2の指の爪床部分の特定情報である第2爪床情報を生成するステップと、
生成した前記相関関係情報に基づいて、前記第2爪床情報から前記第2の指が前記皮膚部を押圧しているときの押圧量を算出するステップと、を有する、
ことを特徴とする生体情報計測方法。
【請求項2】
押圧量を測定する測定手段を用いて前記第1の指の押圧量を測定するステップを有し、
前記第1の指の押圧量は、前記測定手段で測定しているときの押圧量であり、
前記第1爪床画像は、前記測定手段で前記第1の指の押圧量を測定しているときの画像情報であり、
前記第2爪床画像は、前記第2の指が前記皮膚部を押圧しているときの画像情報である、
ことを特徴とする請求項1記載の生体情報計測方法。
【請求項3】
前記第1の指と前記第2の指とは同一の指である、
ことを特徴とする請求項1または2記載の生体情報計測方法。
【請求項4】
前記第1爪床情報及び第2爪床情報は、少なくとも、爪床部分のヘモグロビンに関する情報、または、爪床部分の明度に関する情報、または、爪床部分の色に関する情報である、
ことを特徴とする請求項1乃至3何れかに記載の生体情報計測方法。
【請求項5】
体の特定の部位における皮膚部を指で押圧した後に、押圧されていた前記皮膚部の色の変化を写した画像に基づいて生体情報を計測する生体情報計測プログラムであって、
第1の指の爪床部分の画像情報である第1爪床画像を取得するステップと、
取得した前記第1爪床画像から、前記第1の指の爪床部分の特定情報である第1爪床情報を生成するステップと、
生成した前記第1爪床情報と、前記第1の指の押圧量との相関関係を有した相関関係情報を生成するステップと、
第2の指の爪床部分の画像情報である第2爪床画像を取得するステップと、
取得した前記第2爪床画像から、前記第2の指の爪床部分の特定情報である第2爪床情報を生成するステップと、
生成した前記相関関係情報に基づいて、前記第2爪床情報から前記第2の指が前記皮膚部を押圧しているときの押圧量を算出するステップと、をコンピュータに実行させる、
ことを特徴とする生体情報計測プログラム。
【請求項6】
体の特定の部位における皮膚部を指で押圧した後に、押圧されていた前記皮膚部の色の変化を写した画像に基づいて生体情報を計測する生体情報計測装置であって、
第1の指の爪床部分の画像情報である第1爪床画像を取得する第1爪床画像取得手段と、
取得した前記第1爪床画像から、前記第1の指の爪床部分の特定情報である第1爪床情報を生成する第1爪床情報生成手段と、
生成した前記第1爪床情報と、前記第1の指の押圧量との相関関係を有した相関関係情報を生成する相関関係情報生成手段と、
第2の指の爪床部分の画像情報である第2爪床画像を取得する第2爪床画像取得手段と、
取得した前記第2爪床画像から、前記第2の指の爪床部分の特定情報である第2爪床情報を生成する第2爪床情報生成手段と、
生成した前記相関関係情報に基づいて、前記第2爪床情報から前記第2の指が前記皮膚部を押圧しているときの押圧量を算出する押圧量算出手段と、を有する、
ことを特徴とする生体情報計測装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、皮膚部を写した画像から生体情報を計測する生体情報計測方法、生体情報計測プログラム、及び生体情報計測装置に関する。
【背景技術】
【0002】
一般に爪床血流充填時間(Capillary Refilling Time)を用いて生体情報を計測する方法が知られている。具体的には、指の爪床部分を指などで圧迫した後にその圧迫を解除する。そして、圧迫していた爪床部分の色の変化を目視で確認することでその人の状態について判断する方法であり(例えば、特許文献1参照)、緊急医療の現場などを含む様々な場所で用いられている。
【0003】
上述の方法については、爪床部分以外の体の部位にも用いることができることが知られており、例えば、前腕部分などについて当該方法を用いることができる。具体的には、前腕部分を指で圧迫し、指による前腕の圧迫を解除した後、指で圧迫していた部分の色の変化を観察することで、その人の生体情報を計測することができることが知られている。
【0004】
ところで、上述のような爪床血流充填時間(CRT)を用いた生体情報の計測方法は、圧迫した部分の色の変化を観察することが重要であるとともに、指で圧迫した際の指による圧量も重要となる。即ち、圧迫部分の色の変化は、どの程度の指圧で圧迫されたことによるものなのかが重要となり、圧迫されていた部分の色の変化、及び指で圧迫した際の指の押圧量に基づいて生体情報が計測される。そのため、圧迫時の指の押圧量を正しく把握していなければ正しく生体情報を計測できないことになってしまう。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
近年にあっては、遠隔にある人に対してCRTを用いて生体情報を計測することが望まれている。そこで、例えば、前腕を指で圧迫してところを撮影し、その画像から前腕の指で圧迫されていた部分の色の変化について観察することが考えられる。
【0007】
しかしながら、その撮影した画像から圧迫した部分の色の変化については把握することはできるが、前腕を圧迫した際の指の押圧量についてはその画像からは把握することができない。そのため、前腕の圧迫部分の色の変化を写した画像から正しく生体情報を計測するのは困難となっている。
【0008】
そこで本発明は、上記課題を解決するために行われたものであり、指で圧迫された部分の色の変化を写した画像から生体情報を計測する生体情報計測方法、生体情報計測プログラム、及び生体情報計測装置を提供すること目的とする。
【課題を解決するための手段】
【0009】
本発明は、体の特定の部位における皮膚部を指で押圧した後に、押圧されていた前記皮膚部の色の変化を写した画像に基づいて生体情報を計測する生体情報計測方法であって、第1の指の爪床部分の画像情報である第1爪床画像を取得するステップと、取得した前記第1爪床画像から、前記第1の指の爪床部分の特定情報である第1爪床情報を生成するステップと、生成した前記第1爪床情報と、前記第1の指の押圧量との相関関係を有する相関関係情報を生成するステップと、第2の指の爪床部分の画像情報である第2爪床画像を取得するステップと、取得した前記第2爪床画像から、前記第2の指の爪床部分の特定情報である第2爪床情報を生成するステップと、生成した前記相関関係情報に基づいて、前記第2爪床情報から前記第2の指が前記皮膚部を押圧しているときの押圧量を算出するステップと、を有する。
【0010】
また、押圧量を測定する測定手段を用いて前記第1の指の押圧量を測定するステップを有し、前記第1の指の押圧量は、前記測定手段で測定しているときの押圧量であり、前記第1爪床画像は、前記測定手段で前記第1の指の押圧量を測定しているときの画像情報であり、前記第2爪床画像は、前記第2の指が前記皮膚部を押圧しているときの画像情報である。
【0011】
さらに、前記第1の指と前記第2の指とは同一の指である。
【0012】
また、前記第1爪床情報及び第2爪床情報は、少なくとも、爪床部分のヘモグロビンに関する情報、または、爪床部分の明度に関する情報、または、爪床部分の色に関する情報である。
【0013】
また、本発明は、体の特定の部位における皮膚部を指で押圧した後に、押圧されていた前記皮膚部の色の変化を写した画像に基づいて生体情報を計測する生体情報計測プログラムであって、第1の指の爪床部分の画像情報である第1爪床画像を取得するステップと、取得した前記第1爪床画像から、前記第1の指の爪床部分の特定情報である第1爪床情報を生成するステップと、生成した前記第1爪床情報と、前記第1の指の押圧量との相関関係を有した相関関係情報を生成するステップと、第2の指の爪床部分の画像情報である第2爪床画像を取得するステップと、取得した前記第2爪床画像から、前記第2の指の爪床部分の特定情報である第2爪床情報を生成するステップと、生成した前記相関関係情報に基づいて、前記第2爪床情報から前記第2の指が前記皮膚部を押圧しているときの押圧量を算出するステップと、をコンピュータに実行させる。
【0014】
また、本発明は、体の特定の部位における皮膚部を指で押圧した後に、押圧されていた前記皮膚部の色の変化を写した画像に基づいて生体情報を計測する生体情報計測装置であって、第1の指の爪床部分の画像情報である第1爪床画像を取得する第1爪床画像取得手段と、取得した前記第1爪床画像から、前記第1の指の爪床部分の特定情報である第1爪床情報を生成する第1爪床情報生成手段と、生成した前記第1爪床情報と、前記第1の指の押圧量との相関関係を有した相関関係情報を生成する相関関係情報生成手段と、第2の指の爪床部分の画像情報である第2爪床画像を取得する第2爪床画像取得手段と、取得した前記第2爪床画像から、前記第2の指の爪床部分の特定情報である第2爪床情報を生成する第2爪床情報生成手段と、生成した前記相関関係情報に基づいて、前記第2爪床情報から前記第2の指が前記皮膚部を押圧しているときの押圧量を算出する押圧量算出手段とを有する。
【発明の効果】
【0015】
本発明によると、指で圧迫された部分の色の変化を写した画像から生体情報を計測することができる。
【図面の簡単な説明】
【0016】
【
図1】本実施の形態にかかる生体情報計測装置の構成を示す全体図である。
【
図2】本実施の形態にかかる生体情報計測装置を構成するスマートフォンのブロック図である。
【
図3】本実施の形態にかかる生体情報計測装置を構成するスマートフォンの制御部のブロック図である。
【
図4】本実施の形態にかかる生体情報計測方法の流れを示したフロー図である。
【
図5】本実施の形態にかかる生体情報計測方法の流れを示したフロー図である。
【
図6】本実施の形態にかかる生体情報計測方法の流れを示したフロー図である。
【
図7】本実施の形態にかかる生体情報計測方法で計測する指先部分を示した模式図ある。
【
図8】本実施の形態にかかる生体情報計測方法で生体情報を計測するときの前腕を指で押圧する動作を示した模式図であって、(A)は、指で前腕を押圧しているときの模式図であって、(B)は、指による押圧を解除したときの模式図である。
【
図9】(A)は、本実施の形態にかかる生体情報計測方法で計測する指先部分を示した模式図あり、(B)は、爪床部分のヘモグロビンの量と指の押圧量との相関関係を示したグラフである。
【
図10】本実施の形態にかかる生体情報計測方法で計測する指先部分を示した模式図ある。
【発明を実施するための形態】
【0017】
以下、本実施の形態にかかる生体情報計測装置1及び当該装置を用いて行う生体情報計測方法について
図1~
図10を参照しつつ説明する。
【0018】
(生体情報計測装置の構成)
本実施の形態にかかる生体情報計測装置1は、
図1に示すように、画像(画像情報(画像データ))を取得するためカメラ機能を有したスマートフォン100、及び、事前に指Fの押圧量を計測するための秤200を有して構成されている。まずは、本実施の形態に用いられるスマートフォン100の構成について説明する。
【0019】
(スマートフォンの構成)
本実施の形態にかかるスマートフォン100は、
図2示すように、カメラ部110と、制御部120と、操作部130と、表示部140と、記憶部150と、通信部160と、音声部170などを有して構成さている。
【0020】
カメラ部110は、画像情報を取得するためのものであり、前記カメラ部110は、RGBカメラで構成されている。ここでRGBカメラとは、R(赤)、G(緑)、B(青)の各色に対応する波長領域の光強度に感度を有する検出素子を複数備え、画像情報を取得できるものである。
【0021】
制御部120は、上記カメラ部110の動作の制御をはじめとしてスマートフォン100の全体の動作を制御するものである。そして、制御部120は、図示はしないがCPU(Central Processing Unit)やROM(Read Only Memory)やRAM(Random Access Memory)などを有して構成されている。
【0022】
操作部130は、スマートフォン100のユーザーによる操作を受け付け、その操作の内容に応じた各種信号を制御部120に送るものである。そして、操作部130は、表示部140に重ねて配置されるタッチパネルやスマートフォン100に設けられた各種スイッチなどから構成されている。
【0023】
表示部140は、制御部120による制御に基づいて様々な画像を表示するものであり、本実施の形態では、液晶ディスプレイで構成されている。
【0024】
記憶部150は、例えば、制御部120のRAMなどに一時的に記憶された画像情報などの各種データについて永続的に記憶するためのものである。そして、本実施の形態の記憶部は、SSD(Solid State Drive)で構成されている。
【0025】
通信部160は、例えばインターネットに接続することで必要な各種情報についての送受信を行うものである。
【0026】
音声部170は、スマートフォン100のユーザーが発する音声を入力したり、または、通信部160から入力された音声データに基づいて音声を出力したりするものである。そして、音声部170はスピーカやマイクロホンなどで構成されている。
【0027】
また、図示はしないが、スマートフォン100にはバッテリーなどで構成される電源部を有しており、制御部120の指示に応じて各部に電気を供給するようになっている。
【0028】
そして、制御部120は、
図3に示すように、CPUがROMに記憶されている情報処理プログラムをRAMにロードして実行することで、画像情報読取手段121、判定領域設定手段122、信号情報抽出手段123、ヘモグロビン量判定手段124、相関関係情報生成手段125、及び指圧量算出手段126としても機能するようにもなっている。
【0029】
次いで、制御部120が機能する上述の各手段について説明する。
【0030】
画像情報読取手段121は、カメラ部110によって撮影された画像情報を制御部120内に取り込むものである。即ち、スマートフォン100が画像情報を取得するためのものであり、具体的には、カメラ部110によって撮影された画像情報をメモリなどの記憶媒体に記憶させるようになっている。そして、本実施の形態では、上記カメラ部110及びこの画像情報読取手段121が本発明の第1爪床画像取得手段及び第2爪床画像取得手段を構成している。
【0031】
判定領域設定手段122は、画像情報読取手段121によって読み込まれた画像情報を対象として、一定の領域を設定するものでる。具体的には、後述するように、ヘモグロビン量判定手段124が爪床部分R1のヘモグロビンの量を判定するようになっており、判定領域設定手段122は、へモグロビン量判定手段124がヘモグロビンの量について判定する際に、爪床部分F1におけるその判定する領域(以下、当該領域のことを判定領域Rという)を設定するものである(
図7参照)。
【0032】
信号情報抽出手段123は、取得された画像情報から各種信号情報を抽出するものである。そして、本実施の形態において信号情報抽出手段123は、カメラ部110で撮影された画像情報からR信号、G信号、及びB信号の各信号について抽出するようになっている。ここで、R信号は赤成分画像信号であり、G信号は緑成分画像信号であり、及びB信号は青成分画像信号を意味するものである。
【0033】
ヘモグロビン量判定手段124は、皮膚部におけるヘモグロビンの量について判定するものである。具体的には、信号情報抽出手段123によって抽出されたR信号、G信号、及びB信号(以下、単にRGB信号という)に基づき爪床部分F1の血中に含まれるヘモグロビンを表したヘモグロビン画像、爪床部分F1におけるメラニンの量を表したメラニン画像、及び爪床部分F1における陰影を表した陰影画像のそれぞれを生成するようになっている。そして、ヘモグロビン量判定手段124は、生成した画像のうちのヘモグロビン画像から判定領域Rに該当する部分におけるヘモグロビンの量の平均値を生成(算出)するようになっている。そして、本実施の形態では、このヘモグロビン量判定手段124が本発明の第1爪床情報生成手段及び第2爪床情報生成手段を構成している。
【0034】
ところで、体の特定の部位の皮膚部を圧迫すると、圧迫された部分の皮膚部の色は通常有している皮膚の色から異なる色(白みかかった色)へと変化する。これは、指先であっても同様であり、指先で何かを押圧した際の爪床部分F1は、押圧していない通常の爪床部分F1の色(通常時における爪床部分F1の色は、薄いピンク色(以下この薄いピンク色について爪床部分の赤みという))であり、この色から白みかかった色へと変化する。さらには、その色の変化の度合い及び変化の領域は指Fの押圧に応じて変化するものであり、押圧する圧量が大きければ大きいほどより白みかかった色へと変化し、その変化する領域も広くなる(
図9(A)参照)。
【0035】
そして、圧迫を解除すると皮膚部や爪床部分F1に赤みが戻り、通常の皮膚部や爪床部分F1の色に戻るようになっている。これは、皮膚部や爪床部分F1が圧迫されることによって、圧迫された部分の毛細血管中における血流(血量)が減少するからである。また、反対に圧迫が解除されると毛細血管中における血流が増加して当該部分の肌の赤みが戻り、通常時の色へと戻るようになっている。このように、毛細血管の血流が減少すると血中に含まれるヘモグロビンの量についても減少することになる。また反対に、毛細血管の血量が増加するとそれに伴い血中に含まれるヘモグロビンの量についても増加するようになっている。
【0036】
相関関係情報生成手段125は、爪床部分F1での判定領域Rにおけるヘモグロビンの量の平均値と、そのときの指Fの押圧量との相関関係を有したデータベースである相関関係情報を生成するものである。
【0037】
具体的には、爪床部分F1のヘモグロビンの量の増減は、上述のように、指先の押圧の大きさ(押圧量)に応じて変化するようになっている。そして、後述する秤200の上皿210を押圧する指Fの押圧量が大きくなると、爪床部分F1の毛細血管中の血流が減少するのに伴い爪床部分F1のヘモグロビンの量が減少する。それとは反対に、指Fの押圧量が小さくなればその指Fの爪床部分F1の毛細血管中の血流が増加するのに伴い爪床部分F1のおけるヘモグロビンの量が増加する(
図9(B)参照))。このように、爪床部分F1でのヘモグロビンの量の増減と指Fの押圧量の増減とは相関関係を有しており、相関関係情報生成手段125は、この相関関係を有したデータベースを生成(算出)するようになっている。
【0038】
指圧量算出手段126は、押圧状態にある指の押圧量を算定するものである。具体的には、相関関係情報生成手段125が生成した相関関係情報に基づいて、ヘモグロビン量判定手段124が算出したヘモグロビンの量の平均値から指Fの押圧量を算出するようになっている。
【0039】
(秤の構成)
本実施の形態での秤200は、いわゆる電子秤と称されるものであり、測定する物を載置する上皿210及び上皿210に載置された物の重さを算出する制御装置(不図示)が収納された本体部230などから構成されている。また、前記本体部230には、各種数値などを表示するための表示部220が設けられており、秤200の上皿210に載置された物の重さに関する数字などを表示部220に表示するようになっている。そして、本実施の形態では、この秤200が本発明の押圧量を測定する測定手段を構成している。
【0040】
(生体情報計測方法の流れ)
次いで、上記生体情報計測装置1を用いて行う生体情報計測方法の流れについて
図4~
図6を参照しつつ説明する。
【0041】
以下説明する、生体情報計測装置1を用いて行う生体情報計測方法は、爪床血流充填時間(Capillary Refilling Time)を用いた計測方法であり、押圧する指Fと、当該指によって押圧されていた部分を撮影し、その画像に基づき生体情報を計測するようになっている。
【0042】
そして、本実施の形態では、人の生体情報を計測するのに先立ち、指Fによる押圧量と、押圧時における爪床部分F1のヘモグロビンの量の平均値との相関関係を有した相関関係情報(以下、指圧データという)を生成するようになっている(
図4のSTEP100、以下、単にS〇〇〇という)。
(相関関係情報(指圧データ)の生成)
【0043】
まずは、指圧データの作成時の流れについて
図5を参照しつつ説明する。
【0044】
本実施の形態において前記指圧データを生成する際には、上記の秤200が用いられるようになっている。そして、秤200の物などを載置する上皿210の部分に指(本実施の形態では左手の人差し指)Fの指先(いわゆる指の腹と称される部分であって指先の指紋側の部分である)を押し当て、上皿210を当該人差し指Fで押圧することによって指圧データが作成されるようになっている(
図1参照)。また、この時には、秤200の上皿210に載っている人差し指Fの爪床部分F1をスマートフォン100のカメラ部110で撮影するようになっている。そして、本実施の形態では、この左手の人差し指Fが本発明の第1の指及び第2の指を構成している。
【0045】
本実施の形態では、指圧データを作成する指Fは、生体情報を計測する対象者の指Fではなく、その対象者の皮膚部(本実施の形態では後述するように前腕部分)を押圧する者の指Fである。そのため、対象者が自身で皮膚部を押す場合には、自身の指Fを秤200に押し当てて指圧データを作成し、他人に自分の皮膚部を押圧してもらう場合には、当該他人の指Fを秤200に押し当てて指圧データ作成するようになっている。そして本実施の形態では、生体情報を計測する対象者(前腕部分を押される者であって以下、単に、本人という)自身の指Fについて指圧データを作成するようになっている。
【0046】
そして、上皿210上にある指先の爪床部分F1がスマートフォン100のカメラ部110で撮影されると、画像情報読取手段121によって、その爪床部分F1の画像情報が制御部120のメモリなどに記憶される。これにより、爪床部分F1についての画像情報が制御部120に取り込まれ、爪床部分F1の画像情報がスマートフォン100に取得されることになる(
図5のS110)。そして、本実施の形態では、上皿210上にある指先の爪床部分F1の画像情報が本発明の第1爪床画像を構成している。
【0047】
制御部120に爪床部分F1の画像情報が読み込まれると、判定領域設定手段122は、
図7に示すように、ヘモグロビン量判定手段124が爪床部分F1のヘモグロビンの量を判定するための判定領域Rを自動的に設定するようになっている(
図5のS120)。
【0048】
上述のように判定領域設定手段122によって判定領域Rが設定されると、信号情報抽出手段123は、その領域内の画像情報からRGB信号を抽出するようになっている(
図5のS130)。
【0049】
判定領域設定手段123によって判定領域Rが設定され、信号情報抽出手段123によって設定された判定領域RからRGB信号が抽出されると、ヘモグロビン量判定手段124は、抽出されたRGB信号うち、R信号、G信号、及びB信号の何れか、またはそれら複数の信号に基づいて、判定領域Rにおけるヘモグロビン画像、メラニン画像、及び陰影画像を生成する。そして、ヘモグロビンの量判定手段124は、生成したヘモグロビン画像に基づき判定領域Rにおけるヘモグロビンの量の平均値について算出するようになっている。即ち、ヘモグロビン量判定手段124は、上皿210を押圧する指先の押圧量に対応する判定領域R内のヘモグロビン量の平均値について算出するようになっている(
図5S140)。そして算出されたこのヘモグロビンの量の平均値が本発明の第1爪床情報を構成している。
【0050】
ところで、スマートフォン100のカメラ部110で上皿210上にある指Fの爪床部分F1を撮影する際には、秤200の表示部220についてもあわせて撮影する。上皿210に人差し指Fの指先(指の腹)を押し当てて上皿210を押圧すると、図示はしないが、上皿210が指Fで押圧されるのに伴って、秤200に設けられた表示部220には、重さ(指Fの上皿210に対する押圧量)を表した数字が表示されるようになっている。そして、カメラ部110で表示部220に表示される数値が撮影されると、その数値についての画像情報である数値画像情報についても画像情報読取手段121によって制御部120のメモリに記憶されるようになっている。
【0051】
上述のように、ヘモグロビン量判定手段124が判定領域Rにおけるヘモグロビンの量の平均値を算出すると、相関関係情報生成手段125は、判定領域Rのヘモグロビンの量と指Fの押圧量との相関関係を有した指圧データを生成するようになっている(
図5の150)。
【0052】
具体的には、判定領域Rにおけるヘモグロビンの量の平均値をヘモグロビン量判定手段124が算出する毎に、相関関係情報生成手段125は、メモリに記憶された上記数値画像情報から当該平均値が算出された時の指Fの押圧量の値を特定する。そして、相関関係情報生成手段125は、特定した押圧量の値をその算出された平均値ごとに対応して記憶することでヘモグロビンの量の平均値と指Fの押圧量との相関関係を有した指圧データを生成するようになっている。
【0053】
上述のように、指圧データを生成した後、本人は、
図8(A)に示すように、上記指圧データを生成した人差し指Fで自分の前腕A部分の皮膚部(以下、単に前腕という)を押圧する(
図4のS200)。そして、本実施の形態では、この前腕Aが本発明の体の特定の部位における皮膚部を構成している。
【0054】
なお、人差し指Fで前腕Aを押圧する際は、上述の秤200の上皿210を押圧したときと同じ態様(圧力のかけ方)で圧力を加えることが必要である。即ち、圧力をかけるときの指Fの方向や、上皿210と接する指の腹の領域などが同じとなるように押圧する必要がある。このように同じ圧力のかけ方で押圧しなければ、前腕Aを押圧している指Fの押圧量を算出した際の精度が落ちてしまい正確な押圧量を算出することができないからである。
【0055】
上述のように、前腕Aを指先で押圧した後、前腕Aを押圧している指Fの爪床部分をス
マートフォン100で撮影する(
図4のS300)。
【0056】
なお、本実施の形態では、図示はしないが指Fの爪床部分を撮影するために支持具でスマートフォン100が固定されている。そのため、スマートフォン100を固定するための支持具を用意できない場合や、前腕Aを指Fで押圧しながら押圧している指Fを自身で撮影することが困難な場合には、他人にスマートフォン100をもってもらい当該部分を撮影してもらうのが好適である。
【0057】
上述のように、前腕Aを押圧している指Fの爪床部分F1がカメラ部110で撮影されると、撮影された爪床部分F1の画像情報に基づいて、当該画像情報にかかる前腕Aを押圧している指Fの押圧量が算出されるようになっている(
図4のS400)。
【0058】
(指の押圧量の算出)
ここで、前腕Aを押圧している指Fの押圧量を算出する流れについて
図6を参照しつつ詳細に説明する
【0059】
上述のように、前腕Aを押圧している指Fがカメラ部110によって撮影されると、指圧データの生成時の同様に、画像情報読込手段121によって指Fの爪床部分F1の画像情報が制御部120のメモリに記憶されるようになっている。即ち、爪床部分F1の画像情報がスマートフォン100に取得される(
図6の410)。そして、本実施の形態では、前腕Aを押圧する指先の爪床部分F1の画像情報が本発明の第2爪床画像を構成している。
【0060】
前腕Aを押圧する指Fの爪床部分F1の画像情報が制御部120に取り込まれると、指圧データを生成する時と同様に、判定領域設定手段122は、前腕Aを押圧する指Fの爪床部分F1にヘモグロビン量判定手段124がヘモグロビンの量を判定するための判定領域Rを自動的に設定するようになっている(
図6のS420)。
【0061】
なお、この時に判定領域設定手段122が設定する判定領域Rは、指圧データを生成した時に設定した判定領域Rと同一の態様で設定するようになっている。即ち、指圧データを生成した時と同一の面積で同一の位置に判定領域Rを設定するようになっている。
【0062】
判定領域Rが設定されると、信号情報抽出手段123は、その領域内の画像情報からRGB信号を抽出する(
図6のS430)。そして、ヘモグロビン量判定手段124は、抽出されたRGB信号からヘモグロビン画像を生成し、その生成したヘモグロビン画像から判定領域Rにおけるヘモグロビンの量の平均値を算出するようになっている(
図6のS440)。そして、算出されたこのヘモグロビンの量の平均値が本発明の第2爪床情報を構成している。
【0063】
ヘモグロビン量判定手段124によって判定領域Rにおけるヘモグロビンの量の平均値が算出されると、指圧量算出手段126は、相関関係情報生成手段125によって生成された指圧データに基づいて、ヘモグロビン量判定手段124によって算出されたヘモグロビンの量の平均値から前腕Aを押圧している指Fの押圧量を算出する。
【0064】
具体的には、上述のように指圧データは、判定領域Rにおけるヘモグロビンの量の平均値と、指Fの押圧量との相関関係を有したデータであり、例えば、
図9(B)に示すように、前腕Aを押圧する指Fについて算出されたヘモグロビンの量の平均値の値がαだった場合には、指圧データからその時の指Fの押圧量の値であるβが指圧データから算出されることになる。このように、指圧量算出手段126は、指圧データに基づいて算出されたヘモグロビン量の平均値から前腕Aを押圧する指Fの押圧量を算出するようになっている(
図6のS450)。
【0065】
指圧量算出手段126は、図示はしないが、前腕Aを押圧する指Fの押圧量を算出すると、前腕Aを押圧する指F(爪床部分F1)の画像とともに、その押圧量についての値をスマートフォン100の表示部140に表示させるようになっている。
【0066】
そして、本人が、
図7に示すように、前腕Aを押圧している指Fを移動させると、指Fによって押圧されていた部分がカメラ部110によって撮影されるようになっている(この時、スマートフォン100の位置は固定されたままの状態である)。それに伴い、前腕Aの指で押圧されていた部分の画像(押圧されていた部分の色の変化を写した画像であって、以下、当該部分の画像について前腕皮膚画像という)は、画像情報読取手段121によって制御部120のメモリに記憶されるようになっている(
図4のS500)。
【0067】
また、指Fが動かされた(移動された)ことによって、撮影されていた爪床部分F1が大きく移動すると(例えば、カメラ部110の撮影範囲から外れると)、指圧量算出手段126は、爪床部分F1が移動する直前の指Fの押圧量(以下、その押圧量について直前押圧量という)を制御部120のメモリに記憶させるとともに、直前押圧量の値をスマートフォン100の表示部140に表示させるようになっている。
【0068】
制御部120のメモリには、上述のように、直前押圧量及び前腕皮膚画像についての画像が記憶されることになる。そして、記憶された直前押圧量及び前腕皮膚画像を、例えば、インターネットを介してかかりつけの医者のパソコンやスマートフォンに送信したり、または、かかりつけの医者に受診した際に、スマートフォン100の表示部140に表示したりする。そして、かかりつけの医者は、表示された前腕皮膚画像や直前押圧量から押圧されていた部分の皮膚の色の変化を観察することで、例えば、体の免疫機能についての状態や体の自律神経の状態などの生体情報について計測することができる。
【0069】
上述のように、ヘモグロビンの量の平均値と指圧量との相関関係を有した指圧データを生成し、生成した指圧データに基づいて爪床部分F1を写した画像から前腕Aを押圧している指Fの押圧量を算出することができるので、算出した指Fの押圧量及び指Fで押圧されていた部分(皮膚部)の色の変化を写した画像から体の免疫機能や自律神経などに関する生体情報について計測することができる。これにより、例えば、遠隔地にいる者に対してCRTを用いた生体情報計測方法を用いて生体情報を計測することができる。
【0070】
また、指圧データを算出する際に撮影する爪床部分F1、及び前腕Aを押圧した際に撮影する爪床部分F1はともに、本人の左腕の人差し指Fの爪床部分F1を撮影するので、例えば、指圧データを算出する際に撮影する爪床部分F1は左腕の人差し指Fで、前腕Aを押圧した際に撮影する爪床部分F1は右腕の人差し指Fでというように、異なる指Fの爪床部分F1の画像に基づき指Fの押圧量を算出する場合と比して、より高い精度で前腕Aを押圧している指Fの押圧量を算出することができる。何故なら、同一人物の指Fであっても異なる指同士では同じ押圧量がかかったとしてもと爪床部分F1における血流の増減が異なるため、算出されるヘモグロビンの量が異なり、算出される指の押圧量の精度が低下するからである。
【0071】
なお、本実施の形態では、前腕Aを押圧する本人の左腕の人差し指Fに基づき(同一の指に基づき)指圧データを算出するようにしたがこれに限らない。例えば、複数の異なる人の爪床部分F1からヘモグロビンの量及び押圧量を算出して、算出したそれら複数の値の平均の値から指圧データを算出するようにしてもよい。即ち、第1の指と第2の指とを異なる指で構成してもよい。
【0072】
このように、複数の人の爪床部分F1から指圧データを算出すると、皮膚部を押圧している指Fの押圧量を算出した際の押圧量の値は、同一の指Fから算出した指圧データに基づき算出した場合と比してその精度が劣ることになる。しかしながら、複数の人の爪床部分F1から算出した指圧データを生成すれば、汎用性を有した指圧データとすることができ、予め個人で指圧データを生成しなくともある程度の精度を有した押圧量を算出することが可能となる。即ち、汎用性を有した指圧データを不特定多数の者に用いることができ、個人で指圧データを生成することなく皮膚部を押圧する指Fの押圧量を画像から算出することができる。これにより、指圧データを生成する工程を省略することができるので、生体情報を計測する者の負担を軽減することもできる。
【0073】
また、本実施の形態では、判定領域設定手段122は、爪床部分F1の画像情報が制御部120に読み込まれるのに伴って自動的に判定領域Rを設定するように構成したがこれに限らない。例えば、指Fを前腕Aに押し当てる本人自らで判定領域Rを設定するようにしもよい。即ち、手動で判定領域Rを設定するようにしてもよい。
【0074】
また、本実施の形態では、爪床部分F1が撮影範囲外に移動するのに伴って、自動で直前押圧量を記憶するようにしたがこれに限らない。例えば、撮影者の操作に応じて直前押圧量を記憶するようにしてもよい。即ち、手動で直前押圧量を記憶するようにしてもよい。
【0075】
また、本実施の形態では、取得した上記数値画像情報から指Fの押圧量の値を特定するよう構成したがこれに限らない。例えば、スマートフォン100と秤200とをUSBケーブルなどで接続して、USBケーブルを介して秤200から測定された押圧値をスマートフォン100に読み込むようにしてもよい。即ち、上皿210を押圧している時に秤200によって測定される指Fの圧量の値が取得できるものであれば何れのものであってもよい。
【0076】
また、本実施の形態では、指Fの爪床部分F1の画像情報の取得をする際、スマートフォン100のカメラ部110で撮影し、取得した爪床部分F1の画像情報に基づく指Fの押圧量をスマートフォン100の制御部120で算出するように構成したがこれに限らない。例えば、指Fの爪床部分F1についてはスマートフォン100のカメラ部110で撮影する。そして、取得した爪床部分F1の画像情報についてはパソコンなどスマートフォン100以外の情報処理装置に送信した後、その画像情報を送信したパソコンにおいて爪床部分F1の画像から指Fの押圧量を算出するようにしてもよい。即ち、爪床部分F1の画像を取得することができ、且つ、取得した爪床部分F1の画像情報から指Fの押圧量を算出することができれば何れのものであってもよい。
【0077】
また、本実施の形態では、前腕Aを押圧する指Fの押圧量を算出する前に、予め指圧データを算出するようにしたがこれに限らない。例えば、前腕Aを押圧する指Fを撮影した後(画像を取得した後)に指圧データを生成するようにしてもよい。
【0078】
また、本実施の形態では前腕Aを指Fで押圧し、その押圧された部分について撮影するようにしたがこれにかぎらない。例えば、太腿や腹や指Fの爪床部分F1などを指で押圧して、圧迫されていた当該部分について撮影するように構成してもよい。即ち、本発明の体の特定の部位における皮膚部をどの部位の皮膚部で構成してもよい。
【0079】
また、本実施の形態では、前腕Aの指Fで押圧されていた部分をカメラ部110で撮影し、当該部分の色の変化にも基づいて生体情報を計測するように構成したがこれに限らない。例えば、前腕Aの指Fで押圧されていた部分とともに、前腕Aを押圧していた指Fの爪床部分F1についても併せてカメラ部110で撮影する。そして、前腕Aの指Fで押圧されていた部分及び前腕Aを押圧していた指Fの爪床部分F1の色の変化を写した画像情報の両方、または、その何れか一方から生体情報を計測するようにしてもよい。
【0080】
(変形例1)
次いで、上述の本実施の形態の変形例について説明する。但し、以下に説明する変形例については、既に説明した本実施の形態と異なる点についてのみ説明するものとし、同一の構成については同一の符号を付してその説明については省略するものとする。
【0081】
上述の本実施の形態では、爪床部分F1のヘモグロビンの量の平均値に基づいて指Fの押圧量を算出するようにしたがこれに限らない。例えば、爪床部分F1の明度(明るさ)から指Fの押圧量を算出するようにしてもよい。即ち、本発明の第1爪床情報及び第2爪床情報を爪床部分F1の明るさで構成してもよい。
【0082】
具体的には、ヘモグロビンの量に応じて爪床部分F1での光が吸収される量が変化する。例えば、ヘモグロビンの量が多ければ、ヘモグロビンによって吸収される光の量が多くなるため、爪床部分F1に反射される光の量が減少する。この反射される光が減少するため爪床部分F1の明るさも減少する。このように、爪床部分F1の明るさが減少した場合には、爪床部分F1での反射される光の量が減少したことになる。そして、爪床部分F1で反射される光の量が減少したということは、光を吸収するヘモグロビンの量が増加したということであり、ヘモグロビンの量が増加したということは、爪床部分F1における血流が増加したということである。
【0083】
また反対に、爪床部分F1の明るさが増加した場合には、爪床部分F1での反射される光の量が増加したことであり、反射される光の量が増加したということは、光を吸収するヘモグロビンの量が減少したということである。ヘモグロビンの量が減少したということは、爪床部分F1における血流が減少したということである。上述のように、爪床部分F1の血流の増減は、指Fの押圧量に応じて変化するようになっていることから、爪床部分F1の明度(明るさ)から爪床部分F1のヘモグロビンの量を特定することができる。そして、そのヘモグロビンの量から爪床部分F1の血流及び指Fの押圧量を算出することができることから、爪床部分F1の明るさから指Fの押圧量を算出することもできる。
【0084】
なお、上述のように、爪床部分F1の明度(明るさ)から指Fの押圧量を算出する場合には、前腕Aを押圧している指F(爪床部分F1)を撮影する際のスマートフォン100の指Fに対する角度や距離などは、秤200の上皿210を押圧したときと同一の角度や距離で撮影するともに、爪床部分F1に対する照明の強度(明るさ)についても上皿210の押圧時と同一の照明の強度で撮影する必要がある。即ち、指圧データを生成する際に上皿210を押圧したときと同一の条件で撮影する必要がある。異なる条件で撮影すると爪床部分F1の明るさに基づいて正確な指Fの押圧量を算出できなくなるからである。
【0085】
上述のように、指Fの押圧量を爪床部分F1の明度から算出するので、ヘモグロビンの量以外の要素からでも指Fの押圧量を算出することができる。これにより、様々な要素に基づき指Fの押圧量を算出することができ、多様な生体情報計測方法を構築することができる。
【0086】
(変形例2)
上述の変形例1では、爪床部分F1の明るさに基づき指Fの押圧量を算出するようにしたがこれに限らない。例えば、爪床部分F1の色から押圧量を算出するようにしてもよい。即ち、本発明の第1爪床情報及び第2爪床情報爪を爪床部分F1の色で構成してもよい。
【0087】
具体的には、爪床部分F1は、上述のように通常において赤みを有しており、この赤みの濃淡は、ヘモグロビンの量に起因するものである。そのため、爪床部分F1におけるヘモグロビンの量が減少すれば赤みの濃度が減少して(薄くなって)白みかかった色となる。ヘモグロビンの量が減少したということは、爪床部分F1における血流が減少したということである。
【0088】
また反対に、爪床部分F1におけるヘモグロビンの量が増加すれば赤みの濃度が増加して(濃くなって)赤みが増すことになる。ヘモグロビンの量が増加したということは、爪床部分F1における血流が増加したということである。上述のように、爪床部分F1の血流の増減は、指Fの押圧量に応じて変化するようになっていることから、爪床部分F1の赤み(色)から爪床部分F1のヘモグロビンの量を特定することができる。そして、そのヘモグロビンの量から爪床部分F1の血流及び指Fの押圧量を算出することができることから、爪床部分F1の色から指Fの押圧量を算出することもできる。
【0089】
上述のように、指Fの押圧量を爪床部分F1の赤み(色)から算出するので、ヘモグロビンの量以外の要素からでも指Fの圧量を算出することができる。これにより、様々な要素に基づき指Fの押圧量を算出することができ、多様な生体情報計測方法を構築することができる。
【0090】
(変形例3)
また、上述の本実施の形態では、秤200の上皿210や前腕Aを指Fで押圧している指Fの爪床部分F1の画像情報を取得するようになっているが、その取得した爪床部分F1の画像情報から爪床部分F1の色の分布に関する情報を取得するようにしてもよい。
【0091】
具体的には、上皿200や前腕Aを指Fで押圧した際に、指F1からかかる圧力が偏って上皿200や前腕Aにかかる場合がある。例えば、指Fからの圧力が偏ってかかった場合には、爪床部分F1において色が変化する場所が異なるようになっている。例えば、本人から見て、指Fの圧力が指Fの左側方に偏ってかかっていた場合には、
図10(A)に示すように、爪床部分F1の左側部分が白みかかった色へと変色する。即ち、爪床部分F1の左側部分の赤みの濃度が低下することになる。
【0092】
またそれとは逆に、指Fの圧力が指Fの右側方に偏ってかかっていた場合には、
図10(B)に示すように、爪床部分F1の右側部分が白みかかった色へと変色し、赤みの濃度が低下することになる。このように、指Fの圧力の偏りによって爪床部分F1における色の分布も異なるようになっており、爪床部分F1の画像情報において、爪床部分F1の色の分布から指Fによる押圧のかかり方(圧力の偏り)を判別することができる。
【0093】
上述のように、爪床部分F1の画像情報から爪床部分F1の色の分布の違いを判断することができるとともに、爪床部分F1の色の分布から指Fの圧力のかけ方を判別することができる。これにより、例えば、遠隔地にいる者に対して指Fの圧力のかけ方(指Fの位置)について指示することができる。特に、本実施の形態にかかる生体情報計測方法で生体情報を取得する際には、爪床部分F1の画像情報に基づき指Fで押圧する際に押圧のかけ方を指示することができるので、高い精度で指Fの押圧量を算出することができる。
【0094】
なお、本変形例では、爪床部分F1における色の分布から指の圧力のかけ方を判別するようにしたがこれにかぎらない。例えば、爪床部分F1におけるヘモグロビンの量の分布や爪床部分F1における明度の分布などから、指の圧力のかけ方を判別するようにしてもよい、即ち、爪床部分F1における分布に関する情報に基づくものであれば何れのものであってもよい。
【0095】
また、本変形例では、爪床部分F1の色の分布から指の圧量のかけ方を判別するようにしたがこれに限らない。例えば、爪床部分F1の色の分布(例えば、色の分布の差分)から指Fの圧力差や指Fの押圧量を検知するなど、色の分布に基づき指Fの押圧量に関する様々なことについて算出するようにしてもよい。
【0096】
本発明を上述の実施の形態で説明したがこれに限定されるものではない。本発明の目的を達成し得る範囲内において、変形、変更、及び各構成要件の組み合わせの変更などを行なうことが可能である。
【符号の説明】
【0097】
1 生体情報計測装置
100 第1,第2爪床画像取得手段(スマートフォン)
121 第1,第2爪床画像取得手段(画像情報読取手段)
125 相関関係情報生成手段
126 押圧量算出手段
A 皮膚部(前腕)
F 指(人差し指)
F1 爪床部分