【文献】
池田 悠平、他,表情と生体情報を用いた感情の推測方法の検討,マルチメディア、分散協調とモバイルシンポジウム2016論文集,日本,2016年 7月 6日, 149−161頁
【文献】
坂本 博泰、他,顔画像解析による人間の快・不快の計測手法,情報処理学会研究報告コンピュータビジョンとイメージメディア,日本,2006年 9月 9日,2006,93,135−142頁
(58)【調査した分野】(Int.Cl.,DB名)
前記体調推定処理部は、前記第1部位および前記第2部位の血流量に基づき、前記人の体調として、睡眠時間、寒暑の度合い、肩こり、頭痛、トイレに行きたいレベル、乗り物酔いレベル、酒酔いレベル、運転スキル、空腹レベル、疲労レベル(ストレス)、および鬱レベルの少なくとも1つを推定する、
請求項5又は請求項6に記載の体調推定装置。
前記生理量取得部は、前記人の生理量として、心拍数、心拍間隔、血圧、顔表情、呼気情報、血糖値、腹部の音、血流中の酸素飽和度や乳酸濃度、視線、呼吸、および瞳孔径の少なくとも1つを取得する、
請求項1から請求項4のいずれか1項に記載の体調推定装置。
前記体調推定処理部は、取得した前記生理量に基づいて、トイレに行きたいレベル、乗り物酔いレベル、酒酔いレベル、運転スキル、空腹レベル、疲労レベル(ストレス)、鬱レベル、てんかん発作、メニエール病、およびめまいの少なくとも1つを推定する、
請求項8に記載の体調推定装置。
前記感情推定部は、前記生理量として、前記人の顔の色、心拍数、心拍数変動、心拍数変動のLF/HF(Low Frequency/High Frequency)、R−R間隔、脈波、脈拍変動、脳波、呼吸数、呼吸量、血流、血流変動、血圧、血圧変動、酸素飽和度(SpO2)、身体の部分の動き、瞬きの頻度や速度、身体の筋肉の動き、顔の筋肉の動き、体温、皮膚温、皮膚コンダクタンス、皮膚抵抗、皮膚のザラツキ、皮膚のテカリ、発汗量および発汗レートの少なくとも1つに基づいて、前記人の感情として、眠気レベル、イライラレベル、および快感情の少なくとも1つを推定する、
請求項3に記載の体調推定装置。
【発明を実施するための形態】
【0010】
本発明の一態様に係る体調推定方法は、コンピュータにより実行される体調推定方法であって、前記コンピュータが、人の部位のうち少なくとも2箇所の部位の血流量を同時に計測する血流計測ステップと、前記コンピュータが、前記血流計測ステップにおいて計測した前記少なくとも2箇所の部位の血流量に基づいて、前記人の体調を推定する体調推定ステップとを含む。
【0011】
上記態様によれば、コンピュータが、個人差のある人の血流量を計測して体調を推定する場合でも、事前のキャリブレーションを必要とせずに、人の体調を推定することができる。
【0012】
また、例えば、前記血流計測ステップでは、前記少なくとも2箇所の部位の血流量として、前記人の体調で変動しない第1部位と前記人の体調で変動する第2部位との血流量を計測するとしてもよい。
【0013】
ここで、例えば、前記第1部位は、前記人の額であってもよく、前記第2部位は、前記人の目の下部、鼻部、口唇部、手足および首部のうちの少なくとも一であってもよい。
【0014】
また、例えば、前記血流計測ステップでは、前記少なくとも2箇所の部位の血流量として、前記人の額の血流量と前記人の目の下部の血流量とを計測し、前記体調推定ステップでは、前記人の体調として、前記人の睡眠時間を推定するとしてもよい。
【0015】
また、例えば、前記血流計測ステップでは、前記少なくとも2箇所の部位の血流量として、前記人の額の血流量と前記人の鼻部、口唇部および手足のうちの一の血流量とを計測し、前記体調推定ステップでは、前記人の体調として、前記人が感じる寒暑の度合いを推定するとしてもよい。
【0016】
また、例えば、前記血流計測ステップでは、前記少なくとも2箇所の部位の血流量として、前記人の額の血流量と前記人の首部の血流量とを計測し、前記体調推定ステップでは、前記人の体調として、前記人の肩こりの有無を推定するとしてもよい。
【0017】
さらに、例えば、さらに、前記人の生理量に基づき、前記人の感情を推定する感情推定ステップと、前記感情推定ステップにおいて推定された前記人の感情に基づいて、前記体調推定ステップにおいて推定された前記人の体調を補正する補正ステップとを含むとしてもよい。
【0018】
ここで、例えば、前記人の生理量は、前記少なくとも2箇所の部位うちの一の血流量であってもよい。
【0019】
また、例えば、前記人の生理量は、前記人の部位のうち前記少なくとも2箇所の部位と異なる部位の血流量であってもよい。
【0020】
また、例えば、前記人の生理量は、顔の色、心拍数、心拍数変動、心拍数変動のLF/HF(Low Frequency/High Frequency)、R−R間隔、脈波、脈拍変動、脳波、呼吸数、呼吸量、血流、血流変動、血圧、血圧変動、酸素飽和度、身体の部分の動き、身体の筋肉の動き、顔の筋肉の動き、体温、皮膚温、皮膚コンダクタンス、皮膚抵抗、発汗量及び発汗レートの少なくとも1つを含むとしてもよい。
【0021】
また、例えば、前記血流計測ステップでは、所定の波長の光を前記少なくとも2箇所それぞれに照射して異なる波長の光を受光することで、前記少なくとも2箇所の血流量を非接触に計測するとしてもよい。
【0022】
ここで、例えば、前記血流計測ステップでは、カメラを用いて前記少なくとも2箇所の血流量を計測するとしてもよい。
【0023】
また、本発明の一態様に係る体調推定装置は、人の部位のうち少なくとも2箇所の部位の血流量を同時に計測する血流計測部と、前記血流計測部が計測した前記少なくとも2箇所の部位の血流量に基づいて、前記人の体調を推定する体調推定部とを備える。
【0024】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【0025】
以下、本発明の一態様に係る体調推定方法等について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0026】
(実施の形態1)
[体調推定装置の構成]
図1は、実施の形態1における体調推定装置10の構成を示すブロック図である。
【0027】
体調推定装置10は、
図1に示すように、血流計測部11と、体調推定部12と、出力制御部13とを備える。体調推定装置10は、コンピュータ等で実現される。
【0028】
<血流計測部11>
図2は、
図1における血流計測部11の詳細構成の一例を示すブロック図である。
【0029】
血流計測部11は、
図2に示すように、カメラ部111と、血流量計測処理部112とを備え、人の部位のうち少なくとも2箇所の部位の血流量を同時に計測する。ここで、少なくとも2箇所の部位の血流量は、人の体調で変動しない第1部位と人の体調で変動する第2部位である。例えば第1部位は、人の額であり、第2部位は、人の目の下部、鼻部、口唇部、手足および首部のうちの少なくとも一である。
【0030】
より具体的には、カメラ部111は、例えば、レーザースペックルカメラやレーザードップラー血流計などであり、所定の波長の光を上記少なくとも2箇所それぞれに照射して異なる波長の光を受光する。血流量計測処理部112は、カメラ部111が受光した異なる波長の光に基づいて、上記少なくとも2箇所の血流量を非接触に計測する。
【0031】
なお、カメラ部111は、同時に上記少なくとも2箇所の血流を計測することができれば、一つのカメラで構成されていてもよいし、ミリ波センサ、パルスオキシメーターなどカメラとは異なる装置で構成されていてもよい。
【0032】
<体調推定部12>
図3は、
図1における体調推定部12の詳細構成の一例を示すブロック図である。
図4は、ラッセル円環モデルの一例を示す図である。
【0033】
体調推定部12は、
図3に示すように、血流量取得部121と、体調推定処理部122とを備え、血流計測部11が計測した少なくとも2箇所の部位の血流量に基づいて、人の体調を推定する。
【0034】
より具体的には、血流量取得部121は、血流計測部11が計測した少なくとも2箇所の部位の血流量を取得する。体調推定処理部122は、血流量取得部121が取得した少なくとも2箇所の部位の血流量に基づいて、人の体調を推定する。
【0035】
ここで、少なくとも2箇所の部位の血流量として、人の体調で変動しない第1部位と人の体調で変動する第2部位との血流量を計測するとよい。また、上述したように、例えば第1部位は、人の額であり、第2部位は、人の目の下部、鼻部、口唇部、手足および首部のうちの少なくとも一である。それにより、体調推定部12は、第1部位の血流量を基準とした第2部位の血流量から、事前のキャリブレーションを必要とせずに、人の体調を推定することができる。
【0036】
本実施の形態では、人の体調とは、
図4に示される2次元モデルであるラッセル円環モデルで定義される人の心の状態である感情以外の心身の状態をいう。したがって、人の体調は、例えば睡眠時間、暑い寒いや冷えなどの寒暑の度合い、肩こり、顔のシミ、皮膚の乾燥、等を含む。
【0037】
例えば、血流計測部11が少なくとも2箇所の部位の血流量として、人の額の血流量と当該人の目の下部の血流量とを計測する場合、体調推定部12は、当該人の体調として、人の睡眠時間を推定してもよい。人は、睡眠時間が短いとくまが発生し、目の下部の血流量が少なくなることから、人の前日(または当日)の睡眠時間を血流量から推定できる。
【0038】
また、例えば、血流計測部11が少なくとも2箇所の部位の血流量として、人の額の血流量と当該人の鼻部、口唇部および手足のうちの一の血流量とを計測する場合、体調推定部12は、当該人の体調として、当該人が感じる寒暑の度合いを推定してもよい。人は、暑いと鼻部の温度が額と比較して相対的に高くなり、寒い場合は逆になることから、人が感じる寒暑の度合いを血流量から推定できる。
【0039】
また、例えば、血流計測部11が少なくとも2箇所の部位の血流量として、人の額の血流量と当該人の首部の血流量とを計測する場合、体調推定部12は、当該人の体調として、当該人の肩こりの有無を推定してもよい。額と首部との血流量において、首部の血流量が相対的に少ないと、肩こりが発生している(または、発生する可能性がある)ことから、人の肩こりの有無を血流量から推定できる。ここで、当該人の体調として、肩こりの代わりに頭痛を推定するとしてもよい。額と首部との血流量において、首部の血流量が相対的に低下すると、肩こり以外にも頭痛も発生しやすくなることから、人の頭痛の有無を血流量から推定できる。
【0040】
なお、ここでは第1部位として額を例示したが、額に限定されるものではない。他の部位であっても体調等の変動下において血流量の変動が相対的に少ない部位であればよく、たとえば口腔内や眼球等でもよい。
【0041】
また、血流計測部11が毎日同一人の顔全体の血流量を計測してもよい。この場合、体調推定部12は、当該人の体調として、毎日の計測する血流量の変動量に基づき、局所的に血流量が減少している当該人の顔の一部にシミができかかっていることを推定できる。
【0042】
<出力制御部13>
出力制御部13は、体調推定部12が推定した人の体調に応じた出力制御を行う。
【0043】
図5は、
図1における体調推定装置10の出力制御の一例を示す図である。
図5には、人50の額と目の下部との血流量から推定された前日の睡眠時間を、人50のスマートホンなどの携帯端末60の表示面61に出力する場合の例が示されている。
【0044】
なお、体調推定装置10(出力制御部13)の出力制御は、
図5に示す例に限らず、例えば以下のような表示制御、通知制御および機器制御などの出力制御も含まれる。
【0045】
(睡眠時間)
例えば、出力制御部13は、体調推定部12が人の体調として推定した睡眠時間に基づき、その人が今日何時頃に眠くなりそうかを予測してもよい。そして、体調推定装置10が車に搭載されている場合、出力制御部13は、その時刻に近づくと、休憩を促す通知をカーナビ画面やユーザの携帯端末に行ってもよい。また、体調推定装置10がその人の在する空間に設置されているとすると、出力制御部13は、その時刻に近づくと、照明を明るくして覚醒を促してもよい。
【0046】
また、出力制御部13は、体調推定部12が推定した睡眠時間の累積時間が短いと判断した場合には、その人の勤める会社に通知して休養を促させるとしてもよい。
【0047】
また、出力制御部13は、体調推定部12が推定した睡眠時間を、その人の今日の集中度や生産性として表現して、スマートホン等などの携帯端末を経由して本人に通知するとしてもよい。
【0048】
なお、出力制御部13は、体調推定部12が推定した前日の睡眠時間だけではなく、前日を含めた複数日の睡眠時間を加味したものを睡眠時間として決定してもよい。
【0049】
また、出力制御部13は、体調推定部12が推定した複数日の睡眠時間を元に、その人の保険料を設定して、その人に通知するとしてもよい。ここで保険料とは、生命保険や自動車保険等に掛ける保険料のことを指している。睡眠時間が所定時間より短いと居眠り運転の可能性が高くなることや、生活習慣病にかかるリスクが高くなることから、睡眠時間が相対的に短い人の保険料を高く設定して、その人に通知するとしてもよい。
【0050】
(寒暑の度合い、肩こりの有無等)
また、出力制御部13は、体調推定部12が人の体調として推定した暑い寒いや冷えなど寒暑の度合いに応じて、当該人の在する空間にあるエアコンの風量、風温、風向等を制御してもよい。
【0051】
また、出力制御部13は、体調推定部12が人の体調としてその人に肩こりが有ることを推定した場合、体調推定装置10が車に搭載されているときには、肩こり防止や肩こりの軽減のために、その車が有するシートヒータを制御して肩周辺を加温してもよい。
【0052】
また、出力制御部13は、体調推定部12が推定した肩こりの度合いを、その人の今日の集中度や生産性として表現して、スマートホン等などの携帯端末を経由して本人に通知してもよい。さらに、出力制御部13は、体調推定部12が推定した肩こりの度合いが重度であったり、肩こりが頻発していたりすることを確認した場合には、マッサージやクリニックに掛かるべき旨をスマートホン等などの携帯端末を経由して本人に提案してもよいし、軽減する方法を提案してもよいし、他の手段で肩こりを緩和する手段を提案してもよい。
【0053】
また、出力制御部13は、体調推定部12が人の体調として顔のシミがでかかっていることを推定した場合には、マッサージ等に掛かるべき旨をスマートホン等などの携帯端末を経由して本人に提案してもよいし、軽減する方法を提案してもよいし、他の手段でシミを緩和する手段を提案してもよい。
【0054】
[体調推定装置10の動作]
次に、
図6を参照しながら、上述した体調推定装置10の動作について説明する。
図6は、
図1に示す体調推定装置10の動作の概要を示すフローチャートである。なお、体調推定装置10の動作は、体調推定装置10が備えるコンピュータにより実行される。
【0055】
まず、体調推定装置10は、人の部位のうち少なくとも2箇所の部位の血流量を同時に計測する(S11)。次に、体調推定装置10は、測定した少なくとも2箇所の部位の血流量に基づいて、当該人の体調を推定する(S12)。そして、体調推定装置10は、推定した体調に応じた出力制御を行う(S13)。
【0056】
[効果等]
以上のように、本実施の形態における、体調推定方法等によれば、コンピュータが、個人差のある血流量を計測して体調を推定する場合でも、事前のキャリブレーションを必要とせずに、人の体調を推定することができる。
【0057】
より具体的には、本実施の形態における体調推定方法及び体調推定装置は、人の体調で変動しない部位および人の体調で変動する部位など、人の部位のうち少なくとも2箇所の部位の血流量を同時に計測する。これにより、事前のキャリブレーションを必要とせずに、計測した少なくとも2箇所の部位の血流量に基づいて、人の体調を推定することができる。
【0058】
なお、上記実施の形態では、人の体調は、例えば睡眠時間、暑い寒いや冷えなどの寒暑の度合い、肩こり、顔のシミ、皮膚の乾燥、等を含むとして説明したが、人の体調の例はこれらに限らない。人の体調として、トイレに行きたいレベル、乗り物酔いのレベル、ヒートショックに対する危険度、排便時の血圧上昇による危険度、酒酔いレベル、運転スキル、空腹レベル、疲労レベル、鬱レベル等々を含むとしてもよい。以下、これらの例を実施例1〜9として説明する。
【0059】
(実施例1)
実施例1では、人の体調として、トイレに行きたいレベルを推定する場合について説明する。
【0060】
図7は、実施例1における体調推定装置10の出力制御の一例を示す図である。
図8は、実施例1における体調推定装置10の出力制御方法の一例を示すフローチャートである。
【0061】
本実施例では、例えば、体調推定装置10は、少なくとも2箇所の部位の血流量として、人の額の血流量と当該人の目の下部の血流量とを計測し、計測した額の血流量と当該人の目の下部の血流量とに基づいて、当該人の体調として、当該人のトイレに行きたいレベルを推定する。人は、トイレに行きたいなどにより体が緊張すると、額と目の下部との血流量において、目の下部の血流量が相対的に下がることから、当該人のトイレに行きたいレベルを推定できる。
【0062】
そして、本実施例に係る体調推定装置10が車に搭載されているとすると、本実施例に係る体調推定装置10は、当該人のトイレに行きたいレベルが閾値以上であると推定した場合、
図7に示すように、カーナビ画面70に公衆トイレ71を表示して、そこまでのルートを案内してもよい。
【0063】
また、体調推定装置10は、
図8に示すように、当該人のトイレに行きたいレベルを推定し(S121)、推定した当該人のトイレに行きたいレベルが閾値より低い場合には(S131でNo)、所定の距離内であればやや遠くても綺麗なトイレを案内(S132)してもよい。一方、推定した当該人のトイレに行きたいレベルが閾値より高い場合には(S131でYes)、トイレの綺麗さに拘らず空いていて近いトイレを案内してもよい(S133)。
【0064】
このように、体調推定装置10は、推定した当該人のトイレに行きたいレベルに応じて案内方法を変えてもよい。
【0065】
なお、人の体調として、当該人のトイレに行きたいレベルを推定する方法は、上記のように2以上の部位の血流量に基づくものに限らない。当該人の心拍数の変動や血圧の変動、顔表情から、トイレに行きたいレベルを推定してもよい。人はトイレに行きたくなると、心拍数が上昇することや、血圧が上昇すること、顔表情が我慢している表情(例えば歯を食いしばる)になることから、当該人のトイレに行きたいレベルを推定できる。ここで、心拍、血圧、および、顔表情全てを用いて人のトイレに行きたいレベルを推定しても構わないし、いずれか1つを用いても、複数を組み合わせたものを用いて人のトイレに行きたいレベルを推定しても構わない。
【0066】
(実施例2)
実施例2では、人の体調として、乗り物酔いレベルを推定する場合について説明する。
【0067】
図9は、実施例2における体調推定装置10の出力制御の一例を示す図である。
図10は、実施例2における体調推定装置10の出力制御方法の一例を示すフローチャートである。
【0068】
本実施例では、例えば、体調推定装置10は、少なくとも2箇所の部位の血流量として、人の額の血流量と当該人の目の下部の血流量とを計測し、計測した額の血流量と当該人の目の下部の血流量とに基づいて、当該人の体調として、当該人の乗り物酔いレベルを推定する。人は、乗り物酔いなどにより体が緊張すると、額と目の下部との血流量において、目の下部の血流量が相対的に下がることから、体調推定装置10は、当該人の乗り物酔いレベルを推定できる。
【0069】
そして、体調推定装置10が車に搭載されているとすると、体調推定装置10は、当該人の乗り物酔いのレベルが閾値以上であると推定した場合、
図9に示すように、カーナビ画面70に休憩するためのパーキングエリア72を表示して、そこまでのルートを案内してもよい。もちろん、当該人の状況を運転者に伝える方法は、これに限られない。例えば、カーナビ画面70やインパネ(インストルメントパネル)にその旨を表示したり、運転者等の携帯端末や車内スピーカによりその旨を音声で伝えたりすることで、当該人の状況を運転者に伝えてもよく、その手法は問わない。
【0070】
例えば、体調推定装置10は、
図10に示すように、当該人の乗り物酔いレベルを推定し(S121A)、推定した当該人の乗り物酔いレベルが閾値より低い場合には(S131AでNo)、S11に戻り、一定時間後に当該人の乗り物酔いレベルを推定してもよい。一方、推定した当該人の乗り物酔いレベルが閾値より高い場合には(S131AでYes)、車のブレーキ、アクセル、アクティブサスペンション等の機器を制御する機器制御信号を出力してもよい(S133A)。
【0071】
これにより、当該人がそれ以上酔わないようにアクセルやブレーキの感度を下げて急発進や急加速を低減したり、アクティブサスペンションを柔らかめにして体にかかる振動を低減したりすることできる。また、このように機器を制御することで、当該人が子供であり、乗り物酔いしたことを言い出せない場合でも、当該人が車内で吐いてしまうことや、乗り物酔いレベルの上昇を防止することができる。さらに、当該車がタクシーであった場合には、当該人である客が吐く前にその客を降ろすことや、当該人である客の乗車を拒否することでタクシーに被る迷惑を防止することができる。
【0072】
なお、人の体調として、当該人の乗り物酔いレベルを推定する方法は、上記のように2以上の部位の血流量に基づくものに限らない。当該人の顔表情や、心拍数と血圧情報から、乗り物酔いレベルを推定してもよい。人は乗り物酔いになると、顔の表情が青ざめたり、気分の悪そうな顔になったりすることや、心拍数の増減と血圧の増減の時系列における相関(ρmax)が低下することから、当該人の乗り物酔いレベルを推定できる。ここで、
ρmaxと表情との両方を用いて人の乗り物酔いレベルを推定しても構わないし、いずれか
1つを用いて人の乗り物酔いレベルを推定しても構わない。
【0073】
(実施例3)
実施例3では、人の体調として、ヒートショックに対する危険度を推定する場合について説明する。ここで、ヒートショックとは、急な血圧変動にともない発生する失神や心筋梗塞、脳梗塞等の血管障害を指す。主に入浴前に寒い脱衣室で脱衣した時の急激な血圧上昇や、熱い湯に入湯した時の急激な血圧上昇により、ヒートショックになるケースが多い。
【0074】
本実施例では、体調推定装置10は、例えば、少なくとも2箇所の部位の血流量として、人の額の血流量と当該人の目の下部の血流量とを計測し、計測した額の血流量と当該人の目の下部の血流量とに基づいて、当該人の体調として、当該人のヒートショックに対する危険度を推定する。人は、額と目の下部との血流量において、寒い場合には目の下部の血流量が相対的に下がり、暑い場合には目の下部の血流量が相対的に上がることから、当該人のヒートショックに対する危険度を推定できる。
【0075】
図11は、実施例3における体調推定装置10の出力制御方法の一例を示すフローチャートである。
【0076】
例えば、体調推定装置10は、
図11に示すように、当該人のヒートショックに対する危険度を推定し(S121C)、推定した当該人のヒートショックに対する危険度が閾値より低い場合には(S131CでNo)、S11に戻り、一定時間後に当該人のヒートショックに対する危険度を推定してもよい。一方、推定した当該人のヒートショックに対する危険度が閾値より高い場合には(S131CでYes)、当該人の周囲の温度を上げるために、暖房ONにするなどの指示を含む機器制御信号を出力してもよい(S133C)。
【0077】
これにより、当該人の急激な血圧の変動を防止でき、ヒートショックを未然に防止することができる。
【0078】
なお、推定した当該人のヒートショックに対する危険度が閾値より高い場合における体調推定装置10の出力制御方法は、上述した方法に限らない。例えば当該人が脱衣室やトイレに在する場合であれば当該人にその旨を通知して暖房の稼動を促すとしてもよい。また、例えば体調推定装置10は、当該人が浴室内での入湯時に、推定した当該人のヒートショックに対する危険度が閾値より高い場合には、湯内に水を足するなどの指示を含む機器制御信号を出力してもよい。これにより、当該人が入湯している湯温を低下させることで、急な血圧変動を防止することができる。
【0079】
なお、人の体調として、当該人のヒートショックに対する危険度を推定する方法は、上記のように2以上の部位の血流量に基づくものに限らない。当該人の血圧情報から、ヒートショックに対する危険度を推定してもよい。血圧を常時測定することができれば、例えば所定値以上の血圧に達した場合に、ヒートショックに対する危険度が増していると推定することができる。
【0080】
ここで、所定値に代えて複数の閾値を設けて、段階的にヒートショックに対する危険度を推定しても構わない。ヒートショックに対する危険度が高まっていることを判断する血圧の閾値は、動脈硬化度を元に調整できる。動脈硬化度は、脈圧(最大血圧および最小血圧)から推定することもできるし、脈波伝搬時間から推定することもでき、その手段は問わない。
【0081】
また、血圧の閾値は動脈硬化度から調整する場合に限らず、年齢を元に調整してもよいし、体内の水分量に基づいて調整しても構わない。体内の水分量が減少していると、血圧の変動が急激になるため、ヒートショックになりやすいからである。ヒートショックに対する危険度が高まっていることを判断できるのであれば、これら以外の方法で調整しても構わない。
【0082】
なお、動脈硬化度は、非接触で検出せずに健康診断結果等に基づき手入力しても構わないし、同様に年齢も手入力でも構わない。
【0083】
また、血圧を常時測定することができる場合には、動脈硬化度や水分量に応じてワーニングなどの警告や通知を出しても構わないし、当該人の目の届く範囲に当該人の血圧変動を表示させても構わない。
【0084】
(実施例4)
実施例4では、人の体調として、排便時の血圧上昇による危険度を推定する場合について説明する。排便時には、人は排泄を促すためのいきみを発生させるが、このいきみにより血圧が上昇することで、失神や心筋梗塞、脳梗塞等の血管障害を発生させる場合がある。
【0085】
本実施例では、体調推定装置10は、例えば、少なくとも2箇所の部位の血流量として、人の額の血流量と当該人の目の下部の血流量とを計測し、計測した額の血流量と当該人の目の下部の血流量とに基づいて、当該人の体調として、当該人の排便時の血圧上昇による危険度を推定する。人は、額と目の下部との血流量において、排便時にはいきみにより目の下部の血流量が相対的に上がることから、当該人の排便時の血圧上昇による危険度を推定できる。
【0086】
そして、本実施例に係る体調推定装置10は、当該人の排便時の血圧上昇による危険度が所定値以上であると推定した場合、ユーザにその旨を通知していきみの低減を促してもよいし、温水洗浄便座を機器制御し、肛門付近にシャワーで水をかけさせることで、いきみを低減した状態にさせて排便を促してもよい。
【0087】
これにより、当該人の急激な血圧の変動を防止でき、血管障害に至ることを未然に防止することができる。
【0088】
なお、人の体調として、当該人の排便時の血圧上昇による危険度を推定する方法は、上記のように2以上の部位の血流量に基づくものに限らない。当該人の血圧情報から、排便時の血圧上昇による危険度を推定してもよい。血圧を常時測定することができれば、例えば所定値以上の血圧に達した場合に、排便時の血圧上昇による危険度が増していると推定することができる。
【0089】
ここで、所定値に代えて複数の閾値を設けて、段階的に排便時の血圧上昇による危険度を推定しても構わない。排便時の血圧上昇による危険度が高まっていることを判断する血圧の閾値は、動脈硬化度を元に調整できる。動脈硬化度は、脈圧(最大血圧および最小血圧)から推定することもできるし、脈波伝搬時間から推定することもできるが、その手段は問わない。
【0090】
また、血圧の閾値は動脈硬化度から調整する場合に限らず、年齢を元に調整してもよいし、体内の水分量に基づいて調整しても構わない。体内の水分量が減少していると、血圧の変動が急激になるため、ヒートショックになりやすいからである。ヒートショックに対する危険度が高まっていることを判断できるのであれば、これら以外の方法で調整しても構わない。
【0091】
なお、動脈硬化度は、非接触で検出せずに健康診断結果等に基づき手入力しても構わないし、同様に年齢も手入力でも構わない。
【0092】
また、血圧を常時測定することができる場合には、動脈硬化度や水分量に応じてワーニングなどの警告や通知を出しても構わないし、当該人の目の届く範囲に当該人の血圧変動を表示させても構わない。
【0093】
(実施例5)
実施例5では、人の体調として、酒酔いレベルを推定する場合について説明する。
【0094】
本実施例では、体調推定装置10は、例えば、少なくとも2箇所の部位の血流量として、人の額の血流量と当該人の目の下部の血流量とを計測し、計測した額の血流量と当該人の目の下部の血流量とに基づいて、当該人の体調として、当該人の酒酔いレベルを推定する。人は、額と目の下部との血流量において、酒に酔ってくると目の下部の血流量が相対的に上がり、酒酔いにより気分が悪くなった場合には、目の下部の血流量が相対的に下がることから、当該人の酒酔いレベルを推定できる。
【0095】
そして、本実施例に係る体調推定装置10は、当該人の酒酔いレベルが所定値以上すなわち当該人が酒に酔った状態であると推定した場合、本実施例に係る体調推定装置10が車に搭載されているときには、自動車のエンジンを掛けることができないように制御(機器制御)してもよい。これにより、当該人が酒に酔った状態で自動車を運転することを防止することができる。
【0096】
また、本実施例に係る体調推定装置10は、当該人の酒酔いレベルが所定値以上すなわち当該人が飲みすぎであると推定した場合、ユーザにその旨を通知または当該人の酒酔いレベルを表示してもよい。これにより、本人に自分の飲み過ぎレベルを認識させることができ、本人に飲み過ぎることを防止させることができる。
【0097】
なお、人の体調として、当該人の酒酔いレベルを推定する方法は、上記のように2以上の部位の血流量に基づくものに限らない。当該人の顔表情や、心拍数、血圧情報、血流、呼気情報から、当該人の酒酔いレベルを推定してもよい。人は酒に酔った状態になると、視線が定まらなくなることや、血行がよくなって心拍数があがること、顔色が赤くなること、酒に酔いリラックスしたことで血圧は下がること、呼気中のアルコール濃度が上昇することから当該人の酒酔いレベルを推定することができる。そして、これらの情報を全て用いて当該人の酒酔いレベルを推定しても構わないし、いずれか1つを用いても、複数を組み合わせたものを用いて推定して構わない。
【0098】
(実施例6)
実施例6では、人の体調として、運転スキルを推定する場合について説明する。
【0099】
本実施例では、体調推定装置10は、例えば、少なくとも2箇所の部位の血流量として、人の額の血流量と当該人の目の下部の血流量とを計測し、計測した額の血流量と当該人の目の下部の血流量とに基づいて、当該人の体調として、当該人の運転スキルを推定する。人は、額と目の下部との血流量において、人の運転スキルが高く運転に余裕があると緊張しないので目の下部の血流量が相対的に上がり、人の運転スキルが低く運転に余裕がないと緊張するので目の下部の血流量が相対的に下がることから、当該人の運転スキルを推定できる。
【0100】
そして、本実施例に係る体調推定装置10は、当該人の運転スキルが所定値よりも低いすなわち運転に余裕がない状態であると推定した場合、ブレーキの感度を上げる機器制御を行い車間距離を保たせたり、アクセルの感度を下げる機器制御を行い速度が控えめになるようさせてもよい。これにより、当該人の運転スキルが低く余裕がない場合でも、余裕の多い運転に導くことができる。
【0101】
なお、人の体調として、当該人の運転スキルを推定する方法は、上記のように2以上の部位の血流量に基づくものに限らない。当該人の顔表情や心拍数の変動から、当該人の運転スキルを推定してもよい。人の顔表情から運転の余裕の量を推定できること、人が運転中に緊張していると心拍数の変動が少なくなり、運転中に余裕が出てくると心拍数変動が大きくなることから当該人の運転スキルを推定することができる。これらの情報を全て用いて当該人の運転スキルを推定しても構わないし、いずれか1つを用いても、複数を組み合わせたものを用いて推定して構わない。
【0102】
なお、本実施例に係る体調推定装置10が車に搭載され、かつ、当該人の顔表情に基づき人の体調を推定する場合には、人の体調として、恐怖心を推定してもよい。例えば、本実施例に係る体調推定装置10は、車が自動運転されている時、当該人である車の乗車者の顔表情から恐怖心があるか否かを推定する。そして、恐怖心があるすなわち当該人に余裕がない(自動運転を信頼できてない)と推定した場合には、車間距離を大きく、速度を低めに設定するよう車の機器を制御してもよい。これにより、乗車中の当該人に安心感を与えることができる。
【0103】
さらに、また、本実施例に係る体調推定装置10が、当該人の顔表情に基づき、自動運転時に乗車者が車窓を眺めていることを認識した場合には、車の速度を低下させるよう車の機器を制御してもよい。そうすることで、当該人は、ゆっくりと車窓を眺めることができる。
【0104】
(実施例7)
実施例7では、人の体調として、空腹レベルを推定する場合について説明する。
【0105】
本実施例では、体調推定装置10は、例えば、少なくとも2箇所の部位の血流量として、人の額の血流量と当該人の目の下部の血流量とを計測し、計測した額の血流量と当該人の目の下部の血流量とに基づいて、当該人の体調として、当該人の空腹レベルを推定する。人は、額と目の下部との血流量において、人の空腹レベルが高くなるとストレスがかかり目の下部の血流量が相対的に下がることから、当該人の空腹レベルを推定できる。
【0106】
そして、本実施例に係る体調推定装置10がオフィスに設置されているとすると、本実施例に係る体調推定装置10は、当該人の空腹レベルが所定値以上すなわち当該人の空腹感を推定した場合、照明に含まれる青色の成分を多めにするよう照明を制御(機器制御)してもよい。人は青色光を見ることで、空腹感を低減する効果があるためである。
【0107】
また、本実施例に係る体調推定装置10が車に搭載されているとすると、本実施例に係る体調推定装置10は、当該人の空腹レベルが所定値以上すなわち当該人の空腹感を推定した場合、カーナビ画面に現在地点から近くのレストランを表示して、そこまでのルートを案内してもよい。
【0108】
なお、人の体調として、当該人の空腹レベルを推定する方法は、上記のように2以上の部位の血流量に基づくものに限らない。当該人の血糖値や、呼気情報、腹部の音から、当該人の空腹レベルを推定してもよい。人は空腹になると血糖値が低下することや、呼気中に含まれるアセトンの量が増えることや、胃腸の活動が活発になることによる腹部の音の増加等から当該人の空腹レベルを推定することができる。そして、これらの情報を全て用いて当該人の空腹レベルを推定しても構わないし、いずれか1つを用いても、複数を組み合わせたものを用いて推定して構わない。
【0109】
(実施例8)
実施例8では、人の体調として、疲労レベルを推定する場合について説明する。
【0110】
本実施例では、体調推定装置10は、例えば、少なくとも2箇所の部位の血流量として、人の額の血流量と当該人の目の下部の血流量とを計測し、計測した額の血流量と当該人の目の下部の血流量とに基づいて、当該人の体調として、当該人の疲労レベルを推定する。人は、疲労レベルが高くなるとストレスがかかり、額と目の下部との血流量において目の下部の血流量が相対的に下がることから、当該人の疲労レベルを推定できる。
【0111】
そして、本実施例に係る体調推定装置10が車に搭載されているとすると、本実施例に係る体調推定装置10は、当該人の疲労レベルが所定値以上であると推定した場合、車中の機器を制御して音声で休憩を促してもよいし、自動運転に切り替える制御を行い当該人である運転者の疲労がこれ以上上昇しないようにしてもよい。
【0112】
なお、人の体調として、当該人の疲労レベルを推定する方法は、上記のように2以上の部位の血流量に基づくものに限らない。当該人の顔表情や、血流中の酸素飽和度や乳酸濃度から、当該人の疲労レベルを推定してもよい。人は疲労すると血中の酸素飽和度が低下することや、乳酸濃度が上昇すること、表情に疲労感が現れることから当該人の疲労レベルを推定することができる。そして、これらの情報を全て用いて当該人の疲労レベルを推定しても構わないし、いずれか1つを用いても、複数を組み合わせたものを用いて推定して構わない。
【0113】
(実施例9)
実施例9では、人の体調として、鬱レベルを推定する場合について説明する。
【0114】
本実施例では、体調推定装置10は、例えば、少なくとも2箇所の部位の血流量として、人の額の血流量と当該人の目の下部の血流量とを計測し、計測した額の血流量と当該人の目の下部の血流量とに基づいて、当該人の体調として、当該人の鬱レベルを推定する。人は、鬱レベルが高くなるとストレスがかかり、額と目の下部との血流量において目の下部の血流量が相対的に下がることから、当該人の鬱レベルを推定できる。
【0115】
そして、本実施例に係る体調推定装置10は、当該人の鬱レベルが所定値以上すなわち鬱状態であると推定した場合、部屋の照明を制御してもよい。部屋の照明を制御し、例えば朝明るく夜暗めにすることで、当該人のサーカディアンリズムを調整することができ、鬱状態を緩和することができる。なお、本実施例に係る体調推定装置10は、当該人の鬱レベルが所定値以上すなわち鬱状態であると推定した場合、朝であれば元気の出る音楽を、夜であればゆったりした音楽を流すよう音楽装置を制御してもよい。
【0116】
なお、人の体調として、当該人の鬱レベルを推定する方法は、上記のように2以上の部位の血流量に基づくものに限らない。当該人の顔表情や、心拍間隔から、当該人の鬱レベルを推定してもよい。人は鬱状態になると、1日の中の自律神経の変動に関して、副交感神経の亢進する時間割合が低減することが知られており、また心拍間隔の時系列変動を調べることで、交感神経と副交感神経の亢進の割合を調べることができることから当該人の鬱レベルを推定することができる。また、人は鬱状態になると、鬱状態特有の表情(例えば視点のあっていない無表情等)が見られることが知られており、例えば起床時等所定のタイミングでの表情や、もしくは所定の映像を見せた時の表情の変化から、鬱状態を推定することができる。これらの情報を全て用いて当該人の鬱レベルを推定しても構わないし、いずれか1つを用いても、複数を組み合わせたものを用いて推定して構わない。
【0117】
(実施の形態2)
実施の形態1では、人の部位のうち少なくとも2箇所の部位の血流量などの人の生理量に基づいて、人の体調を推定する場合について説明したが、それに限らない。人の生理量に基づいて人の体調を推定し、さらに、生理量を取得した時点での当該人の感情に基づいて補正することで、当該人の体調を推定してもよい。以下、この場合について実施の形態2として説明する。
【0118】
[体調推定装置の構成]
図12は、実施の形態2における体調推定装置20の構成を示すブロック図である。
図1等と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【0119】
体調推定装置20は、
図12に示すように、血流計測部11と、体調推定部22と、出力制御部13と、感情推定部24とを備える。この体調推定装置20は、コンピュータ等で実現される。
図12に示す体調推定装置20は、実施の形態1に係る体調推定装置10に対して、感情推定部24が追加され、体調推定部22の構成が異なる。
【0120】
<感情推定部24>
感情推定部24は、人の生理量に基づき、当該人の感情を推定する。より具体的には、感情推定部24は、人の生理量に基づき、
図4に示したラッセル円環モデルを用いて、当該人の感情を推定する。ここで、生理量は、生体の機能に関するデータであり、例えば、顔の色、心拍数、心拍数変動、心拍数変動のLF/HF(Low Frequency/High Frequency)、R−R間隔、脈波、脈拍変動、脳波、呼吸数、呼吸量、血流、血流変動、血圧、血圧変動、酸素飽和度(SpO
2)、身体の部分の動き、身体の筋肉の動き、顔の筋肉の動き、体温、皮膚温、皮膚コンダクタンス、皮膚抵抗、皮膚のザラツキ、皮膚のテカリ、発汗量及び発汗レートの少なくとも1つを含む。ここで、身体の部分の動きとして、例えば瞬きの頻度、速度などが挙げられる。
【0121】
したがって、感情推定部24は、人の生理量として、血流計測部11が計測する少なくとも2箇所の部位うちの一の血流量に基づき、例えば当該人の覚醒度などの当該人の感情を推定してもよい。また、感情推定部24は、人の生理量として、人の部位のうち血流計測部11が計測する少なくとも2箇所の部位と異なる部位の血流量に基づき、例えば当該人の覚醒度などの当該人の感情を推定してもよい。また、感情推定部24は、人の生理量として、血流以外でも、例えば顔表情や、心拍数、呼吸、脈波、血圧等の生理量、それらを複合したものに基づいて、当該人の感情を推定してもよい。
【0122】
なお、感情推定部24は、
図4に示したラッセル円環モデルを用いて、顔表情で快不快の軸を、血流や、心拍、呼吸、脈波、血圧等、上で述べた生理量から、覚醒眠気の軸を決定して人の感情を推定してもよい。以下、それについて説明する。
【0123】
図13は、
図12の感情推定部24の詳細構成の一例を示すブロック図である。
図14Aは、
図12の感情推定部24が用いるラッセル円環モデルの使用態様の一例を示す図である。
図14Bは、
図12の感情推定部24が用いるシュロスバーグの円錐モデルの一例を示す図である。
【0124】
感情推定部24は、
図13に示すように、カメラ部241と、顔表情推定部242と、感情推定処理部243と、記憶部244とを備える。
【0125】
人は、喜び又は驚きというようなさまざまな感情を抱く。
図4に示したラッセル円環モデルは、人が抱くさまざまな感情を、快不快の軸と覚醒眠気の軸とからなる平面に配置したものである。ラッセル円環モデルは、人が抱くさまざまな感情を、
図4に示す平面において円環状に配置され得ることを示している。覚醒眠気の軸は、人の表情に現れにくい場合があるが、人の心拍数などの上で述べた生理量を元に算出できる。一方で快不快の軸を、人の表情等から算出してもよい。こうすることで、表情だけや生理量だけから感情を推定するよりも、正確に人の感情を推定することができる。
【0126】
記憶部244には、例えば
図14に示すようなラッセル円環モデルに対応するデータが記憶されている。
【0127】
カメラ部241は、当該人の顔全体を撮影する。顔表情推定部242は、カメラ部241が撮影した当該人の顔に基づき、当該人の顔表情を推定する。
【0128】
感情推定処理部243は、記憶部244に記憶されている例えば
図14に示すラッセル円環モデルに対応するデータを参照する。感情推定処理部243は、顔表情推定部242が推定した当該人の顔表情で、快不快の軸上の位置を決定し、血流計測部11が計測した当該人の部位の血流量から、覚醒眠気の軸上の位置を決定することで、当該人の感情を推定してもよい。また、上述したように、感情推定処理部243は、心拍、呼吸、脈波、血圧等の生理学データから覚醒眠気の軸上の位置を決定してもよい。例えば、感情推定処理部243は、顔表情推定部242が推定する当該人の顔色の微弱な変動から、当該人の心拍数を推定し、覚醒眠気の軸上の位置を決定してもよい。なお、このような感情の求め方は、推定した体調を補正する際に適用される場合に限定されず、感情のみを求める場合にも適用できるのはいうまでもない。
【0129】
なお、ここではラッセル円環モデルにおいて感情を推定する場合に関して説明したが、他のモデルを用いてもよい。例えば
図14Bに示すシュロスバーグの円錐モデルにおいて、例えば睡眠緊張の喚起レベルは生理量を元に算出し、円環内の快−不快、注目−拒否軸は表情から推定しても構わないし、注目−拒否軸も生理量を元に算出しても構わない。こうすることで、感情をより正確に推定することが可能になる。
【0130】
<体調推定部22>
図15は、
図12の体調推定部22の詳細構成の一例を示すブロック図である。
図3と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【0131】
体調推定部22は、
図15に示すように、血流量取得部121と、体調推定処理部122と、推定感情取得部223と、補正部224とを備え、血流計測部11が計測した少なくとも2箇所の部位の血流量に基づいて、人の体調を推定する。
図15に示す体調推定部22は、実施の形態1のおける
図3に示す体調推定部12と比較して、推定感情取得部223と、補正部224との構成が追加されている。
【0132】
より具体的には、推定感情取得部223は、感情推定部24が推定した当該人の感情を取得する。補正部224は、感情推定部24により推定された当該人の感情に基づいて、体調推定処理部122が推定した当該人の体調を補正する。
【0133】
ここで、例えば、体調推定処理部122が当該人の体調として、「肩こり」を所定レベルで推定し、感情推定部24が当該人の感情として「興奮」を推定した場合を例に挙げて説明する。「興奮」は当該人の血流量を増大させて肩こりを低減させる方向に寄与するため、補正部224は、当該人の体調を、当該所定レベルより低いレベルの「肩こり」と補正することができる。このようにして、体調推定部22は、当該人の感情に基づいて、当該人の体調を補正したものを、推定結果とすることができる。
【0134】
[体調推定装置20の動作]
次に、
図16を参照しながら、上述した体調推定装置20の動作について説明する。
図16は、
図12に示す体調推定装置20における動作の概要を示すフローチャートである。なお、体調推定装置20の動作は、体調推定装置20が備えるコンピュータにより実行される。
【0135】
まず、体調推定装置20は、人の部位のうち少なくとも2箇所の部位の血流量を同時に計測する(S21)。次に、体調推定装置20は、測定した少なくとも2箇所の部位の血流量に基づいて、当該人の体調を推定する(S22)。次に、体調推定装置20は、少なくとも1箇所の部位の血流量に基づいて当該人の感情を推定する(S23)。ここで、人の感情を推定するための1箇所の部位の血流量は、体調の推定のために計測された部位であってよいし、別の部位であってもよい。次に、体調推定装置20は、S22において推定した当該人の体調を、S23において推定した当該人の感情に基づいて補正する(S24)。そして、体調推定装置20は、補正した体調に応じた出力制御を行う(S25)。
【0136】
[効果等]
以上のように、本実施の形態における体調推定方法等によれば、コンピュータが、個人差のある血流量を計測して体調を推定する場合でも、事前のキャリブレーションを必要とせずに、人の体調を推定することができる。さらに、本実施の形態における体調推定方法等によれば、人の感情に基づいて、推定した体調を補正することができるので、人の感情を加味した人の体調を推定することができる。
【0137】
ここで、実施例として、推定される体調が肩こりのレベルであり、推定される感情が興奮度合いである場合について説明する。
【0138】
(実施例)
図17は、実施の形態2の実施例における体調推定装置20Aの出力制御の一例を示す図である。
【0139】
本実施例では、例えば、血流計測部11Aは、少なくとも2箇所の部位の血流量として、人50の額Aの血流量Aと人50の首部Bの血流量Bと、人50の鼻Cの血流量Cを計測する。感情推定部24Aは、計測した鼻Cの血流量Cに基づいて、人50の感情として、人50の興奮度合いを推定する。
【0140】
体調推定部22は、まず、計測した額Aの血流量Aと首部Bの血流量Bとに基づいて、人50の体調として、人50の肩こりのレベルを推定する。次いで、体調推定部22は、感情推定部24Aが推定した人50の興奮の度合いに基づいて、推定した人50の肩こりのレベルを補正する。
【0141】
そして、出力制御部13Aは、推定した人の体調に応じた出力制御として、補正した肩こりのレベルを、人50のスマートホンなどの携帯端末60の表示面62に出力して表示させる。
【0142】
なお、上記実施の形態および実施例では、人の感情に基づいて、推定した体調を補正することについて説明したが、それに限らない。推定した人の体調に基づいて、推定した人の感情を補正するとしてもよい。以下、変形例1および変形例2として説明する。
【0143】
(変形例1)
以下、変形例1として、推定される体調が前日の睡眠時間であり、推定される感情が眠気レベルである場合について説明する。
【0144】
図18は、実施の形態2の変形例1における体調推定装置20Bの出力制御の一例を示す図である。
【0145】
本変形例では、例えば、血流計測部11Bは、少なくとも2箇所の部位の血流量として、人50の額Aの血流量Aと人50の目の下部Bの血流量Bと、人50の鼻Cの血流量Cを計測する。体調推定部22は、まず、計測した額Aの血流量Aと目の下部Bの血流量Bとに基づいて、人50の体調として、人50の前日の睡眠時間を推定する。
【0146】
感情推定部24Bは、体調推定部22が推定した人50の前日の睡眠時間と、血流計測部11Bが計測した鼻Cの血流量Cとに基づいて、人50の感情として、人50の眠気レベルを推定する。より具体的には、人の鼻部皮膚温が上昇したら眠気があることから、感情推定部24Bは、まず、血流計測部11Bが計測した血流量Cから眠気レベル(覚醒度)を推定することができる。次いで、感情推定部24Bは、体調推定部22が推定した人50の前日の睡眠時間が短い場合(例えば人50の平均睡眠時間よりも短い場合)には、血流量Cから推定した眠気レベルをより深い眠気レベルに補正してもよい。
【0147】
そして、出力制御部13Bは、出力制御として、補正した眠気レベルを、人50のスマートホンなどの携帯端末60の表示面63に出力して表示させてもよい。
【0148】
このように、体調推定装置20Bは、推定した感情を、推定した体調に基づき補正してもよい。
【0149】
なお、推定した体調は、前日の睡眠時間に限らず寒暑の度合いであってもよい。たとえば人50が寒いと感じていることを体調として推定した場合には、人50の感情として推定した眠気レベルを低めに補正してもよい。また、推定した体調は、「肩こり」の有無であり、推定した感情が人50の快感情であってもよい。たとえば人50に肩こりが有ることを体調として推定した場合には、人50の感情として推定した快感情を通常よりも低くする補正をしてもよい。
【0150】
(変形例2)
変形例1では、人50の鼻の血流量から人50の感情を推定する場合について説明したが、それに限らない。上述したように、カメラ部241が撮影した人50の顔に基づき人50の感情を推定してもよい。以下、この場合を変形例2として説明する。本変形例では、推定される体調が寒暑の度合いであり、推定される感情が眠気レベルであるとして説明する。
【0151】
図19は、実施の形態2の変形例2における体調推定装置20Cの出力制御の一例を示す図である。
【0152】
本変形例では、例えば、血流計測部11は、少なくとも2箇所の部位の血流量として、人50の額Aの血流量Aと人50の目の下部Bの血流量Bとを計測する。体調推定部22は、まず、計測した額Aの血流量Aと目の下部Bの血流量Bとに基づいて、人50の体調として、人50の寒暑の度合いを推定する。
【0153】
感情推定部24は、体調推定部22が推定した人50の寒暑の度合いと、感情推定部24が撮影した人50の顔全体の画像とに基づいて、人50の感情として、人50の眠気レベルを推定する。
【0154】
より具体的には、まず、感情推定部24は、人50の顔全体を撮影する。次に、感情推定部24は、人50の顔色の微弱な変動から、人50の心拍数を推定し、
図14に示すような覚醒眠気の軸上の位置を決定する。また、感情推定部24は、撮影した人50の顔から推定した顔表情から、快不快の軸上の位置を決定する。これにより、感情推定部24は、撮影した人50の顔全体の画像から、人の感情としての眠気レベルを推定することができる。そして、感情推定部24は、体調推定部22が推定した人50の寒暑の度合いに基づいて、人50の顔全体の画像から推定した眠気レベルを補正する。例えば、体調推定部22により人50が寒いと感じていることを体調として推定された場合には、感情推定部24は、人50の感情として推定した眠気レベルを低くする補正をしてもよい。
【0155】
そして、出力制御部13Cは、出力制御として、補正した眠気レベルを、人50のスマートホンなどの携帯端末60の表示面63Cに出力して表示させてもよい。
【0156】
このように、体調推定装置20Cは、推定した感情を、推定した体調に基づき補正してもよい。
【0157】
以上、実施の形態1および実施の形態2にて本発明の処理について説明したが、各処理が実施される主体や装置に関しては特に限定しない。
【0158】
例えば、体調推定装置は、上述したように、血流計測部、体調推定部、出力制御部等を備えたものでもよいが、体調推定部のみまたは体調推定部および出力制御部のみを備えるものでもよい。また、体調推定部および出力制御部は、ローカルの装置と異なる場所に配置されているクラウドサーバなどによって処理されてもよい。たとえば、重い処理・制御はクラウドサーバ側で行い、軽い処理・制御をローカル装置で行うなど、クラウドサーバ装置とローカル装置で処理・制御を分散してよい。なお、クラウドサーバ装置とローカル装置とを合わせて体調推定装置と呼んでもよい。
【0159】
また、ローカルに配置された特定の装置内に組み込まれたプロセッサなど(以下に説明)によって処理されてもよい。
【0160】
(1)上記体調推定装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、体調推定装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【0161】
(2)上記の体調推定装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。
システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
【0162】
(3)上記の体調推定装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【0163】
(4)本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【0164】
(5)また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【0165】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【0166】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【0167】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【0168】
(6)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【0169】
(7)また、人の体調は、実施の形態1および2で説明したもの以外でもよい。例えば、てんかん発作、メニエール病やめまい等であってもよい。この場合、人の体調を推定するために、人の血流量等の生理量を用いても、用いなくてもよい。以下、実施の形態1および2で例示したもの以外の人の体調を推定する方法等について説明する。
【0170】
(てんかん発作)
人の体調として、てんかん発作を推定する方法と、てんかん発作を推定した場合の出力について説明する。
【0171】
人の視線や呼吸、瞳孔径から、てんかん発作の発生を推定(検出)することができる。てんかん発作により、視線の硬直、呼吸の乱れ、瞳孔の対光反射の消失が発生することが知られているからである。したがって、人の視線や呼吸、瞳孔径を計測することにより、てんかん発作を人の体調として推定(検出)することができる。
【0172】
図20は、てんかん発作の推定と出力制御方法の一例を示すフローチャートである。
【0173】
図20に示すように、まず、例えば、人の視線検出を行い(S31)、検出した人の視線に基づいて、当該人にてんかん発作が発生したかを推定する(S32)。ここで、人の視線、呼吸、および、瞳孔の情報を全て用いて人のてんかん発作の発生を推定しても構わないし、いずれか1つを用いても、複数を組み合わせたものを用いててんかん発作の発生を推定しても構わない。
【0174】
次に、てんかん発作が発生していないと推定する場合には(S32でNo)、S31に戻る。一方、当該人にてんかん発作が発生したと推定する場合には(S32でYes)、当該人が車に乗っている場合には、その車のブレーキ、アクセル、アクティブサスペンション等の機器を制御する機器制御信号を出力させる(S33)。
【0175】
さらに、当該人が自動運転の自動車に乗車中であれば、自動的に安全な所に駐車させる、または、最寄りの病院に自動運転で直行させる(S34)。なお、S34において、最寄りの救急車やセキュリティセンターをコールするとしてもよい。
【0176】
(メニエール病やめまい)
次に、人の体調として、メニエール病やめまいを推定する方法と、メニエール病やめまいを推定した場合の出力について説明する。
【0177】
人の視線を検出することで、当該人のメニエール病やめまいを推定(検出)することができる。めまいやメニエール病が発生していると、人の視線がぐるぐる回っていることが知られているからである。
【0178】
そして、人のメニエール病やめまいを推定(検出)した場合、当該人が自動運転の自動車に乗車中であれば、自動的に安全な所に駐車するように、その車のブレーキ、アクセル、アクティブサスペンション等の機器を制御したり仕向けても構わない。もちろん、ただちに最寄りの救急車やセキュリティセンターをコールしても構わないし、もしくは最寄りの病院に自動運転で直行させる制御を行っても構わない。
【0179】
(各種病気)
また、呼気中に含まれる以下の成分や分泌物から、以下の病気を人の体調として推定(検出)してもよい。
【0180】
例えば、呼気中に含まれるアンモニアの分泌が多い場合には、当該人の腎機能や肝機能の低下、腸内環境の悪化、痛風を検出することができる。また、例えば、呼気中に含まれるNOの分泌が多い場合には、当該人の気管支喘息や眠気を検出することができる。また、例えば、呼気中に含まれる硫化水素の分泌が多い場合には、当該人の胃腸病を検出することができる。また、例えば、呼気中に含まれる3−メチル−3−スルファニルヘキサン−1−オールの分泌が多い場合には、当該人に精神ストレスが掛かっていると推定することができる。
【0181】
そして、例えば、当該人のオフィスの机やマウス等に上述した各化学物質を検出可能なセンサーを配置し、上述した人の体調が検出されると本人や医療部門に通知してもよい。これにより、当該人の各種病気に対する予防を促進することができる。
【0182】
(深部体温)
また、人の体調として、深部体温を推定してもよい。
【0183】
当該人の体表面温度を検出することで、深部体温を推定することができる。例えば額温度は深部体温に近いとされており、額温度等をサーモカメラで検出することにより、深部体温を推定することができるからである。また、室温も同時に測定して体表面温度を補正することで、さらに精度良く深部体温を推定することができる。なお、眼球等他の部位温度も含めて、深部体温を推定することで、より高い精度で深部体温を推定してもよい。
【0184】
以下、深部体温を推定(検出)したときの出力制御の例について説明する。
【0185】
図21は、深部体温の検出結果に依存した出力制御の一態様について説明するための図である。
図22は、深部体温の検出結果に依存した出力制御方法の一例を示すフローチャートである。
【0186】
図21に示すようにサーモカメラ40で患者51の額温度等を検出することで、来院した患者51の深部体温を非接触で測定することができる。そのため、例えば病院に入る前に患者51の深部体温を検出することで、患者51の発熱状態を検出できるので、発熱状態に応じて病院(待合室)への入り口を自動的に開けるとしてもよい。
【0187】
すなわち、
図22に示すように、まず、サーモカメラ40で患者51の深部体温を検出し(S41)、その患者51の深部体温が、38℃以上、37℃〜38℃、または37℃以下であるかを判定する(S42)。
【0188】
S42において、患者51の深部体温が例えば38℃以上であれば、待合室Aの扉Aを自動で開ける制御を行い(S43)、患者51の深部体温が37℃〜38℃であれば、待合室Bの扉Bを自動で開ける制御を行う(S44)。患者51の深部体温が37℃以下あれば、待合室Cの扉Cを自動で開ける制御を行う制御を行う(S45)。
【0189】
これにより、高熱を発している患者51が平熱の患者51と同じ部屋で待つことがなくなるため、平熱の患者が高熱の患者から感染することを防止することができる。
【0190】
また、
図21および
図22に示す深部体温の閾値は他の値でもよく、また年齢に応じて調整しても構わない。若年齢は体温が高めであることが知られているからである。年齢は例えば診察券等に登録しておけばよく、サーモカメラ40と同時に年齢等が記憶された診察券を読取機にかざすことで、実現できる。
【0191】
なお、この推定方法をタクシーに搭載してもよい。これにより、発熱患者の乗車を必要に応じて拒否することができるため、運転者への二次感染を防止することもできる。また、電車等公共交通機関に乗車時、体温の高い人と平熱の人が乗車する車両を分けても構わない。電車等交通機関での病気の拡大を低減することができるからである。
【0192】
また、深部体温を推定する方法やその出力制御の例はこれらに限らない。
【0193】
例えば起床時の深部体温を日々計測(推定)してもよく、女性の生理周期を推定することができる。そして、推定した生理周期の中で乾燥しやすい時期には、加湿器やエアコン等の設定を自動的に調節し、皮膚が乾きにくくする制御を行ってもよい。いらいらしやすい時期であれば、ステレオ等でリラックスできる曲を選曲する制御を行ってもよい。
【0194】
なお、深部体温を日々計測するタイミングは起床時に限定せず、毎日同じ状況下で測定できるのであればよく、例えば朝の洗顔時等でもよい。
【0195】
また、例えば、オフィス等に出勤時に、深部体温を計測してもよい。例えば入館時のカードリーダをかざす瞬間に深部体温を計測することで、人と深部体温とを結びつけることができるため、熱のある社員を特定することができる。そして、例えば部下の発熱情報を得た上司が業務のバランスを調整することや、帰宅を促すことで、社員の健康の維持や他の社員への伝染を防止することもできる。
【0196】
(皮膚の乾燥)
また、人の体調として、皮膚の乾燥レベルを推定してもよい。
【0197】
当該人の肌の水分量を計測することで、皮膚の乾燥レベルを推定することができるからである。そして、所定の乾燥レベルの場合すなわち肌の水分量が所定値以下に低下している場合は、当該人が存する室内の加湿器を動作させて当該室内を調湿してもよい。これにより、当該人の美容効果を促進できる。
【0198】
(代謝量)
また、人の体調として、代謝量を推定してもよい。
【0199】
当該人の鎖骨部分の温度をサーモカメラや放射温度計等で測定することで、当該人の代謝量を推定することができる。褐色脂肪が存在すると代謝量が増大することが知られており、褐色脂肪は鎖骨部分に局在して、褐色脂肪は熱を産生する。したがって、当該人の鎖骨部分の温度を測定することで、代謝量を推定することができる。
【0200】
そして、例えば、代謝量を推定し、推定される代謝量よりも摂取カロリーが多い場合には、当該人にワーニングをだしてもよい。これにより、当該人の肥満等を防止することができる。
【0201】
(その他)
また、人の体調として、椅子の座り方を推定(検出)してもよい。
【0202】
椅子の着座部分に圧力分布を計測するセンサーを配置することで、当該人の椅子の座り方を検出することができる。そして、検出した当該人の座り方から腰痛になりやすい部分を推定し、その部分をヒータで暖めることで、腰痛を防止しても構わない。
【0203】
また、人の体調として、息切れを推定(検出)してもよい。
【0204】
当該人の呼吸数や酸素飽和度から、息切れを検出することができる。息切れを検出した場合、呼吸のリズムを音声等で知らせてもよい。これにより、当該人の呼吸のリズムを整えさせることができる。呼吸のリズムは、検出した当該人の現状の呼吸数よりもやや遅くしたリズムを知らせ、さらに知らせる当該リズムを徐々に遅くしてゆくことで、当該人の呼吸を整えることができる。
【0205】
また、人の体調として、心拍数を計測することで緊張等による動悸を推定(検出)してもよい。
【0206】
そして、緊張等で動悸がしていることを検出した場合、計測した現状の心拍数よりもやや遅いリズムの音を当該人に聞かせてもよい。これにより、当該人の心拍数を低下させ緊張をほぐすことができる。なお、スポーツの試合前等で一定の緊張が必要な場合は、安静時の心拍から少しずつ速いリズムの音を聞かせとしてもよい。これにより、理想的な緊張状態に導くことができる。
【0207】
なお、検出した体調の種類や程度、その時間に応じて、生命保険や医療保険の掛け金を調整しても構わない。これにより、体調のよい人の掛け金を低減し、体調の悪い人の掛け金を増やすことができるので、被保険者の納得感を増大することができる。
【0208】
また、映画館等で体調の悪い人を検出した場合には、係員に通知されるようにしておくことで、例えば通知を受けた係員がその人に声をかけて退場を促してもよい。これにより、体調の悪い人による上映の中断を未然に防ぐことができる。
【0209】
以上のように、実施の形態1および2で例示したもの以外の人の体調を推定する方法等について説明したが、これに限らない。人の感情も同様に、実施の形態2で説明したもの以外の方法で推定してもよい。以下、例えば、例を挙げて説明する。
【0210】
(イライラレベル)
例えば、人の感情として、イライラレベルを推定(検出)してもよい。
【0211】
当該人の顔表情や血流量から、イライラレベルを推定することができる。人はイライラすると表情に現れることが知られているからである。また、人はイライラすると交感神経が亢進し、末梢血流が減少することで、末梢部血流量が低下することが知られているからである。ここで、顔表情よび血流量の情報を全て用いて人のイライラレベルを推定しても構わないし、いずれか1つを用いても、複数を組み合わせたものを用いてイライラレベルを推定しても構わない。
【0212】
そして、人のイライラレベルを推定した場合、当該人が運転中であれば、その車のエンジン音をより車内に取り込むように制御し、実際のスピードよりもスピード感を増幅させてもよい。これにより、当該人のオーバースピードを防止することができる。もちろん、人のイライラを推定した場合、その車のアクセルの感度を低下させる制御を行い急発進を防止したり、ブレーキの感度を下げる制御を行い急停車も防止するとしてもよい。
【0213】
(眠気レベル)
また、例えば、人の感情として、眠気レベルを推定(検出)してもよい。
【0214】
人は眠気を感じると顔表情に現れることが知られているからである。また、人は眠気を感じると、副交感神経が亢進して心拍間隔のばらつきが大きくなることや、末梢部の血流量が増大することやそれにともない末梢部の皮膚温が上昇すること、同じく血管の拡張により血圧が低下することが知られているからである。また、呼吸間隔が短くなると、酸素濃度が低下し眠気を感じることが知られている。
【0215】
このように、人の顔表情、心拍間隔、呼吸、血圧、血流量または皮膚温から、当該人の眠気レベルを推定してもよい。
【0216】
なお、ここで、人の顔表情、心拍間隔、呼吸、血圧、血流量および皮膚温の情報を全て用いて人の眠気レベルを推定しても構わないし、いずれか1つを用いても、複数を組み合わせたものを用いて眠気レベルを推定しても構わない。
【0217】
また、これらの情報のうち最も推定精度の上がる組み合わせを学習して、人毎にその組み合わせを変えても構わない。
【0218】
例えば眠気が顔に出やすい人がいる一方、出にくい人がいることがわかっているからである。眠気が顔に出やすい人であれば、顔表情で推定すればよく、もちろん顔表情と他の生理量と組み合わせて検出することで精度の高い眠気レベルの推定を実現できる。同様に検出したい眠気レベルごとにその組み合わせを変えても構わない。また、例えば人によって早期の眠気発生時に血圧が顕著に低下する人もいるが、そうでない人もいる。したがって、早期の眠気を検出する場合に、早期の眠気発生時に血圧が顕著に低下する人であれば血圧を含んで眠気を推定すればよい。
【0219】
なお、これらは例示であり、必要に応じて他の生理指標を含んで眠気を推定すればよい。これにより、精度の高い眠気推定が実現できる。つまり、早期の眠気発生の推定に限らず、深い眠気を推定する場合でも同様であり、どの生理指標を選択してもよい。これにより、人や検出したい眠気の深さに応じて、最適な生理指標を学習によって選択することで、高精度な眠気レベルの推定が可能になる。
【0220】
そして、眠気を検出(推定)した場合、当該人が運転中であれば、その車を換気して車内の酸素濃度を上げるように、外気を取り込むようにその車を制御しても構わない。こうすることで当該人の眠気を低減することができる。なお、その車のエンジン音をより車内に取り込むように例えばエンジンルームと車室内の仕切りを開くことで、スピード感を増幅して覚醒度を上げるようにしてもよい。さらに、その車のサスペンションの硬さを変える制御を行い振動を伝えることで、覚醒度を上げても良い。
【0221】
(各生理量の検出方法)
以下、各生理量の検出方法について例示する。
【0222】
(心拍数)
カメラで撮影した顔の肌色部分の微妙な色変動を検出することで心拍数を検出することができる。顔の肌色部分の色のうち主に緑色成分が、心拍に同期して変動するからである。
【0223】
また、サーモカメラで撮影した顔の肌に該当する温度域の温度変動を検出することで心拍数を検出してもよい。サーモカメラで撮影した顔の温度が、心拍周期に同期して変動することから、肌に該当する温度域の温度変動を検出することで心拍数がわかるからである。
【0224】
それ以外には、耳朶や指等に赤外線を照射して、反射する赤外線の変動量から心拍数を検出してもよい。さらにはシートセンサ等で、心拍で発生する振動を検出し、心拍波形を得て心拍数を検出してもよくその手法は問わない。
【0225】
(血圧)
血圧は、脈波伝搬時間をから求めることができる。脈波伝搬時間は、心臓から出た血流が所定の末端部まで到達するまでの時間である。
【0226】
血圧が低下すると脈波伝搬時間が長くなり、血圧が上昇すると脈波伝搬時間が長くなる傾向にある。脈波伝搬時間は、カメラで撮影した顔画像から求めた脈波のピークと、顔以外(首、手等)を撮影した画像から求めた脈波のピークの時刻のズレ量から求めることができる。顔と顔以外でなくても、例えば顔の中の異なる二箇所(例えば顎と額)の脈波のピーク時刻のズレ量から脈波伝搬時間を求めても構わない。
【0227】
また、心臓の振動をミリ波センサー等で求め、顔の脈波をカメラから撮影した顔画像の微妙な色変動から検出し、心臓の振動ピークと顔の脈波ピークの時間ズレ量を脈波伝搬時間として、血圧変動を推定することで血圧を求めてもよい。
【0228】
(肌水分)
肌水分は、近赤外の水の吸収波長(960nm)を皮膚に照射し、戻ってくる光量を検出することで測定することができる。人は、肌水分が多いと照射された近赤外光が吸収され、戻ってくる近赤外の量が低下することからである。
【0229】
また、超音波やエアを照射してその時の変動量をミリ波等で検出することで、肌の硬さから水分量(肌水分)を推定してもよい。人は、肌水分が低下すると、皮膚が硬くなることが分かっているからである。
【0230】
(血糖値)
血糖値は、眼球に照射した赤外光の戻ってくる成分を検出することで求めることが出来る。眼球部分(眼房水)のスペクトルにおいて、糖の吸収波長(1650nm付近)の吸収があることから、血糖値が多くなると、戻ってくる赤外光の割合が低下するからである。
【0231】
また、眼球部分(眼房水)の旋光度から、血糖値を推定してもよい。血糖値が大きいほど、旋光性が大きくなるからである。もちろん、血糖値の推定方法は、その他の手法でもよく、その手法は問われない。
【0232】
(呼気成分)
呼気成分は、呼気中に含まれる成分の内、検出したい成分の吸収波長(例えばNOであれば225nm付近)の吸収量から検出することができる。
【0233】
例えば検出したい成分の光を呼気に照射し、透過した光の光量を検出することにより、呼気成分を検出することができる。もちろん、クロマトグラフィー等でスペクトルを検出してもよいし、その手法は問わない。
【0234】
(呼吸)
呼吸は、カメラ画像において、赤外線等で例えば矩形パターンを呼吸を計測したい人に照射し、そのパターンの変動から呼吸波形を検出することで、検出することができる。
【0235】
なお、赤外線でなく可視光を用いて呼吸を検出してもよいし、照射するパターンも矩形パターンでなくてもよい。また、ミリ波を照射し、反射波のドップラシフト量から検出してもよいし、TOFセンサーを用いて検出しても構わない。
【0236】
また、例えば吸気時に鼻孔下部の温度が低下し、呼気時に鼻孔下部の温度が上昇するなど、呼吸により鼻孔下部の温度が変動することが知られている。そのため、熱画像を用いて、鼻孔部の温度変動から呼吸波形を検出してもよい。