特開 2023-146167 生体計測データ処理装置及びそれを用いた生体計測データ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023146167

(43)【公開日】2023-10-12

(54)【発明の名称】生体計測データ処理装置及びそれを用いた生体計測データ処理方法

(51)【国際特許分類】

   A61B 5/16 20060101AFI20231004BHJP

   A61B 5/11 20060101ALI20231004BHJP

   A61B 5/00 20060101ALI20231004BHJP

   G16H 50/30 20180101ALI20231004BHJP

【ＦＩ】

A61B5/16 120

A61B5/11 200

A61B5/00 G

G16H50/30

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022053214

(22)【出願日】2022-03-29

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】三幣 俊輔

【テーマコード（参考）】

4C038

4C117

5L099

【Ｆターム（参考）】

4C038PP03

4C038PQ06

4C038PS00

4C038PS01

4C038PS03

4C038PS07

4C038VA04

4C038VA18

4C038VB04

4C038VB34

4C038VB35

4C038VC20

4C117XB02

4C117XB04

4C117XE06

4C117XE13

4C117XE14

4C117XE17

4C117XE18

4C117XE19

4C117XE23

4C117XE26

4C117XE29

4C117XH16

4C117XJ13

4C117XJ46

4C117XJ48

4C117XP12

5L099AA04

(57)【要約】

【課題】利用者が普段とは異なる主観状態にあるタイミングなど、介入施策やデータ収集のための通知を適切なタイミングで実施可能とする。
【解決手段】利用者の生体状態をセンサにより検出した生体計測データを利用者の利用者端末から受け付ける受付部51と、受付部により受け付けられた生体計測データの、利用者の過去の生体計測データに対する逸脱度を評価する逸脱度評価部54と、受付部により受け付けられた生体計測データに基づいて、利用者の心身主観状態を示す主観値を推定する主観値評価部53と、主観値評価部で推定された主観値の不確実性を評価する不確実性評価部55と、逸脱度評価部で評価された逸脱度および不確実性評価部で評価された不確実性に基づいて、利用者の普段の状態との乖離の程度を示す乖離度を評価する乖離度評価部56と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

利用者の生体状態をセンサにより検出した生体計測データを前記利用者の利用者端末から受け付ける受付部と、
前記受付部により受け付けられた生体計測データの、前記利用者の過去の生体計測データに対する逸脱度を評価する逸脱度評価部と、
前記受付部により受け付けられた生体計測データに基づいて、前記利用者の心身主観状態を示す主観値を推定する主観値評価部と、
前記主観値評価部で推定された主観値の不確実性を評価する不確実性評価部と、
前記逸脱度評価部で評価された逸脱度および前記不確実性評価部で評価された不確実性に基づいて、前記利用者の普段の状態との乖離の程度を示す乖離度を評価する乖離度評価部と、
を有することを特徴とする生体計測データ処理装置。

【請求項2】

請求項１において、
前記乖離度評価部で評価された乖離度に基づき通知判定を行う通知判定部を有することを特徴とする生体計測データ処理装置。

【請求項3】

請求項２において、
前記主観値評価部は、主観値推定モデルを用いて前記利用者の主観値を推定し、
前記主観値推定モデルは、前記利用者がその心身主観状態を前記利用者端末に入力した主観値正解データと、当該主観値正解データに対応する期間における前記利用者の生体計測データに所定の前処理を行った前処理済データとの組を用いて学習されることを特徴とする生体計測データ処理装置。

【請求項4】

請求項３において、
前記通知判定部は、前記乖離度評価部で評価された乖離度に基づき、前記利用者の前記利用者端末にその心身主観状態を入力するように促す通知を行うか否かの判定を行うことを特徴とする生体計測データ処理装置。

【請求項5】

請求項４において、
前記通知において、前記利用者の前記利用者端末に、前記乖離度評価部で評価された乖離度または前記主観値評価部で推定された主観値を表示させる結果表示部を有することを特徴とする生体計測データ処理装置。

【請求項6】

請求項３において、
前記所定の前処理として、身体性に起因する個人差を取り除くための補正処理と、前記補正処理を行った前記利用者の生体計測データからの特徴抽出処理とを含み、
前記主観値推定モデルは、前記特徴抽出処理によって得られた特徴量を入力とするモデルであることを特徴とする生体計測データ処理装置。

【請求項7】

請求項６において、
前記主観値推定モデルは、前記利用者がその心身主観状態を前記利用者端末に入力した主観値正解データに対して前記利用者の認知差に基づく認知差補正処理を行った主観値正解データを用いて学習されることを特徴とする生体計測データ処理装置。

【請求項8】

請求項３において、
前記主観値推定モデルは第１の主観値推定サブモデルと第２の主観値推定サブモデルとを含み、
前記第１の主観値推定サブモデルは、前記受付部により受け付けられた前記生体計測データに基づいて、前記利用者の心身主観状態を示す第１の主観値を推定し、
前記第２の主観値推定サブモデルは、前記第１の主観値に基づいて、前記利用者の心身主観状態を示す第２の主観値を推定し、
前記主観値評価部は、推定する主観値として前記第２の主観値を出力することを特徴とする生体計測データ処理装置。

【請求項9】

請求項８において、
前記通知判定部は、前記乖離度評価部で評価された乖離度に基づき、前記利用者の前記利用者端末に心身主観状態を改善するためのアドバイスを行う通知を行うか否かの判定を行うことを特徴とする生体計測データ処理装置。

【請求項10】

請求項３において、
前記利用者と類似する類似利用者群を推定する類似利用者分類部を有し、
前記逸脱度評価部は、前記受付部により受け付けられた生体計測データの、推定された前記利用者と類似する類似利用者群の過去の生体計測データに対する逸脱度を評価し、
前記主観値推定モデルは、前記類似利用者群の前記主観値正解データと前記前処理済データとの組を用いて学習され、
前記乖離度評価部は、前記逸脱度評価部で評価された逸脱度および前記不確実性評価部で評価された不確実性に基づいて、前記類似利用者群の普段の状態との乖離の程度を示す乖離度を評価することを特徴とする生体計測データ処理装置。

【請求項11】

受付部と逸脱度評価部と主観値評価部と不確実性評価部と乖離度評価部とを備える生体計測データ処理装置を用いて、利用者の心身主観状態を推定する生体計測データ処理方法であって、
受付部は、前記利用者の生体状態をセンサにより検出した生体計測データを前記利用者の利用者端末から受け付け、
前記逸脱度評価部は、前記受付部により受け付けられた生体計測データの、前記利用者の過去の生体計測データに対する逸脱度を評価し、
前記主観値評価部は、前記受付部により受け付けられた生体計測データに基づいて、前記利用者の心身主観状態を示す主観値を推定し、
前記不確実性評価部は、前記主観値評価部で推定された主観値の不確実性を評価し、
前記乖離度評価部は、前記逸脱度評価部で評価された逸脱度および前記不確実性評価部で評価された不確実性に基づいて、前記利用者の普段の状態との乖離の程度を示す乖離度を評価することを特徴とする生体計測データ処理方法。

【請求項12】

請求項１１において、
前記生体計測データ処理装置は通知判定部を備え、
前記通知判定部は、前記乖離度評価部で評価された乖離度に基づき通知判定を行うことを特徴とする生体計測データ処理方法。

【請求項13】

請求項１２において、
前記主観値評価部は、主観値推定モデルを用いて前記利用者の主観値を推定し、
前記主観値推定モデルは、前記利用者がその心身主観状態を前記利用者端末に入力した主観値正解データと、当該主観値正解データに対応する期間における前記利用者の生体計測データに所定の前処理を行った前処理済データとの組を用いて学習されることを特徴とする生体計測データ処理方法。

【請求項14】

請求項１３において、
前記通知判定部は、前記乖離度評価部で評価された乖離度に基づき、前記利用者の前記利用者端末にその心身主観状態を入力するように促す通知を行うか否かの判定を行うことを特徴とする生体計測データ処理方法。

【請求項15】

請求項１３において、
前記主観値推定モデルは第１の主観値推定サブモデルと第２の主観値推定サブモデルとを含み、
前記第１の主観値推定サブモデルは、前記受付部により受け付けられた前記生体計測データに基づいて、前記利用者の心身主観状態を示す第１の主観値を推定し、
前記第２の主観値推定サブモデルは、前記第１の主観値に基づいて、前記利用者の心身主観状態を示す第２の主観値を推定し、
前記主観値評価部は、推定する主観値として前記第２の主観値を出力することを特徴とする生体計測データ処理方法。

【請求項16】

請求項１５において、
前記通知判定部は、前記乖離度評価部で評価された乖離度に基づき、前記利用者の前記利用者端末に心身主観状態を改善するためのアドバイスを行う通知を行うか否かの判定を行うことを特徴とする生体計測データ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、利用者から計測した生体状態に基づき、利用者が普段とは異なる主観状態にあるタイミングなどを判定するために利用される生体計測データ処理装置及びそれを用いた生体計測データ処理方法に関する。

【背景技術】

【0002】

特許文献１には在宅医療支援システムが開示されている。支援対象者の生体に装着したウエアラブル端末によって支援対象者の生体から生体情報を収集し、収集された生体情報は無線により在宅機器である受信器により送信され、受信器の情報解析部により生体情報の解析が行われる。情報解析部が生体情報に異常があると判断する場合には、支援対象者のドクターコールの押下操作がなくとも医療機関に対して生体情報の送信を行う。ここで、生体情報の異常としては、脈拍、血圧、酸素飽和度の各情報が予め定めたそれぞれの閾値を超えている、といったことが例示されている。

【0003】

一方、日常生活下において、生体状態を測定したデータに基づき、利用者が感じる感情や疲労、気分、といった心身の健康状態を推定する技術が研究されつつある。当該技術を用いることで、生体計測データから、利用者が普段とは異なる精神状態にあるか否かを判定し、判定結果に基づき精神的なケアを行うといった介入施策が実現できることとなる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６－１２２４３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１は、ウエアラブル端末によって計測可能な生体情報そのものに基づいて介入を実施するものである。これに対して、心身の健康状態のうち、特に心身の主観状態を生体情報に基づいて推定し、個々人に対して介入施策を行うサービスを考えた場合、心身の主観状態と生体状態の関係性は複雑であるため、適切なタイミングでの介入策実施を行うには、生体情報に対する単純な条件判定では困難であり、過去、利用者の心身の主観状態がどのような場合において、実際に生体情報がどのような状態であったというデータを収集し、機械学習により生体情報と心身の主観状態との間のモデルを構築することが望ましい。このためには、利用者が様々な心身の主観状態にあった場合における生体情報を学習データとして収集する必要がある。

【0006】

しかしながら、このような利用者の主観に関わる事柄に対して、質の高い学習データを取得することは困難を伴う。例えば、定期的、あるいはランダムなタイミングでのアンケートによる手法（経験サンプリング、Experience Sampling Method、ESMもしくは生態学的瞬間評価、Ecological Momentary Assessment、EMA）で心身の主観状態を問い合わせたとしても、アンケートのタイミングで利用者の心身主観状態に変化が生じているかどうかは保証できず、発生頻度の低い、強い感情経験にあるときのデータをとり逃すおそれがある。利用者が心身の主観状態の変化を意識したタイミングで心身の主観状態を記録することができれば、心身の主観状態の大きな変化を捕捉できるようになるが、無自覚な心身の主観状態の変化については捕捉することができない。

【0007】

本発明は、上記問題点に鑑みてなされたものであり、介入施策やデータ収集のための通知を、利用者が普段とは異なる主観状態にあるタイミングなど適切なタイミングで実施可能にすることを目的とする。

【課題を解決するための手段】

【0008】

本発明の一実施態様である生体計測データ処理装置は、利用者の生体状態をセンサにより検出した生体計測データを利用者の利用者端末から受け付ける受付部と、受付部により受け付けられた生体計測データの、利用者の過去の生体計測データに対する逸脱度を評価する逸脱度評価部と、受付部により受け付けられた生体計測データに基づいて、利用者の心身主観状態を示す主観値を推定する主観値評価部と、主観値評価部で推定された主観値の不確実性を評価する不確実性評価部と、逸脱度評価部で評価された逸脱度および不確実性評価部で評価された不確実性に基づいて、利用者の普段の状態との乖離の程度を示す乖離度を評価する乖離度評価部と、を有する。

【発明の効果】

【0009】

利用者の主観状態を考慮しながら介入施策や正解データ収集のための通知などの対応を取ることが可能になる。

【0010】

本明細書において開示される主題の、少なくとも一つの実施の詳細は、添付されている図面と以下の記述の中で述べられる。開示される主題のその他の特徴、態様、効果は、以下の開示、図面、請求項により明らかにされる。

【図面の簡単な説明】

【0011】

【図1】生体計測データ処理システムの主要構成の一例を示すブロック図である。

【図2】利用者端末からの受信処理の一例を示すフローチャートである。

【図3】主観値推定における乖離度評価モデルの学習処理の一例を示すフローチャートである。

【図4】主観値推定における乖離度評価処理の一例を示すフローチャートである。

【図5A】乖離度に基づく通知判定処理の一例を示すフローチャートである。

【図5B】乖離度に基づき通知判定されたイベントの通知を出力する処理の一例を示すフローチャートである。

【図6】通知出力に応じた対応結果の受信処理の一例を示すフローチャートである。

【図7A】利用者端末に対して表示される通知出力画面の一例である。

【図7B】利用者端末に対して表示される通知出力画面の一例である。

【図8】管理者端末に対して表示される通知出力画面の一例である。

【図9A】利用者端末に対して表示される主観値推定結果の表示画面の一例である。

【図9B】利用者端末に対して表示される主観値推定結果の表示画面の一例である。

【図9C】利用者端末に対して表示される主観値推定結果の表示画面の一例である。

【図10A】利用者データのデータ構造の一例を示す図である。

【図10B】主観値推定データのデータ構造の一例を示す図である。

【図10C】乖離度データのデータ構造の一例を示す図である。

【図10D】判定結果データのデータ構造の一例を示す図である。

【図10E】対応結果データのデータ構造の一例を示す図である。

【図10F】利用者特性データのデータ構造の一例を示す図である。

【図10G】主観値正解データのデータ構造の一例を示す図である。

【図11A】利用者端末に対して表示される、主観値に基づく介入必要性を通知する画面の一例である。

【図11B】利用者端末に対して表示される、主観値に基づく介入必要性を通知する画面の一例である。

【図11C】利用者端末に対して表示される、主観値に基づく介入必要性を通知する画面の一例である。

【図12A】類似利用者分類の学習処理の一例を示すフローチャートである。

【図12B】類似利用者分類処理の一例を示すフローチャートである。

【図13A】利用者端末に対して表示される出力画面の一例である。

【図13B】利用者端末に対して表示される出力画面の一例である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら本発明の実施例について説明する。

【実施例0013】

図１は、生体計測データ処理システムの主要な構成の一例を示すブロック図である。本実施例の生体計測データ処理システムは、１以上の利用者端末7と、１以上の管理者端末8と、ネットワーク9を介して利用者端末7から受信するデータを処理する生体計測データ処理装置1とを含む。

【0014】

利用者端末7は、利用者の生体状態を検出する生体計測センサ11と、生体計測センサ11を制御する生体計測装置12と、入出力装置13と、通信装置14と、通知報知装置15とを含む。

【0015】

生体計測センサ11は、利用者の心拍間隔（R-R Interval：RRI）を検出する心拍センサ21と、利用者の発汗量を検出する皮膚電気活動センサ22と、利用者の動きを検出する加速度センサ23とを含む。心拍センサ21には、心電や脈波、圧力変化や心音などに基づき心拍を検出するセンサを用いることができる。生体計測センサ11は上記の例に限定されるものではなく、他に体温、まばたき、眼球運動、筋電あるいは脳波等を検出するセンサを採用することができる。生体計測センサ11としては、利用者が装着可能なウェアラブルデバイスの他、利用者が持ち歩き可能なスマートフォンに内蔵のシステムなどを用いることができる。

【0016】

生体計測装置12は、生体計測センサ11を制御し、必要に応じて生体計測センサ11が計測した生体状態に対して演算処理や圧縮処理を行って生体計測データ82を生成する。

【0017】

入出力装置13は、利用者端末7への画面表示や、生体情報に基づく推定対象であり心身の主観状態の正解データである主観値正解データ91の受付を行う。

【0018】

通知報知装置15は、生体計測データ処理装置1からの通知出力処理に応じて、利用者に対して通知を行う。例えば、入出力装置13で行われる利用者端末7への画面表示の他に、振動や音を用いて、利用者に対する通知出力を行ってもよい。

【0019】

なお本例では利用者端末7に生体計測センサ11と生体計測装置12とが含まれる形を例示したが、必ずしも一つの装置（ハードウェア）で構成されなくてもよい。例えば、利用者端末7のうち、入出力装置13と通信装置14とをスマートフォンにより構成し、生体計測装置12と生体計測センサ11と通知報知装置15とをスマートウォッチにより構成して、スマートフォンとスマートウォッチとを一体のシステムとみなして利用者端末7を構成してもよい。

【0020】

管理者端末8は、入出力装置31と、通信装置32と、通知報知装置33とを含む。なお、ここで管理者とは、部下に対する上長など、具体的な関係については限定されないが、利用者を管理、監督する役割の者を広く指している。通知報知装置33は、生体計測データ処理装置1からの通知出力処理に応じて、管理者に対して通知を行う。例えば、入出力装置31で行われる管理者端末8への画面表示の他に、振動や音を用いて、管理者に対する通知出力を行ってもよい。

【0021】

生体計測データ処理装置1は、プロセッサ2と、メモリ3と、ストレージ装置4と、入出力装置5と、通信装置6とを含む計算機である。メモリ3は、受付部51と、前処理部52と、主観値評価部53と、逸脱度評価部54と、不確実性評価部55と、乖離度評価部56と、通知判定部57と、通知出力部58と、結果表示部59と、類似利用者分類部60の各機能部をプログラムとしてロードする。各プログラムはプロセッサ2によって実行される。なお、各機能部の詳細については後述する。

【0022】

プロセッサ2は、各機能部のプログラムに従って処理を実行することによって、所定の機能を提供する機能部として稼働する。例えば、プロセッサ2は、乖離度評価プログラムを実行することで乖離度評価部56として機能する。他のプログラムについても同様である。さらに、プロセッサ2は、各プログラムが実行する複数の処理のそれぞれの機能を提供する機能部としても稼働する。計算機及び計算機システムは、これらの機能部を含む装置及びシステムである。

【0023】

ストレージ装置4は、上記各機能部が使用するデータを格納する。ストレージ装置4は、利用者データ81と、生体計測データ82と、前処理済データ83と、主観値推定データ84と、逸脱度データ85と、不確実性データ86と、乖離度データ87と、判定結果データ88と、対応結果データ89と、利用者特性データ90と、主観値正解データ91と、データ前処理モデル92と、主観値推定モデル93と、逸脱度評価モデル94と、不確実性評価モデル95と、乖離度評価モデル96と、判定基準モデル97と、類似利用者分類モデル98とを格納する。なお、これらのデータ及びモデルの詳細については後述する。

【0024】

入出力装置5は、マウス、キーボード、タッチパネル又はマイク等の入力装置と、ディスプレイやスピーカ等の出力装置を含む。通信装置6は、ネットワーク9を介して利用者端末7や管理者端末8と通信を行う。

【0025】

なお、以下の実施例では、日常生活中において利用者が常時利用者端末7を装着もしくは持ち歩き、生体計測センサ11が稼働している例を例示するが、本例に限定されない。例えば、起床時や就寝時など一日に数度、利用者端末7を利用して生体計測センサ11を稼働させてもよい。

【0026】

図２は、生体計測データ処理装置1で行われる利用者端末7からの受信処理の一例を示すフローチャートである。

【0027】

生体計測データ処理装置1の受付部51は、ネットワーク9を介して利用者端末7との接続が確立されるとデータ受信S21を開始する。データ受信S21を開始すると、生体計測データ処理装置1は、利用者端末7の生体計測センサ11で計測され、生体計測装置12でデータ化された生体情報を受信し、生体計測データ82として保存する。データ受信は利用者端末7との接続が切断されるまで継続される。なお、以下では生体計測データ82として心拍間隔データと皮膚電気活動データと加速度データが計測、保存される場合について例示する。

【0028】

さらに利用者端末7の入出力装置13において、生体情報に基づく推定対象である心身の主観状態についての正解データが入力された場合には、生体計測データ処理装置1は、あわせて入力された正解データを受信し、主観値正解データ91として保存する。

【0029】

ここでは、システムの推定対象である心身主観状態を、日常生活下の自然感情とする。この場合、主観値正解データ91として、自然感情を覚醒度（Arousal）と感情価（Valence）から構成される感情次元にて測定することが考えられる。この場合、視覚的スケールであるVisual Analogue Scale（VAS）の両端に絵文字にて感情次元を表象して計測するAffective Scaleや、多段階の絵文字にて計測するSelf-Assessment Manikin（SAM）を用いて計測してもよい。

【0030】

さらに、感情次元の測定に加えて、嬉しいなどの離散感情を、感情を示す形容詞への当てはまり度合いにより計測する Positive and Negative Affect Schedule（PANAS）を用いることによって、経験感情を計測してもよい。

【0031】

なお、本例では連続的に生体計測データ82が受信される例を示したが、必ずしも連続的である必要はない。例えば、利用者端末7側で2分や30分など一定時間分にまとめられた生体計測データ82を受信してもよい。また利用者端末7側から生体計測データ処理装置1に対して送信処理を実施した場合にだけ、接続を確立してデータ受信処理S21を行ってもよい。

【0032】

図３は、生体計測データ処理装置1で行われる、主観値推定における乖離度評価モデル96の学習処理の一例を示すフローチャートである。まず初めに、生体計測データ処理装置1の受付部51は、学習に用いる主観値正解データ91と、生体計測データ82と、生体計測データ82が取得された利用者の情報が格納された利用者データ81とを読み込むデータ読込処理S31を行う。なお、以下では特別に述べない場合、一組の生体計測データ82を30分間分の心拍間隔データと皮膚電気活動データと加速度データからなるものとし、一組の主観値正解データ91を30分間に対するValenceとArousalの強度とした例を示し、これを複数組用いることで乖離度評価モデル96の学習処理を行うこととする。

【0033】

データ前処理学習処理S32では、前処理部52が最初に、読み込まれた利用者データ81と生体計測データ82とを用いて、データ前処理の学習処理を行う。データ前処理の学習処理では、生体計測データ82に含まれる個人差の補正処理や、生体計測データ82からの特徴抽出処理、生体計測データ82から抽出した特徴量の特徴圧縮処理などを行うデータ前処理モデル92を学習する。これらの処理はパイプラインとして、複数の処理（サブタスク）をまとめたデータ前処理モデル92により明示的に順次実行してもよく、データから学習したデータ前処理モデル92を用いてEnd-to-endに（サブタスクに分割することなく一気に）処理してもよい。

【0034】

例えば、一連のデータ前処理を、個人差の補正処理として、利用者自身から過去に計測された一連の生体計測データ82に基づくデータの正規化処理を行い、特徴抽出処理を利用者毎に正規化された生体計測データ82を入力とした主成分分析による特徴圧縮処理として構成してもよい。この場合、利用者毎の正規化パラメータや主成分分析の主成分数、得られる固有ベクトルをデータ前処理の学習処理として学習し、データ前処理モデル92とすることができる。このデータ前処理モデル92のうち、個人差の補正処理に用いる利用者毎の正規化パラメータを個人差のうち身体差補正モデルとして扱うことができ、データ前処理モデル92のうち身体差補正モデル（正規化パラメータ）を除いた部分は、個人間の身体性に起因する個人差が取り除かれた、複数の利用者間で共通に利用可能なデータ前処理モデルとなり、汎用性の向上が実現できる。

【0035】

また、End-to-endに処理する場合、データ前処理として生体計測データ82の計測ノイズの除去処理を設定し、特徴抽出・特徴圧縮処理としてノイズ除去が行われた生体計測データ82を入力とした深層生成モデルであるVariational Auto Encoder（VAE）の潜在ベクトルを用いる形で構成してもよい。この場合、VAEのモデルを生体計測データ82から教師なし学習により学習する。

【0036】

個人差の補正やノイズ除去の目的で、利用する信号スケールの正規化処理やノイズ除去処理を行ってもよい。例えば正規化処理では、利用者毎もしくは計測日毎、利用者のある計測日毎、全利用者間にて、最大値と最小値で正規化するmin-max正規化や、信号の平均と標準偏差で正規化するz-score化、また信号強度分布の分位点を用いて正規化する分位点正規化などを利用してもよい。また、加齢などにより信号強度が変動することが知られている場合には、利用者データ81の年齢情報を鑑みて、年齢集団毎に信号強度を正規化する偏差値化処理などを行ってもよい。さらに、ノイズ除去処理では、信号の異常値を取り除いて一定範囲内に収めるclippingやwinsorize処理、一時刻の突発的な変動を抑えて平滑化する移動平均処理やSavitzky-Golayフィルタによる0次微分処理などを実施してもよい。

【0037】

生体計測データ82からの特徴抽出処理では、用いる生体計測データ82の生体信号に応じた特徴抽出処理を行ってもよい。例えば、心拍センサ21で取得された心拍間隔データに対しては、平均心拍数や、周波数領域解析により得られ交感神経活動や副交感神経活動を主として反映することがそれぞれ知られるLow Frequency component（LF）やHigh Frequency component（HF）、時間領域解析にて利用されるSDNNやRMSSD、NN50、また非線形領域解析にて利用されるローレンツプロットを用いた特徴量や、Detrended Fluctuation Analysisにて得られる特徴量、complex demodulation法によって得られる特徴量などを利用することができる。また、皮膚電気活動センサ22で取得された皮膚電気活動データの場合、皮膚コンダクタンスレベル（Skin Conductance Level：SCL）や皮膚コンダクタンス反応（Skin Conductance Response：SCR）を用いてよい。また、加速度センサ23から得られた三軸加速度データの場合、加速度ノルムや、加速度ノルムに対してバンドパスフィルタで処理した信号が重力加速度を1Gとした場合に±0.01Gの閾値を通過する回数であるゼロクロス回数などを利用してもよい。

【0038】

さらに、生体計測データ82に加え、主観値正解データ91に対しても所定のデータ前処理を行っておいてもよい。例えば、ValenceとArousalの強度を推定する場合、後述する主観値推定モデル学習処理で利用される主観値推定モデル93の種別に応じて前処理を行っておいてもよい。例えば、ValenceやArousalが1から5まで5段階のリッカートスケールで計測されている場合、回帰モデルを学習する場合にはこれを-1から1までの範囲にスケールを変換してもよい。また、分類モデルの場合には、中間値3を除いて1と2を負例0、4と5を正例1と二値化してもよい。

【0039】

特徴圧縮処理としては、公知のアルゴリズムを用いてもよい。例えば上述した主成分分析や、自己符号化器であるAuto Encoder（AE）、Uniform Manifold Approximation and Projection（UMAP）などを用いてよい。

【0040】

なお、データ前処理の学習処理では、典型的には教師なし学習に基づくため、主観値正解データ91と対応づかない生体計測データ82を利用して学習処理を行ってもよい。主観値正解データ91は取得するコストが高いため、このように構成することでより多数の生体計測データ82からデータ前処理モデル92を学習でき、より多様な状態を特徴量として表現可能な前処理済みデータを生成可能なデータ前処理モデル92を学習できる効果が得られる。

【0041】

以上によりデータ前処理の学習処理が完了すると、学習されたデータ前処理モデル92を用いて、前処理部52は生体計測データ82にデータ前処理を行い、前処理済データ83を生成する。

【0042】

主観値推定モデル学習処理S33では、主観値評価部53が、主観値正解データ91と前処理済データ83とを用いて、主観値推定モデル93の学習を行う。例えば日常生活下の自然感情を推定対象とする場合、一組の主観値正解データ91を30分間に対するValenceとArousalの強度を推定する感情次元推定モデルを教師あり学習により学習する。主観値推定モデル93は、公知のアルゴリズムを用いて構成することができる。たとえば、機械学習アルゴリズムについて、ロジスティック回帰モデルや決定木、Random Forest、Support Vector Machine、ニューラルネットワーク、ベイジアンニューラルネットワーク、深層学習モデルなどを利用することができる。アルゴリズムについては推定する主観値に応じて分類アルゴリズムも回帰アルゴリズムも用いることができる。例えばValenceとArousalの強度-1から1を推定する場合には回帰アルゴリズムを用いてよいし、ValenceとArousalの強度の高低を推定する場合には回帰アルゴリズムに代えて分類アルゴリズムを用いてよい。

【0043】

なお、本フローチャートではデータ前処理の学習処理と主観値推定モデル学習処理とを異なる処理として記したが、両処理の一部が一体となる形で構成してもよい。例えば、データ前処理の学習処理において、生体計測データ82の計測ノイズの前処理するノイズ除去処理のみを含むデータ前処理モデル92を構成しておき、特徴抽出処理や特徴圧縮処理、そして主観値推定処理をEnd-to-endに行う主観値推定モデル93として構成してもよい。この場合、時系列データの取り扱いに長けたLong Short Term MemoryやGraph Neural Network、Convolutional Neural Network、Graph Neural Network、Self Attentionなどと全結合層から成る深層学習モデルの形で構成してもよい。

【0044】

また、主観値推定モデル93の推定対象である主観値正解データ91は、特に日常生活中において主観値正解データ91を得る場合、利用者自身が主観的にアノテーションをしたデータであることが多く、そのため正解データ自身の信頼性に乏しい場合がある。このような信頼性の低い正解ラベルから主観値推定モデル93を学習することを鑑み、これに適したモデル構成としてもよい。例えば、利用者毎の回答の信頼性により主観値正解データ91を重みづけて学習してもよい。また、信頼性や確信度の低い正解ラベルに対するモデル構成として、公知のアルゴリズムを用いてもよい。例えば、直近30分の生体計測データ82の全体に正解ラベルが付与されているが、厳密にどの時点に対する正解ラベルであるかが定まらないことを踏まえてMultiple Instance Learningを用いてもよい。正解ラベルが単一に定まらない一方でその分布位置や順序性自体の信頼性は比較的高い場合には、ベイズ深層学習モデルやLabel Distribution Learningを用いてもよい。

【0045】

さらに、主観値推定モデル93においても、データ前処理モデル92同様に個人差を考慮したモデル構成としてもよい。主観値推定モデル93が学習する正解ラベルである主観値正解データ91には、ある事象に対する主観的な認知方式や、認知した内容の言語化にあたって生じる回答傾向といった、認知の差が含まれていると考えられる。そのため、データ前処理モデル92において個人差のうちの身体差補正を行っている場合には、正解ラベルに対してもこういった認知差を補正する認知差補正処理を含むモデル構成としてもよい。この場合、利用者の認知傾向に適合した主観値推定を行えることとなり、利用者への適合性や利用者からの主観値推定結果に対する受容性が向上するという効果が得られる。

【0046】

認知差補正処理は、主観値推定モデル93に対して専用の処理を追加しても、主観値推定モデル93自体をEnd-to-endに構成してしまってもよい。例えば、専用の処理を追加する場合、利用者の主観値正解データ91の回答スタイルを利用者の認知傾向とみなし、利用者全体に当てはまる主観値推定を分類モデルや回帰モデルを用いて行った後に、回答スタイルである中心反応傾向や極端反応傾向を考慮した補正をその推定結果に行う処理を追加し、主観値推定データ84を得てもよい。また、End-to-endに構成する場合、主観値推定モデル93をNeural Networkで構成し、その最終層に近い層を利用者毎に分割して利用者毎に分割するMulti Task Learningにより構成し、利用者に応じた認知傾向を学習した推定を実現できるように構成してもよいし、利用者に共通の主観値推定モデル93を作成しておいて、利用者毎にfine tuningすることで特定の利用者に適合させるように構成してもよい。

【0047】

以上により主観値推定モデル93の学習処理が完了すると、学習された主観値推定モデル93を用いて、主観値評価部53は、前処理済データ83から、主観値推定データ84を生成する。

【0048】

逸脱度評価モデル学習処理S34では、逸脱度評価部54が、生体計測データ82や前処理済データ83から、逸脱度評価モデル94を学習する。逸脱度評価モデル94は、入力された生体計測データ82が、平時に比較してどの程度逸脱したデータとなっているかを逸脱度として評価する。逸脱度評価モデル94は典型的には公知の異常検出アルゴリズムによる教師なしモデルであり、公知の統計的モデルや機械学習モデルとして構成することができる。統計的モデルとしては例えば、データ前処理モデル92により得られた前処理済データ83のデータ分布に対する平均値や標準偏差を用いてz-scoreを出力する統計的モデルや、偏差値を出力する統計的モデル、データ分布上における分位点を出力する統計的モデルなどを利用することができる。また、機械学習モデルとしては例えば、前処理済データ83からノンパラメトリックに推定されたデータ分布のクラスター中心を基準とした距離を出力する機械学習モデルを利用することができる。

【0049】

例えば、データ前処理モデル92を、個人間の身体性に起因する個人差を取り除くための身体差補正モデルと個人間の身体性に起因する個人差が取り除かれた複数の利用者間で共通に利用可能なVariational Auto Encoderなどの特徴抽出モデルとして階層的に構成している場合、前処理済データ83を特徴抽出モデルのデコーダー部に入力することで得られる個人間で共通の推定生体計測データや、個人間で共通の推定生体計測データから身体差補正モデルを用いた逆変換として得られる個人毎の推定生体計測データを算出することができる。この場合、個人間の身体性に起因する個人差が取り除かれた生体計測データから個人間で共通の推定生体計測データがどの程度再構成出来たかを示す再構成誤差を計算するモデルとして逸脱度評価モデル94を学習することができる。また、生体計測データ82から個人毎の推定生体計測データがどの程度再構成出来たかを示す再構成誤差を計算するモデルとして逸脱度評価モデル94を学習することもできる。さらに、両処理の再構成誤差をあわせて評価し、再構成誤差の加重値を算出するモデルとして逸脱度評価モデル94を構成することもできる。このような構成の場合、平時に計測された生体計測データ82に近ければ逸脱度が小さくなり、生体状態に異常がある場合や生体状態の計測条件に問題がある場合には逸脱度が大きくなることで、入力された生体計測データ82自体の平時との隔たりを逸脱度として評価可能となる。

【0050】

以上により逸脱度評価モデル94の学習処理が完了すると、学習された逸脱度評価モデル94を用いて、逸脱度評価部54は、生体計測データ82や前処理済データ83から逸脱度データ85を生成する。

【0051】

不確実性評価モデル学習処理S35では、不確実性評価部55が、前処理済データ83や主観値推定データ84から、不確実性評価モデル95を学習する。典型的には主観値推定モデル93を不確実性評価モデル95として利用してもよい。この場合、主観値推定モデル93に入力して主観値推定データ84を算出するのに用いた前処理済データ83に対して摂動を加え、主観値推定データ84がどの程度ばらつくかを不確実性として評価することで、不確実性評価モデル95として利用することができる。また、主観値推定モデル93を、入力データやモデルの不確実性を考慮するベイズ深層学習モデルやLabel Distribution Learningにより構成した場合には、主観値推定データ84は推定の確信度を示す広がりを持った分布として得られることから、主観値推定データ84についてその広がりを評価するモデルとして不確実性評価モデル95を学習することができる。以上により、生体計測データ82から主観値推定データ84を算出することで生体計測データ82の異常度とは別に、推定された入力に対応する主観状態自体がどの程度不確実で平時とは隔たっているものであるかを評価可能となる。

【0052】

以上により不確実性評価モデル95の学習処理が完了すると、学習された不確実性評価モデル95を用いて、不確実性評価部55は、前処理済データ83や主観値推定データ84から、不確実性データ86を生成する。

【0053】

乖離度評価モデル学習処理S36では、乖離度評価部56が、逸脱度データ85と不確実性データ86から、乖離度評価モデル96を学習する。乖離度評価モデル96は、典型的には、逸脱度データ85と不確実性データ86とを入力として異常度を評価する公知の異常検出アルゴリズムによる教師なしモデルであり、公知の統計的モデルや機械学習モデルとして構成することができる。

【0054】

また、乖離度評価モデル96は、学習に基づかずに逸脱度データ85と不確実性データ86を乖離度としてどの程度重視するかの信念を評価するように構成してもよい。例えば、入力された生体計測データ82自体の平時との隔たりを重視する場合には、逸脱度データ85に対して係数Aとして0.9を乗じ、不確実性データ86に係数Bとして0.1を乗じ、その加重和を計算することで乖離度として評価してもよい。また、推定された入力に対応する主観状態自体がどの程度不確実なものであるかを重視する場合には、逸脱度データ85に対して係数Aとして0.1を乗じ、不確実性データ86に係数Bとして0.9を乗じ、その加重和を計算することで乖離度として評価してもよい。この場合、乖離度は係数A×逸脱度＋係数B×不確実性として算出され、係数A、係数Bの組を乖離度評価モデル96として格納することになる。

【0055】

これにより、複雑な関係性を有する生体状態と心身の主観状態とに対し、生体状態自身の普段の状態との隔たりと、心身の主観状態自体がどの程度不確実で平時とは隔たっているものであるか、の両者を鑑みて適切なタイミングでの介入施策実施や、主観状態の推定モデルのためのデータ収集の通知タイミングを判断するための指標を算出することが可能となる。

【0056】

以上により乖離度評価モデル96の学習処理が完了すると、学習された乖離度評価モデル96を用いて、乖離度評価部56は、逸脱度データ85と不確実性データ86から、乖離度データ87を生成する。

【0057】

図３に示される一連の学習処理は、後述する図４に示す、主観値推定に関する乖離度の程度を評価する処理以前に少なくとも一度実行される。また、本処理は主観値正解データ91や生体計測データ82の増加に伴い一定期間毎に実施し、データ前処理モデル92、主観値推定モデル93、逸脱度評価モデル94、不確実性評価モデル95、乖離度評価モデル96の各モデルを再学習することができる。以上により、さらに評価精度の高い各モデルを生成することができる。

【0058】

また、本例ではデータ前処理モデル92、主観値推定モデル93、逸脱度評価モデル94、不確実性評価モデル95、乖離度評価モデル96の各モデルをそれぞれ１モデルずつ利用する場合について開示したが、典型的には各モデルを多数準備して併用することが望ましい。例えば、乖離度評価モデル96として、係数A、係数Bの組を多数用意しておき、逸脱度データ85と不確実性データ86を乖離度としてどの程度重視するかの信念について異なる多数の乖離度を評価できるようにしてよい。以上により、後述する乖離度による通知判定を行う際に、多様な観点から通知判定を実現できるようになる。

【0059】

図４は、生体計測データ処理装置1で行われる、主観値推定における乖離度評価処理の一例を示すフローチャートである。まず初めに、生体計測データ処理装置1の受付部51は、生体計測データ82と、生体計測データ82が取得された利用者の情報が格納された利用者データ81とを読み込むデータ読込処理S41を行う。

【0060】

続いて、前処理部52が、データ前処理モデル92を読み出し、読み込まれたデータ前処理モデル92を用いて利用者データ81と生体計測データ82から、データ前処理S42を行い、前処理済データ83を出力する。

【0061】

主観値推定処理S43では、主観値評価部53が、主観値推定モデル93を読み出し、読み込まれた主観値推定モデル93と前処理済データ83から、主観値推定データ84を生成する。逸脱度評価処理S44では、逸脱度評価部54が、逸脱度評価モデル94を読み出し、読み込まれた逸脱度評価モデル94と、生体計測データ82や前処理済データ83から、逸脱度データ85を生成する。合わせて、不確実性評価処理S45では、不確実性評価部55が、不確実性評価モデル95を読み出し、読み込まれた不確実性評価モデル95と前処理済データ83や主観値推定データ84から、不確実性データ86を生成する。なお、ここでは主観値推定処理S43および不確実性評価処理S45と、逸脱度評価処理S44とが並列に実施される例を示したが、必ずしも本構成に限定されない。例えば、主観値推定処理S43と逸脱度評価処理S44と不確実性評価処理S45とを順次実施してもよい。乖離度評価処理S46では、乖離度評価部56が、乖離度評価モデル96を読み出し、読み込まれた乖離度評価モデル96と逸脱度データ85と不確実性データ86から、乖離度データ87を生成する。

【0062】

以上により、生体計測データ82自体の平時からの逸脱を示す逸脱度データ85と、生体計測データ82に基づいて推定される主観値推定データ84の不確実性を示す不確実性データ86とに基づいて、利用者の状態を示す乖離度である乖離度データ87を生成することができる。これにより、利用者が普段とは異なる主観状態にあるか、といった主観状態に関する判定をおこなうための尺度を得ることができるという効果が得られる。

【0063】

図５Ａは、生体計測データ処理装置1の通知判定部57にて行われる、乖離度に基づく通知判定処理の一例を示すフローチャートである。通知判定部57は、データ読込処理S51において、利用者データ81と乖離度データ87を読み込む。その後、乖離度データ87のうち、判定済フラグが未済のものが存在する間、通知判定処理S52を行う。

【0064】

通知判定処理S52では、乖離度データ87に含まれる判定済フラグが未済のデータに関して、判定基準モデル97に基づく通知判定を行い、判定結果を判定結果データ88に出力する。また、通知判定が完了した乖離度データ87については、判定済フラグを済に更新する。

【0065】

なお、本例では判定基準モデル97を一種類利用する例を示したが、判定基準モデル97は多数用意しておいてよい。例えば、異なる乖離度評価モデル96により算出された乖離度データ87に対し、乖離度評価モデル96に適した複数の判定基準モデル97を用意することで、乖離度の算定基準を考慮した適切な通知判定処理を行うことができる。また、ある単一の乖離度評価モデル96から算出された乖離度データ87に対し、複数の判定基準モデル97を用意してもよい。例えば、利用者自身に対して通知するための通知基準を超過しているか判定する第１の判定基準モデルと、利用者を取りまとめる管理者に対して通知するための通知基準を超過しているか判定する第２の判定基準モデルとを設けることで、通知対象に応じて異なる基準で通知判定を行えるようになり、通知の受信者がとるべき行動に応じて通知すべき状況を判定可能になる。さらに、利用者データ81の特性に応じて判定基準モデル97を複数使い分ければ、生体計測データ82や主観値推定データ84には含まれない、例えば年齢等の情報を鑑みた通知判定が行えるようになる。

【0066】

図５Ｂは、生体計測データ処理装置1の通知出力部58にて行われる、判定結果データ88に基づく通知出力処理の一例を示すフローチャートである。通知出力部58は、データ読込処理S53において、判定結果データ88を読み込む。その後、判定結果データ88のうち、通知状況が未済となっている未通知データが存在する間、対象への通知処理を行う。

【0067】

まず、未通知データが存在する場合、詳細読込処理S54において、未通知の判定結果データ88に関連するデータの詳細を読み込む。本例では、詳細読込処理S54において、生体計測データ82と前処理済データ83と主観値推定データ84とを読み込む例を示す。これらの関連データを読み込むことで、関連データの情報を鑑みた通知を対象に実施することができる。

【0068】

その後、判定結果データ88の未通知データに関して通知処理S55を行う。通知処理S55では、入出力装置5により、ネットワーク9を介して、通知対象への通知が行われる。例えば、通知対象が利用者である場合は、判定結果データ88の利用者IDに該当する利用者端末7への通知処理S55が行われ、利用者端末7の通知報知装置15が、利用者に対して通知を発報する。このとき、利用者端末7としてスマートフォンを利用した場合は、スマートフォンのプッシュ通知や、利用者への通知用アプリケーションへのメッセージ等の形で通知を行うことができる。また、通知対象が管理者である場合は、判定結果データ88の利用者IDに該当する利用者を取りまとめる管理者に該当する管理者端末8へ通知処理S55が行われ、管理者端末8の通知報知装置33が、管理者に対して通知を発報する。この時、管理者端末8としてPCを利用した場合は、PCへの警告音の出力や、PCへのメール通知、管理者用アプリケーションへの通知表示等の形で通知を行うことができる。また、通知処理が完了した判定結果データ88については、通知状況フラグを済に更新する。

【0069】

以上により、乖離度を用いて利用者が普段とは異なる主観状態にあるかを鑑み、主観状態に基づく介入施策やデータ収集のための適切なタイミングで、対象に対する通知を実現することができる。

【0070】

図６は、生体計測データ処理装置1で行われる、通知出力に応じた対応結果の受信処理の一例を示すフローチャートである。受付部51は、通知処理を行った対象の端末からの返答を受信するための、対応結果受信処理S61を行う。以下では、利用者端末7からの返答を受信する例として、平時とは異なる感情の主観状態にあると想定されるタイミングを乖離度に基づき利用者へ通知した場合を示す。この場合、対応結果受信処理S61では、利用者端末7に対する利用者の応答に基づき生成された感情の主観状態を表す正解データを、対応結果データ89として受信する。また、対応結果データ89を受信すると、判定結果データ88の対応状況フラグを済に更新する。

【0071】

以上により、利用者が普段とは異なる主観状態にあるタイミングなど、介入施策やデータ収集のために適切なタイミングで実施された通知に対して、通知を受信した対象が取った行動の結果を得ることができる。例えば、本実施例の場合における、異なる感情の主観状態であると想定されるタイミングに関する通知に対し、その瞬間に対応する感情の正解データとして主観値正解データ91を取得すれば、日常生活中では稀にしか発生しない感情に関する正解データを効率的に取得することが可能になる。また、後述する実施例２の場合では、普段とは異なる疲労や気分といった心身の健康状態にあると想定されるタイミングに関する通知に対し、通知を利用者が確認したか否かを表すフラグ値や対処した内容、その時の実際の主観的な心身の健康状態を取得することにより、主観値推定の精度検証や介入効果評価に利用するための対応結果データ89を取得することが可能になる。

【0072】

図７Ａ，Ｂは、結果表示部59が、利用者端末7の入出力装置13のディスプレイに対して出力する通知出力画面の一例を示す図である。本例では、通知処理が利用者への通知用アプリケーションへのメッセージの形で実施される場合の一例を示す。

【0073】

図７Ａに示す表示画面1000は、乖離度閾値に基づく表示画面の一例である。本発明を実施しない場合、例えば通知用アプリケーションはSignal #1 1001のように、不定期に利用者に対して通知を行い（時間情報に基づく経験サンプリング）、ある瞬間に対応する感情の正解データの収集を試みる。しかし、日常生活中において、強い喜びや悲しみといった感情は頻繁には発生しないため、単純な不定期の通知では正解データを収集するのに長期間かかってしまうか、十分数の正解データを取得できないまま所定の期間が終わってしまう。

【0074】

これに対して、本実施例における乖離度を用いれば、利用者が普段とは異なる主観状態（感情状態）にあるタイミングをEvent #1 1002のような形で利用者端末7に通知し、感情状態の入力を促すことができる。本通知に基づく応答を、対応結果の受信処理において対応結果データ89として受信すれば、Signal #1 1001のような不定期通知に基づく感情の正解データである主観値正解データ91の取得に比較して高効率で、稀な感情状態に対応する主観値正解データ91を取得することができる、という効果が得られる。また、このときに、普段の乖離度と比較した通知時の乖離度1003をあわせて表示した通知を行うことで、対応結果データ89を生成するにあたって、利用者は通知内容を内省する材料が得られるという効果が得られる。

【0075】

図７Ｂに示す表示画面1010は、主観値推定モデル93を利用者毎に作成しておいた場合において、主観値推定結果を表示する表示画面の一例である。この場合、乖離度という抽象化された情報を利用者に対して提示するのではなく、生体計測データ82に基づき推定された主観値の感情状態が、平時の利用者本人にとってどれだけ乖離しているのか、存在しうる範囲を示した上でEvent #1 1012として表示する例である。例えば、ラッセルの円環モデルに基づく覚醒度（Arousal）と感情価（Valence）の二次元グラフ1013上に、その時の主観状態を分布範囲付きで示すことができる。

【0076】

以上のように、ある瞬間の状態がその利用者にとってどのようであったかという情報を参考にして、利用者は対応結果データ89をフィードバックすることにより、生体計測データ処理装置1は主観値正解データ91を収集することができる。

【0077】

図８は、結果表示部59が、管理者端末8の入出力装置のディスプレイに対して出力する通知出力画面の一例を示す図である。本例では、管理者が管理する一連の利用者群に対する通知状況を一覧表示して示すダッシュボード2000の一例を示す。

【0078】

ダッシュボード2000は、ある日付2001に関し利用者群に対して通知された通知を一覧表示・分析するための表示画面である。左上表2002には、通知とその通知に対する利用者の対応状況が一覧表示される。本表から特定の通知2003を選択すると、その通知対象の主観値推定データ84に対応する複数の乖離度判定結果が左下表2004に表示される。判定結果が通知対象と判定された行2005を選択すると、通知対象のデータに関連して、通知対象の利用者へ連絡を取ることが可能な連絡ボタン2006や、判定結果を受けて管理者が実施した、あるいは実施する候補の行動を表示するボタンが表示される。具体的には、内容を確認していない状態を表す未確認ボタン2007、確認はしたが利用者に対する行動を取っていない未対処ボタン2008、利用者に対する行動中であることを示す対処中ボタン2009、利用者に対する対応が完了した旨を示す対処済ボタン2010などを表示することができる。ボタン2007～2010により現在のステータスが表示され、管理者は対応を行う度に対応するボタンを押下することにより、ステータスを更新させることができる。

【0079】

ダッシュボード2000の右側には、左下表2004で選択した行2005に対応するデータの詳細が表示される。

【0080】

右上領域2020には、選択した行の一行2005に対応する、ある時点における主観値推定の乖離状況を複数の手段で示している。例えば、第１の連続感情強度2021では、主観値推定において感情価や覚醒度の区間推定を行っていた場合に、その一次元の信頼区間を示したものである。第２の連続感情強度2022では、同様の信頼区間について、二次元グラフとして表示した例である。複数感情確信度2023では、感情価や覚醒度に加えて、複数の基本感情を推定した場合に、各基本感情の度合いを確率値にて表示する例である。この場合であっても、各基本感情の推定確率の最小値や最大値から、感情の揺らぎ具合や推定の不確実性を管理者は確認可能である。以上により、ある一時点に関して、管理者は利用者の主観状態が平時と比較してどのように乖離しているかを視覚的に判断可能となる。

【0081】

右下領域2030には、選択した行の一行2005に対応する、ある時刻以前の、同一計測日における推定過程を加味した、主観値推定の乖離状況を複数の手段で示した例である。例えば、第１の感情遷移2031では、第１の連続感情強度2021における一次元の感情推定値に対して、その時系列変化および、本来予測される主観推定データが一次元的に表示される。さらに、第２の感情遷移2032では、第２の連続感情強度2022における主観値推定データ84の遷移過程の軌跡を二次元グラフ上に示している。以上により、日内での状態も加味して、平時との乖離を視覚的に把握することができる。

【0082】

図９Ａ～Ｃは、利用者端末7に対して表示される主観値推定結果の表示画面の一例を示す図である。管理者に対するダッシュボードを示した図８の例と同様に、利用者に対してもある時点における主観値推定の乖離状況と同様の内容（例えば第１の連続感情強度2021、第２の連続感情強度2022、複数感情確信度2023）を表示することができる。特に、主観値推定モデル93を利用者毎など複数種だけ準備しておいた場合においては、利用者本人向けの主観値推定モデル93に基づき推定された主観値推定データ84と、利用者本人以外の複数人の主観値推定モデル93により推定された主観値推定データ84とを用いることによって、ある時点の主観値推定データ84の状況が一般の他者とどれだけ異なっているものか、理解が容易になる。例えば、表示画面1020（図９Ａ）には第１の連続感情強度について、表示画面1030（図９Ｂ）には第２の連続感情強度について、表示画面1040（図９Ｃ）には複数感情確信度について、利用者の主観値推定データと一般の他者の主観値推定データとを対比可能に示している。これにより、利用者自身へ適合した推定結果であることを利用者に理解させることが出来、主観値推定データ84の推定内容に対する受容性の向上が期待される。

【0083】

次に、生体計測データ処理装置1で使用する各データの特徴的な構造について示す。

【0084】

図１０Ａは、生体計測データ処理装置1において保持される、利用者データ81のデータ構造の一例を示す図である。利用者データ81には典型的には、利用者ID 100、更新日101、年齢102、性別103、所属104、職種105などが格納される。この他に、例えば実施例３として後述する類似利用者分類処理を行う場合には、類似利用者カテゴリを示す類似分類106や、類似利用者分類処理を適用するか否かを判断する一指標となるこれまでの計測日数107が格納されてもよい。

【0085】

図１０Ｂは、生体計測データ処理装置1において保持される、主観値推定データ84のデータ構造の一例を示す図である。主観値推定データ84には典型的には、利用者ID 110、日時111、推定された主観値が格納される。例えば、図９Ａの第１の連続感情強度に対応する主観値推定データ84の場合、Valenceの強度値を-1から1までに正規化した値について、その分位点を格納しても良い。この場合、Valence推定値の中央値がV_500 112に、25%分位点、75%分位点、2.5%分位点、97.5%分位点がそれぞれV_250 113、V_750 114、V_025 115、V_975 116に格納される。なお、複数の主観値推定モデルを用いて主観値を推定している場合には、同じデータを用いても推測される主観値が異なることが生じ得る（図１０Ｂの第１行と第２行）。

【0086】

図１０Ｃは、生体計測データ処理装置1において保持される、乖離度データ87のデータ構造の一例を示す図である。乖離度データ87には典型的には、利用者ID 120、日時121、乖離度の算出に用いたモデル情報を示す乖離度評価モデル122、逸脱度124、不確実性125、乖離度126、判定済フラグを格納する判定済フラグ127などが格納される。この他に、例えば実施例３として後述する類似利用者分類処理を行う場合には、乖離度算出において類似利用者分類を利用したか否かを示す類似分類123を格納してもよい。

【0087】

図１０Ｄは、生体計測データ処理装置1において保持される、判定結果データ88のデータ構造の一例を示す図である。判定結果データ88には典型的には、利用者ID 130、日時131、乖離度評価モデル132、通知有無の判定基準となった判定基準モデル133、判定結果を格納する判定134、通知状況135、判定結果通知イベントを一意に特定するためのイベントID 136、通知に対する対応状況137が格納される。

【0088】

図１０Ｅは、生体計測データ処理装置1において保持される、対応結果データ89のデータ構造の一例を示す図である。対応結果データ89には典型的には、利用者ID 140、イベントID 141、通知の確認状況142、通知への対応状況143、回答日時144などが格納される。また、感情に関する正解データを収集する場合、利用者からの応答として感情価の正解データを格納する回答V 145や、覚醒度の正解データを格納する回答A 146を格納してもよい。

【0089】

図１０Ｆは、生体計測データ処理装置1において保持される、利用者特性データ90のデータ構造の一例を示す図である。利用者特性データ90は後述する実施例３にて使用される。利用者特性データ90には典型的には、利用者ID 150、日時151、特性名152が格納される。また、特性としてBig-Five PersonalityをNEO-PI-RやNEO-FFIにより測定した場合、Big-five personalityに対応する５種の特性のスコアを、特性1 153～特性5 157に格納してもよい。

【0090】

図１０Ｇは、生体計測データ処理装置1において保持される、主観値正解データ91のデータ構造の一例を示す図である。主観値正解データ91には典型的には、利用者ID 160、利用者が回答した日時を示す日時161、利用者が心身の主観状態を判断した期間の開始時162及び終了時163などが格納される。また、感情に関する正解データを収集する場合、利用者からの応答として感情価の正解データを格納する回答V 164を格納してもよい。

【0091】

以上のように、本実施例の生体計測データ処理装置1は、利用者の生体計測データ82を受け付ける受付部51と、生体計測データ82に基づいて、過去の生体計測データ82との逸脱度を評価する逸脱度評価部54と、生体計測データ82に基づいて、利用者の主観を示す主観値を推定した際の不確実性を評価する不確実性評価部55と、逸脱度および不確実性とに基づいて、利用者の普段の状態との乖離の具合を示す乖離度を評価する乖離度評価部56とを備える。さらに、通知判定部57において通知判定を行い、乖離度データ87が乖離度閾値を超過した場合には、対象に対して通知出力を行う。

【0092】

これにより、本実施例の生体計測データ処理装置1は、生体計測データ82自身の逸脱度に加え、生体計測データ82に基づいて推定される主観値の不確実性に基づいて、利用者の状態を示す乖離度を評価し、出力しているため、当該乖離度を利用して、主観状態を考慮しながら介入施策や正解データ収集のための通知などの対応を取ることが可能になるという効果が得られる。

【実施例0093】

以下に説明する相違点を除き、実施例２の生体計測データ処理装置1の各部は、実施例１の同一の符号を付された各部と同一の機能を有するため、重複する説明は省略する。

【0094】

実施例２は、推定対象の心身主観状態として、日常生活下におけるQoLやwellbeingといった自身の健康に関する主観的な気分を推定対象とし、利用者が普段とは異なる主観状態である、もしくは異なる主観状態に今後なると推定される際に、適切なタイミングで介入施策を実施する例である。実施例１において推定する日常生活下の自然感情がある時点の心身主観状態を切り取ったものとすれば、実施例２において推定する主観的な気分は、それらの蓄積あるいはゆらぎとして表れる、いわば、より高次の心身主観状態であるといえる。そこで、実施例２では、主観値推定モデル93を第１の主観値推定サブモデルと第２の主観値推定サブモデルとによる多段構成とし、第１の主観値推定サブモデルにより生体計測データ82から潜在変数として第１の主観値推定データを得て、第２の主観値推定サブモデルにより潜在変数である第１の主観値推定データを用いて最終的な第２の主観値推定データを得て、最終的に得られる第２の主観値推定データを主観値推定データ84とし、その乖離度に基づく通知判定を行う。第２の主観値推定データは複数の第１の主観値推定サブモデルにより推定される複数種類の第１の主観値推定データによって推定されるものであってもよい。このように、実施例２では、主観値推定モデル93を多段にすることでより高次の心身主観状態を推定し、その判定結果に基づき、利用者に働きかけを行うことを可能にする。

【0095】

図１１Ａ～Ｃは、利用者端末7に表示される主観値推定結果の表示画面の一例を示す図である。本実施例では、気分の落ち込みが予測された場合など、普段とは異なる主観状態に今後なると推定・予測された場合に、予測に基づく適切な介入通知を利用者に対して実施する。以下では主観値推定処理において、生体計測データ82を時分割し、時分割したそれぞれの生体計測データ82から感情状態を推定し、その感情状態の揺らぎから気分を推定した場合の例を示す。

【0096】

例えば、図１１Ａに示す気分予測指標表示画面1100は、今後の気分の推定のための説明変数（第１の主観値推定データ）として日常生活下での自然感情を利用している場合に、気分推定の根拠について利用者について示した例である。日常生活下での自然感情は実施例１に示した主観値推定モデルと同様に第１の主観値推定サブモデルにより推定できる。この例では、まず、時分割したそれぞれの生体計測データ82から推定された各々の感情状態を点1101により二次元グラフ上にプロットする。この二次元プロットに重畳して、各象限における推定感情状態の出現頻度が、レーダーチャート1102にて３段階に示されている。この推定感情状態の出現頻度分布が、ある時間帯における感情経験の多様性（情動多様性）を表しており、この出現頻度分布に基づき気分が推定される。

【0097】

本例では、点群およびレーダーチャートが第一象限に偏っており、感情経験の多様性が低いことを示唆している。このような状況が検出された場合には、感情の浮き沈みが単調になっているようなので、状況を改善するための施策の例がアドバイス1103として通知されている。さらに、通知を受け取った利用者が、通知に対して何らかの対処を行ったことを示す対処済ボタン1104、未対処であることを示す未対処ボタン1105や、対処を行った場合にはその対処内容を対応結果データ89として生体計測データ処理装置1に送信するためのコメント欄1106を設けてもよい。

【0098】

図１１Ｂに示す第１の気分予測表示画面1200は、主観値推定データを用いて推定された利用者の今後の気分を推定し、その落ち込みが予測された場合に、利用者へ通知する表示画面の一例である。この場合、これまでの気分推移の推定系列1201に加え、今後の変化予測1203と、ある介入策を講じた場合における気分の変化予測1204とが表示される。また、利用者への通知として、気分の落ち込みを防止するために実施すべきアドバイス1205が通知される。さらに、通知を受け取った利用者が、通知に対して何らかの対処を行ったことを示す対処済ボタン1206、未対処であることを示す未対処ボタン1207や、対処を行った場合にはその対処内容を対応結果データ89として生体計測データ処理装置1に送信するためのコメント欄1208を設けてもよい。

【0099】

図１１Ｃに示す第２の気分予測表示画面1300は、主観値推定データを用いて推定された利用者の今後の気分が平常程度の変化であると推定された場合に、利用者へ表示する表示画面の一例を示している。平時との乖離が検出されない場合であっても、利用者は現在や将来の主観状態の推定状況を確認するために、画面にて推定結果を確認することができる。この場合、平時と変わらず良い状態を保てているため、コメント欄1301には、現状維持を勧める旨が表示されている。

【0100】

このように、本実施例の生体計測データ処理装置1は、１または複数の主観状態の変化を原因として、最終的な主観状態に平時と異なる変化が発生する事例に対しても、主観状態を考慮しながら介入施策や正解データ収集のための通知などの対応を取ることが実現できるという効果が得られる。