IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ JSR株式会社の特許一覧

特許7583373生体情報分析装置、生体情報分析システム、及び生体情報分析プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】生体情報分析装置、生体情報分析システム、及び生体情報分析プログラム
(51)【国際特許分類】
   A61B 5/16 20060101AFI20241107BHJP
【FI】
A61B5/16 100
【請求項の数】 11
(21)【出願番号】P 2021527494
(86)(22)【出願日】2020-05-22
(86)【国際出願番号】 JP2020020391
(87)【国際公開番号】W WO2020255630
(87)【国際公開日】2020-12-24
【審査請求日】2022-12-08
(31)【優先権主張番号】P 2019111884
(32)【優先日】2019-06-17
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004178
【氏名又は名称】JSR株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】高橋 翔 アドナース
(72)【発明者】
【氏名】藤岡 昌泰
(72)【発明者】
【氏名】沢田 克敏
(72)【発明者】
【氏名】青木 俊
(72)【発明者】
【氏名】小林 伸敏
【審査官】▲高▼ 芳徳
(56)【参考文献】
【文献】特開2019-030389(JP,A)
【文献】特開2019-030557(JP,A)
【文献】特開2018-139087(JP,A)
【文献】特開2019-175108(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/06 - 5/22
G16H 10/00 - 80/00
(57)【特許請求の範囲】
【請求項1】
第1対象者の体表面に貼り付け可能なウェアラブルセンサによって収集されたデータに基づいて、前記第1対象者の交感神経データ、副交感神経データ、及び前記交感神経データ及び前記副交感神経データが統合されたトータルパワーデータを含む自律神経データと、前記第1対象者の身体の動作の強度を示す身体動作データとを含む生体情報を取得するとともに、前記第1対象者の各行動を示す行動データと各行動が行われた時間を示す時間データとを含む行動記録情報、前記第1対象者の精神状態に関する精神状態回答データ、及び前記身体動作データに基づく睡眠の開始時刻及び終了時刻を取得し、前記睡眠の開始時刻及び終了時刻に基づいて前記行動記録情報を補正する取得部と、
前記生体情報及び補正後の前記行動記録情報に基づいて、時系列の前記自律神経データのうち各行動が行われた期間に対応する部分データを特定し、特定した部分データの統計値を前記第1対象者の各行動における精神状態情報として算出するとともに、前記精神状態回答データに基づいて前記第1対象者の精神状態スコアを算出する算出部と、
各行動における前記精神状態情報に基づいて、各行動における精神状態を評価したコメント及び画像の少なくとも一方を生成する生成部と、
特定の精神的傾向を有する複数の第2対象者について、前記第2対象者の前記生体情報と、前記第2対象者の前記行動記録情報と、前記第2対象者により回答された質問回答情報とを用いて学習された学習済みモデルに対して、前記第1対象者の前記生体情報及び前記行動記録情報を入力することで、前記第1対象者の精神状態が判定された精神状態判定結果を生成する判定部と、
前記第1対象者について、各行動を示す行動データと、各行動が行われた期間と、各行動における前記精神状態情報と、各行動における精神状態を評価したコメント及び画像の少なくとも一方とを関連づけた情報、前記精神状態スコア、及び前記精神状態判定結果を出力する出力制御部と
を備える、生体情報分析装置。
【請求項2】
前記学習済みモデルは、72時間分以上の前記第2対象者の前記生体情報と、72時間分以上の前記第2対象者の前記行動記録情報とを用いて学習された学習済みモデルである、
請求項1に記載の生体情報分析装置。
【請求項3】
前記第2対象者の前記生体情報及び前記第2対象者の前記行動記録情報は、平日及び休日のデータを含む、
請求項2に記載の生体情報分析装置。
【請求項4】
前記第2対象者の前記生体情報及び前記第2対象者の前記行動記録情報は、24時間以上の連続的データを含む、
請求項2に記載の生体情報分析装置。
【請求項5】
前記第2対象者の前記生体情報及び前記第2対象者の前記行動記録情報は、144時間以上の連続的データを含む、
請求項2に記載の生体情報分析装置。
【請求項6】
前記第2対象者の前記生体情報及び前記第2対象者の前記行動記録情報は、168時間以上の連続的データを含む、
請求項2に記載の生体情報分析装置。
【請求項7】
前記生成部は、
前記第1対象者の前記トータルパワーデータに応じて、前記コメント及び前記画像の少なくとも一方の発生条件を調整し、
調整後の発生条件を用いて、前記コメント及び前記画像の少なくとも一方を生成する、
請求項1~6のいずれか一つに記載の生体情報分析装置。
【請求項8】
前記取得部は、前記第1対象者に対して行われたセッションの評価に関するセッション評価回答データを取得し、
前記算出部は、前記セッション評価回答データに基づいて、前記セッションのセッション評価スコアを算出する、
請求項1~7のいずれか一つに記載の生体情報分析装置。
【請求項9】
前記取得部は、前記第1対象者について、144時間分以上の前記生体情報及び前記行動記録情報を取得し、
前記算出部は、前記第1対象者の前記144時間分以上の前記生体情報及び前記行動記録情報に基づいて、前記精神状態情報を算出する、
請求項1~8のいずれか一つに記載の生体情報分析装置。
【請求項10】
サーバ装置と、表示用端末とを含む生体情報分析システムであって、
前記サーバ装置は、
第1対象者の体表面に貼り付け可能なウェアラブルセンサによって収集されたデータに基づいて、前記第1対象者の交感神経データ、副交感神経データ、及び前記交感神経データ及び前記副交感神経データが統合されたトータルパワーデータを含む自律神経データと、前記第1対象者の身体の動作の強度を示す身体動作データとを含む生体情報を取得するとともに、前記第1対象者の各行動を示す行動データと各行動が行われた時間を示す時間データとを含む行動記録情報、前記第1対象者の精神状態に関する精神状態回答データ、及び前記身体動作データに基づく睡眠の開始時刻及び終了時刻を取得し、前記睡眠の開始時刻及び終了時刻に基づいて前記行動記録情報を補正する取得部と、
前記生体情報及び補正後の前記行動記録情報に基づいて、時系列の前記自律神経データのうち各行動が行われた期間に対応する部分データを特定し、特定した部分データの統計値を前記第1対象者の各行動における精神状態情報として算出するとともに、前記精神状態回答データに基づいて前記第1対象者の精神状態スコアを算出する算出部と、
各行動における前記精神状態情報に基づいて、各行動における精神状態を評価したコメント及び画像の少なくとも一方を生成する生成部と、
特定の精神的傾向を有する複数の第2対象者について、前記第2対象者の前記生体情報と、前記第2対象者の前記行動記録情報と、前記第2対象者により回答された質問回答情報とを用いて学習された学習済みモデルに対して、前記第1対象者の前記生体情報及び前記行動記録情報を入力することで、前記第1対象者の精神状態が判定された精神状態判定結果を生成する判定部と、
前記第1対象者について、各行動を示す行動データと、各行動が行われた期間と、各行動における前記精神状態情報と、各行動における精神状態を評価したコメント及び画像の少なくとも一方とを関連づけた情報、前記精神状態スコア、及び前記精神状態判定結果を前記表示用端末に送信する出力制御部と
を備え、
前記表示用端末は、
前記サーバ装置から送信された前記第1対象者の各行動を示す行動データと、各行動が行われた期間と、各行動における前記精神状態情報と、各行動における精神状態を評価したコメント及び画像の少なくとも一方とを関連づけた情報、前記精神状態スコア、及び前記精神状態判定結果を受信し、表示させる表示制御部
を備える、生体情報分析システム。
【請求項11】
第1対象者の体表面に貼り付け可能なウェアラブルセンサによって収集されたデータに基づいて、前記第1対象者の交感神経データ、副交感神経データ、及び前記交感神経データ及び前記副交感神経データが統合されたトータルパワーデータを含む自律神経データと、前記第1対象者の身体の動作の強度を示す身体動作データとを含む生体情報を取得するとともに、前記第1対象者の各行動を示す行動データと各行動が行われた時間を示す時間データとを含む行動記録情報、前記第1対象者の精神状態に関する精神状態回答データ、及び前記身体動作データに基づく睡眠の開始時刻及び終了時刻を取得し、前記睡眠の開始時刻及び終了時刻に基づいて前記行動記録情報を補正し、
前記生体情報及び補正後の前記行動記録情報に基づいて、時系列の前記自律神経データのうち各行動が行われた期間に対応する部分データを特定し、特定した部分データの統計値を前記第1対象者の各行動における精神状態情報として算出するとともに、前記精神状態回答データに基づいて前記第1対象者の精神状態スコアを算出し、
各行動における前記精神状態情報に基づいて、各行動における精神状態を評価したコメント及び画像の少なくとも一方を生成し、
特定の精神的傾向を有する複数の第2対象者について、前記第2対象者の前記生体情報と、前記第2対象者の前記行動記録情報と、前記第2対象者により回答された質問回答情報とを用いて学習された学習済みモデルに対して、前記第1対象者の前記生体情報及び前記行動記録情報を入力することで、前記第1対象者の精神状態が判定された精神状態判定結果を生成し、
前記第1対象者について、各行動を示す行動データと、各行動が行われた期間と、各行動における前記精神状態情報と、各行動における精神状態を評価したコメント及び画像の少なくとも一方とを関連づけた情報、前記精神状態スコア、及び前記精神状態判定結果を出力する
各処理をコンピュータに実行させる、生体情報分析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、生体情報分析装置、生体情報分析システム、生体情報分析プログラム、及び生体情報分析方法に関する。
【背景技術】
【0002】
心理カウンセリングの現場では、対象者の精神状態を把握することが求められている。このため、例えば、カウンセラーによる対象者へのセッション(面談)が行われる度に、精神状態に関する質問票に対して対象者に回答してもらい、その回答結果を分析することで対象者の精神状態を推測することが行われている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-153244号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、上記のような現場等では、近年、カウンセリング数の増加、およびカウンセリング対象者の属性の多様化等の理由により、より正確な精神状態を把握することが求められる。
【0005】
本発明は、対象者の精神状態を正確に把握することができる生体情報分析装置、生体情報分析システム、生体情報分析プログラム、及び生体情報分析方法を提供することである。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明は、対象者の自律神経データを含む生体情報と、前記対象者の複数の行動が記録された行動記録情報とを取得する取得部と、前記生体情報及び前記行動記録情報に基づいて、前記対象者の各行動における精神状態情報を算出する算出部とを備える、生体情報分析装置である。
【0007】
また、本発明は、サーバ装置と、表示用端末とを含む生体情報分析システムであって、前記サーバ装置は、対象者の自律神経データを含む生体情報と、前記対象者の複数の行動が記録された行動記録情報とを取得する取得部と、前記生体情報及び前記行動記録情報に基づいて、前記対象者の各行動における精神状態情報を算出する算出部と、前記対象者の各行動における精神状態情報を前記表示用端末に送信する出力制御部とを備え、前記表示用端末は、前記サーバ装置から送信された前記対象者の各行動における精神状態情報を受信し、受信した前記対象者の各行動における精神状態情報を表示させる表示制御部を備える、生体情報分析システムである。
【0008】
また、本発明は、対象者の自律神経データを含む生体情報と、前記対象者の複数の行動が記録された行動記録情報とを取得し、前記生体情報及び前記行動記録情報に基づいて、前記対象者の各行動における精神状態情報を算出する各処理をコンピュータに実行させる、生体情報分析プログラムである。
【0009】
また、本発明は、対象者の自律神経データを含む生体情報と、前記対象者の複数の行動が記録された行動記録情報とを取得し、前記生体情報及び前記行動記録情報に基づいて、前記対象者の各行動における精神状態情報を算出することを含む、生体情報分析方法である。
【発明の効果】
【0010】
本発明によれば、対象者の精神状態を正確に把握することができる生体情報分析装置、生体情報分析システム、生体情報分析プログラム、及び生体情報分析方法を提供することができる。
【図面の簡単な説明】
【0011】
図1図1は、実施形態に係る情報処理装置の概略構成の一例を示す図である。
図2図2は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。
図3図3は、実施形態に係る情報処理装置の動作例を示すフローチャートである。
図4図4は、取得部の処理を説明するための図である。
図5図5は、取得部の処理を説明するための図である。
図6図6は、取得部の処理を説明するための図である。
図7図7は、取得部の処理を説明するための図である。
図8図8は、取得部の処理を説明するための図である。
図9図9は、取得部の処理を説明するための図である。
図10図10は、算出部の処理を説明するための図である。
図11図11は、生成部の処理を説明するための図である。
図12図12は、生成部の処理を説明するための図である。
図13図13は、生成部の処理を説明するための図である。
図14図14は、出力制御部の処理を説明するための図である。
図15図15は、出力制御部の処理を説明するための図である。
図16図16は、出力制御部の処理を説明するための図である。
図17図17は、出力制御部の処理を説明するための図である。
図18図18は、出力制御部の処理を説明するための図である。
図19図19は、出力制御部の処理を説明するための図である。
図20図20は、第2の実施形態に係る情報処理装置の概略構成の一例を示す図である。
図21図21は、第2の実施形態に係る情報処理装置により行われる学習時及び運用時の処理を示す図である。
図22図22は、第2の実施形態に係る情報処理装置の動作例を示すフローチャートである。
図23図23は、実施形態に係るシステムの概略構成の一例を示す図である。
図24図24は、各実施例及び比較例に係る学習済みモデルについて説明するための図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して、実施形態に係る生体情報分析装置、生体情報分析システム、生体情報分析プログラム、及び生体情報分析方法を説明する。なお、以下の各実施形態は、以下の説明に限定されるものではない。また、各実施形態は、処理内容に矛盾が生じない範囲で他の実施形態や従来技術との組み合わせが可能である。
【0013】
なお、以下では、本実施形態が心理カウンセリングに適用される場合を説明する。つまり、心理カウンセリングを行う者(例えば、カウンセラー、医師など)が、心理カウンセリングにかかる対象者の精神状態を把握するために、本実施形態に係る情報処理装置が利用される場合を説明する。なお、本実施形態は、心理カウンセリングに限らず、対象者の精神状態を把握するために様々な場面で適用可能である。
【0014】
(第1の実施形態)
図1は、実施形態に係る情報処理装置の概略構成の一例を示す図である。図1に示すように、実施形態に係る情報処理装置20は、センサ11及び携帯端末12とLAN(Local Area Network)やWAN(Wide Area Network)等のネットワークを介して直接的又は間接的に相互に通信可能な状態となっている。なお、情報処理装置20は、生体情報分析装置の一例である。
【0015】
なお、センサ11及び携帯端末12は、情報処理装置20に常時接続されていなくても良い。例えば、対象者へのセッションが行われる際に、各種の情報のやり取りを行うために接続されれば十分である。また、外部記録媒体などを介して情報のやり取りを行う場合には、センサ11及び携帯端末12は、情報処理装置20に接続されていなくても良い。
【0016】
センサ11は、対象者に装着されるセンサデバイスである。例えば、センサ11は、複数のセンサ機能を備えたマルチセンサデバイスである。具体的には、センサ11は、心電計、光学式脈波計、体動計、及びサーミスタの各機能を備える。心電計は、時系列の心電波形データを計測する。また、光学式脈波計は、時系列の脈波データを計測する。また、体動計は、時系列の加速度データを計測する。また、サーミスタは、時系列の温度データを計測する。センサ11は、計測した各種の計測データを、計測開始時刻と対応づけて装置内部のメモリに記録する。なお、心電計、光学式脈波計、体動計、及びサーミスタについては、公知の技術を適宜選択して適用可能である。
【0017】
ここで、センサ11は、基本的には対象者に常時装着されるものである。対象者は、セッションが行われる際にセンサ11を取り外し、取り外したセンサ11を情報処理装置20の操作者(代表的には、カウンセラー又は医師)に渡す。情報処理装置20の操作者は、対象者から受け取ったセンサ11から、前回のセッション以降に記録された計測データを情報処理装置20へ転送する。なお、計測データから生体情報を取得する処理の詳細は、後述する。
【0018】
なお、センサ11は、必ずしもマルチセンサデバイスに限定されるものではなく、少なくとも心電計の機能を備えていれば良い。また、センサ11は、必ずしも常時装着に限定されるものではなく、後述の生体情報分析処理に影響の無い範囲で取り外されても良い。また、センサ11に記録された計測データの転送タイミングは、必ずしもセッションの際に限定されるものではなく、例えば、ネットワーク経由で定期的(例えば、一日一回など)に行われても良い。
【0019】
携帯端末12は、例えば、対象者が所持するスマートフォンであり、対象者の行動が記録された行動記録情報を収集するための記録用アプリケーションが導入(インストール)される。行動記録情報は、自動的、又は、対象者による手動で携帯端末12の装置内部のメモリに記録される。携帯端末12に記録された行動記録情報は、任意のタイミングで情報処理装置20へ転送される。なお、行動記録情報を取得する処理の詳細は、後述する。
【0020】
なお、携帯端末12は、必ずしもスマートフォンに限定されるものではなく、例えば、タブレットやパーソナルコンピュータなど、行動記録情報を収集するためのアプリケーションが導入可能な情報処理装置であれば良い。ただし、行動記録情報を収集する性質上、対象者が日頃から持ち運び可能な装置(モバイル端末)であるのが好適である。
【0021】
情報処理装置20は、例えば、パーソナルコンピュータやワークステーション等のコンピュータである。情報処理装置20は、センサ11及び携帯端末12により取得された情報に基づいて、対象者の精神状態を示す精神状態情報を算出する。情報処理装置20は、取得部201、算出部202、生成部203、及び出力制御部204を備える。なお、情報処理装置20が有する機能は、取得部201、算出部202、生成部203、及び出力制御部204に限られるものではない。また、取得部201、算出部202、生成部203、及び出力制御部204については後述する。
【0022】
ここで、図2を用いて、情報処理装置20のハードウェア構成について説明する。図2は、実施形態に係る情報処理装置20のハードウェア構成の一例を示す図である。図2に示すように、情報処理装置20は、CPU(Central Processing Unit)21と、ROM(Read Only Memory)22と、RAM(Random Access Memory)23と、補助記憶装置24と、入力装置25と、表示装置26と、外部I/F(Interface)27とを備える。
【0023】
CPU21は、プログラムを実行することにより、情報処理装置20の動作を統括的に制御し、情報処理装置20が有する各種の機能を実現するプロセッサ(処理回路)である。情報処理装置20が有する各種の機能については後述する。
【0024】
ROM22は、不揮発性のメモリであり、情報処理装置20を起動させるためのプログラムを含む各種データ(情報処理装置20の製造段階で書き込まれる情報)を記憶する。RAM23は、CPU21の作業領域を有する揮発性のメモリである。補助記憶装置24は、CPU21が実行するプログラム等の各種データを記憶する。補助記憶装置24は、例えばHDD(Hard Disc Drive)、SSD(Solid State Drive)等で構成される。
【0025】
入力装置25は、情報処理装置20を使用する操作者が各種の操作を行うためのデバイスである。入力装置25は、例えばマウス、キーボード、タッチパネル又はハードウェアキーで構成される。なお、操作者は、例えば、医師等の医療関係者等に対応する。
【0026】
表示装置26は、各種情報を表示する。例えば、表示装置26は、画像データやモデルデータ、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、医用画像等を表示する。表示装置26は、例えば液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ又はブラウン管ディスプレイで構成される。なお、例えばタッチパネルのような形態で、入力装置25と表示装置26とが一体に構成されても良い。
【0027】
外部I/F27は、センサ11や携帯端末12等の外部装置と接続(通信)するためのインタフェースである。
【0028】
図3を用いて、情報処理装置20が対象者の精神状態情報を算出する処理(生体情報分析処理)について説明する。図3は、実施形態に係る情報処理装置20の動作例を示すフローチャートである。図3の説明では、図4図19を参照しつつ説明する。なお、図3に示す生体情報分析処理は、任意のタイミングで実行可能であるが、対象者に対するセッションが行われる毎に実行されるのが好適である。
【0029】
図3に示すように、取得部201は、対象者の生体情報を取得する(ステップS101)。例えば、取得部201は、センサ11によって収集された各種の計測データに基づいて対象者の生体情報を生成することで、対象者の生体情報を取得する。
【0030】
ここで、生体情報は、例えば、自律神経データ、トータルパワーデータ、身体動作データ、体温データ、脈拍データ等を含む情報である。自律神経データは、自律神経の活動指標の時系列情報であり、交感神経データ、副交感神経データ、及びトータルパワーデータを含む。交感神経データは、交感神経の活動指標(Sympathetic Nervous System:SNSレベル)の時系列情報である。副交感神経データは、副交感神経の活動指標(ParaSympathetic Nervous System:PSNSレベル)の時系列情報である。トータルパワーデータは、交感神経データ及び副交感神経データが統合されたデータであり、例えば、交感神経データ及び副交感神経データの和に対応する。身体動作データは、身体の動作の強度を示す時系列情報である。体温データは、体表面(センサ11の装着部位)における体温の時系列情報である。脈拍データは、脈拍の時系列情報である。
【0031】
図4及び図5を用いて、対象者の生体情報を取得する処理の一例を説明する。図4及び図5は、取得部201の処理を説明するための図である。図4には、センサ11によって計測される心電波形データ(心電図)の一例を示す。また、図5には、取得部201によって生成される自律神経データの一例を示す。
【0032】
例えば、取得部201は、時系列の心電波形を示す心電波形データから自律神経データを生成することで、自律神経データを取得する。具体的には、取得部201は、図4に示す心電波形データからR波の位置を検出し、検出したR波の間隔(R-R interval:RRI)を経時的にプロットした心拍間隔変動時系列(RRI時系列)を生成する。そして、取得部201は、RRI時系列からパワースペクトルを計算し、所定の周波数領域のパワーを積算する。一例としては、取得部201は、低周波数帯域(0.05Hz~0.15Hz)のパワーの積算値をSNSレベルとして算出し(図5の上段)、高周波数帯域(0.15Hz~0.40Hz)のパワーの積算値をPSNSレベルとして算出する(図5の下段)。一般的に、ストレス状態では、SNSレベルが優位となり、リラックス状態では、PSNSレベルが優位となることが知られている。このように、取得部201は、交感神経データ及び副交感神経データをそれぞれ生成する。
【0033】
また、取得部201は、交感神経データ及び副交感神経データに基づいて、トータルパワーデータを取得する。例えば、取得部201は、各時刻に対応するSNSレベルとPSNSレベルとを加算することで、トータルパワーデータを取得する。
【0034】
このように、取得部201は、センサ11によって収集された各種の計測データに基づいて、対象者の生体情報を取得する。なお、上述した交感神経データ、副交感神経データ、及びトータルパワーデータの取得方法はあくまで一例であり、上記の説明に限定されるものではない。例えば、交感神経データ、副交感神経データ、及びトータルパワーデータの取得方法としては、公知の技術を適宜選択して適用可能である。
【0035】
また、取得部201は、上記のデータ以外にも、センサ11によって収集された各種の計測データに基づいて取得可能である。例えば、取得部201は、心電波形データから心拍数や呼吸率の時系列データを取得可能である。また、取得部201は、脈波データから経皮的動脈血酸素飽和度(SpO2)や脈拍の時系列データを取得可能である。また、取得部201は、加速度データから身体動作データを取得可能である。また、取得部201は、温度データから体温データを取得可能である。これらのデータの取得方法としては、公知の技術を適宜選択して適用可能である。
【0036】
続いて、取得部201は、対象者の行動記録情報を取得する(ステップS102)。例えば、取得部201は、対象者の携帯端末12から行動記録情報を取得する。ここで、行動記録情報は、各行動の内容を示す行動データと、各行動が行われた時間を示す時間データと、各行動が行われた場所を示す場所データと、服薬の履歴を示す服薬履歴データと、各行動が行われた時の気分の履歴を示す気分履歴データとを含む。また、行動データは、段階的な分類情報によって表される。
【0037】
図6及び図7を用いて、対象者の行動記録情報を取得する処理の一例を説明する。図6及び図7は、取得部201の処理を説明するための図である。図6には、携帯端末12にて記録される行動記録情報の一例を示す。また、図7には、行動データの分類の一例を示す。
【0038】
図6に示すように、携帯端末12は、行動データ、時間データ、場所データ、服薬履歴データ、及び気分履歴データを含む行動記録情報を収集する。例えば、図6に示す行動記録情報において、2番目のレコードには、行動データ「朝食 食事」、時間データ「1時間15分 7:00」、場所データ「自宅」、服薬履歴データ「薬名:AAA 服薬時刻 7:40」、及び気分履歴データ「表情マーク(笑顔)」が対応づけられている。つまり、2番目のレコードは、対象者が、7:00から1時間15分間、自宅で朝食を摂っており、そのとき対象者は気分が良かったことを表す。携帯端末12は、他のレコードについても同様に、行動データ、時間データ、場所データ、服薬履歴データ、及び気分履歴データを含む行動記録情報を収集する。
【0039】
なお、行動データは、図7に示すように、段階的な分類情報によって表されるのが好適である。例えば、行動データは、大分類、中分類、及び小分類に分けられる。一例としては、大分類「仕事」には、中分類「会議」と「デスクワーク」とが含まれる。また、中分類「デスクワーク」には、小分類「報告資料作成」と「書類整理」とが含まれる。なお、行動データの分類情報は予め定義されているが、対象者が分類情報を追加、削除、編集できるのが好適である。
【0040】
ここで、行動データ、時間データ、及び場所データは、予定表に基づいて、携帯端末12によって自動入力される。例えば、携帯端末12は、携帯端末12に導入されたスケジュール用アプリケーションから対象者のスケジュール情報を取得する。このスケジュール情報には、対象者が予定している行動、日時、及び場所などの情報が含まれている。そこで、携帯端末12は、スケジュール情報から行動データ、時間データ、及び場所データを抽出し、抽出した情報を行動記録情報として記録する。携帯端末12によって自動的に記録された行動データ、時間データ、及び場所データは、手動で修正可能である。
【0041】
また、場所データは、携帯端末12が備えるGPS(Global Positioning System)機能によって取得される座標情報に基づいて、自動的に修正されてもよい。この場合、各場所データと、その場所のGPS機能上の座標情報とが予め対応づけられて記録用アプリケーションに登録されている。そして、携帯端末12は、実際にGPS機能によって取得された座標情報に対応する場所データと、スケジュール情報に基づく場所データとが相違する場合には、スケジュール情報に基づく場所データを破棄する。なお、座標情報が移動している場合には、場所データ及び行動データとして「移動」が入力される。
【0042】
また、服薬履歴データ及び気分履歴データは、手動で入力される。例えば、対象者は、服薬の度に記録用アプリケーションを起動し、服薬した薬名と服薬時刻とを入力する。また、対象者は、それぞれの行動が完了した後に、その行動を行っていた時の気分に対応する気分履歴データを選択する。なお、服薬履歴データ及び気分履歴データについても、手動で修正可能である。なお、気分履歴データについては、表情マークに限らず、「眠い」「リラックスしている」などの気分を表すテキスト情報と、その程度を表す数値情報によって表されても良い。
【0043】
このように、携帯端末12は、対象者の行動記録情報を収集する。そして、携帯端末12は、収集した行動記録情報を情報処理装置20へ転送する。なお、行動記録情報の転送タイミングは、任意に設定可能である。例えば、携帯端末12は、定期的に行動記録情報を転送しても良いし、対象者又は情報処理装置20の操作者の要求に応じて転送しても良い。これにより、取得部201は、携帯端末12から対象者の行動記録情報を取得する。
【0044】
なお、対象者の行動記録情報は、センサ11から取得した身体動作データに基づいて補正することができる。例えば、取得部201は、身体動作データにおける身体の動作の強度に基づいて、対象者の睡眠の開始時刻及び終了時刻を取得する。身体動作データに基づく睡眠の開始時刻及び終了時刻が、行動記録情報における睡眠の開始時刻及び終了時刻と相違していた場合には、行動記録情報における睡眠の開始時刻及び終了時刻を破棄して身体動作データに基づく睡眠の開始時刻及び終了時刻で上書きすることができる。
【0045】
また、取得部201は、対象者の質問回答情報を取得する(ステップS103)。例えば、取得部201は、質問回答情報として、対象者の精神状態に関する精神状態回答データ、及び、対象者に対して行われたセッションの評価に関するセッション評価回答データを取得する。
【0046】
図8及び図9を用いて、精神状態回答データ及びセッション評価回答データの一例を説明する。図8及び図9は、取得部201の処理を説明するための図である。図8には、精神状態回答データの一例を示す。図9には、セッション評価回答データの一例を示す。
【0047】
例えば、情報処理装置20の操作者は、セッションが行われる度に、精神状態回答データ(図8)及びセッション評価回答データ(図9)の各項目に対応する質問票を対象者に配布する。そして、操作者は、対象者による回答が記入された質問票を受け取ると、受け取った質問票に記入された回答(質問回答情報)を情報処理装置20に入力する。質問回答情報の入力は、カメラ等でスキャンしたデータに対する画像認識によって行っても良いし、操作者が手動で入力しても良い。この結果、取得部201は、精神状態回答データ及びセッション評価回答データを含む質問回答情報を取得する。
【0048】
そして、算出部202は、生体情報、行動記録情報、及び質問回答情報に基づいて、精神状態情報を算出する(ステップS104)。例えば、算出部202は、時系列の自律神経データのうち、各行動が行われた期間に対応する部分データを特定し、特定した部分データの統計値を、精神状態情報として算出する。
【0049】
図10を用いて、精神状態情報の一例を説明する。図10は、算出部202の処理を説明するための図である。なお、図10の「XXX」には、算出部202によって算出された精神状態情報を示す数値がそれぞれ入力される。
【0050】
図10に示すように、算出部202は、取得部201によって取得された各種の情報に基づいて、各行動における精神状態情報を算出する。ここで、精神状態情報は、例えば、各行動における交感神経データ、副交感神経データ、及びトータルパワーデータの代表値である。
【0051】
例えば、算出部202は、センサ11による計測開始時刻と、行動記録情報に含まれる時間データとを照合することで、生体情報の時系列と行動記録情報の時系列とを対応づける。そして、算出部202は、時系列の自律神経データのうち、各行動が行われた期間に対応する部分データを特定する。具体的には、算出部202は、時系列の交感神経データのうち、行動データ「睡眠」が行われた期間「24:00~7:00」に対応する期間の交感神経データを特定する。そして、算出部202は、特定した期間の交感神経データの平均値を、図10の精神状態情報として算出する。なお、算出部202は、副交感神経データ及びトータルパワーデータについても交感神経データと同様に算出する。
【0052】
このように、算出部202は、生体情報及び行動記録情報に基づいて、各行動における精神状態情報を算出する。なお、上記の説明では、各行動における交感神経データの代表値として「平均値」が算出される場合を説明したが、これに限らず、ピーク値、中央値、標準偏差などの任意の統計値が算出可能である。
【0053】
また、算出部202は、精神状態回答データに基づいて、対象者の精神状態スコアを算出する。例えば、算出部202は、精神状態回答データに含まれる各項目に対するスコアを任意の関数に入力することで、対象者の精神状態に関する精神状態スコアを算出する。
【0054】
また、算出部202は、セッション評価回答データに基づいて、セッションのセッション評価スコアを算出する。例えば、算出部202は、セッション評価回答データに含まれる各項目に対するスコアを任意の関数に入力することで、セッションの評価に関するセッション評価スコアを算出する。
【0055】
なお、精神状態スコア及びセッション評価スコアの算出方法は、それぞれの質問回答情報に含まれる質問項目に応じて適宜変更可能である。
【0056】
そして、生成部203は、精神状態情報に基づいて、コメントを生成する(ステップS105)。例えば、生成部203は、各行動における精神状態情報に基づいて、各行動における精神状態を評価したコメント及び画像の少なくとも一方を生成する。
【0057】
図11図12、及び図13を用いて、コメントを生成する処理の一例を説明する。図11図12、及び図13は、生成部203の処理を説明するための図である。図11には、各コメントのテンプレートの一例を示す。図12には、生成部203によって生成されるコメントの一例を示す。図13には、生成部203によって生成される総合判定の一例を示す。
【0058】
図11に示すように、補助記憶装置24は、複数のコメントそれぞれについて、各コメントのテンプレートと、各コメントの発生条件とが対応づけられた情報を記憶する。例えば、補助記憶装置24は、テンプレート「○時○○分から○時○○分のうち○○%が良質な睡眠」と、交換神経データの発生条件「閾値A未満」と、副交感神経データの発生条件「閾値B以上」と、行動データの発生条件「睡眠」とが対応づけられた情報を記憶する。この情報は、交換神経データが「閾値A未満」、副交感神経データが「閾値B以上」、行動データが「睡眠」である行動が存在する場合に、テンプレート「○時○○分から○時○○分のうち○○%が良質な睡眠」に基づくコメントが発生することを示す。
【0059】
例えば、生成部203は、行動記録情報に含まれる各行動について、各コメントの発生条件を満たすか否かを判定する。ここで、発生条件を満たすと判定されたコメントがある場合には、生成部203は、そのコメントのテンプレートを補助記憶装置24から読み出す。そして、生成部203は、読み出したテンプレートに基づいて、発生条件を満たした行動のコメントを生成する。
【0060】
例えば、生成部203は、交換神経データが「閾値A未満」、副交感神経データが「閾値B以上」、行動データが「睡眠」である行動が存在する場合に、テンプレート「○時○○分から○時○○分のうち○○%が良質な睡眠」に基づくコメントのテンプレートを読み出す。そして、生成部203は、発生条件を満たした「睡眠」の開始時間、終了時間、良質な睡眠の割合を算出し、算出した情報をテンプレートに入力することで、「23時05分から6時00分のうち29%が良質な睡眠」というコメントを生成する(図12)。なお、良質な睡眠の割合は、例えば、睡眠時間においてPSNSレベルが所定値以上になっていた期間の割合として算出される。
【0061】
なお、生成部203によって生成されたコメントは、そのコメントの発生条件を満たした行動に対して付与される。このため、「23時05分から6時00分のうち29%が良質な睡眠」というコメントは、日付「2018/10/19」の時刻「6:00」に終了した睡眠に対して付与される。
【0062】
また、生成部203は、一定期間内に複数回行われた共通の行動について、複数回の行動それぞれにおける精神状態情報に基づいて、共通の行動の総合判定を生成する。例えば、前回のセッションから今回のセッションの間に、行動データ「睡眠」が7回行われていた場合には、生成部203は、7回分の睡眠の精神状態情報に基づいて、「睡眠の総合判定」を行う。具体的には、生成部203は、7回分の睡眠の交感神経データ及び副交感神経データを任意の関数に入力することで、図13に示す「0」~「3」の4段階のスコアに基づく総合判定を行う。そして、生成部203は、総合判定のスコアに対応する総合判定コメントを生成する。なお、総合判定コメントは、予め補助記憶装置24に記憶されている。
【0063】
そして、出力制御部204は、精神状態情報及びコメントを出力する(ステップS106)。例えば、出力制御部204は、各行動を示す行動データと、各行動が行われた期間と、各行動における精神状態情報とを関連づけた情報を出力する。
【0064】
図14図15、及び図16を用いて、自律神経データの表示例を説明する。図14図15、及び図16は、出力制御部204の処理を説明するための図である。図14図15、及び図16において、縦軸はSNSレベルに対応し、横軸はPSNSレベルに対応する。また、図14図15、及び図16において、円の大きさは、各行動が行われた期間(時間)の大きさに対応する。
【0065】
図14に示すように、例えば、出力制御部204は、各行動の自律神経データを表示する。図14に示す例では、出力制御部204は、仕事、移動、食事、睡眠の4つの行動についてプロットする。これにより、操作者は、各行動におけるSNSレベル及びPSNSレベルの違いを容易に把握することができる。例えば、操作者は、移動、食事、睡眠と比較して、仕事におけるSNSレベルが大きいことがわかる。
【0066】
また、図15に示すように、出力制御部204は、各行動について、最新の自律神経データと、過去の自律神経データとを同時に表示する。図15に示す例では、出力制御部204は、今回の仕事における自律神経データと、前回の仕事における自律神経データと、前々回の仕事における自律神経データとを併せてプロットする。これにより、操作者は、各行動における現在の精神状態と過去の精神状態との違いを容易に把握することができる。例えば、操作者は、仕事におけるSNSレベルが以前と比較して大きいことがわかる。
【0067】
また、図16に示すように、出力制御部204は、各行動における標準的な自律神経データを同時に表示する。図16に示す例では、出力制御部204は、対象者の各行動における自律神経データと、対象者と同世代の標準的な人の自律神経データとを併せてプロットする。これにより、操作者は、対象者と標準的な人の精神状態との違いを容易に把握することができる。例えば、操作者は、仕事、移動、食事、睡眠のいずれの行動においても、対象者のSNSレベルが高いことがわかる。また、操作者は、標準的な人と比較して対象者の睡眠時間が短いことがわかる。
【0068】
また、出力制御部204は、精神状態情報として、精神状態スコア及びセッション評価スコアを表示する。
【0069】
図17及び図18を用いて、精神状態スコア及びセッション評価スコアの表示例を説明する。図17及び図18は、出力制御部204の処理を説明するための図である。図17及び図18において、縦軸は各データの指標に対応し、横軸はセッション回数に対応する。なお、縦軸は、初回のセッション時における各データの指標を100としてプロットされる。
【0070】
図17に示すように、出力制御部204は、精神状態スコアと、トータルパワーデータとを表示する。このトータルパワーデータは、各セッションで区切られた期間(例えば、一週間)分のトータルパワーデータの代表値である。これにより、操作者は、精神状態スコアとともに、センサ11によって検知された客観的な精神状態情報を同時に閲覧することができる。例えば、精神状態スコアには対象者の回答時の精神状態によってブレや嘘が含まれてしまう可能性があるが、操作者は、ブレや嘘の要因となる精神状態を客観的に示す精神状態情報を同時に閲覧できるので、次回のセッション時のアドバイスなどに役立てることができる。
【0071】
また、図18に示すように、出力制御部204は、セッション評価スコアと、トータルパワーデータとを表示する。このトータルパワーデータは、各セッションで区切られた期間(例えば、一週間)分のトータルパワーデータの代表値である。これにより、操作者は、セッション評価スコアとともに、センサ11によって検知された客観的な精神状態情報を同時に閲覧することができる。例えば、精神状態スコアには対象者の回答時の精神状態によってブレや嘘が含まれてしまう可能性があるが、操作者は、ブレや嘘の要因となる精神状態を客観的に示す精神状態情報を同時に閲覧できるので、次回のセッションの内容を決める際に役立てることができる。
【0072】
また、出力制御部204は、各行動に関するコメントを、行動記録情報に対応づけて表示する。
【0073】
図19を用いて、コメントの表示例を説明する。図19は、出力制御部204の処理を説明するための図である。図19には、不整脈、心拍数、身体活動量、交感神経、及び副交感神経を含む生体情報と、行動履歴及び気分履歴を含む行動記録情報とが対応づけられた情報を例示する。図19において、横軸は時間に対応する。
【0074】
図19に示すように、出力制御部204は、センサ11による計測開始時刻と、行動記録情報に含まれる時間データとを照合することで、生体情報の時系列と行動記録情報の時系列とを対応づけて表示する。そして、出力制御部204は、各行動に関するコメントを、行動記録情報に対応づけて表示する。
【0075】
ここで、生成部203によって生成されたコメントは、そのコメントの発生条件を満たした行動に対して付与される。このため、出力制御部204は、コメント「23時05分から6時00分のうち29%が良質な睡眠」を、日付「2018/10/19」の時刻「6:00」に終了した「睡眠」に対応づけて表示する。また、出力制御部204は、コメント「食事中、興奮気味である」を、日付「2018/10/18」の時刻「20:00」に終了した「夕食」に対応づけて表示する。
【0076】
このように、出力制御部204は、精神状態情報及びコメントを出力する。なお、ここでは、出力制御部204が表示装置26に表示させる場合を説明したが、これに限定されるものではない。例えば、出力制御部204は、精神状態情報及びコメントを、外部装置に送信しても良いし、メモリや記録媒体に格納しても良い。
【0077】
また、図14図19はあくまでも一例であり、全ての表示形態を同時に表示することを要求する者ではない。例えば、操作者は、図14図19に例示の表示形態を必要に応じて適宜選択して表示させることができる。また、図14図19に示した表示項目は、操作者の任意により変更可能である。例えば、図17及び図18に示したトータルパワーデータは、他の精神状態情報に置き換えても良いし、複数の精神状態情報を表示しても良い。また、トータルパワーデータの代表値としては、平均値、ピーク値、中央値、標準偏差などの任意の統計値が利用可能である。
【0078】
上述してきたように、実施形態に係る情報処理装置20において、取得部201は、対象者の自律神経データを含む生体情報と、対象者の複数の行動が記録された行動記録情報とを取得する。また、算出部202は、生体情報及び行動記録情報に基づいて、対象者の各行動における精神状態情報を算出する。これによれば、操作者は、対象者の精神状態を正確に把握することができる。例えば、実施形態に係る情報処理装置20によれば、センサ11によって収集した心電波形データに基づいて客観的に精神状態を数値化することができるので、対象者の精神状態を正確に把握することができる。
【0079】
また、例えば、情報処理装置20によれば、各行動における精神状態が数値化されるため、ストレスの要因となる行動を特定し易くなる。このため、操作者は、対象者に対してより適切なアドバイスを行うことができる。
【0080】
(変形例)
自律神経データの大きさには個人差があることが知られている。このため、コメントの発生条件(閾値)を、対象者のトータルパワーデータに応じて調整することが好適である。
【0081】
例えば、生成部203は、補助記憶装置24に記憶された各コメントの発生条件を、対象者のトータルパワーデータに応じて調整する。例えば、生成部203は、対象者のトータルパワーデータが標準データと比較して大きい場合には、発生条件に含まれる閾値を大きくする。また、生成部203は、対象者のトータルパワーデータが標準データと比較して小さい場合には、発生条件に含まれる閾値を小さくする。そして、生成部203は、調整後の発生条件を用いて、各コメントの発生条件を満たすか否かを判定する。これにより、情報処理装置20は、個人の自律神経データの大きさに応じて適切にコメントを付与することができる。
【0082】
(第2の実施形態)
第1の実施形態では、生体情報、行動記録情報、及び質問回答情報に基づいて精神状態情報を算出し、算出した精神状態情報に基づいてコメントを生成する場合を説明したが、実施形態はこれに限定されるものではない。例えば、機械学習により作成した学習済みモデルに対して生体情報及び行動記録情報を入力することで、精神状態判定結果を生成することも可能である。なお、精神状態判定結果とは、精神状態回答データ及びセッション評価回答データに相当するデータを、学習済みモデルによって生成(判定)したものである。
【0083】
すなわち、第2の実施形態に係る情報処理装置50は、特定の精神的傾向を有する複数の対象者(第2対象者)について、各対象者の自律神経データを含む生体情報と、各対象者の複数の行動が記録された行動記録情報と、各対象者により回答された質問回答情報とを用いて学習された学習済みモデルを構築する。そして、情報処理装置50は、構築した学習済みモデルに対して、任意の対象者(第1対象者)の生体情報及び行動記録情報を入力することで、任意の対象者の精神状態が判定された精神状態判定結果を生成する。なお、第1対象者は、第2対象者の中に含まれる場合がある。
【0084】
なお、第2の実施形態において、「第2対象者」は、例えば、特定の精神的傾向を有する者を含む対象者である。「特定の精神的傾向」とは、統合失調症、気分障害(うつ病、躁うつ病)、パニック障害、摂食障害、発達障害、認知症、てんかん、依存症、高次脳機能障害などの精神障害(精神疾患)を含む。また、このような特定の精神的傾向を有する者の中でも、気分障害(うつ病、躁うつ病)および摂食障害を有する者が第2対象者である場合、上記学習済みモデルの精度(精神状態判定結果の生成精度)が向上しやすく、特にうつ病を有する者が第2対象者の場合、上記学習済みモデルの精度がより向上しやすい。ただし、第2対象者は、精神障害を有する者に限らず、嗜好などの精神的な傾向により分類される者であっても良い。また、第2対象者は、心理カウンセリングにかかる者であっても良い。
【0085】
図20は、第2の実施形態に係る情報処理装置の概略構成の一例を示す図である。図20に示すように、実施形態に係る情報処理装置50は、センサ11及び携帯端末12とLANやWAN等のネットワークを介して直接的又は間接的に相互に通信可能な状態となっている。なお、情報処理装置50は、生体情報分析装置の一例である。また、センサ11及び携帯端末12は、図1に示したセンサ11及び携帯端末12とそれぞれ同様であるので、説明を省略する。
【0086】
情報処理装置50は、取得部501、判定部502、及び出力制御部503を備える。なお、取得部501及び出力制御部503は、図1に示した取得部201及び出力制御部204とそれぞれ同様であるので、説明を省略する。また、情報処理装置50のハードウェア構成は、図2に示した情報処理装置20のハードウェア構成と同様であるので、説明を省略する。また、判定部502については後述する。
【0087】
図21を用いて、第2の実施形態に係る情報処理装置50により行われる学習時及び運用時の処理を説明する。図21は、第2の実施形態に係る情報処理装置50により行われる学習時及び運用時の処理を示す図である。なお、図21に示す対象者Xは、第1対象者の一例である。また、対象者S-1~S-Nは、第2対象者の一例である。
【0088】
図21の上段に示すように、学習時には、情報処理装置50は、例えば、複数の対象者S-1~S-N(例えば、複数の抑うつ傾向者および複数の健常者)の生体情報、行動記録情報、及び質問回答情報(精神状態回答データ及びセッション評価回答データ)を訓練データとして用いて機械学習を行う。訓練データのうち、生体情報及び行動記録情報は入力データであり、質問回答情報は正解データである。この機械学習により、診断対象者の生体情報及び行動記録情報を入力することで診断対象者の精神状態判定結果を出力する学習済みモデルを構築する。この学習済みモデルは、記憶装置(例えば、ROM22、RAM23、補助記憶装置24など)に格納される。
【0089】
そして、図21の下段に示すように、運用時には、情報処理装置50は、診断対象者である対象者Xの生体情報及び行動記録情報を、学習時に構築した学習済みモデルに対して入力することで、学習済みモデルに対象者Xの精神状態判定結果を出力させる。ここで、対象者Xは、例えば、抑うつ傾向の疑いのある者である。そして、情報処理装置50は、学習済みモデルから出力された対象者Xの精神状態判定結果を操作者(又は対象者X)に提示する。
【0090】
なお、生体情報は、第1の実施形態にて説明した生体情報と同様の情報である。例えば、生体情報は、自律神経データ、体温データ、脈拍データ、及び身体動作データの全てを含んでいても良いし、任意のデータのみを含んでいても良い。また、生体情報の対象期間は、数時間、数日、数週間など、任意に設定可能である。
【0091】
また、行動記録情報は、第1の実施形態にて説明した行動記録情報と同様の情報である。例えば、行動記録情報は、行動データ、時間データ、及び気分履歴データの全てを含んでいても良いし、任意のデータのみを含んでいても良い。また、行動記録情報の対象期間は、任意に設定可能であるが、生体情報の対象期間と同一であるのが好適である。
【0092】
また、質問回答情報は、第1の実施形態にて説明した質問回答情報と同様の情報である。例えば、質問回答情報は、精神状態回答データ及びセッション評価回答データの双方を含んでいても良いし、一方のデータのみを含んでいても良い。また、質問回答情報は、任意の対象期間(生体情報の対象期間と同一であるのが好適)において、同期間全体の傾向として1回取得してもよいし、任意のタイミングで任意回数取得してもよいが、同期間全体の傾向として1回取得することが好ましい。
【0093】
また、学習済みモデルを構築する処理は、例えば、判定部502によって実行される。すなわち、判定部502は、特定の精神的傾向を有する複数の第2対象者について、第2対象者の自律神経データを含む生体情報と、第2対象者の複数の行動が記録された行動記録情報と、第2対象者により回答された質問回答情報とを取得する。ここで、第2対象者の生体情報、行動記録情報、及び質問回答情報は、予め収集され、記憶装置(例えば、ROM22、RAM23、補助記憶装置24など)に格納済みである。例えば、判定部502は、記憶装置から第2対象者の生体情報、行動記録情報、及び質問回答情報を読み出すことにより、当該情報を取得する。そして、判定部502は、取得した生体情報と、行動記録情報と、質問回答情報と用いた機械学習を行うことにより、学習済みモデルを構築する。なお、学習済みモデルを構築する処理は、判定部502に限らず、任意の処理部(プロセッサ)によって実行可能である。
【0094】
図22を用いて、運用時において、情報処理装置50が対象者Xの精神状態判定結果を出力する処理(精神状態判定処理)について説明する。図22は、第2の実施形態に係る情報処理装置50の動作例を示すフローチャートである。なお、図22に示す精神状態判定処理は、抑うつ傾向等の疑いのある対象者Xについて、抑うつ傾向等であるか否かを判定するための処理である。また、精神状態判定処理は、任意のタイミングで実行可能である。
【0095】
図22に示すように、取得部501は、対象者Xの生体情報を取得する(ステップS201)。例えば、取得部501は、センサ11によって収集された各種の計測データに基づいて対象者Xの生体情報を生成することで、対象者Xの生体情報を取得する。
【0096】
続いて、取得部501は、対象者Xの行動記録情報を取得する(ステップS202)。例えば、取得部501は、対象者Xの携帯端末12から行動記録情報を取得する。
【0097】
そして、判定部502は、学習済みモデルに対して、対象者Xの生体情報及び行動記録情報を入力することで、対象者Xの精神状態判定結果を生成する。例えば、判定部502は、記憶装置に記憶されている学習済みモデルを読み出す。そして、判定部502は、読み出した学習済みモデルに対して、取得部501により取得された生体情報及び行動記録情報を入力することで、対象者Xの精神状態判定結果を学習済みモデルに出力させる。その後、判定部502は、学習済みモデルから出力された精神状態判定結果を出力制御部503へ送る。
【0098】
なお、学習済みモデルから出力される精神状態判定結果は、学習済みモデルの構築に用いられた質問回答情報と同一種類の情報を含む。つまり、機械学習において用いられた質問回答情報が精神状態回答データ及びセッション評価回答データの双方を含む場合には、学習済みモデルから出力される精神状態判定結果は、精神状態回答データ及びセッション評価回答データの双方を含む。また、機械学習において用いられた質問回答情報が精神状態回答データを含む場合には、学習済みモデルから出力される精神状態判定結果は、精神状態回答データを含む。また、機械学習において用いられた質問回答情報がセッション評価回答データを含む場合には、学習済みモデルから出力される精神状態判定結果は、セッション評価回答データを含む。
【0099】
出力制御部503は、対象者Xの精神状態判定結果を出力させる。例えば、出力制御部503は、精神状態判定結果を表示装置26に表示させる。なお、精神状態判定結果の出力先は表示装置26に限らず、例えば、外部装置に送信されても良いし、メモリや記録媒体に格納されても良い。
【0100】
上述してきたように、第2の実施形態に係る情報処理装置50において、取得部501は、対象者の自律神経データを含む生体情報と、対象者の複数の行動が記録された行動記録情報とを取得する。また、判定部502は、学習済みモデルに対して、対象者の生体情報及び行動記録情報を入力することで、対象者の精神状態判定結果を生成する。これによれば、操作者は、対象者の精神状態を正確に把握することができる。
【0101】
例えば、第2の実施形態に係る情報処理装置50によれば、対象者本人が記入しなくとも、精神状態回答データ及び/又はセッション評価回答データに相当する精神状態判定結果を、学習済みモデルによって自動的に生成(判定)することができる。このため、操作者は、情報処理装置50から出力される精神状態判定結果を閲覧することで、対象者が特定の精神的傾向を有するか否かを容易に把握することができる。
【0102】
なお、第2の実施形態では、抑うつ傾向等の疑いのある者に対して精神状態判定処理を適用する場合を説明したが、これに限定されるものではない。例えば、精神状態判定処理は、抑うつ傾向等の疑いのない者に対しても適用可能である。つまり、判定対象となる対象者X(第1対象者、判定対象者とも呼ばれる)は、特段限定される必要はなく、任意の対象者であって良い。例えば、第1対象者は、複数の第2対象者のうちの任意の者であっても良い。
【0103】
また、第2の実施形態では、学習済みモデルが情報処理装置50にて構築される場合を説明したが、実施形態はこれに限定されるものではない。例えば、学習済みモデルは、情報処理装置50とは異なる外部装置にて構築されても良い。この場合、情報処理装置50は、外部装置にて構築された学習済みモデルを取得して、上記の精神状態判定処理を実行する。
【0104】
(第2の実施形態の変形例1)
また、第2の実施形態にて説明した情報処理装置50は、精神状態判定結果をそのまま操作者に提示するだけでなく、更に、抑うつ傾向者等の質問回答情報との「合致率」を算出して提示することも可能である。
【0105】
例えば、判定部502は、対象者Xの精神状態判定結果と、抑うつ傾向者等の代表的な質問回答情報とを照合する。なお、抑うつ傾向者等の代表的な質問回答情報は、任意の抑うつ傾向者等の質問回答情報をそのまま利用しても良いし、複数の抑うつ傾向者等の質問回答情報を統合(平均)して利用しても良い。
【0106】
具体的には、判定部502は、精神状態判定結果に含まれる各項目と、質問回答情報に含まれる各項目とを照合し、一致している項目数を算出する。そして、判定部502は、一致している項目数を全項目数で除算することで、「合致率」を算出する。なお、ここで説明した「合致率」の算出方法はあくまで一例であり、任意の算出方法が適用可能である。
【0107】
そして、出力制御部503は、判定部502によって算出された「合致率」を出力する。これにより、情報処理装置50は、操作者(医師等の医療従事者)による診断を支援することができる。例えば、操作者は、合致率を閲覧することで、対象者が特定の精神的傾向を有するか否かを正確かつ容易に診断することができる。
【0108】
なお、合致率が出力される場合には、精神状態判定結果は必ずしも出力されなくても良い。
【0109】
(第2の実施形態の変形例2)
また、第2の実施形態の変形例1にて説明した情報処理装置50は、合致率をそのまま操作者に提示するだけでなく、更に、抑うつ傾向者等であるか否かの可能性の示唆(精神的傾向の可能性の示唆)を提示することも可能である。
【0110】
例えば、精神的傾向の可能性の示唆は、抑うつ傾向である可能性の程度を段階的に示す情報であっても良い。例えば、精神的傾向判定結果は、合致率の高さに応じて、抑うつ傾向である可能性を「高」、「中」、「低」の3段階に判別した情報であっても良い。なお、3段階に判別する場合には、2つの閾値が利用される。
【0111】
また、精神的傾向の可能性の示唆を示す情報が出力される場合には、精神状態判定結果や合致率は必ずしも出力されなくても良い。
【0112】
また、操作者に提示される精神的傾向の可能性の示唆を示す情報は、あくまで診断の支援を目的としたものであり、診断結果そのものではない。つまり、情報処理装置50の処理は、医療行為に該当しない。
【0113】
(第2の実施形態の変形例3)
また、第2の実施形態にて説明した学習済みモデル(精神状態判定処理)は、第1の実施形態に示した情報処理装置20に適用されても良い。これにより、情報処理装置20は、対象者本人が質問回答情報を記入しなくとも、精神状態情報及びコメントを出力することができる。
【0114】
具体的には、情報処理装置20は、図3のステップS103の処理に代えて、図22のステップS203の処理を実行する。つまり、情報処理装置20は、図3のステップS101及びステップS102において取得された生体情報及び行動記録情報を学習済みモデルに対して入力することで、対象者の精神状態判定結果を生成する。
【0115】
そして、情報処理装置20は、図3のステップS104の処理において、質問回答情報に代えて精神状態判定結果を利用する。つまり、情報処理装置20は、生体情報、行動記録情報、及び精神状態判定結果に基づいて、精神状態情報を算出する。なお、精神状態判定結果は、精神状態回答データ及びセッション評価回答データに相当するデータであるので、質問回答情報に代えて利用可能である。
【0116】
そして、情報処理装置20は、図3のステップS105及びステップS106の処理と同様の処理を実行することで、精神状態情報及びコメントを出力することができる。
【0117】
(その他の実施形態)
上述した実施形態以外にも、種々の異なる形態にて実施されてもよい。
【0118】
(体表面に貼り付け可能なセンサの利用)
上述した実施形態では、センサ11については、公知の技術を適宜選択して適用可能である旨を説明した。しかしながら、長期間(数日、或いは数週間程度)の生体情報を収集するためには、体表面に貼り付け可能なセンサが適用されるのが好適である。そして、このような体表面に貼り付け可能なセンサとしては、体の動きに対して柔軟に追従することができるよう、フレキシブルなデバイス内部に折り曲げ等で断線しない回路を有するウェアラブルセンサであることが好ましい。また、このような体表面に貼り付け可能なセンサとしては、体に不快感を与えず、かつ高い医療品質特性を有する、生物学的安全性試験に適合したアクリル系樹脂等の粘着体を介して体表面に張り付け可能であるセンサであることが好ましい。
【0119】
例えば、取得部201は、対象者の体表面に貼り付け可能なセンサ11によって収集されたデータに基づいて、生体情報を取得する。これにより、取得部201は、睡眠時の生体情報も覚醒時の生体情報も漏れなく収集することができるので、長期間にわたる連続的な生体情報を収集することができる。なお、本実施形態に利用される生体情報は、必ずしも連続的なデータでなくても構わないが、連続的なデータであるのが好適である。このような長期間の連続的なデータとしては、24時間以上の連続的なデータであることが好ましく、72時間以上の連続的なデータであることがより好ましく、144時間以上の連続的なデータであることが特に好ましく、168時間以上の連続的データであることが最も好ましい。また、このような連続的なデータとしては、平日の連続的なデータと休日の連続的なデータを有することが好ましい。このような連続的なデータであれば、第2の実施形態において、より精度の高い学習済みモデルが構築される。
【0120】
(生体情報分析システム)
上述した実施形態に係る情報処理装置20が備える各機能は、システムとして提供されても良い。
【0121】
図23は、実施形態に係るシステムの概略構成の一例を示す図である。図23に示すように、実施形態に係るシステム1は、サーバ装置30と、表示用端末40とを備える。サーバ装置30及び表示用端末40は、LAN(Local Area Network)やWAN(Wide Area Network)等のネットワークを介して直接的又は間接的に相互に通信可能な状態となっている。なお、システム1は、生体情報分析システムの一例である。
【0122】
また、センサ11及び携帯端末12は、サーバ装置30とネットワークを介して直接的又は間接的に相互に通信可能な状態となっているが、サーバ装置30に常時接続されていなくても良い。なお、センサ11及び携帯端末12は、図1に示したセンサ11及び携帯端末12と基本的に同様の構成を有するので、説明を省略する。
【0123】
サーバ装置30は、例えば、生体情報分析処理をクラウドサービスとして提供するサービスセンタに備えられる。サーバ装置30は、取得部301、算出部302、生成部303、及び出力制御部304を備える。取得部301、算出部302、生成部303、及び出力制御部304の処理内容は、図1に示した取得部201、算出部202、生成部203、及び出力制御部204の処理内容と基本的に同様であるので、説明を省略する。
【0124】
表示用端末40は、例えば、クラウドサービスの利用者が利用する情報処理端末であり、例えば、パーソナルコンピュータやワークステーション、スマートフォン、タブレット等、表示装置を備える端末である。ここで、クラウドサービスの利用者とは、心理カウンセリングを行う者(例えば、カウンセラー、医師など)に対応する。
【0125】
ここで、サーバ装置30の出力制御部304は、対象者の各行動における精神状態情報を表示用端末に送信する。表示用端末40の表示制御部401は、サーバ装置30から送信された対象者の各行動における精神状態情報を受信し、受信した対象者の各行動における精神状態情報を表示させる。これによれば、利用者は、対象者の精神状態を正確に把握することができる。
【0126】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
【0127】
また、上記の実施形態において説明した各処理のうち、自動的に行なわれるものとして説明した処理の全部又は一部を手動的に行なうこともでき、或いは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的に行なうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【0128】
また、上記の実施形態で説明した生体情報分析方法は、予め用意された生体情報分析プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この生体情報分析プログラムは、インターネット等のネットワークを介して配布することができる。また、この生体情報分析プログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0129】
以上説明した少なくともひとつの実施形態によれば、対象者の精神状態を正確に把握することができる。
【0130】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【0131】
[実施例]
以下に、本発明を実施例に基づき、さらに詳細に説明するが、本発明はそれらに限定されるものではない。
【0132】
(実施例1~5、比較例1)
第2の実施形態にて説明した方法により、生体情報及び行動記録情報に入力によって精神状態回答データ及びセッション評価回答データを出力する学習済みモデルを作成した。なお、機械学習に用いるデータの種類を異ならせることにより、図24に示す実施例1~5、及び比較例1のそれぞれについて、学習済みモデルを作成した。なお、図24は、各実施例及び比較例に係る学習済みモデルについて説明するための図である。
【0133】
まず、学習済みモデルの作成に用いたインプット情報(訓練データ)について説明する。本実施例では、インプット情報として、「生体情報」、「行動記録情報」、「精神状態回答データ」、及び「セッション評価回答データ」を利用した。また、15人の抑うつ傾向者および15人の健常者を対象者として、それぞれのインプット情報を一週間分(平日と休日を含む168時間分)採取した。
【0134】
「生体情報」としては、自律神経データ、体温データ、脈拍データ、及び身体動作データを利用した。自律神経データは、交感神経データ、副交感神経データ、及びトータルパワーデータを含み、それぞれ心電波形データから生成した。体温データ(温度データ)は、対象者の体表面における体温の時系列情報である。脈拍データは、脈拍の時系列情報である。身体動作データは、身体活動量を示し、加速度データから生成した。なお、心電波形データ、体温データ、脈波データ、及び加速度データは、対象者の体表面に貼り付け可能な態様のセンサ(例えば、特表2017-510390に記載される態様のウェアラブル装置)により経時的に採取した。
【0135】
「行動記録情報」としては、図6に示す行動データ、時間データ、及び気分履歴データを利用した。なお、行動記録情報は、対象期間(上記の7日間)にわたって各対象者に記録してもらうことにより採取した。
【0136】
「精神状態回答データ」及び「セッション評価回答データ」は、図8及び図9にそれぞれ示したデータと同様のデータを利用した。なお、精神状態回答データ及びセッション評価回答データは、対象期間にわたって各対象者に各実施例、各比較例の期間における傾向として、対象期間経過時点で1回記録してもらうことにより採取した。
【0137】
次に、各実施例及び比較例に係る学習済みモデルの作成について説明する。なお、各実施例及び比較例に係る学習済みモデルは、図24の「○印」に対応する各種のデータを訓練データとして利用して作成した。また、各実施例及び比較例に係る学習済みモデルは、生体情報と行動記録情報を「入力データ」とし、精神状態回答データとセッション評価回答データを「正解データ」とする機械学習により作成し、本実施例では機械学習方法としてランダムフォーレストを用いた。
【0138】
実施例1に係る学習済みモデルは、平日(月曜~金曜)に対応する24時間分(1日分)の訓練データ(入力データ及び正解データ)を用いて作成した。なお、実施例1では、生体情報としては自律神経データを利用し、体温データ、脈拍データ、及び身体動作データは利用せずに機械学習を行った。
【0139】
実施例2に係る学習済みモデルは、休日(土曜、日曜)に対応する24時間分(1日分)の訓練データを用いて作成した。なお、実施例2では、生体情報としては自律神経データを利用し、体温データ、脈拍データ、及び身体動作データは利用せずに機械学習を行った。
【0140】
実施例3に係る学習済みモデルは、平日に対応する24時間分(1日分)の訓練データを用いて作成した。
【0141】
実施例4に係る学習済みモデルは、平日に対応する72時間分(3日分)の訓練データを用いて作成した。なお、この3日分の訓練データは、例えば、月曜、水曜、及び金曜の訓練データを統合したものである。
【0142】
実施例5に係る学習済みモデルは、平日及び休日に対応する168時間分(一週間分)の訓練データを用いて作成した。
【0143】
比較例に係る学習済みモデルは、平日に対応する24時間分(1日分)の訓練データを用いて作成した。なお、比較例では、生体情報としては脈拍データを利用し、自律神経データ、体温データ、及び身体動作データは利用せずに機械学習を行った。
【0144】
次に、各実施例及び比較例に係る学習済みモデルの評価方法について説明する。上記の訓練データを採取した対象者の中から無作為に選択された一人の対象者について、それぞれのインプット情報を一週間分(平日と休日を含む168時間分)採取し、各学習済みモデルへの入力データとした。採取された各種情報は、各実施例及び比較例に係る学習済みモデルの「取得期間」に対応する期間に切り出され、入力データとした。
【0145】
また、評価用の精神状態回答データ及びセッション評価回答データを、対象期間経過時点で対象者に1回記録してもらうことにより採取した。なお、それぞれの対象期間が経過した時点で1回ずつ精神状態回答データ及びセッション評価回答データを採取したのは、各対象期間を通じた傾向が得られると考えたからである。また、月曜、水曜、及び金曜の訓練データを統合した場合には、金曜のデータ収集が終わった時点で採取された精神状態回答データ及びセッション評価回答データを採用した。
【0146】
そして、採取した評価用の精神状態回答データ及びセッション評価回答データを、各学習済みモデルから出力される出力データ(精神状態回答データ及びセッション評価回答データ)と比較し、合致率を判定した。合致率は、精神状態回答データ及びセッション評価回答データに含まれる複数の項目のうち合致していた項目の割合に応じて判定した。具体的には、70%以上一致していた場合に「合致」と判定した。また、合致率は、10回のうち合致と判定された回数(合致回数)により評価した。具体的には、「AAA」は、合致していた項目の割合が90%以上であることを示す。「AA」は、合致していた項目の割合が85%以上90%未満であることを示す。「A」は、合致していた項目の割合が80%以上85%未満であることを示す。「B」は、合致していた項目の割合が75%以上80%未満であることを示す。「C」は、合致していた項目の割合が75%未満であることを示す。
【0147】
図24に示すように、実施例1に係る学習済みモデルの合致度は、「A」であった。また、実施例2に係る学習済みモデルの合致度は、「B」であった。また、実施例3に係る学習済みモデルの合致度は、「AA」であった。また、実施例4に係る学習済みモデルの合致度は、「AA」であった。また、実施例5に係る学習済みモデルの合致度は、「AAA」であった。また、比較例に係る学習済みモデルの合致度は、「C」であった。
【0148】
実施例5に係る学習済みモデルの合致度は、他の学習済みモデルの合致度よりも高い結果となった。この結果から、学習時及び運用時の入力データは、7日間分(168時間分)以上あるのが好適であることが示唆された。すなわち、取得部201は、7日間分以上の生体情報及び行動記録情報を取得し、算出部202は、7日間分以上の生体情報及び行動記録情報に基づいて、精神状態情報を算出するのが好適であることが示唆された。
【0149】
また、この結果から、学習時及び運用時の入力データは、平日と休日を含むのが好適であることが示唆された。すなわち、取得部201は、平日及び休日を含む数日分以上の生体情報及び行動記録情報を取得し、算出部202は、平日及び休日を含む数日分以上の生体情報及び行動記録情報に基づいて、精神状態情報を算出するのが好適であることが示唆された。
【0150】
また、実施例3,4に係る学習済みモデルの合致度は、実施例1,2に係る学習済みモデルの合致度よりも高い結果となった。この結果から、学習時及び運用時の入力データは、生体情報として体温データ、脈拍データ、及び身体動作データを含むのが好適であることが示唆された。
【0151】
また、実施例1に係る学習済みモデルの合致度は、実施例2に係る学習済みモデルの合致度よりも高い結果となった。この結果から、学習時及び運用時の入力データは、休日のデータより平日のデータが好適であることが示唆された。
【0152】
また、比較例は、比較的多くのウェアラブル装置にて採取可能な脈拍データのみを用いた場合の例である。比較例に係る学習済みモデルの合致度は、実施例1~5に係る学習済みモデルのいずれの合致度よりも低い結果となった。この結果から、学習時及び運用時の入力データは、生体情報として自律神経データを含むのが好適であることが示唆された。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24