ホーム > 特許ランキング > ＴＲＩＢＡＷＬ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024007407
(43)【公開日】2024-01-18
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
G16H 50/30 20180101AFI20240110BHJP
A61B 5/00 20060101ALI20240110BHJP
【ＦＩ】
G16H50/30
A61B5/00 G
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2023103675
(22)【出願日】2023-06-23
(31)【優先権主張番号】P 2022107868
(32)【優先日】2022-07-04
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】521556417
【氏名又は名称】ＴＲＩＢＡＷＬ株式会社
(74)【代理人】
【識別番号】100190621
【弁理士】
【氏名又は名称】崎間 伸洋
(74)【代理人】
【識別番号】100212510
【弁理士】
【氏名又は名称】笠原 翔
(72)【発明者】
【氏名】山本 雄一郎
(72)【発明者】
【氏名】田中 清貴
(72)【発明者】
【氏名】大塚 寛
【テーマコード（参考）】
4C117
5L099
【Ｆターム（参考）】
4C117XB02
4C117XB18
4C117XD04
4C117XE14
4C117XE24
4C117XE28
4C117XE43
4C117XE54
4C117XE60
4C117XE62
4C117XG05
4C117XG19
4C117XH16
4C117XJ13
4C117XJ35
4C117XJ38
4C117XJ45
4C117XJ52
4C117XK09
4C117XL01
5L099AA04
(57)【要約】
【課題】ユーザの健康状態を高精度に推定する。
【解決手段】情報処理装置は、ユーザの声に関する声情報を取得する第一取得手段と、前記ユーザの顔情報を取得する第二取得手段と、前記声情報および前記顔情報を記憶する第一記憶手段と、前記声情報に基づいて、音声特徴量を抽出する第一抽出手段と、前記顔情報に基づいて、顔特徴量を抽出する第二抽出手段と、複数の時点における前記音声特徴量および前記顔特徴量に基づいて、前記ユーザの健康状態を推定する健康状態推定手段と、を備える。
【選択図】図４
【解決手段】情報処理装置は、ユーザの声に関する声情報を取得する第一取得手段と、前記ユーザの顔情報を取得する第二取得手段と、前記声情報および前記顔情報を記憶する第一記憶手段と、前記声情報に基づいて、音声特徴量を抽出する第一抽出手段と、前記顔情報に基づいて、顔特徴量を抽出する第二抽出手段と、複数の時点における前記音声特徴量および前記顔特徴量に基づいて、前記ユーザの健康状態を推定する健康状態推定手段と、を備える。
【選択図】図４
【特許請求の範囲】
【請求項1】
ユーザの声に関する声情報を取得する第一取得手段と、
前記ユーザの顔情報を取得する第二取得手段と、
前記声情報および前記顔情報を記憶する第一記憶手段と、
前記声情報に基づいて、音声特徴量を抽出する第一抽出手段と、
前記顔情報に基づいて、顔特徴量を抽出する第二抽出手段と、
複数の時点における前記音声特徴量および前記顔特徴量に基づいて、前記ユーザの健康状態を推定する健康状態推定手段と、
を備える情報処理装置。
前記ユーザの顔情報を取得する第二取得手段と、
前記声情報および前記顔情報を記憶する第一記憶手段と、
前記声情報に基づいて、音声特徴量を抽出する第一抽出手段と、
前記顔情報に基づいて、顔特徴量を抽出する第二抽出手段と、
複数の時点における前記音声特徴量および前記顔特徴量に基づいて、前記ユーザの健康状態を推定する健康状態推定手段と、
を備える情報処理装置。
【請求項2】
少なくとも前記健康状態推定手段によって推定された前記ユーザの健康状態を表示する表示制御手段をさらに備える、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記ユーザの健康状態を示すスコアおよび前記スコアに関する閾値に基づいて、前記ユーザにおける第一の疾患の有無を推定する疾患有無推定手段をさらに備える、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項4】
前記顔情報に基づいて、前記ユーザの表情または顔色を解析する解析手段をさらに備え、
前記健康状態推定手段は、前記解析手段によって解析された結果を用いて前記ユーザの健康状態を推定する、
請求項１または２に記載の情報処理装置。
前記健康状態推定手段は、前記解析手段によって解析された結果を用いて前記ユーザの健康状態を推定する、
請求項１または２に記載の情報処理装置。
【請求項5】
前記顔情報は、網膜の状態に関する情報を含み、前記網膜の状態に関する情報に基づいて、前記ユーザにおける第二の疾患の有無を判定する判定手段をさらに備える、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項6】
前記顔情報は、顔画像から取得される脈波に関する情報を含み、前記脈波に関する情報に基づいて、前記ユーザにおける第三の疾患の有無を判定する、請求項１または２に記載の情報処理装置。
【請求項7】
前記疾患有無推定手段によって前記ユーザに前記第一の疾患が有ると推定された場合に、所定の警告をする第一警告手段をさらに備える、
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項8】
所定期間における前記ユーザの健康状態に関する複数のスコアから、当該複数のスコアの変動量が所定の値以上および所定の値以下のうち少なくとも一つを判断する判断手段と、
前記判断手段の前記判断に基づいて所定の警告をする第二警告手段をさらに備える、
請求項１または２に記載の情報処理装置。
前記判断手段の前記判断に基づいて所定の警告をする第二警告手段をさらに備える、
請求項１または２に記載の情報処理装置。
【請求項9】
前記表示制御手段は、前記ユーザの健康状態を示すスコアのばらつきに基づき、前記ユーザの健康状態を表示する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項10】
前記音声特徴量は、音声の変動パターンに基づく特徴量である、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項11】
前記顔情報は、眉間に関する情報を含む、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項12】
前記ユーザの血液検査の結果を取得する第三取得手段をさらに備え、
前記健康状態推定手段は、さらに、前記第三取得手段が取得した前記ユーザの血液検査の結果に基づいて、前記ユーザの健康状態を推定する、
請求項１または２に記載の情報処理装置。
前記健康状態推定手段は、さらに、前記第三取得手段が取得した前記ユーザの血液検査の結果に基づいて、前記ユーザの健康状態を推定する、
請求項１または２に記載の情報処理装置。
【請求項13】
前記健康状態推定手段は、前記音声特徴量と前記顔特徴量のうち、前記音声特徴量を優先して、前記ユーザの健康状態を推定する、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項14】
前記ユーザの勤怠情報を取得する第四取得手段をさらに備え、
前記健康状態推定手段は、さらに、前記第四取得手段が取得した前記ユーザの勤怠情報に基づいて、前記ユーザの健康状態を推定する、
請求項１または２に記載の情報処理装置。
前記健康状態推定手段は、さらに、前記第四取得手段が取得した前記ユーザの勤怠情報に基づいて、前記ユーザの健康状態を推定する、
請求項１または２に記載の情報処理装置。
【請求項15】
前記ユーザの勤怠情報は、前記第二取得手段よりユーザの出退勤時に取得された顔情報を含むものである、請求項１４に記載の情報処理装置。
【請求項16】
前記ユーザの顔認証を行う認証手段と、
前記認証手段が行った前記顔認証に基づいて特定された前記ユーザの情報に紐づけて、前記ユーザの健康状態を記憶する第二記憶手段をさらに備える、
請求項１または２に記載の情報処理装置。
前記認証手段が行った前記顔認証に基づいて特定された前記ユーザの情報に紐づけて、前記ユーザの健康状態を記憶する第二記憶手段をさらに備える、
請求項１または２に記載の情報処理装置。
【請求項17】
前記健康状態推定手段は、さらに、複数のユーザが属する組織において、前記複数のユーザの健康状態に基づいて、前記ユーザの健康状態と前記組織の健康状態の少なくとも一つを推定する、
請求項１または２に記載の情報処理装置。
請求項１または２に記載の情報処理装置。
【請求項18】
前記ユーザの病歴を取得する第五取得手段をさらに備え、
前記健康状態推定手段は、さらに、前記第五取得手段が取得した前記ユーザの病歴に基づいて、前記ユーザの健康状態を推定する、
請求項１または２に記載の情報処理装置。
前記健康状態推定手段は、さらに、前記第五取得手段が取得した前記ユーザの病歴に基づいて、前記ユーザの健康状態を推定する、
請求項１または２に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置に関する。
【背景技術】
【0002】
従来、声帯情報に基づく音響パラメータを用いて疾患を推定する技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０２０／０１３２９６号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の特許文献に挙げられた技術では、ユーザの声帯情報のみに基づいて疾患を推定するため、ユーザの健康状態を正確に推定することができなかった。
【0005】
本発明は、このような状況を鑑みてなされたものであり、ユーザの健康状態を高精度に推定することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理装置は、
ユーザの声に関する声情報を取得する第一取得手段と、
前記ユーザの顔情報を取得する第二取得手段と、
前記声情報および前記顔情報を記憶する第一記憶手段と、
前記声情報に基づいて、音声特徴量を抽出する第一抽出手段と、
前記顔情報に基づいて、顔特徴量を抽出する第二抽出手段と、
複数の時点における前記音声特徴量および前記顔特徴量に基づいて、前記ユーザの健康状態を推定する健康状態推定手段と、
を備える。
ユーザの声に関する声情報を取得する第一取得手段と、
前記ユーザの顔情報を取得する第二取得手段と、
前記声情報および前記顔情報を記憶する第一記憶手段と、
前記声情報に基づいて、音声特徴量を抽出する第一抽出手段と、
前記顔情報に基づいて、顔特徴量を抽出する第二抽出手段と、
複数の時点における前記音声特徴量および前記顔特徴量に基づいて、前記ユーザの健康状態を推定する健康状態推定手段と、
を備える。
【発明の効果】
【0007】
本発明によれば、ユーザの健康状態を高精度に推定することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の一実施形態に係る情報処理システムにより提供されるサービスの概要を示す図である。
【図2】本発明の一実施形態に係る情報処理システムに関するシステム構成の一例を示すブロック図である。
【図6】健康状態の推定における表示の一例を示す第１の図である。
【図7】健康状態の推定における表示の一例を示す第２の図である。
【図8】健康状態の推定における表示の一例を示す第３の図である。
【図9】健康状態の推定における表示の一例を示す第４の図である。
【図10】健康状態の推定における表示の一例を示す第５の図であり、（ａ）は組織に属する複数のユーザの健康状態を示す図、（ｂ）は当該複数のユーザが属する組織の健康状態を示す図である。
【発明を実施するための形態】
【0009】
（実施形態）
＜概要＞
以下、本発明の実施形態について、図面を用いて説明する。
図１は、本発明の一実施形態に係る情報処理システムにより提供されるサービス（以下、「本サービス」と呼ぶ）の概要を示す図である。
＜概要＞
以下、本発明の実施形態について、図面を用いて説明する。
図１は、本発明の一実施形態に係る情報処理システムにより提供されるサービス（以下、「本サービス」と呼ぶ）の概要を示す図である。
【0010】
本サービスは、ユーザＵの心や体の状態、すなわち健康状態を高精度に推定することを目的としている。健康状態をよりよく推定することができれば、その推定結果を有効に活用することが可能である。
例えば、会社において、本情報処理システムを構成する情報処理装置（後述するサーバ１）によって推定された、ユーザＵ（従業員）の健康状態が悪い場合（例えばうつ状態である場合）、会社はユーザＵが離職しないように防止策をとることができる。また、ユーザＵが、うつ病を自覚していない可能性があるため、会社側からのはたらきかけによって、ユーザＵ（従業員）は自己の健康状態の改善を図ることができる。
例えば、会社において、本情報処理システムを構成する情報処理装置（後述するサーバ１）によって推定された、ユーザＵ（従業員）の健康状態が悪い場合（例えばうつ状態である場合）、会社はユーザＵが離職しないように防止策をとることができる。また、ユーザＵが、うつ病を自覚していない可能性があるため、会社側からのはたらきかけによって、ユーザＵ（従業員）は自己の健康状態の改善を図ることができる。
【0011】
また、本サービスは、推定した健康状態を可視化することを目的とする。可視化とは、例えば、健康状態を示すスコアや健康状態そのものを出力して、当該スコアや健康状態を前述の会社乃至ユーザＵに示すことをいう。可視化することで、例えば、会社はユーザＵ（従業員）の自己報告に頼ることなく、従業員の健康状態を把握することが可能となる。また、客観的なデータが示されるため、ユーザＵ自身でうつ病の可能性があることを自覚することが可能となる。
【0012】
図１に示す本サービスにおいて、前述のユーザＵは、例えば従業員である。情報処理端末２は、例えば会社の執務室の出入り口のドアに設置されている端末であって、カメラやマイク、ディスプレイを備えている。図中の符号Ｇは、情報処理端末２の表示部２ｄに表示される画面の一例である。画面には例えば、表示されている文章を読み上げる旨の指示が表示される。
【0013】
まず、ユーザＵは、出勤時に、情報処理端末２のカメラに顔が映るように情報処理端末２の前に立つ。ユーザＵは続けて、情報処理端末２の画面に表示された文章（例えば「おはようございます」）を読み上げる。
【0014】
ユーザＵが情報処理端末２に表示された文章を読み上げた音（音声）と、情報処理端末２に映った顔とから、ユーザＵの健康状態が推定される。
【0015】
本情報処理システムを構成するサーバ１（図２参照。情報処理装置）は、前述の目的を達成するために、ユーザＵの顔および声の情報を用いてユーザＵの健康状態を推定し、その推定結果を可視化する。具体的には、サーバ１は、情報処理端末２を介してユーザＵの声に関する声情報およびユーザＵの顔情報を取得すると共に、取得した声情報に基づいて音声特徴量を抽出し、且つ、取得した顔情報に基づいて顔特徴量を抽出する処理を実行する。そして、複数の時点における音声特徴量および顔特徴量に基づいて、ユーザＵの健康状態ＨＳを推定し、その推定結果を例えば表示する処理を実行する。
【0016】
＜システム構成＞
図２は、本発明の一実施形態に係る情報処理システムに関するシステム構成の一例を示すブロック図である。
本実施形態に係る情報処理システムを構成する情報処理装置は、サーバ１によって実現されている。当該サーバ１は、インターネット等の所定のネットワークＮを介して、情報処理端末２と、ユーザ端末３とが相互に接続されている。
情報処理端末２は、例えば、パーソナルコンピュータ（ＰＣ）、タブレット等の情報処理端末である。ユーザ端末３は、例えば、パーソナルコンピュータ（ＰＣ）、タブレット、スマートフォン等の情報処理端末である。なお、各端末は、ここでは１台であるものとして説明するが、当該サーバ１にそれぞれ接続されるよう複数台であってもよい。また、本実施形態では、サーバ１は１台であるものとして説明するが、サーバ１は複数台あってもよい。
図２は、本発明の一実施形態に係る情報処理システムに関するシステム構成の一例を示すブロック図である。
本実施形態に係る情報処理システムを構成する情報処理装置は、サーバ１によって実現されている。当該サーバ１は、インターネット等の所定のネットワークＮを介して、情報処理端末２と、ユーザ端末３とが相互に接続されている。
情報処理端末２は、例えば、パーソナルコンピュータ（ＰＣ）、タブレット等の情報処理端末である。ユーザ端末３は、例えば、パーソナルコンピュータ（ＰＣ）、タブレット、スマートフォン等の情報処理端末である。なお、各端末は、ここでは１台であるものとして説明するが、当該サーバ１にそれぞれ接続されるよう複数台であってもよい。また、本実施形態では、サーバ１は１台であるものとして説明するが、サーバ１は複数台あってもよい。
【0017】
＜サーバ１のハードウェア構成について＞
図３は、実施形態に係るサーバ１のハードウェア構成の一例を示すブロック図である。
サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０とを備えている。
図３は、実施形態に係るサーバ１のハードウェア構成の一例を示すブロック図である。
サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０とを備えている。
【0018】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。
【0019】
入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９、ドライブ２０が接続されている。出力部１６は、ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。入力部１７は、キーボードやマウス等で構成され、各種情報を入力する。記憶部１８は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。通信部１９は、近距離無線通信や、インターネットを含むネットワークＮを介して他の対象（例えば図２のユーザ端末３）との間で通信を行う。
【0020】
ドライブ２０は、必要に応じて設けられる。ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア２１が適宜装着される。ドライブ２０によってリムーバブルメディア２１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア２１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
【0021】
＜情報処理端末２のハードウェア構成について＞
情報処理端末２のハードウェア構成は、ここでは特に図示しないが、上述のサーバ１のハードウェア構成と基本的に同様である。即ち、ＣＰＵと、ＲＯＭと、ＲＡＭと、バスと、入出力インターフェースと、出力部と、入力部と、記憶部と、通信部と、ドライブとを備える。情報処理端末２は、ここでは音声取得部２ａと検知部２ｂと撮像部２ｃと表示部２ｄも備える。音声取得部２ａは所謂マイクであって、ユーザＵの音声を取得するために備えられる。検知部２ｂは、例えばユーザＵの声帯の振動そのものを検知するために備えられる。撮像部２ｃは、所謂カメラであって、ユーザＵの顔を撮像するために備えられる。表示部２ｄは、例えば、ユーザＵの音声を取得するためにユーザＵに読ませる文章を表示するために備えられる。
情報処理端末２のハードウェア構成は、ここでは特に図示しないが、上述のサーバ１のハードウェア構成と基本的に同様である。即ち、ＣＰＵと、ＲＯＭと、ＲＡＭと、バスと、入出力インターフェースと、出力部と、入力部と、記憶部と、通信部と、ドライブとを備える。情報処理端末２は、ここでは音声取得部２ａと検知部２ｂと撮像部２ｃと表示部２ｄも備える。音声取得部２ａは所謂マイクであって、ユーザＵの音声を取得するために備えられる。検知部２ｂは、例えばユーザＵの声帯の振動そのものを検知するために備えられる。撮像部２ｃは、所謂カメラであって、ユーザＵの顔を撮像するために備えられる。表示部２ｄは、例えば、ユーザＵの音声を取得するためにユーザＵに読ませる文章を表示するために備えられる。
【0022】
＜ユーザ端末３のハードウェア構成について＞
ユーザ端末３のハードウェア構成は、ここでは特に図示しないが、上述のサーバ１のハードウェア構成と基本的に同様である。即ち、ＣＰＵと、ＲＯＭと、ＲＡＭと、バスと、入出力インターフェースと、出力部と、入力部と、記憶部と、通信部と、ドライブとを備える。ユーザ端末３は、ここでは表示部３ａを備える。表示部３ａは、前述のスコア（例えば、健康状態を示すスコア）を表示するために備えられる。
ユーザ端末３のハードウェア構成は、ここでは特に図示しないが、上述のサーバ１のハードウェア構成と基本的に同様である。即ち、ＣＰＵと、ＲＯＭと、ＲＡＭと、バスと、入出力インターフェースと、出力部と、入力部と、記憶部と、通信部と、ドライブとを備える。ユーザ端末３は、ここでは表示部３ａを備える。表示部３ａは、前述のスコア（例えば、健康状態を示すスコア）を表示するために備えられる。
【0023】
以上のようなサーバ１と、情報処理端末２と、ユーザ端末３とに関し、これらの各種ハードウェアと各種ソフトウェアとの協働により、後述する各種処理が実現されるようになる。
【0024】
【0025】
サーバ１は、前述したように、ＣＰＵ１１と、記憶部１８と、通信部１９等とを備える。サーバ１には、通信部１９を介して情報処理端末２と、ユーザ端末３が夫々接続される。
【0026】
サーバ１のＣＰＵ１１においては、第一取得部１１１と、第二取得部１１２と、第一抽出部１１３と、第二抽出部１１４と、スコア算出部１１５と、健康状態推定部１１６と、表示制御部１１７と、疾患有無推定部１１８と、解析部１１９と、判定部１２０と、第一警告部１２１と、スコア判断部１２２と、第二警告部１２３と、血液情報取得部１２４と、勤怠情報取得部１２５と、病歴情報取得部１２６と、が機能する。
【0027】
サーバ１の記憶部１８においては、この一領域に、声ＤＢ（データベース）１８１と、顔ＤＢ１８２と、特徴量ＤＢ１８３と、スコアＤＢ１８４と、基準ＤＢ１８５と、算出モデルＤＢ１８６と、解析・判定結果ＤＢ１８７と、ユーザ情報ＤＢ１８８と、組織情報ＤＢ１８９と、が構築されている。
【0028】
第一取得部１１１は、ユーザＵの声に関する情報（以下、声情報という。）を取得する。ここで、声情報には、ユーザＵの声（音声）を発した時に生ずる事象全てが含まれる。言い換えると、声情報には、ユーザＵの声に関する音情報と、ユーザＵに備わる声帯の振動に関する情報とが含まれる。
第一取得部１１１は、ユーザＵが情報処理端末２に表示された文章を読み上げた声に関する音情報とユーザＵの声帯の振動に関する情報を、情報処理端末２の音声取得部２ａと検知部２ｂを介して取得する。
第一取得部１１１は、取得した声情報を声ＤＢ１８１に格納する。
第一取得部１１１は、ユーザＵが情報処理端末２に表示された文章を読み上げた声に関する音情報とユーザＵの声帯の振動に関する情報を、情報処理端末２の音声取得部２ａと検知部２ｂを介して取得する。
第一取得部１１１は、取得した声情報を声ＤＢ１８１に格納する。
【0029】
第二取得部１１２は、情報処理端末２の撮像部２ｃが撮像したユーザＵの顔情報を取得する。ここで、顔情報には、例えば、ユーザＵの目および口等の位置に関する情報や、目等の状態に関する情報、表情または顔色に関する情報等、顔画像より取得される脈波に関する情報が含まれるものとする。
目の状態に関する情報には、例えば、ユーザＵの網膜に関する情報が含まれる。また、目の位置に関する情報には、例えば、ユーザＵの眉間に関する情報が含まれる。
脈波に関する情報には、脈波から算出される脈拍数、呼吸数、交感神経及び副交感神経に係る数値、ＨＦ／ＬＦ（高周波成分／低周波成分）値を含む。
顔画像から、脈波を測定する技術については公知の技術を使用できる。例えばカメラやスマートフォンに搭載されるＲＧＢイメージセンサや近赤外イメージセンサを用いた画像データにより脈波を測定する技術などが挙げられるが、これに限定されるものではない。
第二取得部１１２は、取得した顔情報を顔ＤＢ１８２に格納する。
目の状態に関する情報には、例えば、ユーザＵの網膜に関する情報が含まれる。また、目の位置に関する情報には、例えば、ユーザＵの眉間に関する情報が含まれる。
脈波に関する情報には、脈波から算出される脈拍数、呼吸数、交感神経及び副交感神経に係る数値、ＨＦ／ＬＦ（高周波成分／低周波成分）値を含む。
顔画像から、脈波を測定する技術については公知の技術を使用できる。例えばカメラやスマートフォンに搭載されるＲＧＢイメージセンサや近赤外イメージセンサを用いた画像データにより脈波を測定する技術などが挙げられるが、これに限定されるものではない。
第二取得部１１２は、取得した顔情報を顔ＤＢ１８２に格納する。
【0030】
なお、声情報と顔情報は、所定期間における所定のタイミングで、複数の時点において取得されるものとする。
例えば、声情報と顔情報は、毎日１回、平日のみ１日１回、所定の曜日のみ１日１回、取得されるとよい。これにより、例えば、ユーザＵにおける過去の声情報と顔情報も考慮して健康状態を推定することができる。よって、一時点における声情報と顔情報からユーザＵの健康状態を推定するよりも、ユーザＵの健康状態を高精度に推定することができる。
例えば、声情報と顔情報は、毎日１回、平日のみ１日１回、所定の曜日のみ１日１回、取得されるとよい。これにより、例えば、ユーザＵにおける過去の声情報と顔情報も考慮して健康状態を推定することができる。よって、一時点における声情報と顔情報からユーザＵの健康状態を推定するよりも、ユーザＵの健康状態を高精度に推定することができる。
【0031】
第一抽出部１１３は、音声特徴量を抽出する。具体的には、第一抽出部１１３は、前述の第一取得部１１１が取得したユーザＵの声情報に基づいて、所定の音響パラメータである音声特徴量を抽出する。第一抽出部１１３は、例えば周波数解析等を用いて音声特徴量を抽出する。音声特徴量には、例えば、声帯の変動パターンに基づく特徴量が含まれる。
第一抽出部１１３は、抽出した音声特徴量を特徴量ＤＢ１８３に格納する。
第一抽出部１１３は、抽出した音声特徴量を特徴量ＤＢ１８３に格納する。
【0032】
第二抽出部１１４は、顔特徴量を抽出する。具体的には、第二抽出部１１４は、前述の第二取得部１１２が取得したユーザＵの顔情報に基づいて、顔特徴量を抽出する。第二抽出部１１４は、例えばＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ）、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ Ｂｒｉｅｆ）等の公知の抽出技術を用いて顔特徴量を抽出する。
第二抽出部１１４は、抽出した顔特徴量を、特徴量ＤＢ１８３に格納する。
第二抽出部１１４は、抽出した顔特徴量を、特徴量ＤＢ１８３に格納する。
【0033】
スコア算出部１１５は、ユーザＵの健康状態を示すスコアを算出する。ここで、スコアとは、ユーザＵの健康状態を推定するために用いられる数値であって、例えば、０から１００の百分率で表される。
スコア算出部１１５は、第一抽出部１１３が抽出した音声特徴量、および、第二抽出部１１４が抽出した顔特徴量に基づいて、ユーザＵの健康状態を示すスコアを算出する。スコア算出部１１５は、組織の健康状態を示すスコアを算出してもよい。なお、組織の健康状態とは、組織の健全度をいうものとする。
スコアの算出方法について詳細は後述する。
スコア算出部１１５は、算出したユーザＵの健康状態を示すスコアをスコアＤＢ１８４に格納する。
スコア算出部１１５は、第一抽出部１１３が抽出した音声特徴量、および、第二抽出部１１４が抽出した顔特徴量に基づいて、ユーザＵの健康状態を示すスコアを算出する。スコア算出部１１５は、組織の健康状態を示すスコアを算出してもよい。なお、組織の健康状態とは、組織の健全度をいうものとする。
スコアの算出方法について詳細は後述する。
スコア算出部１１５は、算出したユーザＵの健康状態を示すスコアをスコアＤＢ１８４に格納する。
【0034】
健康状態推定部１１６は、ユーザＵの健康状態を推定する。
健康状態推定部１１６は、記憶部１８に格納された各種データを参照して、ユーザＵの健康状態を推定する。詳細は後述する。
健康状態推定部１１６は、記憶部１８に格納された各種データを参照して、ユーザＵの健康状態を推定する。詳細は後述する。
【0035】
表示制御部１１７は、ユーザＵの健康状態を表示するよう制御する。表示制御部１１７は、ユーザＵのユーザ端末３に対して、健康状態を表示するように制御してもよく、例えば、ユーザＵの雇用主端末（図示せず）に対して、ユーザＵの健康状態が表示されるように制御してもよい。
また、表示制御部１１７は、例えば、一日分のスコアを表示してもよく、所定期間のスコア（例えば平均値）を表示するように制御してもよい。
また、表示制御部１１７は、複数のユーザＵの健康状態を表示するように制御してもよい。
また、表示制御部１１７は、後述する第一警告部１２１および第二警告部１２３が警告する場合において、警告の表示（例えば、警告を示すマークや文言等）が表示されるように制御してもよい。
表示制御部１１７により表示されるユーザＵの健康状態の表示態様は、上記に限定されない。例えば、スコア算出部１１５が算出したユーザＵの健康状態を示すスコアを数字で表示するよう制御してもよく、スコアをグラフ上に複数プロットすることで、スコアのばらつきが分かるような表示になるよう制御してもよい。
また、表示制御部１１７は、例えば、一日分のスコアを表示してもよく、所定期間のスコア（例えば平均値）を表示するように制御してもよい。
また、表示制御部１１７は、複数のユーザＵの健康状態を表示するように制御してもよい。
また、表示制御部１１７は、後述する第一警告部１２１および第二警告部１２３が警告する場合において、警告の表示（例えば、警告を示すマークや文言等）が表示されるように制御してもよい。
表示制御部１１７により表示されるユーザＵの健康状態の表示態様は、上記に限定されない。例えば、スコア算出部１１５が算出したユーザＵの健康状態を示すスコアを数字で表示するよう制御してもよく、スコアをグラフ上に複数プロットすることで、スコアのばらつきが分かるような表示になるよう制御してもよい。
【0036】
疾患有無推定部１１８は、ユーザＵにおける疾患（第一の疾患）の有無を推定する。具体的には、疾患有無推定部１１８は、スコア算出部１１５が算出したユーザＵの健康状態を示すスコアから、ユーザＵにおける疾患の有無を推定する。より具体的には、疾患有無推定部１１８は、後述する基準ＤＢ１８５に格納された基準を参照して、スコア算出部１１５によって算出されたスコアから、ユーザＵにおける疾患の有無を推定する。
【0037】
解析部１１９は、第二取得部１１２が取得した顔情報に基づいて、ユーザＵの表情または顔色を解析する。この解析は、例えば、機械学習により生成した分類器を用いてもよい。
解析部１１９は、解析した結果を、解析・判定結果ＤＢ１８７に格納する。
解析部１１９は、解析した結果を、解析・判定結果ＤＢ１８７に格納する。
【0038】
判定部１２０は、ユーザＵにおける疾患（第二の疾患）の種類を判定する。ここで、判定部１２０は、例えば、ユーザＵが緑内障または糖尿病という疾患を罹患しているか否かを判定するものとする。
判定部１２０は、第二取得部１１２によって取得された顔情報のうち、網膜の情報に基づいて、ユーザＵにおける疾患の種類を判定する。具体的には、判定部１２０は、後述するスコアＤＢ１８４と基準ＤＢ１８５とを参照して、ユーザＵが緑内障または糖尿病を罹患しているか否かを判定する。例えば、スコアと、基準ＤＢ１８５に格納された閾値Ｔｈ４との差が、所定の値未満である場合に、緑内障であると判定する。
判定部１２０は、判定の結果を、解析・判定結果ＤＢ１８７に格納する。
判定部１２０は、第二取得部１１２によって取得された顔情報のうち、網膜の情報に基づいて、ユーザＵにおける疾患の種類を判定する。具体的には、判定部１２０は、後述するスコアＤＢ１８４と基準ＤＢ１８５とを参照して、ユーザＵが緑内障または糖尿病を罹患しているか否かを判定する。例えば、スコアと、基準ＤＢ１８５に格納された閾値Ｔｈ４との差が、所定の値未満である場合に、緑内障であると判定する。
判定部１２０は、判定の結果を、解析・判定結果ＤＢ１８７に格納する。
【0039】
判定部１２０は、第二取得部１１２によって取得された顔情報のうち、脈波に関する情報に基づいて、ユーザＵにおける疾患の種類を判定する。具体的には、判定部１２０は、後述するスコアＤＢ１８４と基準ＤＢ１８５とを参照してストレス等による自律神経失調症を罹患しているか否かを判定する。例えば、スコアと、基準ＤＢ１８５に格納された閾値Ｔｈ４’との差が、所定の値未満である場合に、自律神経失調症であると判定する。
判定部１２０は、判定の結果を、解析・判定結果ＤＢ１８７に格納する。
判定部１２０は、判定の結果を、解析・判定結果ＤＢ１８７に格納する。
【0040】
第一警告部１２１は、疾患有無推定部１１８によってユーザＵに疾患があると推定された場合に、前述の雇用主端末またはユーザ端末３に対して、警告をする。警告の方法は特に限られず、警告マークの表示や警告音をもって、警告してもよい。
【0041】
スコア判断部１２２は、変動量を判断する。具体的には、スコア判断部１２２は、スコアＤＢ１８４と基準ＤＢ１８５とを参照して、所定期間におけるユーザＵの健康状態を示す複数のスコアの変動量が、所定の値以上および所定の値以下のいずれかになったか否かを判断する。
【0042】
第二警告部１２３は、ユーザＵの所定期間におけるスコアの変動量に基づいて、前述の雇用主端末またはユーザ端末３に対して、警告をする。より具体的には、第二警告部１２３は、スコアの変動量が所定の値以上および所定の値以下のいずれかになったとスコア判断部１２２が判断したときに、警告をする。警告の方法は特に限られず、警告マークを前述の雇用主端末またはユーザ端末３に対して表示してもよく、警告音を出力するように制御してもよい。
【0043】
血液情報取得部１２４（第三取得部）は、ユーザＵの血液検査の結果を取得する。血液情報取得部１２４は、取得したユーザＵの血液検査の結果をユーザ情報ＤＢ１８８に格納する。
【0044】
勤怠情報取得部１２５（第四取得部）は、ユーザＵの勤怠情報を取得する。ユーザＵの勤怠情報には、例えば、出社退社時刻に基づく勤務時間数、残業時間数、有給取得日等が含まれる。勤怠情報取得部１２５は、取得したユーザＵの勤怠情報を、ユーザ情報ＤＢ１８８に格納する。
なお勤怠情報は、第二取得部１１２が取得したユーザＵの顔情報に基づき生成されるものでもよい。すなわち、情報処理端末２が、会社の執務室の出入り口のドアに設置されたカメラ付き端末である場合、ユーザＵは、出退勤時に情報処理端末２のカメラに顔が映るように情報処理端末２の前に立ち、顔画像を取得させる。それにより、その出退勤時刻（顔画像を取得させた時刻）と関連する顔画像データを出退勤時の勤怠情報として、ユーザ情報ＤＢ１８８に格納するものであってよい。
なお勤怠情報は、第二取得部１１２が取得したユーザＵの顔情報に基づき生成されるものでもよい。すなわち、情報処理端末２が、会社の執務室の出入り口のドアに設置されたカメラ付き端末である場合、ユーザＵは、出退勤時に情報処理端末２のカメラに顔が映るように情報処理端末２の前に立ち、顔画像を取得させる。それにより、その出退勤時刻（顔画像を取得させた時刻）と関連する顔画像データを出退勤時の勤怠情報として、ユーザ情報ＤＢ１８８に格納するものであってよい。
【0045】
病歴情報取得部１２６（第五取得部）は、ユーザＵの病歴を取得する。なお、ユーザＵによる病歴の自己申告があった場合には、病歴情報取得部１２６は、当該ユーザＵの病歴を、ユーザ端末３から取得してもよい。病歴情報取得部１２６は、取得したユーザＵの病歴をユーザ情報ＤＢ１８８に格納する。
【0046】
声ＤＢ１８１には、声情報が格納される。具体的には、第一取得部１１１が取得した、ユーザＵの声に関する音情報とユーザＵの声帯の振動に関する情報が格納される。
【0047】
顔ＤＢ１８２には、顔情報が格納される。具体的には、第二取得部１１２が取得した、情報処理端末２の撮像部２ｃが撮像したユーザＵの顔情報が格納される。
【0048】
特徴量ＤＢ１８３には、第一抽出部１１３が抽出した音声特徴量と、第二抽出部１１４が抽出した顔特徴量とが格納される。
【0049】
スコアＤＢ１８４には、スコア算出部１１５によって算出されたユーザＵの健康状態に関するスコアが格納される。スコアは、例えば、ユーザ毎または組織毎（例えば、所定のチーム毎）に、日付と対応付けて、格納されるものとする。
【0050】
基準ＤＢ１８５には、ユーザＵの健康状態を推定するための基準が格納される。
具体例を挙げて説明する。
健康状態推定部１１６が、ユーザＵの健康状態を推定する基準として、例えば、所定の閾値Ｔｈ１および閾値Ｔｈ２が挙げられる。例えば、スコアが所定の閾値Ｔｈ１以上（例えばスコア６０以上）の場合には、健康状態推定部１１６は、ユーザＵの健康状態が良好であると推定する。また、例えばスコアが所定の閾値Ｔｈ２未満（例えばスコア５０未満）の場合には、健康状態推定部１１６は、ユーザＵの健康状態が不良であると推定する。
なお、例えば、スコアが所定の閾値Ｔｈ２以上（例えばスコア５０以上）閾値Ｔｈ１未満（例えばスコア６０未満）である場合には、ユーザＵの健康状態が良好または不良の判別がつきにくい状態（所謂グレー状態）のため、サーバ１側からユーザＵに向けて所定のアラートを出してもよい。
なお、ここでは、スコアが１種類の例を説明しているが、スコアは複数種類でもよい（以下同様とする）。
疾患有無推定部１１８がユーザＵにおける疾患の有無を推定する場合に用いられる基準として、例えば、所定の閾値Ｔｈ３が挙げられる。疾患有無推定部１１８は、スコアが所定の閾値Ｔｈ３未満（例えばスコア３０未満）であれば、ユーザＵにおける疾患があると推定する。なお、疾患毎に所定の閾値Ｔｈ３が格納されてもよい。
判定部１２０が判定を行う場合に用いられる基準として、所定の閾値Ｔｈ４および所定の閾値Ｔｈ５が挙げられる。判定部１２０は、例えば、スコアと、所定の閾値Ｔｈ４との差が、所定の値（例えば５）未満である場合に、緑内障であると判定する。また例えば、スコアと、所定の閾値Ｔｈ５との差が、所定の値（例えば５）未満である場合に、判定部１２０は、ユーザＵが糖尿病であると判定する。
スコア判断部１２２が所定期間におけるユーザＵの健康状態を示す複数のスコアの変動量が所定の値以上および所定の値以下のいずれかになったか否かを判断する場合に用いられる基準として、所定の閾値Ｔｈ６（例えば４０）以上および所定の閾値Ｔｈ７（例えば２０）以下が挙げられる。
その他、血液検査の項目における適正値（または適正範囲）や、健康状態が良好でないとされる勤怠情報（例えば、欠勤日が１０日以上）といった基準が格納される。
なお、ユーザＵ個人の健康状態を推定する上での基準を説明したが、当該基準ＤＢ１８５には、組織の健康状態を推定するための基準が格納されてよい。例えば、所定の組織（チーム）における複数のユーザのスコアの平均値あるいは合計値に対応する所定の値が、組織の健康状態を図る基準として格納されてもよい。
具体例を挙げて説明する。
健康状態推定部１１６が、ユーザＵの健康状態を推定する基準として、例えば、所定の閾値Ｔｈ１および閾値Ｔｈ２が挙げられる。例えば、スコアが所定の閾値Ｔｈ１以上（例えばスコア６０以上）の場合には、健康状態推定部１１６は、ユーザＵの健康状態が良好であると推定する。また、例えばスコアが所定の閾値Ｔｈ２未満（例えばスコア５０未満）の場合には、健康状態推定部１１６は、ユーザＵの健康状態が不良であると推定する。
なお、例えば、スコアが所定の閾値Ｔｈ２以上（例えばスコア５０以上）閾値Ｔｈ１未満（例えばスコア６０未満）である場合には、ユーザＵの健康状態が良好または不良の判別がつきにくい状態（所謂グレー状態）のため、サーバ１側からユーザＵに向けて所定のアラートを出してもよい。
なお、ここでは、スコアが１種類の例を説明しているが、スコアは複数種類でもよい（以下同様とする）。
疾患有無推定部１１８がユーザＵにおける疾患の有無を推定する場合に用いられる基準として、例えば、所定の閾値Ｔｈ３が挙げられる。疾患有無推定部１１８は、スコアが所定の閾値Ｔｈ３未満（例えばスコア３０未満）であれば、ユーザＵにおける疾患があると推定する。なお、疾患毎に所定の閾値Ｔｈ３が格納されてもよい。
判定部１２０が判定を行う場合に用いられる基準として、所定の閾値Ｔｈ４および所定の閾値Ｔｈ５が挙げられる。判定部１２０は、例えば、スコアと、所定の閾値Ｔｈ４との差が、所定の値（例えば５）未満である場合に、緑内障であると判定する。また例えば、スコアと、所定の閾値Ｔｈ５との差が、所定の値（例えば５）未満である場合に、判定部１２０は、ユーザＵが糖尿病であると判定する。
スコア判断部１２２が所定期間におけるユーザＵの健康状態を示す複数のスコアの変動量が所定の値以上および所定の値以下のいずれかになったか否かを判断する場合に用いられる基準として、所定の閾値Ｔｈ６（例えば４０）以上および所定の閾値Ｔｈ７（例えば２０）以下が挙げられる。
その他、血液検査の項目における適正値（または適正範囲）や、健康状態が良好でないとされる勤怠情報（例えば、欠勤日が１０日以上）といった基準が格納される。
なお、ユーザＵ個人の健康状態を推定する上での基準を説明したが、当該基準ＤＢ１８５には、組織の健康状態を推定するための基準が格納されてよい。例えば、所定の組織（チーム）における複数のユーザのスコアの平均値あるいは合計値に対応する所定の値が、組織の健康状態を図る基準として格納されてもよい。
【0051】
算出モデルＤＢ１８６には、スコア算出部１１５がユーザＵの健康状態を推定するためのスコアを算出する際に用いられるモデルが格納される。例えば、算出モデルは、機械学習により学習されたモデルであってもよい。
機械学習により学習されたモデルは、予め設定された教師データにより予めニューラルネットクーク等の学習アルゴリズムを用いて機械学習されている。機械学習により学習可能なモデルであれば、どのようなモデルであってもよい。例えば、学習用の特徴量群と、その特徴量群が得られた声情報および顔情報を発したユーザＵが有している疾患又は症状を表す正解ラベルとが対応付けられたデータを教師データとして、予め機械学習されたモデルでもよい。なお、算出モデルは、ルールベースのモデルでもよい。
機械学習により学習されたモデルは、予め設定された教師データにより予めニューラルネットクーク等の学習アルゴリズムを用いて機械学習されている。機械学習により学習可能なモデルであれば、どのようなモデルであってもよい。例えば、学習用の特徴量群と、その特徴量群が得られた声情報および顔情報を発したユーザＵが有している疾患又は症状を表す正解ラベルとが対応付けられたデータを教師データとして、予め機械学習されたモデルでもよい。なお、算出モデルは、ルールベースのモデルでもよい。
【0052】
解析・判定結果ＤＢ１８７には、解析部１１９が解析した結果と、判定部１２０が判定した結果とが格納される。
【0053】
ユーザ情報ＤＢ１８８には、ユーザＵに関する情報が格納される。ユーザＵに関する情報としては、例えば、ユーザＵの顔画像、出勤状況、所属部署、血液検査を受けている場合には当該血液検査の結果（例えば３か月に一回の定期血液検査の結果等）、病歴、健康診断の結果、その他氏名住所等の情報が挙げられる。
【0054】
組織情報ＤＢ１８９には、ユーザＵが勤務する組織に関する情報が格納される。ユーザＵが勤務する組織に関する情報としては、例えば、組織に属する従業員、組織の売り上げ、組織に対する顧客満足度等が挙げられる。
なお、図４には図示されていないが、サーバ１のＣＰＵ１１に、ユーザＵの顔認証を行う機能部が設けられていてもよい。
なお、図４には図示されていないが、サーバ１のＣＰＵ１１に、ユーザＵの顔認証を行う機能部が設けられていてもよい。
【0055】
＜処理内容：健康状態推定処理＞
図５は、サーバ１が実行する健康状態推定処理の一例を示すフローチャートである。
ステップＳ１において、第一取得部１１１は、ユーザＵの声に関する声情報を取得する。ユーザＵの声に関する声情報には、ユーザＵが情報処理端末２に表示された文章を読み上げたときの声に関する音情報とユーザＵの声帯の振動に関する情報とが含まれる。
ステップＳ２において、第二取得部１１２は、ユーザＵの顔情報を取得する。ユーザＵの顔情報には、顔を撮像した時に得られる顔画像情報の他、例えば、ユーザＵの網膜の情報、眉間に関する情報、ユーザＵの表情や顔色に関する情報、顔画像より取得される脈波に関する情報も含まれる。
なお、ステップＳ１およびステップＳ２において取得される声情報および顔情報は、前述の複数の時点において取得されるものとする。
ステップＳ３において、第一抽出部１１３は、第一取得部１１１が取得したユーザＵの声に関する声情報に基づいて、音声特徴量を抽出する。なお、音声特徴量は、例えば、音声の変動パターンに基づく特徴量である。
ステップＳ４において、第二抽出部１１４は、第二取得部１１２が取得したユーザＵの顔情報に基づいて、顔特徴量を抽出する。なお、顔特徴量については後述する。
ステップＳ５において、健康状態推定部１１６は、前述の複数の時点における音声特徴量および顔特徴量に基づいて、ユーザＵの健康状態を推定する。
ステップＳ６において、表示制御部１１７は、ユーザＵの健康状態を、例えば、ユーザ端末３に表示する。
図５は、サーバ１が実行する健康状態推定処理の一例を示すフローチャートである。
ステップＳ１において、第一取得部１１１は、ユーザＵの声に関する声情報を取得する。ユーザＵの声に関する声情報には、ユーザＵが情報処理端末２に表示された文章を読み上げたときの声に関する音情報とユーザＵの声帯の振動に関する情報とが含まれる。
ステップＳ２において、第二取得部１１２は、ユーザＵの顔情報を取得する。ユーザＵの顔情報には、顔を撮像した時に得られる顔画像情報の他、例えば、ユーザＵの網膜の情報、眉間に関する情報、ユーザＵの表情や顔色に関する情報、顔画像より取得される脈波に関する情報も含まれる。
なお、ステップＳ１およびステップＳ２において取得される声情報および顔情報は、前述の複数の時点において取得されるものとする。
ステップＳ３において、第一抽出部１１３は、第一取得部１１１が取得したユーザＵの声に関する声情報に基づいて、音声特徴量を抽出する。なお、音声特徴量は、例えば、音声の変動パターンに基づく特徴量である。
ステップＳ４において、第二抽出部１１４は、第二取得部１１２が取得したユーザＵの顔情報に基づいて、顔特徴量を抽出する。なお、顔特徴量については後述する。
ステップＳ５において、健康状態推定部１１６は、前述の複数の時点における音声特徴量および顔特徴量に基づいて、ユーザＵの健康状態を推定する。
ステップＳ６において、表示制御部１１７は、ユーザＵの健康状態を、例えば、ユーザ端末３に表示する。
【0056】
＜健康状態の推定における表示例＞
図６は、健康状態の推定における表示の一例を示す第１の図である。なお、必要に応じて図４等を参照するものとする。
図６では、ユーザＵが出勤時に情報処理端末２（図１参照）の前に立った状態をイメージしている。
ユーザＵが情報処理端末２の画面に表示された文章（例えば「おはようございます」）を読み上げると、この読み上げの音声Ｓを、情報処理端末２の音声取得部２ａが取得する。情報処理端末２は、取得した音声Ｓをサーバ１に送信する。情報処理端末２は、検知部２ｂを介してユーザＵの声帯振動も取得し、これをサーバ１に送信する。
情報処理端末２の撮像部２ｃは、情報処理端末２のカメラに顔が写るように立ったユーザＵの顔を撮像し、情報処理端末２は、これを少なくともユーザＵの顔の情報として、サーバ１に送信する。
サーバ１は、通信部１９を介して情報処理端末２からの情報を取得する。即ち、第一取得部１１１は、前述のようなユーザＵの声に関する声情報を取得する。また、第二取得部１１２は、ユーザＵの顔情報を取得する。
なお、前述のユーザＵの声に関する声情報とユーザＵの顔情報は、複数の時点（例えば毎日（毎朝））において取得されるものとする。
ユーザＵの声に関する声情報には、情報処理端末２の画面に表示された文章を読み上げたユーザＵの声に関する音情報とユーザＵの声帯の振動に関する情報が含まれる。このような声情報から音声特徴量が抽出される。音声特徴量としては、例えば、ユーザＵの音声の変動パターンが挙げられる。
ユーザＵの顔情報には、ユーザＵの顔を撮像した時に得られる顔画像情報の他、ユーザＵの眉間に関する情報、ユーザＵの網膜に関する情報、ユーザＵの表情や顔色の情報、顔画像情報から取得される脈波に関する情報が含まれる。なお、網膜に関する情報には、眼底画像が含まれるものとする。このような顔情報から顔特徴量が抽出される。
顔特徴量としては、例えば、顔のパーツの位置、またはサイズ等が挙げられる。具体的には、眉毛の位置、眉間の幅等が特徴量として挙げられる。また、眼底画像における血管の位置またはサイズ等が顔特徴量として挙げられる。また、口の位置、皺の位置、瞳孔のサイズ等が顔特徴量として挙げられる。さらに顔画像から取得される脈波から算出される情報としての脈拍数、呼吸数、交感神経及び副交感神経及びＨＦ／ＬＦ値を含む情報も、顔特徴量として挙げられる。
なお、各特徴量は、特徴量ＤＢ１８３に格納されている。
以上のような特徴量が夫々抽出されることにより、これら抽出量から健康状態ＨＳが推定される。
図６は、健康状態の推定における表示の一例を示す第１の図である。なお、必要に応じて図４等を参照するものとする。
図６では、ユーザＵが出勤時に情報処理端末２（図１参照）の前に立った状態をイメージしている。
ユーザＵが情報処理端末２の画面に表示された文章（例えば「おはようございます」）を読み上げると、この読み上げの音声Ｓを、情報処理端末２の音声取得部２ａが取得する。情報処理端末２は、取得した音声Ｓをサーバ１に送信する。情報処理端末２は、検知部２ｂを介してユーザＵの声帯振動も取得し、これをサーバ１に送信する。
情報処理端末２の撮像部２ｃは、情報処理端末２のカメラに顔が写るように立ったユーザＵの顔を撮像し、情報処理端末２は、これを少なくともユーザＵの顔の情報として、サーバ１に送信する。
サーバ１は、通信部１９を介して情報処理端末２からの情報を取得する。即ち、第一取得部１１１は、前述のようなユーザＵの声に関する声情報を取得する。また、第二取得部１１２は、ユーザＵの顔情報を取得する。
なお、前述のユーザＵの声に関する声情報とユーザＵの顔情報は、複数の時点（例えば毎日（毎朝））において取得されるものとする。
ユーザＵの声に関する声情報には、情報処理端末２の画面に表示された文章を読み上げたユーザＵの声に関する音情報とユーザＵの声帯の振動に関する情報が含まれる。このような声情報から音声特徴量が抽出される。音声特徴量としては、例えば、ユーザＵの音声の変動パターンが挙げられる。
ユーザＵの顔情報には、ユーザＵの顔を撮像した時に得られる顔画像情報の他、ユーザＵの眉間に関する情報、ユーザＵの網膜に関する情報、ユーザＵの表情や顔色の情報、顔画像情報から取得される脈波に関する情報が含まれる。なお、網膜に関する情報には、眼底画像が含まれるものとする。このような顔情報から顔特徴量が抽出される。
顔特徴量としては、例えば、顔のパーツの位置、またはサイズ等が挙げられる。具体的には、眉毛の位置、眉間の幅等が特徴量として挙げられる。また、眼底画像における血管の位置またはサイズ等が顔特徴量として挙げられる。また、口の位置、皺の位置、瞳孔のサイズ等が顔特徴量として挙げられる。さらに顔画像から取得される脈波から算出される情報としての脈拍数、呼吸数、交感神経及び副交感神経及びＨＦ／ＬＦ値を含む情報も、顔特徴量として挙げられる。
なお、各特徴量は、特徴量ＤＢ１８３に格納されている。
以上のような特徴量が夫々抽出されることにより、これら抽出量から健康状態ＨＳが推定される。
【0057】
前述の特徴量の夫々に基づいて、健康状態推定部１１６が、ユーザＵの健康状態を推定する例を説明する。
【0058】
（１）眉間に関する情報に基づく推定
図６に示す符号Ｆ１は、ユーザＵの眉間に関する情報である。
健康状態推定部１１６は、ユーザＵの眉間に関する情報から抽出された顔特徴量（例えば、眉毛の位置）に基づいて、ユーザＵの健康状態を推定する。具体的には、まず当該顔特徴量と、前述の音声特徴量（例えば前述の音声の変動パターンに基づく特徴量）とが前述の算出モデルへ入力されて、スコア算出部１１５によりスコアが算出される。そして、健康状態推定部１１６は、基準ＤＢ１８５に格納された基準を参照して、当該スコアから、ユーザＵの健康状態ＨＳを推定する。
例えば、スコア算出部１１５により算出されたスコアが４８である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。
一方、例えば、スコア算出部１１５により算出されたスコアが６０である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好」（所定の閾値Ｔｈ１以上）であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。
図６に示す符号Ｆ１は、ユーザＵの眉間に関する情報である。
健康状態推定部１１６は、ユーザＵの眉間に関する情報から抽出された顔特徴量（例えば、眉毛の位置）に基づいて、ユーザＵの健康状態を推定する。具体的には、まず当該顔特徴量と、前述の音声特徴量（例えば前述の音声の変動パターンに基づく特徴量）とが前述の算出モデルへ入力されて、スコア算出部１１５によりスコアが算出される。そして、健康状態推定部１１６は、基準ＤＢ１８５に格納された基準を参照して、当該スコアから、ユーザＵの健康状態ＨＳを推定する。
例えば、スコア算出部１１５により算出されたスコアが４８である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。
一方、例えば、スコア算出部１１５により算出されたスコアが６０である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好」（所定の閾値Ｔｈ１以上）であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。
【0059】
（２）網膜に関する情報に基づく推定
図６に示す符号Ｆ２は、ユーザＵの網膜に関する情報である。
健康状態推定部１１６は、ユーザＵの網膜に関する情報から抽出された顔特徴量（例えば、眼底画像における血管の位置またはサイズ）に基づいて、ユーザＵの健康状態を推定する。具体的には、当該顔特徴量が算出モデルへ入力されて、スコア算出部１１５によりスコアが算出される。そして、健康状態推定部１１６は、基準ＤＢ１８５に格納された基準を参照して、当該スコアから、ユーザＵの健康状態ＨＳを推定する。
例えば、スコア算出部１１５により算出されたスコアが４０である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。なお、この場合において、所定の方法で、ユーザＵに警告がなされてもよい。例えば、第一警告部１２１によって警告がなされてもよい。
一方、例えば、スコア算出部１１５により算出されたスコアが６１である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好」（所定の閾値Ｔｈ１以上）であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。
なお、前述の顔特徴量（眼底画像における血管の位置またはサイズ）に基づいて、判定部１２０は、ユーザＵが糖尿病または緑内障に罹患しているか否かについて判定する。健康状態推定部１１６は、この判定部１２０の判定の結果に基づいて、ユーザＵの健康状態を推定してもよい。例えば、判定部１２０によって緑内障であると判定されたユーザＵについて、健康状態推定部１１６は、当該ユーザＵの健康状態が不良であると推定してもよい。
図６に示す符号Ｆ２は、ユーザＵの網膜に関する情報である。
健康状態推定部１１６は、ユーザＵの網膜に関する情報から抽出された顔特徴量（例えば、眼底画像における血管の位置またはサイズ）に基づいて、ユーザＵの健康状態を推定する。具体的には、当該顔特徴量が算出モデルへ入力されて、スコア算出部１１５によりスコアが算出される。そして、健康状態推定部１１６は、基準ＤＢ１８５に格納された基準を参照して、当該スコアから、ユーザＵの健康状態ＨＳを推定する。
例えば、スコア算出部１１５により算出されたスコアが４０である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。なお、この場合において、所定の方法で、ユーザＵに警告がなされてもよい。例えば、第一警告部１２１によって警告がなされてもよい。
一方、例えば、スコア算出部１１５により算出されたスコアが６１である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好」（所定の閾値Ｔｈ１以上）であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。
なお、前述の顔特徴量（眼底画像における血管の位置またはサイズ）に基づいて、判定部１２０は、ユーザＵが糖尿病または緑内障に罹患しているか否かについて判定する。健康状態推定部１１６は、この判定部１２０の判定の結果に基づいて、ユーザＵの健康状態を推定してもよい。例えば、判定部１２０によって緑内障であると判定されたユーザＵについて、健康状態推定部１１６は、当該ユーザＵの健康状態が不良であると推定してもよい。
【0060】
（３）表情や顔色の情報に基づく推定
図６に示すＦ３は、ユーザＵの表情や顔色に関する情報である。
健康状態推定部１１６は、ユーザＵの表情や顔色に関する情報から抽出された顔特徴量（例えば、口の位置）に基づいて、ユーザＵの健康状態を推定する。具体的には、まず当該顔特徴量と、前述の音声特徴量（例えば前述の音声の変動パターンに基づく特徴量）とが前述の算出モデルへ入力されて、スコア算出部１１５によりスコアが算出される。そして、健康状態推定部１１６は、基準ＤＢ１８５に格納された基準を参照して、当該スコアから、ユーザＵの健康状態ＨＳを推定する。
例えば、スコア算出部１１５により算出されたスコアが４５である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。
一方、例えば、スコア算出部１１５により算出されたスコアが６５である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好」（所定の閾値Ｔｈ１以上）であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。
なお、ユーザＵの表情や顔色は、解析部１１９によって解析される。解析部１１９は、表情と顔色のどちらかのみを解析してもよい。健康状態推定部１１６は、この解析部１１９の解析結果に基づいて、ユーザＵの健康状態を推定してもよい。例えば、解析部１１９が「笑顔である」と表情を解析したユーザＵについて、健康状態推定部１１６は、当該ユーザＵの健康状態が良好であると推定してもよい。
図６に示すＦ３は、ユーザＵの表情や顔色に関する情報である。
健康状態推定部１１６は、ユーザＵの表情や顔色に関する情報から抽出された顔特徴量（例えば、口の位置）に基づいて、ユーザＵの健康状態を推定する。具体的には、まず当該顔特徴量と、前述の音声特徴量（例えば前述の音声の変動パターンに基づく特徴量）とが前述の算出モデルへ入力されて、スコア算出部１１５によりスコアが算出される。そして、健康状態推定部１１６は、基準ＤＢ１８５に格納された基準を参照して、当該スコアから、ユーザＵの健康状態ＨＳを推定する。
例えば、スコア算出部１１５により算出されたスコアが４５である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。
一方、例えば、スコア算出部１１５により算出されたスコアが６５である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好」（所定の閾値Ｔｈ１以上）であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。
なお、ユーザＵの表情や顔色は、解析部１１９によって解析される。解析部１１９は、表情と顔色のどちらかのみを解析してもよい。健康状態推定部１１６は、この解析部１１９の解析結果に基づいて、ユーザＵの健康状態を推定してもよい。例えば、解析部１１９が「笑顔である」と表情を解析したユーザＵについて、健康状態推定部１１６は、当該ユーザＵの健康状態が良好であると推定してもよい。
【0061】
（４）脈波から算出される情報に基づく推定
図６に示すＦ４は、ユーザＵの顔画像から取得される脈波に関する情報である。
健康状態推定部１１６は、ユーザＵの顔画像から取得される脈波に関する情報から抽出された顔特徴量（例えば、呼吸数、心拍数およびＬＦ／ＨＦ値）に基づいて、ユーザＵの健康状態を推定する。具体的には、まず当該顔特徴量と、前述の音声特徴量（例えば前述の音声の変動パターンに基づく特徴量）とが前述の算出モデルへ入力されて、スコア算出部１１５によりスコアが算出される。そして、健康状態推定部１１６は、基準ＤＢ１８５に格納された基準を参照して、当該スコアから、ユーザＵの健康状態ＨＳを推定する。
例えば、スコア算出部１１５により算出されたスコアが４０である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。
一方、例えば、スコア算出部１１５により算出されたスコアが６０である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好」（所定の閾値Ｔｈ１以上）であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。
なお、前述の顔特徴量（呼吸数、心拍数およびＬＦ／ＨＦ値）に基づいて、判定部１２０は、ユーザＵが自律神経失調症に罹患しているか否かについて判定する。健康状態推定部１１６は、この判定部１２０の判定の結果に基づいて、ユーザＵの健康状態を推定してもよい。例えば、判定部１２０によって自律神経失調症であると判定されたユーザＵについて、健康状態推定部１１６は、当該ユーザＵの健康状態が不良であると推定してもよい。
図６に示すＦ４は、ユーザＵの顔画像から取得される脈波に関する情報である。
健康状態推定部１１６は、ユーザＵの顔画像から取得される脈波に関する情報から抽出された顔特徴量（例えば、呼吸数、心拍数およびＬＦ／ＨＦ値）に基づいて、ユーザＵの健康状態を推定する。具体的には、まず当該顔特徴量と、前述の音声特徴量（例えば前述の音声の変動パターンに基づく特徴量）とが前述の算出モデルへ入力されて、スコア算出部１１５によりスコアが算出される。そして、健康状態推定部１１６は、基準ＤＢ１８５に格納された基準を参照して、当該スコアから、ユーザＵの健康状態ＨＳを推定する。
例えば、スコア算出部１１５により算出されたスコアが４０である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。
一方、例えば、スコア算出部１１５により算出されたスコアが６０である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好」（所定の閾値Ｔｈ１以上）であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。
なお、前述の顔特徴量（呼吸数、心拍数およびＬＦ／ＨＦ値）に基づいて、判定部１２０は、ユーザＵが自律神経失調症に罹患しているか否かについて判定する。健康状態推定部１１６は、この判定部１２０の判定の結果に基づいて、ユーザＵの健康状態を推定してもよい。例えば、判定部１２０によって自律神経失調症であると判定されたユーザＵについて、健康状態推定部１１６は、当該ユーザＵの健康状態が不良であると推定してもよい。
【0062】
なお、前述の眉間、網膜、表情や顔色、脈波といったユーザＵの顔情報が第二取得部１１２により取得される際に同時に顔認証が行われてもよい。これにより、各顔特徴量を有しているユーザＵを特定できる。当該ユーザＵの健康状態の推定結果（「健康状態が不良である」）は、ユーザ情報ＤＢ１８８に格納される。
【0063】
（５）音声特徴量（例えば音声パターン）に基づく推定
図中のＳは、ユーザＵの音声である。当該音声Ｓの情報から抽出された音声特徴量は、ここでは声の変動パターンであり、例えば、大うつ病の変動パターンと略同一のものであるとする。
なお、声の変動パターンに関し補足すると、大うつ病やパーキンソン病、認知症といった各疾患には特有の変動パターンがあり、そして、その変動パターンは、健常（健康）の声の変動パターンとは明らかに異なる。このため、ここでは声の変動パターンを採用しており、健常（健康）の声の変動パターンに類似しているか、前述の各疾患いずれかの声の変動パターンに類似しているか、等から推定を行っている。
健康状態推定部１１６は、当該音声特徴量からユーザＵの健康状態ＨＳを推定する。具体的には、当該音声特徴量と、顔特徴量に基づいて、ユーザＵの健康状態ＨＳを推定する。
健康状態推定部１１６は、ユーザＵの声の変動パターンが大うつ病の変動パターンと略同一であるため、ユーザＵの健康状態ＨＳが不良であると推定する。
図中のＳは、ユーザＵの音声である。当該音声Ｓの情報から抽出された音声特徴量は、ここでは声の変動パターンであり、例えば、大うつ病の変動パターンと略同一のものであるとする。
なお、声の変動パターンに関し補足すると、大うつ病やパーキンソン病、認知症といった各疾患には特有の変動パターンがあり、そして、その変動パターンは、健常（健康）の声の変動パターンとは明らかに異なる。このため、ここでは声の変動パターンを採用しており、健常（健康）の声の変動パターンに類似しているか、前述の各疾患いずれかの声の変動パターンに類似しているか、等から推定を行っている。
健康状態推定部１１６は、当該音声特徴量からユーザＵの健康状態ＨＳを推定する。具体的には、当該音声特徴量と、顔特徴量に基づいて、ユーザＵの健康状態ＨＳを推定する。
健康状態推定部１１６は、ユーザＵの声の変動パターンが大うつ病の変動パターンと略同一であるため、ユーザＵの健康状態ＨＳが不良であると推定する。
【0064】
なお、前述の推定を実行するにあたり、音声特徴量と、顔特徴量とに、差異がある場合（例えば、音声特徴から推定する健康状態が良好であり、顔特徴量から推定する健康状態が不良である場合）、健康状態推定部１１６は、音声特徴量を優先して、音声特徴量に基づいた推定を、ユーザＵの健康状態として採用してもよい。また、健康状態推定部１１６は、後述するスコアに基づいた健康状態の推定をする場合において、音声特徴量のスコアの係数を高くして（重みづけをして）スコアを算出してもよい。
【0065】
図７は、健康状態の推定における表示の一例を示す第２の図である。
図７（ａ）は複数のユーザＵｎの健康状態（を示すスコア）を示すグラフである。図７（ｂ）は、図７（ａ）におけるユーザＵ（例えばユーザＵ８＿Ｍ８）の健康状態ＨＳを示す図である。ここでは、ユーザＵの健康状態ＨＳが、後述する警告されるような状態であることを示している。
図７（ａ）のグラフの縦軸は、スコアを示す。このスコアの高低はユーザＵの健康状態の高低を示す。グラフの横軸は、Ｍ１からＭ２０まで目盛りが振られている。Ｍ１からＭ２０の目盛り一つ一つは、複数のユーザ（ユーザＵ＿Ｍ１～ユーザＵ＿Ｍ２０）を示す。図７（ａ）では２０人分が表示されている。
グラフには、複数の丸型のアイテムＣがプロットされている。アイテムＣは、グラフの縦軸と並行するように垂直方向にプロットされている。アイテムＣは垂直方向に間隔をあけて広がってプロットされたり、部分的にまとまってプロットされたりして、様々である。ここで、アイテムＣが垂直方向に広がっている場合を「ばらつきが大きい」とし、逆にまとまっている場合を「ばらつきが小さい」と定義する。図７（ａ）では比較的ばらついた形で表示されている。アイテムＣは、ユーザＵの健康状態を示すスコアである。図７（ａ）ではスコアを、数値そのものでなく、アイテムＣで表している。
ユーザＵの健康状態を示すスコア（アイテムＣ）は、ユーザＵ一人につき（目盛り一つにつき）、複数プロットされている。例えば、目盛りＭ１上には、縦に６つのアイテムＣが表示されている（一部重なっている）。これは、ユーザＵの６日分のスコアを示している。ここでは、一つのアイテムＣを、一日単位の健康状態のスコアとする。
図７（ａ）は複数のユーザＵｎの健康状態（を示すスコア）を示すグラフである。図７（ｂ）は、図７（ａ）におけるユーザＵ（例えばユーザＵ８＿Ｍ８）の健康状態ＨＳを示す図である。ここでは、ユーザＵの健康状態ＨＳが、後述する警告されるような状態であることを示している。
図７（ａ）のグラフの縦軸は、スコアを示す。このスコアの高低はユーザＵの健康状態の高低を示す。グラフの横軸は、Ｍ１からＭ２０まで目盛りが振られている。Ｍ１からＭ２０の目盛り一つ一つは、複数のユーザ（ユーザＵ＿Ｍ１～ユーザＵ＿Ｍ２０）を示す。図７（ａ）では２０人分が表示されている。
グラフには、複数の丸型のアイテムＣがプロットされている。アイテムＣは、グラフの縦軸と並行するように垂直方向にプロットされている。アイテムＣは垂直方向に間隔をあけて広がってプロットされたり、部分的にまとまってプロットされたりして、様々である。ここで、アイテムＣが垂直方向に広がっている場合を「ばらつきが大きい」とし、逆にまとまっている場合を「ばらつきが小さい」と定義する。図７（ａ）では比較的ばらついた形で表示されている。アイテムＣは、ユーザＵの健康状態を示すスコアである。図７（ａ）ではスコアを、数値そのものでなく、アイテムＣで表している。
ユーザＵの健康状態を示すスコア（アイテムＣ）は、ユーザＵ一人につき（目盛り一つにつき）、複数プロットされている。例えば、目盛りＭ１上には、縦に６つのアイテムＣが表示されている（一部重なっている）。これは、ユーザＵの６日分のスコアを示している。ここでは、一つのアイテムＣを、一日単位の健康状態のスコアとする。
【0066】
ここで、前述のスコア、および、スコアに基づいて、ユーザＵの健康状態が推定される例を説明する。
【0067】
スコアを説明する。スコアはスコア算出部１１５によって、前述した算出モデルを用いて算出される。具体的には、第一抽出部１１３が抽出した音声特徴量と、第二抽出部１１４が抽出した顔特徴量とが、前述の算出モデルへ入力され、ユーザＵの健康状態を示すスコアが出力される。
【0068】
スコアに基づいて、ユーザＵの健康状態が推定される例を説明する。
（１）健康状態推定部１１６による推定
健康状態推定部１１６は、スコア算出部１１５によって算出されたスコアと、基準ＤＢ１８５に格納されたデータを参照して、スコア算出部１１５によって算出されたスコアから、ユーザＵの健康状態を推定する。
例えば、スコア算出部１１５により算出されたスコアが７０である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好（所定の閾値Ｔｈ１以上）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。スコア算出部１１５により算出されたスコアが４０である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。
なお、健康状態推定部１１６は、後述の疾患有無推定部１１８の推定に基づいて、ユーザＵの健康状態を推定してもよい。例えば、疾患有無推定部１１８によって疾患有りと推定されたユーザＵについて、健康状態推定部１１６は、当該ユーザＵの健康状態が不良であると推定してもよい。
（２）疾患有無推定部１１８による推定
疾患有無推定部１１８は、スコア算出部１１５が算出したユーザＵの健康状態を示すスコアから、ユーザＵにおける疾患の有無を推定する。より具体的には、疾患有無推定部１１８は、基準ＤＢ１８５に格納されたデータを参照して、スコア算出部１１５によって算出されたスコアから、ユーザＵにおける疾患の有無を推定する。
例えば、スコア算出部１１５が算出したスコアが例えば５０である場合、基準ＤＢ１８５に格納された基準が「疾患有、即ちスコア３０未満」であることから、疾患有無推定部１１８は、ユーザＵにおける疾患がないと推定する。スコア算出部１１５が算出したスコアが例えば２０であるときは、「疾患有、即ちスコア３０未満」であることから、疾患有無推定部１１８は、ユーザＵにおける疾患があると推定する。
なお、疾患有無推定部１１８は、前述の健康状態推定部１１６の推定に基づいて、ユーザＵの健康状態を推定してもよい。例えば、健康状態推定部１１６によって健康状態不良と推定されたユーザＵについて、当該ユーザＵのスコアが、疾患有とされる各基準スコアと同値未満だった場合に、疾患有無推定部１１８は、ユーザＵにおける疾患有りと推定してもよい。
（１）健康状態推定部１１６による推定
健康状態推定部１１６は、スコア算出部１１５によって算出されたスコアと、基準ＤＢ１８５に格納されたデータを参照して、スコア算出部１１５によって算出されたスコアから、ユーザＵの健康状態を推定する。
例えば、スコア算出部１１５により算出されたスコアが７０である場合、基準ＤＢ１８５に格納された基準が「スコアが６０以上、すなわち健康状態が良好（所定の閾値Ｔｈ１以上）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが良好であると推定する。スコア算出部１１５により算出されたスコアが４０である場合、基準ＤＢ１８５に格納された基準が「スコアが５０未満、すなわち健康状態が不良（所定の閾値Ｔｈ２未満）」であることから、健康状態推定部１１６は、ユーザＵの健康状態ＨＳが不良であると推定する。
なお、健康状態推定部１１６は、後述の疾患有無推定部１１８の推定に基づいて、ユーザＵの健康状態を推定してもよい。例えば、疾患有無推定部１１８によって疾患有りと推定されたユーザＵについて、健康状態推定部１１６は、当該ユーザＵの健康状態が不良であると推定してもよい。
（２）疾患有無推定部１１８による推定
疾患有無推定部１１８は、スコア算出部１１５が算出したユーザＵの健康状態を示すスコアから、ユーザＵにおける疾患の有無を推定する。より具体的には、疾患有無推定部１１８は、基準ＤＢ１８５に格納されたデータを参照して、スコア算出部１１５によって算出されたスコアから、ユーザＵにおける疾患の有無を推定する。
例えば、スコア算出部１１５が算出したスコアが例えば５０である場合、基準ＤＢ１８５に格納された基準が「疾患有、即ちスコア３０未満」であることから、疾患有無推定部１１８は、ユーザＵにおける疾患がないと推定する。スコア算出部１１５が算出したスコアが例えば２０であるときは、「疾患有、即ちスコア３０未満」であることから、疾患有無推定部１１８は、ユーザＵにおける疾患があると推定する。
なお、疾患有無推定部１１８は、前述の健康状態推定部１１６の推定に基づいて、ユーザＵの健康状態を推定してもよい。例えば、健康状態推定部１１６によって健康状態不良と推定されたユーザＵについて、当該ユーザＵのスコアが、疾患有とされる各基準スコアと同値未満だった場合に、疾患有無推定部１１８は、ユーザＵにおける疾患有りと推定してもよい。
【0069】
図７（ａ）の説明に戻る。図７（ａ）を具体的に説明する。
図７（ａ）に表示されているＭ１からＭ２０（すなわち、ユーザＵ１からユーザＵ２０）のスコアは、ばらつきが小さく、全体的にスコアが低い。
図７（ａ）は、具体的には、うつ病を罹患している可能性が高いユーザＵ（ユーザＵ１からユーザＵ８）のスコアと、脳疾患を罹患している可能性が高いユーザＵ（ユーザＵ９からユーザＵ２０）のスコアとが表示されている。すなわち、疾患があると推定されるユーザＵ群が表示されている。なお、図７（ａ）では、うつ病や脳疾患を罹患している可能性が高いユーザＵをスコアのばらつき具合に応じて判別しているが、うつ病や脳疾患を罹患している可能性が高いユーザＵをスコアの平均値に応じて判別してもよい。
図７中（ａ）のアイテムＣは、うつ病を罹患している可能性が高いユーザＵのスコアを示す。図７中の網掛けされたアイテムＣは、脳疾患を罹患している可能性が高いユーザＵのスコアを示す。
うつ病または脳疾患を罹患している可能性が高いとされたユーザＵ（例えばユーザＵ８＿Ｍ８）には、警告がなされる。具体的には、第一警告部１２１によって、警告がなされる。第一警告部１２１は、例えば、「うつ病の可能性が高いです」というテキストと警告マークＷをユーザ端末３に送信して、ユーザＵに警告する。
なお、図７（ａ）に示されるユーザＵ（例えばユーザＵ８＿Ｍ８）が実際にうつ病を罹患していた場合には、雇用主は、当該ユーザＵの罹患の事実を、当該ユーザＵの病歴として、ユーザ情報ＤＢ１８８に記録してもよい。ユーザＵが通院し、血液検査がなされた場合には、病歴とともに血液検査の結果を、ユーザ情報ＤＢ１８８に記録してもよい。
当該ユーザＵの健康状態が再び推定される際に、健康状態推定部１１６は、当該病歴（うつ病の病歴）に基づいて、前述の基準スコア（例えば、スコアが６０以上、すなわち健康状態が良好）を低く設定してユーザＵの健康状態を推定する。
また、健康状態推定部１１６はその際、ユーザ情報ＤＢ１８８に格納されたユーザＵの血液検査の結果を考慮してユーザＵの健康状態を推定してもよい。例えば、うつ病では特定の物質の血中濃度が低くなるとされている。ユーザＵの血液検査の結果（３か月に一回の定期血液検査の結果）と、うつ病罹患時の血液検査の結果を比べて、例えば当該物質の濃度が低くなっている場合には、健康状態推定部１１６は、うつ病罹患時と比べユーザの健康状態が良好または良好に近づいていると推定してもよい。なお、健康状態推定部１１６は、血液検査の結果だけでなく、健康診断の結果も考慮して推定してもよく、当該再推定時とうつ病罹患時のスコアを比較して推定してもよい。健康状態推定部１１６は、「健康状態が良好（または不良）」という推定結果に替えて、「健康状態の改善の有無」を推定結果としてユーザＵに表示してもよい。これにより、ユーザＵは健康状態が改善されていることを認識できる。
図７では、うつ病を罹患している可能性が高い（疾患があると推定される）ユーザＵ群と、脳疾患を罹患している可能性が高い（疾患があると推定される）ユーザＵ群のスコアを示しているが、例えば、図示しない健常（健康）群の場合では、スコアが高い方にも丸が多くプロットされ、スコアのばらつきが大きな状態で示される。
図７（ａ）に表示されているＭ１からＭ２０（すなわち、ユーザＵ１からユーザＵ２０）のスコアは、ばらつきが小さく、全体的にスコアが低い。
図７（ａ）は、具体的には、うつ病を罹患している可能性が高いユーザＵ（ユーザＵ１からユーザＵ８）のスコアと、脳疾患を罹患している可能性が高いユーザＵ（ユーザＵ９からユーザＵ２０）のスコアとが表示されている。すなわち、疾患があると推定されるユーザＵ群が表示されている。なお、図７（ａ）では、うつ病や脳疾患を罹患している可能性が高いユーザＵをスコアのばらつき具合に応じて判別しているが、うつ病や脳疾患を罹患している可能性が高いユーザＵをスコアの平均値に応じて判別してもよい。
図７中（ａ）のアイテムＣは、うつ病を罹患している可能性が高いユーザＵのスコアを示す。図７中の網掛けされたアイテムＣは、脳疾患を罹患している可能性が高いユーザＵのスコアを示す。
うつ病または脳疾患を罹患している可能性が高いとされたユーザＵ（例えばユーザＵ８＿Ｍ８）には、警告がなされる。具体的には、第一警告部１２１によって、警告がなされる。第一警告部１２１は、例えば、「うつ病の可能性が高いです」というテキストと警告マークＷをユーザ端末３に送信して、ユーザＵに警告する。
なお、図７（ａ）に示されるユーザＵ（例えばユーザＵ８＿Ｍ８）が実際にうつ病を罹患していた場合には、雇用主は、当該ユーザＵの罹患の事実を、当該ユーザＵの病歴として、ユーザ情報ＤＢ１８８に記録してもよい。ユーザＵが通院し、血液検査がなされた場合には、病歴とともに血液検査の結果を、ユーザ情報ＤＢ１８８に記録してもよい。
当該ユーザＵの健康状態が再び推定される際に、健康状態推定部１１６は、当該病歴（うつ病の病歴）に基づいて、前述の基準スコア（例えば、スコアが６０以上、すなわち健康状態が良好）を低く設定してユーザＵの健康状態を推定する。
また、健康状態推定部１１６はその際、ユーザ情報ＤＢ１８８に格納されたユーザＵの血液検査の結果を考慮してユーザＵの健康状態を推定してもよい。例えば、うつ病では特定の物質の血中濃度が低くなるとされている。ユーザＵの血液検査の結果（３か月に一回の定期血液検査の結果）と、うつ病罹患時の血液検査の結果を比べて、例えば当該物質の濃度が低くなっている場合には、健康状態推定部１１６は、うつ病罹患時と比べユーザの健康状態が良好または良好に近づいていると推定してもよい。なお、健康状態推定部１１６は、血液検査の結果だけでなく、健康診断の結果も考慮して推定してもよく、当該再推定時とうつ病罹患時のスコアを比較して推定してもよい。健康状態推定部１１６は、「健康状態が良好（または不良）」という推定結果に替えて、「健康状態の改善の有無」を推定結果としてユーザＵに表示してもよい。これにより、ユーザＵは健康状態が改善されていることを認識できる。
図７では、うつ病を罹患している可能性が高い（疾患があると推定される）ユーザＵ群と、脳疾患を罹患している可能性が高い（疾患があると推定される）ユーザＵ群のスコアを示しているが、例えば、図示しない健常（健康）群の場合では、スコアが高い方にも丸が多くプロットされ、スコアのばらつきが大きな状態で示される。
【0070】
図８は、健康状態の推定における表示の一例を示す第３の図である。
図８（ａ）は所定期間のユーザＵの健康状態（を示すスコア）を示すグラフである。図８（ｂ）は、図８（ａ）におけるユーザＵの健康状態ＨＳを示す図である。ここでは、ユーザＵの健康状態ＨＳが、後述する警告されるような状態であることを示している。
図８を具体的に説明する。
グラフの縦軸は、スコアを示す。グラフの縦軸には、スコアの高低を示すような９０、７０、３０という３つの数値が示される（数値は一例である）。スコアはユーザＵの健康状態ＨＳを示す。グラフの横軸は、所定期間を示す。所定期間は、図８（ａ）の例では１週間としている。
スコアは右肩下がりに下降している。具体的には、１週間で９０から３０へとスコアが急降下している。
スコア判断部１２２は、スコアの変動量（図８の例では６０（９０－３０））が、基準ＤＢ１８５に格納されている所定の値（例えば、４０）を上回っているか否かを判断する。
この場合、ユーザＵの健康状態ＨＳが短期間で著しく悪くなっているといえることから、ユーザＵには、警告がなされる。具体的には、第二警告部１２３によって、警告がなされる。第二警告部１２３は、例えば、「うつ病の可能性が極めて高いです」という音声データと、警告マークＷをユーザ端末３に送信して、ユーザＵに警告する。
なお、第二警告部１２３は、ユーザＵの雇用主に警告をしてもよい。前述のような場合には、ユーザＵが離職する可能性が高いため、第二警告部１２３は、「離職アラート」のような警告マークＷを雇用主端末（図示せず）に送信して警告してもよい。
図８（ａ）は所定期間のユーザＵの健康状態（を示すスコア）を示すグラフである。図８（ｂ）は、図８（ａ）におけるユーザＵの健康状態ＨＳを示す図である。ここでは、ユーザＵの健康状態ＨＳが、後述する警告されるような状態であることを示している。
図８を具体的に説明する。
グラフの縦軸は、スコアを示す。グラフの縦軸には、スコアの高低を示すような９０、７０、３０という３つの数値が示される（数値は一例である）。スコアはユーザＵの健康状態ＨＳを示す。グラフの横軸は、所定期間を示す。所定期間は、図８（ａ）の例では１週間としている。
スコアは右肩下がりに下降している。具体的には、１週間で９０から３０へとスコアが急降下している。
スコア判断部１２２は、スコアの変動量（図８の例では６０（９０－３０））が、基準ＤＢ１８５に格納されている所定の値（例えば、４０）を上回っているか否かを判断する。
この場合、ユーザＵの健康状態ＨＳが短期間で著しく悪くなっているといえることから、ユーザＵには、警告がなされる。具体的には、第二警告部１２３によって、警告がなされる。第二警告部１２３は、例えば、「うつ病の可能性が極めて高いです」という音声データと、警告マークＷをユーザ端末３に送信して、ユーザＵに警告する。
なお、第二警告部１２３は、ユーザＵの雇用主に警告をしてもよい。前述のような場合には、ユーザＵが離職する可能性が高いため、第二警告部１２３は、「離職アラート」のような警告マークＷを雇用主端末（図示せず）に送信して警告してもよい。
【0071】
図９は、健康状態の推定における表示の一例を示す第４の図である。
図９（ａ）は複数のユーザＵｎの健康状態（を示すスコア）を示すグラフである。具体的には、あるユーザＵの健康状態を、他の複数のユーザＵｎの健康状態と比較したグラフである。図９（ｂ）は、図９（ａ）におけるユーザＵ４（符号Ｌ４。ユーザＵ４と符号Ｌ４との関係は後述する）の健康状態ＨＳを示す図である。ここでは、ユーザＵ４の健康状態ＨＳが、後述する警告され得る状態であることを示している。
図９を具体的に説明する。
グラフの縦軸は、スコアを示す（スコアの高低を示すような具体的な数値は省略する）。スコアはユーザＵの健康状態を示す。グラフの横軸は、所定期間を示す。図９（ａ）に示す符号Ｌ１から符号Ｌ４は、４人のユーザＵの健康状態を示す。ここでは、符号Ｌ１はユーザＵ１の健康状態、符号Ｌ２はユーザＵ２の健康状態、符号Ｌ３はユーザＵ３の健康状態、符号Ｌ４はユーザＵ４の健康状態を示し、ユーザＵ１からユーザＵ４の４人は、同一組織（例えばチーム）に属するものとする。
図９（ａ）に示す符号Ｌ１から符号Ｌ３は、比較的似た形状を描いている。一方、図９（ａ）に示す符号Ｌ４は、時間の経過とともに、符号Ｌ１、符号Ｌ２、符号Ｌ３から下方に大きく離れるような形状で描かれている。
健康状態推定部１１６は、ユーザＵ１からユーザＵ３の健康状態に基づいて、ユーザＵ４の健康状態ＨＳを推定する。すなわち、ユーザＵ１からユーザＵ３の健康状態と比較して、ユーザＵ４の健康状態を推定する。例えば、ユーザＵ４のスコアが、ユーザＵ１からユーザＵ３のスコアの平均値と所定の値以上乖離した期間が、所定期間続く場合、健康状態推定部１１６は、ユーザＵ４の健康状態が不良であると推定する。ユーザＵ４は、組織の中で孤立し、何かしらの苦痛、不快さ、ストレス等を感じていると考えられるためである。なお、この場合に、第一警告部１２１は、ユーザＵ４に警告をしてもよい。
図９（ａ）は複数のユーザＵｎの健康状態（を示すスコア）を示すグラフである。具体的には、あるユーザＵの健康状態を、他の複数のユーザＵｎの健康状態と比較したグラフである。図９（ｂ）は、図９（ａ）におけるユーザＵ４（符号Ｌ４。ユーザＵ４と符号Ｌ４との関係は後述する）の健康状態ＨＳを示す図である。ここでは、ユーザＵ４の健康状態ＨＳが、後述する警告され得る状態であることを示している。
図９を具体的に説明する。
グラフの縦軸は、スコアを示す（スコアの高低を示すような具体的な数値は省略する）。スコアはユーザＵの健康状態を示す。グラフの横軸は、所定期間を示す。図９（ａ）に示す符号Ｌ１から符号Ｌ４は、４人のユーザＵの健康状態を示す。ここでは、符号Ｌ１はユーザＵ１の健康状態、符号Ｌ２はユーザＵ２の健康状態、符号Ｌ３はユーザＵ３の健康状態、符号Ｌ４はユーザＵ４の健康状態を示し、ユーザＵ１からユーザＵ４の４人は、同一組織（例えばチーム）に属するものとする。
図９（ａ）に示す符号Ｌ１から符号Ｌ３は、比較的似た形状を描いている。一方、図９（ａ）に示す符号Ｌ４は、時間の経過とともに、符号Ｌ１、符号Ｌ２、符号Ｌ３から下方に大きく離れるような形状で描かれている。
健康状態推定部１１６は、ユーザＵ１からユーザＵ３の健康状態に基づいて、ユーザＵ４の健康状態ＨＳを推定する。すなわち、ユーザＵ１からユーザＵ３の健康状態と比較して、ユーザＵ４の健康状態を推定する。例えば、ユーザＵ４のスコアが、ユーザＵ１からユーザＵ３のスコアの平均値と所定の値以上乖離した期間が、所定期間続く場合、健康状態推定部１１６は、ユーザＵ４の健康状態が不良であると推定する。ユーザＵ４は、組織の中で孤立し、何かしらの苦痛、不快さ、ストレス等を感じていると考えられるためである。なお、この場合に、第一警告部１２１は、ユーザＵ４に警告をしてもよい。
【0072】
ここで、チームに溶け込めないために、ユーザＵ４の出勤状況が変わってくる可能性があると考えられる。「出勤状況が変わってくる」には、例えば、欠勤日が増えたり、転職活動に伴って週の半ばに休むことが続くこと等が挙げられる。
この場合、健康状態推定部１１６は、ユーザＵ４の出勤状況（勤怠情報）に基づいて健康状態ＨＳを推定する。例えば、健康状態推定部１１６は、ユーザＵの１か月の欠勤日が１０日以上である場合に、ユーザＵの健康状態が不良であると推定する。例えば、他のユーザＵと協働できないために残業時間が増大し、健康を害した可能性があるためである。また例えば、健康状態推定部１１６は、ユーザ情報ＤＢ１８８を参照した結果、ユーザＵの有給取得パターンが変わったと判断して、ユーザＵの健康状態が不良であると推定する。転職活動をするために、ユーザＵが週の半ばに有給取得した可能性があるためである。なお、これらの場合にも、第一警告部１２１は、ユーザＵ４に警告をしてもよい。
この場合、健康状態推定部１１６は、ユーザＵ４の出勤状況（勤怠情報）に基づいて健康状態ＨＳを推定する。例えば、健康状態推定部１１６は、ユーザＵの１か月の欠勤日が１０日以上である場合に、ユーザＵの健康状態が不良であると推定する。例えば、他のユーザＵと協働できないために残業時間が増大し、健康を害した可能性があるためである。また例えば、健康状態推定部１１６は、ユーザ情報ＤＢ１８８を参照した結果、ユーザＵの有給取得パターンが変わったと判断して、ユーザＵの健康状態が不良であると推定する。転職活動をするために、ユーザＵが週の半ばに有給取得した可能性があるためである。なお、これらの場合にも、第一警告部１２１は、ユーザＵ４に警告をしてもよい。
【0073】
図１０は、健康状態の推定に関連した一例を示す第５の図である。具体的には、図１０（ａ）は、複数のユーザＵｎの健康状態を示し、図１０（ｂ）は、複数のユーザＵｎが属する組織の健康状態を示している。すなわち、複数のユーザＵｎが属する組織の健康状態を、複数のユーザＵｎの健康状態と比較することによって示している。
図１０を具体的に説明する。
図１０（ａ）に示す符号Ｌ１、符号Ｌ２、および符号Ｌ３は、３人のユーザＵ１～Ｕ３の健康状態を示す。ここでは、符号Ｌ１はユーザＵ１の、符号Ｌ２はユーザＵ２の、符号Ｌ３はユーザＵ３の健康状態を示すものとする。
グラフの縦軸は、スコアを示す（スコアの高低を示すような具体的な数値は省略する）。スコアはユーザＵの健康状態を示す。グラフの横軸は、所定期間を示す。
図１０（ｂ）は、複数のユーザＵが属する組織そのものの健康状態を示す。図１０（ｂ）に示す符号Ｌ５は、ユーザＵ１、ユーザＵ２およびユーザＵ３が属する組織そのものの健康状態を示す。組織の健康状態とは、言い換えると、組織の健全度である。組織の健全度には、例えば、従業員が生き生き働いているか、顧客満足度が高いか等、が挙げられる。
グラフの縦軸は、スコアを示す（スコアの高低を示すような具体的な数値は省略する）。スコアは複数のユーザＵｎが属する組織そのものの健康状態を示す。グラフの横軸は、所定期間を示す。
図１０（ａ）と図１０（ｂ）を比較すると、符号Ｌ１から符号Ｌ３は緩やかではあるが、時間の経過とともに上昇しており、符号Ｌ５は、符号Ｌ１から符号Ｌ３と比較的似た形状を描いている。ここでは、符号Ｌ５は、符号Ｌ１から符号Ｌ３のスコアの平均値を描くものとする。
図１０を具体的に説明する。
図１０（ａ）に示す符号Ｌ１、符号Ｌ２、および符号Ｌ３は、３人のユーザＵ１～Ｕ３の健康状態を示す。ここでは、符号Ｌ１はユーザＵ１の、符号Ｌ２はユーザＵ２の、符号Ｌ３はユーザＵ３の健康状態を示すものとする。
グラフの縦軸は、スコアを示す（スコアの高低を示すような具体的な数値は省略する）。スコアはユーザＵの健康状態を示す。グラフの横軸は、所定期間を示す。
図１０（ｂ）は、複数のユーザＵが属する組織そのものの健康状態を示す。図１０（ｂ）に示す符号Ｌ５は、ユーザＵ１、ユーザＵ２およびユーザＵ３が属する組織そのものの健康状態を示す。組織の健康状態とは、言い換えると、組織の健全度である。組織の健全度には、例えば、従業員が生き生き働いているか、顧客満足度が高いか等、が挙げられる。
グラフの縦軸は、スコアを示す（スコアの高低を示すような具体的な数値は省略する）。スコアは複数のユーザＵｎが属する組織そのものの健康状態を示す。グラフの横軸は、所定期間を示す。
図１０（ａ）と図１０（ｂ）を比較すると、符号Ｌ１から符号Ｌ３は緩やかではあるが、時間の経過とともに上昇しており、符号Ｌ５は、符号Ｌ１から符号Ｌ３と比較的似た形状を描いている。ここでは、符号Ｌ５は、符号Ｌ１から符号Ｌ３のスコアの平均値を描くものとする。
【0074】
ここで、従業員の満足度と顧客満足度には正の相関関係があるとされている。従業員の満足度が上がると顧客へのサービスが向上し、顧客満足度の向上に繋がるとされている。例えば、コールセンターにおいては、オペレータ次第で、顧客満足度が変わる。オペレータは精神的な疾患を患うものが少なくないとされているが、心の健康状態が改善されれば、会話内容や顧客への対応が変わり、当該オペレータへの顧客満足度が高まり、その結果、組織への顧客満足度も高まる。
前述の従業員の満足度の中には、例えば、良好な健康状態を維持できることが挙げられる。換言すると、従業員（ユーザＵ）が健康な状態であれば、組織の状態も健全であるといえる可能性が高まる。
健康状態推定部１１６は、ユーザＵ１からユーザＵ３の健康状態に基づいて、ユーザＵ１からユーザＵ３が属する組織そのものの健康状態を推定する。すなわち、ユーザＵ１からユーザＵ３の健康状態と比較して、ユーザＵ１からユーザＵ３が属する組織そのものの健康状態を推定する。Ｌ５は、Ｌ１からＬ３と比較的似た形状を描いており、正の相関関係があると考えられるため、健康状態推定部１１６は、ユーザＵ１からユーザＵ３が属する組織そのものの健康状態が良好であると推定する。
前述の従業員の満足度の中には、例えば、良好な健康状態を維持できることが挙げられる。換言すると、従業員（ユーザＵ）が健康な状態であれば、組織の状態も健全であるといえる可能性が高まる。
健康状態推定部１１６は、ユーザＵ１からユーザＵ３の健康状態に基づいて、ユーザＵ１からユーザＵ３が属する組織そのものの健康状態を推定する。すなわち、ユーザＵ１からユーザＵ３の健康状態と比較して、ユーザＵ１からユーザＵ３が属する組織そのものの健康状態を推定する。Ｌ５は、Ｌ１からＬ３と比較的似た形状を描いており、正の相関関係があると考えられるため、健康状態推定部１１６は、ユーザＵ１からユーザＵ３が属する組織そのものの健康状態が良好であると推定する。
【0075】
＜変形例＞
前述の情報処理装置は、医療分野にも適用することができる。例えば、遠隔診療等において、医師が行う問診時に本サービスが利用される。複数の時点における患者（ユーザＵ）の声に関する声情報と、顔の表情や顔色、眉間や網膜等の情報が含まれる顔情報とが解析され、患者の健康状態が推定される。当該ユーザＵの症状は、医師の電子カルデに表示される。つまり、本診に入る前に、医師は、患者の一次症状を認識することができる。
本サービスを利用することで、医師にとっては効率的に診断を行うことができるというメリットがある。また、患者にとっても、自分の症状をうまく伝えられない患者（例えば高齢者）や、自分の症状を自覚していない患者がいるところ、本サービスを利用することで、症状を医師に正確かつ的確に伝えることができるというメリットがある。
前述の情報処理装置は、医療分野にも適用することができる。例えば、遠隔診療等において、医師が行う問診時に本サービスが利用される。複数の時点における患者（ユーザＵ）の声に関する声情報と、顔の表情や顔色、眉間や網膜等の情報が含まれる顔情報とが解析され、患者の健康状態が推定される。当該ユーザＵの症状は、医師の電子カルデに表示される。つまり、本診に入る前に、医師は、患者の一次症状を認識することができる。
本サービスを利用することで、医師にとっては効率的に診断を行うことができるというメリットがある。また、患者にとっても、自分の症状をうまく伝えられない患者（例えば高齢者）や、自分の症状を自覚していない患者がいるところ、本サービスを利用することで、症状を医師に正確かつ的確に伝えることができるというメリットがある。
【0076】
＜まとめ＞
以上、本発明の情報処理装置の実施形態について説明したが、本発明は上述した本実施形態に限定されない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果の列挙に過ぎず、本発明による効果は、本実施形態に記載されたものに限定されない。
以上、本発明の情報処理装置の実施形態について説明したが、本発明は上述した本実施形態に限定されない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果の列挙に過ぎず、本発明による効果は、本実施形態に記載されたものに限定されない。
【0077】
本実施形態において、図３に示すハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。換言すると、図４に示す機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理装置に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
【0078】
また、機能ブロックの存在場所も、図４に特に限定されず、任意でよい。例えば、サーバ１の機能ブロックを複数のサーバに分散させてもよい。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0079】
また、例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。また、コンピュータは、専用のハードウェアに組み込まれるコンピュータであってもよい。
【0080】
コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他、汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0081】
また、例えば、このようなプログラムを含む記録媒体は、利用者にプログラムを提供するために、装置本体とは別に配布される図示しないリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態で利用者に提供される記録媒体等で構成されるものであってもよい。
【0082】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含む。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味する。
【0083】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図３のリムーバブルメディア２１により構成されるだけでなく、装置本体に予め組み込まれた状態で利用者に提供される記録媒体等で構成される。
リムーバブルメディア２１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。
装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図３のＲＯＭ１２や、図３の記憶部１８に含まれるハードディスク等で構成される。
リムーバブルメディア２１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。
装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図３のＲＯＭ１２や、図３の記憶部１８に含まれるハードディスク等で構成される。
【0084】
以上まとめると、本発明が適用される情報処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理装置（例えば、図２のサーバ１）は、ユーザの声に関する声情報を取得する第一取得手段（例えば、図４の第一取得部１１１）と、前記ユーザの顔情報を取得する第二取得手段（例えば、図４の第二取得部１１２）と、前記声情報および前記顔情報を記憶する第一記憶手段（例えば、図４の記憶部１８）と、前記声情報に基づいて、音声特徴量を抽出する第一抽出手段（例えば、図４の第一抽出部１１３）と、前記顔情報に基づいて、顔特徴量を抽出する第二抽出手段（例えば、図４の第二抽出部１１４）と、複数の時点における前記音声特徴量および前記顔特徴量に基づいて、前記ユーザの健康状態を推定する健康状態推定手段（例えば、図４の健康状態推定部１１６）と、を備える。
本発明によれば、ユーザの健康状態を高精度に推定することができる。すなわち、本発明によれば、複数の時点における音声特徴量および顔特徴量に基づくことにより、推定精度を向上させることができる。
即ち、本発明が適用される情報処理装置（例えば、図２のサーバ１）は、ユーザの声に関する声情報を取得する第一取得手段（例えば、図４の第一取得部１１１）と、前記ユーザの顔情報を取得する第二取得手段（例えば、図４の第二取得部１１２）と、前記声情報および前記顔情報を記憶する第一記憶手段（例えば、図４の記憶部１８）と、前記声情報に基づいて、音声特徴量を抽出する第一抽出手段（例えば、図４の第一抽出部１１３）と、前記顔情報に基づいて、顔特徴量を抽出する第二抽出手段（例えば、図４の第二抽出部１１４）と、複数の時点における前記音声特徴量および前記顔特徴量に基づいて、前記ユーザの健康状態を推定する健康状態推定手段（例えば、図４の健康状態推定部１１６）と、を備える。
本発明によれば、ユーザの健康状態を高精度に推定することができる。すなわち、本発明によれば、複数の時点における音声特徴量および顔特徴量に基づくことにより、推定精度を向上させることができる。
【0085】
また、少なくとも前記健康状態推定手段によって推定された前記ユーザの健康状態を表示する表示制御手段（例えば、図４の表示制御部１１７）をさらに備えてもよい。
本発明によれば、表示制御手段があることで、ユーザの健康状態を可視化することができる。
本発明によれば、表示制御手段があることで、ユーザの健康状態を可視化することができる。
【0086】
また、前記ユーザの健康状態を示すスコアおよび前記スコアに関する閾値に基づいて、前記ユーザにおける第一の疾患の有無を推定する疾患有無推定手段（例えば、図４の疾患有無推定部１１８）をさらに備えてもよい。
本発明によれば、疾患の有無をユーザの健康状態の推定に活用することができるため、健康状態を高精度に推定することができる。
本発明によれば、疾患の有無をユーザの健康状態の推定に活用することができるため、健康状態を高精度に推定することができる。
【0087】
また、前記顔情報に基づいて、前記ユーザの表情または顔色を解析する解析手段（例えば、図４の解析部１１９）をさらに備え、前記健康状態推定手段は、前記解析手段によって解析された結果を用いて前記ユーザの健康状態を推定してもよい。
本発明によれば、ユーザの表情または顔色は、ユーザが自覚しない疾患の症状を示す可能性があるため、ユーザの表情または顔色の解析結果を用いることで、健康状態を高精度に推定することができる。
本発明によれば、ユーザの表情または顔色は、ユーザが自覚しない疾患の症状を示す可能性があるため、ユーザの表情または顔色の解析結果を用いることで、健康状態を高精度に推定することができる。
【0088】
また、前記顔情報は、網膜の状態に関する情報を含み、前記網膜の状態に関する情報に基づいて、前記ユーザにおける第二の疾患の有無を判定する判定手段（例えば、図４の判定部１２０）をさらに備えてもよい。
本発明によれば、ユーザは、自覚していない疾患を認識することができる。
本発明によれば、ユーザは、自覚していない疾患を認識することができる。
【0089】
また、前記顔情報は、顔画像から取得される脈波に関する情報を含み、脈波に関する情報に基づいて、前記ユーザにおける第三の疾患の有無を判定する判定手段（例えば、図４の判定部１２０）をさらに備えていてもよい。 本発明によれば、ユーザは、自覚していない疾患を認識することができる。
【0090】
また、前記疾患有無推定手段によって前記ユーザに前記第一の疾患が有ると推定された場合に、所定の警告をする第一警告手段（例えば、図４の第一警告部１２１）をさらに備えてもよい。
本発明によれば、警告をされることで、ユーザは、自覚していない疾患を認識することができる。
本発明によれば、警告をされることで、ユーザは、自覚していない疾患を認識することができる。
【0091】
また、所定期間における前記ユーザの健康状態に関する複数のスコアから、当該複数のスコアの変動量が所定の値以上および所定の値以下のうち少なくとも一つを判断する判断手段（例えば、図４のスコア判断部１２２）と、前記判断手段の前記判断に基づいて所定の警告をする第二警告手段（例えば、図４の第二警告部１２３）をさらに備えてもよい。
本発明によれば、複数のデータが用いられることでユーザの健康状態の傾向が明確になるとともに、傾向がマイナスな要素を含む場合に警告がなされるため、ユーザは、健康状態を改善させるきっかけを得ることができる。
本発明によれば、複数のデータが用いられることでユーザの健康状態の傾向が明確になるとともに、傾向がマイナスな要素を含む場合に警告がなされるため、ユーザは、健康状態を改善させるきっかけを得ることができる。
【0092】
また、前記表示制御手段は、前記ユーザの健康状態を示すスコアのばらつきに基づき、前記ユーザの健康状態を表示してもよい。
本発明によれば、ユーザの健康状態を示すスコアを表示し、表示されたスコアのばらつき具合をみることで、ユーザの健康状態が可視化できる。
本発明によれば、ユーザの健康状態を示すスコアを表示し、表示されたスコアのばらつき具合をみることで、ユーザの健康状態が可視化できる。
【0093】
また、前記音声特徴量は、音声の変動パターンに基づく特徴量であってもよい。
本発明によれば、音声の変動パターンは疾患毎に特有であるため、音声の変動パターンを特徴量に用いることにより、健康状態の推定（疾患の推定）を高精度に行うことができる。
本発明によれば、音声の変動パターンは疾患毎に特有であるため、音声の変動パターンを特徴量に用いることにより、健康状態の推定（疾患の推定）を高精度に行うことができる。
【0094】
また、前記顔情報は、眉間に関する情報を含んでもよい。
本発明によれば、眉間の情報をも健康状態の推定に用いるため、健康状態を高精度に推定することができる。
本発明によれば、眉間の情報をも健康状態の推定に用いるため、健康状態を高精度に推定することができる。
【0095】
また、前記ユーザの血液検査の結果を取得する第三取得手段（例えば、図４の血液情報取得部１２４）をさらに備え、前記健康状態推定手段は、さらに、前記第三取得手段が取得した前記ユーザの血液検査の結果に基づいて、前記ユーザの健康状態を推定してもよい。
本発明によれば、ユーザの声情報と顔情報に加えて、血液の情報が健康状態の推定に加わるため、健康状態を高精度に推定することができる。
本発明によれば、ユーザの声情報と顔情報に加えて、血液の情報が健康状態の推定に加わるため、健康状態を高精度に推定することができる。
【0096】
また、前記健康状態推定手段は、前記音声特徴量と前記顔特徴量のうち、前記音声特徴量の方を推定の優先としてもよい。
本発明によれば、顔の情報と声の情報とでは、声の情報の方が正確な症状を示す場合が多いため、健康状態を高精度に推定することができる。
本発明によれば、顔の情報と声の情報とでは、声の情報の方が正確な症状を示す場合が多いため、健康状態を高精度に推定することができる。
【0097】
また、前記ユーザの勤怠情報を取得する第四取得手段（例えば、図４の勤怠情報取得部１２５）をさらに備え、前記健康状態推定手段は、さらに、前記第四取得手段が取得した前記ユーザの勤怠情報に基づいて、前記ユーザの健康状態を推定してもよい。
本発明によれば、ユーザの勤怠情報を利用することで、声と顔の情報からは分からない、長時間労働や休暇取得日数が多いといったユーザの健康状態の問題点を把握することができる。
本発明によれば、ユーザの勤怠情報を利用することで、声と顔の情報からは分からない、長時間労働や休暇取得日数が多いといったユーザの健康状態の問題点を把握することができる。
【0098】
前記ユーザの勤怠情報は、前記第二取得手段よりユーザの出退勤時に取得された顔情報を含むものであることができる。
本発明によれば、健康状態把握のために設置した情報処理装置を、勤怠管理にも利用することができる。
本発明によれば、健康状態把握のために設置した情報処理装置を、勤怠管理にも利用することができる。
【0099】
また、前記ユーザの顔認証を行う認証手段（例えば、図４のサーバ１）と、前記認証手段が行った前記顔認証に基づいて特定された前記ユーザの情報に紐づけて、前記ユーザの健康状態を記憶する第二記憶手段（例えば、図４のユーザ情報ＤＢ１８８）をさらに備えてもよい。
本発明によれば、ユーザの識別情報とユーザの健康状態を紐づけて管理できるため、管理者（雇用主）がユーザの健康状態を管理し易い。
本発明によれば、ユーザの識別情報とユーザの健康状態を紐づけて管理できるため、管理者（雇用主）がユーザの健康状態を管理し易い。
【0100】
また、前記健康状態推定手段は、さらに、複数のユーザが属する組織において、前記複数のユーザの健康状態に基づいて、前記ユーザの健康状態と前記組織の健康状態の少なくとも一つを推定してもよい。
本発明によれば、ある一ユーザの健康状態を、他の複数のユーザの健康状態に照らして推定するため、組織が、ユーザの健康状態の傾向を認識し易くなる。
本発明によれば、ある一ユーザの健康状態を、他の複数のユーザの健康状態に照らして推定するため、組織が、ユーザの健康状態の傾向を認識し易くなる。
【0101】
また、前記ユーザの病歴を取得する第五取得手段（例えば、図４の病歴情報取得部１２６）をさらに備え、前記健康状態推定手段は、さらに、前記第五取得手段が取得した前記ユーザの病歴に基づいて、前記ユーザの健康状態を推定してもよい。
本発明によれば、ユーザの過去の病歴をも健康状態の推定に用いるため、健康状態を高精度に推定することができる。
本発明によれば、ユーザの過去の病歴をも健康状態の推定に用いるため、健康状態を高精度に推定することができる。
【符号の説明】
【0102】
１・・・サーバ、２・・・情報処理端末、３・・・ユーザ端末、１１１・・・第一取得部、１１２・・・第二取得部、１１３・・・第一抽出部、１１４・・・第二抽出部、１１５・・・スコア算出部、１１６・・・健康状態推定部、１１７・・・表示制御部、１１８・・・疾患有無推定部、１１９・・・解析部、１２０・・・判定部、１２１・・・第一警告部、１２２・・・スコア判断部、１２３・・・第二警告部、１２４・・・血液情報取得部、１２５・・・勤怠情報取得部、１２６・・・病歴情報取得部、１８１・・・声ＤＢ、１８２・・・顔ＤＢ、１８３・・・特徴量ＤＢ、１８４・・・スコアＤＢ、１８５・・・基準ＤＢ、１８６・・・算出モデルＤＢ、１８７・・・解析・判定結果ＤＢ、１８８・・・ユーザ情報ＤＢ、１８９・・・組織情報ＤＢ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】