特開 2024-133603 状況推定装置、状況推定システム、及びそれらによる状況推定方法、並びに状況推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024133603

(43)【公開日】2024-10-02

(54)【発明の名称】状況推定装置、状況推定システム、及びそれらによる状況推定方法、並びに状況推定プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240925BHJP

【ＦＩ】

G06N20/00

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2024108009

(22)【出願日】2024-07-04

(62)【分割の表示】P 2020163322の分割

【原出願日】2020-09-29

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】草野 惇也

(72)【発明者】

【氏名】古谷 聡

(72)【発明者】

【氏名】田中 靖彦

(57)【要約】

【課題】ユーザの生体データを用いたユーザの状況の推定精度を向上させる。
【解決手段】状況推定システム１が、ユーザ３の生体データを取得するウェアラブルデバイス５と、生体データに基づき、ユーザ３に個別に提供される特定学習済みモデルを用いてユーザ３の状況を推定する状況推定装置８と、を備え、状況推定装置８は、事前学習済みの複数の候補モデルの中から特定学習済みモデルを選定するモデル選定部６１と、特定学習済みモデルの再学習を実行するモデル再学習部８３と、モデル再学習部８３によって実行された再学習の結果に基づき、特定学習済みモデルを更新するモデル更新部６３と、更新された特定学習済みモデルを用いて、最新の生体データに基づき、ユーザ３の状況を推定する状況推定部６４と、を有し、モデル再学習部８３が、ユーザ３に規定の状況が生じた場合に取得された生体データを学習用データとして用いて再学習を実行する、構成とする。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザの状況を推定する状況推定システムであって、
前記ユーザの生体情報を取得するデバイスと、
前記生体情報に基づき、前記ユーザに個別に提供される特定学習済みモデルを用いて 前記ユーザの状況を推定する状況推定装置と、を備え、
前記状況推定装置は、
事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、
前記特定学習済みモデルの再学習を実行するモデル再学習部と、
前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、
前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体情報に基づき、前記ユーザの状況を推定する状況推定部と、を有する、
状況推定システム。

【請求項2】

前記デバイスは、
イヤホン型のウェアラブルデバイス、メガネ型のウェアラブルデバイス、腕時計型のウェアラブルデバイス、の少なくとも１つである、
請求項１に記載の状況推定システム。

【請求項3】

前記デバイスは、前記ユーザによって装着または携帯される、
請求項１に記載の状況推定システム。

【請求項4】

前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体情報を学習用データとして用いて前記再学習を実行する、
請求項１に記載の状況推定システム。

【請求項5】

前記デバイスは、
前記ユーザに規定の状況が生じたか否かを前記ユーザに問い合わせるための問合せ画面を表示する表示部と、
前記問合せ画面に応答する前記ユーザの入力操作を受け付ける入力部と、
を更に有し、
前記状況推定装置は、
前記表示部に前記問合せ画面を表示させる表示制御部を更に備えた、
請求項１に記載の状況推定システム。

【請求項6】

前記ユーザに規定の状況が生じたか否かを前記ユーザに問い合わせるための問合せ画面を表示する表示部と、
前記問合せ画面に応答する前記ユーザの入 力操作を受け付ける入力部と、
を有する表示装置、を更に備えた、
請求項１に記載の状況推定システム。

【請求項7】

ユーザの状況を推定する状況推定システムの状況推定方法であって、
前記状況推定システムは、デバイスと、状況推定装置と、を備え、
前記デバイスは、前記ユーザの生体情報を取得し、
前記状況推定装置は、前記生体情報に基づき、前記ユーザに個別に提供される特定学習済みモデルを用いて 前記ユーザの状況を推定し、
事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定し、
前記特定学習済みモデルの再学習を実行し、
実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新し、
更新された前記特定学習済みモデルを用いて、最新の前記生体情報に基づき、前記ユーザの状況を推定する、
状況推定方法。

【請求項8】

ユーザの生体情報に基づき、当該ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況をそれぞれ推定する状況推定装置であって、
事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、
前記特定学習済みモデルの再学習を実行するモデル再学習部と、
前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、
前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体情報に基づき、前記ユーザの状況を推定する状況推定部と、
を有する、
状況推定装置。

【請求項9】

ユーザの生体情報に基づき、当該ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況をそれぞれ推定する状況推定装置による状況推定方法であって、
事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定し、
前記特定学習済みモデルの再学習を実行し、
前記再学習の結果に基づき、前記特定学習済みモデルを更新し、
更新された前記特定学習済みモデルを用いて、最新の前記生体情報に基づき、前記ユーザの状況を推定する、
状況推定方法。

【請求項10】

ユーザの生体情報に基づき、当該ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況をそれぞれ推定する情報処理をコンピュータに実行させる状況推定プログラムであって、
前記情報処理には、
前記コンピュータが、
事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定し、
前記特定学習済みモデルの再学習を実行し、
前記再学習の結果に基づき、前記特定学習済みモデルを更新し、
更新された前記特定学習済みモデルを用いて、最新の前記生体情報に基づき、前記ユーザの状況を推定する手順が含まれる、状況推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する状況推定装置、サーバ装置、状況推定システム、及び状況推定方法に関する。

【背景技術】

【0002】

従来、工場内や屋外で作業する作業者の生体データ（心拍、脈拍、及び体温など）を取得し、その生体データに基づき、作業者の体調の悪化などを推定する技術が開発されている（特許文献１、２参照）。それらの従来技術によれば、作業者の異変を早期に発見して作業者に警告などを行うことにより、作業者の安全を確保することができる。

【0003】

一方、上記従来技術では、生体データの変化が所定の基準（例えば、過去の正常値）に基づき判定されるが、単純な基準で判定された生体データの変化では、作業者の体調を精度良く推定できない場合がある。

【0004】

これに対し、生体データによって作業者の体調を推定するために推定関数テーブルを用い、その推定関数テーブルを、作業者の体調の推定結果と作業者の自覚症状とに基づいて適宜更新する技術が知られている（特許文献３参照）。この従来技術によれば、適宜更新された推定関数テーブルを用いて作業者の体調が推定されるため、推定関数テーブルの精度が高まれば、作業者の体調をより正確に推定することができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１５－１５４９２０号公報

【特許文献2】特開２０１０－２１８１２６号公報

【特許文献3】特開２０１７－１７３８９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

近年、ＡＩ（人工知能）に関する技術が急速に発展しており、上述の特許文献１－３に記載されたような作業者の状況（作業者の体調、姿勢、動作状態等を含む）の推定にも機械学習等のＡＩ技術を適用できると考えられる。

【0007】

しかしながら、ＡＩ技術において、作業者の状況を精度良く推定するための学習済みモデルの生成には、通常は多くの作業者に関する大量の学習用データが必要となるため、学習に要する時間やコストが嵩む。また、人の動作は、各個人で特徴が大きく異なるため、汎用性を持たせた学習済みモデルでは、大量の学習用データを用いても、作業者の状況の推定精度を向上させることが難しい場合がある。

【0008】

そこで、本開示は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、その推定精度を向上させることができる状況推定装置、サーバ装置、状況推定システム、及び状況推定方法を提供することを主な目的とする。

【課題を解決するための手段】

【0009】

本開示の状況推定システムは、ユーザの状況を推定する状況推定システムであって、前記ユーザに装着され、前記ユーザの生体データを取得するウェアラブルデバイスと、前記生体データに基づき、前記ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況を推定する状況推定装置と、を備え、前記状況推定装置は、事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、前記特定学習済みモデルの再学習を実行するモデル再学習部と、前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有し、前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。

【0010】

また、本開示の状況推定装置は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき、当該ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況をそれぞれ推定する状況推定装置であって、事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、前記特定学習済みモデルの再学習を実行するモデル再学習部と、前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有し、前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。

【0011】

また、本開示のサーバ装置は、前記状況推定システムにおける状況推定装置を構成するサーバ装置であって、前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有する、構成とする。

【0012】

また、本開示のサーバ装置は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき、当該ユーザに個別に提供される特定学習済みモデルの再学習を行うサーバ装置であって、事前学習済みの複数の候補モデルを記憶する候補モデル記憶部と、前記候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、前記特定学習済みモデルの再学習を実行するモデル再学習部と、を有し、前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。

【0013】

また、本開示の状況推定方法は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき、当該ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況をそれぞれ推定するために、少なくとも１つのコンピュータで実行される状況推定方法であって、事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定し、前記特定学習済みモデルの再学習を実行し、前記再学習の結果に基づき、前記特定学習済みモデルを更新し、前記更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定し、前記特定学習済みモデルの再学習では、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。

【発明の効果】

【0014】

本開示によれば、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、その推定精度を向上させることが可能となる。

【図面の簡単な説明】

【0015】

【図1】本実施形態に係る状況推定システムの全体構成図

【図2】図１に示したユーザ側装置の構成を示す機能ブロック図

【図3】図１に示した状況推定装置の構成を示す機能ブロック図

【図4】図３に示した候補モデル記憶部に記憶された候補モデルの説明図

【図5】図３に示した特定モデル記憶部に記憶された学習済みモデルセットの説明図

【図6】ウェアラブルデバイスの装着時および取外しの認証処理を示すフロー図

【図7】初期セットアップ処理の流れを示す説明図

【図8】特定学習済みモデルの再学習の処理の流れを示す説明図

【図9】生体データに関する情報の一例を示す説明図

【図10】ユーザ端末に示される問合せ画面の一例を示す説明図

【図11】図３に示した機能ブロック図の一変形例を示す図

【発明を実施するための形態】

【0016】

前記課題を解決するためになされた第１の発明は、ユーザの状況を推定する状況推定システムであって、前記ユーザに装着され、前記ユーザの生体データを取得するウェアラブルデバイスと、前記生体データに基づき、前記ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況を推定する状況推定装置と、を備え、前記状況推定装置は、事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、前記特定学習済みモデルの再学習を実行するモデル再学習部と、前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有し、前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。

【0017】

これによると、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、事前学習済みの複数の候補モデルの中から対象のユーザの状況を推定するための特定学習済みモデルを選定し、規定の状況における当該ユーザの生体データを学習用データとして用いて特定学習済みモデルを再学習するため、当該ユーザの状況の推定精度を向上させることが可能となる。

【0018】

また、第２の発明は、前記複数の候補モデルには、他の複数のユーザから過去に取得された生体データを、それぞれ個別の学習用データとして用いて生成された複数の学習済みモデルが含まれる、構成とする。

【0019】

これによると、他の複数のユーザの生体データを個別に用いて生成された複数の学習済みモデルを利用することにより、対象のユーザに提供される特定学習済みモデルの取得に要する時間やコストを低減することができる。

【0020】

また、第３の発明は、前記規定の状況には、前記ユーザの歩行、前記ユーザの身体のふらつき、前記ユーザの転倒、前記ユーザのつまずき、及び前記ユーザの所定の姿勢のうちの少なくとも１つが含まれる、構成とする。

【0021】

これによると、各個人で特徴が大きく異なる規定の状況（ユーザの歩行、ユーザの身体のふらつき、ユーザの転倒、ユーザのつまずき、及びユーザの所定の姿勢のいずれか）において取得された生体データを、学習用データとして用いて再学習が実行されるため、対象となるユーザの状況の推定精度をより確実に向上させることが可能となる。

【0022】

また、第４の発明は、前記モデル選定部は、前記ユーザが所定の動作を実行したときに取得された前記生体データに基づく、前記各候補モデルによる前記ユーザの動作の推定結果により、前記特定学習済みモデルを選定する、構成とする。

【0023】

これによると、ユーザによる所定の動作の実行時の生体データに基づく、各候補モデルによるユーザの動作の推定結果から、特定学習済みモデルが選定されるため、ユーザの状況の推定精度が良好に維持される。

【0024】

また、第５の発明は、前記ウェアラブルデバイスは、前記ユーザに前記所定の動作を実行させるためのガイド音声を出力する音声出力部を更に有し、前記状況推定装置は、前記音声出力部に前記ガイド音声を出力させる音声制御部を更に有する、構成とする。

【0025】

これによると、ユーザに所定の動作を実行させたときの生体データをより確実に取得することができる。

【0026】

また、第６の発明は、前記所定の動作には、前記ユーザの歩行動作が含まれる、構成とする。

【0027】

これによると、特定学習済みモデルの選定に適した歩行動作をユーザに実行させることにより、特定学習済みモデルをより適切に選定することができる。

【0028】

また、第７の発明は、前記ウェアラブルデバイスは、前記ユーザに前記規定の状況が生じたか否かを前記ユーザに問い合わせるための問合せ音声を出力する音声出力部と、前記問合せ音声に応答する前記ユーザの応答音声を入力する音声入力部と、を更に有し、前記状況推定装置は、前記音声出力部に前記問合せ音声を出力させる音声制御部を更に有し、前記応答音声に基づき、前記ユーザに前記規定の状況が生じたか否かが判定される、構成とする。

【0029】

これによると、問合せ音声に対するユーザの応答音声に基づき、ユーザに規定の状況が生じた場合の生体データをより確実に取得することができる。

【0030】

また、第８の発明は、前記ユーザが利用するユーザ端末を更に備え、前記ユーザ端末は、前記ユーザに前記規定の状況が生じたか否かを前記ユーザに問い合わせるための問合せ画面を表示する表示部と、前記問合せ画面に応答する前記ユーザの入力操作を受け付ける入力部と、を更に有し、前記状況推定装置は、前記表示部に前記問合せ画面を表示させる表示制御部を更に備えた、構成とする。

【0031】

これによると、問合せ画面に対するユーザの入力操作に基づき、ユーザに生じた規定の状況についてより詳細に把握することが可能となるため、再学習に用いられる生体データの精度が高まる。

【0032】

また、第９の発明は、前記ウェアラブルデバイスは、前記ユーザの耳に装着されるイヤホン型のデバイスである、構成とする。

【0033】

これによると、各個人で身体各部の動作の特徴が異なることによる生体データへの影響を抑制することが可能となる。

【0034】

また、第１０の発明は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき、前記ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況をそれぞれ推定する状況推定装置であって、事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、前記特定学習済みモデルの再学習を実行するモデル再学習部と、前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有し、前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。

【0035】

これによると、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、事前学習済みの複数の候補モデルの中から対象のユーザの状況を推定するための特定学習済みモデルを選定し、規定の状況における当該ユーザの生体データを学習用データとして用いて特定学習済みモデルを再学習するため、当該ユーザの状況の推定精度を向上させることが可能となる。

【0036】

また、第１１の発明は、前記状況推定システムにおける状況推定装置を構成するサーバ装置であって、前記モデル再学習部によって実行された前記再学習の結果に基づき、前記特定学習済みモデルを更新するモデル更新部と、前記モデル更新部によって更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定する状況推定部と、を有する、構成とする。

【0037】

これによると、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、比較的少ない計算リソースを用いて、当該ユーザの状況の推定処理を実行することが可能となる。

【0038】

また、第１２の発明は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき、当該ユーザに個別に提供される特定学習済みモデルの再学習を行うサーバ装置であって、事前学習済みの複数の候補モデルを記憶する候補モデル記憶部と、前記候補モデルの中から前記特定学習済みモデルを選定するモデル選定部と、前記特定学習済みモデルの再学習を実行するモデル再学習部と、を有し、前記モデル再学習部は、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。

【0039】

これによると、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、事前学習済みの複数の候補モデルの中から対象のユーザの状況を推定するための特定学習済みモデルを選定し、規定の状況における当該ユーザの生体データを学習用データとして用いて特定学習済みモデルを再学習するため、当該ユーザの状況の推定精度を向上させることが可能となる。

【0040】

また、第１３の発明は、ウェアラブルデバイスによって取得されたユーザの生体データに基づき、当該ユーザに個別に提供される特定学習済みモデルを用いて前記ユーザの状況をそれぞれ推定するために、少なくとも１つのコンピュータで実行される状況推定方法であって、事前学習済みの複数の候補モデルの中から前記特定学習済みモデルを選定し、前記特定学習済みモデルの再学習を実行し、前記再学習の結果に基づき、前記特定学習済みモデルを更新し、前記更新された前記特定学習済みモデルを用いて、最新の前記生体データに基づき、前記ユーザの状況を推定し、前記特定学習済みモデルの再学習では、前記ユーザに規定の状況が生じた場合に、当該規定の状況において取得された前記生体データを学習用データとして用いて前記再学習を実行する、構成とする。

【0041】

これによると、ウェアラブルデバイスによって取得されたユーザの生体データに基づき当該ユーザの状況を推定する場合に、事前学習済みの複数の候補モデルの中から対象のユーザの状況を推定するための特定学習済みモデルを選定し、規定の状況における当該ユーザの生体データを学習用データとして用いて特定学習済みモデルを再学習するため、当該ユーザの状況の推定精度を向上させることが可能となる。

【0042】

以下、本開示の実施の形態を、図面を参照しながら説明する。

【0043】

図１は、本実施形態に係る状況推定システム１の全体構成図である。図１に示すように、状況推定システム１は、ユーザ３によって装着または携帯されるユーザ側装置４として、ウェアラブルデバイス５およびユーザ端末７を備える。また、状況推定システム１は、ユーザ３の状況（体調、姿勢、動作状態等を含む）を推定する処理を実行する状況推定装置８として、ユーザ管理サーバ９および学習用サーバ１１を備える。

【0044】

ユーザ３は、例えば工場内や屋外で作業する作業者であり、状況推定装置８による状況の推定の対象である。ただし、ユーザ３は、作業者に限定されず、状況の確認（推定）を必要とされる任意の人物であってよい。本実施形態では、便宜上、１人のユーザ３についてのみ説明するが、実用上は、ユーザ３と同様の複数のユーザが状況の推定の対象となる。複数のユーザが存在する場合には、各ユーザにウェアラブルデバイス５およびユーザ端末７が装着または携帯される。

【0045】

ウェアラブルデバイス５は、ユーザ３の耳に装着されるイヤホン型のデバイスである。ウェアラブルデバイス５は、ユーザ３の生体データを取得する機能を有する。取得される生体データには、ユーザ３の心拍、脈拍、及び体温などのユーザ３の身体に関するデータの他、ユーザ３の動作、位置、及び姿勢などのユーザ３の行動に関するデータも含まれる。ウェアラブルデバイス５は、必ずしもイヤホン型に限定されず、例えば、眼鏡型や腕時計型のデバイスであってもよい。ただし、ウェアラブルデバイス５として、イヤホン型のデバイスを用いる（すなわち、ユーザ３の頭部から生体データを取得する）ことにより、各個人で頭部以外の身体各部（例えば、腕）の動作の特徴が大きく異なる場合でも、取得される生体データへの影響を抑制することができるという利点がある。

【0046】

ユーザ端末７は、ユーザ３によって携帯されるスマートフォンやタブレット端末などの無線通信機能を有する情報機器である。ユーザ端末７は、例えばBluetooth（登録商標）規格に準拠した近距離無線通信により、ウェアラブルデバイス５と通信可能である。ユーザ端末７は、比較的簡易な構成を有するウェアラブルデバイス５において不足する機能（例えば、遠距離通信機能や表示機能など）を補うために用いられる。したがって、ウェアラブルデバイス５が、ユーザ端末７と同様の機能を果たすことが可能な場合には、ユーザ端末７は省略され得る。

【0047】

ユーザ管理サーバ９は、ユーザ３の活動およびその活動中のユーザ３の安全性について管理する。ユーザ管理サーバ９は、ユーザ３の安全性を確保するために、ユーザ３の生体データに基づき、ユーザ３に個別に提供される学習済みモデル（以下、特定学習済みモデルという。）を用いてユーザ３の状況を推定する。そのような特定学習済みモデルとしては、ディープラーニングによって学習を行うニューラルネットワークや、ＳＶＭ（サポートベクターマシン）等の統計的な機械学習モデルを用いることができる。

【0048】

ユーザ管理サーバ９は、ユーザ端末７と通信可能なように、同一のＬＡＮ（Local Area Network）内に配置される。これにより、ユーザ管理サーバ９は、ウェアラブルデバイス５によって取得されたユーザ３の生体データを、ユーザ端末７を介して順次取得することができる。ただし、ユーザ管理サーバ９は、より広域なネットワーク（例えば、後述するネットワーク１３）を介してユーザ端末７と通信可能に接続されてもよい。

【0049】

学習用サーバ１１は、ユーザ管理サーバ９が用いる特定学習済みモデルの候補となる事前学習済みの複数の候補モデルを生成する。そのような候補モデルには、他の複数のユーザから過去に取得された生体データを、それぞれ個別の学習用データとして用いて生成された複数の学習済みモデル（以下、個別学習済みモデルという。）が含まれる。個別学習済みモデルは、特定のユーザ（すなわち、学習データとして用いられた生体データが取得されたユーザ）の状況の推定に特化した学習済みモデルである。

【0050】

また、学習用サーバ１１は、ユーザ３に規定の状況が生じた場合に、当該規定の状況において取得された生体データを学習用データとして用いて特定学習済みモデルの再学習を実行する。そのような規定の状況には、ユーザ３の歩行、ユーザ３の身体のふらつき、ユーザ３の転倒、ユーザ３のつまずき、及びユーザ３の所定の姿勢のうちの少なくとも１つが含まれる。

【0051】

学習用サーバ１１は、インターネット等によって構成されるネットワーク１３を介してユーザ管理サーバ９と通信可能である。ただし、学習用サーバ１１は、ＬＡＮや専用回線によってユーザ管理サーバ９と通信可能に接続されてもよい。

【0052】

図２は、図１に示したユーザ側装置４の構成を示す機能ブロック図である。

【0053】

ウェアラブルデバイス５は、ユーザ３の生体データを取得するセンサとして、近接センサ２１、脈波センサ２２、モーションセンサ２３、及びＧＰＳセンサ２４を備える。それらのセンサ２１－２４には、公知のセンサを用いることができる。近接センサ２１は、ユーザ３の身体との近接状態を検出する。脈波センサ２２は、ユーザ３の脈波を検出する。モーションセンサ２３は、3軸の加速度センサ、3軸の角速度センサ、及び3軸の地磁気センサを含み、ユーザ３の動きや姿勢を検出する。ＧＰＳセンサ２４は、衛星からの信号に基づきユーザ３の位置を検出する。なお、ユーザ３が屋内で活動する場合には、ウェアラブルデバイス５は、適所に配置されたビーコン発信機からの信号を受信するビーコン信号受信部を備えることにより、ユーザ３の位置を検出してもよい。ユーザ端末７がＧＰＳセンサ、またはビーコン信号受信部を備える場合には、ユーザ端末７のＧＰＳセンサやビーコン信号受信部を用いて、ユーザ３の位置を検出するようにしてもよい。

【0054】

また、ウェアラブルデバイス５は、音声を出力するスピーカ（音声出力部）２７、ユーザ３の音声やその周囲の音が入力されるマイク（音声入力部）２８を備える。

【0055】

ウェアラブルデバイス５において、通信部３１は、公知の無線通信規格に準拠して他の装置（ここでは、ユーザ端末７）との通信を実行する。通信部３１は、他の装置との通信を行うためのアンテナ、モデム、及び無線通信回路などの公知のハードウェア（図示せず）を有する。ただし、ウェアラブルデバイス５は、ユーザ端末７とＵＳＢ規格等の有線通信が可能なように接続されてもよい。後に詳述するように、ウェアラブルデバイス５は、各センサ２１－２４によって検出した生体データ、及びマイク２８に入力された音声などをユーザ端末７に対して送信する。それらのデータは、ユーザ端末７からユーザ管理サーバ９に対して更に送信（転送）される。

【0056】

また、ウェアラブルデバイス５において、制御部３３は、ウェアラブルデバイス５の各部を統括的に制御する。制御部３３は、ウェアラブルデバイス５を装着したユーザ３を認証する処理を行うユーザ認証部３４を有する。制御部３３は、ハードウェアとしての１以上のプロセッサを含む。ユーザ認証部３４の処理を含めた制御部３３の機能は、図示しないメモリに記憶されたプログラムをプロセッサが実行することで実現される。

【0057】

ユーザ端末７は、文字や図形などを含む情報をユーザ３に表示する表示部４１と、ユーザ３によるデータや情報の入力操作を受け付ける入力部４２とを備える。表示部４１および入力部４２は、例えば公知の液晶パネルおよびタッチパネルによって実現される。

【0058】

ユーザ端末７において、通信部４５は、公知の無線通信規格に準拠して他の装置（ここでは、ウェアラブルデバイス５およびユーザ管理サーバ９）との通信を実行する。通信部４５は、他の装置との通信を行うためのアンテナ、モデム、及び無線通信回路などの公知のハードウェア（図示せず）を有する。後に詳述するように、ユーザ端末７は、スピーカ２７から所定の音声を出力させるために、ユーザ管理サーバ９からの制御指令（音声出力指令）を、ウェアラブルデバイス５に送信（転送）する。

【0059】

また、ユーザ端末７において、制御部４７は、ウェアラブルデバイス５の各部を統括的に制御する。さらに、制御部４７は、予めインストールされたユーザ管理アプリケーション４９により、ユーザ管理サーバ９と協働してユーザ３の状況を推定する処理を実行する。制御部４７は、ハードウェアとしての１以上のプロセッサを含む。ユーザ管理アプリケーション４９を含めた制御部４７の機能は、図示しないメモリに記憶されたプログラムをプロセッサが実行することで実現される。

【0060】

図３は、図１に示した状況推定装置８の構成を示す機能ブロック図である。図４は、図３に示した候補モデル記憶部５５に記憶された候補モデルの説明図である。図５は、図３に示した特定モデル記憶部５７に記憶された学習済みモデルセットの説明図である。なお、図１１には、図３に示した機能ブロック図の一変形例を示す。

【0061】

ユーザ管理サーバ９は、公知のハードウェア構成を有するサーバ装置からなる。ユーザ管理サーバ９は、通信部５１、制御部５３、候補モデル記憶部５５、特定モデル記憶部５７、及び生体データ記憶部５９を備える。

【0062】

通信部５１は、公知の通信規格に準拠して他の装置（ここでは、ユーザ端末７および学習用サーバ１１）との通信を実行する。通信部５１は、他の装置との通信を行うためのアンテナ、モデム、及び無線通信回路などの公知のハードウェア（図示せず）を有する。後に詳述するように、ユーザ管理サーバ９は、個別学習済みモデルを生成するための学習用データや、特定学習済みモデルの再学習を実行するための学習用データを学習用サーバ１１に送信する。

【0063】

制御部５３は、ユーザ管理サーバ９の各部を統括的に制御する。さらに、制御部５３は、モデル選定部６１、学習用データ抽出部６２、モデル更新部６３、状況推定部６４、音声制御部６５、及び表示制御部６６を有する。

【0064】

モデル選定部６１は、予め準備された複数の候補モデルの中から、ユーザ３に個別に提供される特定学習済みモデルを選定する。候補モデル記憶部５５には、予め複数の候補モデル（図４中の事前学習済みモデル（１）、（２）、（３）・・・を参照）が格納される。複数の候補モデルは、個別学習済みモデルから構成される。

【0065】

モデル選定部６１によって選定された特定学習済みモデルは、特定のユーザ（ここでは、ユーザ３）に対応づけられて、特定モデル記憶部５７に順次格納される。通常、各特定学習済みモデルは、対応づけられた１人のユーザの状況の推定にのみ用いられる。

【0066】

ただし、特定学習済みモデルは、１人のユーザ３に対して複数選定され得る。その場合、例えば図５に示すように、特定モデル記憶部５７には、例えばユーザＡの状況を推定するための特定学習済みモデルとして、学習済みモデルのセットが格納される。学習済みモデルのセットには、例えば、ユーザＡの歩行検知パターンをパラメータとして含む学習済みモデル６７、ユーザＡの身体のふらつき検知パターンをパラメータとして含む学習済みモデル６８、及びユーザＡの転倒検知パターンをパラメータとして含む学習済みモデル６９が含まれる（他のユーザＢ、C・・・についても同様。）。

【0067】

ウェアラブルデバイス５によって取得されたユーザ３の生体データは、生体データ記憶部５９に順次格納される。学習用データ抽出部６２は、生体データ記憶部５９に格納されたユーザ３の生体データの一部を、特定学習済みモデルの再学習を実行するための学習用データとして抽出する。より詳細には、学習用データ抽出部６２は、ユーザ３に規定の状況（ユーザ３の身体のふらつきなど）が生じたと判定した場合に、当該規定の状況において取得されたその格納された生体データの一部を学習用データとして抽出する。また、学習用データ抽出部６２は、ユーザ３の生体データの一部を、学習用サーバ１１において個別学習済みモデルを生成するための学習用データとして抽出することも可能である。

【0068】

モデル更新部６３は、学習用サーバ１１によって実行される特定学習済みモデルの再学習の結果に基づき、特定モデル記憶部５７に格納された特定学習済みモデルを適宜更新する。

【0069】

状況推定部６４は、特定学習済みモデルを用いて、ユーザ３からリアルタイムで得られる生体データ（すなわち、最新の生体データ）に基づき、ユーザ３の状況を推定する。特定学習済みモデルがモデル更新部６３によって更新された場合、状況推定部６４は、その更新された特定学習済みモデルを用いてユーザ３の状況を推定する。ただし、状況推定部６４は、新規にユーザの状況の推定を開始する際には、モデル選定部６１によって選定された候補モデル（すなわち、再学習されていない特定学習済みモデル）を用いてユーザ３の状況を推定する。

【0070】

音声制御部６５は、ウェアラブルデバイス５のスピーカ２７から所定の音声を出力させるために、音声出力指令をユーザ端末７に送信する。スピーカ２７から出力させる音声には、モデル選定部６１による特定学習済みモデルの選定時に、ユーザ３に所定の動作を実行させるためのガイド音声が含まれる。また、スピーカ２７から出力させる音声には、ユーザ３に規定の状況（ユーザ３の身体のふらつきなど）が生じたか否かを問い合わせるための問合せ音声が含まれる。

【0071】

表示制御部６６は、ユーザ端末７の表示部４１に所定の画面を表示させるために、画面表示指令をユーザ端末７に送信する。そのような画面には、ユーザ管理サーバ９からユーザ３に対して状況を問い合わせるための問合せ画面が含まれる。なお、ウェアラブルデバイス５が表示部（液晶ディスプレイ、プロジェクタなど）を有する場合には、表示制御部６６は、ユーザ端末７の表示部４１の代わりに（あるいは、ユーザ端末７の表示部４１と共に）、ウェアラブルデバイス５の表示部に所定の画面を表示させてもよい。

【0072】

学習用サーバ１１は、公知のハードウェア構成を有するサーバ装置からなる。ユーザ管理サーバ９は、通信部７１、制御部７３、事前学習済みモデル記憶部７５、再学習済みモデル記憶部７７、及び学習用データ記憶部７９を備える。学習用サーバ１１は、ユーザ管理サーバ９で利用される候補モデルや、再学習済みの特定学習済みモデルをユーザ管理サーバ９に適宜提供する。

【0073】

通信部７１は、公知の通信規格に準拠して他の装置（ここでは、ユーザ管理サーバ９）との通信を実行する。通信部７１は、ユーザ管理サーバ９の通信部５１と同様に、公知のハードウェアを有する。

【0074】

制御部７３は、学習用サーバ１１の各部を統括的に制御する。さらに、制御部７３は、モデル生成部８１、モデル再学習部８３、及びモデル配信部８５を含む。

【0075】

モデル生成部８１は、ユーザ３以外の他の複数のユーザから取得された生体データを、それぞれ個別の学習用データとして用いて複数の個別学習済みモデルを生成する。モデル生成部８１によって生成された学習済みモデルは、事前学習済みモデル記憶部７５に順次格納される。ただし、事前学習済みモデル記憶部７５には、汎用の学習済みモデルが含まれてもよい。汎用の学習済みモデルは、例えば、用途に応じて事前にサンプルデータとして収集した、規定の状況に対応する複数の生体データを学習用データとして用いて生成され得る。

【0076】

モデル再学習部８３は、ユーザ管理サーバ９（学習用データ抽出部６２）によって抽出され、学習用サーバ１１に送信された学習用データに基づき、対応する特定学習済みモデルの再学習を実行する。再学習済みのモデルは、再学習済みモデル記憶部７７に順次格納される。再学習済みモデル記憶部７７には、再学習の対象となる（すなわち、再学習前の）特定学習済みモデルが格納されてもよい。なお、モデル再学習部８３は、同一の（すなわち、同じユーザに対応づけられた）特定学習済みモデルの再学習を、新たな学習用データを取得する度に実行することができる。その他のバリエーションとして、学習用サーバ１１が受信した学習用データを、学習用サーバ１１内の学習用データ記憶部７９に保管して、モデル再学習部８３が実行する再学習用のデータとして、適宜利用することも可能である。なお学習用データ抽出部６２が抽出した学習用データの送信タイミングは、ユーザ管理サーバのアプリケーション(図示せず)を用いて、ユーザが任意のタイミングにて手動で入力・指示するようにしてもよいし、学習用データ抽出部６２で抽出した学習用データをユーザ管理サーバ９の記録領域に一時的に保管しておき、一時保管された学習用データを所定周期で自動的に送信するようにしてもよい。

【0077】

モデル配信部８５は、事前学習済みモデル記憶部７５に格納された初期の学習済みモデル（個別学習済みモデル、汎用の学習済みモデル）を、候補モデルとしてユーザ管理サーバ９に適宜送信する。また、モデル配信部８５は、特定学習済みモデルの再学習が完了すると、その再学習済みの特定学習済みモデルを、更新用の定学習済みモデルとしてユーザ管理サーバ９に適宜送信する。

【0078】

なお、状況推定システム１では、ユーザ管理サーバ９が十分な計算リソースを有する場合、学習用サーバ１１の機能の少なくとも一部を備えた構成も可能であるし、逆に、ユーザ管理サーバ９の計算リソースが不十分な場合には、その一部の機能を学習用サーバ１１が備える構成を取ることも可能である。例えば図１１に示すように、ユーザ管理サーバ９の代わりに、学習用サーバ１１が候補モデル記憶部５５およびモデル選定部６１の機能を備えてもよい。また場合によっては、状況推定装置８は、ユーザ管理サーバ９および学習用サーバ１１の双方の機能を備えた１つの装置として実現されてもよい。さらに、状況推定装置８は、ユーザ管理サーバ９および学習用サーバ１１の他に、それらの機能の一部を実行可能な他の装置（サーバやＰＣなど）を更に含む構成も可能である。また、状況推定装置８は、サーバ装置に限らず、同様の機能を有する少なくとも１つのコンピュータによって構成され得る。また、状況推定部６４やモデル再学習部８３の処理を複数のサーバで秘密分散処理する構成によって、ネットワークへのサイバー攻撃に対するセキュリティを向上させることも可能である。これらの機能配置は、ユーザ管理サーバ９や学習用サーバ１１のリソース（ＣＰＵパワー、メモリ、記憶容量等）や、ユーザ管理サーバ９と学習用サーバ１１との間のネットワーク通信速度・環境、状況判定システムに要求されるセキュリティレベル等に応じて、適切に設計し実装することが可能である。

【0079】

図６は、ウェアラブルデバイス５の装着時および取外し時の認証処理を示すフロー図である。

【0080】

ウェアラブルデバイス５は、対応づけられた特定のユーザのみの生体データを取得する。そのため、ウェアラブルデバイス５は、その装着時および取外し時に、図６に示すように、装着者に対する認証処理を実行する。

【0081】

まず、ユーザ３が活動を開始する際にウェアラブルデバイス５を装着すると、ウェアラブルデバイス５は、近接センサ２１によりユーザ３に装着されたことを検出する（ＳＴ１０１：Ｙｅｓ）。

【0082】

続いて、ウェアラブルデバイス５は、ユーザ３に対して本人認証リクエストを行う（ＳＴ１０２）。本人認証リクエストでは、例えば、スピーカ２７からユーザ３に発声を促すための音声が出力される。そして、ユーザ認証部３４は、その音声に応じてマイク２８に入力されたユーザの声について声紋認証の処理を実行する。

【0083】

その後、ユーザ３が正常に認証されると（ＳＴ１０３：Ｙｅｓ）、ウェアラブルデバイス５は、継続認証状態となる（ＳＴ１０４）。これにより、ウェアラブルデバイス５は、ユーザ３から生体データの取得を開始する。

【0084】

それと同時に、ウェアラブルデバイス５は、ユーザ３が正常に認証されたことをユーザ３に知らせる認証完了通知をユーザ端末７に送信する（ＳＴ１０５）。認証完了通知を受信したユーザ端末７は、ユーザ３に正常に認証されたことを示す認証済み画面を表示部４１に表示する。なお、ウェアラブルデバイス５は、ユーザ３が正常に認証されたことをユーザ３に知らせる音声をスピーカ２７から出力してもよい。

【0085】

その後、活動を終えたユーザ３がウェアラブルデバイス５を取り外すと、ウェアラブルデバイス５は、近接センサ２１によりウェアラブルデバイス５がユーザ３から取り外されたことを検出する（ＳＴ１０６：Ｙｅｓ）。これによりウェアラブルデバイス５は、認証解除状態となり（ＳＴ１０７）、ユーザ３からの生体データの取得を停止する。

【0086】

なお、ウェアラブルデバイス５は、上記ステップＳＴ１０１において、近接センサ２１に代えて（或いは、近接センサと共に）、モーションセンサ２３を用いてウェアラブルデバイス５がユーザ３に装着されたことを検出してもよい。また、ウェアラブルデバイス５は、上記ステップＳＴ１０２において、声紋認証以外の手法（例えば、モーションセンサ２３によって検出されたユーザ３の動きの特徴に基づく生体認証処理や、事前に取り決めた合言葉による音声発話・音声認識によるキーワード認証処理等）を用いてユーザ３を認証してもよい。

【0087】

図７は、ユーザ３が状況推定システム１の利用を開始する際の初期セットアップ処理の流れを示す説明図である。初期セットアップ処理は、複数の候補モデルからユーザ３に最も適した候補モデルを特定学習済みモデルとして選定するための処理である。

【0088】

ユーザ管理サーバ９は、ユーザ３の入力操作に基づくユーザ端末７（ユーザ管理アプリケーション４９）からのセットアップ要求に応じて、初期セットアップ処理を開始する（１００１）。そこで、ユーザ管理サーバ９は、ユーザ３に所定の動作を実行させるための動作実行指令を、ユーザ端末７を介してウェアラブルデバイス５に送信する（１００３）。

【0089】

その動作実行指令を受信したウェアラブルデバイス５は、ユーザ３に所定の動作を実行させるためのガイド音声をスピーカ２７から出力する（１００５）。ガイド音声のデータは、予めウェアラブルデバイス５に記憶されるか、または、ユーザ管理サーバ９からウェアラブルデバイス５に送信される動作実行指令に含まれる。ガイド音声には、例えば、「右に曲がって５歩歩いてください。」、「階段を上ってください。」などの音声が含まれる。これにより、ユーザ３は、ガイド音声に従って所定の動作（例えば、右に曲がって５歩歩く）を実行する。

【0090】

ウェアラブルデバイス５は、その所定動作を実行しているユーザ３の生体データを取得する（１００７）。さらに、ウェアラブルデバイス５は、取得した生体データを、ユーザ端末７を介してユーザ管理サーバ９に送信する（１００９）。このようにして、ユーザ管理サーバ９は、ユーザ３に所定の動作を実行させたときの生体データをより確実に取得することができる。なお、ユーザ管理サーバ９は、動作実行指令による所定の動作の開始時と終了時に、特徴的な動作（例えば、飛び跳ねる動作）を含めることにより、時系列データとして得られた生体データにおける所定の動作の開始時および終了時を容易に認識することが可能となる。

【0091】

ユーザ管理サーバ９は、所定の動作の実行時におけるユーザ３の生体データをウェアラブルデバイス５から取得すると、その生体データに基づき、特定学習済みモデルを選定する処理を実行する（１０１１）。より詳細には、モデル選定部６１は、候補モデル記憶部５５に格納された複数の候補モデルを用いて、ユーザ３の生体データからユーザ３が所定の動作（例えば、右に曲がって５歩歩く歩行動作）を実行していることついての推定精度（％）をそれぞれ算出し、最も推定精度の高い候補モデルを特定学習済みモデルとして選定する。

【0092】

その後、ユーザ管理サーバ９は、選定された特定学習済みモデルの情報を含む初期セットアップ完了通知をユーザ端末７に通知する（１０１３）。ユーザ端末７では、その選定された特定学習済みモデルの情報がユーザ管理アプリケーション４９によって登録される（１０１５）。なお選定された特定学習済みモデル情報の登録をユーザ端末７に対しては行わず、選定された特定学習済みモデルの情報とユーザ３のＩＤ（またはユーザ端末７のＩＤ）との対応付けを、ユーザ管理サーバ９で管理しておくことで、ユーザ３に対して選定された特定学習済みモデルを適用することが可能となる。

【0093】

図８は、状況推定システム１における特定学習済みモデルの再学習の処理の流れを示す説明図である。図９は、生体データに関する情報の一例を示す説明図である。図１０は、ユーザ端末７に示される問合せ画面の一例を示す説明図である。

【0094】

初期セットアップが完了したウェアラブルデバイス５は、図８に示すように、ユーザ３の活動時にその生体データを所定周期（例えば脈波センサ２２やモーションセンサ２３等のセンサのサンプリング周期であってもよいし、ウェアラブルデバイスのバッテリー電力低減のためサンプリング周期を適宜間引いた周期としてもよい）で継続的に取得する（２００１）。取得された生体データは、ウェアラブルデバイス５からユーザ端末７を介してユーザ管理サーバ９に送信される（２００３）。ユーザ管理サーバ９は、ウェアラブルデバイス５から受信した生体データに関する情報を生体データ記憶部５９に順次格納する（２００５）。

【0095】

生体データ記憶部５９に格納される生体データに関する情報には、例えば図９に示すように、生体データとしてのセンサ検出値である「センサデータ」およびデータが検出された時のユーザ３の位置を示す「位置情報」の他、ユーザ３を識別するための「ユーザＩＤ」、センサデータが検出された「日付」および「時刻」、センサデータに関して規定の状況が発生したことを示す「規定状況検知結果」などの関連情報が含まれる。センサデータには、所定の時刻に検出されたデータのみならず、所定の期間に検出されたデータ（例えば、波形データ）なども含まれ得る。「規定状況検知結果」は、生体データ記憶部５９に格納される当初の生体データの情報には含まれておらず、規定の状況が発生した場合に適宜追加される。

【0096】

ユーザ管理サーバ９では、ウェアラブルデバイス５から受信した生体データに基づき、特定学習済みモデルを用いてユーザ３の状況を推定する（２００７）。ユーザ管理サーバ９は、その推定の結果として、ユーザ３の状況が規定の状況に該当しない（または、該当する可能性が低い）と判定した場合には、ウェアラブルデバイス５からの次の生体データの受信を待つ。

【0097】

一方、ユーザ管理サーバ９は、ユーザ３の状況の推定結果からユーザ３に規定の状況（ユーザ３の身体のふらつきなど）が生じたと判定すると、ユーザ端末７を介してウェアラブルデバイス５に音声出力指令を送信する（２００９）。

【0098】

その音声出力指令を受信したウェアラブルデバイス５は、スピーカ２７からユーザ３の状況に関する問合せ音声を出力する（２０１１）。問合せ音声には、例えば、「大丈夫ですか？」、「何かありましたか？」などユーザ３に状況を問い合わせるための音声が含まれる。また、問合せ音声には、「暑いので、休憩をとって水分を補給してください。」などのユーザ３の体調管理についてのアドバイスが含まれてもよい。

【0099】

その問い合わせ音声に対してユーザ３が声を発して応答すると、ユーザ３の応答音声がマイク２８に入力され、さらに、その応答音声データがユーザ端末７を介してユーザ管理サーバ９に送信される（２０１３）。問合せ音声には、例えば、「ちょっと身体がふらふらしました。」、「大丈夫です。」などの音声が含まれる。

【0100】

その応答音声のデータを受信したユーザ管理サーバ９の制御部５３は、音声認識処理により応答音声の内容を推定する（２０１５）。続いて、ユーザ管理サーバ９は、その推定結果からユーザ３に規定の状況が発生していると判定すると、ユーザ端末７の表示部４１に問合せ画面を表示させるための画面表示指令を送信する（２０１７）。このとき、ユーザ管理サーバ９は、対応する生体データに関する情報（図９参照）に対し、その応答音声の内容を推定した結果（例えば、ユーザ３の身体のふらつきが発生したこと）を規定状況検知結果として追加する。このように、ユーザ管理サーバ９は、問合せ音声に対するユーザ３の応答音声に基づき、ユーザ３に規定の状況が生じた場合の生体データをより確実に取得することができる。

【0101】

ユーザ端末７は、ユーザ管理サーバ９からの画面表示指令に基づき、ユーザ３の状況をより詳細に確認するための問合せ画面９１を表示する（２０１９）。問合せ画面には、例えば図１０に示すように、ユーザ３の応答音声に基づき推定された動作（ここでは、身体のふらつき）に関する確認事項が示されている。ここでは、ユーザ３の身体のふらつきに関する確認事項として、「通常歩行」の際にふらついたこと、「急ぎ足」の際にふらついたこと、「階段」を上る際にふらついたこと、ふらついた後に「転倒」したこと、「つまずき」によってふらついたこと、「その他」の事項などの選択肢が示されている。問合せ画面９１におけるユーザ３の入力操作（例えば、選択肢の選択）の結果は、応答データとしてユーザ管理サーバ９に送信される（２０２１）。

【0102】

ユーザ端末７からの応答データを受信したユーザ管理サーバ９は、その応答データに基づきユーザ３の状況を確定し、対応する生体データの情報（図９参照）に対し、そのユーザ３の状況（例えば、階段を上る際にユーザ３のつまずきが発生したこと）を規定状況検知結果として追加する（２０２３）。このように、ユーザ管理サーバ９は、問合せ画面に対するユーザ３の入力操作に基づき、ユーザ３に生じた規定の状況についてより詳細に把握することが可能となるため、再学習に用いられる生体データの精度が高まる。

【0103】

なお、ユーザ管理サーバ９は、ウェアラブルデバイス５からの応答音声およびユーザ端末７からの応答データの少なくとも一方に基づき、対応する生体データの情報（図９参照）の規定状況検知結果を追加することが可能である。つまり、ウェアラブルデバイス５からの応答音声を取得するための処理、及びユーザ端末７からの応答データを取得するための処理の少なくとも一方については省略されてもよい。

【0104】

ユーザ管理サーバ９では、規定状況検知結果が付された生体データを学習用データとして適宜抽出し、学習用サーバ１１に対して送信する（２０２５）。学習用サーバ１１では、受信した学習用データに基づき、特定学習済みモデルの再学習が実行される（２０２７）。このとき、規定状況検知結果は、教師データとして用いられる。

【0105】

学習用サーバ１１は、再学習の結果に関する情報として、再学習が終了した特定学習済みモデルをユーザ管理サーバ９に送信する（２０２９）。ユーザ管理サーバ９では、その再学習済みの特定学習済みモデルにより、現在使用している特定学習済みモデルを更新する（２０３１）。

【0106】

なお、特定学習済みモデルの再学習は、特定学習済みモデルに複数の学習済みモデルが含まれる場合（図５参照）には、学習済みモデル毎に実行され得る。また、学習用サーバ１１における再学習は、ユーザ管理サーバ９から学習用データを受信する度に毎回実行してもよい。もしくは、ユーザ3に適用されている特定学習済みモデルによるユーザ３の状況の推定結果と、規定状況検知結果（ユーザ３の応答データによって確定したユーザの実際の状況）とが異なる場合（推定誤り）の発生頻度を測定し、当該発生頻度が所定の基準を超えた場合に再学習処理を実行することによって、不必要な再学習処理の実行をなくし、状況推定の精度が劣化したときにのみ再学習を実行することも可能となる。このとき、推定誤りをユーザ管理サーバ９側で判定したうえで、その発生頻度が所定基準を超えた場合に、学習用サーバ１１に対して学習用データを送信し、学習用サーバ１１側では、学習用データの受信時に毎回再学習を実行することでも、同じ効果が得られる。

【0107】

このように、状況推定システム１では、事前学習済みの複数の候補モデルの中から対象のユーザ３の状況を推定するための特定学習済みモデルを選定し、規定の状況における当該ユーザ３の生体データを学習用データとして用いて特定学習済みモデルを再学習するため、当該ユーザ３の状況の推定精度を向上させることが可能となる。

【0108】

また、状況推定システム１では、他の複数のユーザの生体データを個別に用いて生成された複数の学習済みモデルを候補モデルとして利用することにより、対象のユーザ３に提供される特定学習済みモデルの取得に要する時間やコストを低減することができる。

【0109】

以上、本開示を特定の実施の形態に基づいて説明したが、これらの実施の形態はあくまでも例示であって、本開示はこれらの実施の形態によって限定されるものではない。

【0110】

例えば、状況推定システム１では、ユーザ管理サーバ９を省略し、ユーザ端末７をユーザ管理サーバ９として機能させる構成も可能である。また、状況推定システム１では、活動中のユーザ３の安全性の管理のみならず、例えば、ユーザ３の歩行状況の推定から、ユーザ３の作業の管理などを行うことも可能である。

【0111】

上記実施の形態に示した本開示に係る状況推定装置、サーバ装置、状況推定システム、及び状況推定方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

【符号の説明】

【0112】

１ ：状況推定システム
３ ：ユーザ
４ ：ユーザ側装置
５ ：ウェアラブルデバイス
７ ：ユーザ端末
８ ：状況推定装置
９ ：ユーザ管理サーバ
１１：学習用サーバ
１３：ネットワーク
２１：近接センサ
２２：脈波センサ
２３：モーションセンサ
２４：ＧＰＳセンサ
２７：スピーカ
２８：マイク
３１：通信部
３３：制御部
３４：ユーザ認証部
４１：表示部
４２：入力部
４５：通信部
４７：制御部
４９：ユーザ管理アプリケーション
５１：通信部
５３：制御部
５５：候補モデル記憶部
５７：特定モデル記憶部
５９：生体データ記憶部
６１：モデル選定部
６２：学習用データ抽出部
６３：モデル更新部
６４：状況推定部
６５：音声制御部
６６：表示制御部
７１：通信部
７３：制御部
７５：事前学習済モデル記憶部
７７：再学習済みモデル記憶部
７９：学習用データ記憶部
８１：モデル生成部
８３：モデル再学習部
８５：モデル配信部
９１：問合せ画面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】