特許 7328828 状態推定装置、状態推定プログラムおよび状態推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-08

(45)【発行日】2023-08-17

(54)【発明の名称】状態推定装置、状態推定プログラムおよび状態推定方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230809BHJP

   B60W 40/08 20120101ALI20230809BHJP

   A61B 5/18 20060101ALI20230809BHJP

   A61B 5/11 20060101ALI20230809BHJP

   A61B 5/02 20060101ALI20230809BHJP

   G06N 20/00 20190101ALI20230809BHJP

   G01C 21/26 20060101ALI20230809BHJP

【ＦＩ】

G08G1/16 F

B60W40/08

A61B5/18

A61B5/11 110

A61B5/02 310

G06N20/00 130

G01C21/26 C

【請求項の数】 11

(21)【出願番号】P 2019154470

(22)【出願日】2019-08-27

(65)【公開番号】P2021033748

(43)【公開日】2021-03-01

【審査請求日】2022-05-30

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110000198

【氏名又は名称】弁理士法人湘洋特許事務所

(72)【発明者】

【氏名】中村 智寛

【審査官】白石 剛史

(56)【参考文献】

【文献】国際公開第２０１８／１０５４５９（ＷＯ，Ａ１）

【文献】特表２０１９－５０９０７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｂ６０Ｗ ４０／０８

Ａ６１Ｂ ５／１８

Ａ６１Ｂ ５／１１

Ａ６１Ｂ ５／０２

Ｇ０６Ｎ ２０／００

Ｇ０１Ｃ ２１／２６

(57)【特許請求の範囲】

【請求項1】

ユーザの生体情報を得る生体情報取得部と、
所定の体調異常に係る前記生体情報の予兆データを教師データとして学習した学習済みモデルを用いて、前記ユーザの生体情報が前記所定の体調異常の予兆にあたるか否かを判定することにより予兆を検出する予兆検出部と、
前記ユーザの生体情報の履歴に前記所定の体調異常に応じたラベルを付与した前記教師データを作成する教師データ作成部と、
前記教師データ作成部が作成した前記教師データを前記学習済みモデルに学習させる予兆モデル作成部と、
前記ユーザの前記所定の体調異常の発症状態を検出する状態検出部と、を備え、
前記教師データ作成部は、前記状態検出部が前記発症状態を検出すると、該発症状態よりも前の所定期間の前記ユーザの前記生体情報にラベルを付した第一の情報と、前記発症状態を検出しない場合の前記所定期間の前記ユーザの前記生体情報である第二の情報と、を前記教師データとする、
ことを特徴とする状態推定装置。

【請求項2】

請求項１に記載の状態推定装置であって、
前記所定の体調異常は、前記ユーザの運動動作に影響を及ぼす体調異常である、
ことを特徴とする状態推定装置。

【請求項3】

請求項２に記載の状態推定装置であって、
前記ユーザの運動動作に影響を及ぼす体調異常は、前記ユーザが眠気を感じている状態またはてんかんの発作を起こしている状態である、
ことを特徴とする状態推定装置。

【請求項4】

請求項１～３のいずれか一項に記載の状態推定装置であって、
前記生体情報取得部は、前記生体情報として脈波の情報を取得する、
ことを特徴とする状態推定装置。

【請求項5】

請求項１～３のいずれか一項に記載の状態推定装置であって、
前記教師データ作成部は、前記第一の情報と、前記第二の情報と、がほぼ同割合となるよう前記教師データを作成する、
ことを特徴とする状態推定装置。

【請求項6】

請求項１～３のいずれか一項に記載の状態推定装置であって、
前記教師データ作成部は、前記体調異常に応じて前記所定期間を特定する、
ことを特徴とする状態推定装置。

【請求項7】

請求項１～３のいずれか一項に記載の状態推定装置であって、
前記教師データ作成部は、前記予兆検出部が検出した予兆について異議を示す入力を受け付けると、その後所定の期間内に前記状態検出部が前記発症状態を検出しない場合には、該予兆が検出された生体情報を第二の情報とする教師データを作成する、
ことを特徴とする状態推定装置。

【請求項8】

請求項１～３のいずれか一項に記載の状態推定装置であって、
所定の方法で異常を報知する報知部を備え、
前記生体情報取得部は、取得した前記生体情報が所定の範囲を逸脱すると前記報知部に報知させ、該生体情報を削除する、
ことを特徴とする状態推定装置。

【請求項9】

請求項１に記載の状態推定装置であって、
前記予兆検出部は、複数の前記所定の体調異常についてそれぞれ学習した複数の学習済みモデルを用いて、複数の前記所定の体調異常の予兆を検出する、
ことを特徴とする状態推定装置。

【請求項10】

コンピュータに状態推定手順を実行させるプログラムであって、
前記コンピュータを、制御手段として機能させ、
前記制御手段に対して、
ユーザの生体情報を得る生体情報取得ステップと、
所定の体調異常に係る前記生体情報の予兆データを教師データとして学習した学習済みモデルを用いて、前記ユーザの生体情報が前記所定の体調異常の予兆にあたるか否かを判定することにより予兆を検出する予兆検出ステップと、
前記ユーザの生体情報の履歴に前記所定の体調異常に応じたラベルを付与した前記教師データを作成する教師データ作成ステップと、
前記教師データ作成ステップにて作成した前記教師データを前記学習済みモデルに学習させる予兆モデル作成ステップと、
前記ユーザの前記所定の体調異常の発症状態を検出する状態検出ステップと、を実行させ、
前記教師データ作成ステップにおいては、前記状態検出ステップにおいて前記発症状態を検出すると、該発症状態よりも前の所定期間の前記ユーザの前記生体情報にラベルを付した第一の情報と、前記発症状態を検出しない場合の前記所定期間の前記ユーザの前記生体情報である第二の情報と、を前記教師データとする、
ことを特徴とするプログラム。

【請求項11】

コンピュータに状態推定手順を実行させる状態推定方法であって、
前記コンピュータは、制御手段を備え、
前記制御手段は、
ユーザの生体情報を得る生体情報取得ステップと、
所定の体調異常に係る前記生体情報の予兆データを教師データとして学習した学習済みモデルを用いて、前記ユーザの生体情報が前記所定の体調異常の予兆にあたるか否かを判定することにより予兆を検出する予兆検出ステップと、
前記ユーザの生体情報の履歴に前記所定の体調異常に応じたラベルを付与した前記教師データを作成する教師データ作成ステップと、
前記教師データ作成ステップにて作成した前記教師データを前記学習済みモデルに学習させる予兆モデル作成ステップと、
前記ユーザの前記所定の体調異常の発症状態を検出する状態検出ステップと、を実行し、
前記教師データ作成ステップにおいては、前記状態検出ステップにおいて前記発症状態を検出すると、該発症状態よりも前の所定期間の前記ユーザの前記生体情報にラベルを付した第一の情報と、前記発症状態を検出しない場合の前記所定期間の前記ユーザの前記生体情報である第二の情報と、を前記教師データとする、
ことを特徴とする状態推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、状態推定装置、状態推定プログラムおよび状態推定方法の技術に関するものである。

【背景技術】

【0002】

背景技術として、特開２０１８－１２７１１２号公報（以下、特許文献１と呼ぶ。）がある。特許文献１では、「［課題］自動運転モードと手動運転モードとがある車両のドライバの覚醒度を高精度に推定することができる覚醒度推定装置を提供する。［解決手段］車両では、自動運転モードと手動運転モードとが切替え可能であり、車両の運転情報を検出する車両挙動検出部と、検出された運転情報からドライバの第１の覚醒度を認識する第１の覚醒度認識部と、ドライバの１以上の生体情報を検出する生体情報検出部と、検出された１以上の生体情報からドライバの第２の覚醒度を認識する第２の覚醒度認識部と、認識された第１の覚醒度及び第２の覚醒度の少なくとも一方から、ドライバの第３の覚醒度を推定する覚醒度推定部とを備える。覚醒度推定部は、手動運転モードでは、第１の覚醒度と第２の覚醒度とから、第３の覚醒度を推定し、自動運転モードでは、第２の覚醒度から第３の覚醒度を推定する。」と記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１２７１１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、例えば、ユーザが既に眠気を感じて車両の挙動や運転操作に異常が生じた後にしか覚醒度を推定できない。そこで、本発明ではユーザ操作に影響を及ぼす可能性がある状態になる予兆をより適切に推定する技術を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る状態推定装置は、ユーザの生体情報を得る生体情報取得部と、所定の体調異常に係る前記生体情報の予兆データを教師データとして学習した学習済みモデルを用いて、前記ユーザの生体情報が前記所定の体調異常の予兆にあたるか否かを判定することにより予兆を検出する予兆検出部と、を備えることを特徴とする。

【発明の効果】

【0006】

本願発明によれば、ユーザの動作に影響を及ぼす可能性がある状態になる予兆をより適切に推定することが可能となる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0007】

【図1】本発明に係る実施形態を適用した状態推定装置の構造の例を示す図である。

【図2】予兆モデル記憶部のデータ構造例を示す図である。

【図3】生体情報記憶部のデータ構造例を示す図である。

【図4】教師データ記憶部のデータ構造例を示す図である。

【図5】教師データ学習比率記憶部のデータ構造例を示す図である。

【図6】コントローラーの機能構成例を示す図である。

【図7】予兆検出処理のフローの例を示す図である。

【図8】覚醒異常報知画面の例を示す図である。

【図9】体調異常検知処理のフローの例を示す図である。

【図10】教師データ作成処理のフローの例を示す図である。

【図11】トレーニング処理のフローの例を示す図である。

【図12】モデル更新処理のフローの例を示す図である。

【図13】校正処理のフローの例を示す図である。

【図14】第二の実施形態を適用した状態推定装置の構造の例を示す図である。

【図15】第三の実施形態における教師データ設定情報の例を示す図である。

【発明を実施するための形態】

【0008】

以下に、本発明に係る状態推定装置１００を車載装置に適用した例について、図面を参照して説明する。ただし、本発明は車載装置に限定されず、操作に注意を伴う物の操作時に用いる装置に適用することもできる。装置の例としては例えば、航空機や列車、船舶等の移動体の運転・操作・乗車時に用いる装置、あるいはショベルカーやクレーン、掘削機等の重機である。

【0009】

なお、図１～図１４は、状態推定装置１００の全ての構成を示すものではなく、理解容易のため、適宜、構成の一部を省略して描いている。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する場合がある。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

【0010】

また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

【0011】

また、本発明に係る表現として、「状態情報」は、基本的にはユーザの人体を外部から視覚的に観察して得られる情報を示し、「体調異常」は、外部から視覚的に観察して得られる状態から総合的に判断される状態のうち想定される正常な状態を逸脱した状態を示す。例えば、「状態情報」としては、「瞬きの頻度」、「欠伸」、「視点移動量」「体の揺れ、傾き」、「いびき」、「硬直（姿勢変化なし）」、「痙攣」等の生体を客観的に観察することで定量化可能な情報全般を含む。

【0012】

そして、「体調異常」としては、「低覚醒（眠気含む）」、「高覚醒（異常な精神高揚等含む）」、「失神（てんかん、気絶等、不随意運動を含む）」、「心臓発作」、「自律神経失調症（代謝異常等含む）」等の操作あるいは運動動作に悪影響を及ぼす可能性のある総合的な体調上の異常全般を含む。なお、このような各種の生体の状態やその情報は、特にその要素のみである旨を明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。

【0013】

さらに、「生体情報」は、ユーザの人体を外部から計測して得られる情報を示す。例えば、「生体情報」としては、脳波、脈波、血圧、体温等を含む。なお、このような各種の生体情報は、特にその要素のみである旨を明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。

【0014】

また、一般に、ある体調異常が発症する際には、その事前に、生体情報に特徴的な変化が現れることが明らかとなってきている。例えば、「低覚醒（眠気）」については、瞬きの頻度が増加したり、欠伸が増加するのは、視覚的に観察できる症状にあたり、事前（おそらく数十分前ごろ）に予兆として心拍数が低下することがわかってきている。

【0015】

また、「てんかん」の発症については、脳波の乱れが増加するという視覚的に観察しにくい体調異常にあたり、事前（おそらく８分前ごろ）に予兆として心拍が乱れる（ＨＲＶ：Ｈｅａｒｔ Ｒａｔｅ Ｖａｒｉａｂｉｌｉｔｙ（心拍変動、ＲＲ間隔のミリ秒単位での変動））ことがわかってきている。

【0016】

すなわち、このような体調異常の発症前の予兆を生体情報から推定できれば、発症前に警告や各種の対策を行うことが可能となりうる。

【0017】

図１は、本発明に係る実施形態を適用した状態推定装置の構造の例を示す図である。移動体に着脱可能に搭載された状態推定装置１００は、生体情報や状態情報を取得することが可能な情報処理装置である。しかし、本願発明の対象となる状態推定装置１００は、図１に示す状態推定装置１００に限られるものではない。例えば、移動体や重機に組み込まれた各種制御機器であってもよい。

【0018】

状態推定装置１００は、コントローラー１と、ディスプレイ２と、記憶装置３と、音声入出力装置４（音声入力装置としてマイクロフォン４１、音声出力装置としてスピーカ４２を備える）と、入力装置５と、生体情報取得装置１０と、ネットワーク通信装置１１と、状態検出装置１２と、を備えている。

【0019】

コントローラー１は、様々な処理を行う中心的ユニットである。例えば、図示しない車速センサ、加速度センサやＧＰＳ(Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ)受信装置から出力される情報に基づいて現在地を算出する。また、得られた現在地の情報に基づいて、表示に必要な地図データ等を記憶装置３から読み出す。

【0020】

また、コントローラー１は、読み出した地図データをグラフィックス展開し、そこに現在地を示すマークを重ねてディスプレイ２へ表示させる。また、記憶装置３に記憶されている地図データ等を用いて、現在地又はユーザから指示された出発地と、目的地（または、経由地や立ち寄り地）と、を結ぶ最適な経路である推奨経路を探索する。また、スピーカ４２やディスプレイ２を用いてユーザを誘導する。

【0021】

状態推定装置１００のコントローラー１は、各デバイス間をバス２４で接続した構成である。コントローラー１は、数値演算及び各デバイスを制御するといった様々な処理を実行するプロセッサー２１と、記憶装置３から読み出した地図データ、演算データなどを格納するメモリー２２と、各種ハードウェアをコントローラー１と接続するためのＩ／Ｆ（インターフェース）２３と、を有する。

【0022】

ディスプレイ２は、コントローラー１等で生成されたグラフィックス情報を表示するユニットである。ディスプレイ２は、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどで構成される。ヘッドアップディスプレイ、メーターパネル、センターコンソール等が、ディスプレイ２には含まれる。また、ディスプレイ２は、通信を介してスマートフォン等の通信端末に情報を表示するものであってもよい。

【0023】

記憶装置３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、不揮発性メモリカードといった、少なくとも読み書きが可能な記憶媒体で構成される。

【0024】

この記憶媒体には、通常の経路探索装置に必要な基準となる地図データ（地図上の道路を構成するリンクのリンクデータおよび基準となるリンクコストを含む）と、予兆モデル記憶部２００と、生体情報記憶部３００と、教師データ記憶部４００と、教師データ学習比率記憶部５００と、が記憶されている。

【0025】

図２は、予兆モデル記憶部２００のデータ構造例を示す図である。予兆モデル記憶部２００は、体調異常名２０１と、予兆モデルパラメータ２０２と、が対応付けて格納される。体調異常名２０１は、ユーザの検出対象となる体調異常を特定する情報であり、例えば「低覚醒（眠気含む）」、「高覚醒（異常な精神高揚等含む）」、「失神（てんかん、気絶等、不随意運動を含む）」、「心臓発作」、「自律神経失調症（代謝異常等含む）」等の操作あるいは運転に悪影響を及ぼす可能性のある総合的な「体調異常」全般を含む。

【0026】

予兆モデルパラメータ２０２は、生体情報取得装置１０において取得される種類の生体情報の変化の特徴を、体調異常ごとに予兆部分をモデル化したパラメータである。ここで、予兆モデルは、ディープラーニングと呼ばれる機械学習の手法を用いて構成されたニューラルネットワークと呼ばれる学習済みモデルであるが、これに限られるものではない。例えば、ベイズ分類器や、サポートベクターマシンといった各種のＡＩ（人工知能）等を用いて予兆を検出するものであればよい。

【0027】

図３は、生体情報記憶部３００のデータ構造例を示す図である。生体情報記憶部３００は、利用者ＩＤ３０１と、時刻（開始、終了）３０２と、データ長（記録時間、サンプリング周期）３０３と、検出体調異常３０４と、生体情報３０５と、が対応付けて格納される。

【0028】

利用者ＩＤ３０１は、ユーザを特定する情報である。時刻（開始、終了）３０２は、生体情報の記録開始時刻と、終了時刻とを特定する情報である。データ長（記録時間、サンプリング周期）３０３は、生体情報の記録開始から終了までの時間と、サンプリング周期と、を特定する情報である。検出体調異常３０４は、生体情報に関連づけられた体調異常を特定する情報である。生体情報３０５は、所定の生体情報の記録と、その情報を特定する生体情報ＩＤとが関連付けられた情報である。

【0029】

図４は、教師データ記憶部４００のデータ構造例を示す図である。教師データ記憶部４００は、生体情報ＩＤ４０１と、ラベル４０２と、が対応付けて格納される。生体情報ＩＤ４０１は、生体情報を特定する情報である。ラベル４０２は、生体情報ＩＤ４０１で特定される生体情報が所定の体調異常の予兆を示すものであればその体調異常を特定する情報である。生体情報が所定の体調異常の予兆を示すものでない場合、すなわち体調異常のない健常な生体情報である場合は、ラベル４０２は空（ｎｕｌｌ）である。

【0030】

図５は、教師データ学習比率記憶部５００のデータ構造例を示す図である。教師データ学習比率記憶部５００は、体調異常名５０１と、ラベル付与データ学習比率（ラベル／総数）５０２と、が対応付けて格納される。体調異常名５０１は、体調異常を特定する情報である。ラベル付与データ学習比率（ラベル／総数）５０２は、体調異常名５０１で特定される体調異常ごとに、予兆モデルの機械学習に用いた教師データの内訳の比率を示す情報である。

【0031】

ラベルが付与されたデータは、すなわち体調異常が発症した場合の直前の所定期間の生体情報データであり、その発症した体調異常に関連付けられたデータである。ラベルが付与されていないデータは、その後に体調異常が発症していない場合の所定期間の生体情報データである。例えば、「低覚醒」の体調異常の予兆モデルを構築するのに用いた教師データのラベル付与データ学習比率（ラベル／総数）５０２が「１：２」の場合には、「低覚醒」のラベル付与データが学習に用いた教師データの総数の略半分を占めることを示す。

【0032】

図１に戻って説明する。音声入出力装置４は、音声入力装置としてマイクロフォン４１と、音声出力装置としてスピーカ４２と、を備える。マイクロフォン４１は、ユーザやその他の搭乗者が発した声などの状態推定装置１００の外部の音声を取得する。

【0033】

スピーカ４２は、コントローラー１で生成されたユーザへのメッセージを音声として出力する。マイクロフォン４１とスピーカ４２は、移動体の所定の部位に、別個に配されている。ただし、一体の筐体に収納されていても良い。状態推定装置１００は、マイクロフォン４１及びスピーカ４２を、それぞれ複数備えることができる。

【0034】

また、状態推定装置１００は、マイクロフォン４１及びスピーカ４２を備えず、接続される他の装置（例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等により有線接続されたスマートフォン等や、Ｗｉｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により無線接続されたスマートフォン等）のマイクロフォン及びスピーカから音声を出力するものであってもよい。

【0035】

入力装置５は、ユーザからの指示をユーザによる操作を介して受け付ける装置である。入力装置５は、タッチパネル５１と、ダイヤルスイッチ５２と、その他のハードスイッチ（図示しない）であるスクロールキー、縮尺変更キー、ユーザのジェスチャーを検出するジェスチャーセンサなどで構成される。また、入力装置５には、状態推定装置１００に対して遠隔で操作指示を行うことができるリモートコントローラが含まれる。リモートコントローラは、ダイヤルスイッチやスクロールキー、縮尺変更キーなどを備え、各キーやスイッチが操作された情報を状態推定装置１００に送出することができる。

【0036】

タッチパネル５１は、ディスプレイ２の表示面側に搭載され、表示画面を透視可能である。タッチパネル５１は、ディスプレイ２に表示された画像のＸＹ座標と対応したタッチ位置を特定し、タッチ位置を座標に変換して出力する。タッチパネル５１は、感圧式または静電式の入力検出素子などにより構成される。なお、タッチパネル５１は、同時に複数のタッチ位置を検出することのできるマルチタッチを実現できるものであってもよい。

【0037】

ダイヤルスイッチ５２は、時計回り及び反時計回りに回転可能に構成され、所定の角度の回転ごとにパルス信号を発生し、コントローラー１に出力する。コントローラー１では、パルス信号の数から、回転角度を求める。

【0038】

生体情報取得装置１０は、ユーザの脈波等の生体情報を取得する装置である。脈波の情報の取得に関しては、例えば反射型脈波測定等の光電脈波法を採用することができるが、これに限られるものではなく、透過型脈波測定や、心音図法、心電図法等の各種の測定方法を採用するものであってもよい。

【0039】

また、生体情報取得装置１０には、例えばドップラーセンサ、マット（圧電）センサ等、使用環境に応じた適切なセンサを用いる。生体情報取得装置１０のハードウェアは、スマートウォッチやシート、ハンドル、ピラー等へセンサを装着し、ＢｌｕｅｔｏｏｔｈやＵＳＢケーブル等の無線あるいは有線の通信経路を介して状態推定装置１００に送信するものであってもよい。

【0040】

ネットワーク通信装置１１は、状態推定装置１００を、図示しない移動体内の制御ネットワーク規格であるＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に対応するネットワークに接続させ、ネットワークに接続された移動体内の他の制御装置であるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）とＣＡＮメッセージ等をやり取りすることで通信を行う装置である。また、ネットワーク通信装置１１は、状態推定装置１００を、図示しない携帯電話網に接続させ、携帯電話網に接続された他の装置と通信を行うこともできる。

【0041】

状態検出装置１２は、ユーザの顔画像等から、所定の体調異常についての発症状態の情報を取得する装置である。所定の体調異常についての発症状態の情報の取得に関しては、状態検出装置１２は、例えば顔等の外部から視覚的に観察可能な部位の画像情報を撮影等により取得し、その画像を解析して取得する。例えば、状態検出装置１２は、瞬きの頻度や、欠伸、パークロス（開眼時間割合）、マイクロサッケード（眼球不随意運動）、頭部動揺等を検出し、検出した情報が「低覚醒」の症状に相当するか否か判定し、「低覚醒」の状態を検出する。なお、この状態検出装置１２による発症状態の情報を取得する具体的な仕組みおよびアルゴリズムは、既存技術を採用する。

【0042】

図６は、コントローラー１の機能構成を示す図である。コントローラー１には、基本制御部１１１と、入力受付部１１２と、出力処理部１１３と、生体情報取得部１１４と、予兆検出部１１５と、報知部１１６と、状態検出部１１７と、教師データ作成部１１８と、予兆モデル作成部１１９と、が含まれる。

【0043】

基本制御部１１１は、様々な処理を行う中心的な機能部であり、処理内容に応じて、他の機能部（入力受付部１１２と、出力処理部１１３と、生体情報取得部１１４と、予兆検出部１１５と、報知部１１６と、状態検出部１１７と、教師データ作成部１１８と、予兆モデル作成部１１９）の動作を制御する。また、基本制御部１１１は、各種センサ、ＧＰＳ受信装置等の情報を取得し、マップマッチング処理等を行って現在地を特定する処理も担う。

【0044】

入力受付部１１２は、入力装置５またはマイクロフォン４１を介して入力されたユーザからの入力指示を受け付け、その入力指示に関する情報であるタッチの座標位置や、音声情報とともに、要求内容に対応する処理を実行するように基本制御部１１１へ伝達する。例えば、ユーザがある処理の実行を要求したときは、入力受付部１１２は、その要求された指示を基本制御部１１１に要求する。すなわち、入力受付部１１２は、ユーザの操作により指示を受け付ける指示受付部であるといえる。

【0045】

出力処理部１１３は、例えばポリゴン情報等、表示させる画面を構成する情報を受け取り、ディスプレイ２に描画するための信号に変換してディスプレイ２に対して描画する指示を行う。

【0046】

生体情報取得部１１４は、生体情報取得装置１０との通信を確立し、常時の通信あるいは間欠的に通信を行って、生体情報取得装置１０により取得された生体情報である脈波等の情報を取得し、一定の期間の履歴情報とともにＲＡＭ２２あるいは記憶装置３上に保持する。

【0047】

なお、生体情報取得部１１４は、取得した生体情報が所定の範囲を逸脱するものである場合には、報知部１１６に報知させ、該生体情報を削除する。これにより、異常によるユーザの重篤化を早期に発見することができるようになるとともに、異常データが教師データに混入してしまい、予兆の検出精度が下がってしまうことを避けることができる。

【0048】

予兆検出部１１５は、所定の体調異常に係る生体情報の予兆データを教師データとして学習した学習済みモデル（予兆モデル）を用いて、生体情報取得部１１４が取得した生体情報が所定の体調異常の予兆に相当するか否かを判定することにより予兆を検出する。

【0049】

より具体的には、予兆検出部１１５は、生体情報を取得すると、生体情報について外れ値の除去、データの補完等を行ってデータの整形を行い、所定の指標値（例えば、インターバルの周波数分解や、ＨＲＶ等）を算出する。そして、予兆検出部１１５は、学習済みモデルである予兆モデルに体調異常の予兆を検出させ、予兆が検出された場合には報知部１１６に予兆の検出を報知させる。

【0050】

報知部１１６は、予兆検出部１１５等の機能部から指示を受けて、所定のメッセージ文等を音声出力し、あるいは表示し、アラーム音を出力し、電子メールを送信し、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）等を含む各種のメッセージングを利用することで、設定された所定の方法で所定の対象に報知を行う。またあるいは、報知部１１６は、ユーザの利用するシートの座面や背もたれ、アームレスト、ステアリング等を小刻みに振動させて報知するものであってもよい。

【0051】

状態検出部１１７は、ユーザの前記所定の体調異常の発症状態を検出する。状態検出部１１７は、状態検出装置１２が、ユーザの顔画像等から取得した所定の体調異常についての発症状態の情報を取得する。例えば、状態検出部１１７は、「低覚醒（眠気含む）」、「高覚醒（異常な精神高揚等含む）」、「失神（てんかん、気絶等、不随意運動を含む）」、「心臓発作」、「自律神経失調症（代謝異常等含む）」等の操作あるいは運転に悪影響を及ぼす可能性のある総合的な体調異常を検出する。

【0052】

教師データ作成部１１８は、状態検出部１１７が発症状態を検出した場合に、該発症状態に至る直前の所定期間のユーザの生体情報にラベルを付した第一の情報と、発症状態を検出しない場合の所定期間のユーザの生体情報である第二の情報と、を用いて教師データを作成する。なお、教師データ作成部１１８は、第一の情報と、第二の情報と、が所定の割合（望ましくは、１：１）となるよう教師データを作成する。

【0053】

また、教師データ作成部１１８は、体調異常に応じて第一の情報および第二の情報のそれぞれのデータ長（記録期間、サンプリング周期）を特定する。

【0054】

また、教師データ作成部１１８は、予兆検出部１１５が検出した予兆について異議を示す入力、例えば「低覚醒」の予兆を報知した後に「眠くない」というユーザからの入力を受け付けると、その後所定の期間内に状態検出部１１７が発症状態を検出しない場合には、予兆の検出精度を向上させるために、該予兆が検出された際の生体情報を第二の情報すなわち異常状態でない場合の生体情報とする教師データを作成する。

【0055】

予兆モデル作成部１１９は、教師データ作成部１１８が作成した教師データを機械学習に用いて学習済みモデルを予兆モデルとして作成する。この予兆モデルの作成処理それ自体は、既存の機械学習と基本的に同様の処理である。

【0056】

上記したコントローラー１の各機能部、すなわち基本制御部１１１と、入力受付部１１２と、出力処理部１１３と、生体情報取得部１１４と、予兆検出部１１５と、報知部１１６と、状態検出部１１７と、教師データ作成部１１８と、予兆モデル作成部１１９は、プロセッサー２１が所定のプログラムを読み込み実行することにより構築される。そのため、メモリー２２には、各機能部の処理を実現するためのプログラムが記憶されている。

【0057】

なお、上記した各構成要素は、状態推定装置１００の構成を、理解を容易にするために、主な処理内容に応じて分類したものである。そのため、構成要素の分類の仕方やその名称によって、本願発明が制限されることはない。状態推定装置１００の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

【0058】

また、各機能部は、ハードウェア（ＡＳＩＣ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ））により構築されてもよい。また、各機能部の処理が一つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各機能部の処理および記憶装置３は、ネットワーク通信装置１１を介して外部のクラウドサーバー等に処理を委譲、あるいはデータを格納するものであってもよい。

【0059】

［動作の説明］次に、予兆検出処理に関する動作について説明する。図７は、予兆検出処理のフローの例を示す図である。予兆検出処理は、状態推定装置１００が起動すると、所定の間隔で（例えば、１秒に一度、あるいは５秒に一度、またあるいは１分に一度等、所定の間隔で）開始される。

【0060】

まず、生体情報取得部１１４は、生体情報を取得する（ステップＳ００１）。具体的には、生体情報取得部１１４は、生体情報取得装置１０との通信を確立し、常時の通信あるいは間欠的に通信を行って、生体情報取得装置１０により取得された生体情報である脈波の情報を取得し、一定の期間の履歴情報とともにＲＡＭ２２あるいは記憶装置３上に保持する。

【0061】

そして、予兆検出部１１５は、生体情報の所定の指標値を算出する（ステップＳ００２）。具体的には、予兆検出部１１５は、生体情報取得部１１４から生体情報を取得し、生体情報について外れ値の除去、データの補完等を行ってデータの整形を行い、所定の指標値（例えば、インターバルの周波数分解や、ＨＲＶ等）を算出する。

【0062】

そして、予兆検出部１１５は、予兆モデルにより体調異常の予兆を検出する（ステップＳ００３）。具体的には、予兆検出部１１５は、予兆モデル記憶部２００の体調異常名２０１ごとに対応する生体情報の予兆データを教師データとして学習した学習済みモデル（予兆モデル）を用いて、生体情報取得部１１４が取得した生体情報が所定の体調異常の予兆に相当するか否かを判定することにより予兆を検出する。

【0063】

そして、予兆検出部１１５は、予兆が検出されたか否かを判定する（ステップＳ００４）。具体的には、予兆検出部１１５は、体調異常毎の予兆モデルから各体調異常の予兆が検出されると、予兆が検出されたと判定する。しかし、これに限られず、いくつかの体調異常の検出の組み合わせが所定の条件を満たすか否かにより、予兆が検出されたと判定するようにしてもよい。予兆が検出されなかった場合（ステップＳ００４にて「Ｎｏ」の場合）には、予兆検出部１１５は、予兆検出処理を終了させる。

【0064】

予兆が検出された場合（ステップＳ００４にて「Ｙｅｓ」の場合）には、予兆検出部１１５は、アナウンス、表示、アラーム音、メール、メッセージング等による報知を行う（ステップＳ００５）。具体的には、予兆検出部１１５は、報知部１１６に予兆の検出を報知させる。

【0065】

以上が、予兆検出処理のフローの例である。予兆検出処理によれば、ユーザ操作に影響を及ぼす可能性がある状態、すなわち体調異常になる予兆をより適切に推定することができる。

【0066】

なお、上述の予兆検出処理においては、予兆の検出がされるか、されないか、の二値を判定するものとなっているが、これに限られるものではなく、予兆モデルの尤度を用いることで、多段階に判定することも可能である。例えば、覚醒度合いを複数段階に判定するようにすることも可能である。

【0067】

図８は、覚醒異常報知画面の例を示す図である。覚醒異常報知画面６００は、予兆検出処理のステップＳ００５にて出力される画面の例である。

【0068】

覚醒異常報知画面６００には、自車位置を示すマーカー６０１と、走行予定の道路を示す推奨経路表示６０２と、を中心とする周辺地図を含むいわゆるナビゲーション画面が含まれる。

【0069】

このナビゲーション画面は、状態推定装置１００が起動すると起動されるアプリケーションソフトウェアの画面である。そのため、ナビゲーション画面に限られるものではなく、他のアプリケーションソフトウェアの画面であってもよい。例えば、動画表示画面であってもよいし、音楽再生のための操作画面、あるいは基本制御部１１１が示す状態推定装置１００のメニュー画面や設定画面等であってもよい。

【0070】

そして、覚醒異常報知画面６００では、メッセージを表示するメッセージボックス６０３が表示され、さらに同様の内容のメッセージの音声６０４が出力される。当該メッセージは、例えば「眠くなることが予測されます。休憩してはいかがですか？」というように、体調異常の予兆が検出された点と、予兆が検出された体調異常と、該体調異常の発症に備える対処行動と、を含んでいるのが望ましい。

【0071】

また、そのメッセージボックス６０３には、報知された内容に異議の入力を受け付けるボタンが含まれる。例えば、眠気の予兆を検出した覚醒異常報知画面６００の場合には、「眠くない」という異議の入力を受け付ける領域が含まれる。

【0072】

異議の入力を受け付ける領域にタッチ入力がなされると、その後所定期間に該予兆に関する体調異常が発症しない場合には、該予兆が誤検出であったとして、教師データの変更を行う後述の校正処理を実施することが可能となる。

【0073】

図９は、体調異常検知処理のフローの例を示す図である。体調異常検知処理は、状態推定装置１００が起動すると、所定の間隔で（例えば、１秒に一度、あるいは５秒に一度、またあるいは１分に一度等、所定の間隔で）開始される。

【0074】

まず、状態検出部１１７は、状態（顔画像）情報を取得する（ステップＳ１０１）。具体的には、状態検出部１１７は、状態検出装置１２との通信を確立し、常時の通信あるいは間欠的に通信を行って、状態検出装置１２により取得された状態情報である顔画像の情報を取得し、一定の期間の履歴情報とともにＲＡＭ２２あるいは記憶装置３上に保持する。

【0075】

そして、状態検出部１１７は、状態（顔画像）情報について整形する（ステップＳ１０２）。具体的には、状態検出部１１７は、状態情報についてノイズの除去、データの補完等を行って画像の整形を行う。

【0076】

そして、状態検出部１１７は、いずれかの体調異常に該当するか否か判定する（ステップＳ１０３）。具体的には、状態検出部１１７は、状態検出装置１２から、瞬きの頻度や、欠伸、パークロス（開眼時間割合）、マイクロサッケード（眼球不随意運動）、頭部動揺等と、体調異常の症状に相当するか否かの判定結果とを取得し、いずれかの体調異常に該当するか判定する。体調異常ではない場合（ステップＳ１０３にて「Ｎｏ」の場合）には、状態検出部１１７は、体調異常検知処理を終了させる。

【0077】

体調異常である場合（ステップＳ１０３にて「Ｙｅｓ」の場合）には、状態検出部１１７は、体調異常に応じた所定の信号を出力する（ステップＳ１０４）。具体的には、状態検出部１１７は、体調異常の内容、すなわち発症した体調異常に応じた信号を体調異常の検出信号として教師データ作成部１１８等に出力する。

【0078】

以上が、体調異常検知処理のフローである。体調異常検知処理によれば、状態検出装置１２から得た状態情報を用いて、体調異常を教師データ作成部１１８に通知することができる。

【0079】

図１０は、教師データ作成処理のフローの例を示す図である。教師データ作成処理は、状態推定装置１００が起動すると、所定の間隔で（例えば、１秒に一度、あるいは５秒に一度、またあるいは１分に一度等、所定の間隔で）開始される。

【0080】

まず、生体情報取得部１１４は、生体情報を取得する（ステップＳ２０１）。具体的には、生体情報取得部１１４は、生体情報取得装置１０との通信を確立し、常時の通信あるいは間欠的に通信を行って、生体情報取得装置１０により取得された生体情報である脈波の情報を取得し、所定の期間（例えば、処理時点の４０分前から処理時点までの期間）の履歴情報とともにＲＡＭ２２あるいは記憶装置３上に保持する。

【0081】

そして、予兆検出部１１５は、生体情報の所定の指標値を算出する（ステップＳ２０２）。具体的には、予兆検出部１１５は、生体情報取得部１１４から生体情報を取得し、生体情報について外れ値の除去、データの補完等を行ってデータの整形を行い、所定の指標値（例えば、インターバルの周波数分解、心拍数、ＨＲＶ等）を算出する。

【0082】

そして、教師データ作成部１１８は、算出された指標値が、標準範囲を逸脱しているか否かを判定する（ステップＳ２０３）。例えば、教師データ作成部１１８は、算出された指標値が、正常な健康状態を逸脱するか否か判定する。

【0083】

算出された指標値が標準範囲を逸脱する場合（ステップＳ２０３にて「Ｙｅｓ」の場合）には、生体情報取得部１１４は、該生体情報を破棄し、報知部１１６に対してアナウンス、表示、アラーム音、メール、メッセージング等により標準範囲を逸脱したことを報知するよう指示する（ステップＳ２０４）。これにより、記憶装置３の記憶容量の圧迫を防ぎ、予兆の推定精度の低下を防ぐことができる。

【0084】

算出された指標値が標準範囲を逸脱しない場合（ステップＳ２０３にて「Ｎｏ」の場合）には、教師データ作成部１１８は、教師データを構成するのに必要な生体情報量（教師データ長）が不足しているか否か判定する（ステップＳ２０５）。具体的には、教師データ作成部１１８は、ステップＳ２０１にて生体情報取得部１１４が保持している脈波の履歴情報が、体調異常に応じた教師データのデータ長（記録時間、サンプリング周期）３０３より短いデータ長か否かを判定する。教師データを構成するのに必要な生体情報量（教師データ長）が不足している場合（ステップＳ２０５にて「Ｙｅｓ」の場合）には、教師データ作成部１１８は、取得した生体情報を格納し（ステップＳ２０５１）、制御をステップＳ２０１に戻す。その生体情報の格納先は、例えば一時メモリ（不図示）等である。

【0085】

教師データを構成するのに必要な生体情報量（教師データ長）が不足していない場合（ステップＳ２０５にて「Ｎｏ」の場合）には、教師データ作成部１１８は、体調異常の信号を検出したか否か判定する（ステップＳ２０６）。具体的には、教師データ作成部１１８は、状態検出部１１７から体調異常の検出信号が出力されているか否かを判定する。未検出の場合（ステップＳ２０６にて「Ｎｏ」の場合）には、教師データ作成部１１８は、制御をステップＳ２０８に進める。

【0086】

体調異常の信号を検出した場合（ステップＳ２０６にて「Ｙｅｓ」の場合）には、教師データ作成部１１８は、体調異常に応じたラベルを生体情報の履歴に付与する（ステップＳ２０７）。具体的には、教師データ作成部１１８は、不図示の一時メモリから生体情報を読み出し、生体情報ＩＤに、ラベルを対応付けて保持する。生体情報ＩＤは、例えば、生体情報のハッシュ値等である。教師データ作成部１１８は、生体情報と関連付けることで、体調異常の信号に応じたラベルを教師データに付与する。

【0087】

そして、教師データ作成部１１８は、ラベル付与データ学習比率が所定未満であるか否か判定する（ステップＳ２０８）。具体的には、教師データ作成部１１８は、状態に応じた体調異常についてのラベル付与データ学習比率（ラベル／総数）５０２を参照して、例えば４５％（パーセント）未満か否か判定する。ラベル付与データ学習比率が所定未満である場合（ステップＳ２０８にて「Ｙｅｓ」の場合）には、教師データ作成部１１８は、制御をステップＳ２１０に進める。

【0088】

ラベル付与データ学習比率が所定未満でない場合（ステップＳ２０８にて「Ｎｏ」の場合）には、教師データ作成部１１８は、既存の教師データから同一ラベルの最古データを２件削除（ＦＩＦＯ：Ｆｉｒｓｔ Ｉｎ，Ｆｉｒｓｔ Ｏｕｔ方式）する（ステップＳ２０９）。

【0089】

例えば、教師データの総数が１００件、そのうちラベル付与データが５０件（５０％）であって、ラベル付与データ学習比率の閾値が４５％の場合、教師データ作成部１１８は、ラベル付与データから最古データを２件削除して、教師データを総数９８件、そのうちのラベル付与データを４８件とする。

【0090】

そして、教師データ作成部１１８は、所定期間の生体情報の履歴をラベルと共に教師データとして格納する（ステップＳ２１０）。具体的には、教師データ作成部１１８は、ステップＳ２０１により取得した生体情報のうち、教師データに必要なデータ長の生体情報を切り出してハッシュ値を求めて生体情報ＩＤとして、ラベル情報が付与されていれば付与して、教師データ記憶部４００に１件のデータとして格納する。

【0091】

そして、教師データ作成部１１８は、ラベル付与データ学習比率を再算出する。例えば、ラベルが付与された教師データが１件のデータとして追加格納された場合には、教師データは総数９９件、そのうちのラベル付与データは４９件となり、ラベル付与データ学習比率は４９／９９＝約４９．４％となる。教師データ作成部１１８は、これを教師データ学習比率記憶部５００に格納する。

【0092】

以上が、教師データ作成処理のフローの例である。教師データ作成処理によれば、新たな生体情報が取得できた場合に、ラベル付与された生体情報すなわち体調異常発生時の予兆となる生体情報と、そうでない時の生体情報と、を所定の比率（略１：１）で含む教師データを作成することができる。

【0093】

また、体調異常検出処理および教師データ作成処理によれば、生体情報取得装置とは異なるセンサである状態検出装置を用いて発症を検出して生体情報にラベリングを行った教師データを作成することが可能となり、これを機械学習した学習済みモデルを用いることで、生体情報のみからでは判定が難しい予兆の検出を可能とすることができる。

【0094】

なお、教師データ作成処理は、リアルタイムに実施しても良いが、これに限られず、例えば状態推定装置１００の終了処理時にまとめてバッチ処理するようにしてもよい。

【0095】

図１１は、トレーニング処理のフローの例を示す図である。トレーニング処理は、状態推定装置１００が起動すると、開始される。あるいは、トレーニング処理は、状態推定装置１００の処理負荷が所定以下となったタイミング等、不定期に実施されるものであってもよい。

【0096】

まず、予兆モデル作成部１１９は、既に作成された教師データについて、生体情報の指標値をそれぞれ算出する（ステップＳ３０１）。より具体的には、予兆モデル作成部１１９は、教師データから生体情報を所定の手法で抽出し、生体情報について外れ値の除去、データの補完等を行ってデータの整形を行い、所定の指標値（例えば、インターバルの周波数分解や、ＨＲＶ等）を算出する。

【0097】

そして、予兆モデル作成部１１９は、生体情報の指標値によって予兆モデルのトレーニングを行う。具体的には、予兆モデル作成部１１９は、トレーニング対象の既存の予兆モデルを用いて、ステップＳ３０１にて抽出した生体情報の解（例えば、予兆のある体調異常）を予兆検出部１１５に推定させ、推定された解を得る。例えば、予兆モデル作成部１１９は、ステップＳ３０１にて抽出した生体情報の指標値を予兆モデルへ入力する（ステップＳ３０２）。入力された生体情報は予兆モデルの内部パラメータを伝播し、予兆モデルが推定結果を出力する。例えば、予兆モデルが推定結果として「０．８」と出力し、教師データの生体情報に付与されたラベルが「１」の場合、予兆モデルによる推定結果と実際のラベルとの差は「１－０．８」すなわち「０．２」となる。予兆モデルによる推定結果と、実際のラベルとの差が所定の値よりも下回る場合（ステップＳ３０３にて「Ｎｏ」の場合）には、予兆モデル作成部１１９は予兆モデルの内部パラメータを変更せずにトレーニング処理を終了させる。

【0098】

予兆モデル作成部１１９は、予兆モデルによる推定結果と実際のラベルとの差が所定の値以上の場合（ステップＳ３０３にて「Ｙｅｓ」の場合）には、予兆モデル作成部１１９は予兆モデルの内部パラメータを変更する（ステップＳ３０４）。例えば、予兆モデル作成部１１９は、誤差逆伝播法を用いて予兆モデルの内部パラメータを変更することができる。必要に応じて、予兆モデル作成部１１９は、予兆モデルの作成に用いた生体情報と同じ種類の生体情報であって、モデル作成に用いられていない生体情報を選択して予兆モデルへ入力し、予兆モデルが出力した推定結果と実際に付与されたラベルとの差に基いて予兆モデルの内部パラメータを変更することも可能である。このようにある生体情報を入力して予兆モデルの内部パラメータを変更した後、当該生体情報でない別の生体情報を入力して予兆モデルの内部パラメータを変更することをサイクルと呼ぶ。サイクルをまわす回数は、学習データのサイズやモデルの構成によって適宜変更される。

【0099】

次に、モデル更新処理を説明する。図１２は、モデル更新処理のフローの例を示す図である。モデル更新処理は、複数回トレーニング処理を行って作成された複数のモデルの中から適切なモデルを選択することを目的とする処理である。モデル更新処理は、状態推定装置１００が起動すると開始される。あるいは、トレーニング処理を行った後に続けて開始されるものであってもよい。

【0100】

まず、予兆モデル作成部１１９は、予兆モデル記憶部２００に記憶されたデータに基づいて、モデルが複数記憶されているか否か判定する（ステップＳ３１１）。予兆モデル記憶部２００に複数の予兆モデルが記憶されていない場合（ステップＳ３１１にて「Ｎｏ」の場合）には、予兆モデル作成部１１９は、モデル更新処理を終了させる。

【0101】

予兆モデル記憶部２００に複数の予兆モデルが記憶されている場合（ステップＳ３１１にて「Ｙｅｓ」の場合）には、予兆モデル作成部１１９は、複数の予兆モデルへ生体情報に基づく指標値をそれぞれ入力する（ステップＳ３１２）。この処理においては、各予兆モデルへ入力する指標値は同一のデータである。予兆モデルへ入力される生体情報は既に記憶された教師データであり、各予兆モデルのトレーニングに使用されていないデータである。

【0102】

そして、予兆モデル作成部１１９は、同じデータを入力された複数の予兆モデルそれぞれの精度を算出し、比較する（ステップＳ３１３）。この精度の比較に用いる計算方法は、例えば、正答率を用いる方法や、再現率を用いる方法があり、いずれを採用しても良い。

【0103】

そして、予兆検出部１１５は、ステップＳ３１３においてより精度が高いと判定された予兆モデルを用いて予兆検出処理を行うよう予兆検出部１１５を設定する（ステップＳ３１４）。

【0104】

以上が、トレーニング処理およびモデル更新処理のフローの例である。トレーニング処理およびモデル更新処理によれば、新たな生体情報を取得した場合に、ラベル付与された生体情報を含む教師データを用いて、より精度の高い予兆の推定が可能な予兆モデルを作成することができる。なお、トレーニング処理は、上述のタイミングの他、リアルタイムに実施しても良いし、状態推定装置１００の終了処理時にまとめてバッチ処理するようにしてもよい。

【0105】

図１３は、校正処理のフローの例を示す図である。校正処理は、ステップＳ００４にて「Ｙｅｓ」と判定されると、開始される。

【0106】

まず、教師データ作成部１１８は、予兆検出に対して異議入力を受け付ける（ステップＳ４０１）。具体的には、教師データ作成部１１８は、予兆検出処理のステップＳ００５において出力される覚醒異常報知画面６００の場合には、「眠くない」という異議の入力を受け付ける領域へのタッチ入力を受け付ける。

【0107】

そして、教師データ作成部１１８は、所定期間内に体調異常が発生するか否か判定する（ステップＳ４０２）。具体的には、教師データ作成部１１８は、ステップＳ４０１において異議入力を受け付けた後、所定の期間の計時を開始する。そして、計時の間、体調異常検知処理において体調異常に応じた所定の信号が出力されるか否か監視する。

【0108】

所定期間内に体調異常が発生した場合（ステップＳ４０２にて「Ｙｅｓ」の場合）には、教師データ作成部１１８は、校正処理を終了させる。異議は正しくなく、体調異常の症状が検出されるべき状況であり、予兆モデルを変更する必要性がないためである。

【0109】

所定期間内に体調異常が発生しなかった場合（ステップＳ４０２にて「Ｎｏ」の場合）には、教師データ作成部１１８は、予兆が検出された生体情報を、ラベルを付与しない教師データに変更して教師データを作成する（ステップＳ４０３）。異議は正しく、体調異常の症状は検出されるべき状況でなく、予兆モデルを個性に合わせて調整する必要性があるためである。

【0110】

以上が、校正処理のフローの例である。校正処理によれば、ユーザに適したモデルへ校正することができ、ユーザごとに体質等による個体差が存在する生体情報を扱う予兆モデルについて、汎用的なモデルから個性化することができ、予兆の検出精度を高めることができる。

【0111】

以上が、本発明に係る実施形態を適用した状態推定装置１００である。状態推定装置１００によれば、ユーザの動作に影響を及ぼす可能性がある状態になる予兆をより適切に推定することが可能となる。

【0112】

ただし、本発明は、上記の実施形態に制限されない。上記の実施形態は、本発明の技術的思想の範囲内で様々な変形が可能である。例えば、上記の実施形態は、予兆検出処理と、体調異常検知処理と、教師データ作成処理と、トレーニング処理と、モデル更新処理と、校正処理と、を行うものであるが、これに限られない。いずれかの処理を単独で、あるいはいずれかの処理を組み合わせて実施するものであってもよい。

【0113】

図１４は、第二の実施形態を適用した状態推定装置の構造の例を示す図である。第二の実施形態を適用した状態推定装置１００´は、基本的に上記の実施形態を適用した状態推定装置１００と同様であるが、一部相違がある。この相違を中心に説明する。

【0114】

第二の実施形態を適用した状態推定装置１００´は、状態検出装置１２を備えない。また、これに伴い、記憶装置３は、教師データ記憶部４００、教師データ学習比率記憶部５００を保持しない。そして、コントローラー１は、予兆検出処理は行うが、体調異常検知処理と、教師データ作成処理と、トレーニング処理と、モデル更新処理と、校正処理と、を行わない。

【0115】

すなわち、予兆モデルの実績データによる再学習を行わず、学習済みの予兆モデルを用いて取得した生体情報から予兆を検出する。これにより、ハードウェアコスト、ソフトウェアコスト等の各種コストを抑えて、ユーザの動作に影響を及ぼす可能性がある状態になる予兆を適切に推定することが可能となる。

【0116】

図１５は、第三の実施形態における教師データ設定情報の例を示す図である。第三の実施形態を適用した状態推定装置は、同時に複数の体調異常について、より精度の高い予兆検出を行うことを実現するために、より精度高く状態を検出し、教師データおよび予兆モデルを精度高く作成する。

【0117】

教師データ設定情報９００は、このような目的を実現するために、体調異常名９０１ごとに、利用する状態検出装置９０２と、生体情報取得装置９０３と、教師データ利用部位９０４と、を個別に設定する情報である。教師データ利用部位９０４は、具体的には、体調異常検出時点と、そこから所定時間遡った時点と、を基準として特定する期間である。例えば、低覚醒（眠気）については「検出前３０分間のうち、検出直前５分を除く期間」であり、てんかんについては「検出８分前の前後４分間の期間」である。教師データ設定情報９００は、記憶装置３に格納され、コントローラー１の状態検出部１１７は、状態検出装置９０２を参照して体調異常ごとに使用する状態検出装置を特定し、生体情報取得部１１４は、生体情報取得装置９０３を参照して体調異常ごとに使用する生体情報取得装置を特定する。

【0118】

そして、予兆検出部１１５は、取得した生体情報に応じて、１つまたは複数の予兆モデルを並列で稼働させて、複数の体調異常についてそれぞれ学習した複数の学習済みモデルを用いて、予兆を検出する。これにより、それぞれの体調異常に応じて最適な予兆検出が可能となり、より精度の高い予兆検出を行うことができる。

【0119】

また、教師データ作成部１１８は、教師データ利用部位９０４を参照して体調異常ごとに利用する生体情報の部位を特定する。これにより、同時に複数の体調異常について、体調異常により適した情報を利用することが可能となり、より精度の高い予兆検出を行うことができる。

【0120】

また、上記の各実施形態では、体調異常の信号が検出されない場合には、教師データに付与するラベルは無いものとして扱ったが、これに限られず、体調異常ではないラベルを付与するようにしてもよい。例えば、上述のラベル４０２について、生体情報が所定の体調異常の予兆を示すものではない場合、すなわち体調異常のない健常な生体情報とも考えられるため、ラベル４０２にはダミー変数を設定するようにしてもよい。具体的には、ダミー変数は二つの状態を「０」と「１」で表すものであって、体調異常の予兆を示す場合にはダミー変数「１」を用い、そうでない場合にはダミー変数「０」を用いるようにしてもよい。

【0121】

このようにラベル４０２にダミー変数を使用する場合には、例えば、校正処理のステップＳ４０２にて「Ｙｅｓ」の場合（所定期間内に体調異常が発生した場合）には、教師データ作成部１１８は、ラベル４０２としてダミー変数「１」を付与して校正処理を終了させる。

【0122】

また、校正処理のステップＳ４０２にて「Ｎｏ」の場合（所定期間内に体調異常が発生しなかった場合）には、ステップＳ４０３において、教師データ作成部１１８は、予兆が検出された生体情報を、ラベルにダミー変数「０」を付与した教師データに変更して教師データを作成する。

【0123】

このように、体調異常でない場合にも教師データにその旨のラベルデータを付与することで、ラベルデータの欠落により不測の学習結果とならないようにすることができる。

【符号の説明】

【0124】

１・・・コントローラー、２・・・ディスプレイ、３・・・記憶装置、４・・・音声入出力装置、５・・・入力装置、１０・・・生体情報取得装置、１１・・・ネットワーク通信装置、１２・・・状態検出装置、２１・・・プロセッサー、２２・・・メモリー、２３・・・Ｉ／Ｆ、２４・・・バス、４１・・・マイクロフォン、４２・・・スピーカ、５１・・・タッチパネル、５２・・・ダイヤルスイッチ、１００・・・状態推定装置、２００・・・予兆モデル記憶部、３００・・・生体情報記憶部、４００・・・教師データ記憶部、５００・・・教師データ学習比率記憶部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】