特開 2021-82013 見守りシステム、見守り方法、見守り装置、見守りプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-82013(P2021-82013A)

(43)【公開日】2021年5月27日

(54)【発明の名称】見守りシステム、見守り方法、見守り装置、見守りプログラム

(51)【国際特許分類】

   G08B 25/04 20060101AFI20210430BHJP

   G08B 21/02 20060101ALI20210430BHJP

   G06Q 50/22 20180101ALI20210430BHJP

   G06F 3/16 20060101ALI20210430BHJP

【ＦＩ】

   G08B25/04 K

   G08B21/02

   G06Q50/22

   G06F3/16 650

   G06F3/16 690

   G06F3/16 660

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2019-209035(P2019-209035)

(22)【出願日】2019年11月19日

(71)【出願人】

【識別番号】519412659

【氏名又は名称】株式会社デンセツ工業

(74)【代理人】

【識別番号】100137338

【弁理士】

【氏名又は名称】辻田 朋子

(72)【発明者】

【氏名】古澤 秀和

【テーマコード（参考）】

5C086

5C087

5L099

【Ｆターム（参考）】

5C086AA22

5C086CA09

5C086DA14

5C086FA06

5C086FA17

5C087AA02

5C087AA09

5C087AA10

5C087AA37

5C087BB74

5C087EE14

5C087EE18

5C087FF01

5C087FF02

5C087FF05

5C087GG08

5C087GG10

5C087GG19

5C087GG20

5C087GG35

5C087GG66

5C087GG70

5C087GG83

5L099AA13

(57)【要約】

【課題】
特別な装置を導入することなく、従来のサービスの延長上で利用される電子機器によって、高齢者の生活を支援しつつ、その行動を分析し、安否を確認できるシステムを提供する。
【解決手段】
ユーザの行動の記録及び分析を行うことにより、ユーザの異常を検知する見守りシステムであって、入出力装置を介して入力される前記ユーザによって発される音声に基づく音声指示情報を受け付ける音声指示情報入力手段と、入力された前記音声指示情報を記憶部に格納する音声指示情報記憶手段と、設定されたある期間において、前記音声指示情報の入力頻度が基準範囲内であるか否かを分析し、基準範囲外である場合、前記ユーザに異常状態が生じたことを判定する異常状態判定手段と、前記異常状態の出力に応じて前記異常状態を通知する通知手段と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの行動の記録及び分析を行うことにより、ユーザの異常を検知する見守りシステムであって、
入出力装置を介して入力される前記ユーザによって発される音声に基づく音声指示情報を受け付ける音声指示情報入力手段と、
入力された前記音声指示情報を記憶部に格納する音声指示情報記憶手段と、
設定されたある期間において、前記音声指示情報の入力頻度が基準範囲内であるか否かを分析し、基準範囲外である場合、前記ユーザに異常状態が生じたことを判定する異常状態判定手段と、
前記異常状態の出力に応じて前記異常状態を通知する通知手段と、を備える見守りシステム。

【請求項2】

前記音声指示情報記憶手段は、前記音声指示情報が示す特定の単語又は単語の組み合わせに基づいて前記音声指示情報を分類処理して記憶部に格納し、
前記異常状態判定手段は、設定されたある期間において、前記単語又は前記単語の組み合わせを含む音声指示情報の入力頻度が基準範囲内であるか否かを分析し、基準範囲外である場合、前記ユーザに異常状態が生じたことを判定する請求項１に記載の見守りシステム。

【請求項3】

前記異常状態判定手段は、前記単語又は前記単語の組み合わせに応じて異なる基準範囲の設定を受け付ける請求項２に記載の見守りシステム。

【請求項4】

前記見守りシステムは、ユーザの使用する薬について、名称、使用数、薬の画像、使用時間を含む薬情報の入力を受け付け、記憶部に格納する薬情報登録手段と、
前記薬情報に基づいて、画像、文字又は、音の少なくとも一つを薬の使用案内として前記入出力装置に対して出力処理する案内手段と、
前記使用案内を確認したことの入力を前記入出力装置を介して受け付ける確認手段と、
前記確認手段による入力を前記薬情報と関連付けて記憶部に格納する確認情報記憶手段と、を備える請求項１〜３の何れかに記載の見守りシステム。

【請求項5】

前記案内手段は、前記確認手段による入力が第１の所定時間内にされない場合、再度前記使用案内を前記入出力装置に対して出力処理する請求項４に記載の見守りシステム。

【請求項6】

前記異常状態判定手段は、前記確認手段による入力が第２の所定時間内にされない場合又は、前記案内手段による使用案内の出力が所定の回数以上となった場合、前記ユーザに異常が生じたことを判定する請求項５に記載の見守りシステム。

【請求項7】

前記見守りシステムは、緊急ボタンを表示処理し、表示処理結果を前記入出力装置に対して出力する緊急ボタン表示手段と、
前記緊急ボタンを介して緊急情報の入力を受け付ける緊急手段と、
前記緊急情報の入力に応じてＧＰＳによってユーザの位置情報を取得し、前記位置情報を中心とした所定の範囲内において通知可能な通信端末装置に対して緊急情報を通知する緊急情報通知手段と、を備える請求項１〜５の何れかに記載の見守りシステム。

【請求項8】

ユーザの行動の記録及び分析を行うことにより、ユーザの異常を検知する処理を見守りシステムが実行する見守り方法であって、
見守りシステムが、入出力装置を介して入力される前記ユーザによって発される音声に基づく音声指示情報を受け付ける処理と、
入力された前記音声指示情報を記憶部に格納する処理と、
設定されたある期間において、前記音声指示情報の入力頻度が基準範囲内であるか否かを分析し、基準範囲外である場合、前記ユーザに異常状態が生じたことを判定する処理と、
前記異常状態の出力に応じて前記異常状態を通知する処理と、を実行する見守り方法。

【請求項9】

ユーザの行動の記録及び分析を行うことにより、ユーザの異常を検知する見守り装置であって、
入出力装置を介して入力される前記ユーザによって発される音声に基づく音声指示情報を受け付ける音声指示情報入力手段と、
入力された前記音声指示情報を記憶部に格納する音声指示情報記憶手段と、
設定されたある期間において、前記音声指示情報の入力頻度が基準範囲内であるか否かを分析し、基準範囲外である場合、前記ユーザに異常状態が生じたことを判定する異常状態判定手段と、
前記異常状態の出力に応じて前記異常状態を通知する通知手段と、を備える見守り装置。

【請求項10】

ユーザの行動の記録及び分析を行うことにより、ユーザの異常を検知する見守りプログラムであって、
コンピュータを、入出力装置を介して入力される前記ユーザによって発される音声に基づく音声指示情報を受け付ける音声指示情報入力手段と、
入力された前記音声指示情報を記憶部に格納する音声指示情報記憶手段と、
設定されたある期間において、前記音声指示情報の入力頻度が基準範囲内であるか否かを分析し、基準範囲外である場合、前記ユーザに異常状態が生じたことを判定する異常状態判定手段と、
前記異常状態の出力に応じて前記異常状態を通知する通知手段と、として機能させる見守りプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの行動の記録及び分析を行うことにより、ユーザの異常を検知する見守りシステムに関する。

【背景技術】

【0002】

従来、高齢者と別居する家庭において、高齢者の行動をセンサや、高齢者による電子機器への操作によって検知し、高齢者の安否をメール等によって家族に通知する見守りサービスが提供されている。一方、これらの通知のみでは高齢者の行動に関する詳細（例えば、飲用薬の服用状況など）は不明であり、家族の十分な安心は得られなかった。また、高齢者の異常に対して、重篤な状態になるまで検知できないという課題があった。

【0003】

このような状況に鑑みて、特許文献１のように、ユーザの会話認識率の低下によりユーザが重篤な状態となる前兆である軽微な異常の有無を判定し、ユーザの要求に応じた最適な応答を行うロボットに関する技術が知られている。

【0004】

また、特許文献２のように、ユーザとの対話によりユーザの生活習慣を学習し、音声や画面表示によりユーザに薬の服用時間などを通知する電子機器に関する技術が知られている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第６４２０５１４号公報

【特許文献2】特開２０１９−４５７６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

一方、特許文献１では、家族などの見守り人に対して通知する機能について記載がない。また、特許文献２では、発話からユーザの緊急状態を通知する判定については開示があるものの、認知障害等の日常生活に支障をきたすが、緊急性は高くない異常を検知する機能については記載がない。

【0007】

本発明は、上記のような実情に鑑みてなされたものであり、緊急性が高くない異常を検知する為の新規な判断方法を提供することを解決すべき課題とする。

【課題を解決するための手段】

【0008】

上述の課題を解決する為に、本発明は、ユーザの行動の記録及び分析を行うことにより、ユーザの異常を検知する見守りシステムであって、入出力装置を介して入力される前記ユーザによって発される音声に基づく音声指示情報を受け付ける音声指示情報入力手段と、入力された前記音声指示情報を記憶部に格納する音声指示情報記憶手段と、設定されたある期間において、前記音声指示情報の入力頻度が基準範囲内であるか否かを分析し、基準範囲外である場合、前記ユーザに異常状態が生じたことを判定する異常状態判定手段と、前記異常状態の出力に応じて前記異常状態を通知する通知手段と、を備える。

【0009】

このような構成とすることで、ユーザは音声の入力により簡単に入出力装置を操作し、生活に関する支援を受けることができる。さらに、それらの音声の入力頻度からユーザが異常状態と認められた場合、ユーザの家族などに通知することができる。

【0010】

本発明の好ましい形態では、前記音声指示情報記憶手段は、前記音声指示情報が示す特定の単語又は単語の組み合わせに基づいて前記音声指示情報を分類処理して記憶部に格納し、前記異常状態判定手段は、設定されたある期間において、前記単語又は前記単語の組み合わせを含む音声指示情報の入力頻度が基準範囲内であるか否かを分析し、基準範囲外である場合、前記ユーザに異常状態が生じたことを判定する。
このような構成とすることで、ユーザからの質問内容の重複によって、ユーザの異常状態を判定することができる。

【0011】

本発明の好ましい形態では、前記異常状態判定手段は、前記単語又は前記単語の組み合わせに応じて異なる基準範囲の設定を受け付ける。
このような構成とすることで、ユーザからの問い合わせ内容に応じて異なる判断基準により、ユーザの異常状態を判定することができる。

【0012】

本発明の好ましい形態では、前記見守りシステムは、ユーザの使用する薬について、名称、使用数、薬の画像、使用時間を含む薬情報の入力を受け付け、記憶部に格納する薬情報登録手段と、前記薬情報に基づいて、画像、文字又は、音の少なくとも一つを薬の使用案内として前記入出力装置に対して出力処理する案内手段と、前記使用案内を確認したことの入力を前記入出力装置を介して受け付ける確認手段と、前記確認手段による入力を前記薬情報と関連付けて記憶部に格納する確認情報記憶手段と、を備える。
このような構成とすることで、ユーザの薬の飲み忘れを防止し、更に利用履歴を記録することができる。

【0013】

本発明の好ましい形態では、前記案内手段は、前記確認手段による入力が第１の所定時間内にされない場合、再度前記使用案内を前記入出力装置に対して出力処理する。
このような構成とすることで、ユーザの薬の飲み忘れをより確実に防止することができる。

【0014】

本発明の好ましい形態では、前記異常状態判定手段は、前記確認手段による入力が第２の所定時間内にされない場合又は、前記案内手段による使用案内の出力が所定の回数以上となった場合、前記ユーザに異常が生じたことを判定する。
このような構成とすることで、ユーザによって使用案内を確認したことの入力がされなかった場合、ユーザは薬を飲まなかったものとみなし、ユーザに異常状態が生じたことを判定し、ユーザの家族等に通知することができる。

【0015】

本発明の好ましい形態では、前記見守りシステムは、緊急ボタンを表示処理し、表示処理結果を前記入出力装置に対して出力する緊急ボタン表示手段と、前記緊急ボタンを介して緊急情報の入力を受け付ける緊急手段と、前記緊急情報の入力に応じてＧＰＳによってユーザの位置情報を取得し、前記位置情報を中心とした所定の範囲内において通知可能な通信端末装置に対して緊急情報を通知する緊急情報通知手段と、を備える。
このような構成とすることで、ユーザは緊急時に早急に近くの人に緊急事態であることを通知することができる。

【0016】

本発明は、ユーザの行動の記録及び分析を行うことにより、ユーザの異常を検知する処理を見守りシステムが実行する見守り方法であって、見守りシステムが、入出力装置を介して入力される前記ユーザによって発される音声に基づく音声指示情報を受け付ける処理と、入力された前記音声指示情報を記憶部に格納する処理と、設定されたある期間において、前記音声指示情報の入力頻度が基準範囲内であるか否かを分析し、基準範囲外である場合、前記ユーザに異常状態が生じたことを判定する処理と、前記異常状態の出力に応じて前記異常状態を通知する処理と、を実行する。

【0017】

ユーザの行動の記録及び分析を行うことにより、ユーザの異常を検知する見守り装置であって、入出力装置を介して入力される前記ユーザによって発される音声に基づく音声指示情報を受け付ける音声指示情報入力手段と、入力された前記音声指示情報を記憶部に格納する音声指示情報記憶手段と、設定されたある期間において、前記音声指示情報の入力頻度が基準範囲内であるか否かを分析し、基準範囲外である場合、前記ユーザに異常状態が生じたことを判定する異常状態判定手段と、前記異常状態の出力に応じて前記異常状態を通知する通知手段と、を備える。

【0018】

ユーザの行動の記録及び分析を行うことにより、ユーザの異常を検知する見守りプログラムであって、コンピュータを、入出力装置を介して入力される前記ユーザによって発される音声に基づく音声指示情報を受け付ける音声指示情報入力手段と、入力された前記音声指示情報を記憶部に格納する音声指示情報記憶手段と、設定されたある期間において、前記音声指示情報の入力頻度が基準範囲内であるか否かを分析し、基準範囲外である場合、前記ユーザに異常状態が生じたことを判定する異常状態判定手段と、前記異常状態の出力に応じて前記異常状態を通知する通知手段と、として機能させる。

【発明の効果】

【0019】

本発明によれば、特別な装置を導入することなく、従来のサービスの延長上で利用される電子機器によって、高齢者の生活を支援しつつ、その行動を分析し、安否を確認できるシステムを提供できる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態に係る見守りシステムのシステム構成を示す図である。

【図2】本発明の一実施形態に係る見守りシステムの端末装置のハードウェア構成を示す図である。

【図3】本発明の一実施形態に係る見守りシステムのサーバ装置のハードウェア構成及びシステムサーバの機能構成例を示す図である。

【図4】本発明の一実施形態に係る見守りシステムのユーザの問い合わせから異常状態を判別する処理に関するフローチャートを示す図である。

【図5】本発明の一実施形態に係る見守りシステムの薬の使用案内を実行する処理に関するフローチャートを示す図である。

【図6】本発明の一実施形態に係る見守りシステムの薬の使用案内画面を示す図である。

【図7】本発明の一実施形態に係る見守りシステムの緊急通知を実行する処理に関するフローチャートを示す図である。

【発明を実施するための形態】

【0021】

以下、添付図面を参照して、本発明の一実施形態について説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、多くの異なる形態で実施されることが可能である。

【0022】

例えば、本実施形態では見守りシステムの構成、動作等について説明するが、同様の構成の見守り方法、見守り装置、見守りプログラム、記録媒体等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばコンピュータに前記プログラムをインストールすることができる。ここで、前記プログラムを記憶した記録媒体は、例えばＣＤ−ＲＯＭ等の非一過性の記録媒体であっても良い。

【0023】

本実施の形態におけるシステムの概要を示す図１を参照すると、見守りシステムは見守りシステム１として具体化されている。この見守りシステム１は、入出力装置２、見守り装置３、見守り人端末装置４、言語処理サーバ５、緊急端末装置６及び通信ネットワークＮＷを備える。通信ネットワークＮＷは、インターネットなどのＩＰ（Internet Protocol）網などとから構成される。端末装置ＴＥ（入出力装置２、見守り人端末装置４、緊急端末装置６）とサーバ装置ＳＥ（言語処理サーバ５、見守り装置３）は通信ネットワークＮＷを介して通信可能に構成されている。なお、以下の説明では、不明確にならない限り通信ネットワークＮＷの介在を省略する。また、図１において、端末装置ＴＥはそれぞれ１つ示しているが、これらはそれぞれ複数存在してもよい。

【0024】

入出力装置２は、見守り対象であるユーザの音声入力を受信する機能及び、通信ネットワークＮＷを介してサーバ又は端末とデータ通信する機能を有するハードウェア構成を少なくとも含む装置である。本実施形態では、入出力装置２として、人工知能スピーカ及びタッチディスプレイを搭載した電子機器（いわゆるスマートディスプレイ）を利用する場合について説明するが、例えば人工知能スピーカ、スマートフォン端末、タブレット端末、携帯電話、パーソナルコンピュータなどのようなコンピュータ端末であってもよい。ユーザは音声入力により入出力装置２に生活に関する問い合わせを要求する操作などを行う。

【0025】

言語処理サーバ５は、入出力装置２において入力された音声において、事前に定められたウェイクワード（例えば、アプリケーションの名称など）が含まれる場合、音声を取得し、音声の内容を分析し、上述の問い合わせに関する情報を要求するための音声指示情報として出力する。また、後述する問い合わせに対する返答について、音声を合成する処理を行い、処理結果を入出力装置２に送信する。なお、言語処理サーバ５は、既存のサービスにより提供されるサーバであってもよい。

【0026】

見守り装置３は、音声指示情報を取得し、問い合わせに対する返答を出力するとともに、音声指示情報の記録及び分析を行い、ユーザの異常状態を判定する。これによって、入出力装置２は、問い合わせに対する返答を取得し、ユーザに対して音声や画面表示を出力できる。

【0027】

なお、本実施形態では、音声の認識、分析及び、出力のための合成などの処理は言語処理サーバ５によって行われる例について説明するが、これらの処理の一部又は全部は入出力装置２、見守り装置３又はその他の通信ネットワークＮＷに接続された装置によって行われてもよい。

【0028】

見守り人端末装置４は、ユーザの家族や配偶者などの見守り人が所有する端末装置であり、データ通信機能を有するハードウェア構成であれば、コンピュータ端末（パーソナルコンピュータ、タブレット端末及びスマートフォン端末を含む）の少なくとも１つを含む単独構成または複合構成をそれぞれ採り得る。見守り人端末装置４は、ユーザに異常が生じた場合、メール、チャット機能、音声・ビデオ通話機能又は見守りシステムアプリケーションの機能により通知を受信する。

【0029】

見守り装置３の記憶部は、入出力装置２及び見守り人端末装置４を特定するＩＤ又はメールアドレス等の連絡先を紐づけて格納する。これにより、入出力装置２を所有するユーザに異常が生じた場合、見守り装置３は入出力装置２に紐づけられた見守り人端末装置４に通知を送信することができる。また、見守り装置３は、見守り人端末装置４により入力された設定や情報に基づいて、入出力装置２に対して出力を行うことができる。

【0030】

緊急端末装置６は、見守りシステムがアプリケーションプログラムとしてインストールされている第三者が所有する通信端末装置であり、データ通信機能を有する構成であれば、コンピュータ端末（パーソナルコンピュータ、タブレット端末及びスマートフォン端末を含む）の少なくとも１つを含む単独構成または複合構成をそれぞれ採り得る。緊急端末装置６の一例として、見守り装置３の記憶部において、紐づけされていない入出力装置２及び見守り人端末装置４が挙げられる。緊急端末装置６は、ユーザの緊急時に緊急情報をメール、チャット機能、音声ビデオ通話機能又は見守りシステムアプリケーションの機能により受信する。また、緊急端末装置６は、緊急情報にアラート情報が含まれる場合、アラート情報に基づいてアラートを出力してもよい。

【0031】

図２（ａ）は、本実施形態における、入出力装置２のハードウェア構成の例を示した図である。入出力装置２は、ハードウェア構成要素として、演算装置（ＣＰＵ（Central Processing Unit））２１と、作業用メモリとしての主記憶装置（ＲＡＭ（Random Access Memory））２２とを備える。

【0032】

入出力装置２は、ＮＩＣ（Network Interface Card）などの通信インタフェース（ＩＦ）やデータの送受信を制御する通信制御装置を含む通信部２３と、ＯＳ（Operating System）、アプリケーションプログラム、及び各種情報（データを含む）を書換え可能に格納するＨＤＤやＳＳＤ、フラッシュメモリ等の補助記憶装置２４と、タッチパネル、物理キー、キーボード、マウスなどの情報入力・指定部２５と、ディスプレイなどを含む表示部２６と、音声入力を受け付けるマイクロフォン２７と、音声出力のためのスピーカ２８などを、備える。なお、本実施形態において、通信部２３はＧＰＳ通信による位置情報の送受信を行うＧＰＳ通信機能を備えていてもよい。

【0033】

図２（ｂ）は、本実施形態における、見守り人端末装置４及び緊急端末装置６のハードウェア構成の例を示した図である。見守り人端末装置４及び緊急端末装置６は、ハードウェア構成要素として、演算装置（ＣＰＵ（Central Processing Unit））４１と、作業用メモリとしての主記憶装置（ＲＡＭ（Random Access Memory））４２とを備える。

【0034】

見守り人端末装置４及び緊急端末装置６は、ＮＩＣ（Network Interface Card）などの通信インタフェース（ＩＦ）やデータの送受信を制御する通信制御装置を含む通信部４３と、ＯＳ（Operating System）、アプリケーションプログラム、及び各種情報（データを含む）を書換え可能に格納するＨＤＤやＳＳＤ、フラッシュメモリ等の補助記憶装置４４と、タッチパネル、物理キー、キーボード、マウスなどの情報入力・指定部４５と、ディスプレイなどを含む表示部４６などとを、少なくとも備える。なお、通信部４３はＧＰＳ通信による位置情報の送受信を行うＧＰＳ通信機能を備えていてもよい。

【0035】

入出力装置２において、後に詳述する機能を論理的に実現するには、補助記憶装置２４に見守りシステム端末プログラムをアプリケーションプログラムとしてインストールしておく。そして、入出力装置２においては、電源投入または利用者（ユーザ）による指示を契機に、演算装置（ＣＰＵ）２１がアプリケーションプログラムを主記憶装置（ＲＡＭ）２２に展開して実行する。

【0036】

図３は、本実施形態における、サーバ装置ＳＥ（見守り装置３、言語処理サーバ５）のハードウェア構成と見守り装置３の機能構成を示す。サーバ装置ＳＥは、データ通信機能を有し、図３（ａ）に示すようなハードウェア及び機能の構成要素を含んでいる。すなわち、サーバ装置ＳＥは、ハードウェア構成要素として、演算装置（ＣＰＵ）３１と、作業用メモリとしての主記憶装置（ＲＡＭ）３２と、を備える。

【0037】

サーバ装置ＳＥは、ＯＳ（Operating System）、アプリケーションプログラム、及び各種情報（データを含む）を書換え可能に格納するＨＤＤやＳＳＤ、フラッシュメモリ等の補助記憶装置３３と、通信制御部３４と、ＮＩＣ（Network Interface Card）などの通信インタフェース（ＩＦ）部３５などを、更に備える。

【0038】

図３（ｂ）に示すように、見守り装置３の補助記憶装置３３は、後に詳述する機能構成要素として、音声指示情報入力手段３０１と、音声指示情報記憶手段３０２と、異常状態判定手段３０３と、通知手段３０４と、薬情報登録手段３０５と、案内手段３０６と、確認手段３０７と、確認情報記憶手段３０８と、緊急ボタン表示手段３０９と、緊急手段３１０と、緊急情報通知手段３１１と、記憶部３１２と、を備える。

【0039】

見守り装置３において上述した機能構成要素を論理的に実現するには、補助記憶装置３３に見守りプログラムや、端末制御プログラム及びサーバ制御プログラムなどをアプリケーションプログラムとしてインストールしておく。そして、見守り装置３においては、電源投入またはサーバ管理者による指示を契機に、演算装置（ＣＰＵ）３１がこの処理プログラムを主記憶装置（ＲＡＭ）３２に展開して実行する。

【0040】

言語処理サーバ５の補助記憶装置３３は、受信した音声を認識し、分析する言語処理機能と、受信した音声に適した返答音声を決定するための返答機能と、返答音声を出力するために適した情報を取得するための情報要求機能と、受信したテキスト情報に基づいて出力する音声を合成する音声合成機能などのような、音声対話サービスを実現するための機能を備える。

【0041】

＜異常判定及び通知＞
以下、図４を参照して、見守りシステム１の実施形態１における処理について詳述する。図４は、ユーザの問い合わせから異常状態を判定する処理に関するフローチャートを示す図である。

【0042】

はじめに、入出力装置２において、見守りシステムのアプリケーションプログラムを起動しておく。本実施形態では、入出力装置２へ入力された音声によって、言語処理サーバ５と見守り装置３が協働し、見守りシステム１を実現する。入出力装置２のマイクロフォン２７は、ユーザによって発される音声を受信する。ここでユーザは生活に関する各種の問い合わせや、配偶者、家族、親族などの見守り人や友人に対する近況の報告や雑談などを入出力装置２に自由に発することができる。問い合わせの例としては、「お昼ご飯のおすすめの献立を教えて。」、「薬の時間までどれくらい。」、「家族の住所を教えて。」などが挙げられる。また、後者の例として、「お昼ご飯食べました。」、「今日は買い物で留守にします。」、「友人に電話をかけて。」などが挙げられる。また、それ以外にも例えば家電機器の操作やニュースやラジオ、音楽の再生などの操作を音声によって行うことができてもよい。

【0043】

本実施形態において、マイクロフォン２７によって入力された音声は、デジタル変換されて音声指示情報として言語処理サーバ５に送信される。なお、音声指示情報は、音声指示情報の送信元を特定するためのユーザＩＤを少なくとも含み、音声指示情報の送信先を特定するための送信先ＩＤと送信時刻を含んでもよい。本実施形態において、送信先ＩＤによって特定される送信先は見守り装置３である。音声指示情報を受信した言語処理サーバ５は、音声指示情報の内容を分析し、更に見守り装置３に送信する。ここで音声指示情報の内容の分析により、例えば音声指示情報「お昼ご飯のおすすめの献立を教えて。」という問い合わせ内容から特定の単語である「お昼ご飯」、「おすすめ」及び「献立」が抽出されて、見守り装置３に送信されてもよい。なお、音声指示情報が前述の送信先ＩＤを含まない場合、音声指示情報に含まれる特定の単語に基づいて、音声指示情報を見守り装置３に送信する。また、言語処理サーバ５は、特定の単語である「お昼ご飯」、「おすすめ」及び「献立」に基づいて「お昼ご飯のおすすめの献立」に関する情報を見守り装置３、言語処理サーバ５又は外部サーバ（図示せず）の補助記憶装置３３から取得し、返答の音声を合成し、入出力装置２に対して出力してもよい。外部サーバは、例えば検索エンジンの機能により要求された情報を検索し、該当する情報を言語処理サーバ５に送信する処理を行う。

【0044】

図４のＳ１０１において、見守り装置３の音声指示情報入力手段３０１は、言語処理サーバ５より送信された音声指示情報の入力を受け付ける。

【0045】

音声指示情報記憶手段３０２は、Ｓ１０２において、音声指示情報に含まれる特定の単語に基づいて、音声指示情報を分類処理して記憶部３１２に格納する。音声指示情報の分類処理の一例として、「ごはん」、「ランチ」、「夕飯」などの「食事」に関する単語が含まれる音声指示情報を分類して記憶部３１２に格納する。なお、「ランチ」、「昼食」、「昼ごはん」などを「昼食」に関する単語が含まれる音声指示情報を更に分類して記憶部３１２に格納するなど、分類に含まれる単語は制限されない。本実施形態において、一部の分類は見守り装置３において予め定義されているが、音声指示情報の入力に応じて新しい分類が生成されてもよい。

【0046】

また、音声指示情報記憶手段３０２は、Ｓ１０２において、音声指示情報に含まれる特定の単語の組み合わせに基づいて、音声指示情報を分類処理して記憶部３１２に格納する。単語の組み合わせに基づく分類処理の一例として、第１の単語群である「薬」、「咳止め」、「湿布」などと、第２の単語群である「時間」、「いつ」、「まだ」などから、第１の単語群と第２の単語群の両方の単語を含む音声指示情報によって、「薬の使用時間」に関する特定の単語の組み合わせとして分類されて記憶部３１２に格納される。したがって、特定の単語又は特定の単語の組み合わせの分類処理によって、音声指示情報の示すユーザからの問い合わせの内容が分類される。

【0047】

異常状態判定手段３０３は、Ｓ１０３及びＳ１０４において、記憶部３１２に格納された音声指示情報に基づいてユーザの異常状態の有無について判定する。本実施形態では、異常状態判定手段３０３は、例えば１日や１週間など予め任意に設定された期間において集計された音声指示情報を用いて異常状態を判定する。また、特定の単語又は単語の組み合わせに応じて異なる期間が設定されてもよい。これらの期間は、記憶部３１２において予め記憶されているが、入出力装置２又は見守り人端末装置４を介して任意の期間に変更されてもよい。

【0048】

Ｓ１０３において、異常状態判定手段３０３は、設定されたある期間において、特定の単語又は単語の組み合わせを含む音声指示情報の入力が重複しているかを分析する。例えば、「食事」に関する音声指示情報の集計期間が１日に設定され、１日に２回以上「食事」に関する音声指示情報が入力された場合、異常状態判定手段３０３は問い合わせの内容が重複していると判定する（Ｓ１０３においてＹＥＳ）。

【0049】

Ｓ１０３において問い合わせの内容が重複していると判定されると、異常状態判定手段３０３は、続くＳ１０４において、重複した音声指示情報の入力頻度が基準範囲内であるか否かを分析する。例えば、「食事」の分類に関する音声指示情報の集計期間１日に対して基準範囲２〜４回が設定される場合、「食事」の分類に関する音声指示情報の入力回数が０回、１回又は５回以上の場合、異常状態判定手段３０３は、入力頻度が基準範囲外であると判定する（Ｓ１０４においてＹＥＳ）。

【0050】

本実施形態において、異常状態判定手段３０３は、特定の単語又は単語の組み合わせに応じて、つまりユーザからの問い合わせの内容に応じて、異なる基準範囲の設定を受け付ける。これらの基準範囲は、初期状態において記憶部３１２において予め記憶されているが、入出力装置２又は見守り人端末装置４を介して任意の基準範囲に変更されてもよい。また、基準範囲は設定されたある期間における音声指示情報の入力頻度の平均値によって自動的に設定されてもよい。入力頻度の平均値は、問い合わせの内容及び集計期間ごとに算出される。

【0051】

また、本実施形態における異常状態判定手段３０３は、すべての問い合わせや雑談を含む音声指示情報の総入力回数について、Ｓ１０４の処理を実行できる。この場合も、例えば１日当たりのユーザからの音声指示情報の平均入力回数と任意の基準範囲によって、判定処理を行う。

【0052】

Ｓ１０４において、入力頻度が基準範囲外であると判定された場合、異常状態判定手段３０３は、ユーザに異常状態が生じたと判定し、出力する。更に、続くＳ１０５において、通知手段３０４は、異常状態判定手段３０３によるユーザの異常状態の出力に応じて、見守り人端末装置４に対して異常状態を通知する。通知先である見守り人端末装置４は、入出力装置２又は見守り人端末装置４を介して予め記憶部３１２に見守り人端末装置４のメールアドレス、電話番号又は、チャットアプリのＩＤなどを登録しておくことにより特定される。本実施形態の一例として、通知手段３０４はユーザに異常状態が生じた旨のメッセージを作成し、通知先として登録された見守り人端末装置４に対して送信する。

【0053】

Ｓ１０２において、見守り装置３は、音声指示情報が記憶部３１２に格納されると、Ｓ１０６においてユーザからの問い合わせに対する返答となる返答情報を出力するための返答処理を行う。本実施形態では、返答処理は音声指示情報に含まれる特定の単語又は単語の組み合わせに応じて、返答音声を合成するためのテキスト情報を生成する。例えば、音声指示情報として「薬の時間までどれくらい。」と入力された場合、後述する登録された薬情報に基づいて、「薬の時間まであと３０分です。」のようなテキスト情報を生成する。

【0054】

Ｓ１０６において、返答のためのテキスト情報が生成されると、Ｓ１０７において見守り装置３は、生成されたテキスト情報を言語処理サーバ５に対して出力する。なお、見守り装置３が返答音声を合成する場合、見守り装置３は合成された返答音声を入出力装置２に対して出力してもよい。

【0055】

言語処理サーバ５は、Ｓ１０７で出力されたテキスト情報を受信し、テキスト情報に基づいて返答音声を合成し、入出力装置２に対して出力する。入出力装置２は、返答音声を見守り装置３又は言語処理サーバ５から受信すると、合成された返答音声をスピーカ２８から出力する。これによって、ユーザは生活に関する問い合わせに対する返答を受け取ることができる。なお、図示しない外部の言語処理サーバが、言語処理サーバ５と協働して、受信したテキスト情報に基づいて返答音声を合成し、入出力装置２に対して出力する構成としてもよい。

【0056】

見守り装置３は、記憶部３１２に格納された音声指示情報を集計分析処理し、見守り人端末装置４からの要求に応じて集計分析処理結果を表示処理し、表示処理結果を見守り人端末装置４に送信してもよい。実施形態の一例として、一定期間（例えば1か月）の音声指示情報が分類別に集計され、期間別又は分類別にグラフとして表示処理される。

【0057】

＜薬の使用案内＞
以下、図５及び図６を参照して、見守りシステム１の実施形態２における処理について詳述する。図５は、ユーザに対して薬の使用案内を実行する処理に関するフローチャートを示す図である。

【0058】

はじめに、薬情報登録手段３０５は、入出力装置２又は見守り人端末装置４を介して、ユーザの使用する薬について、名称、使用数、薬の画像、使用時間を含む薬情報の入力を受け付け、記憶部３１２に格納する。薬情報は、フォーム入力、メール又はチャット機能などにより、入出力装置２又は見守り人端末装置４から見守り装置３に送信される。本実施形態における薬情報は、図６（ａ）が示すように、薬ＩＤ、ユーザＩＤ、見守り人ＩＤ、薬の名称、使用数、使用時間、薬の画像、使用状況を含む。薬ＩＤは、一ユーザが使用する一薬に、一意に対応付けられたＩＤである。ユーザＩＤは、ユーザの所有する入出力装置２を特定するためのＩＤである。見守り人ＩＤは、見守り人の所有する見守り人端末装置４を特定するためのＩＤである。ユーザＩＤ及び見守り人ＩＤは、メールアドレス、チャットアプリのＩＤなどが格納されてもよい。使用時間は、具体的な時刻を格納する他、食前食後又は就寝前などユーザの生活行動の前後の時間などを格納してもよい。なお、薬情報は入出力装置２の補助記憶装置２４に記憶されてもよい。

【0059】

図５のＳ２０１において、案内手段３０６は記憶部３１２に格納された薬情報の使用時間に準ずる時刻となる場合、薬の名称、使用数、使用時間、薬の画像に基づいて薬の使用案内を、ユーザＩＤによって特定される入出力装置２に対して出力処理する。図６（ｂ）は薬の使用案内を表示する案内画面Ｗ１の画面表示例である。案内画面Ｗ１は、薬の名称を表示する名称表示部Ｗ１１、薬の使用数を表示する使用数表示部Ｗ１２、薬の使用時間を表示する使用時間表示部Ｗ１３、薬の画像を表示する画像表示部Ｗ１４、ユーザから薬の使用案内を確認したことの入力を受け付ける確認ボタンＷ１５のうち、少なくとも確認ボタンＷ１５を備える。案内手段３０６は、薬情報に基づいて案内画面Ｗ１を表示処理し、処理結果を入出力装置２に送信する。入出力装置２は処理結果を受信することで、表示部２６に案内画面Ｗ１を表示する。薬情報が入出力装置２の補助記憶装置２４に記憶される場合、案内手段３０６は、薬情報の使用時間に基づいて案内画面Ｗ１の表示命令を入出力装置２に送信する。入出力装置２は表示命令を受信すると、補助記憶装置２４に記憶された薬情報に基づいて案内画面Ｗ１を表示処理し、処理結果を表示部２６に表示する。

【0060】

また、Ｓ２０１において、案内手段３０６は入出力装置２に対して通知音の出力命令を送信する。入出力装置２のスピーカ２８は出力命令に応じて、通知音を出力する。また、案内手段３０６は言語処理サーバ５を介して音声案内を合成し、入出力装置２のスピーカ２８に出力させてもよい。音声案内は、薬の名称や使用数など薬情報登録手段３０５によってテキストデータとして格納された薬情報に基づいて音声を合成される。なお、本実施形態において、案内手段３０６は上述した案内画面Ｗ１と音による使用案内の少なくとも一方を入出力装置２に対して出力処理する。

【0061】

また、案内画面Ｗ１は、名称表示部Ｗ１１、使用数表示部Ｗ１２、使用時間表示部Ｗ１３、画像表示部Ｗ１４のうち少なくとも一つを備える構成としてもよい。その場合、案内手段３０６は、案内画面Ｗ１の表示処理から一定時間後又は案内画面Ｗ１のタッチ入力により、ユーザから薬の使用案内を確認したことの入力を受け付ける確認ボタンＷ１５を備える確認画面Ｗ２（図示せず）を入出力装置２に対して出力処理する。

【0062】

入出力装置２は、Ｓ２０１において表示部２６に表示される確認ボタンＷ１５の押下を契機として、ユーザが薬の使用案内を確認したことを、案内画面Ｗ１の出力処理に用いられた薬情報の少なくとも薬ＩＤとともに見守り装置３に出力する。見守り装置３の確認手段３０７は、入出力装置２を介して、使用案内を確認したことの入力及び薬ＩＤの入力を受け付ける。

【0063】

確認手段３０７が、確認の入力を受け付けると（Ｓ２０２においてＹＥＳ）、続くＳ２０３において、確認情報記憶手段３０８は、確認手段３０７によって入力された使用案内を確認したことの入力を、薬ＩＤに対応する薬情報の使用状況として記憶部３１２に格納する。確認情報記憶手段３０８は使用状況に日時に関する情報を付与してもよい。見守り装置３は、使用状況を含む薬情報を見守り人端末装置４からの要求に応じて表示処理し、表示処理結果を見守り人端末装置４に送信する。

【0064】

確認手段３０７は、確認の入力が第１の所定時間内にされない場合（Ｓ２０２においてＮＯ）、案内手段３０６に対して再案内を要求する。案内手段３０６は、再案内の要求に応じて、再度Ｓ２０１の処理を行うことにより、薬の使用案内を入出力装置２に対して出力処理する。案内手段３０６は、再案内の場合、最初の使用案内とは異なる表示画面や音声を出力処理してもよい。更に、確認手段３０７は、Ｓ２０２と同様の処理を行い、確認の入力を受け付ける。Ｓ２０１及びＳ２０２の処理は、確認手段３０７によって確認の入力が受け付けられない場合、何度繰り返されてもよい。

【0065】

確認手段３０７は、確認の入力が第２の所定時間内にされない場合又は、案内手段３０６による薬の使用案内の出力処理を行った回数が所定の回数以上となった場合、異常状態判定手段３０３に対して判定を要求する（Ｓ２０４においてＹＥＳ）。第２の所定時間は第１の所定時間以上の任意の時間に設定される。確認手段３０７は、最初の薬の使用通知から第２の所定時間が経過しない場合又は、案内手段３０６による薬の使用案内の出力処理を行った回数が所定の回数以下の場合、Ｓ２０１の処理を再度行う（Ｓ２０４においてＮＯ）。

【0066】

Ｓ２０４においてＹＥＳの場合、Ｓ２０５において異常状態判定手段３０３は、判定の要求に応じてユーザに異常が生じたことを判定し、出力する。なお、Ｓ２０４において確認手段３０７は、薬の使用案内の出力処理を行う度に異常状態判定手段３０３に判定を要求し、異常状態判定手段３０３は、薬の使用案内の出力処理を行った回数が所定の回数以上となった場合、ユーザに異常が生じたことを判定し、出力してもよい。通知手段３０４は、異常状態判定手段３０３によるユーザの異常状態の判定の出力に応じて、見守り人端末装置４に対して異常状態を通知する。通知先である見守り人端末装置４は、薬情報に格納された見守り人ＩＤの他、記憶部３１２に予め記憶されたメールアドレス、電話番号又は、チャットアプリのＩＤなどによって特定される。

【0067】

＜緊急通知＞
以下、図７を参照して、見守りシステム１の実施形態３における処理について詳述する。図７は、見守りシステム１が緊急通知を実行する処理に関するフローチャートを示す図である。

【0068】

本実施形態では、ユーザは自身に生じた緊急事態を入出力装置２に対して発話によって知らせる。例えば、ユーザが「すぐに助けてほしい。」、「緊急事態が起きた。」などの緊急事態に関する音声を入出力装置２に対して入力すると、図４のＳ１０１及びＳ１０２と同様の処理が実行され、ユーザの緊急事態に関する音声指示情報が分類処理され、記憶部３１２に格納される。

【0069】

Ｓ３０１において緊急ボタン表示手段３０９は、記憶部３１２に緊急事態に関する音声指示情報が格納されると、緊急ボタンを表示処理し、表示処理結果を入出力装置２に対して出力する。入出力装置２の表示部２６は、表示処理結果に基づいて緊急ボタンを表示する。

【0070】

Ｓ３０２において、緊急手段３１０は緊急ボタンを介してユーザからタッチなどの操作による入力を受け付ける。緊急手段３１０はＳ３０２における入力を、ユーザに緊急事態が生じたことを示す緊急情報として処理する。本実施形態において、緊急手段３１０は続くＳ３０３において、通信部２３のＧＰＳ通信機能によって入出力装置２の位置情報（経度、緯度）を取得し、その位置情報を中心とした所定の範囲内において通知可能な緊急端末装置６をＧＰＳ通信によって検索する。なお、緊急手段３１０は、記憶部３１２に予め記憶された住所などから入出力装置２の位置情報を取得してもよい。

【0071】

Ｓ３０３においてＧＰＳ通信によって検索される緊急端末装置６は、緊急情報を受信する機能のＯＮ・ＯＦＦを切り替えることができる。緊急情報を受信する機能がＯＮの場合（Ｓ３０４においてＹＥＳ）、Ｓ３０５において緊急情報通知手段３１１は、検索された緊急端末装置６及び見守り人端末装置４に対して位置情報及び緊急情報を送信する。緊急情報を受信する機能がＯＦＦの場合（Ｓ３０４においてＮＯ）、Ｓ３０６において緊急情報通知手段３１１は、見守り人端末装置４に対して緊急情報を送信する。これによって、緊急情報は緊急端末装置６又は見守り人端末装置４において受信される。緊急情報通知手段３１１は、更に緊急情報にアラート情報を付与し、見守り人端末装置４は、アラート情報に基づいて、スピーカ等の出力部によりアラートを出力してもよい。

【符号の説明】

【0072】

１ 見守りシステム
２ 入出力装置
３ 見守り装置
４ 見守り人端末装置
５ 言語処理サーバ
６ 緊急端末装置
２１ 演算装置（ＣＰＵ）
２２ 主記憶装置（ＲＡＭ）
２３ 通信部
２４ 補助記憶装置
２５ 情報入力・指定部
２６ 表示部
２７ マイクロフォン
２８ スピーカ
３１ 演算装置（ＣＰＵ）
３２ 主記憶装置（ＲＡＭ）
３３ 補助記憶装置
３４ 通信制御部
３５ 通信ＩＦ部
４１ 演算装置（ＣＰＵ）
４２ 主記憶装置（ＲＡＭ）
４３ 通信部
４４ 補助記憶装置
４５ 情報入力・指定部
４６ 表示部
３０１ 音声指示情報入力手段
３０２ 音声指示情報記憶手段
３０３ 異常状態判定手段
３０４ 通知手段
３０５ 薬情報登録手段
３０６ 案内手段
３０７ 確認手段
３０８ 確認情報記憶手段
３０９ 緊急ボタン表示手段
３１０ 緊急手段
３１１ 緊急情報通知手段
Ｗ１ 案内画面
Ｗ１１ 名称表示部
Ｗ１２ 使用数表示部
Ｗ１３ 使用時間表示部
Ｗ１４ 画像表示部
Ｗ１５ 確認ボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】