(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-09-08
(45)【発行日】2025-09-17
(54)【発明の名称】生活支援システム
(51)【国際特許分類】
G06Q 50/22 20240101AFI20250909BHJP
G16Y 10/60 20200101ALI20250909BHJP
【FI】
G06Q50/22
G16Y10/60
(21)【出願番号】P 2021070481
(22)【出願日】2021-04-19
【審査請求日】2024-04-08
(73)【特許権者】
【識別番号】399048917
【氏名又は名称】日立グローバルライフソリューションズ株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】市原 貴史
(72)【発明者】
【氏名】小村 勝人
(72)【発明者】
【氏名】工藤 拓也
(72)【発明者】
【氏名】須藤 祐美子
(72)【発明者】
【氏名】田中 邦明
(72)【発明者】
【氏名】山本 和貴
(72)【発明者】
【氏名】佐々木 敦
(72)【発明者】
【氏名】杉本 潤哉
【審査官】梅岡 信幸
(56)【参考文献】
【文献】特開2019-197509(JP,A)
【文献】特開2019-079204(JP,A)
【文献】特開2018-086201(JP,A)
【文献】熊谷 和実(理研・農工大)ほか,見守り声かけロボットに対する高齢者による応答と印象評価,第38回日本ロボット学会学術講演会予稿集DVD-ROM 2020年,日本,2020年10月09日,p.1-4
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
G16H 10/00-80/00
G16Y 10/60
(57)【特許請求の範囲】
【請求項1】
宅内を自律移動
し、センサを有する移動体と、
宅内のセンサと、
前記移動体が有するセンサ及び前記宅内のセンサから取得したセンサ情報に基づき、居住者の行動情報及び宅内の環境情報を検出することによって、前記移動体を制御する行動支援装置と、
を備える生活支援システムであって、
前記行動支援装置は、
前記移動体が有するセンサ及び宅内のセンサから取得したセンサ情報に基づいて居住者の現在の行動情報を現在行動情報として認識すると共に、認識した行動情報を時系列行動情報として逐次記憶する行動認識部と、
前記時系列行動情報に対して前記現在行動情報が変化したと分析し、行動情報の変化量が閾値以上の場合に、前記居住者の行動変容を促す動作を前記移動体に指示する移動体指示部と、
を備えることを特徴とする生活支援システム。
【請求項2】
請求項
1に記載の生活支援システムにおいて、
前記行動支援装置は、さらに、
前記居住者の前記行動情報の変化に関する情報や前記行動変容に関する情報を、前記居住者又は前記居住者の見守り者の通信端末に通知する見守り情報通知
部
を備えることを特徴とする生活支援システム。
【請求項3】
請求項1に記載の生活支援システムにおいて、
前記
移動体指示部は、
前記時系列行動情報と現在行動情報に基づいて、居住者が移動すると推定される場所への移動を移動体に指示する
ことを特徴とする生活支援システム。
【請求項4】
請求項
3に記載の生活支援システムにおいて、
前記移動体指示部は、
前記時系列行動情報と現在行動情報に基づいて居住者のフレイル兆候を検知した場合に、居住者が移動すると推定される場所への移動を移動体に指示する
ことを特徴とする生活支援システム。
【請求項5】
請求項
3又は
4に記載の生活支援システムにおいて、
前記移動体指示部は、
移動体の移動後に所定時間経過しても、前記居住者を移動先で認識できない場合には、前記居住者に対して所定の動作をするように前記移動体に指示する
ことを特徴とする生活支援システム。
【請求項6】
請求項1に記載の生活支援システムにおいて、
前記
移動体指示部は、
前記時系列行動情報と現在行動情報に基づいて居住者の体調不良を判定した場合に、前記移動体が備える前記センサで前記居住者の状態を計測する動作を移動体に指示をする
ことを特徴とする生活支援システム。
【請求項7】
請求項
6に記載の生活支援システムにおいて、
前記移動体指示部は、さらに、
前記居住者の体温に応じて、移動体の筐体ヒータの設定温度を変更するように移動体に指示を出す
ことを特徴とする生活支援システム。
【請求項8】
請求項
3に記載の生活支援システムにおいて、
前記移動体指示部は、
居住者が居住者端末を介して地図情報に対する冷蔵庫の位置を入力することによって得られた前記冷蔵庫の設置場所への移動動作を移動体に指示をすると共に、
前記移動体の前記センサにより前記居住者の前記冷蔵庫の開閉動作を撮影する動作、又は、前記冷蔵庫の庫内を撮影する動作を含む所定の行動を移動体に指示する
ことを特徴とする生活支援システム。
【請求項9】
請求項1に記載の生活支援システムにおいて、
前記
行動認識部は、
前記移動体が有するセンサ及び宅内のセンサから取得したセンサ情報に基づいて、家電のタスク状態を宅内の環境情報として
取得し
、
前記移動体指示部は、
前記環境情報が家電のタスク終了を示す場合に、居住者の現在の行動情報が終了した家電のタスクに伴う行動に変更可能かを判定し、終了した家電のタスクに伴う行動に前記居住者の行動変容を促す動作を前記移動体に指示
し、
前記変更可能かの判定は、
前記居住者の現在の行動情報と終了した家電のタスクに伴う行動との間において、前記居住者の過去の行動情報に基づき予め指定された優先度に従う
ことを特徴とする生活支援システム。
【請求項10】
請求項
9に記載の生活支援システムにおいて、
前記移動体指示部は、
居住者の現在の行動情報がリラックス状態であれば、前記居住者の行動変容を促す動作を前記移動体に指示しない
ことを特徴とする生活支援システム。
【請求項11】
請求項1に記載の生活支援システムにおいて、
前記
行動認識部は、
空気調和機の動作状態を宅内の環境情報として認識し
、
前記移動体指示部は、
前記時系列行動情報と現在行動情報に基づいて分析した今後の居住者の推定行動が空気調和機の動作に関する行動であった場合に、現在の空気調和機の動作状態を示す環境情報に応じて、前記空気調和機を操作する行動を促す動作を前記移動体に指示する
ことを特徴とする生活支援システム。
【請求項12】
請求項
11に記載の生活支援システムにおいて、
前記移動体指示部は、
居住者の現在の行動情報がリラックス状態であれば、前記空気調和機を稼働する行動を促す動作を前記移動体に指示しない
ことを特徴とする生活支援システム。
【請求項13】
請求項1に記載の生活支援システムにおいて、
前記
移動体指示部は、
前記時系列行動情報から推定される推定行動と前記現在行動情報とが異なると判定した場合に、前記居住者を撮影する動作を前記移動体に指示する
ことを特徴とする生活支援システム。
【請求項14】
請求項
13に記載の生活支援システムにおいて、
前記行動支援装置は、さらに、
前記移動体に指示して撮影した
現在の居住者の行動情報と、
時系列行動情報として蓄積されている過去の居住者の行動情報とを比較して、一定の経時変化が有りと判断した場合に、その旨を、前記居住者又は前記居住者の見守り者の通信端末に通知する見守り情報通知
部
を備えることを特徴とする生活支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生活支援システムに関する。
【背景技術】
【0002】
高齢者は、健常な状態から老い衰えて、要介護の状態へと移行する。現代医学では、健常な状態から要介護の状態に至る中間の状態を「フレイル」と呼び、フレイル状態の高齢者に対して適切な介入をすることにより、健常な状態へと回復することができると言われている。
【0003】
現在、ホームセキュリティーや見守りサービスの一環として、宅内に様々なセンサデバイスが設置され、宅内の人の行動を検出することができる。例えば、特許文献1には、動画像データ610(
図3参照)に撮影されている人を推定する人推定部730と、推定された人320(
図2参照)の行動と行動に関連する物品を動画像データ610から抽出する行動及び物品抽出部740と、抽出された情報に基づいて行動データ620(
図1参照)を生成する行動データ生成部750として機能することが記載され(段落0028参照)、「人」と「人の行動」を関連付けた「行動データ」を生成することが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の先行技術によれば、宅内の人の行動を検出することができるが、単に、「行動データ」に紐づけられている連絡先に行動に関わる情報を提供することが開示されているにすぎず、フレイル状態から健常な状態へ回復することまでは期待できない。
【0006】
本発明の目的は、見守りサービスのひとつとして、フレイル状態に無い居住者への健康促進や、フレイル状態の居住者の行動に応じて健常な状態へ回復できるように、居住者に関与する生活支援システムを提供することにある。
【課題を解決するための手段】
【0007】
前記課題を解決するため、本発明の生活支援システムは、宅内を自律移動し、センサを有する移動体と、宅内のセンサと、前記移動体が有するセンサ及び前記宅内のセンサから取得したセンサ情報に基づき、居住者の行動情報及び宅内の環境情報を検出することによって、前記移動体を制御する行動支援装置と、を備える生活支援システムであって、前記行動支援装置は、前記移動体が有するセンサ及び宅内のセンサから取得したセンサ情報に基づいて居住者の現在の行動情報を現在行動情報として認識すると共に、認識した行動情報を時系列行動情報として逐次記憶する行動認識部と、前記時系列行動情報に対して前記現在行動情報が変化したと分析し、行動情報の変化量が閾値以上の場合に、前記居住者の行動変容を促す動作を前記移動体に指示する移動体指示部と、を備えるようにした。
【発明の効果】
【0008】
本発明によれば、居住者のフレイル対策やフレイル状態の居住者の健常な状態への回復に寄与することができ、居住者の有用な見守りサービスを提供できる。
【図面の簡単な説明】
【0009】
【
図1】実施形態の生活支援システムの構成図である。
【
図2】実施形態の生活支援システムの行動支援装置が動作するハードウェアの構成図である。
【
図3】行動支援装置が周期的に行う実施例1の処理のフロー図である。
【
図4】行動支援装置が周期的に行う実施例2の処理のフロー図である。
【
図5】行動支援装置が周期的に行う実施例3の処理のフロー図である。
【
図6】行動支援装置が周期的に行う実施例4の処理のフロー図である。
【
図7】行動支援装置が周期的に行う実施例5の処理のフロー図である。
【
図8】行動支援装置が周期的に行う実施例6の処理のフロー図である。
【
図9】行動支援装置が周期的に行う実施例7の処理のフロー図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図1は、実施形態の生活支援システム及び行動支援装置の構成図である。
【0011】
生活支援システムは、ロボット掃除機やロボット空気清浄機の家電ロボット、愛玩ロボット等の宅内を移動する移動体2と、宅内の温湿度や気流量等の環境情報の検出、及び居住者の行動を検出するカメラや人感センサ等の複数の宅内センサ3と、洗濯機4、冷蔵庫5、空気調和機6等の家電機器と、行動支援装置1が、宅内LAN7を介して接続して構成される。また、行動支援装置1は、インターネット8を介して、居住者のスマートホン等の居住者端末9aと、家族や介護支援者等の見守り者の見守り者端末9bと通信する。
【0012】
詳細は後述するが、行動支援装置1は、宅内を自律移動する移動体2が有するセンサ21又は宅内の宅内センサ3で取得したセンサ情報に基づいて認識した、居住者の行動情報又は宅内の環境情報に応じて、移動体2を制御する。
【0013】
次に、
図1により、移動体2と行動支援装置1の構成を説明する。
移動体2は、宅内の地図情報と自己位置検出手段により、自律移動可能に構成されていると共に、行動支援装置1からの指示に基づいて、指示された位置に移動し、さらに、実装するセンサ21により居住者を検出する。また、移動体2は、居住者に近接して、コミュニケーションすることができる。
【0014】
詳しくは、移動体2は、カメラ、床面測距センサ、測距センサ、ミリ波レーダ、サーモグラフィ等のセンサ21を搭載し、制御部23が地図情報25に基づいてモータ等の駆動手段22を制御して宅内を自律走行する。この際、センサ21で検出した周囲の障害物を避けて走行する。
【0015】
移動体2のセンサ21は、周囲の走行の障害物を検知するだけでなく、センサ21のカメラ画像により、居住者の特定、居住者の移動に追従、居住者の方向に向きを変える、居住者の行動を検出する等を可能にする。さらに、音センサ、温度センサ、湿度センサ、照度センサ、マイク等をセンサ21として搭載し、宅内の環境情報を検出するようにしても良い。
【0016】
また、移動体2は、筐体の表面温度を上昇させる筐体ヒータ24を搭載して、居住者が接触した際の温度を調整できるようにし、居住者の体温が高いことを知らせる。また、スピーカや発光部(不図示)を搭載してメッセージを出力し、居住者とのヒューマンインターフェイス部としてもよい。
【0017】
移動体2は、センサ21で検出したカメラ画像、温度分布画像等のセンサ情報を、居住者の行動情報や環境情報を検出するために行動支援装置1に通知すると共に、行動支援装置1からの移動指示により、指定された宅内の位置に移動する。
【0018】
行動支援装置1は、居住者の行動を認識して行動情報を求める行動認識部11と、行動認識部11で認識した居住者の行動情報を時系列に記憶する時系列行動情報記憶部12と、行動認識部11で認識した居住者の現在の行動情報と時系列行動情報記憶部12の時系列行動情報とから居住者の状態を分析し、居住者の行動変容を促す動作又は支援動作を移動体2に指示する移動体指示部13と、居住者の見守り者の端末に居住者の行動情報に関する情報を通知する見守り情報通知部14と、から構成する。
【0019】
詳細には、行動認識部11の人特定部111は、移動体2のセンサ21(カメラ)により撮影した居住者の顔画像を認識して、居住者を特定する(人特定情報を求める)。居住者の特定は、顔認証に限らず、顔画像を用いた虹彩認証等の生体認証で行ってもよい。
【0020】
行動認識部11の人行動検知部112は、人特定部111で特定された居住者毎に、移動体2のセンサ21のセンサ情報や宅内センサ3のセンサ情報に基づいて、居住者の行動を推定し、特定の居住者の行動情報を取得する。詳しくは、行動情報は、居住者の頭、手、腕、足、指等の体の部位の位置変化、体の向きや姿勢変化等から、人の動作を認識し、認識した人の動作の組合せから「起きる」、「横になる」、「座る」等の行動を推定して求める。そして、人行動検知部112は、センサ情報の取得位置や取得時刻に基づいて、寝室、キッチン、昼夜を特定して、「起床」、「就寝」、「食卓着席」、「リラックス」などの行動を推定し、行動情報とする。
【0021】
さらに、人行動検知部112は、移動体2のセンサ21のセンサ情報と宅内センサ3のセンサ情報に基づいて、宅内の環境情報を取得し、居住者の行動分析を行う際に、環境情報を参照できるようにする。詳しくは、洗濯機4や空気調和機6の動作状態を環境情報として取得する。
【0022】
また、人行動検知部112は、認識した人の動作から、居住者の活動量・歩行速度・移動速度、立ち上がり速度、転倒状態を取得し、行動情報とする。
【0023】
時系列行動情報記憶部12は、人特定部111で特定した居住者(人特定情報)毎に、行動認識部11で認識した居住者の行動情報を、時系列に記憶する記憶部である。時系列行動情報記憶部12には、行動認識部11で周期的に居住者の行動情報を求めて、認識時刻と行動情報とを逐次記録する。また、行動認識部11で求めた行動情報が変化した際の認識時刻と行動情報とを時系列行動情報記憶部12に記録してもよい。
【0024】
なお、以下の説明では、時系列行動情報記憶部12の行動情報を時系列行動情報と呼び、行動認識部11で認識した直近の行動情報を現在行動情報と呼ぶ。
【0025】
移動体指示部13の行動推定部131は、居住者毎の時系列行動情報と現在行動情報とを対比し、居住者の状態を分析する。また、行動推定部131は、移動体2のセンサ21のセンサ情報と宅内センサ3のセンサ情報に基づいて取得した環境情報を加えて、居住者の状態を分析する。
【0026】
指示情報生成部132は、行動推定部131の分析結果に応じて、移動体2の居住者の行動変容を促す動作又は支援動作の指示情報を生成する。
【0027】
指示情報通知部133は、指示情報生成部132で生成した指示情報を、宅内LAN7を介して移動体2に通知する。
【0028】
見守り情報通知部14は、行動推定部131の分析結果に係る情報、又は、移動体2に指示して取得した居住者の情報を、インターネット8を介して、居住者端末9a又は見守り者端末9bに通知する。
【0029】
移動体指示部13の詳細な動作は、後述のフロー図により説明する。
【0030】
図2は、
図1の行動支援装置1が動作するハードウェアの構成図である。
行動支援装置1は、CPU901と、RAM902と、ROM903と、HDD904と、通信I/F905と、入出力I/F906と、メディアI/F907とを有するコンピュータ900として構成される。
通信I/F905は、外部の通信装置915と接続される。入出力I/F906は、入出力装置916と接続される。メディアI/F907は、記録媒体917からデータを読み書きする。さらに、CPU901は、RAM902に読み込んだプログラム(アプリケーションや、その略のアプリとも呼ばれる)を実行することにより、各処理部を制御する。そして、このプログラムは、通信回線を介して配布したり、CD-ROM等の記録媒体917に記録して配布したりすることも可能である。
【0031】
行動支援装置1では、CPU901がプログラムを実行することで、行動認識部11、移動体指示部13、見守り情報通知部14のそれぞれの機能を実現し、時系列行動情報記憶部12をHDD904に構成する。
【0032】
以後、実施形態の行動支援装置1の動作を詳細に説明する。
【0033】
《実施例1》
時系列行動情報記憶部12には、居住者毎の時系列行動情報として、活動量・歩行速度・移動速度、立ち上がり速度、転倒などの行動情報を記憶しているので、行動推定部131は、時系列行動情報と現在行動情報とを対比することで、〇か月前に比べて〇%時間が増減している、〇か月前に比べて〇%回数が増減している等の運動不足や運動の増加を分析することができる。
【0034】
本実施形態では、行動支援装置1は、行動情報の変化量が閾値以上であれば、運動不足又は運動の増加と判定する。行動支援装置1は、居住者の運動不足や運動の増加の分析結果に応じて、運動不足を解消するための居住者の行動変容を促す動作として、移動体2が「体操した方が良いよ」の声掛けを居住者にする動作を指示情報として生成し、移動体2に指示情報を通知する。または、移動体2自身が体操に関連する動作を行うことで居住者に対して行動変容を促すよう、移動体2に指示情報を通知しても良い。
【0035】
この際、行動支援装置1は、居住者の行動情報の変化、及び行動変容が必要であることを、見守り情報として、居住者端末9a又は見守り者端末9bに通知する。さらに、移動体2の動作によって行動変容した結果を見守り情報として居住者端末9a又は見守り者端末9bに通知しても良い。
【0036】
図3は、本実施形態の行動支援装置1が周期的に行う処理のフロー図である。
【0037】
ステップS31で、行動認識部11は、移動体2及び宅内センサ3のセンサ情報を取得する。
【0038】
ステップS32で、人特定部111は、センサ情報の顔画像を認識して居住者の人特定情報を求め、居住者を特定する。
【0039】
ステップS33で、人行動検知部112は、人特定情報で特定される居住者毎に、移動体2及び宅内センサ3のセンサ情報に基づいて、居住者の行動を推定し、行動情報(現在行動情報)を取得する。
【0040】
ステップS34で、時系列行動情報記憶部12は、ステップS33で取得した行動情報を時系列行動情報として蓄積する。
【0041】
ステップS35で、行動推定部131は、居住者毎の時系列行動情報と現在行動情報とを対比し、居住者の行動情報の変化量を分析する。
【0042】
ステップS36で、指示情報生成部132は、時系列行動情報と現在行動情報の行動情報の変化量が閾値以上であるか否かを判定し、閾値以上であれば(S36のYes)、分析結果は、居住者は運動不足又は運動の増加として、ステップS37に進む。行動情報の変化量が閾値より小さければ(S36のNo)、処理を終了する。
【0043】
ステップS37で、指示情報生成部132は、居住者の運動不足又は運動の増加の分析結果に応じて、運動不足を解消するための行動変容を促す声掛け動作(例えば、「体操した方が良いよ」の声掛け)を、移動体2への指示情報に設定する。
【0044】
ステップS38で、指示情報通知部133は、移動体2にステップS37で設定した指示情報を通知する。この際、居住者の近傍に移動するように、移動体2に居住者の位置への移動指示を通知するようにしてもよい。
【0045】
ステップS39で、見守り情報通知部14は、居住者の行動情報の変化量、及び行動変容が必要であることを、見守り情報として、居住者端末9a又は見守り者端末9bに通知し、処理を終了する。
【0046】
上記の行動支援装置1の処理によれば、生活支援システムは、居住者に一定の運動量を維持するように促すので、居住者の健康維持を図ることができる。
【0047】
《実施例2》
時系列行動情報記憶部12には、居住者毎の時系列行動情報が記憶されているので、居住者の生活リズム(例えば、毎週日曜日は、起床→キッチンでレンジON→リビングで食卓に着席して朝食を取る)を認識することができる。
また、時系列行動情報と現在行動情報とから、居住者の歩行速度の低下や身体活動量の低下を分析してフレイル兆候を検知することができる。
【0048】
本実施形態では、行動支援装置1は、居住者の推定行動を移動と認識した際に、移動先(例えば、食卓)に先回りして移動体2を移動して、居住者の支援を行えるようにする。特に、居住者にフレイル兆候を検知した際には、状態を確認できるよう移動後に居住者の口を含むように撮影する動作を行うことを移動体2に指示する。口以外に、フレイル兆候により表れる身体の動作を撮影してもよい。
【0049】
さらに、行動支援装置1は、移動体2が先回りした移動先に居住者が到着したことを確認し、所定時間経過しても到着しない場合には、所定の動作(未着通知等)をするように移動体2に指示する。
【0050】
居住者の到着は、宅内センサ3(人感センサ)により検出、又は移動体2のセンサ21(カメラ)の画像認識により行う。
【0051】
移動体2は、居住者の到着を検知した際に、さらに、「今まで外出だったのか」「別室にいたのか」等の居住者に確認する声掛け動作を行うとよい。
【0052】
また、行動支援装置1は、居住者の移動の確認結果や居住者の撮影画像を、見守り情報として、居住者端末9a又は見守り者端末9bに通知する。
【0053】
図4は、本実施形態の行動支援装置1が周期的に行う処理のフロー図である
図4のステップS31からステップS35は、
図3と同様のため、ここでは説明を省略する。
【0054】
ステップS41で、指示情報生成部132は、時系列行動情報と現在行動情報の分析により、居住者の生活リズムから今後の推定行動は移動を伴うものであるか否かを判定し、移動でない場合(S41のNo)には、処理を終了する。
【0055】
ステップS42で、指示情報生成部132は、時系列行動情報と現在行動情報における居住者の歩行速度の低下や身体活動量の低下を分析して、居住者のフレイル兆候の有無を判定する。
【0056】
フレイル兆候が有る場合(S42のYes)には、ステップS43で、指示情報生成部132は、移動後の居住者の口を含む撮影動作を移動体の指示情報に設定する。
【0057】
ステップS44で、指示情報生成部132は、時系列行動情報と現在行動情報から移動先の位置を推定する。例えば、時系列行動情報により認識される生活リズムにおいて、現在行動情報(キッチンでレンジON)から、今後、「リビングで食卓に着席して朝食を取る」ことが推定される場合には、移動先としてリビングを推定する。
【0058】
ステップS45で、指示情報生成部132は、推定される移動先(リビング)への移動動作を移動体2の指示情報に設定する。なお、この移動体2の指示情報は、後述のステップS47で、移動体2に通知する。
【0059】
ステップS46で、指示情報生成部132は、移動体2が先回りした移動先に居住者が到着したことを確認し、所定時間経過しても到着しない場合には所定の動作(未着通知等)をする居住者の移動の確認動作を、移動体2の指示情報に設定する。
【0060】
ステップS47で、指示情報通知部133は、移動体2に、ステップS43、S45、S46で設定した指示情報を通知する。
【0061】
ステップS48で、見守り情報通知部14は、居住者端末9a又は見守り者端末9bに、居住者の移動の確認結果や居住者の撮影画像を、見守り情報として、通知し、処理を終了する。
【0062】
以上の行動支援装置1により、生活支援システムは、推定した居住者の移動先に先回りするので、宅内センサ3を補完して居住者の状態を把握することができる。特に、フレイル兆候の有る居住者の口を含むように撮影することで、居住者が誤嚥しないか見守ることができる。また、撮影画像から咀嚼回数や咀嚼速度を推定することで、筋肉が衰えてきているか否かを判断することができる。
【0063】
また、上記では、行動支援装置1が、居住者の移動先に先回りして、居住者の移動の確認動作することや、居住者の口を含む撮影動作を行うことを移動体2に指示することを説明したが、他に、行動支援装置1が、移動体2のセンサ21(温度センサ、サーモグラフィ)により移動先の室内温度を検出し、移動先の設置されている空気調和機を制御するようにしてもよい。また、移動した居住者に空気調和機を操作する行動を促す動作を移動体2が行うようにしてもよい。
【0064】
《実施例3》
時系列行動情報記憶部12には、居住者毎の時系列行動情報が記憶されているので、現在行動情報から居住者の体調の変化(例えば、発熱、食事頻度の低下、起きてこない)を認識することができる。
【0065】
本実施形態では、行動支援装置1は、居住者の体調不良を判定した場合に、移動体2が備えるセンサ21(例えば、サーモグラフィー、カメラ)で居住者の状態を計測する動作を移動体に指示をする。
また、行動支援装置1は、移動体2の筐体ヒータ24の設定温度を、計測した居住者の体温に応じて変更する動作を移動体に指示をする。
【0066】
さらに、行動支援装置1は、居住者の体調不良を判定した場合に、居住者の体調情報を見守り情報として、居住者端末9a又は見守り者端末9bに通知する。
【0067】
図5は、本実施形態の行動支援装置1が周期的に行う処理のフロー図である。
図5のステップS31からステップS35は、
図3と同様のため、ここでは説明を省略する。
【0068】
ステップS51で、指示情報生成部132は、時系列行動情報と現在行動情報の分析により、居住者の体調不良であるか否かを判定し、体調不良でない場合(S51のNo)には、処理を終了する。
【0069】
体調不良である場合(S51のYes)には、ステップS52で、指示情報生成部132は、移動体2に実装されているセンサ21(サーモグラフィー、カメラ)により、居住者の状態を計測することを移動体2の動作として、指示情報に設定する。これにより、行動支援装置1は、居住者の体温を知ることや様子を観察することができる。
【0070】
ステップS53で、指示情報通知部133は、移動体2に、ステップS52で設定した指示情報を通知する。
【0071】
ステップS54で、移動体2から居住者の体温が通知された場合に、指示情報生成部132は、移動体2の筐体ヒータ24の設定温度を居住者の体温に応じて設定変更する動作を、移動体の指示情報に設定する。例えば、居住者の体温が平熱より高ければ、移動体2の表面温度を高くする。
【0072】
ステップS55で、指示情報通知部133は、移動体2に、ステップS54で設定した指示情報を通知する。
【0073】
ステップS56で、見守り情報通知部14は、居住者の体調情報を見守り情報として、居住者端末9a又は見守り者端末9bに通知する。
【0074】
以上の行動支援装置1により、生活支援システムは、居住者に行動を強制することなく、体調不良(発熱)の気づきを与えることができる。
【0075】
《実施例4》
図4で説明した実施形態の行動支援装置1では、移動体2が移動先に先回りして、居住者の撮影や移動確認による生活支援を行うことを説明したが、移動先の環境情報を取得するようにしてもよい。具体的には、行動支援装置1は、時系列行動情報により認識した生活リズムにより、現在行動情報から居住者の食事の準備の推定行動が分析されていた場合に、食事の準備の時間に移動体2がキッチンに先回りして、キッチンに設置され、地図情報25に位置情報が記録されている冷蔵庫の扉の開閉動作の撮影、又は冷蔵庫の庫内を撮影し、食材管理や自動発注の生活支援を行えるようにする。
【0076】
キッチンに設置されている冷蔵庫の位置情報は、冷蔵庫に添付された冷蔵庫の識別情報を示すQRコードをセンサ21(カメラ)で撮影して取得する。詳しくは、QRコードの撮影画像を解析して冷蔵庫の識別情報を認識し、センサ21(カメラ又は距離センサ)で検出した冷蔵庫と移動体2との距離情報と移動体2の位置情報とから、冷蔵庫の位置情報を算出する。位置情報を特定した冷蔵庫は、移動体2の地図情報25に記録する。
冷蔵庫に限らず、テレビ、空気調和機、レンジ等の家電も同様にして宅内の設置位置を取得できる。なお、QRコードを用いずに居住者端末9aを介して地図情報25に対して各家電の接地位置を居住者が入力しておいても良い。
【0077】
図6は、本実施形態の行動支援装置1が周期的に行う処理のフロー図である。
図6のステップS31からステップS35は、
図3と同様のため、ここでは説明を省略する。
【0078】
ステップS61で、指示情報生成部132は、時系列行動情報と現在行動情報の分析により、居住者の生活リズムから今後の推定行動が、居住者のキッチン移動であるか否かを判定し、キッチン移動でない場合(S61のNo)には、処理を終了する。
【0079】
キッチン移動の場合(S61のYes)には、ステップS62で、指示情報生成部132は、キッチンへの移動動作を移動体2の指示情報に設定する。
【0080】
ステップS63で、指示情報生成部132は、キッチンに設置されている冷蔵庫の扉の開閉動作の撮影動作、又は冷蔵庫の庫内の撮影動作を移動体2の指示情報に設定する。
【0081】
ステップS64で、指示情報通知部133は、移動体2に、ステップS62、S63で設定した指示情報を通知する。
【0082】
以上の行動支援装置1により、生活支援システムは、居住者への食材管理や自動発注の生活支援を行える。
【0083】
《実施例5》
上記の行動支援装置1では、居住者の行動情報に基づいて指示情報を移動体2に通知する実施例を説明したが、本実施形態では、居住者の行動情報と宅内の環境情報に基づいて指示情報を移動体2に通知する場合について説明する。
【0084】
具体的には、行動支援装置1は、洗濯機4の動作状態を環境情報として取得して洗濯終了を推定した際に、居住者の時系列行動情報と行動情報とから推定行動を求めて、居住者の推定行動が洗濯物を干す行動に変更可能かを判定し、変更可能な場合に、移動体2により、居住者に洗濯物を干すように行動変容を促す動作を行う。
【0085】
図7は、本実施形態の行動支援装置1が周期的に行う処理のフロー図である。
図7のステップS31からステップS34は、
図3と同様のため、ここでは説明を省略する。
【0086】
ステップS71で、人行動検知部112は、人特定情報で特定される居住者毎に、移動体2及び宅内センサ3のセンサ情報に基づいて、宅内に設置された洗濯機4の動作状態を推定し、洗濯終了等の環境情報(現在環境情報)を取得する。例えば、宅内センサ3(マイク)で検出した宅内の環境音から洗濯機4の動作音や報知音を認識し、洗濯状態や洗濯終了を推定する。
【0087】
ステップS72で、行動推定部131は、居住者毎の時系列行動情報と現在行動情報・環境情報とを対比し、居住者の状態を分析する。
【0088】
ステップS73で、指示情報生成部132は、現在環境情報は、洗濯終了であるか否かを判定し、洗濯終了でない場合(S73のNo)には、処理を終了する。
【0089】
洗濯終了の場合(S73のYes)には、ステップS74で、指示情報生成部132は、時系列行動情報と現在行動情報に基づいて分析した今後の居住者の推定行動が洗濯物を干す行動か判定し、洗濯物を干す行動であれば(S74のYes)、処理を終了する。
【0090】
ステップS75で、指示情報生成部132は、居住者の現在行動情報を洗濯物を干す行動に変更可能かを判定し、変更不可能であれば(S75のNo)、処理を終了する。換言すれば、現在行動と洗濯物を干す行動との優先度を判定し、現在行動の優先度が高ければ、処理を終了する。例えば、現在行動がリラックス状態の場合は、リラックス状態を継続することの優先度が高いと判断し、処理を終了する。リラックス状態を優先するか否かは、時系列行動情報記憶部12が記憶している居住者の過去の行動情報に基づいて判断しても良い。例えば、居住者が最近リラックス状態をしていない場合は、リラックス状態を優先することが考えられる。
【0091】
ステップS76で、指示情報生成部132は、居住者に洗濯物を干す行動に行動変容するよう促す動作を移動体2の指示情報に設定する。具体的には、移動体2が「洗濯が終了しました。洗濯物を干してください。」のメッセージを出力するようにする。
【0092】
ステップS77で、指示情報通知部133は、移動体2に、ステップS76で設定した指示情報を通知する。
【0093】
以上の行動支援装置1により、生活支援システムは、居住者の洗濯機4から洗濯物の取り出し忘れを防止することができる。
また、行動支援装置1は、衣類乾燥機に適用し、乾燥終了時の居住者の乾燥機から乾燥した衣類の取り出し忘れを防止するようにしてもよい。
また、行動支援装置1は、電子レンジに適用し、加熱終了時の居住者の電子レンジから加熱した食品の取り出し忘れを防止するようにしてもよい。
行動支援装置1では、洗濯機、衣類乾燥機、電子レンジ等の家電の動作を家電のタスクと称し、洗濯機の「洗濯終了」、衣類乾燥機の「乾燥終了」、電子レンジの「加熱終了」等を、家電のタスク終了と称する。
【0094】
《実施例6》
次に、時系列行動情報と現在行動情報に基づいて分析した居住者の推定行動(例えば、冷房をつける)により設定される宅内の環境状態と、現在環境情報が示す環境状態とが異なる場合に、居住者に推定行動を促す動作を移動体2に指示する実施形態について説明する。
詳しくは、推定行動が空気調和機6の稼働に関する行動であった場合に、空気調和機6が稼働していなければ、移動体2が、居住者に空気調和機6を稼働する行動に行動変容するように、居住者を促す。
【0095】
図8は、本実施形態の行動支援装置1が周期的に行う処理のフロー図である。
図8のステップS31からステップS34は、
図3と同様のため、ここでは説明を省略する。
【0096】
ステップS81で、人行動検知部112は、人特定情報で特定される居住者毎に、移動体2及び宅内センサ3のセンサ情報に基づいて、宅内に設置された空気調和機6の動作状態を推定し、稼働中等の環境情報(現在環境情報)を取得する。例えば、宅内センサ3(マイク、温度センサ)で検出した宅内の環境音と室温から空気調和機6の動作音を認識し、冷暖房運転の動作状態を推定する。
【0097】
ステップS82で、行動推定部131は、居住者毎の時系列行動情報と現在行動情報・環境情報とを対比し、居住者の状態を分析する。
【0098】
ステップS83で、指示情報生成部132は、時系列行動情報と現在行動情報に基づいて分析した今後の居住者の推定行動が空気調和機6の稼働に関する行動であった場合に、居住者の推定行動と現在環境情報により示される現在の空気調和機6の動作状態とが対応するか否かを判定し、対応していれば(S83のYes)、処理を終了する。具体的には、推定行動が冷房を稼働する行動であった場合に、空気調和機6が冷房運転中であれば、処理を終了する。
【0099】
ステップS84で、指示情報生成部132は、居住者の現在行動情報がリラックス状態であるか否かを判定し、リラックス状態の場合(S84のYes)には、処理を終了する。つまり、居住者の現在の行動情報がリラックス状態であれば、ステップS85の空気調和機6を稼働する行動変容を促す動作を移動体2に指示しない。
【0100】
リラックス状態でない場合(S84のNo)には、ステップS85で、指示情報生成部132は、居住者に空気調和機を操作するように促す動作を移動体2の指示情報に設定する。具体的には、移動体2は「空気調和機を操作してください」のメッセージを出力するようにする。
【0101】
ステップS86で、指示情報通知部133は、移動体2に、ステップS85で設定した指示情報を通知する。
【0102】
以上の行動支援装置1により、居住者の空気調和機6の稼働忘れを防止できる。
【0103】
《実施例7》
本実施形態では、行動支援装置1は、居住者の時系列行動情報から推定される推定行動と現在行動状態とを比較し、異なる行動又は異常行動の場合には、移動体2のセンサ21により居住者の挙動を撮影するように移動体2に動作指示する。
【0104】
具体的には、行動支援装置1は、夜間リラックス→移動寝室→寝室の時系列行動情報から推定される「就寝中」の推定行動と、就寝時間外の起床やベッドから立ち上がろうとしている行動から認識した「トイレに行く」の現在行動情報とを比較し、異なる行動のため、移動体2のセンサ21(カメラ)により居住者の挙動を撮影するように移動体2に動作指示する。
【0105】
さらに、行動支援装置1は、移動体2に指示して撮影した居住者の行動情報と過去の居住者の行動情報とを比較して、一定の経時変化が有り(衰えや改善)と判断した場合に、その旨を、居住者又は居住者の見守り者の通信端末に通知する。一定の経時変化とは、例えば姿勢動作や歩行動作の変化のことである。
【0106】
図9は、本実施形態の行動支援装置1が周期的に行う処理のフロー図である。
図9のステップS31からステップS35は、
図3と同様のため、ここでは説明を省略する。
【0107】
ステップS91で、指示情報生成部132は、時系列行動情報から推定される居住者の推定行動と現在行動情報とが異なるか否かを判定し、同一又は相当する行動の場合(S91のNo)には、処理を終了する。具体的には、「就寝中」の推定行動と「トイレに行く」の現在行動情報とを比較する。
【0108】
ステップS92で、指示情報生成部132は、居住者を撮影する動作を移動体2の指示情報に設定する。
【0109】
ステップS93で、指示情報通知部133は、移動体2に、ステップS92で設定した指示情報を通知する。
【0110】
ステップS94で、行動認識部11は、移動体2のセンサ21(カメラ)で撮影したセンサ情報を居住者の行動画像として取得する。
【0111】
ステップS95で、行動推定部131は、ステップS94で取得した居住者の行動情報と、過去の居住者の行動情報とを対比する。
【0112】
ステップS96で、指示情報生成部132は、行動情報の対比から居住者のフレイルリスクを判定し、一定の経時変化(衰えや改善)が無いと判定した場合(S96のNo)には、処理を終了する。
【0113】
ステップS97で、見守り情報通知部14は、居住者の一定の経時変化を見守り情報として、居住者端末9a又は見守り者端末9bに通知する。
【0114】
以上の行動支援装置1により、居住者の居住者の一定の経時変化を見守り情報として通知できる。
【0115】
上記の行動支援システムでは、時系列行動情報と現在行動情報とに基づいて、移動体2により居住者の生活支援を行うようにしたが、宅内の時系列環境情報により、生活支援を行うこともできる。
【0116】
例えば、移動体2としてのロボット掃除機において、掃除の経路情報を蓄積し、走行の障害物の検出状況から、居住者の転倒の原因となるゴミの位置情報を特定すると共に、ゴミを搭載するセンサ21(カメラ)で撮影する。そして、移動体2により、居住者に注意喚起の声掛けを行う。また、ゴミの位置情報やゴミの撮影画像を、見守り情報として、居住者端末9a又は見守り者端末9bに通知する。
【0117】
また、移動体2としてのロボット掃除機のゴミ吸い込み量の時系列情報から宅内のよごれ度の変化を求め、よごれ度が増加している場合に、居住者のフレイル兆候があると判定する。また、ロボット掃除機の障害物検知の時系列情報から宅内の片付け度の変化を求め、片付け度が低下している場合に、居住者のフレイル兆候がると判定する。よごれ度や片付け度を、見守り情報として、居住者端末9a又は見守り者端末9bに通知する。
【0118】
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記の実施例は本発明で分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。
【符号の説明】
【0119】
1 行動支援装置
2 移動体
3a 宅内センサ
3b 宅内センサ
4洗濯機
5冷蔵庫
6空気調和機
7 宅内LAN
8 インターネット
9a 居住者端末
9b 見守り者端末
21 センサ
22 駆動手段
23 制御部
24 筐体ヒータ
25 地図情報
11 行動認識部
111 人特定部
112 人行動検知部
12 時系列行動情報記憶部
13 移動体指示部
131 行動推定部
132 指示情報通知部
14 見守り情報通知部