(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-10-10
(45)【発行日】2024-10-21
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
H04Q 9/00 20060101AFI20241011BHJP
【FI】
H04Q9/00 311J
(21)【出願番号】P 2024543425
(86)(22)【出願日】2024-04-17
(86)【国際出願番号】 JP2024015295
【審査請求日】2024-07-22
(31)【優先権主張番号】P 2023068120
(32)【優先日】2023-04-18
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】519277520
【氏名又は名称】株式会社リビングロボット
(74)【代理人】
【識別番号】100205659
【氏名又は名称】齋藤 拓也
(74)【代理人】
【識別番号】100154748
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】川内 康裕
(72)【発明者】
【氏名】内山 昭彦
(72)【発明者】
【氏名】井上 貴裕
(72)【発明者】
【氏名】中村 珠幾
(72)【発明者】
【氏名】近藤 芙美子
(72)【発明者】
【氏名】鈴木 雅愉
(72)【発明者】
【氏名】▲徳▼永 浩二
【審査官】山中 実
(56)【参考文献】
【文献】特開2006-172410(JP,A)
【文献】特開2019-174092(JP,A)
【文献】特開2022-169645(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04Q 9/00、G10L 15/28、G08B 25/00、H04M 11/00
F24H 1/00、G06F 3/16
(57)【特許請求の範囲】
【請求項1】
所定のユーザとの対話を含めたインターフェースの制御を行うインターフェース制御手段と、
通信ネットワークを介して接続可能な複数の機器の夫々の機器稼働設定情報を取得する機器稼働設定情報取得手段と、
前記複数の機器のうち所定の機器から所定の機能を実行する旨の情報を取得したことに応じて、前記機器稼働設定情報を参照して前記所定の機能の実行が他の機器の稼働設定に影響すると判断した場合に、前記インターフェース制御手段の制御に基づいて、前記対話により、又は対話を中断して、その旨をユーザに報知する影響情報報知手段と、
を備える情報処理装置。
【請求項2】
前記機器稼働設定情報取得手段は、前記インターフェース制御手段の制御による前記所定ユーザとの対話に基づいて、前記機器の稼働設定情報を取得する、
請求項1に記載の情報処理装置。
【請求項3】
前記影響情報報知手段は、前記インターフェース制御手段の制御による前記所定のユーザとの対話に基づいて報知する、
請求項1に記載の情報処理装置。
【請求項4】
前記インターフェース制御手段は、前記複数の機器のうち特定の機器が特定の通報を行おうとする場合に、その旨を所定のユーザに確認するための出力についての制御を実行する、
請求項1に記載の情報処理装置。
【請求項5】
前記複数の機器の機器稼働設定情報に基づいて異常判定をした場合に、前記インターフェース制御手段の制御に基づいて前記特定の通報を行う特定通報手段、
をさらに備える請求項4に記載の情報処理装置。
【請求項6】
前記特定通報手段は、前記インターフェース制御手段の制御に基づいて、さらに前記特定の通報に対応した対応者に前記異常判定に関する情報を出力する、
請求項5に記載の情報処理装置。
【請求項7】
前記異常判定の判定結果に対して、前記インターフェース制御手段の制御に基づいて取得した前記特定通報の要否情報に基づいて、前記特定通報手段による前記異常判定の方法を更新する異常判定方法更新手段、
をさらに備える請求項5に記載の情報処理装置。
【請求項8】
前記インターフェース制御手段は、前記所定のユーザとの対話に基づいて前記所定のユーザの生活情報を取得し、
前記特定通報手段は、前記生活情報に基づいて前記異常判定を行う、
請求項1に記載の情報処理装置。
【請求項9】
前記インターフェース制御手段は、前記所定のユーザと特定の関係にある他のユーザとの対話を行う場合に、所定の入出力処理を行う、
請求項1に記載の情報処理装置。
【請求項10】
前記インターフェース制御手段の制御に基づいて、前記所定のユーザから特定の管理属性を指定して所定の情報を取得したことに応じて、前記特定の管理属性に基づいて前記所定の情報を管理する特定情報管理手段をさらに備える、
請求項1に記載の情報処理装置。
【請求項11】
前記インターフェース制御手段は、前記所定のユーザとの対話に、前記所定のユーザが操作する携帯端末を連動させるように前記インタフェースの前記制御を行う、
請求項1に記載の情報処理装置。
【請求項12】
前記複数の機器のうち少なくとも一部の機器が所定の機能を実行する際に前記所定のユーザにプッシュ通知すべき内容を取得し、前記インターフェース制御手段の制御に基づいて、前記対話により前記内容を前記所定のユーザ又はその管理者にプッシュ通知するプッシュ通知手段、
をさらに備える請求項1に記載の情報処理装置。
【請求項13】
前記インターフェース制御手段は、予め設定された条件が満たされたことをトリガとして、前記所定のユーザとの前記対話を含めた前記インターフェースの前記制御を開始する、
請求項1に記載の情報処理装置。
【請求項14】
情報処理装置が実行する情報処理方法において、
所定のユーザとの対話を含めたインターフェースの制御を行うインターフェース制御ステップと、
通信ネットワークを介して接続可能な複数の機器の夫々の機器稼働設定情報を取得する機器稼働設定情報取得ステップと、
前記複数の機器のうち所定の機器から所定の機能を実行する旨の情報を取得したことに応じて、前記機器稼働設定情報を参照して前記所定の機能の実行が他の機器の稼働設定に影響すると判断した場合に、前記インターフェース制御ステップにおける制御に基づいて、前記対話により、又は対話を中断して、その旨をユーザに報知する影響情報報知ステップと、
を含む情報処理方法。
【請求項15】
コンピュータに、
所定のユーザとの対話を含めたインターフェースの制御を行うインターフェース制御ステップと、
通信ネットワークを介して接続可能な複数の機器の夫々の機器稼働設定情報を取得する機器稼働設定情報取得ステップと、
前記複数の機器のうち所定の機器から所定の機能を実行する旨の情報を取得したことに応じて、前記機器稼働設定情報を参照して前記所定の機能の実行が他の機器の稼働設定に影響すると判断した場合に、前記インターフェース制御ステップにおける制御に基づいて、前記対話により、又は対話を中断して、その旨をユーザに報知する影響情報報知ステップと、
を含む制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来より、周囲ノイズによる誤認識を回避し、現在のマルチラウンドの対話タスクをスムーズに完了させるために対話モードを切り替える対話システムは存在する(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の特許文献1には、複数の機器と通信して互いに影響がある機能を実行する際にその旨を報知する対話の仕組みは提案されていない。
【0005】
本発明は、このような状況に鑑みてなされたものであり、ユーザは対話しているだけで複数の機器が互いに影響がある機能を実行する際にその旨を知ることができるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一実施形態である情報処理装置は、
所定のユーザとの対話を含めたインターフェースの制御を行うインターフェース制御手段と、
通信ネットワークを介して接続可能な複数の機器の夫々の機器稼働設定情報を取得する機器稼働設定情報取得手段と、
前記複数の機器のうち所定の機器から所定の機能を実行する旨の情報を取得したことに応じて、前記機器稼働設定情報を参照して前記所定の機能の実行が他の機器の稼働設定に影響すると判断した場合に、前記インターフェース制御手段の制御に基づいて、前記対話により、または対話を中断して、その旨をユーザに報知する影響情報報知手段と、
を備える。
なお、本発明の一態様の上記情報処理装置に対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。
【発明の効果】
【0007】
本発明によれば、ユーザは対話しているだけで複数の機器が互いに影響がある機能を実行する際にその旨を知ることができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の一実施形態の情報処理システム全体のネットワーク構成を示している。
【
図2】
図1の情報処理システムのうちクラウドサーバのハードウェア構成を示すブロック図である。
【
図3】
図1の情報処理システムのうち見守りロボットのハードウェア構成を示すブロック図である。
【
図4】
図1の情報処理システムにおけるクラウドサーバの機能的構成を示す機能ブロック図である。
【
図5】
図3、
図4のクラウドサーバの動作を示すフローチャートである。
【
図6】
図1の情報処理システムにおけるリビングロボットケアサービスの第1実施形態を示す図である。
【
図7】
図1の情報処理システムにおけるリビングロボットケアサービスの第2実施形態を示す図である。
【
図8】
図1の情報処理システムにおけるリビングロボットケアサービスの第3実施形態を示す図である。
【
図9】
図1の情報処理システムにおけるリビングロボットケアサービスの第4実施形態を示す図である。
【
図10】
図1の情報処理システムにおけるリビングロボットケアサービスの第5実施形態を示す図である。
【
図11】
図1の情報処理システムにおけるリビングロボットケアサービスの第6実施形態第1の例を示す図である。
【
図12】
図4のクラウドサーバの第2機能的構成を示す機能ブロック図である。
【
図13】
図12の第2機能的構成を備えるクラウドサーバを含む情報処理システムにおけるリビングロボットケアサービスの第7実施形態を示す図である。
【
図14】
図12の第2機能的構成を備えるクラウドサーバを含む情報処理システムにおけるリビングロボットケアサービスの第8実施形態を示す図である。
【
図15】
図12の第2機能的構成を備えるクラウドサーバを含む情報処理システムにおけるリビングロボットケアサービスの第9実施形態を示す図である。
【
図16】
図12の第2機能的構成を備えるクラウドサーバを含む情報処理システムにおけるリビングロボットケアサービスの第10実施形態を示す図である。
【
図17】
図12の第2機能的構成を備えるクラウドサーバを含む情報処理システムにおけるリビングロボットケアサービスの第11実施形態を示す図である。
【
図18】
図12の第2機能的構成を備えるクラウドサーバを含む情報処理システムにおけるリビングロボットケアサービスの第12実施形態を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。
【0010】
図1は、本発明の一実施形態の情報処理システムの全体構成を示している。
図1に示す情報処理システムは、クラウドサーバ1と、見守りロボット2(インターフェース)と、制御対象機器3と、ユーザ端末4と、救急隊端末5と、外部端末6とがインターネット等の所定のネットワークNを介して相互に接続されることによって通信可能に構成されている。
【0011】
クラウドサーバ1は、見守りロボット2等のインターフェースと、制御対象機器3と、ユーザ端末4と、救急隊端末5と、外部端末6の夫々の各動作を管理すべく、各種処理を実行する情報処理装置である。
【0012】
具体的には本実施形態では、クラウドサーバ1は、次のようにして、見守りロボット2やユーザ端末4の各動作を管理する。
即ち、クラウドサーバ1は、本サービスを提供する、例えばサービス運営会社等のサービス提供者により管理され、その担当者により操作される。クラウドサーバ1は、ユーザUと見守りロボット2との会話の中で見守りロボット2が制御対象機器3を動作させたときに得られる様々な情報(生活情報、対話情報、機器稼働情報、特定通報情報、秘密情報、異常判定方法情報、各センサーからの検知情報等)を管理し、夫々の情報に基づく処理を実行する。
なお、クラウドサーバ1が実行する処理の詳細については、
図4を参照して後述する。
制御対象機器3は、ユーザUの自宅に配置される機器のうち一部の機器であり、例えばテレビ、ビデオ、エアコン、冷蔵庫、洗濯機、浴室乾燥機、電気ポット等であり、見守りロボット2又はクラウドサーバ1からの制御信号でコントロールされる機器である。
この他、制御対象機器3としては、例えば浴室転倒センサー、においセンサー、火災報知器、環境モニタリングセンサー、排泄センサー、睡眠バイタル・起床センサー、監視カメラ等の各種センサーのように自ら検知して検知信号を見守りロボット2やクラウドサーバ1へ発信する機器も含まれる。
ユーザ端末4は、例えばお年寄り等の高齢のユーザUにより管理及び操作される情報処理装置であって、ユーザ毎に管理される情報処理装置である。ユーザ端末4は、例えばスマートフォン(以下「スマホ」と称す)、タブレット端末、ラップトップコンピュータ等の、ユーザUが携帯又は身に着けて情報を閲覧及び入力可能な携帯端末である。この他、テレビジョン(以下「テレビ」と称す)やビデオレコーダ、照明器具等の家電機器の操作が可能なリモートコントローラ(以下「リモコン」と称す)等もユーザ端末4に含まれる。
救急隊端末5は、例えば消防署に設置される緊急通報処理用の情報処理装置や消防署から駆け付ける救急士等により操作される、例えばパーソナルコンピュータ(PC)、タブレット端末、スマートフォン等である。
外部端末6は、例えば高齢のユーザUの子供や孫、見守りサービスを行っているサービス提供者S(サービス運営会社)の担当者や小口配送の担当者等が管理する情報処理装置であり、例えばパーソナルコンピュータ(PC)、タブレット端末、スマートフォン等である。
【0013】
図2は、
図1の情報処理システムのうちクラウドサーバのハードウェア構成を示すブロック図である。
【0014】
図2に示すように、クラウドサーバ1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、出力部16と、入力部17と、記憶部18と、通信部19と、ドライブ20と、を備えている。
【0015】
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0016】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、出力部16、入力部17、記憶部18、通信部19及びドライブ20が接続されている。
【0017】
出力部16は、液晶等のディスプレイやスピーカー等により構成され、各種情報を画像や音声として出力する。
入力部17は、例えばキーボード等により構成され、各種情報を出力する。
記憶部18は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNを介して他の装置(例えば
図3の見守りロボット2及び外部端末6等)との間で通信を行う。
【0018】
ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア21が適宜装着される。ドライブ20によってリムーバブルメディア21から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。
また、リムーバブルメディア21は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
【0019】
なお、図示はしないが、ユーザ端末4、救急隊端末5及び外部端末6等についても、
図4に示したクラウドサーバ1のハードウェア構成と基本的に同様の構成を有する。従って、ユーザ端末4、救急隊端末5及び外部端末6(例えばユーザUの家族の端末やサービス提供者Sの端末等)等のハードウェア構成の説明については省略する。
【0020】
このような
図2の各種ハードウェアと各種ソフトウェアとの協働により、ユーザUと見守りロボット2との対話に関する一連の処理の実行が可能になる。
【0021】
図3は、
図1の情報処理システムのうち見守りロボットのハードウェア構成を示すブロック図である。
図3に示すように、見守りロボット2は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、バス104と、入出力インターフェース105と、出力部106と、入力部107と、記憶部108と、通信部109と、ドライブ110と、を備えている。
見守りロボット2のハードウェア構成は、クラウドサーバ1のハードウェア構成とほぼ同じであり、出力部106や入力部107の構成が異なる。
見守りロボット2の場合、ユーザUとの対話を自然にするように、外観を人の形状に似せたボディとしているため、出力部106のマイクは耳に相当するか所、カメラは目に相当するか所、センサーは手足に、スピーカーやブザーは口に相当するか所、ディスプレイは、例えばボディ前面部分等に配置されている。
【0022】
図4は、
図1の情報処理システムにおけるクラウドサーバの機能的構成を示す機能ブロック図である。
【0023】
クラウドサーバ1の記憶部18(
図2)の一領域には、生活情報141と、対話情報142と、機器稼働設定情報143と、特定通報情報144と、異常判定方法情報145と、秘密情報146とを含むDB140が記憶されている。
生活情報141は、例えば、起床予定/起床時間、食事予定/食事時間(食事開始時刻/食事終了時刻)、食事内容(メニュー、カロリー等)、アクティビティ予定/実施記録、就寝予定/就寝時間、入浴予定時刻(入/出)/入浴時刻(入/出)等である。
対話情報142は、ユーザUの問いかけに対して見守りロボット2が応答した会話の内容(双方)の音声データやテキストデータ等である。なお、記憶容量に制限がない場合は見守りロボット2がユーザUとの対話中に撮像したユーザUの行動を含む動画や画像を対話情報142に含めてもよい。
機器稼働設定情報143は、例えば浴室転倒センサーの検知設定・感度設定等、においセンサーの感度設定等、火災報知器の検知設定・感度設定等、テレビの稼働設定、ビデオの録画設定、エアコンの稼働設定・温度設定等、冷蔵庫の稼働設定・温度設定等、洗濯機の稼働設定、浴室乾燥機の稼働設定、電気ポットの稼働設定等である。
特定通報情報144は、特定の機器からの通報情報であり、例えば浴室転倒センサーが浴室での人の転倒を検知して、消防へ通報するための連絡先とメッセージ等の情報である。
異常判定方法情報145は、例えば浴室転倒センサー等の機器が異常と判定して特定の通報を行う判定処理や手順の情報である。
秘密情報146は、ユーザUにより指定された特定の管理属性を基に記憶しておく情報であり、特定の管理属性が例えば秘密の会話等の場合、ユーザUと見守りロボット2とが秘密の会話をしたときに他者には公開しない情報である。具体的には、例えばユーザUの独り言や日記、そのときの感情等をユーザU以外には出力せず、アクセスもできず、ユーザUであっても消去できない情報としてDB140に記憶される。
【0024】
また、クラウドサーバ1のCPU11(
図2)においては、
図4に示すように、ユーザUに対するリビングロボットケアサービスに関する一連の処理を実行する際に、インターフェース制御部31と、対話部32と、機器稼働設定情報取得部33と、影響情報報知部34と、特定通報部35と、異常判定方法更新部36と、が機能する。
【0025】
インターフェース制御部31は、ユーザUとの対話を含めたインターフェースの制御を行う。
例えばインターフェース制御部31は、自宅で生活する高齢者(お年寄り)や介護が必要な人、障害を持つ人等をユーザU(所定のユーザ)とし、このユーザUと見守りロボット2との対話を含めたインターフェースの制御を行う。
【0026】
具体的には、インターフェース制御部31は、宅内に存在する複数の機器のうち、例えば浴室転倒センサー等の特定の機器が消防への通報を行おうとする場合に、その旨をユーザUに確認するための出力についての制御を実行する。
具体的には、インターフェース制御部31は、例えば浴室転倒センサーが浴室転倒の旨を消防に通報しようとする場合に、浴室転倒センサーが浴室転倒を検知したものの、浴室乾燥機の騒音による誤動作の可能性があるが、消防に通報してよいか?ということを見守りロボット2に発声させてユーザUに確認することができる。
【0027】
インターフェース制御部31は、ユーザUとの対話に基づいてユーザUの生活情報を取得し、特定通報部35は、生活情報に基づいて異常判定を行う。
これにより、ユーザUは、対話しているだけで、例えばユーザUが日常的に風呂に入る時間を管理してもらう等のように、自身の生活情報を管理してもらうことができ、特定通報の通報精度を向上することができる。
生活情報を管理とは、例えば「スケジュール管理(声かけ)」、「音楽療法」、「頭脳ゲーム」の実施実績管理が含まれる。このようにユーザUの生活情報を管理することで、例えばユーザが入浴している時間ではないときに浴室転倒センサーが転倒検知したときに浴室乾燥機が動作していれば浴室乾燥機の騒音による誤検知と判断でき、そのようなケースの誤通報を防止することができ、通報精度を向上することができる。
【0028】
また、インターフェース制御部31は、例えば高齢のユーザUの子供や孫、見守りサービスを行っているサービス提供者S(サービス運営会社)の担当者や小口配送の担当者等のように、ユーザUと、特定の関係にある他のユーザとが見守りロボット2を介して対話を行う場合に、所定の入出力処理(例えば見守りロボット2の目のカメラを自動起動して、対話対象の高齢のユーザUを捕捉して撮像し、当該撮像を子供や孫の外部端末6へ配信する。この他、前回の見守り訪問以降の出来事を見守りロボット2からユーザUへ発声して伝えること等を行ってもよい。
これにより、高齢のユーザUとその子供や孫との対話の利便性を向上させたり、話題を提供したりすることで、ユーザUの心情をポジティブにすることができる。
【0029】
対話部32は、見守りロボット2を介してユーザUと対話する。対話のための会話する言葉等は例えばAI等の思考処理により実現してもよく、予め質問に対する回答等の語句をDB140に対話情報142として登録しておき、ユーザUとの対話の中で適切な言葉を対話情報142から読み出してもよい。
【0030】
機器稼働設定情報取得部33は、ネットワークN等の通信ネットワークを介して接続可能な複数の機器、例えば浴室転倒センサー、においセンサー、火災報知器、テレビ、ビデオ、エアコン、冷蔵庫、洗濯機、浴室乾燥機、電気ポット等の夫々の機器稼働設定情報143を取得する。
機器稼働設定情報143は、例えば浴室転倒センサーの検知設定・感度設定、においセンサーの感度設定、火災報知器の検知設定・感度設定、テレビの稼働設定、ビデオの録画設定、エアコンの稼働設定・温度設定、冷蔵庫の稼働設定・温度設定、洗濯機の稼働設定、浴室乾燥機の稼働設定、電気ポットの稼働設定等である。
【0031】
影響情報報知部34は、複数の機器のうち、例えば浴室転倒センサー等の所定の機器から救急通報を実行する旨の情報を取得したことに応じて、機器稼働設定情報143を参照して所定の機能の実行が他の機器の稼働設定に影響すると判断した場合に、インターフェース制御部31の制御に基づいて、対話により、または対話を中断して、その旨を、例えばユーザUや他の家族K、サービス提供者S等に報知する。
【0032】
具体例としては、影響情報報知部34は、例えば浴室乾燥機の稼働が浴室転倒センサーの誤動作を生じさせると判断した場合、浴室乾燥機の稼働が浴室転倒センサーの誤動作を生じさせている可能性がある旨のメッセージ等を見守りロボット2に送信することで、見守りロボット2からのメッセージを発声してユーザUに報知する。
【0033】
なお、メッセージの報知の仕方としては、見守りロボット2からメッセージを発声する以外に、例えばユーザ端末4にメッセージをポップアップ表示する等してもよい。
これにより、ユーザUは、見守りロボット2と対話しているだけで、又はユーザ端末4を操作及び閲覧しているだけで、例えば浴室乾燥機、浴室転倒センサー、救急通報機能等が、互いに影響がある機能を実行する際に誤動作の可能性がある旨を知ることができる。
【0034】
機器稼働設定情報取得部33は、インターフェース制御部31の制御によるユーザUとの対話に基づいて、機器稼働設定情報143を取得する。
これにより、ユーザUは、見守りロボット2と対話しているだけで、自宅の機器の稼働設定を行うことができる。
例えばユーザUと見守りロボット2との対話の中で、ユーザUが「少し暑いわね。」と発言すると、機器稼働設定情報取得部33は、エアコンの稼働設定を取得して、インターフェース制御部31に伝え、インターフェース制御部31は、エアコンの稼働設定に含まれる設定温度を1度上げる等の設定調整を行う。
【0035】
影響情報報知部34は、インターフェース制御部31の制御によるユーザUとの対話に基づいて機器どうしで生じる機能の影響(誤動作の可能性等)を報知する。
具体的には、ユーザUと見守りロボット2との対話の中で、ユーザUから「浴室乾燥機を動かしている」等の発言があり、ユーザUが浴室にいないにもかかわらず、浴室転倒センサーが転倒を検知した場合は浴室乾燥機が稼働していればその騒音の影響で浴室転倒センサーが誤動作する可能性があるものと判定し、浴室乾燥機の騒音が浴室転倒センサーの転倒検知機能に影響を与える旨(誤動作の可能性等)をユーザUに報知する。
これにより、ユーザUは、見守りロボット2と対話しているだけで、例えば浴室乾燥機の乾燥機能の実行が浴室転倒センサーの転倒検知、救急通報等の稼働に影響を与える旨を知ることができる。
【0036】
特定通報部35は、複数の機器の機器稼働設定情報143に基づいて異常判定をした場合に、インターフェース制御部31の制御に基づいて例えば消防への救急通報等の特定の通報を行う。
ここで、異常判定とは、浴室転倒センサー(特定の機器)が転倒を検知したときに、浴室転倒センサー以外の機器、例えば浴室乾燥機等の稼働情報やユーザUの発言(「大丈夫よ」又は「助けて!」)等も参照して浴室転倒センサーの検知情報を異常とするかどうかを判定することである。
これにより、複数の機器の機器稼働設定情報143に基づいて特定の通報(例えば浴室転倒センサーの転倒検知をトリガとする救急通報)の精度を向上することができる。
【0037】
特定通報部35は、インターフェース制御部31の制御に基づいて、さらに救急通報(特定の通報)に対応した、例えば消防署から駆け付けた救急士C等(対応者)に、異常判定に関する情報(例えばユーザUが転倒している浴室の場所等)を出力する。
具体的には、現場に到着した救急隊の救急士Cが「救急隊です」等と見守りロボット2に発言したことで、インターフェース制御部31は、救急士Cを特定し、救急士Cに対して「廊下の奥の右側の浴室で倒れているよ!」等と見守りロボット2に発言させる。
これにより、例えば現場に到着した救急隊の救急士CにユーザUがどこで倒れているかを教えることができる。
【0038】
異常判定方法更新部36は、異常判定の判定結果に対して、インターフェース制御部31の制御に基づいて、取得した特定の通報の要否情報に基づいて、特定通報部35による異常判定の判定ロジックや判定手法(異常判定方法)を更新する。
これにより、例えば、機器が異常と判定して特定の通報を行おうとした場合であって、ユーザUとの対話により特定の通報が不要であると判明したときに、その後の異常判定方法を修正することができる。
【0039】
秘密情報管理部37は、インターフェース制御部31の制御に基づいて、ユーザUから例えばユーザUと見守りロボット2だけの秘密の会話(特定の管理属性)を指定して秘密の会話の情報を見守りロボット2を介してクラウドサーバ1が取得したことに応じて、その特定の管理属性に基づいて秘密の会話を管理する。
秘密の会話の情報として、例えばユーザUの独り言や日記、そのときの感情等をユーザU以外には出力せず、アクセスもできず、ユーザUであっても消去できない不揮発性メモリ等の記憶手段に記憶しておくものとする。
これにより、例えばユーザUが見守りロボット2だけに告白した秘密の情報のやり取りを通して、当該見守りロボットに対する愛着を醸成することができる。
【0040】
続いて、
図5を参照してこの情報処理システムにおけるクラウドサーバの動作を説明する。
図5は、
図3、
図4のクラウドサーバの動作を示すフローチャートである。
クラウドサーバ1では、ステップS11において、インターフェース制御部31は、ユーザUと見守りロボット2との対話を含めたインターフェースの制御を行う。
ステップS12において、機器稼働設定情報取得部33は、ネットワークNを介して接続可能な複数の制御対象機器の夫々の機器稼働設定情報143を取得する。
ステップS13において、影響情報報知部34は、複数の制御対象機器のうち所定の機器から所定の機能を実行する旨の情報を取得したことに応じて、当該所定の機器と関連する機器の夫々の機器稼働設定情報143を参照して所定の機能の実行が他の機器の稼働設定に影響すると判断した場合に、ステップS11におけるインターフェース制御部31の制御に基づいて、対話により、又は対話を中断して、その旨をユーザUに報知する。
【0041】
このようにクラウドサーバ1の動作によれば、見守りロボット2がユーザUと対話する中で、その情報をクラウドサーバが取得し、インターフェース制御部31がユーザUの宅内で稼働する機器の稼働状況を考慮し、所定の機器の所定の機能の実行が他の機器の稼働設定に影響する旨をユーザUに報知するので、ユーザは見守りロボット2と対話しているだけで、宅内にある複数の機器が互いに影響がある機能を実行する際にその旨(所定の機器の所定の機能の実行が他の機器にどのように影響し波及するか等)を知ることができる。
【0042】
以下、
図1の情報処理システムにおけるリビングロボットケアサービスの各種実施形態を説明する。
まず、
図6を参照して
図1の情報処理システムにおけるリビングロボットケアサービスの第1実施形態を説明する。
図6は、
図1の情報処理システムにおけるリビングロボットケアサービスの第1実施形態を示す図である。
【0043】
図6に示すリビングロボットケアサービスの第1実施形態は、リビングロボットケアサービスを実現する情報処理システムの全体像を示している。
【0044】
ユーザUの自宅には、例えばセンサーやサービスを含めたさまざまに機器(見守りロボット2、制御対象機器3)が配置されている。
制御対象機器3は、トイレ、冷蔵庫、電気ポット、照明器具、エアコン、自動開閉カーテン等の家庭電化製品(以下「家電」と称す)が含まれる。
センサーは、例えば浴室見守り用のセンサー(転倒、水没)、排泄センサー、在室見守り用のカメラ、睡眠バイタル・起床センサー、環境モニタリングセンサー(温度、湿度、異常音等)等があり、夫々のセンサーは、検知された情報をネットワークNを介してクラウドサーバ1に送信する。
睡眠バイタル・起床センサーは、睡眠見守りサービスを実現する睡眠見守りシステムの中の一つの機器である。
浴室見守りセンサーは、転倒・水没を検知した場合、救急隊に発報(連絡)する機能を有している。
【0045】
サービスは、睡眠見守りサービス、お弁当宅配サービス、定額タクシー送迎サービス、頭脳ゲームサービス、音楽療法サービス等がある。
また、ユーザUの自宅には、無線ルータを基地局として、見守りロボット2、制御対象機器3がインターネット等のネットワークNを介してクラウドサーバ1やサービス提供者Sや家族Kの夫々の外部端末6と接続されている。
【0046】
見守りロボット2は、ユーザUと対話する中で、ユーザUに声掛けしたり、ユーザUがテレビのリモコンを操作した際は、その操作の通知を受け付け、操作情報をクラウドサーバ1へ送信する。
クラウドサーバ1は、ネットワークNを介して夫々の機器をコントロールし、夫々の機器から情報を取得することができる。
クラウドサーバ1は、予めユーザUの生活情報を取得しており、それをダッシュボードD1やスケジューラにより管理している。
【0047】
クラウドサーバ1は、見守りロボット2や制御対象機器3から異常発生情報を取得すると、その情報を他の機器の影響等を総合的に判断し、異常と判断した場合に異常通知として外部端末6へ送信する。
外部端末6は、異常通知を受信すると、受信した異常通知の発報(表示や音声等)によりサービス提供者Sや家族Kの夫々に報知する。また、異常検知時だけではなく、予め設定された時刻や一定時間間隔で定期的にユーザUへの見守り確認が行われ、ユーザU本人の状態が通知される
この第1実施形態によれば、各種センサー・家電・サービスを繋ぎ、見守りロボット2がUI(ユーザインターフェース)となるプラットフォームを構築することができる。
この結果、ユーザUをトータルケアする総合的なリビングロボットケアサービスを提供することができる。
【0048】
次に、
図7を参照して
図1の情報処理システムにおけるリビングロボットケアサービスの第2実施形態を説明する。
図7は、
図1の情報処理システムにおけるリビングロボットケアサービスの第2実施形態を示す図である。
図7に示すリビングロボットケアサービスの第2実施形態は、リビングロボットケアサービスを実現する情報処理システムのうち、見守りロボット2の働き掛けによる各センサー、家電の状態を最適化する例である。
【0049】
この場合、クラウドサーバ1は、生活情報に基づき見守りロボット2から発声させ、これによりユーザUとの対話が開始される。
具体的に、ユーザUの日頃の生活情報からトイレの時刻になると、見守りロボット2からは、例えば「そろそろおトイレ行こう」等と発声される。また、ユーザUの起床時刻が日頃の起床時刻よりも少し遅い場合は、見守りロボット2からは、「昨日はよく眠れなかったかな?一緒に体操しよう」と発声される。さらに、ユーザUがベッドから起きたことが検知されると、見守りロボット2からは、「おはようカーテンを開けるね」等と発声される。また、部屋の温度が一定の温度を超えると、見守りロボット2からは、「暑いからエアコンをつけるよ、水分補給もしてね」等と発声される。
【0050】
クラウドサーバ1により取得された各種センサーの検知情報は、ダッシュボートD1に提示されるので、外部端末6のユーザであるサービス提供者Sや家族K等は、ユーザUやユーザUの自宅の状態を常にモニタリングすることができる。
【0051】
この第2実施形態によれば、見守りロボット2の働き掛けによりユーザUと対話をしてユーザUとの交流を深めると共に、ユーザUの生活情報から、各センサー、家電の状態をユーザUの現在の状態に合わせて最適化することができる。また、ユーザU本人へのフィードバックをすることができる。
この結果、見守りロボット2がユーザUとコミュニケーションをとることで、ユーザUの生活に最適な状況を創造することができる。
【0052】
次に、
図8を参照して
図1の情報処理システムにおけるリビングロボットケアサービスの第3実施形態を説明する。
図8は、
図1の情報処理システムにおけるリビングロボットケアサービスの第3実施形態を示す図である。
図8に示すリビングロボットケアサービスの第3実施形態は、リビングロボットケアサービスを実現する情報処理システムにおいて、宅内のセンサーにより生活上の異常が検知された場合に見守りロボット2が実行する処理動作の例である。より具体的には、見守りロボット2がユーザUに発生した日常における異常を検知し、ユーザUに代わって異常を他者に通報する例である。
【0053】
この第3実施形態では、宅内の例えば浴室見守り用のセンサーにより浴室内での人の転倒が検知された場合、浴室見守り用のセンサーから異常検知信号がクラウドサーバ1へ送信される。
クラウドサーバ1は、異常検知信号を受信すると、見守りロボット2を制御して、人への声掛けと通知(アラート)を実行させる。
人への声掛けとしては、例えば倒れているユーザU本人へは「大丈夫?助けを呼ぶ?」等と見守りロボット2から発声させる。また、家族Kへは「お風呂を見てきて」等のメッセージを見守りロボット2から発声させ、また、家電をコントロールして照明器具のライトを点滅させる。さらに、家族Kが近くにいない場合、クラウドサーバ1は、外部端末6(例えば家族のスマホ)へメッセージや異常通知を行い、外部端末6から発報(例えば画面に通報内容を表示したり音声出力)することで、家族Kやサービス提供者SへユーザUの異常を報知する。
【0054】
見守りロボット2の発声に対して、ユーザUが「大丈夫そう」と応答を返すと、クラウドサーバ1は、特定通報部35からの特定通報は行わず、インターフェース制御部31が見守りロボット2を制御して、「大丈夫そう」の音声を家族Kの外部端末6へ通知する。
また、ユーザUが「助けを呼ぶ!」、「助けて!」等と発言した場合は、クラウドサーバ1は、即座にインターフェース制御部31の制御に基づいて消防隊への救急通報を行う。
【0055】
また、ユーザUに声掛けしたにもかかわらず、応答なしの場合、クラウドサーバ1は、宅内の複数の機器の機器稼働設定情報に基づいて例えば浴室乾燥機の稼働情報や生活情報141も参照して浴室転倒センサーの検知情報を異常とするか否かを判定した上で、異常と判定した場合に、インターフェース制御部31の制御に基づいて消防隊への救急通報を行う。
【0056】
救急通報を受けた消防隊から、救急士Cが出動し、ユーザUの自宅に駆け付けると、クラウドサーバ1は、駆け付けた救急士Cの発言や見守りロボット2の目のカメラ等で救急士Cを特定し、見守りロボット2を制御して、「廊下の奥の右側の浴室で倒れている!」等と発声させて、救急士CにユーザUの位置を伝達する。
【0057】
このようにこの第3実施形態によれば、センサーで異常を検知した後にアラートを発報すると同時に、現場の見守りロボット2がユーザUや家族K、及び駆け付けた救急士C等に働きかけることで、現場の状況に応じたスムーズかつ迅速な対処を行うことができる。
【0058】
次に、
図9を参照して
図1の情報処理システムにおけるリビングロボットケアサービスの第4実施形態を説明する。
図9は、
図1の情報処理システムにおけるリビングロボットケアサービスの第4実施形態を示す図である。
図9に示すリビングロボットケアサービスの第4実施形態は、リビングロボットケアサービスを実現する情報処理システムにおいて、スケジュール管理によりユーザUの生活を向上する例である。
【0059】
この第4実施形態では、ユーザUの家族Kが、外部端末6のアプリ画面又は外部端末6のブラウザを操作してクラウドサーバ1にアクセスして、ユーザUのマイページ(家族K用)を表示し、マイページ内の「スケジュール設定、確認」のボタンを操作することで、クラウドサーバ1のインターフェース制御部31が、クラウドサーバ1のスケジュール管理機能(スケジューラー)を起動して、スケジューラー画面D2(スケジュール管理画面)を表示する。
【0060】
このスケジューラー画面D2では、ユーザUの生活情報141のうち予定に関する項目の設定と確認が可能であり、家族Kの操作により、薬を飲む時間、体操の時間、その他、テレビ(落語)を見る時間等の予定をスケジュールに登録又は変更をすることができる。
スケジューラー画面D2でユーザUのスケジュールが更新されると、クラウドサーバ1のインターフェース制御部31は、見守りロボット2を制御して、ユーザUに発声してスケジュールの更新を報知する。
【0061】
また、ユーザU本人や家族Kと見守りロボット2との対話からでも、見守りロボット2に対して「明後日10時にお出かけする」等と話し掛けることで、スケジュールに予定を登録することができる。さらに、ユーザU本人や家族Kが手元のリモコンを操作して、TV等の制御対象機器3の画面からスケジュール画面を表示させて、スケジュールの内容を操作することで上記同様のスケジュールに予定の登録、変更等が可能である。
そして、スケジュールの登録、変更が正常に済むと、見守りロボット2から「スケジュールに登録したよ!TVで確認する?」又は「明後日10時にお出かけの予定を登録したよ!」等と発声されるので、ユーザUは、スケジュールに予定の登録、変更が正常にできたことを確認することができる。「TVで確認する?」との見守りロボット2の問い掛けに対して、ユーザUが「はい」と発言すると、クラウドサーバ1のインターフェース制御部31は、TVの画面に上記スケジュール画面D2を表示させるので、ユーザUは、スケジュールに登録した予定を確認することができる。
【0062】
そして、実際の予定の時刻になると、クラウドサーバ1のインターフェース制御部31は、見守りロボット2を制御して、見守りロボット2から「お薬/体操/落語…の時間だよ!」等と発声させ、ユーザUに報知する。
【0063】
このようにこの第4実施形態によれば、クラウドサーバ1のスケジュール管理機能(スケジューラー)を、家族KやユーザU本人と見守りロボット2との対話により、ユーザUの予定を登録又は変更(削除を含む)することができる。
また、ユーザUの日々のスケジュールをクラウドサーバ1上で管理し、それに見合った情報を、見守りロボット2からユーザUに対話によってタイムリーに提供することができる。
【0064】
次に、
図10を参照して
図1の情報処理システムにおけるリビングロボットケアサービスの第5実施形態を説明する。
図10は、
図1の情報処理システムにおけるリビングロボットケアサービスの第5実施形態を示す図である。
図10に示すリビングロボットケアサービスの第5実施形態は、リビングロボットケアサービスを実現する情報処理システムにおいて、スケジュール管理機能と各種サービスとを連携させる例である。より具体的には、宅配や交通機関等のサービスの予定が事前に設定されているスケジュールに基づいて見守りロボット2がサービスと連携してユーザに報知する例である。
【0065】
この第5実施形態では、スケジューラーに、例えば宅配、定額タクシー、音楽療法、頭脳ゲーム等の予定を登録しておくことで、その予定の時刻になる前、例えば起床時に、ユーザUと見守りロボット2とが対話する際に、見守りロボット2が、例えば「今日は11時からタクシーでおでかけ!」等と発声してくれる。
また、スケジューラーに残された過去の情報から、見守りロボット2が、例えば「前に宅配のお兄さんが来てから一週間!あんなことこんなことがあったよ~」等と話題を提供してくれる。
【0066】
この第5実施形態によれば、スケジュール管理機能と各種サービスとを連携することでユーザUと見守りロボット2との対話の中で、見守りロボット2が、ユーザUがこれから受けるサービスの予定や過去に受けたサービスの内容を発声して話題を提供してくれるので、ユーザUは、常に新たなアクティビティを体験したり、過去の話題に触れて懐かしむことができる。
【0067】
次に、
図11を参照して
図1の情報処理システムにおけるリビングロボットケアサービスの第6実施形態を説明する。
図11は、
図1の情報処理システムにおけるリビングロボットケアサービスの第6実施形態を示す図である。
図11に示すリビングロボットケアサービスの第6実施形態は、リビングロボットケアサービスを実現する情報処理システムにおいて、見守りロボット2自身がUIになるベーシックな例である。
より具体的には、見守りロボット2がネットワークNに繋がるTV等の制御対象機器を活用し、双方向の通信でのコミュニケーションを実現する例である。
【0068】
この第6実施形態では、ユーザUと見守りロボット2とが対話する中で、例えばユーザUが、例えば「孫と電話したいの」等と発声すると、見守りロボット2は、「電話をするよ」、「TVをつけるね」等と発声する。
クラウドサーバ1のインターフェース制御部31は、TVを起動すると共に、テレビ電話機能により遠方の家族Kの外部端末6へ発信を試み、外部端末6と接続されると、外部端末6のカメラで撮像された家族Kの画像をTVの画面に映し出し、テレビ電話を開始するので、ユーザUは、見守りロボット2とが対話するだけで、家族K(孫)と電話することができる。
【0069】
このようにこの第6実施形態によれば、ユーザUが見守りロボット2に対して話す所定のキーワードと、そのキーワードに対する動作とを対応付けてクラウドサーバ1に登録しておくことで、ユーザUと見守りロボット2が対話する中で、ユーザUが一言発するだけで、見守りロボット2がUIとなり、ユーザがしたいことの一連の操作をユーザUに代わって宅内の機器に実行させることができるので、ユーザUが快適に過ごせるようになる。
【0070】
次に、
図12を参照して、本発明に係る情報処理装置の一実施形態のクラウドサーバ1の第2機能的構成を説明する。なお、第2機能的構成を説明するにあたり、
図4の機能的構成と同一の構成には同一の符号を付しその説明は省略する。
【0071】
第2機能的構成では、クラウドサーバ1のCPU11(
図2及び
図4参照)においては、
図12に示すように、ユーザUに対するリビングロボットケアサービスに関する一連の処理を実行する際に、インターフェース制御部31と、プッシュ通知部38と、が機能する。
【0072】
インターフェース制御部31は、ユーザUとの対話に、ユーザUが操作するスマホTを連動させるように見守りロボット2の制御を行う。
具体的には、インターフェース制御部31が、人のインターフェースである見守りロボット2とスマホTとを共存関係(2つのUI)として連動させることで、例えば人への声掛けや人からの簡単な音声指示は主に見守りロボット2が担い、スケジュール入力やサービス利用等といった複雑な操作を主にスマホTやリモコン等が行うようになる。
このようにスマホTと見守りロボット2とを連動させることで、ユーザUの使いがってや状況に応じたインターフェースの使い方ができるようになり、ユーザUがケアサービスをより快適に受けられるようになる。
【0073】
インターフェース制御部31は、予め設定された特定ワードもしくは見守りロボット2を物理的に触ることによって見守りロボット2の会話モードを発動させる等の所定の条件が満たされたことをトリガとして、ユーザUとの対話を含めた見守りロボット2の制御を開始する。これにより、ユーザUが自身の好きなタイミングで見守りロボット2を起こして会話をすることができる。
【0074】
プッシュ通知部38は、複数の機器のうち少なくとも一部の機器が所定の機能を実行する際に所定のユーザUにプッシュ通知すべき内容を取得し、インターフェース制御部31の制御に基づいて、対話により内容をユーザU又は管理者にプッシュ通知する。管理者には、ユーザUにより指定された者(例えば家族等)が含まれる。
これにより、見守りロボット2によるプッシュ通知によりユーザUへの声掛けを実施することができる。
【0075】
以下、
図12の第2機能的構成を備えるクラウドサーバを含む情報処理システムにおけるリビングロボットケアサービスの各種実施形態を説明する。
まず、
図13を参照して
図1の情報処理システムにおけるリビングロボットケアサービスの第7実施形態を説明する。
図13は、
図12の第2機能的構成を備えるクラウドサーバを含む情報処理システムにおけるリビングロボットケアサービスの第7実施形態を示す図である。
【0076】
図13に示すリビングロボットケアサービスの第7実施形態は、
図6に示したリビングロボットケアサービスの第1実施形態からの変形例を示している。
【0077】
この第7実施形態の場合、
図13に示すように、ユーザUの自宅には、例えばユーザUが操作する携帯端末としてスマホTが配置されている。
スマホTには、本サービス提供者から提供されるスマホ用のアプリケーションプログラム(以下「スマホアプリ」と称す)がインストールされている。
スマホアプリは、クラウドサーバ1からの制御により、見守りロボット2と連動してユーザUに情報を提供する。また、スマホアプリは、スマホアプリの画面に対するユーザUの操作による入力情報や指示をクラウドサーバ1へ伝達する。
【0078】
スマホTと共存した形で見守りロボット2がユーザUのインターフェースになることで、スマホTと見守りロボット2の2つのユーザ・インターフェースでユーザUをケアすることができる。
【0079】
この情報処理システムでは、ユーザUがスマホTを用いることで全ての操作が可能であるが、ユーザUへの声掛けやユーザUからの簡単な音声による指示の受付は、主に見守りロボット2が担い、複雑な操作(スケジュール入力やサービス利用等)は、主にスマホTやTVの画面操作(例えばグラフィック・ユーザ・インターフェース:GUIやテレビリモコンの操作等)で行う。
【0080】
ユーザUと見守りロボット2とのやりとりは、リアルタイムでスマホTのスマホ画面のステータスに反映される。
ユーザUと見守りロボット2との音声でのやりとりもチャット形式でスマホTのスマホ画面に反映され、ユーザUもそのやりとりのプロセスを文字でモニタリングすることができる。
【0081】
見守りロボット2の側で音声の誤認識が起きたときでも、ユーザUは、見守りロボット2が音声認識した文字をスマホ画面で確認できるため、音声認識の成功/失敗の原因を知ることができる。
【0082】
また、ユーザUと見守りロボット2とのやりとりの失敗部分をスマホTからユーザUが修正する操作を行うことにより正誤データがクラウドサーバ1に蓄積され、その正誤データは、クラウドサーバ1の制御により、見守りロボット2の会話用のAIを機械学習させるので、見守りロボット2の音声認識精度を向上することができる。
【0083】
続いて、
図14を参照して
図1の情報処理システムにおけるリビングロボットケアサービスの第8実施形態を説明する。
図14は、
図12の第2機能的構成を備えるクラウドサーバを含む情報処理システムにおけるリビングロボットケアサービスの第8実施形態を示す図である。
【0084】
図14に示すリビングロボットケアサービスの第8実施形態は、
図7に示したリビングロボットケアサービスの第2実施形態からの変形例を示している。
【0085】
この第8実施形態では、見守りロボット2の「プッシュ声掛けモード」と「会話モード」が設けられている。
見守りロボット2の「プッシュ声掛けモード」では、見守りロボット2がプッシュ通知によりユーザUに声掛けをすることに連動して家電・センサーがコントロールされる。家電・センサーのコントロールは、時間や環境、各種センサー情報(睡眠バイタルセンサー等)に応じて行われる。
【0086】
この第8実施形態の場合、そのコントロール内容は、過去データとの比較結果等、データの読み上げだけでなく咀嚼されたものであり、具体的には、
図14の吹き出しで示されるように、ユーザUの次の行動の指針やアドバイスになる声掛けが行われる。
その際に、ユーザUと見守りロボット2とのやりとりは行われず、音声は反映されないものの、見守りロボット2のプッシュ声掛け内容は、クラウドサーバ1からスマホTに送信されてスマホ画面に反映されるので、ユーザUは、スマホ画面に表示される文字でプッシュ声掛け内容を確認することができる。
【0087】
「会話モード」は、ユーザUが所定のアクションを行うことにより見守りロボット2を起こし見守りロボット2と会話を楽しむための機能である。
具体的には、ユーザUが、特定ワード(例えばロボット君)を発声又は見守りロボット2を物理的に触る等のアクションを起こすことによって、その所定のアクションを検出したクラウドサーバ1は、見守りロボット2を制御して見守りロボット2の「会話モード」を発動させる。
【0088】
「会話モード」を発動後、ユーザUからの発声による指示(例えば「カーテンを開けて」等と発声すること)と、そのユーザUの音声による指示が見守りロボット2により認識されて、クラウドサーバ1からの制御によりカーテンが開放される。
また、これと同時に、見守りロボット2が「おはよう、カーテンを開けるね」等と応答動作を行い、さらに「会話モード」の発動時刻がいつもよりも時間が遅い場合、見守りロボット2は、「昨日は「いつもより」よく眠れなかったかな?」、「一緒に体操しよう」等とユーザUにプッシュ声掛けを行い、ユーザUとの会話を続ける。
【0089】
この他、部屋に設置されている温度センサーにより検出された気温がいつもよりも高い場合は、見守りロボット2が「暑いからエアコンをつけるね、水分補給もしてね」等とユーザUに声掛けを行う。エアコンは、クラウドサーバ1からの制御により動作される。
【0090】
また、ユーザUが前回トイレに行ってから所定時間が経過するか、または一定の時刻になると、見守りロボット2は、ユーザUに対して「そろそろトイレに行こう」と声掛けを行う。
上記の一連のやりとりは、「会話モード」を発動した際にスマホTに表示されるチャット画面に反映される。
この結果、ユーザUは、スマホTのチャット画面に表示される文字で「カーテンを開けて」と自信が発声し見守りロボット2が「会話モード」を発動させ、その後、見守りロボット2と会話した内容や部屋の家電機器の動作状態を確認することができる。また、ダッシュボードD1においても、各センサーの状態の他、ユーザUの会話内容や部屋の家電機器の動作状態を管理者等がモニタリングすることができる。
【0091】
この第8実施形態によれば、見守りロボット2の「プッシュ声掛けモード」によりユーザUに声掛けを行いユーザUの応答に応じてユーザUの状態を確認すると共に、見守りロボット2の働きかけにより、部屋の中の各センサーや家電機器の状態をユーザUが好む状態に最適化することができる。
また、この第8実施形態によれば、「会話モード」を設けたことで、ユーザUが特定ワード等を発声して見守りロボット2を起こし会話をすることができる。ユーザUが「会話モード」を発動させたことで、見守りロボット2は、会話の要求が生じたものと判断し、例えば昨日は「いつもより」よく眠れなかったかな?又は一緒に体操しよう等と発声してユーザUに声掛けを行い、ユーザU本人へのフィードバックを行うので、ユーザUがおしゃべりをしたいときに、いつでも見守りロボット2と会話を楽しむことができる。
【0092】
続いて、
図15を参照して
図1の情報処理システムにおけるリビングロボットケアサービスの第9実施形態を説明する。
図15は、
図12の第2機能的構成を備えるクラウドサーバを含む情報処理システムにおけるリビングロボットケアサービスの第9実施形態を示す図である。
【0093】
図15に示すリビングロボットケアサービスの第9実施形態は、
図8に示したリビングロボットケアサービスの第3実施形態からの変形例を示している。
【0094】
この第9実施形態では、ユーザUのインターフェースとしての見守りロボット2の他に、スマホTが用意されており、見守りロボット2が生活上の異常を検知すると、その検知内容がスマホTに通知され、アプリ画面に表示されると共に、異常の内容に応じて警告音、警告灯及び振動等のスマホT自体の発報機能で異常をユーザUに報知する。
【0095】
見守りロボット2も警告音と動きで異常を知らせる。見守りロボット2は、異常が検知されたエリアに動いて駆け付けて、声掛け、カメラで撮影、TV電話等の通信手段により外部と通信を接続する。具体的には、見守りロボット2は、異常を検知したセンサーの場所又は異常音(叫び声、倒れた音、ガラスが割れた音)の出どころにカメラとLiDARを使った自動運転で向かい、現場で取得された音声や画像等の現場の情報をクラウドサーバ1へアップする。センサーの誤作動やユーザU本人に問題ないことを確認した場合はそこまでで異常検知行動の動作を終了する。
一方、異常状態であれば、見守りロボット2は、家族、サービス運営会社、及び警備会社のうち少なくとも1つに通知し、人が駆け付けるまで状態をモニタリングする。
見守りロボット2は、ロボット自体の所在地(位置情報)及び行動履歴等をクラウドサーバ1を介してスマホTへ送信するので、ユーザUは、見守りロボット2の位置及び行動等をスマホTのアプリ画面で常に確認することができる。
【0096】
続いて、
図16を参照して
図1の情報処理システムにおけるリビングロボットケアサービスの第10実施形態を説明する。
図16は、
図12の第2機能的構成を備えるクラウドサーバを含む情報処理システムにおけるリビングロボットケアサービスの第10実施形態を示す図である。
【0097】
図16に示すリビングロボットケアサービスの第10実施形態は、
図9に示したリビングロボットケアサービスの第4実施形態からの変形例を示している。
【0098】
この第10実施形態では、ユーザUのインターフェースとしての見守りロボット2の他に、スマホTが用意されており、クラウドサーバ1のスケジュール管理機能によりスマホTのアプリ画面や家族のスマホRの画面にてユーザUのスケジュールを管理する。
【0099】
このスケジュール管理機能では、ユーザUの日々のスケジュールをスマホTのアプリ画面で管理し、スケジュールに設定されている予定の開始や終了のタイミングで見守りロボット2及びスマホTがユーザUに報知することにより、ユーザUは、設定した予定通りに日々の生活を行えるようになる。
【0100】
スケジュール等の入力手段としては、スマホT自体への手入力の他、テレビ、家族のスマホR、見守りロボット2での会話による入力などができる。入力方法は、音声入力と、ロボットのタッチ部やスイッチ部分を使った手動入力等である。スマホへの入力操作が難しいユーザUの場合、見守りロボット2がテレビを起動してテレビ入力をガイドする。
【0101】
また、スケジュールは、クラウドサーバ1へアップされるので、クラウドサーバ1から家族のスマホR等にスケジュールを送信することで、ユーザUは、自身のスケジュールを家族と共有(入力・確認)することができる。
このようにこの第10実施形態によれば、ユーザUのスケジュールを見守りロボット2及びスマホTで管理することにより、ユーザUの生活を向上することができる。
【0102】
続いて、
図17を参照して
図1の情報処理システムにおけるリビングロボットケアサービスの第11実施形態を説明する。
図17は、
図12の第2機能的構成を備えるクラウドサーバを含む情報処理システムにおけるリビングロボットケアサービスの第11実施形態を示す図である。
【0103】
図17に示すリビングロボットケアサービスの第11実施形態は、
図10に示したリビングロボットケアサービスの第5実施形態からの変形例を示している。
【0104】
この第11実施形態は、上記スケジュール管理機能の他、スケジュールと各種サービスとを連携させる連携機能を備える。
この連携機能では、カレンダーの予定、見守りロボット2のプッシュリマインド通知等がクラウドサーバ1を介してスマホTへ通知され、夫々のステータスがスマホTのアプリ画面に表示されるので、ユーザUは、スマホTのアプリ画面に表示されるステータスから自身の予定を確認することができる。
また、スマホTの他に、例えばテレビや家族のスマホR等へユーザUの予定を通知することで、ユーザUは、テレビでも自身の予定を確認することができる。
さらに、家族は、自身のスマホの画面でユーザUのその日の予定を確認することができる。
【0105】
このように第11実施形態によれば、スケジュールと各種サービスとを連携する連携機能を備えることで、ユーザUのスケジュールをユーザと家族で共有することができる。
【0106】
続いて、
図18を参照して
図1の情報処理システムにおけるリビングロボットケアサービスの第12実施形態を説明する。
図18は、
図12の第2機能的構成を備えるクラウドサーバを含む情報処理システムにおけるリビングロボットケアサービスの第12実施形態を示す図である。
【0107】
図18に示すリビングロボットケアサービスの第12実施形態は、
図11に示したリビングロボットケアサービスの第6実施形態からの変形例を示している。
【0108】
この第12実施形態は、見守りロボット2とスマホTが夫々ユーザUのUIになるベーシックな構成例である。
この場合、ユーザUが見守りロボット2に対して、例えば
図18に示すように、「孫と電話したいの」等と話しかけると、見守りロボット2は、「電話をするよ、スマホを手元に用意してね」等とユーザUに応答を返すと共に、クラウドサーバ1に電話をかけるよう指示が伝達されて、クラウドサーバ1からスマホTに対して予め登録されている家族のスマホRに対する発信制御が行われて、ユーザUのスマホTから家族のスマホRに電話又はテレビ電話がかけられる。
これにより、ユーザUの現在の姿や様子、周辺の状況等が家族のスマホRに表示される。なお、ユーザUのスマホTと家族のスマホRとの電話以外にも、タブレット・PC等でも、インターネット電話/SNSを利用したWEBミーティング等も可能である。
【0109】
このようにこの第12実施形態によれば、見守りロボット2とスマホTが夫々ユーザUのUIになることで、ユーザUが見守りロボット2に「家族に電話をかけたい」等と話しかけることで、ユーザUがスマホTを直接操作することなく、スマホTから家族のスマホRに発信して電話をかけられるので、スマホTの操作が不安なユーザUも家族に気軽に電話をかけることができる。
【0110】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0111】
例えば、
図2に示すハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【0112】
また、
図4に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理装置に備えられていれば足り、この機能を実現するためにどのような機能ブロック及びデータベースを用いるのかは、特に
図4の例に限定されない。
【0113】
また、機能ブロック及びデータベースの存在場所も、
図4に限定されず、任意でよい。
また、1つの機能ブロック及びデータベースは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0114】
各機能ブロック及びデータベースの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばクラウドサーバの他、汎用のスマートフォンやパーソナルコンピュータ等であってもよい。
【0115】
このようなプログラムを含む記録媒体は、各ユーザにプログラムを提供するために装置本体とは別に配布される、リムーバブルメディアにより構成されるだけではなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成される。
【0116】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に添って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【0117】
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものである。
上述した実施形態では、ユーザU(特定のユーザ)に対する他のユーザ(関係者)として、家族(子、孫等)やサービス提供者S(サービス運営会社やその担当者等)を例示したが、これ以外であってもよい。
【0118】
以上まとめると、本発明が適用される情報処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理装置(例えば
図4のクラウドサーバ1等)は、
所定のユーザ(例えば
図4のユーザU等)との対話を含めたインターフェースの制御を行うインターフェース制御手段(例えば
図4のインターフェース制御部31等)と、
通信ネットワーク(例えば
図1のネットワークN等)を介して接続可能な複数の機器(例えば浴室転倒センサー、においセンサー、火災報知器、テレビ、ビデオ、エアコン、冷蔵庫、洗濯機、浴室乾燥機、電気ポット等)の夫々の機器稼働設定情報(例えば、浴室転倒センサーの検知設定・感度設定等、においセンサーの感度設定等、火災報知器の検知設定・感度設定等、テレビの稼働設定、ビデオの録画設定、エアコンの稼働設定・温度設定等、冷蔵庫の稼働設定・温度設定等、洗濯機の稼働設定、浴室乾燥機の稼働設定、電気ポットの稼働設定等)を取得する機器稼働設定情報取得手段(例えば
図4の機器稼働設定情報取得部33等)と、
前記複数の機器のうち所定の機器(例えば浴室転倒センサー等)から所定の機能(例えば救急通報等)を実行する旨の情報を取得したことに応じて、前記機器稼働設定情報を参照して前記所定の機能の実行が他の機器の稼働設定に影響すると判断した場合(例えば浴室乾燥機の稼働が浴室転倒センサーの誤動作を生じさせると判断した場合等)に、前記インターフェース制御手段(例えば
図4のインターフェース制御部31等)の制御に基づいて、前記対話により、または対話を中断して、その旨(例えば浴室乾燥機の稼働が浴室転倒センサーの誤動作を生じさせている可能性がある等)をユーザ(例えば
図4のユーザUや他の家族K、サービス運営会社S等)に報知する影響情報報知手段(例えば
図4の影響情報報知部34等)と、
を備える。
これにより、ユーザは対話しているだけで複数の機器(例えば浴室乾燥機、浴室転倒センサー、救急通報機能等)が互いに影響がある機能を実行する際にその旨を知ることができる。
【0119】
上記情報処理装置(例えば
図4のクラウドサーバ1等)において、
前記機器稼働設定情報取得手段(例えば
図4の機器稼働設定情報取得部33等)は、前記インターフェース制御手段(例えば
図4のインターフェース制御部31等)の制御による前記所定ユーザ(例えば
図4のユーザU等)との対話に基づいて、前記機器の稼働設定情報を取得する。
これにより、ユーザは対話しているだけで機器の稼働設定を行うことができる。
【0120】
上記情報処理装置(例えば
図4のクラウドサーバ1等)において、
前記影響情報報知手段(例えば
図4の影響情報報知部34等)は、前記インターフェース制御手段(例えば
図4のインターフェース制御部31等)の制御による前記所定のユーザ(例えば
図4のユーザU等)との対話に基づいて報知する。
これにより、ユーザ(例えば
図4のユーザU等)は、見守りロボット2と対話しているだけで所定の機器(例えば浴室乾燥機等)の所定の機能(例えば乾燥機能等)の実行が他の機器(例えば浴室転倒センサー等)の稼働(転倒検知、救急通報等)に影響する旨を知ることができる。
【0121】
上記情報処理装置(例えば
図4のクラウドサーバ1等)において、
前記インターフェース制御手段(例えば
図4のインターフェース制御部31等)は、前記複数の機器のうち特定の機器(例えば浴室転倒センサー等)が特定の通報(例えば消防への通報等)を行おうとする場合に、その旨を所定のユーザ(例えば
図4のユーザU等)に確認するための出力についての制御を実行する。
具体的には、例えば浴室転倒の旨を消防に通報しようとする場合に、その旨をユーザUに確認することができる。
【0122】
上記情報処理装置(例えば
図4のクラウドサーバ1等)において、
前記複数の機器の機器稼働設定情報に基づいて異常判定(例えば浴室乾燥機の稼働情報も参照して浴室転倒センサーの検知情報を異常とするかどうかを判定等)をした場合に、前記インターフェース制御手段(例えば
図4のインターフェース制御部31等)の制御に基づいて前記特定の通報(例えば消防への救急通報等)を行う特定通報手段(例えば
図4の特定通報部35等)、
を備える。
これにより、複数の機器の機器稼働設定情報に基づいて特定通報の精度を向上することができる。
【0123】
上記情報処理装置(例えば
図4のクラウドサーバ1等)において、
前記特定通報手段(例えば
図4の特定通報部35等)は、インターフェース制御手段(例えば
図4のインターフェース制御部31等)の制御に基づいて、さらに前記特定の通報(例えば救急通報等)に対応した対応者(例えば消防署から駆け付けた救急士等)に前記異常判定に関する情報を出力する。
これにより、例えば、到着した救急隊に所定のユーザ(例えば
図4のユーザU等)がどこで倒れているかに関する情報を教えることができる。
【0124】
上記情報処理装置(例えば
図4のクラウドサーバ1等)において、
前記異常判定の判定結果に対して、前記インターフェース制御手段(例えば
図4のインターフェース制御部31等)の制御に基づいて取得した前記特定通報の要否情報に基づいて、前記特定通報手段(例えば
図4の特定通報部35等)による前記異常判定の方法(例えば判定ロジックや判定手法)を更新する異常判定方法更新手段(例えば
図4の異常判定方法更新部36等)、
をさらに備える。
これにより、例えば、機器が異常と判定して特定の通報を行おうとした場合であって、ユーザとの対話により特定の通報が不要であると判明したときに、その後の異常判定方法を修正することができる。
【0125】
上記情報処理装置(例えば
図4のクラウドサーバ1等)において、
前記インターフェース制御手段(例えば
図4のインターフェース制御部31等)は、前記所定のユーザとの対話に基づいて前記所定のユーザの生活情報を取得し、
前記特定通報手段(例えば
図4の特定通報部35等)は、前記生活情報に基づいて前記異常判定を行う。
これにより、ユーザは対話しているだけで自身の生活情報を管理(例えばユーザUが日常的に風呂に入る時間を管理する等)してもらうことができ、特定通報の通報精度を向上することができる。例えばユーザが風呂に入っている時間ではないときに浴室転倒センサーが転倒検知したときは浴室乾燥機が動作していれば浴室乾燥機の騒音による誤検知と判断でき、そのような通報を防止できる。
【0126】
上記情報処理装置(例えば
図4のクラウドサーバ1等)において、
前記インターフェース制御手段(例えば
図4のインターフェース制御部31等)は、前記所定のユーザ(例えば
図4のユーザU等)と特定の関係にある他のユーザ(例えば高齢のユーザUの子供や孫、見守りサービスを行っているサービス運営会社の担当者や小口配送の担当者等)との対話を行う場合に、所定の入出力処理(例えば見守りロボット2の目のカメラを自動起動して高齢のユーザUを捕捉して撮像し、当該撮像を他のユーザの端末(例えば
図4の外部端末6等)へ配信する、前回の見守り訪問以降の出来事をユーザUに対して発声する等)を行う。
これにより、他のユーザとの対話の利便性を向上させたり話題を提供したりすることでユーザの心情をポジティブにすることができる。
【0127】
上記情報処理装置(例えば
図4のクラウドサーバ1等)において、
前記インターフェース制御手段(例えば
図4のインターフェース制御部31等)の制御に基づいて、前記所定のユーザ(例えば
図4のユーザU等)から特定の管理属性(例えば、ユーザUと見守りロボット2だけの秘密の会話等)を指定して所定の情報(例えば秘密の会話の情報等)を取得したことに応じて、前記特定の管理属性に基づいて前記所定の情報(例えば秘密の会話等)を管理する特定情報管理手段(例えば
図4の秘密情報管理部37等)をさらに備える。
秘密の会話の情報として、例えばユーザUの独り言や日記、そのときの感情等をユーザU以外には出力せず(アクセスもできず)、ユーザUであっても消去できない不揮発性メモリ等の記憶手段に記憶しておく等をする。
これにより、例えばユーザUが見守りロボット2だけに告白した秘密の情報のやり取りを通して、当該見守りロボットに対する愛着を醸成することができる。
【0128】
前記インターフェース制御手段(例えば
図12のインターフェース制御部31)は、前記所定のユーザ(例えば
図12のユーザU)との対話に、前記所定のユーザが操作する携帯端末(例えば
図12のスマホT)を連動させるように前記インタフェース(例えば
図12のロボット2)の前記制御を行う、
ことができる。
【0129】
前記複数の機器のうち少なくとも一部の機器が所定の機能を実行する際に前記所定のユーザにプッシュ通知すべき内容を取得し、前記インターフェース制御手段の制御に基づいて、前記対話により前記内容を前記所定のユーザ又はその管理者にプッシュ通知するプッシュ通知手段(例えば
図12のプッシュ通知部38)、
をさらに備える、
ことができる。
【0130】
前記インターフェース制御手段(例えば
図12のインターフェース制御部31)は、予め設定された条件(特定ワードもしくはロボット2を物理的に触ることによってロボット2の会話モードを発動させる)が満たされたことをトリガとして、前記所定のユーザ(例えば
図12のユーザU)との前記対話を含めた前記インターフェース(例えば
図12のロボット2)の前記制御を開始する、
ことができる。
【0131】
上記情報処理装置(例えば
図4のクラウドサーバ1等)が実行する情報処理方法において、
所定のユーザ(例えば
図4のユーザU等)との対話を含めたインターフェースの制御を行うインターフェース制御ステップ(例えば
図5のステップS11等)と、
通信ネットワークを介して接続可能な複数の機器の夫々の機器稼働設定情報を取得する機器稼働設定情報取得ステップ(例えば
図5のステップS12等)と、
前記複数の機器のうち所定の機器から所定の機能を実行する旨の情報を取得したことに応じて、前記機器稼働設定情報を参照して前記所定の機能の実行が他の機器の稼働設定に影響すると判断した場合に、前記インターフェース制御ステップにおける制御に基づいて、前記対話により、又は対話を中断して、その旨をユーザに報知する影響情報報知ステップ(例えば
図5のステップS13等)と、
を含む。
これにより、ユーザは対話しているだけで複数の機器(例えば浴室乾燥機、浴室転倒センサー、救急通報機能等)が互いに影響がある機能を実行する際にその旨を知ることができる。
【0132】
コンピュータ(例えば
図4のクラウドサーバ1のCPU11等)において、
所定のユーザ(例えば
図4のユーザU等)との対話を含めたインターフェースの制御を行うインターフェース制御ステップ(例えば
図5のステップS11等)と、
通信ネットワークを介して接続可能な複数の機器の夫々の機器稼働設定情報を取得する機器稼働設定情報取得ステップ(例えば
図5のステップS12等)と、
前記複数の機器のうち所定の機器から所定の機能を実行する旨の情報を取得したことに応じて、前記機器稼働設定情報を参照して前記所定の機能の実行が他の機器の稼働設定に影響すると判断した場合に、前記インターフェース制御ステップにおける制御に基づいて、前記対話により、又は対話を中断して、その旨をユーザに報知する影響情報報知ステップ(例えば
図5のステップS13等)と、
を含む制御処理を実行させる。
これにより、ユーザは対話しているだけで複数の機器(例えば浴室乾燥機、浴室転倒センサー、救急通報機能等)が互いに影響がある機能を実行する際にその旨を知ることができる。
【符号の説明】
【0133】
1・・・クラウドサーバ、2・・・見守りロボット、3・・・制御対象機器、4・・・ユーザ端末(例えばスマホやリモコン)、5・・・救急隊端末、6・・・外部端末(例えばスマホ)、31・・・インターフェース制御部、32・・・、33・・・機器稼働設定情報取得部、34・・・影響情報報知部、35・・・特定通報部、36・・・異常判定方法更新部、37・・・秘密情報管理部、38・・・プッシュ通知部、K・・・家族(子、孫等)、N・・・ネットワーク、S・・・サービス提供者(サービス運営会社等)、U・・・ユーザ
【要約】
ユーザUが見守りロボット2と対話しているだけで、宅内の複数の機器が互いに影響がある機能を実行する際にその旨を知ることができるようにする。
クラウドサーバ1は、インターフェース制御部31、機器稼働設定情報取得部33、影響情報報知部34を備える。インターフェース制御部31は、ユーザUと見守りロボット2との対話を含めたインターフェースの制御を行う。機器稼働設定情報取得部33は、ネットワークNを介して接続可能な複数の機器の夫々の機器稼働設定情報を取得する。影響情報報知部34は、複数の機器のうち所定の機器から所定の機能を実行する旨の情報を取得したことに応じて、機器稼働設定情報を参照して所定の機能の実行が他の機器の稼働設定に影響すると判断した場合に、インターフェース制御部31の制御に基づいて、対話によりその旨をユーザUに報知する。