(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-20
(45)【発行日】2024-02-29
(54)【発明の名称】管理装置、及び見守りシステム
(51)【国際特許分類】
G08B 25/04 20060101AFI20240221BHJP
G08B 21/02 20060101ALI20240221BHJP
H04M 11/00 20060101ALI20240221BHJP
G10L 15/22 20060101ALI20240221BHJP
【FI】
G08B25/04 K
G08B21/02
H04M11/00 301
G10L15/22 300Z
(21)【出願番号】P 2020144679
(22)【出願日】2020-08-28
【審査請求日】2023-02-13
(73)【特許権者】
【識別番号】392026693
【氏名又は名称】株式会社NTTドコモ
(74)【代理人】
【識別番号】110003177
【氏名又は名称】弁理士法人旺知国際特許事務所
(72)【発明者】
【氏名】木川 達人
(72)【発明者】
【氏名】泰松 遼
【審査官】石井 則之
(56)【参考文献】
【文献】国際公開第2020/116233(WO,A1)
【文献】特開2019-101971(JP,A)
【文献】特開2020-77182(JP,A)
【文献】特開2020-173342(JP,A)
【文献】国際公開第2019/123775(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G08B 25/04
G08B 21/02
H04M 11/00
G10L 15/22
(57)【特許請求の範囲】
【請求項1】
第1利用者が使用する第1装置と、前記第1利用者を見守る第2利用者が使用する第2装置とを備える見守りシステムに用いられる管理装置であって、
前記第1利用者の音声を示す第1音声データを第1テキストデータに変換する音声認識部と、
前記第1利用者に対して話しかける音声をテキストで示す第2テキストデータを生成する対話管理部と、
前記第2テキストデータを第2音声データに変換する音声変換部と、
前記第1テキストデータ又は前記第2テキストデータと現在の日時を示す日時データとを対応付けたログデータを生成するログ生成部と、
前記ログデータを記憶する記憶部と、
前記第1テキストデータと前記記憶部に記憶されたログデータとのうち少なくとも一方に基づいて、前記第1利用者の行動予定を推定し、推定結果を示す予定データを生成する推定部と、
前記第1装置から前記第1音声データを受信し、前記第2音声データを前記第1装置に送信し、前記予定データを前記第2装置へ送信する通信部とを備える、
ことを特徴とする管理装置。
【請求項2】
前記推定部は、
前記記憶部に記憶されたログデータに基づいて、前記第1利用者の行動予定が周期的であるか、又は不定期であるかを判定し、
前記判定の結果に基づいて、周期的であるか不定期であるかを区別した前記予定データを生成する、
請求項1に記載の管理装置。
【請求項3】
前記対話管理部は、
現在の時刻が属する時間帯に応じて、前記第2テキストデータを生成する複数の規則のうち一つの規則を選択し、
選択された一の規則に従って、前記第2テキストデータを生成する、
ことを特徴とする請求項1又は2に記載の管理装置。
【請求項4】
前記対話管理部は、
前記第1テキストデータと前記記憶部に記憶されたログデータとのうち少なくとも一方に基づいて、前記第2テキストデータを生成する、
ことを特徴とする請求項1から3までのうち1項に記載の管理装置。
【請求項5】
前記対話管理部は、前記第2テキストデータとして、前記記憶部に記憶されたログデータのうち、最新のログデータに含まれる日時から現在の日時までの出来事を尋ねる音声をテキストで示すデータを生成する、
ことを特徴とする請求項4に記載の管理装置。
【請求項6】
前記記憶部は、前記予定データを記憶し、
前記対話管理部は、前記第2テキストデータとして、前記予定データの示す前記第1利用者の行動予定に対する行動結果を尋ねる音声をテキストで示すデータを生成する、
ことを特徴とする請求項1から3までのうち1項に記載の管理装置。
【請求項7】
第1利用者が使用する第1装置と、
前記第1利用者を見守る第2利用者が使用する第2装置と、
管理装置とを備え、
前記管理装置は、
前記第1利用者の音声を示す第1音声データを第1テキストデータに変換する音声認識部と、
前記第1利用者に対して話しかける音声をテキストで示す第2テキストデータを生成する対話管理部と、
前記第2テキストデータを第2音声データに変換する音声変換部と、
前記第1テキストデータ又は前記第2テキストデータと現在の日時を示す日時データとを対応付けたログデータを生成するログ生成部と、
前記ログデータを記憶する記憶部と、
前記第1テキストデータと前記記憶部に記憶されたログデータとのうち少なくとも一方に基づいて、前記第1利用者の行動予定を推定し、推定結果を示す予定データを生成する推定部と、
前記第1装置から前記第1音声データを受信し、前記第2音声データを前記第1装置に送信し、前記予定データを前記第2装置へ送信する通信部とを備える、
ことを特徴とする見守りシステム。
【請求項8】
前記第1装置は、
前記管理装置と通信する通信装置と、
前記通信装置と通信するロボットとを備え、
前記ロボットは、
マイクロフォンとスピーカーとを備え、
前記マイクロフォンは、第1利用者の音声を第1音声信号に変換し、
前記音声信号に基づいて前記第1音声データを生成し、
前記通信装置を介して前記第1音声データを前記管理装置に送信し、
前記通信装置を介して前記第2音声データを受信し、
前記第2音声データを第2音声信号に変換し、
前記スピーカーは、前記第2音声信号によって駆動される、
ことを特徴とする請求項7に記載の見守りシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、管理装置及び見守りシステに関する。
【背景技術】
【0002】
高齢化社会の進展に伴い、遠隔地に居住する高齢者などを見守るためのシステムが開発されている。特許文献1に記載されたシステムは、センサを用いて検出した見守り対象者の時間帯ごとの活動状態及び監視装置と見守り対象者と対話の有無に基づいて、見守り対象者は正常状態であるか否かを判断する。
【先行技術文献】
【非特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来のシステムでは、見守り対象者の現在の状態が正常であることを知ることができても、見守り対象者の行動予定を把握できないといった問題があった。
【課題を解決するための手段】
【0005】
以上の課題を解決するために、本開示の好適な態様に係る管理装置は、第1利用者が使用する第1装置と、前記第1利用者を見守る第2利用者が使用する第2装置とを備える見守りシステムに用いられ、前記第1利用者の音声を示す第1音声データを第1テキストデータに変換する音声認識部と、前記第1利用者に対して話しかける音声をテキストで示す第2テキストデータを生成する対話管理部と、前記第2テキストデータを第2音声データに変換する音声変換部と、前記第1テキストデータ又は前記第2テキストデータと現在の日時を示す日時データとを対応付けたログデータを生成するログ生成部と、前記ログデータを記憶する記憶部と、前記第1テキストデータと前記記憶部に記憶されたログデータとのうち少なくとも一方に基づいて、前記第1利用者の行動予定を推定し、推定結果を示す予定データを生成する推定部と、前記第1装置から前記第1音声データを受信し、前記第2音声データを前記第1装置に送信し、前記予定データを前記第2装置へ送信する通信部とを備える。
【0006】
本開示の好適な態様に係る見守りシステムは、第1利用者が使用する第1装置と、前記第1利用者を見守る第2利用者が使用する第2装置と、管理装置とを備え、前記管理装置は、前記第1利用者の音声を示す第1音声データを第1テキストデータに変換する音声認識部と、前記第1利用者に対して話しかける音声をテキストで示す第2テキストデータを生成する対話管理部と、前記第2テキストデータを第2音声データに変換する音声変換部と、前記第1テキストデータ又は前記第2テキストデータと現在の日時を示す日時データとを対応付けたログデータを生成するログ生成部と、前記ログデータを記憶する記憶部と、 前記第1テキストデータと前記記憶部に記憶されたログデータとのうち少なくとも一方に基づいて、前記第1利用者の行動予定を推定し、推定結果を示す予定データを生成する推定部と、前記第1装置から前記第1音声データを受信し、前記第2音声データを前記第1装置に送信し、前記予定データを前記第2装置へ送信する通信部とを備える
【発明の効果】
【0007】
本発明によれば、第2利用者は、第1利用者の行動予定を把握することができる。
【図面の簡単な説明】
【0008】
【
図1】実施形態に係る見守りシステム1の構成を示すブロック図である。
【
図2】見守りロボット30の外観を示す正面図である。
【
図3】第1ユーザ装置10の構成を示すブロック図である。
【
図4】見守りロボット30の構成を示すブロック図である。
【
図5A】第2ユーザ装置20の構成を示すブロック図である。
【
図5B】第2ユーザ装置20に表示されるスケジュール表の一例を示す説明図である。
【
図6】管理装置40の構成を示すブロック図である。
【
図7】処理装置410の機能を示すブロック図である。
【
図8A】第1テキストデータDt1と第2テキストデータDt2との遷移を模式的に示す説明図である。
【
図8B】
図8Aに示す第1テキストデータDt1と第2テキストデータDt2が生成された場合のログテーブルTBL1の記憶内容の一例を示す説明図である。
【
図9】管理装置40の応答動作の内容を示すフローチャートである。
【
図10】管理装置40の推定動作の内容を示すフローチャートである。
【
図11】変形例1に係る第2ユーザ装置20に表示されるスケジュール表の一例を示す説明図である。
【発明を実施するための形態】
【0009】
1.実施形態
1-1:全体構成
図1は、実施形態に係る見守りシステム1の構成を示すブロック図である。見守りシステム1は、見守り対象者U1の行動予定を見守り者U2に知らせるサービスを提供する。見守り対象者U1の典型例は、独りで住む高齢者である。見守り者U2の典型例は見守り対象者U1の家族である。見守り対象者U1は第1利用者の一例であり、見守り者U2は第2利用者の一例である。
【0010】
見守りシステム1は、管理装置40、第1ユーザ装置10,10…、第2ユーザ装置20,20…、及び見守りロボット30,30…を備える。第1ユーザ装置10及び見守りロボット30は、例えば、見守り対象者U1の住居に配置される。第1ユーザ装置10と見守りロボット30とは通信可能である。通信の種類は問わないが、無線通信であることが好ましい。第1ユーザ装置10と見守りロボット30とは、例えば、近距離無線通信によって接続される。また、第1ユーザ装置10は、通信網NWを介して管理装置40と通信する。第1ユーザ装置10及び見守りロボット30は、第1利用者である見守り対象者U1が使用する第1装置の一例である。
【0011】
第2ユーザ装置20は、通信網NWを介して管理装置40と通信する。第2ユーザ装置20は、第2利用者である見守り者U2が使用する第2装置の一例である。
【0012】
図2は、見守りロボット30の外観を示す正面図である。見守りロボット30は、頭部31と胴部32とを有し、電池の電力によって動作する。胴部32には、スピーカー370と人感センサ350が配置されている。また、頭部31の内部には、図示せぬマイクロフォン360が配置される。見守りロボット30は、人感センサ350を用いて、見守り対象者U1が近づいたことを検知し、検知結果に基づいて動作モードを切り替える。見守りロボット30の動作モードは、見守り対象者U1と対話する対話モードと、見守り対象者U1と対話しないスリープモードがある。スリープモードは動作モードと比較して、見守りロボット30の消費電力が小さい。スリープモードでは、人感センサ350に電力を供給することによって、見守り対象者U1が見守りロボット30に近づいたことを検知する一方、他の構成要素については、電力の供給が制限される。見守りロボット30は、対話モードとスリープモードを備えることで、見守り対象者U1が近くいる場合には、対話ができる一方、見守り対象者U1が近くにいない場合には、消費電力を節約できる。
【0013】
1-2:第1ユーザ装置
図3は、第1ユーザ装置10の構成を示すブロック図である。第1ユーザ装置10は、スマートフォン又はタブレット端末などが該当する。第1ユーザ装置10は、処理装置110、記憶装置120、表示パネル130、通信装置140、及び入力装置150を備える。第1ユーザ装置10の各要素は、情報を通信するための単体又は複数のバスで相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。第1ユーザ装置10の各要素は、単数又は複数の機器で構成されてもよい。第1ユーザ装置10の一部の要素は省略されてもよい。
【0014】
処理装置110は、第1ユーザ装置10の全体を制御するプロセッサであり、例えば、単数又は複数のチップで構成される。処理装置110は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置(CPU:Central Processing Unit)で構成される。なお、処理装置110の機能の一部又は全部を、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等のハードウェアによって実現してもよい。処理装置110は、各種の処理を並列的又は逐次的に実行する。
【0015】
記憶装置120は、処理装置110が読取可能な記録媒体であり、処理装置110が実行する制御プログラムPR1を含む複数のプログラム、及び処理装置110が使用する各種の情報などを記憶する。記憶装置120は、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)等の少なくとも1つによって構成されてもよい。なお、制御プログラムPR1は、通信網NWを介して管理装置40などの他の装置から送信されてもよい。
【0016】
表示パネル130は、画像を表示するデバイスである。例えば、液晶表示パネル及び有機EL(Electro Luminescence)表示パネル等が好適に利用される。
【0017】
通信装置140は、他の装置と通信を行うためのハードウェア(送受信デバイス)である。通信装置140は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ばれる。
【0018】
入力装置150は、外部からの入力を受け付けるデバイスである。入力装置150としては、上述した表示パネル130と一体に設けられるタッチパネルが好適である。入力装置150は、ユーザが操作可能な複数の操作子を含んでもよい。入力装置150はユーザの操作に応じた入力情報を出力する。
【0019】
1-3:見守りロボット
図4は、見守りロボット30の構成を示すブロック図である。見守りロボット30は、処理装置310、記憶装置320、モーター330、通信装置340、人感センサ350、マイクロフォン360、及びスピーカー370を備える。見守りロボット30の各要素は、情報を通信するための単体又は複数のバスで相互に接続される。
【0020】
処理装置310は、見守りロボット30の全体を制御するプロセッサであり、例えば、単数又は複数のチップで構成される。
【0021】
記憶装置320は、処理装置310が読取可能な記録媒体であり、処理装置310が実行する制御プログラムPR3を含む複数のプログラム、処理装置310が使用する各種の情報などを記憶する。記憶装置320は、例えば、ROM、EPROM、EEPROM、及びRAM等の少なくとも1つによって構成されてもよい。
【0022】
モーター330は、処理装置310の制御の下、動作する。モーター330を駆動することによって、
図2に示される見守りロボット30の頭部31又は腕が動く。通信装置340は、他の装置と通信を行うためのハードウェア(送受信デバイス)である。通信装置340は、第1ユーザ装置10と通信する。人感センサ350は、人が近づいたことを検出し、検出結果を示す検出信号を処理装置310に出力する。
【0023】
マイクロフォン360は、音を電気信号に変換することによって、見守り対象者U1の音声を示す第1音声信号を生成する。第1音声信号は図示せぬAD変換器によって第1音声データDv1に変換される。第1音声データDv1は処理装置310に出力される。処理装置310は通信装置340を介して第1音声データDv1を管理装置40に送信する。
【0024】
スピーカー370は、処理装置310の制御の下、見守りロボット30の音声を見守り対象者U1に対して出力する。スピーカー370は、DA変換器を備える。後述するように、管理装置40は、見守りロボット30の音声を示す第2音声データDv2を生成し、第1ユーザ装置10を介して第2音声データDv2を見守りロボット30に送信する。処理装置310は、第2音声データDv2をスピーカー370に出力する。スピーカー370は、DA変換器を用いて、第2音声データDv2を第2音声信号に変換する。スピーカー370は第2音声信号によって駆動される。
【0025】
1-4:第2ユーザ装置
図5Aは、第2ユーザ装置20の構成を示すブロック図である。第2ユーザ装置20は、スマートフォン又はタブレット端末などが該当する。第2ユーザ装置20は、処理装置210、記憶装置220、表示パネル230、通信装置240、及び入力装置250を備える。第2ユーザ装置20の各要素は、情報を通信するための単体又は複数のバスで相互に接続される。第2ユーザ装置20のハードウェア構成は、第1ユーザ装置10のハードウェア構成と同様である。但し、第1ユーザ装置10は見守りロボット30との間でデータの授受を実行するが、第2ユーザ装置20は見守りロボット30との間でデータの授受を実行しない。
【0026】
処理装置210は、記憶装置220に記憶される制御プログラムPR2を読み出し、読み出した制御プログラムPR2を実行する。処理装置210は、制御プログラムPR2を実行することによって、表示制御部211として機能する。
【0027】
表示制御部211は、通信装置240を介して管理装置40から受信した予定データDpに基づいて、表示パネル230に見守り対象者U1のスケジュールを表示させる。
図5Bは、第2ユーザ装置20に表示されるスケジュール表の一例を示す説明図である。
図5Bに示される例では、見守り対象者U1は、7月9日の午前中にヘルパーの訪問があり、午後にゲートボールを予定していることが分かる。
【0028】
1-5:管理装置
図6は、管理装置40の構成を示すブロック図である。管理装置40は、例えば、サーバである。管理装置40は、処理装置410、記憶装置420、表示パネル430、通信装置440、及び入力装置450を備える。管理装置40の各要素は、情報を通信するための単体又は複数のバスで相互に接続される。管理装置40のハードウェア構成は、第1ユーザ装置10のハードウェア構成と同様である。但し、処理装置410の処理速度は、処理装置110の処理速度より高速であることが好ましい。また、記憶装置420の記憶容量は、記憶装置120の記憶容量よりも大きいことが好ましい。
また、通信装置440は通信部の一例である。記憶装置420は記憶部の一例である。
【0029】
記憶装置420は、処理装置410が実行する制御プログラムPR4を含む複数のプログラム、ログテーブルTBL1、管理テーブルTBL2及び処理装置410が使用する各種の情報などを記憶する。
【0030】
ログテーブルTBL1には、発生日時と見守り対象者U1の音声を示すテキストとの組、及び発生日時と見守りロボット30の音声を示すテキストとの組が格納されている。
【0031】
管理テーブルTBL2には、第1ユーザ装置10のアクセス情報と第2ユーザ装置20のアクセス情報とが対応づけられて記憶されている。管理テーブルTBL2は、第2音声データDv2を第1ユーザ装置10に送信する場合に参照される。また、管理テーブルTBL2は、予定データDpを第2ユーザ装置20に送信する場合に参照される。
【0032】
図7は、処理装置410の機能を示すブロック図である。処理装置410は、記憶装置420から制御プログラムPR4を読み出して実行することによって、音声認識部411、対話管理部412、計時部413、ログ生成部414、音声変換部415、及び推定部416として機能する。
【0033】
音声認識部411は、通信装置440を介して受信した見守り対象者U1の音声を示す第1音声データDv1を第1テキストデータDt1に変換する。
【0034】
対話管理部412は、第1テキストデータDt1及びログデータDlに基づいて、見守り対象者U1に対して話しかける音声をテキストで示す第2テキストデータDt2を生成する。この例では、第2テキストデータDt2を生成する複数の規則が用意されている。例えば、以下の規則が考えられる。第1の規則は、「挨拶」の後に「健康状態の問い合わせ」をする。第2の規則は、「挨拶」の後に「どのような行動をしたかの問い合わせ」、行動についての返事の後に「行動内容の問い合わせ」をする。第3の規則は「挨拶」の後に、「行動の予定の問い合わせ」をするものである。このように複数の規則を用意しておき、複数の規則の中から適用する規則を選択することによって、見守り対象者U1を、飽きさることなく、対話に引き込むことができる。
【0035】
また、複数の規則のうち一の規則が選択される場合に、対話管理部412は、ランダムに一の規則を選択してもよいし、現在の時刻が属する時間帯に応じた一の規則を選択してもよい。あるいは、見守り対象者U1時間帯に応じた一の規則が選択される場合、複数の時間帯と複数の規則とが1対1に対応してもよい。時間帯は、午前、午後、及び夜間であってもよいし、所定時間単位の区分けであってもよい。更に、各時間帯に複数の規則を割り当て、対話管理部412は、時間帯に応じた複数の規則の中から一の規則をランダムに選択してもよい。時間帯に応じて規則を切り替えることによって、見守り対象者U1に対して適切に質問できる。例えば、朝の時間帯では本日の予定を尋ねる一方、夜の時間帯では、本日の振り返りと行動明日の予定を尋ねてもよい。
【0036】
また、見守り対象者U1の属性に応じて、複数の規則の中から一の規則を選択してもよい。属性には、性別又は年齢などが含まれる。属性に応じて規則を選択することによって、見守り対象者U1が対話に参加し易くなる。その結果、見守り対象者U1の行動予定を対話から探り易くなる。
【0037】
計時部413は、クロック信号を基に時間を計時して、現在の日時を示す日時データDXを生成する。計時部413は日時データDxをログ生成部414に出力する。また、対話管理部412が時間帯に応じて複数の規則のうち一の規則を選択する場合、計時部413は、日時データDxを対話管理部412へ出力する。
【0038】
ログ生成部414は、第1テキストデータDt1又は第2テキストデータDt2、日時データDx、及び種別データDyを対応づけたログデータDlを生成する。種別データDyは、ログデータDlに含まれるテキストデータが、第1テキストデータDt1であるか、第2テキストデータDt2であるかを示す。種別データDyのデータ値が「0」である場合、ログデータDlは第2テキストデータDt2を含むことを示す。種別データDyのデータ値が「1」である場合、ログデータDlは第1テキストデータDt1を含むことを示す。ログ生成部414は、ログテーブルTBL1にログデータDlを書き込む。
【0039】
図8Aは、第1テキストデータDt1と第2テキストデータDt2との遷移を模式的に示す説明図であり、
図8Bは、
図8Aに示す第1テキストデータDt1と第2テキストデータDt2が生成された場合のログテーブルTBL1の記憶内容の一例を示す説明図である。
図8Aに示されるように、見守り対象者U1と見守りロボット30との対話は、以下の通りである。
7/8 8:00:20 見守りロボット30:「おはよう。おばあちゃん。」
7/8 8:00:25 見守り対象者U1:「おはよう。ロボ。」
7/8 8:00:30 見守りロボット30:「今日は、調子いい?」
7/8 8:00:35 見守り対象者U1:「いいよ。さっき、公園に行ってきたの。」
7/8 8:00:40 見守りロボット30:「そっか。公園まで散歩なの?」
7/8 8:00:45 見守り対象者U1:「そうだよ。」
7/8 8:00:50 見守りロボット30:「誰かいた。」
7/8 8:00:55 見守り対象者U1:「田中さんに会ったよ。」
7/8 8:01:00 見守りロボット30:「田中さんは、ゲートボールの仲間だよね。」
7/8 8:01:05 見守り対象者U1:「明日は午後からゲートボールなのよ。」
7/8 8:01:10 見守りロボット30:「おばあちゃん。頑張ってね。」
7/8 8:01:15 見守り対象者U1:「明日の午前中は、ヘルパーさんが来るの。」
7/8 8:01:30 見守りロボット30:「よかったね。」
7/8 8:01:35 見守り対象者U1:「ロボ。お薬の時間だからバイバイね」
7/8 8:01:40 見守りロボット30:「またね。おばあちゃん。」
ログテーブルTBL1には、上述した対話に基づいて、ログデータDl[1]~Dl[15]が記憶される。処理装置410は、ログテーブルTBL1を参照することによって、過去にどのような対話がなされたかを知ることができる。
【0040】
説明を
図7に戻す。推定部416は、第1テキストデータDt1に基づいて、見守り対象者U1の行動予定を推定し、推定結果を示す予定データDpを生成する。予定データDpは、見守り対象者U1の行動内容と、行動を実行する日又は日時を示す。
【0041】
上述した対話の例では、7月8日の午前8時1分に、「明日は午後からゲートボールなのよ。」と見守り対象者U1が発話している。この場合、推定部416は、7月9日の午後にゲートボールを予定していることを示す予定データDpを推定する。
【0042】
また、7月8日の午前8時1分に、「明日の午前中は、ヘルパーさんが来るの」と見守り対象者U1が発話している。この場合、推定部416は、7月9日の午前中にペルパーさんの訪問が予定されていることを示す予定データDpを推定する。
【0043】
推定部416によって生成された予定データDpは通信装置440を介して第2ユーザ装置20に送信される。また、音声変換部415によって生成された第2音声データDv2は、通信装置440を介して第1ユーザ装置10に送信される。
【0044】
次に、管理装置40の動作について第2音声データDv2を生成する応答動作と、予定データDpを生成する推定動作に分けて説明する。まず、応答動作について説明する。
図9は、管理装置40の応答動作の内容を示すフローチャートである。
【0045】
処理装置410は、開始条件を充足するか否かを判定し(S11)、判定結果が肯定となるまで、判定を繰り返す。開始条件は、例えば、通信装置440を介して第1ユーザ装置10から、見守りロボット30の動作モードがスリープモードから対話モードに遷移したことを示す制御データを受信したことである。
【0046】
ステップS11の判定結果が肯定の場合、処理装置410は時間帯に応じた規則を特定する(S12)。この場合、処理装置410は、現在の時刻が属する時間帯に応じて、複数の規則のうち一つの規則を選択し、選択された一の規則に従って、第2テキストデータDt2を生成する。
【0047】
次に、処理装置410は、第1音声データDv1を受信したか否かを判定する(S13)。ステップS12の判定結果が肯定の場合、処理装置410は、第1音声データDv1を第1テキストデータDt1に変換する(S14)。
【0048】
次に、処理装置410は、ステップS14において生成された第1テキストデータDt1の基づくログデータDlを生成し、生成したログデータDlを記憶装置420のログテーブルTBL1に記憶する。
【0049】
次に、処理装置410は、記憶装置420に記憶されているログデータDl及びステップS14で生成された第1テキストデータDt1に基づいて、第2テキストデータDt2を生成する(S15)。例えば、第1テキストデータDt1の示すテキストが「田中さんに会ったよ。」であった場合、処理装置410は、第1テキストデータDt1に含まれる固有名詞を抽出することにより「田中」を得る。次に、処理装置410は「田中」をキーワードとしてログテーブルTBL1を検索し、「田中」が含まれる一又は複数のログデータDlを抽出する。そして、処理装置410は抽出された一又は複数のログデータDlに基づいて、「田中」に関連する出来事を特定する。例えば、特定された出来事が、見守り対象者U1と「田中」が同じゲートボールチームに属する場合、対話管理部412は、「田中さんはゲートボールの仲間だよね。」といったテキストを示す第2テキストデータDt2を生成する。
【0050】
次に、処理装置410は、ステップS16において生成された第2テキストデータDt2に基づくログデータDlを生成し、生成したログデータDlを記憶装置420のログテーブルTBL1に記憶する(S17)。
【0051】
次に、処理装置410は、ステップS17で生成された第2テキストデータDt2を第2音声データDv2に変換する(S18)。
【0052】
次に、処理装置410は、通信装置440を用いて第2音声データDv2を第1ユーザ装置10に送信する(S19)。なお、第1ユーザ装置10は、第2音声データDv2を見守りロボット30に転送することによって、見守りロボット30は第2音声データDv2に基づいて、スピーカー370から音声を放音する。これによって、見守り対象者U1と見守りロボット30との間で対話が実現される。
【0053】
次に、処理装置410は、終了条件を充足するか否かを判定する(S20)。終了条件は、例えば、通信装置440を介して第1ユーザ装置10から、見守りロボット30の動作モードが対話モードからスリープモードに遷移したことを示す制御データを受信したことである。
【0054】
ステップS20の判定結果が肯定の場合、処理装置410は処理をステップS11に戻す。一方、ステップS20の判定結果が否定である場合、処理装置410は処理をステップS13に戻す。
【0055】
ステップ13の判定結果が否定である場合、処理装置410は、ステップS11の開始条件を充足してから所定時間が経過したか否かを判定する(S21)。この判定結果が否定の場合、処理装置410は処理をステップS13に戻す。一方、判定結果が肯定の場合、処理装置410は処理をステップS16に進める。ステップS21の判定結果が否定の場合は、応答動作の開始条件が充足されてから所定時間が経過しても見守り対象者U1が発話しない場合である。そのような場合、見守りロボット30から発話させ、会話のきっかけとすることが好ましい。そこで、処理装置410は、見守りロボット30から見守り対象者へ話しかけるために、第2テキストデータDt2を生成する。
【0056】
以上の応答動作において、処理装置410は、ステップS12及びステップS16において、対話管理部412として機能する。また、処理装置410は、ステップS14において、音声認識部411として機能する。また、処理装置410は、ステップS15及びステップS17において、ログ生成部414として機能する。処理装置410は、ステップS18において、音声変換部415として機能する。
【0057】
次に、推定動作について説明する。
図10は、管理装置40の推定動作の内容を示すフローチャートである。
【0058】
処理装置410は、第1テキストデータDt1が生成されたかを判定し(S21)、判定結果が充足されるまで判定を繰り返す。具体的には、処理装置410は、
図9に示されるステップS14の処理が完了したか否かを判定する。
【0059】
ステップS21の判定結果が肯定の場合、処理装置410は、第1テキストデータDt1に基づいて、予定が特定できるかを判定する(S22)。処理装置410は、第1テキストデータDt1に所定のテキストが含まれることが判定の要素となる。所定のテキストには、将来の日時を表すテキストが含まれる。例えば、「明日」、及び「来週」等の現在の日時を基準として時を表すテキスト、「8月10日」、「体育の日」、「23時」等、絶対的な日時を指定するテキストのうち、現在日時よりも将来を表すテキストなどである。但し、第1テキストデータDt1に所定のテキストが含まれる場合であっても、予定が特定できないことがある。例えば、第1テキストデータDtの示すテキストが「明日は雨みたいよ」、といった場合である。
【0060】
また、見守り対象者U1と見守りロボット30と間で以下の対話がなされた場合を想定する。
見守り対象者U1「銀行に年金を引き出しに行くかな」
見守りロボット30「いつ行くの」
見守り対象者U1「明後日だよ」
この場合、第1テキストデータDtの示すテキストが「明後日だよ」だけでは、見守り対象者U1の行動予定を特定することはできない。
【0061】
ステップS22の判定結果が否定の場合、処理装置410は第1テキストデータDt1及び記憶装置420ログデータDlに基づいて予定が特定できるか否かを判定する(S22)。記憶装置420に記憶されるログデータDlは、過去の対話が含まれているので、見守り対象者U1の予定を特定できる場合がある。例えば、上述した対話がなされた場合には、見守り対象者U1の行動予定を、「明後日、銀行に行く」と特定できる。このように、第1テキストデータDt1に加えて、ログデータDlを考慮することによって、見守り対象者U1の行動予定を正確に特定できる。
【0062】
ステップS23の判定結果が否定の場合、処理装置410は処理をステップS21に戻す。ステップS23の判定結果が肯定の場合、又はステップS22の判定結果が肯定の場合、処理装置410は予定データDpを生成する。
【0063】
次に、処理装置410は、通信装置440を用いて予定データDpを第2ユーザ装置20へ送信する(S25)。第2ユーザ装置20は、予定データDpを用いて、見守り対象者U1の行動予定を表示できる。この結果、見守り者U2は、遠隔地に居住する見守り対象者U1の行動所定を知ることができる。
以上の推定動作において、処理装置410は、ステップS21からステップS24までにおいて、推定部416として機能する。
【0064】
以上、説明しように見守りシステム1は、第1利用者である見守り対象者U1が使用する第1ユーザ装置10及び見守りロボット30(第1装置に相当)と、見守り対象者U1を見守る第2利用者である見守り者U2が使用する第2ユーザ装置20(第2装置に相当)と管理装置40を備える。また、管理装置40は、見守り対象者U1の音声を示す第1音声データDv1を第1テキストデータDt1に変換する音声認識部411と、見守り対象者U1に対して話しかける音声をテキストで示す第2テキストデータDvt2を生成する対話管理部412と、第2テキストデータDt2を第2音声データDv2に変換する音声変換部415と、第1テキストデータDt1又は第2テキストデータDt2と現在の日時を示す日時データDxとを対応付けたログデータDlを生成するログ生成部414と、ログデータDIを記憶する記憶装置420と、第1テキストデータDt1と記憶装置420に記憶されたログデータDlとのうち少なくとも一方に基づいて、見守り対象者U1の行動予定を推定し、推定結果を示す予定データDpを生成する推定部416と、第1ユーザ装置10から第1音声データDv1を受信し、第2音声データDv2を第1ユーザ装置10に送信し、予定データDpを第2ユーザ装置20へ送信する通信装置440とを備える、
【0065】
この管理装置40によれば、見守り対象者U1との対話を通じて得られた見守り対象者U1の行動予定を見守り者U2が使用する第2ユーザ装置20に送信するので、見守り者U2は、遠隔等で暮らす見守り対象者U1の行動予定を知ることができる。見守り対象者U1が高齢である場合、子供の見守り者U2に自らの行動予定を話したくないと考える場合がある。そのような場合でも、見守り対象者U1は見守りロボット30には、話しかけ易いので、見守り者U2は行動予定を把握し易くなる。
【0066】
2.変形例
本開示は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を併合してもよい。
【0067】
2-1:変形例1
上述の実施形態において、推定部416は、ログテーブルTBL1に記憶されたログデータDlに基づいて、見守り対象者の行動予定が周期的であるか、又は不定期であるかを判定し、判定の結果に基づいて、周期的であるか不定期であるかを区別した予定データDpを生成してもよい。
【0068】
具体的には、推定部416は、上述した実施形態の方法で予定データDpを生成し、生成した予定データDpに基づいて、行動内容と行動を実行する日を特定する。例えば、行動内容として「ヘルパーの訪問」が特定され、行動を実行する日として「7月9日」が特定される。
【0069】
次に、推定部416は、ログテーブルTBL1に記憶されたログデータDlに基づいて、見守り対象者U1の実際の行動のうち、予定データDpの示す行動内容と一致する行動を特定する。例えば、予定データDpの示す行動内容が「ヘルパーの訪問」であれば、実際に「ヘルパーの訪問」がなされた実行日を特定する。そして、推定部は、過去の実行日及び行動予定日が周期的であるかを判定する。
【0070】
推定部416は、周期的であると判定した場合は、周期的であることを示すフラグを予定データDpに付加する。例えば、「散歩」と「ヘルパー訪問」が周期的であり、「美容院」と「ゲートボール」が不定期であったとする。この場合、
図5Bに示される第2ユーザ装置20の画面は、
図11の左に示される画面例でもよい。
図11の左の画面例では、不定期の行動予定について星印が付加されるので、見守り者U2は、見守り対象者U1が普段を異なる行動内容をいつ実行する予定であるかを知ることができる。
また、推定部416は、行動予定が周期的あると判定した場合、周期が日ごとであるか、週ごとであるか、月ごとであるかを判定し、判定結果を予定データDpに含ませてもよい。ここで、例えば、「散歩」の周期は1日であり、「ヘルパー訪問」の周期が1週間である場合、
図5Bに示される第2ユーザ装置20の画面は、
図11の右に示される画面例でもよい。
【0071】
2-2:変形例2
上述した実施形態では、予定データDpを管理装置40から第2ユーザ装置20に送信し、予定データDpを管理装置40において記憶していなかったが、本開示はこれに限定されない。管理装置40の記憶装置420に予定データDpを記憶してもよい。
また、対話管理部412は、第2テキストデータDt2として、予定データDpの示す見守り対象者U1の行動予定に対する行動結果を尋ねる音声をテキストで示すデータを生成してもよい。
例えば、予定データDpの示す行動内容が「ゲートボール」で、その行動予定日が7月9日である場合、対話管理部412は、7月10日に「おばあちゃん。昨日のゲートボールはどうだった。」を示す第2テキストデータDt2を生成してもよい。
【0072】
2-3:変形例3
上述した実施形態では、予定データDpを管理装置40から第2ユーザ装置20に送信し、予定データDpを管理装置40において記憶していなかったが、本開示はこれに限定されない。管理装置40の記憶装置420に予定データDpを記憶してもよい。
【0073】
また、対話管理部412は、第2テキストデータDt2として、予定データDpの示す見守り対象者U1の行動予定に対する行動結果を尋ねる音声をテキストで示すデータを生成してもよい。
【0074】
例えば、予定データDpの示す行動内容が「ゲートボール」で、その行動予定日が7月9日である場合、対話管理部412は、7月10日に「おばあちゃん。昨日のゲートボールはどうだった。」を示す第2テキストデータDt2を生成してもよい。
変形例3によれば、行動予定に対応する実績を見守り対象者U1に尋ねるので、見守り対象者U1の状況をより正確に把握することができる。加えて、見守り対象者U1と見守りロボット30の対話はログデータDlとして記憶できる。従って、ログデータDlを解析することによって、見守り対象者U1の状況をより深く把握することができる。
【0075】
2-4:変形例4
上述した実施形態では、対話管理部412は、ログデータDl及び第1テキストデータDt1に基づいて第2テキストデータDt2を生成したが、本開示はこれに限定されない。
対話管理部412は、第1テキストデータDt1に基づいて第2テキストデータDt2を生成してもよい。例えば、見守り対象者U1が挨拶を発話した場合、見守りロボット30の返答は定型の発話であってもよい。定型の発話で足りる場合には、ログデータDlを参照しないことによって、処理装置410の処理負荷を軽減できる。
【0076】
また、対話管理部412は、ログデータDlに基づいて、第2テキストデータDt2を生成してもよい。対話管理部412は、例えば、記憶装置420に記憶されたログデータDlのうち、最新のログデータDlに含まれる日時から現在の日時までの出来事を尋ねる音声をテキストで示す第2テキストデータDt2を生成してもよい。この第2テキストデータDt2を用いることによって、見守り対象者U1の行動を詳細に把握できる。
【0077】
3.その他
(1)上述した実施形態では、記憶装置120、220、320、及び420は、ROM及びRAMなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、CD-ROM(Compact Disc-ROM)、レジスタ、リムーバブルディスク、ハードディスク、フロッピー(登録商標)ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網から送信されてもよい。
【0078】
(2)上述した実施形態において、説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【0079】
(3)上述した実施形態において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【0080】
(4)上述した実施形態において、判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:true又はfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
【0081】
(5)上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【0082】
(6)
図7に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【0083】
(7)上述した実施形態で例示したプログラムは、ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【0084】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術(同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線(DSL:Digital Subscriber Line)など)及び無線技術(赤外線、マイクロ波など)の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【0085】
(8)前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
【0086】
(9)本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【0087】
(10)上述した実施形態において、第1ユーザ装置10及び第2ユーザ装置20は、移動局(MS:Mobile Station)である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末(user terminal)」、「ユーザ装置(UE:User Equipment)」、「端末」等の用語は、互換的に使用され得る。
【0088】
(11)上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、2又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された2つの要素間に1又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、2つの要素は、1又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光(可視及び不可視の両方)領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【0089】
(12)上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【0090】
(13)本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)(例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断(決定)」は、「想定する(assuming)」、「期待する(expecting)」、「みなす(considering)」などで読み替えられてもよい。
【0091】
(14)上述した実施形態において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
【0092】
(15)本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【0093】
(16)本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。
【0094】
(17)本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
【0095】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
【符号の説明】
【0096】
1…見守りシステム、10…第1ユーザ装置、20…第2ユーザ装置、30…見守りロボット、40…管理装置、411…音声認識部、412…対話管理部、413…計時部、414…ログ生成部、416…推定部。