特開 2022-12857 会話ガイドシステム、会話ガイド装置、および会話ガイドプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022012857

(43)【公開日】2022-01-17

(54)【発明の名称】会話ガイドシステム、会話ガイド装置、および会話ガイドプログラム

(51)【国際特許分類】

   G10L 15/22 20060101AFI20220107BHJP

   G08B 25/04 20060101ALI20220107BHJP

   H04M 11/04 20060101ALI20220107BHJP

   G06F 3/16 20060101ALI20220107BHJP

   G10L 17/00 20130101ALI20220107BHJP

【ＦＩ】

G10L15/22 200H

G08B25/04 K

H04M11/04

G06F3/16 640

G06F3/16 620

G10L17/00 200Z

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2020114988

(22)【出願日】2020-07-02

(71)【出願人】

【識別番号】518262305

【氏名又は名称】日本テクトシステムズ株式会社

(74)【代理人】

【識別番号】100168952

【弁理士】

【氏名又は名称】藤田 壮一郎

(72)【発明者】

【氏名】増岡 厳

【テーマコード（参考）】

5C087

5K201

【Ｆターム（参考）】

5C087AA02

5C087AA05

5C087AA09

5C087AA10

5C087AA25

5C087BB02

5C087BB20

5C087DD03

5C087DD35

5C087DD42

5C087DD49

5C087EE06

5C087EE14

5C087EE18

5C087FF01

5C087FF02

5C087FF16

5C087GG08

5C087GG66

5C087GG70

5C087GG83

5K201BA19

5K201BD04

5K201CA07

5K201CB02

5K201CB05

5K201CB07

5K201DC05

5K201EC06

5K201ED04

(57)【要約】      （修正有）

【課題】声を掛けられる対象者にとって受け入れやすく、また声をかける側の人物にとっても声掛けがしやすい会話内容をガイドする会話ガイドシステム、会話ガイド装置及び会話ガイドプログラムを提供する。
【解決手段】会話ガイドシステム１０は、利用者が会話の対象者と会話をするために利用者に対して会話をガイドするシステムであり、利用者端末１００とデータベースサーバ２００とが通信ネットワークを介して接続されている。会話ガイドシステム１０の利用者端末１００は、利用者に対象者に対する声掛け内容を提示する声掛け内容提示手段と、声掛け内容提示手段によって提示された声掛け内容に基づいて利用者が対象者に対して声を掛けたときの対象者の反応の入力を受け付ける反応入力受付手段と、を備える。声掛け内容提示手段は、反応入力受付手段で入力を受け付けた対象者の反応に応じて、利用者に次に提示する声掛け内容を決定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

利用者が会話の対象者と会話をするために利用者に対して会話をガイドするための会話ガイドシステムであって、
前記利用者に前記対象者に対する声掛け内容を提示する声掛け内容提示手段と、
前記声掛け内容提示手段によって提示された声掛け内容に基づいて前記利用者が前記対象者に対して声を掛けたときの前記対象者の反応の入力を受け付ける反応入力受付手段とを備え、
前記声掛け内容提示手段は、前記反応入力受付手段で入力を受け付けた前記対象者の反応に応じて、前記利用者に次に提示する声掛け内容を決定することを特徴とする会話ガイドシステム。

【請求項2】

請求項１に記載の会話ガイドシステムにおいて、
前記声掛け内容提示手段は、あらかじめ設定されている会話フローのデータに基づいて、前記利用者に次に提示する声掛け内容を決定することを特徴とする会話ガイドシステム。

【請求項3】

請求項１または２に記載の会話ガイドシステムにおいて、
前記反応入力受付手段は、自然な反応、拒否的な反応、困惑した反応、無応答、またはこれら以外のその他の反応のいずれかを前記対象者の反応として入力を受け付けることを特徴とする会話ガイドシステム。

【請求項4】

請求項３に記載の会話ガイドシステムにおいて、
前記反応入力受付手段によって入力を受け付けた前記対象者の反応が困惑した反応である場合には、前記利用者に対して前記対象者を誘導するように案内する誘導案内手段をさらに備えることを特徴とする会話ガイドシステム。

【請求項5】

請求項３または４に記載の会話ガイドシステムにおいて、
前記反応入力受付手段によって入力を受け付けた前記対象者の反応が無応答またはその他の反応である場合には、前記利用者に対して通報を促すように案内する通報案内手段をさらに備えることを特徴とする会話ガイドシステム。

【請求項6】

請求項３～５のいずれか一項に記載の会話ガイドシステムにおいて、
前記声掛け内容提示手段によって提示された声掛け内容に基づいて前記利用者が前記対象者に対して声を掛けたときの前記対象者の発話音声を録音する録音手段と、
前記反応入力受付手段によって入力を受け付けた前記対象者の反応が自然な反応または拒否的な反応である場合には、前記録音手段によって録音された録音データに基づいて発話音声の音声特徴量を特定し、特定した音声特徴量に基づいて前記対象者を特定する対象者特定手段とをさらに備えることを特徴とする会話ガイドシステム。

【請求項7】

請求項６に記載の会話ガイドシステムにおいて、
前記対象者特定手段は、あらかじめ登録されている対象者の発話音声の音声特徴量と、前記録音手段によって録音された録音データの音声特徴量とを照合することにより、前記対象者を特定することを特徴とする会話ガイドシステム。

【請求項8】

請求項７に記載の会話ガイドシステムにおいて、
前記対象者特定手段は、あらかじめ登録されている対象者の発話音声の音声特徴量と、前記録音手段によって録音された録音データの音声特徴量とを照合した結果、あらかじめ登録されている音声特徴量の中に前記録音手段によって録音された録音データの音声特徴量に一致するものがないときは、前記声掛け内容提示手段による声掛け内容の提示を継続し、あらかじめ登録されている音声特徴量の中に前記録音手段によって録音された録音データの音声特徴量に一致するものがあるときは、前記声掛け内容提示手段による声掛け内容の提示を終了することを特徴とする会話ガイドシステム。

【請求項9】

請求項６～８のいずれか一項に記載の会話ガイドシステムにおいて、
前記対象者特定手段によって前記対象者が特定された場合には、前記利用者に対象者の個人情報を含んだ照合結果情報を送信する照合結果情報送信手段をさらに備えることを特徴とする会話ガイドシステム。

【請求項10】

請求項６～９のいずれか一項に記載の会話ガイドシステムにおいて、
前記対象者特定手段によって前記対象者が特定された場合には、前記対象者の緊急連絡先へ通報する通報手段をさらに備えることを特徴とする会話ガイドシステム。

【請求項11】

利用者が会話の対象者と会話をするために利用者に対して会話をガイドするための会話ガイド装置であって、
前記利用者に前記対象者に対する声掛け内容を提示する声掛け内容提示手段と、
前記声掛け内容提示手段によって提示された声掛け内容に基づいて前記利用者が前記対象者に対して声を掛けたときの前記対象者の反応の入力を受け付ける反応入力受付手段とを備え、
前記声掛け内容提示手段は、前記反応入力受付手段で入力を受け付けた前記対象者の反応に応じて、前記利用者に次に提示する声掛け内容を決定することを特徴とする会話ガイド装置。

【請求項12】

請求項１１に記載の会話ガイド装置において、
前記声掛け内容提示手段は、あらかじめ設定されている会話フローのデータに基づいて、前記利用者に次に提示する声掛け内容を決定することを特徴とする会話ガイド装置。

【請求項13】

請求項１１または１２に記載の会話ガイド装置において、
前記反応入力受付手段は、自然な反応、拒否的な反応、困惑した反応、無応答、またはこれら以外のその他の反応のいずれかを前記対象者の反応として入力を受け付けることを特徴とする会話ガイド装置。

【請求項14】

請求項１３に記載の会話ガイド装置において、
前記反応入力受付手段によって入力を受け付けた前記対象者の反応が困惑した反応である場合には、前記利用者に対して前記対象者を誘導するように案内する誘導案内手段をさらに備えることを特徴とする会話ガイド装置。

【請求項15】

請求項１３または１４に記載の会話ガイド装置において、
前記反応入力受付手段によって入力を受け付けた前記対象者の反応が無応答またはその他の反応である場合には、前記利用者に対して通報を促すように案内する通報案内手段をさらに備えることを特徴とする会話ガイド装置。

【請求項16】

利用者が会話の対象者と会話をするために利用者に対して会話をガイドするために、
前記利用者に前記対象者に対する声掛け内容を提示する声掛け内容提示手順と、
前記声掛け内容提示手順で提示した声掛け内容に基づいて前記利用者が前記対象者に対して声を掛けたときの前記対象者の反応の入力を受け付ける反応入力受付手順とをコンピュータに実行させるための会話ガイドプログラムであって、
前記声掛け内容提示手順は、前記反応入力受付手順で入力を受け付けた前記対象者の反応に応じて、前記利用者に次に提示する声掛け内容を決定することを特徴とする会話ガイドプログラム。

【請求項17】

請求項１６に記載の会話ガイドプログラムにおいて、
前記声掛け内容提示手順は、あらかじめ設定されている会話フローのデータに基づいて、前記利用者に次に提示する声掛け内容を決定することを特徴とする会話ガイドプログラム。

【請求項18】

請求項１６または１７に記載の会話ガイドプログラムにおいて、
前記反応入力受付手順は、自然な反応、拒否的な反応、困惑した反応、無応答、またはこれら以外のその他の反応のいずれかを前記対象者の反応として入力を受け付けることを特徴とする会話ガイドプログラム。

【請求項19】

請求項１８に記載の会話ガイドプログラムにおいて、
前記反応入力受付手順で入力を受け付けた前記対象者の反応が困惑した反応である場合には、前記利用者に対して前記対象者を誘導するように案内する誘導案内手順をさらに有することを特徴とする会話ガイドプログラム。

【請求項20】

請求項１８または１９に記載の会話ガイドプログラムにおいて、
前記反応入力受付手順で入力を受け付けた前記対象者の反応が無応答またはその他の反応である場合には、前記利用者に対して通報を促すように案内する通報案内手順をさらに有することを特徴とする会話ガイドプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、会話ガイドシステム、会話ガイド装置、および会話ガイドプログラムに関する。

【背景技術】

【0002】

次のような認知支援システムが知られている。この認知支援システムでは、取得した音声から声紋データを抽出して参照データとして格納するとともに言語データによる氏名データを抽出して声紋データと関連づけて格納し、新たに取得した音声から抽出した声紋データを参照データと比較することにより音声の人定を行う（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１８４６２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の認知支援システムのように、発話音声の中から抽出した氏名データに基づいて個人を特定する方法が知られている。この従来のシステムでは、個人を特定するためには対象者に氏名を発話してもらう必要があるが、対象者に氏名を発話してもらうのが難しい場合もある。例えば対象者が徘徊中の認知症患者である場合などは、対象者は知らない場所で彷徨っており、人によってはパニックに近い状態に陥っている可能性がある。そのような状態の対象者に突然名前を聞いたりする行為は、対象者に恐怖感を与え、より一層の警戒心を煽ることになりかねない。そこで、対象者が名前を聞いても答えられない場合や、名前を聞ける雰囲気や状態にない場合には、声を掛けられる対象者にとって受け入れやすく、また声をかける側の人物にとっても声掛けがしやすい会話内容をガイドする方法が望まれるが、従来のシステムではこのための方法について何ら検討されていなかった。

【課題を解決するための手段】

【0005】

本発明による会話ガイドシステムは、利用者が会話の対象者と会話をするために利用者に対して会話をガイドするための会話ガイドシステムであって、利用者に対象者に対する声掛け内容を提示する声掛け内容提示手段と、声掛け内容提示手段によって提示された声掛け内容に基づいて利用者が前記対象者に対して声を掛けたときの対象者の反応の入力を受け付ける反応入力受付手段とを備え、声掛け内容提示手段は、反応入力受付手段で入力を受け付けた対象者の反応に応じて、利用者に次に提示する声掛け内容を決定することを特徴とする。
本発明による会話ガイド装置は、利用者が会話の対象者と会話をするために利用者に対して会話をガイドするための会話装置であって、利用者に対象者に対する声掛け内容を提示する声掛け内容提示手段と、声掛け内容提示手段によって提示された声掛け内容に基づいて利用者が対象者に対して声を掛けたときの対象者の反応の入力を受け付ける反応入力受付手段とを備え、声掛け内容提示手段は、反応入力受付手段で入力を受け付けた対象者の反応に応じて、利用者に次に提示する声掛け内容を決定することを特徴とする。
本発明による会話ガイドプログラムは、利用者が会話の対象者と会話をするために利用者に対して会話をガイドするために、利用者に対象者に対する声掛け内容を提示する声掛け内容提示手順と、声掛け内容提示手順で提示した声掛け内容に基づいて利用者が対象者に対して声を掛けたときの対象者の反応の入力を受け付ける反応入力受付手順とをコンピュータに実行させるための会話ガイドプログラムであって、声掛け内容提示手順は、反応入力受付手順で入力を受け付けた対象者の反応に応じて、利用者に次に提示する声掛け内容を決定することを特徴とする。

【発明の効果】

【0006】

本発明によれば、対象者の反応に応じて利用者に次に提示する声掛け内容を決定するようにしたので、声を掛けられる対象者にとって受け入れやすく、また声をかける側の人物にとっても声掛けがしやすい会話内容をガイドすることができる。

【図面の簡単な説明】

【0007】

【図1】会話ガイドシステム１０の一実施の形態の構成を示す第１のブロック図である。

【図2】利用者端末１００の一実施の形態の構成を示すブロック図である。

【図3】データベースサーバ２００の一実施の形態の構成を示すブロック図である。

【図4】会話フローの一例を示す図である。

【図5】会話ガイド画面の一例を示す第１の図である。

【図6】会話ガイド画面の一例を示す第２の図である。

【図7】会話ガイド画面の一例を示す第３の図である。

【図8】利用者端末１００で実行される処理の流れを示すフローチャート図である。

【図9】データベースサーバ２００で実行される処理の流れを示すフローチャート図である。

【発明を実施するための形態】

【0008】

図１は、本実施の形態における会話ガイドシステム１０の一実施の形態の構成を示すブロック図である。会話ガイドシステム１０は、利用者端末１００とデータベースサーバ２００とが通信ネットワーク、例えばインターネットを介して接続されている。

【0009】

利用者端末１００は、会話ガイドシステム１０の利用者が操作する端末であって、例えば、スマートフォン、タブレット端末、またはパソコンなどが用いられる。図２は、本実施の形態における利用者端末１００として、スマートフォンを用いた場合の一実施の形態の構成を示すブロック図である。利用者端末１００は、タッチパネル１０１と、通信モジュール１０２と、制御装置１０３と、マイク１０４とを備えている。

【0010】

タッチパネル１０１は、液晶パネル等の表示装置とタッチパッドのような位置入力装置を組み合わせた電子部品であり、画面上の表示を押すことで機器を操作することができる入力装置である。例えば、利用者端末１００の操作者は、液晶パネル上に表示されたボタンやメニュー等の表示項目を指やタッチペンを用いてタッチまたはスライドさせることにより、利用者端末１００を操作することができる。タッチパネル１０１は、操作者によるタッチやスライドといった操作を検出して、その検出信号を制御装置１０３へ出力する。

【0011】

通信モジュール１０２は、無線または有線によりデータベースサーバ２００と通信するための通信用モジュールを含む。

【0012】

制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、利用者端末１００の全体を制御する。なお、制御装置１０３を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリやフラッシュメモリ等の不揮発性のメモリを含む。揮発性のメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。また、不揮発性のメモリには、利用者端末１００を動作させるためのファームウェアや種々のアプリケーションを動作させるためのソフトウェアのプログラムデータが記録される。

【0013】

マイク１０４は、発話者による発話音声を入力するための集音装置である。マイク１０４から入力されたアナログデータは、制御装置１０３でデジタル信号に変換される。

【0014】

データベースサーバ２００は、利用者端末１００から送信されるデータを記録するためのデータベースが記録されるサーバ装置である。図３は、本実施の形態におけるデータベースサーバ２００の一実施の形態の構成を示すブロック図である。図３に示すように、データベースサーバ２００は、接続インターフェース２０１と、制御装置２０２と、記憶媒体２０３とを備えている。

【0015】

接続インターフェース２０１は、データベースサーバ２００をインターネット等の通信回線に接続するためのインターフェースであり、例えば、インターネットに有線で接続するための有線ＬＡＮモジュールや、インターネットに無線で接続するための無線ＬＡＮモジュールなどが用いられる。本実施の形態では、データベースサーバ２００は、この接続インターフェース２０１を介して利用者端末１００と通信する。

【0016】

制御装置２０２は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、データベースサーバ２００の全体を制御する。なお、制御装置２０２を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。例えば、接続インターフェース２０１を介して読み込まれたデータは、バッファメモリに一時的に記録される。

【0017】

記憶媒体２０３は、データベースサーバ２００が蓄える種々のデータや、制御装置２０２が実行するためのプログラムのデータ等を記録するための記憶媒体であり、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が用いられる。なお、記憶媒体２０３に記録されるプログラムのデータは、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体に記録されて提供されたり、ネットワークを介して提供され、操作者が取得したプログラムのデータを記憶媒体２０３にインストールすることによって、制御装置２０２がプログラムを実行できるようになる。

【0018】

本実施の形態における会話ガイドシステム１０は、利用者端末１００の利用者が対象者に声をかける場合に、利用者端末１００の利用者に対して、声を掛けられる対象者にとって受け入れやすく、また利用者にとっても声掛けがしやすい会話の内容をガイドし、会話によって得られた対象者の発話音声データに基づいて、声の個人識別による対象者特定を行うために利用される。

【0019】

本実施の形態では、対象者は徘徊中の認知症患者であって、利用者端末１００の利用者は徘徊中の対象者を発見した発見者である場合を想定する。近年、認知症患者の増加に伴い、徘徊による行方不明や徘徊中の事故などが増加している。統計によると、徘徊者が行方不明となってからの経過時間が長くなるにつれて死亡率が増加する傾向にあることから、徘徊者を早急に特定して保護する必要がある。徘徊者が誰であるかを特定するためには、徘徊者に発話を促して徘徊者の声の音声データを取得し、該音声データをあらかじめ登録されている音声データと照合する方法が考えられる。このためには発見者は徘徊者と会話をするために声をかける必要があるが、徘徊者は知らない場所で彷徨っており、人によってはパニックに近い状態に陥っている可能性もあるため、突然名前を聞いたりすると警戒心を与えてしまい徘徊者からの返答を得られない可能性がある。このような問題を解消するために、本実施の形態における会話ガイドシステム１０では、発見者が徘徊者を発見したときに徘徊者に警戒心を与えずに自然な会話ができるように、発見者に対して徘徊者と行う会話の内容や徘徊者に対して取るべき対応をガイドするための仕組みを提供する。以下、会話ガイドシステム１０における処理の詳細について説明する。

【0020】

本実施の形態における会話ガイドシステム１０を利用して対象者を特定するためには、事前にデータベースサーバ２００の記憶媒体２０３に記録された対象者管理用データベースに対象者データを登録する必要がある。対象者データには、例えば対象者の個人情報と対象者の発話音声と音声特徴量が含まれる。対象者の個人情報としては、例えば氏名、性別、緊急連絡先の情報などが登録される。対象者の発話音声としては、個人特定用の音声データを得るために発話者が発話した発話音声のデータが登録される。対象者の音声特徴量としては、発話者が発話した発話音声の波形データが登録される。また、緊急連絡先の情報としては、例えば緊急連絡先の電話番号やメールアドレスなどが登録される。対象者が複数の場合は、対象者ごとの対象者データがデータベースに登録される。

【0021】

利用者端末１００には、あらかじめ会話ガイドシステム１０を利用するためのアプリケーションがインストールされているものとする。利用者は、タッチパネル１０１を操作して会話ガイドシステム１０を利用するためのアプリケーションを起動することができ、該アプリケーションを起動することにより会話ガイドシステム１０の利用が可能になる。

【0022】

利用者端末１００の利用者は、徘徊中の対象者を発見した場合には該アプリケーションを起動して、タッチパネル１０１上に表示されたアプリケーション画面上に表示される会話ガイドに従って対象者との会話を試みる。利用者は、自身の声掛けに対して対象者の反応があった場合には、その反応内容をタッチパネル１０１を操作して入力すると、対象者からの反応に応じた次の声掛け内容が画面上に表示される。これを続けることにより、利用者は、画面上に表示されるガイドに従って対象者と会話することができる。また、本実施の形態における会話ガイドでは、対象者からの反応内容によっては、会話を終了して利用者に対象者の誘導を促したり関係機関への通報を促すこともできる。以下、本実施の形態における会話ガイドの内容と会話ガイドを出力するための処理内容について説明する。

【0023】

利用者端末１００の利用者に案内する会話の内容は、あらかじめ会話フローのデータが利用者端末１００のメモリに記録されている。なお、この会話フローのデータは、会話ガイドシステム１０を利用するためのアプリケーションとともに提供されてもよいし、会話ガイドシステム１０を利用するためのアプリケーションをインストールした後にデータベースサーバ２００やその他の外部装置から通信回線経由でダウンロードするようにしてもよい。

【0024】

図４は、本実施の形態における会話フローの一例を示す図である。本実施の形態における利用者端末１００には、図４に示す会話フローに沿って利用者に会話をガイドするためのデータがあらかじめメモリに記録されているものとする。図４に示す会話フローでは、利用者が対象者に対して声をかける内容がアクション内容４ａとして設定されている。利用者は自身の声掛けに対する対象者の反応を「自然」、「拒否」、「困惑」、「無応答」、「その他」の中から選択して入力できるようになっており、図４に示す会話フローでは、これらの反応に応じて利用者が取るべき次のアクションとして対象者の反応と次のアクション４ｂが設定されている。すなわち、利用者は自身の声掛けに対する対象者の反応を自然な反応を示す「自然」と、拒否的または拒絶的な反応を示す「拒否」と、困惑した反応を示す「困惑」と、対象者が応答しなかったことを示す「無応答」と、これら以外のその他の反応を示す「その他」のいずれかを対象者の反応として入力することができる。本実施の形態では、制御装置１０３は、図４に示す会話フローのデータに基づいて利用者に会話をガイドし、発見者である利用者が徘徊者である対象者と会話をする場合の例について説明する。

【0025】

「自然」、「拒否」、「困惑」、「無応答」、「その他」の判断は、対象者に接する利用者が行うことになるが、例えば本実施の形態では、利用者は、対象者が質問に答える自然な応答を行った場合には「自然」と判断し、対象者が「知らない！」、「あんた誰！」、「何だよ！」、「あっち行け！」、「もういいでしょ？」などの声掛けを拒否するような応答を行った場合には「拒否」と判断すればよい。また、対象者が「分からない」、「どうしよう？」、「困った」など、助けを求めるような応答を行った場合には「困惑」と判断し、対象者が反応しない場合、ぼんやりしている場合、独り言など曖昧な発言した場合などは「無応答」と判断し、対象者が反応せずにどんどん行ってしまう場合や暴れている場合などは「その他」と判断する。

【0026】

なお、図４に示す会話フローにおいて、アクション内容４ａに複数の言葉が表記されているものについては、これらの複数の言葉がアクション内容４ａとして設定されていてもよいし、いずれか一つの言葉がアクション内容４ａとして設定されていてもよい。また、アクション内容４ａとして複数の言葉が設定されている場合には、制御装置１０３は、ランダムに発話内容を選択して利用者にガイドするようにしてもよい。

【0027】

図４に示す例では、対象者を発見したときに最初の発する発話内容として「すみません」と「ちょっとよろしいですか」の言葉が開始時アクション４ｃとして設定されている。制御装置１０３は、アプリケーションが起動されて会話ガイドの開始が指示された場合には、タッチパネル１０１に例えば図５に示すような会話ガイド画面を表示して利用者に開始時アクション４ｃとして設定されている言葉を対象者への声掛け内容として提示して、対象者への声掛けを促す。

【0028】

図５に示すように、会話ガイド画面には、利用者にアクション内容４ａに基づいて利用者に案内する声掛け内容を表示するアクション内容表示欄５ａと、利用者が対象者の反応を入力するためのボタン５ｂ、５ｃ、５ｄが表示されている。利用者が対象者の反応を入力するためのボタンとしては、利用者が対象者の反応が自然な応答であると感じた場合にタッチする「自然な応答」ボタン５ｂと、利用者が対象者の反応が拒否的な応答であると感じた場合にタッチする「拒否的な応答」ボタン５ｃと、利用者が対象者が困惑していると感じた場合、対象者が無応答であった場合、またはその他の反応であった場合にタッチする「困惑、無応答、その他」ボタン５ｄとが表示されている。図５に示す例では、開始時アクション４ｃに基づいてアクション内容表示欄５ａに「すみません」の文字を表示して利用者に発話を促している。

【0029】

利用者は、画面上に表示された会話ガイドに従って例えば「すみません」のように対象者に声をかける。利用者は、自身の声掛けに対して対象者がどのような反応を示すかを観察し、対象者の反応に応じて「自然な応答」ボタン５ｂ、「拒否的な応答」ボタン５ｃ、「困惑、無応答、その他」ボタン５ｄのいずれかにタッチする。本実施の形態では、制御装置１０３は、「困惑、無応答、その他」ボタン５ｄがタッチされた場合には、タッチパネル１０１に「困惑」ボタンと「無応答」ボタンと「その他」ボタンとが配置された不図示の画面を表示し、該画面上で「困惑」ボタン、「無応答」ボタン、または「その他」ボタンのタッチを受け付けることにより、対象者の反応が「困惑」、「無応答」、「その他」のいずれであるかの入力を受け付ける。

【0030】

制御装置１０３は、利用者によって対象者の反応が入力されると、図４に示した会話フローのデータを参照して、入力された反応内容に応じた次のアクションを特定する。そして、制御装置１０３は、特定した次のアクションを利用者に案内するための画面をタッチパネル１０１に表示する。

【0031】

具体的には、制御装置１０３は、「自然な応答」ボタン５ｂがタッチされた場合には、図４の対象者の反応と次のアクション４ｂにおいて「自然」に対応するアクションをとるように利用者に案内する。「拒否的な応答」ボタン５ｃがタッチされた場合には、図４の対象者の反応と次のアクション４ｂにおいて「拒否」に対応するアクションをとるように利用者に案内する。「困惑、無応答、その他」ボタン５ｄがタッチされた後に不図示の「困惑」ボタンがタッチされた場合には、図４の対象者の反応と次のアクション４ｂにおいて「困惑」に対応するアクションをとるように利用者に案内する。「困惑、無応答、その他」ボタン５ｄがタッチされた後に不図示の「無応答」ボタンがタッチされた場合には、図４の対象者の反応と次のアクション４ｂにおいて「無応答」に対応するアクションをとるように利用者に案内する。「困惑、無応答、その他」ボタン５ｄがタッチされた後に不図示の「その他」ボタンがタッチされた場合には、図４の対象者の反応と次のアクション４ｂにおいて「その他」に対応するアクションをとるように利用者に案内する。

【0032】

制御装置１０３は、このようにして利用者によって入力された対象者の反応に応じて会話フローに沿って次に取るべきアクションをアクション内容表示欄５ａに表示することにより、利用者に対して対象者に取るべきアクションを案内していく。

【0033】

具体的には、制御装置１０３は、図４の対象者の反応と次のアクション４ｂとして「質問１へ」が設定されている場合には、質問１に対して設定されているアクション内容４ａをアクション内容表示欄５ａに表示して利用者に案内する。制御装置１０３は、図４の対象者の反応と次のアクション４ｂとして「質問２へ」が設定されている場合には、質問２に対して設定されているアクション内容４ａをアクション内容表示欄５ａに表示して利用者に案内する。制御装置１０３は、図４の対象者の反応と次のアクション４ｂとして「質問３」へが設定されている場合には、質問３に対して設定されているアクション内容４ａをアクション内容表示欄５ａに表示して利用者に案内する。制御装置１０３は、図４の対象者の反応と次のアクション４ｂとして「質問４」へが設定されている場合には、質問４に対して設定されているアクション内容４ａをアクション内容表示欄５ａに表示して利用者に案内する。

【0034】

また、図４の対象者の反応と次のアクション４ｂとして「謝罪１へ」が設定されている場合には、謝罪１に対して設定されているアクション内容４ａをアクション内容表示欄５ａに表示して利用者に案内する。制御装置１０３は、図４の対象者の反応と次のアクション４ｂとして「謝罪２へ」が設定されている場合には、謝罪２に対して設定されているアクション内容４ａをアクション内容表示欄５ａに表示して利用者に案内する。図４の対象者の反応と次のアクション４ｂとして「お礼１へ」が設定されている場合には、お礼１に対して設定されているアクション内容４ａをアクション内容表示欄５ａに表示して利用者に案内する。

【0035】

また、制御装置１０３は、対象者の反応が「困惑」である場合には、誘導１に対して設定されているアクション内容４ａをアクション内容表示欄５ａに表示して利用者に案内する。制御装置１０３は、対象者の反応が「無応答」である場合には、通報１に対して設定されているアクション内容４ａをアクション内容表示欄５ａに表示して利用者に案内する。制御装置１０３は、対象者の反応が「その他」である場合には、通報２に対して設定されているアクション内容４ａをアクション内容表示欄５ａに表示して利用者に案内する。

【0036】

このように、図４に示した会話フローに沿って会話を行って利用者に次に取るべきアクションを案内するようにすれば、対象者が自然な応答や拒否的な応答を続けた場合には、対象者は困っている、迷っていると訴えることなく会話が継続する可能性が高いため、利用者は最後にお礼や謝罪を行って対象者との会話を終了することになる。また、対象者の反応が「困惑」の場合には、利用者に対して対象者を誘導するように案内が出されるため、利用者は対象者を交番や救急などに誘導するなどの手助けを行うことができる。また、対象者の反応が「無応答」や「その他」の場合には、利用者に通報するように案内が出されるため、利用者は、なるべく対象者の了解を得るようにしながら、速やかに１１９番への通報、またはその地域の包括支援センターへの連絡などを行うことができる。

【0037】

例えば、図５に示す会話ガイド画面上で「自然な応答」ボタン５ｂがタッチされた場合には、図４に示す会話フローでは、開始時アクション４ｃの「自然」に対応する対象者の反応と次のアクション４ｂとして「質問１へ」が設定されている。質問１のアクション内容４ａは「はい。では、ここから一番近い駅はどこですか？」が設定されているため、制御装置１０３は、例えば図６に示すように、会話ガイド画面のアクション内容表示欄５ａに「はい。では、ここから一番近い駅はどこですか？」の文字を表示して、利用者に次の声掛け内容を案内する。

【0038】

あるいは、図５に示す会話ガイド画面上で「拒否的な応答」ボタン５ｃがタッチされた場合には、図４に示す会話フローでは、開始時アクション４ｃの「拒否」に対応する対象者の反応と次のアクション４ｂとして「謝罪１」が設定されている。謝罪１のアクション内容４ａは「ごめんなさい、道がわからなくてお聞きしたいのです」が設定されているため、制御装置１０３は、例えば図７に示すように、会話ガイド画面のアクション内容表示欄５ａに「ごめんなさい、道がわからなくてお聞きしたいのです」の文字を表示、利用者に次の声掛け内容を案内する。

【0039】

本実施の形態では、制御装置１０３は、会話ガイド画面のアクション内容表示欄５ａに利用者が取るべきアクションの内容を表示して利用者に次に取るべきアクションを案内するとともに、利用者からの声掛けに応じて対象者が応答した場合の発話音声を録音するようにマイク１０４を介した音声入力の待ち受けを開始する。制御装置１０３は、対象者の発話音声が入力された場合にはその音声データを録音する。この発話音声の録音データは以下に説明する対象者の個人識別のために使用される。

【0040】

上述したように、対象者による反応が「自然」や「拒否」の場合には、図４に示した会話フローに沿って利用者と対象者の会話が継続する。この場合には、対象者の発話音声を録音して取得することができるため、録音した対象者の発話音声を用いた個人識別が有用となる可能性が高い。このため、本実施の形態では、対象者による反応が「自然」や「拒否」の場合には、以下に説明するような対象者の個人識別処理を行う。

【0041】

制御装置１０３は、対象者による反応が「自然」の場合、または「拒否」の場合には、録音した対象者の発話音声の録音データをデータベースサーバ２００へ送信する。データベースサーバ２００では、制御装置２０２は、受信した発話音声の録音データとその音声特徴量のデータを記憶媒体２０３に記録して蓄積していく。また、制御装置２０２は、利用者端末１００から受信した録音データの音声特徴量を、記憶媒体２０３に記録されている上述した対象者データに含まれる音声特徴量と照合することにより、受信した録音データの発話者を特定する。

【0042】

制御装置２０２は、音声特徴量の照合ができた場合、すなわち記憶媒体２０３に記録されている対象者データの中に、利用者端末１００から受信した録音データの音声特徴量と一致するデータがあると判定した場合には、その対象者データに対応する対象者が発話者であると特定する。そして、制御装置２０２は、発話者を特定できた場合には、発話者である対象者の対象者データを記憶媒体２０３から読み出して、利用者端末１００へ対象者の氏名、性別、緊急連絡先の各情報を含んだ照合結果情報を送信する。また、対象者の緊急連絡先として登録されているメールアドレスに宛てて対象者が発見されたことが記載されたメッセージを送信することにより、緊急連絡先として登録されている連絡先へ通報する。これによって対象者の緊急連絡先として登録されている人物は、対象者が徘徊中に発見されたことを把握することができる。

【0043】

利用者端末１００では、制御装置１０３は、データベースサーバ２００から照合結果情報を受信した場合には、データベースサーバ２００から受信した情報をタッチパネル１０１に表示した画面上に表示する。。これによって、利用者は自身が発見した対象者の情報を把握することができ、必要に応じて対象者の緊急連絡先へ報告したりすることができる。また、制御装置１０３は、データベースサーバ２００から照合結果情報を受信した場合には、図４に示した会話フローに基づく会話ガイドを終了する

【0044】

一方、制御装置２０２は、音声特徴量の照合ができなかった場合には、利用者端末１００へ音声特徴量の照合ができなかったことを通知する。利用者端末１００では、制御装置１０３は、データベースサーバ２００から音声特徴量の照合ができなかったことが通知された場合には、図４に示す会話フローに従って会話ガイドを継続する。すなわち、制御装置１０３は、上述したように、図４に示す会話フローに基づいて、利用者に対象者の反応に応じた次のアクションを案内するための表示を行う。そして、制御装置１０３は、対象者による反応が「自然」の場合、または「拒否」の場合には、録音した対象者の発話音声の録音データをデータベースサーバ２００へ送信し、データベースサーバ２００において上述した対象者の個人識別のための処理が行われる。

【0045】

これによって、対象者の発話音声に基づいて個人識別ができなかった場合には利用者に会話の継続を促して対象者が特定できるまで会話を継続させることができる。また、対象者が特定できた場合には、その時点で対象者との会話を終了させて利用者に対象者の特定結果を通知することができる。

【0046】

図８は、本実施の形態における利用者端末１００で実行される処理の流れを示すフローチャートである。図８に示す処理は、上述したように、アプリケーションが起動されて会話ガイドの開始が指示されると起動するプログラムとして、制御装置１０３によって実行される。

【0047】

ステップＳ１０では、制御装置１０３は、上述したように、会話フローのデータに基づいて、利用者にアクションを促すための情報を会話ガイド画面のアクション内容表示欄５ａに出力して表示する。その後、ステップＳ２０へ進む。

【0048】

ステップＳ２０では、制御装置１０３は、マイク１０４を介した音声入力の待ち受けを開始して対象者の発話音声を録音する。その後、ステップＳ３０へ進む。

【0049】

ステップＳ３０では、制御装置１０３は、利用者によって入力された対象者の反応が「自然」または「拒否」であるか否かを判断する。ステップＳ３０で否定判断した場合には、後述するステップＳ７０へ進む。これに対して、ステップＳ３０で肯定判断した場合には、ステップＳ４０へ進む。

【0050】

ステップＳ４０では、制御装置１０３は、録音した対象者の発話音声の録音データをデータベースサーバ２００へ送信する。その後、ステップＳ５０へ進む。

【0051】

ステップＳ５０では、制御装置１０３は、データベースサーバ２００から上述した照合結果情報を受信したか否かを判断する。ステップＳ５０で否定判断した場合、すなわちデータベースサーバ２００から照合結果情報を受信せずに音声特徴量の照合ができなかったことが通知された場合には、後述するステップＳ７０へ進む。これに対して、ステップＳ５０で肯定判断した場合には、ステップＳ６０へ進む。

【0052】

ステップＳ６０では、制御装置１０３は、データベースサーバ２００から受信した情報をタッチパネル１０１上に表示する。その後、ステップＳ７０へ進む。

【0053】

ステップＳ７０では、制御装置１０３は、会話ガイドを終了するか否かを判断する。本実施の形態では、上述したように、図４に示した会話フローで次のアクションが「終了」の場合、「誘導１」の場合、「通報１」の場合、「通報２」の場合に、制御装置１０３は会話ガイドを終了すると判断する。また、制御装置１０３は、上述したように、データベースサーバ２００から照合結果情報を受信した場合にも会話ガイドを終了すると判断する。ステップＳ７０で肯定判断した場合には、処理を終了する。

【0054】

一方、ステップＳ７０で否定判断した場合にはステップＳ１０へ戻る。この場合、ステップＳ１０では、図４に示した会話フローに基づいて、対象者の反応と次のアクション４ｂで設定されている次のアクションを促すための表示を会話ガイド画面のアクション内容表示欄５ａに出力する。

【0055】

図９は、本実施の形態におけるデータベースサーバ２００で実行される処理の流れを示すフローチャートである。図９に示す処理は、利用者端末１００から上述した対象者の発話音声の録音データを受信すると起動するプログラムとして、制御装置２０２によって実行される。なお、図９においては、上述した対象者データはあらかじめ記憶媒体２０３に記録されているものとする。

【0056】

ステップＳ１１０において、制御装置２０２は、上述したように、受信した発話音声の録音データとその音声特徴量のデータを記憶媒体２０３に記録する。その後、ステップＳ１２０へ進む。

【0057】

ステップＳ１２０では、制御装置２０２は、利用者端末１００から受信した録音データの音声特徴量を、記憶媒体２０３に記録されている対象者データに含まれる音声特徴量と照合する。その後、ステップＳ１３０へ進む。

【0058】

ステップＳ１３０では、制御装置２０２は、音声特徴量の照合の結果、一致するデータがあるか否かを判断する。ステップＳ１３０で肯定判断した場合には、ステップＳ１４０へ進む。

【0059】

ステップＳ１４０では、音声特徴量が一致した人物を対象者として特定し、その対象者の氏名、性別、緊急連絡先の各情報を含んだ照合結果情報を利用者端末１００へ送信する。その後、ステップＳ１５０へ進む。

【0060】

ステップＳ１５０では、制御装置２０２は、対象者の緊急連絡先として登録されているメールアドレスに宛てて対象者が発見されたことが記載されたメッセージを送信して、緊急連絡先へ通報する。その後、処理を終了する。

【0061】

一方、ステップＳ１３０で否定判断した場合には、ステップＳ１６０へ進む。ステップＳ１６０では、制御装置２０２は、利用者端末１００へ音声特徴量の照合ができなかったことを通知する。その後、処理を終了する。

【0062】

以上説明した実施の形態によれば、以下のような作用効果を得ることができる。
（１）利用者端末１００では、制御装置１０３は、利用者に対象者に対する声掛け内容を提示し、提示した声掛け内容に基づいて利用者が対象者に対して声を掛けたときの対象者の反応の入力を受け付け、対象者の反応に応じて利用者に次に提示する声掛け内容を決定するようにした。これによって、声を掛けられる対象者にとって受け入れやすく、また声をかける側の人物にとっても声掛けがしやすい会話内容をガイドすることができる。

【0063】

（２）制御装置１０３は、あらかじめ設定されている会話フローのデータに基づいて、利用者に最初に提示する声掛け内容と、利用者に次に提示する声掛け内容とを決定するようにした。これによって、上述したような徘徊者を発見した場合の声掛け内容など、想定される場面に応じた会話フローをあらかじめ設定しておけば、適切な声掛け内容を利用者に案内することができる。

【0064】

（３）制御装置１０３は、自然な反応、拒否的な反応、困惑した反応、無応答、またはこれら以外のその他の反応のいずれかを対象者の反応として入力を受け付けるようにした。これによって、対象者の様々な反応に対応して、各反応ごとに適切な声掛け内容を提示することができる。

【0065】

（４）制御装置１０３は、対象者の反応が困惑した反応である場合には、利用者に対して対象者を誘導するように案内するようにした。これによって、対象者が利用者の声掛けに対して困惑した反応を示した場合に、利用者は交番や救急などに誘導するなどして対象者の手助けを行うことができる。

【0066】

（５）制御装置１０３は、対象者の反応が無応答またはその他の反応である場合には、利用者に対して通報を促すように案内するようにした。これによって、対象者が利用者の声掛けに対して応答しない場合や想定外の反応を示した場合には、利用者は警察、救急、または地域の包括支援センターなどへの連絡を行うことができる。

【0067】

（６）制御装置１０３は、提示された声掛け内容に基づいて利用者が対象者に対して声を掛けたときの対象者の発話音声を録音し、入力された対象者の反応が自然な反応または拒否的な反応である場合には、録音データをデータベースサーバ２００へ送信するようにした。そして、データベースサーバ２００の制御装置２０２は、受信した録音データに基づいて発話音声の音声特徴量を特定し、特定した音声特徴量に基づいて対象者を特定するようにした。これによって、対象者による反応が「自然」や「拒否」の場合には、利用者と対象者の会話が継続する可能性が高く、音声認識による対象者の特定が可能である可能性が高いことから、対象者の発話音声を録音して録音データに基づいて対象者を特定することができる。

【0068】

（７）制御装置２０２は、あらかじめ登録されている対象者の発話音声の音声特徴量と、録音された録音データの音声特徴量とを照合することにより、対象者を特定するようにした。これによって音声特徴量を照合する公知の方法を用いて対象者を特定することができる。

【0069】

（８）あらかじめ登録されている対象者の発話音声の音声特徴量と、録音データの音声特徴量とを照合した結果、あらかじめ登録されている音声特徴量の中に録音データの音声特徴量に一致するものがないときは、利用者端末１００での声掛け内容の提示を継続し、あらかじめ登録されている音声特徴量の中に録音データの音声特徴量に一致するものがあるときは、利用者端末１００での声掛け内容の提示を終了するようにした。これによって、対象者の発話音声に基づいて個人識別ができなかった場合には利用者に会話の継続を促して引き続き音声による対象者の特定を試みることができる。また、対象者が特定できた場合には、その時点で対象者との会話を終了させて利用者に対象者の特定結果を通知することができる。

【0070】

（９）制御装置２０２は、音声照合の結果、対象者が特定された場合には、利用者端末１００に対象者の個人情報を含んだ照合結果情報を送信するようにした。これによって、利用者は対象者の個人情報を把握することができ、必要に応じて対象者の緊急連絡先へ報告したり、警察や救急へ通報したりすることができる。

【0071】

（１０）制御装置２０２は、音声照合の結果、対象者が特定された場合には、対象者の緊急連絡先へ通報するようにした。これによって対象者の緊急連絡先として登録されている人物は、対象者が利用者によって声を掛けられたときにそれを把握することができるため、例えば対象者が徘徊者である場合には、徘徊中の対象者が発見されたことを把握することができる。

【0072】

―変形例―
なお、上述した実施の形態の会話ガイドシステムは、以下のように変形することもできる。
（１）上述した実施の形態では、対象者は徘徊中の認知症患者であって、利用者端末１００の利用者は徘徊中の対象者を発見した発見者である場合を想定する例について説明した。しかしながら、利用者があらかじめ設定された会話フローに沿って対象者に声を掛ける場面が想定される場合には、利用者と対象者の組み合わせは発見者と徘徊者には限定されない。

【0073】

（２）上述した実施の形態では、利用者は自身の声掛けに対する対象者の反応を「自然」、「拒否」、「困惑」、「無応答」、および「その他」の中から選択して入力できる例について説明した。しかしながら、会話ガイドシステム１０の利用目的に応じて想定される対象者の反応であれば、対象者の反応は「自然」、「拒否」、「困惑」、「無応答」、および「その他」に限定されない。

【0074】

（３）上述した実施の形態では、会話フローのデータは利用者端末１００のメモリに記録されている例について説明した。しかしながら会話フローのデータはデータベースサーバ２００の記憶媒体２０３に記録されており、利用者端末１００の制御装置１０３は、記憶媒体２０３に記録されている会話フローのデータを参照するようにしてもよい。

【0075】

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

【符号の説明】

【0076】

１０ 会話ガイドシステム
１００ 利用者端末
１０１ タッチパネル
１０２ 通信モジュール
１０３ 制御装置
１０４ マイク
２００ データベースサーバ
２０１ 接続インターフェース
２０２ 制御装置
２０３ 記憶媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】