(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-01
(45)【発行日】2024-08-09
(54)【発明の名称】情報提供システム、端末装置、及びサーバ
(51)【国際特許分類】
G10L 13/10 20130101AFI20240802BHJP
G10L 15/22 20060101ALI20240802BHJP
【FI】
G10L13/10 114
G10L15/22 300Z
(21)【出願番号】P 2023016185
(22)【出願日】2023-02-06
(62)【分割の表示】P 2022017187の分割
【原出願日】2013-05-29
【審査請求日】2023-02-06
(31)【優先権主張番号】P 2012137065
(32)【優先日】2012-06-18
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2012137066
(32)【優先日】2012-06-18
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2012137067
(32)【優先日】2012-06-18
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】519458587
【氏名又は名称】CASE特許株式会社
(74)【代理人】
【識別番号】100082500
【氏名又は名称】足立 勉
(72)【発明者】
【氏名】足立 勉
(72)【発明者】
【氏名】横井 丈誠
(72)【発明者】
【氏名】林 茂
(72)【発明者】
【氏名】近藤 健純
(72)【発明者】
【氏名】黒田 辰美
(72)【発明者】
【氏名】毛利 大介
(72)【発明者】
【氏名】野澤 豪生
(72)【発明者】
【氏名】竹中 謙史
(72)【発明者】
【氏名】川西 毅
(72)【発明者】
【氏名】水野 健司
(72)【発明者】
【氏名】前川 博司
(72)【発明者】
【氏名】岩田 誠
【審査官】山下 剛史
(56)【参考文献】
【文献】国際公開第2006/070877(WO,A1)
【文献】特開2009-151766(JP,A)
【文献】特開2002-342356(JP,A)
【文献】特開2001-256036(JP,A)
【文献】特開平3-120995(JP,A)
【文献】特開2003-108376(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 13/00-15/34
G06Q 10/00-99/00
G06F 3/16,17/30
(57)【特許請求の範囲】
【請求項1】
要求の要求元となる要求元装置と、情報提供元となる提供元装置と、前記要求元装置及び前記提供元装置との通信が可能なサーバと、を備える情報提供システムであって、
前記要求元装置は、
文字情報を含み、前記提供元装置を指定した要求である指定要求を前記サーバに送信するように構成された指定要求送信部、を備え、
前記サーバは、
前記指定要求に含まれる文字情報に応じたデータの種別を選択し、前記指定要求にて指定された提供元装置に対して、
前記データの種別についての情報提供を求める要求である提供要求を送信するように構成された提供要求送信部と、
前記提供要求に対して前記提供元装置から提供情報を取得し、該提供情報に基づいて前記要求元装置に情報提供するように構成された回答送信部と、
を備え、
前記提供元装置は、
情報提供を許可するよう設定されているか否かを判定するように構成された判定部と、前記情報提供を許可されている場合に、前記提供要求に応じた提供情報を前記サーバに送信し、前記情報提供を許可されていない場合に、情報提供を拒否するように構成された提供部と、
を備える情報提供システム。
【請求項2】
請求項1に記載の情報提供システムであって、
前記要求元装置の機能は、操作部を介した操作、又は音声によって起動され、前記指定要求は音声によって入力される、
ように構成された情報提供システム。
【請求項3】
請求項1又は請求項2に記載の情報提供システムであって、
前記要求元装置は、車両に搭載される
情報提供システム。
【請求項4】
請求項1から請求項3までの何れか1項に記載の情報提供システムであって、
前
記提供元装置は、
当
該提供元装置の環境を検知するセンサをさらに備え、
前記提供部は、前記提供情報として前記センサから得られたデータを前記サーバに送信する
ように構成された情報提供システム。
【請求項5】
使用者と共に移動可能に構成された端末装置であって、
当該端末装置は、請求項1から請求項4までの何れか1項に記載の情報提供システムを構成する要求元装置、
として構成される端末装置。
【請求項6】
使用者と共に移動可能に構成された端末装置であって、
当該端末装置は、請求項1から請求項4までの何れか1項に記載の情報提供システムを構成する提供元装置、
として構成される端末装置。
【請求項7】
要求の要求元となる要求元装置、及び情報提供元となる提供元装置と通信可能に構成されたサーバであって、
前記要求元装置から、文字情報を含み、前記提供元装置を指定した要求
である指定要求を取得した場合に、
前記指定要求に含まれる文字情報に応じたデータの種別を選択し、該指定された提供元装置であって情報提供を許可するよう設定されているか否かを判定するように構成された提供元装置に対して、
前記データの種別についての情報提供を求める要求を送信し、前記情報提供を許可されている場合、前記提供元装置から提供される提供情報を取得するように構成された情報取得部と、
前記要求元装置からの要求に対する提供情報を前記要求元装置に提供するように構成された提供部と、
を備えるサーバ。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本国際出願は、2012年6月18日に日本国特許庁に出願された日本国特許出願第2 012-137065号、日本国特許出願第2012-137066号、および日本国特許出願第2012-137067号に基づく優先権を主張するものであり、日本国特許出願第2012-137065号、日本国特許出願第2012-137066号、および日本国特許出願第2012-137067号の全内容を参照により本国際出願に援用する。
【技術分野】
【0002】
本発明は、情報提供システム、端末装置、及びサーバに関する。
【背景技術】
【0003】
入力された質問に対する回答を辞書から検索し、検索した回答を音声で出力するものが知られている(例えば特許文献1参照)。また、使用者との対話の内容に基づいて質問に対する回答を生成する技術も知られている(例えば特許文献2参照)。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第4832097号公報
【文献】特許第4924950号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
情報提供システム、端末装置、及びサーバにおいて、使用者にとってより使い勝手をよくすることが本発明の一側面である。
【課題を解決するための手段】
【0006】
第1局面の発明においては、要求の要求元となる要求元装置と、情報提供元となる提供元装置と、前記要求元装置及び前記提供元装置との通信が可能なサーバと、を備える情報提供システムであって、
前記要求元装置は、
前記提供元装置を指定した要求である指定要求を前記サーバに送信するように構成された指定要求送信部、を備え、
前記サーバは、
前記指定要求にて指定された提供元装置に対して、情報提供を求める要求である提供要求を送信するように構成された提供要求送信部と、
前記提供要求に対して前記提供元装置から提供情報を取得し、該提供情報に基づいて前記要求元装置に情報提供するように構成された回答送信部と、
を備え、
前記提供元装置は、
情報提供を許可するよう設定されているか否かを判定するように構成された判定部と、
前記情報提供を許可されている場合に、前記提供要求に応じた提供情報を前記サーバに送信し、前記情報提供を許可されていない場合に、情報提供を拒否するように構成された提供部と、
を備える。
別の局面の発明では、
要求の要求元となる要求元装置と、情報提供元となる提供元装置と、前記要求元装置及び前記提供元装置と通信可能なサーバと、を備える音声応答システムであって、
前記提供元装置は、情報提供を許可するか否かを設定可能に構成され、
前記サーバは、前記要求元装置からの要求を取得し、該要求に前記提供元装置を指定した要求が含まれる場合に、該指定された提供元装置に対して、要求を送信し、前記情報提供を許可されている場合、前記提供元装置から提供される提供情報を取得するように構成された情報取得部と、
前記要求元装置からの要求に対する応答として、前記提供情報に基づく音声による応答を生成し、該応答を前記要求元装置に提供するように構成された提供部と、
を備える。
別の局面の発明では、
入力された文字情報に対する応答を音声で行わせる音声応答装置であって、
前記文字情報に対する複数の異なる応答を取得する応答取得手段と、
前記複数の異なる応答をそれぞれ異なる声色で出力させる音声出力手段と、
を備えたことを特徴とする。
【0007】
このような音声応答装置によれば、複数の応答を異なる声色で出力させることができるので、1の文字情報に対する解が1つに特定できない場合であっても、異なる解を異なる声色で使用者に分かりやすく出力することができる。よって、使用者にとってより使い勝手をよくすることができる。
【0008】
なお、本発明の音声応答装置は、例えば、使用者が所持する端末装置として構成されていてもよいし、この端末装置と通信を行うサーバとして構成されていてもよい。また、文字情報は、キーボード等に入力手段を利用して入力されてもよいし、音声を文字情報に変換することで入力されてもよい。
【0009】
ところで、上記音声応答装置においては、第2局面の発明のように、
使用者が音声を入力するための音声入力手段と、入力された音声を文字情報に変換し、
該文字情報に対する複数の異なる応答を生成して当該音声応答装置に送信する外部装置、に対して送信する音声送信手段と、
を備え、
前記応答取得手段は、前記外部装置から前記応答を取得する
ようにしてもよい。
【0010】
このような音声応答装置によれば、音声応答装置では音声を入力することができるので、文字情報を音声で入力する構成とすることができる。また、外部装置において応答を生成する構成とすることができるので、音声応答装置での処理負荷を軽減することができる。
【0011】
なお、音声送信手段においては、「入力された音声を文字情報に変換」する作動を音声応答装置で行ってもよいし、外部装置で行ってもよい。
さらに、上記音声応答装置においては、第3局面の発明のように、
当該音声応答装置または前記外部装置には、複数の文字情報のそれぞれに対して、各文字情報に対する肯定的応答と否定的応答とを含む複数の異なる応答が記録された応答記録手段、を備え、
前記応答取得手段は、前記複数の異なる応答として前記肯定的応答と前記否定的応答とを取得し、
前記音声出力手段は、前記肯定的応答と前記否定的応答とで異なる声色で再生するようにしてもよい。
【0012】
このような音声応答装置によれば、肯定的応答と否定的応答というように、立場の異なる応答を異なる声色で再生することができるので、別人物が話しているかのように音声を再生することができる。よって、音声を聞く使用者に違和感を覚えさせにくくすることができる。
【0013】
なお、応答の種別や応答の際の言葉遣いによって声色を変更してもよい。例えば、優しい口調で応答を行う場合には、落ち着いた女性の音声で再生し、激しい口調で応答する場合には、勇ましい男性の音声で応答するなどすればよい。つまり、応答内容と性格とを対応付けておき、性格に応じて声色を設定するようにすればよい。
【0014】
また、上記音声応答装置においては、第4局面の発明のように、仕事場や会社の受付で利用する構成とし、或いは使用者が誰かに直接言いにくいことを代わりに伝える構成とすることができる。
【0015】
受付において音声応答装置を利用する場合には、セールスに来る者の名前と会社名を音声応答装置や外部装置に予め記録しておき、受付に来たものが、この名前や会社名を名乗った場合には、断る文句の音声を再生するように、応答を生成すればよい。
【0016】
また、言いにくいことを代わりに伝える構成とする場合には、例えば、デート前に、今日はこのようなことを言いたいと本装置に話しかけておくと、適当なタイミング(例えば予め設定した時刻や、会話が途切れてから一定時間が経過した場合など)で、音声応答装置が代わりに話してくれる(音声を再生する)ようにすればよい。
【0017】
或いは、言いにくいことのきっかけになる言葉、例えば「そういえば何か彼女に話すって言ってなかったっけ?」のような言葉、を話す構成としてもよい。つまり、直ちに応答を出力するのではなく、一定時間経過後など、再生条件が成立した場合に応答を出力するようにしてもよい。
【0018】
さらに、上記音声応答装置においては、第5局面の発明のように、外部装置または音声応答装置は、文字情報に対する応答を生成するための情報を他の音声応答装置から取得するようにしてもよい。また、上記音声応答装置においては、第6局面の発明のように、文字情報に対する応答を生成するための情報を他の音声応答装置から要求された場合、この要求に応じた情報を返すようにしてもよい。
【0019】
この場合、音声応答装置は、位置情報、温度、湿度、照度、騒音レベル等を検出するためのセンサ類や、辞書情報などのデータベースを備えておき、要求に応じて必要な情報を抽出するようにすればよい。
【0020】
このような音声応答装置(外部装置)によれば、他の音声応答装置から応答を生成するための情報を取得することができる。この場合、他の音声応答装置の位置等、他の音声応答装置固有の情報を取得することができる。
【0021】
また、他の音声応答装置に自身固有の情報を送信することができる。
さらに、上記音声応答装置においては、第7局面の発明のように、自身または他の音声応答装置が出力した応答(例えば、肯定的応答や否定的応答)を文字情報として入力し、この応答に対する反論を行うための応答を生成するようにしてもよい。つまり、使用者の立場からすると、賛成の立場と反対の立場との両方の意見による議論を聞くことができる。そして、この議論を聞いたうえで、使用者は最終判断を行うことができる。
【0022】
この構成は、1台または複数の音声応答装置を用いて実現できる。この場合、複数の音声応答装置が音声をやり取りするには、音声を直接入出力してもよいし、無線等による通信を利用してもよい。
【0023】
また、第8局面の発明においては、
入力された文字情報に対する応答を音声で行わせる音声応答装置であって、
使用者または使用者に関係がある者を表す関係者の性格を予め設定された区分に従って対応付けた性格情報を取得する性格情報取得手段と、
前記文字情報に対する複数の異なる応答を表す応答候補を取得する応答取得手段と、
前記性格情報に応じて応答候補から出力させる応答を選択し、該選択した応答を出力させる音声出力手段と、
を備えたことを特徴とする。
【0024】
このような音声応答装置によれば、使用者や使用者に関係がある者(関係者)の性格に応じて異なる応答を行うことができる。よって、使用者にとって使い勝手を良くすることができる。
【0025】
また、上記音声応答装置においては、第9局面の発明のように、
予め設定された複数の質問に対する回答に基づいて前記使用者または前記関係者の性格情報を生成する第1性格情報生成手段を備え、
前記性格情報取得手段は、前記性格情報生成手段で生成された性格情報を取得する
ようにしてもよい。
【0026】
このような音声応答装置によれば、性格情報を音声応答装置において生成することができる。なお、性格情報を生成する際には、周知の性格分析技術(ロールシャッハ・テスト、ソンディ・テスト等)を利用すればよい。また、性格情報を生成する際には、企業等が採用試験に利用する適性検査の技術を利用してもよい。
【0027】
さらに、上記音声応答装置においては、第10局面の発明のように、
前記入力された文字情報に含まれる文字列に基づいて前記使用者または前記関係者の性格情報を生成する第2性格情報生成手段を備え、
前記性格情報取得手段は、前記性格情報生成手段で生成された性格情報を取得する
ようにしてもよい。
【0028】
このような音声応答装置によれば、使用者が音声応答装置を利用する過程で性格情報を生成することができる。
また、上記音声応答装置においては、第11局面の発明のように、
文字情報に含まれる文字列に基づいて前記使用者または前記関係者の嗜好の傾向を示す嗜好情報を生成する嗜好情報生成手段、を備え、
前記音声出力手段は、前記嗜好情報に基づいて前記応答候補から出力させる応答を選択し、該選択した応答を出力させる
ようにしてもよい。
【0029】
このような音声応答装置によれば、使用者または関係者の好みに応じて応答を行うことができる。
さらに、上記音声応答装置においては、第12局面の発明のように、使用者の行動(会話、移動した場所、カメラに映ったもの)を学習(記録および解析)しておき、使用者の会話における言葉足らずを補うようにしてもよい。
【0030】
例えば、「今日はハンバーグでいい?」との質問に対して「カレーがいいな。」と使用者が回答する会話に対して、本装置が「昨日ハンバーグだったからね」と補うと、使用者が、カレーがいいと発言した理由が伝わる。
【0031】
また、このような構成は、電話中に実施することもでき、また、使用者の会話に勝手に参加するよう構成してもよい。
さらに、上記音声応答装置においては、第13局面の発明のように、
応答候補を所定のサーバ、またはインターネット上から取得する応答候補取得手段、
を備えていてもよい。
【0032】
このような音声応答装置によれば、応答候補を自装置や外部装置だけでなく、インターネットや専用線等で接続された任意の装置から取得することができる。
また、上記音声応答装置においては、第14局面の発明のように、
使用者による動作を文字情報に変換する文字情報生成手段、
を備えていてもよい。
【0033】
ここで、本発明でいう動作には、会話、文字の手書き、或いは身振り手振り(例えば手話)等の筋肉の動作に起因するものが該当する。
このような音声応答装置によれば、使用者の動作を文字情報に変換することができる。
【0034】
さらに、上記音声応答装置においては、第15局面の発明のように、
文字情報生成手段は、使用者の発話による音声を文字情報に変換し、発声時の癖(発音上の癖など)を学習情報として蓄積する(特徴を捉えてこの特徴を記録しておく)
ようにしてもよい。
【0035】
このような音声応答装置によれば、学習情報に基づいて文字情報を生成することができるので、文字情報の生成精度を向上させることができる。
また、上記音声応答装置においては、第16局面の発明のように、
前記学習情報を他の音声応答装置に転送する転送手段、
を備えていてもよい。
【0036】
このような音声応答装置によれば、使用者が他の音声応答装置を利用する場合においても、本音声応答装置で記録された学習情報を利用することができる。よって、他の音声応答装置を利用する場合においても文字情報の生成精度を向上させることができる。
【0037】
さらに、上記音声応答装置においては、第17局面の発明のように、使用者の行動および操作のうちの何れかを検出し、これらに基づいて学習情報または性格情報を生成するようにしてもよい。
【0038】
このような音声応答装置によれば、例えば、使用者が数日間連続で電車に飛び乗ることを検出した場合には、翌日からは数分早く家を出るよう促したり、会話から使用者に怒りやすい傾向があることを検出した場合には、気分を抑える音声や音楽を出力したりすることができる。
【0039】
また、上記音声応答装置においては、第18局面の発明のように、
他の音声応答装置から他の音声応答装置に記録されている情報を取得する他装置情報取得手段を備えていてもよい。
【0040】
このような音声応答装置によれば、他の音声応答装置に記録された情報に基づいて応答を生成することができる。
さらに、上記の音声応答装置においては、第19局面の発明のように、
前記文字情報が入力されない場合において、当該音声応答装置の状況が予め音声を出力させる条件として設定された再生条件に合致するか否かを判定する再生条件判定手段と、
前記再生条件に合致する場合に、予め設定されたメッセージを出力させるメッセージ再生手段と、
を備えていてもよい。
【0041】
このような音声応答装置によれば、文字情報が入力されない場合(つまり、使用者が話しかけない場合)であっても、音声を出力させることができる。例えば、強制的に使用者に発話させることで、自動車運転中の眠気抑制対策に利用することができる。また、一人暮らしの者が応答するか否かを判定することで、安否確認を行うことができる。
【0042】
また、上記音声応答装置においては、第20局面の発明のように、
メッセージ再生手段は、ニュースの情報を取得し、該ニュースに関するメッセージを使用者の回答を求める質問形式で出力させる
ようにしてもよい。
【0043】
このような音声応答装置によれば、ニュースに関する会話をすることができるので、いつも同じ会話ばかりになることを抑制することができる。会話の内容としては、例えば、ある会社の株価に関する情報を取得できた場合には、「今日の○○会社の株価が○○円上がりましたね。ご存じでしたか?」などとすることができる。
【0044】
さらに、上記音声応答装置においては、第21局面の発明のように、
音声出力手段またはメッセージ再生手段は、予め設定されたメッセージに別途取得した(ニュースや環境(気温、天気、位置情報等の)外部取得情報を付加して出力させる
ようにしてもよい。
【0045】
このような音声応答装置によれば、所定のメッセージと取得した情報とを組み合わせた応答を出力することができる。
また、上記音声応答装置においては、第22局面の発明のように、
複数のメッセージを取得し、メッセージの再生頻度に応じて再生するメッセージを選択して出力させる
ようにしてもよい。
【0046】
このような音声応答装置によれば、再生頻度が高いメッセージを再生しにくくすることで、メッセージ再生時のランダム性を奏したり、敢えて再生頻度が高いメッセージを繰り返し再生することで注意喚起や記憶の定着を促したりすることができる。
【0047】
さらに、上記音声応答装置においては、第23局面の発明のように、
応答やメッセージに対する回答が得られない場合に、予め設定された連絡先に対して、使用者を特定する情報、および回答が得られなかった旨を送信する未回答時送信手段、
を備えていてもよい。
【0048】
このような音声応答装置によれば、回答が得られない場合に連絡先に通報することができる。よって、例えば、一人暮らしの老人等の異常を早期に通報することができる。
また、上記音声応答装置においては、第24局面の発明のように、
メッセージ再生手段は、会話内容を記憶し、聞いた内容について同じ内容を得るための質問をする(記憶確認処理)
ようにしてもよい。
【0049】
このような音声応答装置によれば、使用者の記憶力の確認をするとともに、記憶の定着を図ることができる。
さらに、上記音声応答装置においては、第25局面の発明のように、
使用者が入力する音声の発音やアクセントの正確度合を検出する発話正確度検出手段と、
検出した正確度合を出力する正確度合出力手段と、
を備えていてもよい。
【0050】
このような音声応答装置によれば、発音やアクセントの正確性を確認することができる。例えば外国語の練習を行う際に有効である。
また、上記音声応答装置においては、第26局面の発明のように、
前記正確度合出力手段は、正確度合が一定値以下の場合に、最も近い単語を含む音声を出力する
ようにしてもよい。
【0051】
このような音声応答装置によれば、使用者が発音やアクセントの正確性を確認することができる。
さらに、上記音声応答装置においては、第27局面の発明のように、
メッセージ再生手段は、正確度合が一定値以下の場合に、再度、同じ質問を出力させるようにしてもよい。
【0052】
このような音声応答装置によれば同じ質問を出力することによって正確な回答を求めることができる。
また、上記音声応答装置においては、第28局面の発明のように、
入力された文字情報によって通信相手を特定し、通信相手毎に予め設定された通信先と前記通信相手とを接続する接続制御手段、
を備えていてもよい。
【0053】
このような音声応答装置によれば、受付業務や電話対応を補助することができる。
特に、上記音声応答装置においては、第29局面の発明のように、
接続制御手段は、営業活動(セールス)、来客を識別し、営業活動であれば断るメッセージを再生する
ようにしてもよい。
【0054】
このような音声応答装置によれば、使用者の業務に支障がある虞がある者を、自身が対応することなく排除することができる。
さらに、上記音声応答装置においては、第30局面の発明のように、入力された文字情報(特に音声)に含まれるキーワードを抽出し、キーワードが該当する接続先に接続するようにしてもよい。なお、例えば相手先の名称等のキーワードとその接続先とは予め対応付けておけばよい。
【0055】
このような音声応答装置によれば、電話の転送や受付への呼び出し等の業務を補助することができる。
また、上記音声応答装置においては、第31局面の発明のように、キーワードに基づいて相手が話す要件を認識し、相手が話した概要を使用者に伝えるようにしてもよい。
【0056】
このような音声応答装置によれば、客先との取次の業務を補助することができる。
さらに、上記音声応答装置においては、第32局面の発明のように、
使用者によって入力された音声について、声色から感情を読み取り、通常、怒り、喜び、困惑、悲しみ、高揚のうちの少なくとも1つを含む感情のうちの、何れの感情に該当するかを出力する感情判定手段
を備えていてもよい。
【0057】
このような音声応答装置によれば、使用者の感情に応じて応答を出力することができる。
次に、第33局面の発明は、
前記文字情報が入力された際に、当該音声応答装置の周囲を撮像した撮像画像に応じた応答を生成する応答生成手段と、
前記応答を音声で出力させる音声出力手段と、
を備えたことを特徴とする。
【0058】
このような音声応答装置によれば、撮像画像に応じて応答を音声で出力することができる。したがって、文字情報のみから応答を生成する構成と比較して使い勝手を向上させることができる。
【0059】
本発明の具体的構成としては、例えば、認識したものが何かを応答するよう文字情報を入力し、撮像画像から認識したものが何か(誰か)を音声で出力するなどの構成が挙げられる。
【0060】
ところで、上記音声応答装置においては、第34局面の発明のように、
文字情報に含まれる物体を撮像画像中から画像処理によって検索し、該検索された物体の位置を特定する位置特定手段検索手段と、
前記物体の位置まで案内する案内手段と、
を備えていてもよい。
【0061】
このような音声応答装置によれば、撮像画像中の物体まで使用者を案内することができる。
さらに、上記音声応答装置においては、第35局面の発明のように、
文字情報を音声で入力する際において使用者の口の形状を撮像した動画像を取得する音
声入力動画取得手段と、
前記音声を文字情報に変換し、かつ、該動画像に基づいて、音声の不明確な部分を推定して文字情報を補正する文字情報変換手段と、
を備えていてもよい。
【0062】
このような音声応答装置によれば、口の形状から発声内容を推定することできるので、音声の不明確な部分を良好に推定することができる。
また、上記音声応答装置においては、第36局面の発明のように、
メッセージ再生手段は、思いがけずに発する音声を検出することによって使用者の苛立ちや動揺を検出し、苛立ちや動揺を抑制するためのメッセージを生成する
ようにしてもよい。
【0063】
このような音声応答装置によれば、使用者に苛立ちや動揺がある場合に、これらを抑制することができる。よって、使用者と周囲とのトラブルの発生を抑制することができる。
さらに、上記音声応答装置においては、第37局面の発明のように、
目的地までの案内を行う場合において、目的地までの天気、温度、湿度、交通情報、路面状態等の経路情報を取得する経路情報取得手段、を備え、
メッセージ再生手段は、経路情報を音声で出力させる
ようにしてもよい。
【0064】
このような音声応答装置によれば、目的地までの状況(経路情報)を使用者に音声で通知することができる。
また、上記音声応答装置においては、第38局面の発明のように、
使用者の視線を検出する視線検出手段と、
前記メッセージ再生手段による呼びかけに対して所定の位置に使用者の視線が移動しない場合、視線を所定の位置に移動させるよう要求する音声を出力する視線移動要求送信手段と、
を備えていてもよい。
【0065】
このような音声応答装置によれば、使用者に特定の位置を見させることができる。よって、車両運転時の安全確認などを確実に行うことができる。
なお、上記音声応答装置においては、第39局面の発明のように、
体の部位の位置や顔の表情を観察し、前記呼びかけ対する変化が少ない場合、体の部位の位置や顔の表情を変化させるよう要求する音声を出力する変化要求送信手段
を備えていてもよい。
【0066】
このような音声応答装置によれば、使用者の体の部位の位置を特定の位置に移動させたり、特定の表情をするよう誘導したりすることができる。本発明は、車両の運転時や身体検査等の際に利用することができる。
【0067】
さらに、上記音声応答装置においては、第40局面の発明のように、
使用者が視聴する放送番組と同様の放送番組を取得する放送番組取得手段と、
放送番組が途切れた場合に、自身が取得した放送番組を出力することで途切れた放送番組を補完する放送番組補完手段と、
を備えていてもよい。
【0068】
このような音声応答装置によれば、使用者が視聴する放送番組が途切れないように補うことができる。
また、上記音声応答装置においては、第41局面の発明のように、
歌詞無しの楽曲に使用者が歌詞を付して歌う場合において、歌詞ありの楽曲と使用者が
付した歌詞とを比較し、使用者の歌詞のみがない部分において歌詞を音声で出力させる歌詞付加手段、を備えたこと。
【0069】
このような音声応答装置によれば、いわゆるカラオケにおいて使用者が歌えない部分(歌詞が途切れた部分)を補うことができる。
さらに、上記音声応答装置においては、第42局面の発明のように、
撮像画像中に文字が含まれる場合において、使用者からこの文字の読み方についての質問を受けると、この文字の情報を外部から取得し、この情報に含まれる文字の読み方を音声で出力させる読み方出力手段、
を備えていてもよい。
【0070】
このような音声応答装置によれば、文字の読み方を使用者に教えることができる。
また、上記音声応答装置においては、第43局面の発明のように、
使用者の行動や使用者の周囲環境を検出する行動環境検出手段を備え、
メッセージ生成手段は、検出された行動や周囲環境に応じてメッセージを生成する
ようにしてもよい。
【0071】
このような音声応答装置によれば、危険な場所や立ち入り禁止の領域などを報知することができる。また、使用者に異常な行動があることなどを検出することができる。
さらに、上記音声応答装置においては、第44局面の発明のように、
使用者を撮像した撮像画像に基づいて、健康状態を判定する健康状態判定手段と、
健康状態に応じてメッセージを生成する健康メッセージ生成手段と、
を備えていてもよい。
【0072】
このような音声応答装置によれば、使用者の健康状態を管理することができる。
また、上記音声応答装置においては、第45局面の発明のように、
健康状態が基準値を下回る場合に、所定の連絡先に通報を行う通報手段、
を備えていてもよい。
【0073】
このような音声応答装置によれば、使用者の健康状態が基準値以下の場合に、通報を行うことができる。よってより早期に異常を他者に報知することができる。
さらに、上記音声応答装置においては、第46局面の発明のように、使用者以外の者から問い合わせに対して使用者についての情報を出力するようにしてもよい。
【0074】
このような音声応答装置によれば、例えば、使用者の食事内容な散歩の距離などを検出しておけば、病院等での質問に使用者に代わって回答することができる。また、健康状態や自己紹介など学習しておくようにしてもよい。
【0075】
なお、各局面の発明は、他の発明を前提とする必要はなく、可能な限り独立した発明とすることができる。
【図面の簡単な説明】
【0076】
【
図1】本発明が適用された音声応答システムの概略構成を示すブロック図である。
【
図2】端末装置の概略構成を示すブロック図である。
【
図3】端末装置のMPUが実行する音声応答端末処理を示すフローチャートである。
【
図4】サーバの演算部が実行する音声応答サーバ処理を示すフローチャートである。
【
図6】端末装置のMPUが実行する自動会話端末処理を示すフローチャートである。
【
図7】サーバの演算部が実行する自動会話サーバ処理を示すフローチャートである。
【
図8】端末装置のMPUが実行する伝言端末処理を示すフローチャートである。
【
図9】サーバの演算部が実行する伝言サーバ処理を示すフローチャートである。
【
図10】端末装置のMPUが実行する誘導端末処理を示すフローチャートである。
【
図11】サーバの演算部が実行する誘導サーバ処理を示すフローチャートである。
【
図12】サーバの演算部が実行する受付処理を示すフローチャートである。
【
図13】端末装置のMPUが実行する情報提供端末処理を示すフローチャートである。
【
図15】端末装置のMPUが実行する性格情報生成処理を示すフローチャートである。
【
図17】サーバの演算部が実行する嗜好情報生成処理を示すフローチャートである。
【
図18】性格区分と嗜好との組み合わせ例を示す説明図である。
【
図19】サーバの演算部が実行する動作文字入力処理を示すフローチャートである。
【
図20】サーバの演算部が実行する他端末利用処理を示すフローチャートである。
【
図21】サーバの演算部が実行する記憶確認処理を示すフローチャートである。
【
図22】サーバの演算部が実行する発音判定処理1を示すフローチャートである。
【
図23】サーバの演算部が実行する発音判定処理2を示すフローチャートである。
【
図24】サーバの演算部が実行する発音判定処理3を示すフローチャートである。
【
図25】サーバの演算部が実行する感情判定処理を示すフローチャートである。
【
図26】サーバの演算部が実行する感情応答生成処理を示すフローチャートである。
【
図27】サーバの演算部が実行する案内処理を示すフローチャートである。
【
図28】サーバの演算部が実行する移動要求処理1を示すフローチャートである。
【
図29】サーバの演算部が実行する移動要求処理2を示すフローチャートである。
【
図30】サーバの演算部が実行する放送楽曲補完処理を示すフローチャートである。
【
図31】サーバの演算部が実行する文字解説処理を示すフローチャートである。
【
図32】サーバの演算部が実行する行動応答端末処理を示すフローチャートである。
【
図33】サーバの演算部が実行する行動応答サーバ処理を示すフローチャートである。
【発明を実施するための形態】
【0077】
以下に本発明にかかる実施の形態を図面と共に説明する。
[第1実施形態]
[本実施形態の構成]
本発明が適用された音声応答システム100は、端末装置1において入力された音声に対して、サーバ90にて適切な応答を生成し、端末装置1で応答を音声で出力するよう構成されたシステムである。詳細には、
図1に示すように、音声応答システム100は、複数の端末装置1とサーバ90とが通信基地局80やインターネット網85を介して互いに通信可能に構成されている。
【0078】
サーバ90は、通常のサーバ装置としての機能を備えている。特にサーバ90は、演算部101と、各種データベース(DB)とを備えている。演算部101は、CPUと、ROM、RAM等のメモリを備えた周知の演算装置として構成されており、メモリ内のプログラムに基づいて、インターネット網85を介した端末装置1等との通信や、各種DB内のデータの読み書き、或いは、端末装置1を利用する使用者との会話を行うための音声認識や応答生成といった各種処理を実施する。
【0079】
各種DBとしては、
図1に示すように、音声認識DB102、予測変換DB103、音声DB104、応答候補DB105、性格DB106、学習DB107、嗜好DB108、ニュースDB109、天気DB110、再生条件DB111、手書き文字・手話DB112、端末情報DB113、感情判定DB114、健康判定DB115、カラオケDB116、通報先DB117、セールスDB118、クライアントDB119等を備えている。なお、これらのDBの詳細については、処理の説明の都度述べることにする。
【0080】
次に、端末装置1は、
図2に示すように、行動センサユニット10と、通信部50と、報知部60と、操作部70と、が所定の筐体に備えられて構成されている。
行動センサユニット10は、周知のMPU31(マイクロプロセッサユニット)、ROM、RAM等のメモリ39、および各種センサを備えており、MPU31は各種センサを構成するセンサ素子が検査対象(湿度、風速等)を良好に検出することができるように、例えば、センサ素子の温度に最適化するためのヒータを駆動させる等の処理を行う。
【0081】
行動センサユニット10は、各種センサとして、3次元加速度センサ11(3DGセンサ)と、3軸ジャイロセンサ13と、筐体の背面に配置された温度センサ15と、筐体の背面に配置された湿度センサ17と、筐体の正面に配置された温度センサ19と、筐体の正面に配置された湿度センサ21と、筐体の正面に配置された照度センサ23と、筐体の背面に配置された濡れセンサ25と、端末装置1の現在地を検出するGPS受信機27と、風速センサ29とを備えている。
【0082】
また、行動センサユニット10は、各種センサとして、心電センサ33、心音センサ35、マイク37、カメラ41も備えている。なお、各温度センサ15,19、および各湿度センサ17,21は、筐体の外部空気の温度または湿度を検査対象として測定を行う。
【0083】
3次元加速度センサ11は、端末装置1に加えられる互いに直交する3方向(鉛直方向(Z方向)、筐体の幅方向(Y方向)、および筐体の厚み方向(X方向))における加速度を検出し、この検出結果を出力する。
【0084】
3軸ジャイロセンサ13は、端末装置1に加えられる角速度として、鉛直方向(Z方向)と、該鉛直方向とは直交する任意の2方向(筐体の幅方向(Y方向)、および筐体の厚み方向(X方向))における角加速度(各方向における左回りの各速度を正とする)を検出し、この検出結果を出力する。
【0085】
温度センサ15,19は、例えば温度に応じて電気抵抗が変化するサーミスタ素子を備えて構成されている。なお、本実施例においては、温度センサ15,19は摂氏温度を検出し、以下の説明に記載する温度表示は全て摂氏温度で行うものとする。
【0086】
湿度センサ17,21は、例えば周知の高分子膜湿度センサとして構成されている。この高分子膜湿度センサは、相対湿度の変化に応じて高分子膜に含まれる水分の量が変化し、誘電率が変化するコンデンサとして構成されている。
【0087】
照度センサ23は、例えばフォトトランジスタを備えた周知の照度センサとして構成されている。
風速センサ29は、例えば周知の風速センサであって、ヒータ温度を所定温度に維持する際に必要な電力(放熱量)から風速を算出する。
【0088】
心音センサ35は、使用者の心臓の拍動による振動を捉える振動センサとして構成されており、MPU31は心音センサ35による検出結果とマイク37から入力される心音とを鑑みて、拍動による振動や騒音と、他の振動や騒音とを識別する。
【0089】
濡れセンサ25は筐体表面の水滴を検出し、心電センサ33は使用者の鼓動を検出する。
カメラ41は、端末装置1の筐体内において、端末装置1の外部を撮像範囲とするように配置されている。
【0090】
通信部50は、周知のMPU51と、無線電話ユニット53と、連絡先メモリ55と、を備え、図示しない入出力インターフェイスを介して行動センサユニット10を構成する各種センサからの検出信号を取得可能に構成されている。そして、通信部50のMPU51は、この行動センサユニット10による検出結果や、操作部70を介して入力される入力信号、ROM(図示省略)に格納されたプログラムに応じた処理を実行する。
【0091】
具体的には、通信部50のMPU51は、使用者が行う特定の動作を検出する動作検出装置としての機能、使用者との位置関係を検出する位置関係検出装置としての機能、使用者により行われる運動の負荷を検出する運動負荷検出装置としての機能、およびMPU51による処理結果を送信する機能を実行する。
【0092】
無線電話ユニット53は、例えば携帯電話の基地局と通信可能に構成されており、通信部50のMPU51は、該MPU51による処理結果を報知部60に対して出力したり、無線電話ユニット53を介して予め設定された送信先に対して送信したりする。
【0093】
連絡先メモリ55は、使用者の訪問先の位置情報を記憶するための記憶領域として機能する。この連絡先メモリ55には、使用者に異常が生じた場合に連絡をすべき連絡先(電話番号など)の情報が記録されている。
【0094】
報知部60は、例えば、LCDや有機ELディスプレイとして構成されたディスプレイ61と、例えば7色に発光可能なLEDからなる電飾63と、スピーカ65とを備えている。報知部60を構成する各部は、通信部50のMPU51により駆動制御される。
【0095】
次に、操作部70としては、タッチパッド71と、確認ボタン73と、指紋センサ75と、救援依頼レバー77とを備えている。
タッチパッド71は、使用者(使用者や使用者の保護者等)により触れられた位置や圧力に応じた信号を出力する。
【0096】
確認ボタン73は、使用者に押下されると内蔵されたスイッチの接点が閉じるように構成されており、通信部50にて確認ボタン73が押下されたことを検出することができるようにされている。
【0097】
指紋センサ75は、周知の指紋センサであって、例えば、光学式センサを用いて指紋を読みとることができるよう構成されている。なお、指紋センサ75に換えて、例えば掌の静脈の形状を認識するセンサ等、人間の身体的特徴を認識することができる手段(バイオメトリクス認証をすることができる手段:個人を特定することができる手段)であれば、採用することができる。
【0098】
また、操作されると所定の連絡先に接続される救援依頼レバー77も備えている。
[本実施形態の処理]
このような音声応答システム100において実施される処理について以下に説明する。
【0099】
端末装置1にて実施される音声応答端末処理は、使用者による音声入力を受付けてこの音声をサーバ90に送り、サーバ90から出力すべき応答を受けるとこの応答を音声で再生する処理である。なお、この処理は、使用者が操作部70を介して音声入力を行う旨を入力すると開始される。
【0100】
詳細には、
図3に示すように、まず、マイク37からの入力を受け付ける状態(ON状態)とし(S2)、カメラ41による撮像(録画)を開始する(S4)。そして、音声入力があったか否かを判定する(S6)。
【0101】
音声入力がなければ(S6:NO)、タイムアウトしたか否かを判定する(S8)。ここで、タイムアウトとは、処理を待機する際の許容時間を超えたことを示し、ここでは許容時間は例えば5秒程度に設定される。
【0102】
タイムアウトしていれば(S8:YES)、後述するS30の処理に移行する。また、タイムアウトしていなければ(S8:NO)、S6の処理に戻る。
音声入力があれば(S6:YES)、音声をメモリに記録し(S10)、音声の入力が終了したか否かを判定する(S12)。ここでは、音声が一定時間以上途切れた場合や、操作部70を介して音声入力を終了する旨が入力された場合に、音声の入力が終了したと判定する。
【0103】
音声の入力が終了していなければ(S12:NO)、S10の処理に戻る。また、音声の入力が終了していれば(S12:YES)、自身を特定するためのID、音声、および撮像画像等のデータをサーバ90に対してパケット送信する(S14)。なお、データを送信する処理は、S10とS12の間で行ってもよい。
【0104】
続いて、データの送信が完了したか否かを判定する(S16)。送信が完了していなければ(S16:NO)、S14の処理に戻る。
また、送信が完了していれば(S16:YES)、後述する音声応答サーバ処理にて送信されるデータ(パケット)を受信したか否かを判定する(S18)。データを受信していなければ(S18:NO)、タイムアウトしたか否かを判定する(S20)。
【0105】
タイムアウトしていれば(S20:YES)、後述するS30の処理に移行する。また、タイムアウトしていなければ(S20:NO)、S18の処理に戻る。
また、データを受信していれば(S18:YES)、パケットを受信する(S22)。この処理では、文字情報に対する1または複数の異なる応答がそれぞれ異なる声色で対応付けられたものを取得する。
【0106】
そして、受信が完了したか否かを判定する(S24)。受信が完了していなければ(S24:NO)、タイムアウトしたか否かを判定する(S26)。
タイムアウトしていれば(S26:YES)、エラーが発生した旨を報知部60を介して出力し、音声応答端末処理を終了する。また、タイムアウトしていなければ(S26:NO)、S22の処理に戻る。
【0107】
また、受信が完了していれば(S24:YES)、受信したパケットに基づく応答を音声でスピーカ65から出力させる(S28)。この処理では、複数の応答を再生する場合には、複数の応答がそれぞれ異なる声色で再生される。このような処理が終了すると、音声応答端末処理を終了する。
【0108】
続いて、サーバ90(外部装置)にて実施される音声応答サーバ処理について
図4を用いて説明する。音声応答サーバ処理は、端末装置1から音声を受信し、この音声を文字情報に変換する音声認識を行うとともに、音声に対する応答を生成して端末装置1に返す処理である。特に、本実施形態においては、複数の応答を異なる声色の音声と対応付けて送信する場合がある。
【0109】
音声応答サーバ処理の詳細としては、
図4に示すように、まず、何れかの端末装置1からのパケットを受信したか否かを判定する(S42)。パケットを受信していなければ(S42:NO)、S42の処理を繰り返す。
【0110】
また、パケットを受信していれば(S42:YES)、通信相手の端末装置1を特定する(S44)。この処理では、パケットに含まれる端末装置1のIDによって端末装置1を特定する。
【0111】
続いて、パケットに含まれる音声を認識する(S46)。ここで、音声認識DB102においては、多数の音声の波形と多数の文字とが対応付けられている。また、予測変換DB103には、ある単語に続いて利用されがちな単語が対応付けられている。
【0112】
そこで、この処理では、音声認識DB102および予測変換DB103を参照することで、周知の音声認識処理を実施し、音声を文字情報に変換する。
続いて、撮像画像を画像処理することによって、撮像画像中の物体を特定する(S48)。そして、音声の波形や言葉の語尾などに基づいて、使用者の感情を判定する(S50)。
【0113】
この処理では、音声の波形(声色)や言葉の語尾などと、通常、怒り、喜び、困惑、悲しみ、高揚などの感情の区分とが対応付けられた感情判定DB114を参照することによって、使用者の感情が何れかの区分に該当するかを判定し、この判定結果をメモリに記録する。続いて、学習DB107を参照することによって、この使用者がよく話す単語を検索し、音声認識にて生成した文字情報が曖昧であった部位を補正する。
【0114】
なお、学習DB107には、使用者がよく話す単語や発音時の癖など、使用者の特徴が使用者ごとに記録されている。また、使用者との会話において学習DB107へのデータの追加・修正がなされる。
【0115】
続いて、補正後の文字情報を入力された文字情報として特定し(S54)、文字情報に類似する文章を入力として応答候補DB105から検索することによって、応答候補DB105から応答を取得する(S56)。ここで、応答候補DB105には、
図5に示すように、入力となる文字情報、第1出力、第1出力の声色、第2出力、第2出力の声色が一義に対応付けられている。
【0116】
例えば、
図5の第1段目に示すように、「今日の※の天気」という文字情報が入力されると、「今日の※の天気は※です」という第1出力が女1の声色に対応付けて出力される。ただし、「※」の部分は、地域名とその地域での数日間の天気予報とが対応付けられた天気DB110にアクセスすることで取得される。
【0117】
また、「今日の※の天気」という文字情報が入力された場合には、今日の天気が変化するタイミングの天気も天気DB110から取得し、「ただし※は※です。」という第2出力が男1の声色に対応付けて出力される。今日の東京の天気が晴れで明日の天気が雨の場合において「今日の東京の天気」と入力された場合、女1の声色で、「今日の東京の天気は晴れです。」と出力され、男1の声色で、「ただし明日は雨です。」と出力されることになる。
【0118】
なお、本実施形態では、複数の応答を出力する場合を説明したが、入力に対する回答が1つだけの場合には応答は1つだけになる。このため、応答は1つであるか否かを判定する(S58)。応答が1つだけであれば(S58:YES)、後述するS62の処理に移行する。
【0119】
また、応答が複数であれば(S58:NO)、応答内容と声色とを対応付ける(S60)。ここで、音声DB104には、人工音声のデータベースが声色毎に格納されており、この処理では、各応答に対して設定された声色を、データベース中の声色と対応付ける。
【0120】
続いて、応答内容を音声に変換する(S62)。この処理では、音声DB104に格納されたデータベースに基づいて、応答内容(文字情報)を音声として出力する処理を行う。
【0121】
そして、生成した応答(音声)を通信相手の端末装置1にパケット送信する(S64)。なお、応答内容の音声を生成しつつパケット送信してもよい。
続いて、会話内容を記録する(S68)。この処理では、入力された文字情報と出力された応答内容を会話内容として学習DB107に記録する。この際、会話内容に含まれるキーワード(音声認識DB102に記録された単語)や発音時の特徴などを学習DB107に記録する。
【0122】
このような処理が終了すると、音声応答サーバ処理を終了する。
[本実施形態による効果]
以上のように詳述した音声応答システム100は、入力された文字情報に対する応答を音声で行わせるシステムであって、端末装置1(MPU31)は、文字情報に対する複数の異なる応答を取得し、複数の異なる応答をそれぞれ異なる声色で出力させる。
【0123】
このような音声応答システム100によれば、複数の応答を異なる声色で出力させることができるので、1の文字情報に対する解が1つに特定できない場合であっても、異なる解を異なる声色で使用者に分かりやすく出力することができる。よって、使用者にとってより使い勝手をよくすることができる。
【0124】
また、上記音声応答システム100において端末装置1は、マイク37を介して使用者による音声を入力し、サーバ90(演算部101)は、入力された音声を文字情報に変換し、該文字情報に対する複数の異なる応答を生成して端末装置1に対して送信する。そして、端末装置1は、サーバ90から応答を取得する。
【0125】
このような音声応答システム100によれば、端末装置1では音声を入力することができるので、文字情報を音声で入力する構成とすることができる。また、サーバ90において応答を生成する構成とすることができるので、音声応答システム100での処理負荷を軽減することができる。
【0126】
さらに、上記音声応答システム100においてサーバ90は、使用者の発話による音声を文字情報に変換し、発声時の癖(発音上の癖など)を学習情報として蓄積する(特徴を捉えてこの特徴を記録しておく)。
【0127】
このような音声応答システム100によれば、学習情報に基づいて文字情報を生成することができるので、文字情報の生成精度を向上させることができる。
さらに、上記音声応答システム100においてサーバ90は、使用者によって入力された音声について、声色から感情を読み取り、通常、怒り、喜び、困惑、悲しみ、高揚のうちの少なくとも1つを含む感情のうちの、何れの感情に該当するかを出力する。
【0128】
このような音声応答システム100によれば、使用者の感情に応じて応答を出力することができる。
[第1実施形態の変形例]
本実施形態においては、文字情報を入力する構成として音声認識を利用したが、音声認識に限らず、キーボードやタッチパネル等の入力手段(操作部70)を利用して入力されてもよい。また、「入力された音声を文字情報に変換」する作動についてはサーバ90で行ったが、端末装置1で行ってもよい。
【0129】
さらに、上記音声応答システム100においてサーバ90には、複数の文字情報のそれぞれに対して、各文字情報に対する肯定的応答と否定的応答とを含む複数の異なる応答が記録された応答候補DB105、を備え、端末装置1は、複数の異なる応答として肯定的応答と否定的応答とを取得し、肯定的応答と否定的応答とで異なる声色で再生するようにしてもよい。
【0130】
例えば
図5に示す第2段目に示すように、何らかの物を「買ってもよいか」との音声を入力すると、この物について、よい評判などの肯定的情報を女の声を対応付けて出力する。また、その一方で、悪い評判などの否定的情報を肯定的情報が対応付けられた女の声とは異なる声色(ここでは男の声)で出力する。
【0131】
このような音声応答システム100によれば、肯定的応答と否定的応答というように、立場の異なる応答を異なる声色で再生することができるので、別人物が話しているように音声を再生することができる。よって、音声を聞く使用者に違和感を覚えさせにくくすることができる。
【0132】
なお、応答の種別や応答の際の言葉遣いによって声色を変更してもよい。例えば、優しい口調で応答を行う場合には、落ち着いた女性の音声で再生し、激しい口調で応答する場合には、勇ましい男性の音声で応答するなどすればよい。つまり、応答内容と性格とを対応付けておき、性格に応じて声色を設定するようにすればよい。
【0133】
さらに、上記音声応答システム100においては、自身の端末装置1または他の端末装置1が出力した応答(例えば、肯定的応答や否定的応答)を文字情報として入力し、この応答に対する反論を行うための応答を生成するようにしてもよい。つまり、使用者の立場からすると、賛成の立場と反対の立場との両方の意見による議論を聞くことができる。そして、この議論を聞いたうえで、使用者は最終判断を行うことができる。
【0134】
この構成は、1台または複数の端末装置1を用いて実現できる。複数の端末装置1が音声を互いにやり取りするには、音声を直接入出力してもよいし、無線等による通信を利用してもよい。複数の端末装置1とサーバ90とが通信する場合には、S66の処理にて、他の端末装置1にデータを送信すればよい。
【0135】
さらに、上記音声応答システム100において演算部101は、使用者の行動(会話、移動した場所、カメラに映ったもの)を学習(記録および解析)しておき、使用者の会話における言葉足らずを補うようにしてもよい。
【0136】
例えば、「今日はハンバーグでいい?」との質問に対して「カレーがいいな。」と使用者が回答する会話に対して、本装置が「昨日ハンバーグだったからね」と補うと、使用者が、カレーがいいと発言した理由が伝わる。
【0137】
また、このような構成は、電話中に実施することもでき、また、使用者の会話に勝手に参加するよう構成してもよい。
さらに、上記音声応答システム100においてサーバ90は、応答候補を所定のサーバ、またはインターネット上から取得するようにしてもよい。
【0138】
このような音声応答システム100によれば、応答候補をサーバ90だけでなく、インターネットや専用線等で接続された任意の装置から取得することができる。
[第2実施形態]
[第2実施形態の処理]
次に、別形態の音声応答システムについて説明する。本実施形態(第2実施形態)以下の実施形態では、第1実施形態の音声応答システム100と異なる箇所のみを詳述し、第1実施形態の音声応答システム100と同様の箇所については、同一の符号を付して説明を省略する。
【0139】
第2実施形態の音声応答システムでは、使用者が文字情報を入力しない場合においても、音声を出力する。詳細には、端末装置1では
図6に示す自動会話端末処理を実施する。自動会話端末処理は、例えば端末装置1の電源が投入されると開始される処理であって、その後、繰り返し実行される処理である。
【0140】
自動会話端末処理では、まず、自動会話をする旨の設定がON(オン)にされているか否かを判定する(S82)。なお、自動会話を行うか否かについては操作部70を介して、或いは音声を入力することによって使用者が設定可能に構成されている。
【0141】
自動会話する旨がOFF(オフ)であれば(S82:NO)、自動会話端末処理を終了する。また、自動会話する旨がONであれば(S82:YES)、自動会話モードに設定された旨を、自身を特定するためのIDとともにサーバ90に対して送信する(S84)。
【0142】
続いて、サーバ90からのパケットを受信したか否かを判定する(S86)。パケットを受信していなければ(S86:NO)、S86の処理を繰り返す。また、パケットを受信していれば(S86:YES)、前述のS22~S30と同様の処理を実施し、これらの処理が終了すると自動会話端末処理を終了する。
【0143】
また、サーバ90では、
図7に示す自動会話サーバ処理を実行する。自動会話サーバ処理は、例えばサーバ90の電源が投入されると開始され、その後、繰り返し実行される処理である。
【0144】
自動会話サーバ処理では、まず、自動会話モードに設定された旨を端末装置1から受信したか否かを判定する(S92)。自動会話モードに設定された旨を受信していなければ(S92:NO)、S98の処理に移行する。
【0145】
自動会話モードに設定された旨を受信していれば(S92:YES)、受信したパケットに含まれるIDに基づいて通信相手となる端末装置1を特定し(S94)、この通信相手に対して自動会話する旨を設定する(S96)。続いて、自動会話する旨を設定した端末装置1のそれぞれについて、再生条件を満たすか否かを判定する(S98)。
【0146】
ここで、再生条件とは、例えば、前回の会話(音声入力)から一定時間が経過していることや、1日のあるきまった時刻、特定の天気のとき、何れかのセンサ値が異常を示す値であるときなどを示す。
【0147】
再生条件を満たしていなければ(S98:NO)、自動会話サーバ処理を終了する。また、再生条件を満たしていれば(S98:YES)、再生条件に応じたメッセージを生成する(S100)。
【0148】
ここで、再生条件に応じたメッセージとは、例えば、「おはようございます。」や「こんにちは。」等の定型文であってもよいし、最新のニュースが自動更新されるニュースDB109から得られる最新のニュースに関するものであってもよい。最新のニュースに関するものをメッセージとする場合には、例えば、ある会社の株価に関する情報を取得できた場合には、「今日の○○会社の株価が○○円上がりましたね。ご存じでしたか?」などとすることができる。
【0149】
この処理が終了すると、前述のS42~S54の処理を実施する。そして、S54の処理が終了すると、通信相手となる端末装置1から所定の回答が得られたか否かを判定する(S112)。ここで、所定の回答とは、例えば、何らかの音声であってもよいし、特定の解答であってもよい。特定の解答とは、例えば、「知っていますか?」との質問に対しては、「知っている」または「知らない」という回答が該当し、「今の天気はどうですか?」という質問に対しては、「雨です」や「晴れています」など、天気を示す単語を含むものが該当する。
【0150】
所定の回答があれば(S112:YES)、自動会話サーバ処理を終了する。また、所定の回答がなければ(S112:NO)、S100にて送信したメッセージを再送する(S114)。このようにメッセージを再送する際には、声色を変化させ、語気を強く、かつ厳しい口調の音声を生成する。
【0151】
続いて、予め端末装置1と通報先とが対応付けられた通報先DB117を参照し、所定の通報先に回答がなかった旨を送信する(S116)。このような処理が終了すると、自動会話サーバ処理を終了する。
【0152】
[第2実施形態による効果]
上記の音声応答システム100においてサーバ90は、文字情報が入力されない場合において、当該音声応答システム100の状況が予め音声を出力させる条件として設定された再生条件に合致するか否かを判定する。そして、再生条件に合致する場合に、予め設定されたメッセージを出力させる。
【0153】
このような音声応答システム100によれば、文字情報が入力されない場合(つまり、使用者が話しかけない場合)であっても、音声を出力させることができる。例えば、強制的に使用者に発話させることで、自動車運転中の眠気抑制対策に利用することができる。また、一人暮らしの者が応答するか否かを判定することで、安否確認を行うことができる。
【0154】
また、上記音声応答システム100においてサーバ90は、ニュースの情報を取得し、該ニュースに関するメッセージを使用者の回答を求める質問形式で出力させる。
このような音声応答システム100によれば、ニュースに関する会話をすることができるので、いつも同じ会話ばかりになることを抑制することができる。
【0155】
さらに、上記音声応答システム100においてサーバ90は、予め設定されたメッセージに別途取得した(ニュースや環境(気温、天気、位置情報等の)外部取得情報を付加して出力させる。
【0156】
このような音声応答システム100によれば、所定のメッセージと取得した情報とを組み合わせた応答を出力することができる。
さらに、上記音声応答システム100においてサーバ90は、応答やメッセージに対する回答が得られない場合に、予め設定された連絡先に対して、使用者を特定する情報、および回答が得られなかった旨を送信する。
【0157】
このような音声応答システム100によれば、回答が得られない場合に連絡先に通報することができる。よって、例えば、一人暮らしの老人等の異常を早期に通報することができる。
【0158】
[第2実施形態の変形例]
また、上記音声応答システム100においてサーバ90は、複数のメッセージを取得し、メッセージの再生頻度に応じて再生するメッセージを選択して出力させるようにしてもよい。
【0159】
このような音声応答システム100によれば、再生頻度が高いメッセージを再生しにくくすることで、メッセージ再生時のランダム性を奏したり、敢えて再生頻度が高いメッセージを繰り返し再生することで注意喚起や記憶の定着を促したりすることができる。
【0160】
[第3実施形態]
[第3実施形態の処理]
次に第3実施形態の音声応答システムでは、使用者が誰かに直接は言いにくいことを端末装置1が代わりに伝える構成としている。例えば、デート前に、今日はこのようなことを言いたいと本装置に話しかけておくと、適当なタイミング(例えば予め設定した時刻や、会話が途切れてから一定時間が経過した場合など)で、音声応答システム100が代わりに話してくれる(音声を再生する)ようにする。
【0161】
詳細には、端末装置1は
図8に示す伝言端末処理を実施し、サーバ90は
図9に示す伝言サーバ処理を実施する。伝言端末処理は例えば端末装置1の電源が投入されると開始され、その後、繰り返し実行される処理である。
【0162】
伝言端末処理では、
図8に示すように、まず、使用者によって伝言モードが設定されているか否かを判定する(S132)。伝言モードが設定されていなければ(S132:NO)、S132の処理を繰り返す。
【0163】
また、伝言モードが設定されていれば(S132:YES)、S2~S8の処理を実施し、S6にて肯定判定された場合には、端末装置1のメモリ内において、伝言モードフラグをON状態に設定する(S134)。そして、S10~S16の処理を実施する。
【0164】
S16にて肯定判定された場合には、サーバ90からのパケットを受信したか否かを判定する(S136)。パケットを受信していなければ(S136:NO)、S136の処理を繰り返す。また、パケットを受信していれば(S136:YES)、S24~S30の処理を実施し、伝言端末処理を終了する。
【0165】
次に、伝言サーバ処理は、例えばサーバ90の電源が投入されると開始される処理であり、その後、繰り返し実行される。詳細には、まず、何れかの端末装置1からパケットを受信したか否かを判定する(S142)。パケットを受信していなければ(S142:NO)、後述するS156の処理に移行する。
【0166】
また、パケットを受信していれば(S142:YES)、通信相手の端末装置1を特定し(S44)、パケットに伝言モードフラグ等のモードフラグが含まれているか否かを判定する(S144)。モードフラグがなければ(S144:NO)、S148の処理に移行する。
【0167】
また、モードフラグがあれば(S144:YES)、サーバ90においても通信相手の端末装置1に対応するフラグをON状態に設定することでモード設定をする(S146)。例えば、伝言モードフラグが対応する伝言モードであれば、後述するS46~S152の処理が実施され、後述する誘導モードフラグが対応する誘導モードであれば、S46~S176(
図11参照)が実施されることになる。
【0168】
続いて、伝言フラグがON状態であるか否かを判定する(S148)。伝言フラグがON状態であれば(S148:YES)、S46~S54の処理を実施し、続いて、伝言再生条件を抽出する(S150)。
【0169】
ここで、伝言再生条件は、予め使用者が端末装置1の操作部70を介して設定可能であって、例えば、時刻や位置が該当する。なお、伝言再生条件は、伝言端末処理のパケット送信の際にサーバ90に送信される。
【0170】
続いて、伝言と音声(声色)とを対応付けて、メモリに記録し(S152)、S156の処理に移行する。また、伝言フラグがOFF状態であれば(S148:NO)、他のモードに関する処理を行い(S154)、再生タイミングになったか否かを判定する(S156)。ここで、再生タイミングとは、伝言再生条件で設定された内容を示す。
【0171】
再生タイミングでなければ(S156:NO)、直ちに伝言サーバ処理を終了する。また、再生タイミングであれば(S156:YES)、S62~S64の処理を実施し、伝言サーバ処理を終了する。
【0172】
[第3実施形態による効果]
このような第3実施形態の音声応答システムによれば、使用者が入力した音声を直ちに再生するのではなく、一定時間後において伝言再生条件が成立したときに再生することができる。
【0173】
例えば、
図5の第3段目に示すように、「○○さんに○○と伝えてね」と入力すると、○○さんの声が認識されてから(聞こえてから)、伝えたい文章が再生されることになる。
【0174】
[第3実施形態の変形例]
上記第3実施形態においては、使用者が話した内容を再生するよう構成したが、言いにくいことのきっかけになる言葉、例えば「そういえば何か彼女に話すって言ってなかったっけ?」のような言葉、を話す構成としてもよい。詳細には、端末装置1は
図10に示す誘導端末処理を実施し、サーバ90は
図11に示す誘導サーバ処理を実施する。
【0175】
誘導端末処理は、例えば端末装置1の電源が投入されると開始され、その後、繰り返し実行される処理である。例えば端末装置1の電源が投入されると開始され、その後、繰り返し実行される処理である。
【0176】
誘導端末処理では、
図10に示すように、まず、使用者によって誘導モードが設定されているか否かを判定する(S162)。誘導モードが設定されていなければ(S162:NO)、S162の処理を繰り返す。
【0177】
また、誘導モードが設定されていれば(S162:YES)、S2~S8の処理を実施し、S6にて肯定判定された場合には、端末装置1のメモリ内において、誘導モードフラグをON状態に設定する(S164)。そして、S10~S16の処理を実施する。
【0178】
S16にて肯定判定された場合には、サーバ90からのパケットを受信したか否かを判定する(S166)。パケットを受信していなければ(S166:NO)、S166の処理を繰り返す。また、パケットを受信していれば(S166:YES)、S24~S30の処理を実施し、誘導端末処理を終了する。
【0179】
次に、誘導サーバ処理は、例えばサーバ90の電源が投入されると開始され、その後、繰り返し実行される処理である。詳細には、前述のS142~S146の処理を実行する。そして、誘導フラグがON状態であるか否かを判定する(S172)。
【0180】
誘導フラグがON状態であれば(S172:YES)、S46~S54の処理を実施し、続いて、誘導再生条件を抽出する(S174)。
ここで、誘導再生条件においても伝言再生条件と同様に、予め使用者が端末装置1の操作部70を介して設定可能であって、例えば、時刻や位置が該当する。なお、誘導再生条件は、伝言端末処理のパケット送信の際にサーバ90に送信される。
【0181】
続いて、誘導内容を生成し、この誘導内容と音声(声色)とを対応付けて、メモリに記録する(S176)。ここで誘導内容としては、例えば、入力された文字情報に含まれる「したい」「希望」などの願望を表す単語を検索し、これらの単語の前のキーワードを抽出し、これらのキーワードを誘導する言葉として登録された言葉を誘導内容として出力する。なお、キーワードと誘導内容を示す言葉とは、予め対応付けられて応答候補DB105に記録されている。
【0182】
続いて、前述のS156以下の処理を実施し、サーバ処理を終了する。また、誘導フラグがOFF状態であれば(S172:NO)、他のモードに関する処理を行い(S154)、前述のS156以下の処理を実施し、サーバ処理を終了する。
【0183】
このような第3実施形態の変形例の構成によれば、使用者が言いたい言葉を直接出力するのではなく、言いたい言葉を話せるように誘導することができる。
[第4実施形態]
[第4実施形態の処理]
次に、端末装置1を受付業務に使用する例について説明する。本実施形態においては、端末装置1は会社の受付などに設置される。なお、会社の代表電話やテレホンバンキングなどの電話受付に採用することもできる。ここで、本実施形態では、第1実施形態におけるS56の処理を、
図12に示す受付処理に置き換えることによって実現される。
【0184】
受付処理では、
図12に示すように、まず、文字情報に会社名が含まれるか否かを判定する(S192)。この処理では、一般的な名前や会社名(音声認識DB102に記録されたもの)が含まれているか否かを判定する。
【0185】
文字情報に会社名または個人名が含まれていなければ(S192:YES)、会社名および個人名を尋ねるための応答を生成し(S194)、受付処理を終了する。この処理では、例えば、「お名前とご用件をお話しください。」などの応答を生成する。
【0186】
文字情報に会社名または個人名が含まれていれば(S192:NO)、この会社名や個人名をセールスDB118およびクライアントDB119から抽出する(S196)。ここで、セールスDB118には、過去にセールスに来た会社および担当者、或いは苦情ばかり話すクレーマーの名前等が記録されている。また、クライアントDB119には、会社名やその会社の担当者、端末装置1の利用者側(自社側)の担当者、面会予定時刻等のスケジュール、担当者ごとに連絡先が対応付けて記録されている。
【0187】
続いて、会社名や個人名をセールスDB118から抽出できたか否か、つまり、文字情報に含まれる会社名や個人名がセールスDB118に含まれていたか否かを判定する(S198)。会社名や個人名をセールスDB118から抽出できていれば(S198:YES)、セールスを断る旨のセールスお断り応答(取次ぎを断る応答)を生成し(S200)、受付処理を終了する。
【0188】
また、会社名や個人名をセールスDB118から抽出できていなければ(S198:NO)、受付に来た者がクライアントDB119内のスケジュールにおいて、近い時刻(例えば、現在時刻の前後1時間以内)に訪問してくる者か否かを判定する(S202)。近い時刻に訪問してくる者であれば(S202:YES)、この者を担当する担当者の連絡先をクライアントDB119から抽出し、この担当者と受付に来た者とが会話をできるように、この担当者に接続する(S204)。この処理では、担当者の内線電話、携帯電話等に接続すればよい。
【0189】
続いて、クライアント用の受付応答を生成する(S206)。ここで、クライアント用の受付応答としては、例えば、「○○様、いつもありがとうございます。担当者に接続しておりますのでしばらくお待ちください。」のような応答を生成する。このような処理が終了すると、受付処理を終了する。
【0190】
また、近い時刻に訪問してくる者でなければ(S202:NO)、予め設定された受付用の連絡先に接続し、この担当者と受付に来た者とが会話をできるように、この受付担当者に接続する(S208)。そして、通常受付応答を生成する(S210)。
【0191】
ここで、通常受付応答としては、例えば、「受付に接続しておりますのでしばらくお待ちください。」のような応答を生成する。このような処理が終了すると、受付処理を終了する。
【0192】
[第4実施形態による効果]
上記音声応答システム100においては、仕事場や会社の受付で利用する構成としている。この構成では、セールスに来る者の名前と会社名をサーバ90のセールスDB118に予め記録しておき、受付に来たものが、この名前や会社名を名乗った場合には、断る文句の音声を再生するように、応答を生成する。
【0193】
また、上記音声応答システム100においてサーバ90は、入力された文字情報によって通信相手を特定し、通信相手毎に予め設定された通信先と通信相手とを接続する。
このような音声応答システム100によれば、受付業務や電話対応を補助することができる。また、このような音声応答システム100によれば、使用者の業務に支障がある虞がある者を、自身が対応することなく排除することができる。
【0194】
さらに、上記音声応答システム100においてサーバ90は、入力された文字情報(特に音声)に含まれるキーワードを抽出し、キーワードが該当する接続先に接続する。なお、例えば相手先の名称等のキーワードとその接続先とは予め対応付けられている。
【0195】
このような音声応答システム100によれば、電話の転送や受付への呼び出し等の業務を補助することができる。
[第4実施形態の変形例]
上記実施形態では、相手先に応じて接続先を設定するよう構成したが、この技術を応用して、例えば、テレホンバンキングやテレホンショッピング等の電話受付において、要件(文字情報に含まれるキーワード)を認識し、要件に応じて接続先を変更するようにしてもよい。
【0196】
また、上記音声応答システム100においてサーバ90は、キーワードに基づいて相手が話す要件を認識し、相手が話した概要を使用者に伝えるようにしてもよい。
このような音声応答システム100によれば、客先との取次の業務を補助することができる。
【0197】
[第5実施形態]
[第5実施形態の処理]
次に、端末装置1は、他の端末装置1からの要求を受けて、他の端末装置1が求める情報を提供するようにしてもよい。
【0198】
このように構成する場合、サーバ90は、S56の処理において、必要な情報を他の端末装置1に要求し、他の端末装置1から必要な情報を取得した上で応答を生成する。そして、必要な情報を提供する端末装置1では、
図13に示す情報提供端末処理が実施される。情報提供端末処理は、例えば、サーバ90からの要求があると開始される処理である。
【0199】
情報提供端末処理は、
図13に示すように、まず、情報提供先を抽出する(S222)。この情報提供先は、情報を要求する他の端末装置1を示し、この他の端末装置1を特定するためのIDがサーバ90からの要求に含まれている。
【0200】
続いて、情報の提供を許可する相手であるか否かを判定する(S224)。ここで、端末情報DB113には、家族や友人等、情報の提供を許可する相手のIDが予め記録されている。この処理ではこの端末情報DB113を参照することで判定を行う。
【0201】
情報の提供を許可する相手であれば(S224:YES)、自身のメモリ39や各種センサ類等から要求された情報を取得し(S226)、このデータをサーバ90に送信する(S228)。また、情報の提供を許可する相手でなければ(S224:NO)、情報の提供を拒否する旨をサーバ90に送信する(S230)。
【0202】
このような処理が終了すると、情報提供端末処理を終了する。
この構成では、例えば、
図5の第4段目に示すように、「○○さんは何をしているか」という質問に対して、サーバ90は○○さんの端末装置1に位置情報を要求し、この端末装置1は位置情報を返す。
【0203】
そして、サーバ90は位置情報に基づいて○○さんの行動を認識する。例えば、線路上を人間の走る速度よりも速い速度で移動していれば、電車に乗って移動中と判断し、「○○さんは電車の中にいます。帰宅中のようです。」などと応答を生成することになる。
【0204】
[第5実施形態による効果]
上記音声応答システム100においてサーバ90は要求元の端末装置1とは異なる他の端末装置1から他の端末装置1に記録されている情報を取得し、他の端末装置1に提供する。つまり、上記音声応答システム100においてサーバ90は、文字情報に対する応答を生成するための情報を他の端末装置1から取得する。
【0205】
このような音声応答システム100によれば、他の端末装置1に記録された情報に基づいて応答を生成することができる。
また、上記音声応答システム100において端末装置1は、文字情報に対する応答を生成するための情報を他の端末装置1から要求された場合、この要求に応じた情報を返す。
【0206】
この構成において端末装置1は、位置情報、温度、湿度、照度、騒音レベル等を検出するためのセンサ類や、辞書情報などのデータベースを備えておき、要求に応じて必要な情報を抽出する。
【0207】
このような音声応答システム100によれば、他の端末装置1の位置等、他の端末装置1固有の情報を取得することができる。また、他の端末装置1に自身固有の情報を送信することができる。
【0208】
[第6実施形態]
[第6実施形態の処理]
次に、第6実施形態の音声応答システムでは、使用者または使用者に関係がある者を表す関係者の性格を予め設定された区分に従って対応付けた性格情報が記録された性格DB106を準備している。性格DB106は、例えば、
図14に示すように、使用者や関係者の名前と、これらの者の性格区分とを対応付けて記録されている。
【0209】
また、
図14に示す性格DB106では、使用者や関係者に性格テストを実施し、そのテスト結果についても記録している。ここで、性格情報を生成する際には、周知の性格分析技術(ロールシャッハ・テスト、ソンディ・テスト等)を利用すればよい。また、性格情報を生成する際には、企業等が採用試験に利用する適性検査の技術を利用してもよい。
【0210】
性格情報を生成する際には、例えば
図15に示す性格情報生成処理を実施する。性格情報生成処理は、例えば、端末装置1において操作部70等を用いて性格情報を生成する旨が入力されると開始される処理である。
【0211】
性格情報生成処理では、
図15に示すように、まず、マイク37をON状態とし(S242)、所定の4択問題の1つを音声で出力する(S244)。この際、4択問題については、サーバ90から取得してもよいし、予めメモリ39に記録された問題を出題してもよい。
【0212】
続いて、対象者(使用者またはその関係者)から音声で回答があったか否かを判定する(S246)。回答がなければ(S246:NO)、S246の処理を繰り返す。
また、回答があれば(S246:YES)、言葉の語尾、会話スピード等の会話パラメータを抽出し(S248)、現在の問題が最終問題であるか否かを判定する(S250)。最終問題でなければ(S250:NO)、次の問題を選択し(S252)、S242の処理に戻る。
【0213】
また、最終問題であれば(S250:YES)、4択問題を回答することによる性格分析を行い(S254)、会話パラメータによる性格分析を行う(S256)。ここで、会話パラメータによる性格分析では、自分に自信がある人は語尾が強く、自信がない人は語尾が弱くなる傾向や、せっかちな人は会話スピードが速く、おっとりした人は会話スピードが遅い傾向等を捉えることができる。
【0214】
続いて、これらの性格分析結果を加重平均するなど、総合的に分析し(S258)、性格区分に振り分ける(S260)。詳細には、テストによって得られた対象者の性格を点数化し、点数ごとに性格区分に振り分ける。
【0215】
続いて、対象者と性格区分とを対応付けて(S262)、性格DB106に記録させる(S264)。つまり、対象者と性格区分との関係をサーバ90に送信する。なお、このとき、テスト結果についてもサーバ90に送信し、サーバ90は
図14に示すような性格DB106を構築する。このような処理が終了すると、性格情報生成処理を終了する。
【0216】
このように生成された性格DB106を利用する際には、性格区分と異なる応答とを対応付けたものを応答候補DB105において準備しておく。そして、サーバ90はS56の処理にて、文字情報に対する複数の異なる応答を表す応答候補を取得し、性格情報に応じて応答候補から出力させる応答を選択し、S60、S64の処理にて、該選択した応答を出力させる。
【0217】
[第6実施形態による効果]
上記音声応答システム100において端末装置1は、予め設定された複数の質問に対する回答に基づいて使用者または関係者の性格情報を生成し、生成された性格情報を取得する。
【0218】
このような音声応答システム100によれば、性格情報をサーバ90や端末装置1において生成することができる。
さらに、上記音声応答システム100において演算部101は、入力された文字情報に含まれる文字列に基づいて使用者または関係者の性格情報を生成する。
【0219】
このような音声応答システム100によれば、使用者が音声応答システム100を利用する過程で性格情報を生成することができる。
また、このような音声応答システム100によれば、使用者や使用者に関係がある者(関係者)の性格に応じて異なる応答を行うことができる。よって、使用者にとって使い勝手を良くすることができる。
【0220】
[第6実施形態の変形例]
上記第6実施形態では、性格に応じて応答を1つに絞ってから出力してもよいし、複数の応答に対してそれぞれ異なる声色の音声を対応付けて出力してもよい。
【0221】
また、上記性格情報生成処理のうちの、S248、S254~S264の処理は、サーバ90において実施してもよい。この場合、第1実施形態等と同様に、サーバ90に端末装置1を特定させつつ、端末装置1とサーバ90との間で音声や問題をやりとりすればよい。
【0222】
さらに、上記音声応答システム100においてサーバ90は、使用者の行動および操作のうちの何れかを検出し、これらに基づいて学習情報または性格情報を生成するようにしてもよい。
【0223】
このような音声応答システム100によれば、例えば、使用者が数日間連続で電車に飛び乗ることを検出した場合には、翌日からは数分早く家を出るよう促したり、会話から使用者に怒りやすい傾向があることを検出した場合には、気分を抑える音声や音楽を出力したりすることができる。
【0224】
[第7実施形態]
[第7実施形態の処理]
次に、第7実施形態の音声応答システムでは、使用者や関係者の嗜好を予め設定された区分に従って対応付けた嗜好情報が記録された嗜好DB108を準備している。嗜好DB108は、例えば、
図16に示すように、使用者や関係者の名前と、これらの者の嗜好が、食の好み(食)、色の好み(色)、趣味、等の嗜好の種別のそれぞれに対して対応付けて記録されている。
【0225】
特に、食の好みについては、甘党(甘)、辛党(辛)、その中間である並、色の好みについては、暖色系(暖)、寒色系(寒)、その中間である並、趣味については、インドア系の趣味(内)、アウトドア系の趣味(外)、インドア・アウトドア両方の趣味(内外)に分類している。
【0226】
このような嗜好DB108を構築する際には、例えば、
図17に示す嗜好情報生成処理を実行する。嗜好情報生成処理は、例えば、S48~S54の間で実施される。
詳細には、
図17に示すように、文字情報から嗜好に関するキーワードを抽出し(S282)、画像処理によって特定された物体のうち、嗜好に関するものを抽出する(S284)。なお、嗜好に関するキーワードは、嗜好DB108において、嗜好の種別とその種別の中での分類(食の好みであれば甘、並、辛など)とが対応付けられており、これらの処理では抽出したキーワードや物体が嗜好DB108に含まれている場合に、嗜好に関するものとして抽出される。
【0227】
続いて、嗜好に関するキーワードのグループごとにカウンタをインクリメントする(S288)。例えば、キムチのように、嗜好の種別が「食の好み」であり、種別が「辛」であるものが抽出された場合には、「食の好み」「辛」が対応するカウンタをインクリメントする。
【0228】
そして、カウンタ値に基づいて、嗜好情報(嗜好DB108)を更新する(S290)。つまり、「嗜好の種別」ごとに、最もカウンタ値が大きな「種別」が最も嗜好に合致しているものとして、使用者や関係者の嗜好の特徴として嗜好DB108に記録する。このような処理が終了すると、嗜好情報生成処理を終了する。
【0229】
このように生成された嗜好DB108を利用する際には、嗜好毎に異なる応答を対応付けたものを応答候補DB105において準備しておき、サーバ90はS56の処理にて、文字情報に対する複数の異なる応答を表す応答候補を取得し、嗜好情報に応じて応答候補から出力させる応答を選択し、S60、S64の処理にて、該選択した応答を出力させる。
【0230】
[第7実施形態による効果]
上記音声応答システム100においてサーバ90は、文字情報に含まれる文字列に基づいて使用者または関係者の嗜好の傾向を示す嗜好情報を生成する。そして、嗜好情報に基づいて応答候補から出力させる応答を選択し、該選択した応答を出力させる。
【0231】
このような音声応答システム100によれば、使用者または関係者の好みに応じて応答を行うことができる。例えば、使用者が関係者のプレゼントを買う際に、「○○さんは何がほしいかな」と端末装置1に問いかけると、嗜好情報に応じた応答を得ることができる。
【0232】
[第7実施形態の変形例]
応答候補DB105においては、
図18に示すように、性格区分と嗜好情報とを対応付けたテーブルを持たせておいてもよい。
【0233】
例えば、
図18に示す例では、性格区分と色に関する好みとを対応付けて、女性がプレゼントとして貰えると喜ぶと推定できる商品をマトリクス状に配置している。
S56の処理では、このように性格と嗜好との両方を加味して応答を生成することもできる。
【0234】
[第8実施形態]
[第8実施形態の処理]
上記実施形態では、音声を文字情報に変換したが、使用者による動作を文字情報に変換するようにしてもよい。
【0235】
詳細には、端末装置1は、使用者の動作を撮像画像として捉えてサーバ90に送信し、サーバ90では、例えば、
図19に示す動作文字入力処理を実施すればよい。動作文字入力処理は、S48の処理にて撮像画像中に使用者の体の部位が映っていた場合に開始される処理である。
【0236】
動作文字入力処理では、
図19に示すように、まず、撮像画像を取得する(S302)。そして、使用者が手書きで文字を入力しようとしているか、手話で文字を入力しようとしているかを判定する(S304、S308)。
【0237】
これらの処理では、例えば、撮像画像に使用者の上半身が顔とともに映っている場合には、手話で文字を入力しようとしていると判定し、撮像画像に使用者の顔が映ることなく使用者の手が映っている場合には、手書きで文字を入力しようとしていると判定する。
【0238】
手書きで文字を入力しようとしてれば(S304:YES)、指先またはペン先の挙動を記録し(S306)、この挙動に基づいて挙動を文字情報に変換する(S312)。ここで、手書き文字・手話DB112には、文字を手書きする際の挙動と文字とが対応付けられており、また、手の動きと手話により表現される文字とが対応付けられている。S312の処理では、手書き文字・手話DB112を参照することによって、文字情報を生成する。
【0239】
また、手話で文字を入力しようとしてれば(S304:NO、S308:YES)、手書き文字・手話DB112を参照して手話内容を認識し、前述のS312の処理を実施する。また、手書きや手話で文字を入力しようとしてなければ(S308:NO)、他の方式による入力の処理を行う(S314)。
【0240】
続いて、動作によって入力された文字と音声によって入力された文字とを対応付け、類似性がある音声があるか否か(文字に基づく基準波形と発音波形との一致度が基準値以上か否か)を判定する(S316)。このような音声入力があれば(S316:YES)、この使用者がこの文字を入力するときのアクセントや発音の特徴を、文字と対応付けて学習DB107に記録し(S318)、動作文字入力処理を終了する。
【0241】
また、このような音声入力がなければ(S316:NO)、動作文字入力処理を終了する。
[第8実施形態による効果]
上記音声応答システム100においては、使用者による動作を文字情報に変換するので、使用者が声を出すことなく文字情報を入力することができる。
【0242】
[第8実施形態の変形例]
本実施形態の動作としては、文字の手書き、或いは身振り手振り(例えば手話)だけでなく筋肉の動作に起因するものであればよい。
【0243】
[第9実施形態]
[第9実施形態の処理]
学習DB107の内容は、使用者が普段利用する端末装置1とは別の他の端末装置1を利用する場合に、この他の端末装置1において利用できるようにしてもよい。この場合、他の端末装置1から、利用要求とともに、普段利用する端末装置1のIDとパスワードをサーバ90に対して送信する。
【0244】
そして、サーバ90では、
図20に示す他端末利用処理を実行する。他端末利用処理は、利用要求を受けると開始される処理である。
他端末利用処理では、
図20に示すように、まず、IDとパスワードが入力されたか否かを判定する(S332)。IDとパスワードが入力されていなければ(S332:NO)、S332の処理を繰り返す。
【0245】
また、IDとパスワードが入力されていれば(S332:YES)、IDとパスワードによる認証が完了したか否かを判定する(S334)。認証が完了していれば(S334:YES)、認証が完了した旨を他の端末装置1に送信し(S336)、他の端末装置1がIDとパスワードが対応する端末装置1の学習DB107を利用するよう設定する(S338)。
【0246】
認証が完了しなければ(S334:NO)、エラーである旨を他の端末装置1に送信し(S340)、他端末利用処理を終了する。
[第9実施形態による効果]
また、上記音声応答システム100においてサーバ90は、ある端末装置1の学習情報を他の端末装置1に転送する。
【0247】
このような音声応答システム100によれば、ある端末装置1を利用する使用者が他の端末装置1を利用する場合においても、ある端末装置1で記録された学習情報(サーバ90に記録された学習情報)を利用することができる。よって、他の端末装置1を利用する場合においても文字情報の生成精度を向上させることができる。特に、使用者が端末装置1を複数所持する場合に有効である。
【0248】
さらに、上記音声応答システム100においてサーバ90は、使用者以外の者から問い合わせに対して使用者についての情報を出力する。
このような音声応答システム100によれば、例えば、使用者の食事内容な散歩の距離などを検出しておけば、病院等での質問に使用者に代わって回答することができる。また、健康状態や自己紹介など学習しておくようにしてもよい。
【0249】
[第9実施形態の変形例]
第9実施形態の構成と同様に、利用を終了する要求と、IDおよびパスワードを受けると、IDおよびパスワードが対応する端末装置1に対する学習DB107の利用を終了(禁止)するようにしてもよい。
【0250】
[第10実施形態]
[第10実施形態の処理]
第10実施形態の音声応答システムでは、サーバ90が、会話内容を記憶し、聞いた内容について同じ内容を得るための質問をする。詳細には、
図7に示す自動会話サーバ処理のS100において、
図21に示す記憶確認処理を実行する。
【0251】
記憶確認処理では、
図21に示すように、過去の会話内容を学習DB107から抽出し(S352)、このうちの何れかの会話内容に含まれるキーワードを解答とする質問を生成する(S353)。このような処理が終了すると記憶確認処理を終了する。
【0252】
記憶確認処理では、例えば、「昨日の夕食のメニューは何でしたか」や、「3日前にどこに出かけましたか」などと質問すればよい。
[第10実施形態による効果]
このような音声応答システム100によれば、使用者の記憶力の確認をするとともに、記憶の定着を図ることができる。高齢者の認知症の進行を抑制するためにも有効であると考えられる。
【0253】
[第11実施形態]
[第11実施形態の処理]
次に、第11実施形態の音声応答システムでは、端末装置1およびサーバ90を利用して使用者が外国語の練習を行えるよう構成している。
【0254】
詳細には、
図22に示す発音判定処理1と
図23に示す発音判定処理2と
図24に示す発音判定処理3とを順に実行する。ただし、サーバ90は、音声応答サーバ処理(
図2)の実施毎に、発音判定処理1~3の各処理のうちの1つを実行する。また、発音判定処理1~3の各処理は、前述のS56の処理として実行される。
【0255】
まず、発音判定処理1では、
図22に示すように、所定の文章を音声で入力するよう指示する旨の応答を生成する(S362)。この処理では、例えば、外国語の手本となる文章を生成し、この文章を手本に続いて真似て話すよう促す。この処理が終了すると、発音判定処理1を終了する。
【0256】
次に、発音判定処理1に伴って音声が入力されると、発音判定処理2を実施する。発音判定処理2では、
図23に示すように、発音およびアクセントの正確性をスコア(点数)化する(S372)。この処理では、音声は波形として捉え、このとき手本となる文章を波形としたときとの波形の一致度合をスコア化する。
【0257】
そして、このスコアをメモリに記録し(S374)、発音判定処理2を終了する。続いて、発音判定処理3を実施する。発音判定処理3では、
図24に示すように、まず、スコアが閾値未満であるか否かを判定する(S382)。
【0258】
スコアが閾値未満であれば(S382:YES)、再度、同様の文章を入力するよう指示する旨の応答を生成する(S384)。この処理では、例えば、再度、手本に続いて真似て話すよう促すための応答を生成する。
【0259】
また、スコアが閾値以上であれば(S382:NO)、発音がよかった旨および次の文章を入力するよう促す応答を生成する(S386)。例えば、「よい発音です。次に進みましょう。」などと応答を生成する。
【0260】
このような処理が終了すると、発音判定処理3を終了する。
[第11実施形態による効果]
上記音声応答システム100においてサーバ90は、使用者が入力する音声の発音やアクセントの正確度合を検出し、検出した正確度合を出力する。
【0261】
このような音声応答システム100によれば、発音やアクセントの正確性を確認することができる。例えば外国語の練習を行う際に有効である。
さらに、上記音声応答システム100においてサーバ90は、正確度合が一定値以下の場合に、再度、同じ質問を出力させる。
【0262】
このような音声応答システム100によれば同じ質問を出力することによって正確な回答を求めることができる。
[第11実施形態の変形例]
上記音声応答システム100においてサーバ90は、正確度合が一定値以下の場合に、確認のために、使用者が行った発音に最も近い単語を含む音声を出力するようにしてもよい。
【0263】
このような音声応答システム100によれば、使用者が発音やアクセントの正確性を確認することができる。
[第12実施形態]
[第12実施形態の処理]
次に第12実施形態の音声応答システムについて説明する。第12実施形態の音声応答システムでは、使用者が入力した音声から使用者の感情を検出し、感情に応じて使用者を癒す応答を生成する。
【0264】
詳細には、
図25に示す感情判定処理と、
図26に示す感情応答生成処理とを実行する。感情判定処理は、前述のS50の処理の詳細として実施され、
図25に示すように、まず、声色、文章の語尾の強弱、一文の長さ、会話スピード、思いがけず出る言葉等から感情をスコア化する(S392)、続いて、スコアによって感情を分類し、メモリに記録する(S394)。
【0265】
このような処理が終了すると、感情判定処理を終了する。続いて、前述のS56の処理において、感情応答生成処理を実行する。
詳細には、
図26に示すように、まず、感情判定処理にて設定された感情区分を判定する(S412)。感情区分が通常であれば(S412:通常)、「こんにちは」等の普通の挨拶文を応答(メッセージ)として生成する(S414)。
【0266】
また、感情区分が怒りであれば(S412:怒り)、「お気に障りましたか」等、相手の感情を落ち着かせる際の文章を応答として生成する(S416)。さらに、感情区分が喜びであれば(S412:喜び)、「今日は楽しいですね」等、普通の挨拶文と比較して明るいニュアンスの挨拶文を応答として生成する(S418)。
【0267】
また、感情区分が困惑であれば(S412:困惑)、「どうかしましたか」等、相手を気遣う際の挨拶文を応答として生成する(S420)。このような処理が終了すると、感情応答生成処理を終了する。
【0268】
[第12実施形態による効果]
上記音声応答システム100においてサーバ90は、思いがけずに発する音声を検出することによって使用者の苛立ちや動揺を検出し、苛立ちや動揺を抑制するためのメッセージを生成する。
【0269】
このような音声応答システム100によれば、使用者に苛立ちや動揺がある場合に、これらを抑制することができる。よって、使用者と周囲とのトラブルの発声を抑制することができる。
【0270】
[第13実施形態]
[第13実施形態の処理]
次に第13実施形態の音声応答システムについて説明する。第13実施形態の音声応答システムでは、撮像画像中の物体まで使用者を案内する処理を行う。この処理はサーバ90において前述のS56の処理の詳細として実施される。
【0271】
端末装置1において「見えているタワーまで道案内してください」などと音声で入力すると、S56の処理では案内処理が実施される。案内処理では、
図27に示すように、まず、端末位置情報を端末装置1のGPS受信機27等から取得する(S432)。
【0272】
そして、音声(文字情報)と画像処理とに基づいて、撮像画像中の物体のうちから対象となる物体を特定し、この位置を特定する(S434)。この処理では、物体の形状、相対的な位置等に基づいて地図情報(外部から取得してもよいし、サーバ90が保持していてもよい)において物体の位置を特定する。例えば、撮像画像中にタワーが映っていた場合、端末装置1の位置とタワーの形状とから、そのタワーを地図上において特定する。
【0273】
続いて、この物体までの経路を検索し(S436)、経路情報を取得する(S438)。この処理は周知のクラウド方式のナビゲーション装置における処理と同様の処理を用いて実現できる。
【0274】
そして、経路を案内するための応答を生成する(S440)。この処理においても、ナビゲーション装置による案内と同様の応答を生成すればよい。
このような処理が終了すると、案内処理を終了する。なお、使用者が移動しながら案内処理を実施する際には、自動会話サーバ処理を利用して、使用者が案内すべきポイントに到達することを再生条件としてメッセージを再生すればよい。
【0275】
[第13実施形態による効果]
上記音声応答システム100においてサーバ90は、文字情報が入力された際に、当該音声応答システム100の周囲を撮像した撮像画像に応じた応答を生成し、この応答を音声で出力させる。
【0276】
このような音声応答システム100によれば、撮像画像に応じて応答を音声で出力することができる。したがって、文字情報のみから応答を生成する構成と比較して使い勝手を向上させることができる。
【0277】
また、上記音声応答システム100においてサーバ90は、文字情報に含まれる物体を撮像画像中から画像処理によって検索し、該検索された物体の位置を特定し、この物体の位置まで案内する。
【0278】
このような音声応答システム100によれば、撮像画像中の物体まで使用者を案内することができる。
さらに、上記音声応答システム100においてサーバ90は、目的地までの案内を行う場合において、目的地までの天気、温度、湿度、交通情報、路面状態等の経路情報を取得し、経路情報を音声で出力させる。
【0279】
このような音声応答システム100によれば、目的地までの状況(経路情報)を使用者に音声で通知することができる。
[第13実施形態の変形例]
上記構成に加えて、認識したものが何かを応答するよう文字情報を入力し、撮像画像から認識したものが何か(誰か)を音声で出力するようにしてもよい。
【0280】
さらに、上記音声応答システム100においてサーバ90は、S48の処理に換えて、文字情報を音声で入力する際において使用者の口の形状を撮像した動画像を取得してもよい。この場合、S52の処理に換えて、音声を文字情報に変換し、かつ、該動画像に基づいて、音声の不明確な部分を推定して文字情報を補正してもよい。
【0281】
このような音声応答システム100によれば、口の形状から発声内容を推定することできるので、音声の不明確な部分を良好に推定することができる。
[第14実施形態]
[第14実施形態の処理]
次に第14実施形態の音声応答システムについて説明する。第14実施形態の音声応答システムでは、使用者に所定の動作を要求し、この要求通りに使用者が動作を行ったかどうかを判定する。この構成では、
図6に示す自動会話端末処理、および
図7に示す自動会話サーバ処理において、前述のS56の処理の詳細として
図28に示す移動要求処理1および
図29に示す移動要求処理2が順に実施される。
【0282】
初めにS54の処理が終了すると移動要求処理1が開始され、移動要求処理1では、
図28に示すように、所定の位置に視線や頭を移動させるよう指示する旨の応答(メッセージ)を出力する(S452)。この処理が終了すると、移動要求処理1を終了する。
【0283】
続いて、次にS54の処理が終了すると移動要求処理2が開始され、移動要求処理2では、
図29に示すように、指示通りに視線や頭の位置が移動したか否かを判定する(S462)。この処理では、カメラによる撮像画像を画像処理することや、端末装置1の各種センサによる検出結果を用いて使用者の動作を検出する。なお、画像処理によって視線を検出する場合には、周知の視線認識の技術を採用すればよい。
【0284】
指示通りに視線や頭が移動していなければ(S462:NO)、再度、S452にて生成した応答を出力する(S464)。また、指示通りに視線や頭が移動していれば(S462:YES)、別の任意の応答を生成する(S466)。
【0285】
このような処理が終了すると、移動要求処理2を終了する。
[第14実施形態による効果]
上記音声応答システム100においては、使用者の視線を検出し、呼びかけに対して所定の位置に使用者の視線が移動しない場合、視線を所定の位置に移動させるよう要求する音声を出力する。
【0286】
このような音声応答システム100によれば、使用者に特定の位置を見させることができる。よって、車両運転時の安全確認などを確実に行うことができる。
なお、上記音声応答システム100においてサーバ90は、体の部位の位置や顔の表情を観察し、呼びかけ対する変化が少ない場合、体の部位の位置や顔の表情を変化させるよう要求する音声を出力する。
【0287】
このような音声応答システム100によれば、使用者の体の部位の位置を特定の位置に移動させたり、特定の表情をするよう誘導したりすることができる。本発明は、車両の運転時や身体検査等の際に利用することができる。
【0288】
[第15実施形態]
[第15実施形態の処理]
次に第15実施形態の音声応答システムについて説明する。第15実施形態の音声応答システムでは、使用者が音声として放送番組や楽曲を入力した場合において、放送番組や楽曲が途切れた場合に補完する処理を実施する。
【0289】
この構成では、前述のS56の詳細として、
図30に示す放送楽曲補完処理を実施する。放送楽曲補完処理では、
図30に示すように、まず、放送番組や楽曲(使用者が歌う場合にはその歌)が途切れたか否かを判定する(S482)。
【0290】
途切れていれば(S482:YES)、後述するS492の処理にて同期した放送番組や楽曲を応答内容として設定し(S484)、放送楽曲補完処理を終了する。また、途切れていなければ(S482:NO)、放送番組の視聴中であれば放送番組を取得し(S486)、楽曲の演奏中であれば該当する楽曲を取得する(S488)。
【0291】
ここで、カラオケDB116には、楽曲と歌詞とが対応付けて記録されており、この処理において楽曲を取得する場合には、歌詞が付いた楽曲を取得する。
続いて、使用者が視聴する放送番組または楽曲を特定する(S490)。そして、この放送番組または楽曲を取得して、使用者が視聴する放送番組または楽曲に同期して再生できるよう準備し(S492)、放送楽曲補完処理を終了する。
【0292】
[第15実施形態による効果]
上記音声応答システム100においてサーバ90は、使用者が視聴する放送番組と同様の放送番組を取得し、放送番組が途切れた場合に、自身が取得した放送番組を出力することで途切れた放送番組を補完する。
【0293】
このような音声応答システム100によれば、使用者が視聴する放送番組が途切れないように補うことができる。
また、上記音声応答システム100においてサーバ90は、歌詞無しの楽曲に使用者が歌詞を付して歌う場合において、歌詞ありの楽曲と使用者が付した歌詞とを比較し、使用者の歌詞のみがない部分において歌詞を音声で出力させる。
【0294】
このような音声応答システム100によれば、いわゆるカラオケ装置を利用する使用者が歌えない部分(歌詞が途切れた部分)を補うことができる。
[第16実施形態]
[第16実施形態の処理]
次に第16実施形態の音声応答システムについて説明する。第16実施形態の音声応答システムでは、撮像画像中に文字が含まれる場合において、端末装置1において使用者からこの文字の読み方についての質問を受けると、この文字の情報を外部から取得し、この情報に含まれる文字の読み方を音声で出力させる。
【0295】
この構成では、前述のS56の詳細として、
図31に示す文字解説処理を実施する。文字解説処理では、
図31に示すように、まず、例えば「読み方」のように読みの質問を受けたか否かを判定する(S502)。読みの質問を受けていれば(S502:YES)、画像認識した文字について、読みをインターネット網85を介して接続された他のサーバ等から検索し(S504)、得られた読みを応答に設定し(S506)、文字解説処理を終了する。
【0296】
読みの質問でなければ(S502:NO)、国語辞典に記載された内容のような「言葉の意味」の質問。を受けたか否かを判定する(S508)。意味の質問を受けていれば、画像認識した文字(言葉)について、意味をインターネット網85を介して接続された他のサーバ等から検索し(S510)、得られた意味を応答に設定し(S512)、文字解説処理を終了する。
【0297】
[第16実施形態による効果]
このような音声応答システム100によれば、画像認識した文字について、読みを他のサーバ等から検索し、得られた読みを応答に設定するので、文字の読み方や言葉の意味等を使用者に教えることができる。
【0298】
[第17実施形態]
[第17実施形態の処理]
次に第17実施形態の音声応答システムについて説明する。第17実施形態の音声応答システムでは、端末装置1によって検出されたセンサ値に基づいて、サーバ90が端末装置1の使用者の異常行動や結構状態を検出し、異常がある場合に通報を行う処理を実施する。
【0299】
詳細には、端末装置1においては
図32に示す行動応答端末処理を実施し、サーバ90においては行動応答サーバ処理を実施する。行動応答端末処理においては、
図32に示すように、まず、端末装置1に搭載された各種センサによる出力を取得するとともに(S522)、カメラ41による撮像画像を取得する(S524)。そして、取得した各種センサによる出力および撮像画像をサーバ90に対してパケット送信し(S526)、行動応答端末処理を終了する。
【0300】
次に、行動応答サーバ処理では、
図33に示すように、まず、前述のS42~S44の処理を実施する。続いて、端末装置1の位置情報(GPS受信機27による検出結果)に基づいて、徘徊等の行動を特定し(S532)、温度センサ15,19等による検出結果に基づいて使用者の環境を検出する(S534)。そして、異常を検出する(S536)。
【0301】
この処理では、位置情報の変化と環境とに基づいて異常を検出する。例えば、使用者が高温や低温の場所で動かない場合や、使用者が普段行かない場所に存在する場合に、異常である旨を検出する(S536)。或いは、位置情報や環境を点数化し、この点数が基準値を下回る場合(基準範囲外である場合)に異常であると判断する。
【0302】
続いて、異常が検出されたか否かを判定する(S538)。異常が検出されていなければ(S538:NO)、行動応答サーバ処理を終了する。また、異常が検出されていれば(S538:YES)、異常がある旨のメッセージを生成し(S540)、所定の連絡先に通報する(S542)。そして、前述のS62~S68(S66を除く)の処理を実施し、行動応答サーバ処理を終了する。
【0303】
[第17実施形態による効果]
上記音声応答システム100においてサーバ90は、使用者の行動や使用者の周囲環境を検出し、検出された行動や周囲環境に応じてメッセージを生成する。
【0304】
このような音声応答システム100によれば、危険な場所や立ち入り禁止の領域などを報知することができる。また、使用者に異常な行動があることなどを検出することができる。
【0305】
さらに、上記音声応答システム100においてサーバ90は、使用者を撮像した撮像画像に基づいて、健康状態を判定し、この健康状態に応じてメッセージを生成する。
このような音声応答システム100によれば、使用者の健康状態を管理することができる。
【0306】
また、上記音声応答システム100においてサーバ90は、健康状態が基準値を下回る場合に、所定の連絡先に通報を行う。
このような音声応答システム100によれば、使用者の健康状態が基準値以下の場合に、通報を行うことができる。よってより早期に異常を他者に報知することができる。
【0307】
[その他の実施形態]
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【0308】
例えば、音声応答システム100が二者間および多者間でのやり取りを仲介するようにしてもよい。詳細には、交差点等で道を譲り合う必要がある場合、どちらの車両が先に交差点に進入するかを端末装置1同士が交渉するようにしてもよい。この場合、各端末装置1はサーバ90に対して交差点へ接近する際の移動方位や交差点への接近速度の情報を送信し、サーバ90は、移動方位や接近速度に応じて各端末装置1に優先順位を設定し、優先順位に応じて「とまれ」や「進入可」などの音声を生成して出力すればよい。
【0309】
また、音声通信等、リアルタイムに応答を行う必要がある通信の着呼(着信)を端末装置1が受け付ける際には、使用者の都合のよいときだけ着呼を受け付けるようにしてもよい。具体的には、カメラ41にて使用者の顔を撮像できたときに使用者の都合のよいときとみなして着呼を受け付けるようにしてもよい。
【0310】
さらに、音声通信等の際に、相手を呼び出しても応答しないと、不愉快になる人がいる。このような感情を抑制するために、相手からの応答を待っている利用者に対し、相手の状況を伝えるようにしてもよい。例えば、端末装置1において使用者のスケジュールを管理しておき、使用者が着呼に対して応答しない場合、使用者が何をしているか、或いは、使用者のスケジュールの空き時間を検索し、使用者がいつ応答できるか伝えるようにすることが考えられる。
【0311】
また、使用者が着呼に対して応答しない場合、使用者の場所を呼出元に伝えてもよい。例えば、使用者がスマートフォンやパソコンを介してインターネット等に繋いでいれば、どの端末が操作されているかがわかる。この情報から使用者の場所を特定して呼出元に伝えることが考えられる。
【0312】
さらに、使用者が着呼に対して応答できるか否かを、GPS等を用いた位置情報を利用して判断するようにしてもよい。位置情報に基づけば、車に乗っているか否か、自宅に居るか否か等を判断でき、例えば使用者が移動中である場合やベッド上にいる場合であれば、公共性が高い或いは睡眠中と判断して着呼に応答できないと判断すればよい。このように着呼に応答できない場合には、前述のように使用者が何をしているか等を呼出元に伝えることが考えられる。
【0313】
また、位置情報を取得するためには、防犯カメラを利用する構成も考えられる。近年では、様々な場所防犯カメラが取り付けられているので、これらの防犯カメラを利用して、顔認証等の本人を特定するための構成を利用して、使用者の位置を認識することができる。また、防犯カメラを利用して使用者が何をしているか(電話に出られる状況か否か)といった状況判断を行ってもよい。また、着呼に応答できるか否かについては、別の固定電話を使っているかといった条件(固定電話の使用中には着呼に応答できない)でも判断できる。
【0314】
さらに、端末装置1の使用者が誰かと会話をしたい場合、使用者の性格学習結果を利用し、不特定多数の内、利用者同士の相性が良いと推定される端末装置を呼び出すようにしてもよい。また、このような場合、盛り上がりそうな話題(双方の使用者が興味のある話題(学習結果を利用して抽出されるもの))を使用者に対して話しかけるようにしてもよい。
【0315】
また、音声応答装置の利用が長時間ない場合(基準時間以上、使用者が発話していないとき)に、音声応答装置が使用者に何らかの言葉を掛けるようにしてもよい。
この際に、GPS等の位置情報を利用して話しかける言葉を選択してもよい。
【0316】
[特許請求の範囲または課題を解決するための手段に記載(本発明)の各手段と、実施形態における構成との関係]
上記実施形態における端末装置1、サーバ90は本発明の音声応答装置の一例に相当する。また、上記実施形態における22、S56の処理は本発明の応答取得手段の一例に相当する。
【0317】
さらに、上記実施形態におけるS28、S60、S64の処理は本発明の音声出力手段の一例に相当する。また、上記実施形態におけるS2、S6の処理は本発明の音声入力手段の一例に相当する。
【0318】
さらに、上記実施形態におけるS14の処理は本発明の音声送信手段の一例に相当する。また、上記実施形態における応答候補DB105は本発明の応答記録手段の一例に相当する。
【0319】
さらに、上記実施形態におけるS56の処理は本発明の性格情報取得手段の一例に相当する。また、上記実施形態におけるS22、S56の処理は本発明の応答取得手段の一例に相当する。
【0320】
さらに、上記実施形態におけるS28、S60、S64の処理は本発明の音声出力手段の一例に相当する。また、上記実施形態におけるS254、S258、S260の処理は本発明の第1性格情報生成手段、第2性格情報生成手段の一例に相当する。また、上記実施形態におけるS56の処理は本発明の性格情報取得手段の一例に相当する。
【0321】
さらに、上記実施形態におけるS22、S56の処理は本発明の応答取得手段に相当する。また、上記実施形態におけるS28、S60、S64の処理は本発明の音声出力手段の一例に相当する。
【0322】
さらに、上記実施形態におけるS254、S258、S260の処理は本発明の第1性格情報生成手段、第2性格情報生成手段の一例に相当する。
さらに、上記実施形態におけるS48、S56の処理は本発明の応答生成手段の一例に相当する。また、上記実施形態におけるS28、S60、S64の処理は本発明の音声出力手段の一例に相当する。
【0323】
さらに、上記実施形態における変形例:S48の処理は本発明の音声入力動画取得手段の一例に相当する。また、上記実施形態におけるS52の処理は本発明の文字情報変換手段の一例に相当する。
【0324】
さらに、上記実施形態における嗜好情報生成処理は本発明の嗜好情報生成手段の一例に相当する。また、上記実施形態におけるS56の処理は本発明の応答候補取得手段の一例に相当する。
【0325】
さらに、上記実施形態における動作文字入力処理は本発明の文字情報生成手段の一例に相当する。また、他装置情報取得手段上記実施形態における他端末利用処理は本発明の転送手段の一例に相当する。
【0326】
さらに、上記実施形態におけるS98の処理は本発明の再生条件判定手段の一例に相当する。また、上記実施形態におけるS100の処理は本発明のメッセージ再生手段の一例に相当する。
【0327】
さらに、上記実施形態におけるS116の処理は本発明の未回答時送信手段の一例に相当する。また、上記実施形態におけるS372の処理は本発明の発話正確度検出手段の一例に相当する。
【0328】
さらに、上記実施形態におけるS374の処理は本発明の正確度合出力手段の一例に相当する。また、上記実施形態におけるS204の処理は本発明の接続制御手段の一例に相当する。
【0329】
さらに、上記実施形態におけるS50の処理は本発明の感情判定手段の一例に相当する。また、上記実施形態におけるS438の処理は本発明の経路情報取得手段の一例に相当する。
【0330】
さらに、上記実施形態におけるS462の処理は本発明の視線検出手段の一例に相当する。また、上記実施形態におけるS464の処理は本発明の視線移動要求送信手段の一例に相当する。
【0331】
さらに、上記実施形態におけるS464の処理は本発明の変化要求送信手段の一例に相当する。また、上記実施形態におけるS486の処理は本発明の放送番組取得手段の一例に相当する。
【0332】
さらに、上記実施形態におけるS484の処理は本発明の放送番組補完手段、歌詞付加手段の一例に相当する。また、上記実施形態におけるS504、S506の処理は本発明の読み方出力手段の一例に相当する。また、上記実施形態におけるS522、S524の処理は本発明の行動環境検出手段の一例に相当する。
【0333】
さらに、上記実施形態におけるS538の処理は本発明の健康状態判定手段の一例に相当する。また、上記実施形態におけるS540の処理は本発明の健康メッセージ生成手段の一例に相当する。
【0334】
さらに、上記実施形態におけるS542の処理は本発明の通報手段の一例に相当する。
【符号の説明】
【0335】
1…端末装置、10…行動センサユニット、11…次元加速度センサ、13…軸ジャイロセンサ、15…温度センサ、17…湿度センサ、19…温度センサ、21…湿度センサ、23…照度センサ、25…濡れセンサ、27…GPS受信機、29…風速センサ、33…心電センサ、35…心音センサ、37…マイク、39…メモリ、41…カメラ、50…通信部、53…無線電話ユニット、55…連絡先メモリ、60…報知部、61…ディスプレイ、63…電飾、65…スピーカ、70…操作部、71…タッチパッド、73…確認ボタン、75…指紋センサ、77…救援依頼レバー、80…通信基地局、85…インターネット網、90…サーバ、100…音声応答システム、101…演算部、102…音声認識DB、103…予測変換DB、104…音声DB、105…応答候補DB、106…性格DB、107…学習DB、108…嗜好DB、109…ニュースDB、110…天気DB、111…再生条件DB、112…手書き文字・手話DB、113…端末情報DB、114…感情判定DB、115…健康判定DB、116…カラオケDB、117…通報先DB、118…セールスDB、119…クライアントDB。