IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本特殊陶業株式会社の特許一覧

特開2024-63745バーチャルアシスタント装置及びバーチャルアシスタント装置用のプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024063745
(43)【公開日】2024-05-13
(54)【発明の名称】バーチャルアシスタント装置及びバーチャルアシスタント装置用のプログラム
(51)【国際特許分類】
   G06F 3/16 20060101AFI20240502BHJP
   G10L 15/10 20060101ALI20240502BHJP
   G10L 15/22 20060101ALI20240502BHJP
   G10L 13/00 20060101ALI20240502BHJP
   G06F 3/01 20060101ALI20240502BHJP
【FI】
G06F3/16 620
G10L15/10 200W
G10L15/22 300Z
G10L13/00 100M
G06F3/16 650
G06F3/16 690
G06F3/01 510
【審査請求】有
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023144136
(22)【出願日】2023-09-06
(31)【優先権主張番号】P 2022171243
(32)【優先日】2022-10-26
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004547
【氏名又は名称】日本特殊陶業株式会社
(74)【代理人】
【識別番号】110000497
【氏名又は名称】弁理士法人グランダム特許事務所
(72)【発明者】
【氏名】宮嶋 一元
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA46
5E555AA76
5E555BA02
5E555BB02
5E555BC04
5E555CA47
5E555CB64
5E555DA23
5E555DB18
5E555DB32
5E555DB41
5E555DC85
5E555EA23
5E555FA00
(57)【要約】
【課題】バーチャルアシスタント装置を利用する利用者との会話を円滑に行いやすい技術を提供する。
【解決手段】バーチャルアシスタント装置10は、キャラクタ70の画像を表示する表示部15と、出力部と、制御部11と、音声入力部16と、登録部と、を備える。登録部には、キーワード又はキーワードを示唆する情報であるキーワード情報と、キーワードに対応する返答とが登録される。制御部11は、キーワード情報を表示部15に表示させる表示制御を行い、表示制御によって表示部15にキーワード情報が表示された状態でキーワードを含む音声が音声入力部16に入力された場合に、音声入力されたキーワードに対応する返答をキャラクタが話すように出力部に出力させる出力制御を行う。
【選択図】図15
【特許請求の範囲】
【請求項1】
キャラクタの画像を表示する表示部と、言葉を発する出力部と、前記表示部及び前記出力部を制御する制御部と、音声が入力される音声入力部と、を備えたバーチャルアシスタント装置であって、
当該バーチャルアシスタント装置の内部又は外部に設けられるとともに、キーワード又は前記キーワードを示唆する情報であるキーワード情報、および前記キーワードに対応する返答が登録される登録部を利用し、
前記制御部は、前記キーワード情報を前記表示部に表示させる表示制御を行い、前記表示制御によって前記表示部に前記キーワード情報が表示された状態で前記キーワードを含む前記音声が前記音声入力部に入力された場合に、音声入力された前記キーワードに対応する前記返答を前記キャラクタが話すように前記出力部に出力させる出力制御を行う
バーチャルアシスタント装置。
【請求項2】
複数の前記キーワードおよび各々の前記キーワードに関連する話が登録される前記登録部を利用し、
前記制御部は、いずれかの話題について前記キャラクタが話すように前記出力部に出力させる話題提供制御を行い、前記話題提供制御によって提供される話題に関する前記キーワードを前記表示部に表示させる前記表示制御を行い、前記表示制御によって前記表示部に前記キーワードが表示された状態で前記キーワードを読み上げる前記音声が前記音声入力部に入力された場合に、音声入力された前記キーワードに関連する話題を前記キャラクタが話すように前記登録部の情報を利用して前記出力部に出力させる出力制御を行う
請求項1に記載のバーチャルアシスタント装置。
【請求項3】
前記登録部には、複数の質問が登録され、
前記制御部は、いずれかの前記質問を前記キャラクタが話すように前記話題提供制御を行い、前記話題提供制御によって提供される前記質問の答えを含む前記キーワードを前記表示部に表示させるように前記表示制御を行う
請求項2に記載のバーチャルアシスタント装置。
【請求項4】
外部からの選択指示を受け付ける受付部を備え、
前記制御部は、話題の種類を特定する特定情報を前記表示部に複数表示させる情報提供制御を行い、前記情報提供制御によって表示された複数の前記特定情報の中からいずれかを選択する前記選択指示を前記受付部が受け付けた場合に、前記選択指示によって特定される種類の話題について前記キャラクタが話すように前記話題提供制御を行う
請求項2又は請求項3に記載のバーチャルアシスタント装置。
【請求項5】
前記制御部は、予め用意された複数種類の話題の中からいずれかの種類の話題を自動的に選択し、選択した種類の話題について前記キャラクタが話すように前記話題提供制御を行う
請求項2又は請求項3に記載のバーチャルアシスタント装置。
【請求項6】
外部からの選択指示を受け付ける受付部を備え、
前記制御部は、前記選択指示による選択が可能な画像領域を前記表示部に表示させる画像制御を行い、前記画像領域が前記表示部に表示された状態で前記受付部が前記画像領域を選択する前記選択指示を受け付けた場合に前記話題提供制御を行う
請求項2又は請求項3に記載のバーチャルアシスタント装置。
【請求項7】
キャラクタの画像を表示する表示部と、言葉を発する出力部と、前記表示部及び前記出力部を制御する制御部と、音声が入力される音声入力部と、を備えたバーチャルアシスタント装置に用いられるプログラムであって、
前記バーチャルアシスタント装置の内部又は外部に設けられるとともに、キーワード又は前記キーワードを示唆する情報であるキーワード情報、および前記キーワードに対応する返答が登録される登録部を利用し、
前記キーワード情報を前記表示部に表示させる表示制御を前記制御部に行わせ、
前記表示制御によって前記表示部に前記キーワード情報が表示された状態で前記キーワードを含む前記音声が前記音声入力部に入力された場合に、音声入力された前記キーワードに対応する前記返答を前記キャラクタが話すように前記出力部に出力させる出力制御を前記制御部に行わせる
バーチャルアシスタント装置用のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、バーチャルアシスタント装置及びバーチャルアシスタント装置用のプログラムに関する。
【背景技術】
【0002】
特許文献1には、音声出力システムが開示されている。特許文献1の音声出力システムは、音声情報取得手段、出力制御手段、会話情報取得手段、などを備える。音声情報取得手段は、話者から発せられた音声に関する音声情報を取得する。出力制御手段は、表示媒体に表示される表示内容に応じた文章を、音声情報に基づき話者の音声の態様を模した音声により、表示媒体のユーザに用いられる音声出力機器に出力させる。会話情報取得手段は、ユーザと話者との会話に関する会話情報を取得する。話者が文章を音声により発する際に、表示媒体には話者の態様を模した画像が表示される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-76885号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
表示部にキャラクタを表示し、キャラクタが利用者との間で会話を行うような装置では、利用者が話題を考えることが難しかったり、負担になったりする場合がある。また、会話の途中でも、利用者が回答に困ってしまう場合がある。
【0005】
本発明は、バーチャルアシスタント装置を利用する利用者との会話を円滑に行いやすい技術を提供することを一つの目的とする。
【課題を解決するための手段】
【0006】
本発明の一つであるバーチャルアシスタント装置は、
キャラクタの画像を表示する表示部と、言葉を発する出力部と、前記表示部及び前記出力部を制御する制御部と、音声が入力される音声入力部と、を備えたバーチャルアシスタント装置であって、
当該バーチャルアシスタント装置の内部又は外部に設けられるとともに、キーワード又は前記キーワードを示唆する情報であるキーワード情報、および前記キーワードに対応する返答が登録される登録部を利用し、
前記制御部は、前記キーワード情報を前記表示部に表示させる表示制御を行い、前記表示制御によって前記表示部に前記キーワード情報が表示された状態で前記キーワードを含む前記音声が前記音声入力部に入力された場合に、音声入力された前記キーワードに対応する前記返答を前記キャラクタが話すように前記出力部に出力させる出力制御を行う。
【0007】
本発明の一つであるバーチャルアシスタント装置用のプログラムは、
キャラクタの画像を表示する表示部と、言葉を発する出力部と、前記表示部及び前記出力部を制御する制御部と、音声が入力される音声入力部と、を備えたバーチャルアシスタント装置に用いられるプログラムであって、
前記バーチャルアシスタント装置の内部又は外部に設けられるとともに、キーワード又は前記キーワードを示唆する情報であるキーワード情報、および前記キーワードに対応する返答が登録される登録部を利用し、
前記キーワード情報を前記表示部に表示させる表示制御を前記制御部に行わせ、
前記表示制御によって前記表示部に前記キーワード情報が表示された状態で前記キーワードを含む前記音声が前記音声入力部に入力された場合に、音声入力された前記キーワードに対応する前記返答を前記キャラクタが話すように前記出力部に出力させる出力制御を前記制御部に行わせる。
【発明の効果】
【0008】
本発明によれば、バーチャルアシスタント装置を利用する利用者との会話を円滑に行いやすい技術を提供することができる。
【図面の簡単な説明】
【0009】
図1図1は、第1実施形態のバーチャルアシスタント装置を備えたバーチャルアシスタントシステムの電気的構成を簡略的に示すブロック図である。
図2図2は、第1実施形態のバーチャルアシスタント装置における通常表示の例1を示す説明図である。
図3図3は、管理装置に記憶された利用者データのデータ構造例を概念的に示す説明図である。
図4図4は、管理装置に記憶されたコンテンツ関連データのデータ構造例を概念的に示す説明図である。
図5図5は、第1実施形態のバーチャルアシスタント装置での制御の流れを例示するフローチャートである。
図6図6は、第1実施形態のバーチャルアシスタント装置における通常表示の例2を示す説明図である。
図7図7は、第1実施形態のバーチャルアシスタント装置における通常表示の例3を示す説明図である。
図8図8は、第1実施形態のバーチャルアシスタント装置における通常表示の例4を示す説明図である。
図9図9は、第1実施形態のバーチャルアシスタント装置における「所定の報知」の一例を説明する説明図である。
図10図10は、第1実施形態のバーチャルアシスタント装置における通常表示の例5を示す説明図であり、報知情報が表示された例を示す図である。
図11図11は、第1実施形態のバーチャルアシスタント装置でのコンテンツの提供例1を示す説明図である。
図12図12は、第1実施形態のバーチャルアシスタント装置でのコンテンツの提供例2を示す説明図であり、図11の表示に続く表示の例である。
図13図13は、第1実施形態のバーチャルアシスタント装置でのコンテンツの提供例3を示す説明図であり、図12の表示に続く表示の例である。
図14図14は、第1実施形態のバーチャルアシスタント装置でのコンテンツの提供例4を示す説明図であり、図13の表示に続く表示の例である。
図15図15は、第1実施形態のバーチャルアシスタント装置において行われる表示に関し、第1の例での表示例を示す説明図である。
図16図16は、図15に続く表示の例を説明する説明図である。
図17図17は、図16に続く表示の例を説明する説明図である。
図18図18は、第1実施形態のバーチャルアシスタント装置において行われる表示に関し、第2の例での表示例を示す説明図である。
図19図19は、図18に続く表示の例を示す説明図である。
図20図20は、図19に続く表示の例を示す説明図である。
図21図21は、第1実施形態のバーチャルアシスタント装置において行われる表示に関し、第3の例での選択可能な表示の例を示す説明図である。
図22図22は、図21に続く表示の例を示す説明図である。
図23図23は、図22に続く表示の例を示す説明図である。
図24図24は、表示画面の別例を示す説明図である。
図25図25は、第1実施形態のバーチャルアシスタント装置において行われる表示に関し、第4の例での表示例を示す説明図である。
【発明を実施するための形態】
【0010】
[本開示の実施形態の説明]
以下では、本開示の実施形態が列記されて例示される。
【0011】
〔1〕キャラクタの画像を表示する表示部と、言葉を発する出力部と、前記表示部及び前記出力部を制御する制御部と、音声が入力される音声入力部と、を備えたバーチャルアシスタント装置であって、
当該バーチャルアシスタント装置の内部又は外部に設けられるとともに、キーワード又は前記キーワードを示唆する情報であるキーワード情報、および前記キーワードに対応する返答が登録される登録部を利用し、
前記制御部は、前記キーワード情報を前記表示部に表示させる表示制御を行い、前記表示制御によって前記表示部に前記キーワード情報が表示された状態で前記キーワードを含む前記音声が前記音声入力部に入力された場合に、音声入力された前記キーワードに対応する前記返答を前記キャラクタが話すように前記出力部に出力させる出力制御を行う
バーチャルアシスタント装置。
【0012】
上記のバーチャルアシスタント装置は、キーワード情報を表示部に表示させることで、利用者が会話を開始又は継続するためのヒントを与えることができる。これにより、利用者が会話の開始や継続を行いやすくなる。しかも、登録部には、キーワードに対応する返答も登録されている。このため、上記のバーチャルアシスタント装置は、利用者からキーワードを含む言葉が発せられた場合に、そのキーワードに適した返答を行うことができる。
【0013】
〔2〕複数の前記キーワードおよび各々の前記キーワードに関連する話が登録される前記登録部を利用し、
前記制御部は、いずれかの話題について前記キャラクタが話すように前記出力部に出力させる話題提供制御を行い、前記話題提供制御によって提供される話題に関する前記キーワードを前記表示部に表示させる前記表示制御を行い、前記表示制御によって前記表示部に前記キーワードが表示された状態で前記キーワードを読み上げる前記音声が前記音声入力部に入力された場合に、音声入力された前記キーワードに関連する話題を前記キャラクタが話すように前記登録部の情報を利用して前記出力部に出力させる出力制御を行う
〔1〕に記載のバーチャルアシスタント装置。
【0014】
上記のバーチャルアシスタント装置は、いずれかの話題についてキャラクタが話すように話題提供制御を行うため、利用者に対して話題を提供することができる。そして、話題提供制御によって提供される話題に関するキーワードを表示部に表示させるように表示制御を行うため、利用者にキーワードの読み上げを促すことができる。これにより、話題提供後に利用者が回答に迷ったり、回答を放棄したりすることを抑制することができ、利用者の発話を促進することができる。更に、利用者がキーワードを音読することで、そのキーワードに関連する話をキャラクタが話すように会話が続くため、会話を円滑に進めやすい。また、キーワードを見て読んで、懐かしく思い出したり、声に出して自分の耳で聴くように音読を行うことは脳の活性化につながる。しかも、話題提供後の回答を認識する際には、予め用意されたキーワードを認識すればよいため、利用者が自由に回答する方法と比較して利用者からの応答が正確に認識されやすく、正確な認識に基づく自然な会話が成立しやすい。
【0015】
〔3〕前記登録部には、複数の質問が登録され、
前記制御部は、いずれかの前記質問を前記キャラクタが話すように前記話題提供制御を行い、前記話題提供制御によって提供される前記質問の答えを含む前記キーワードを前記表示部に表示させるように前記表示制御を行う
〔2〕に記載のバーチャルアシスタント装置。
【0016】
このバーチャルアシスタント装置は、利用者に対して質問を行うように会話を開始又は継続することができ、質問として話題を提供するため、利用者が聞き流すような事態を抑制しやすく、利用者の回答を一層促進しやすい。この例において、話題の提供を開始する条件は、主に、「利用者が画面に表示された所定ボタンを選択する操作を行ったとき」「利用者が話題の種別を特定する情報(話題の種別を特定するキーワード、話題の種別を特定する番号等)を読み上げたとき」「利用者が所定画像と共に表示されるキーワードを読み上げたとき」などが挙げられる。
【0017】
〔4〕外部からの選択指示を受け付ける受付部を備え、
前記制御部は、話題の種類を特定する特定情報を前記表示部に複数表示させる情報提供制御を行い、前記情報提供制御によって表示された複数の前記特定情報の中からいずれかを選択する前記選択指示を前記受付部が受け付けた場合に、前記選択指示によって特定される種類の話題について前記キャラクタが話すように前記話題提供制御を行う
〔2〕又は〔3〕に記載のバーチャルアシスタント装置。
【0018】
このバーチャルアシスタント装置は、利用者が複数種類の話題の中から希望する話題を選択することができるため、利用者が希望する種類の話題の会話を円滑に継続させやすい。
【0019】
〔5〕前記制御部は、予め用意された複数種類の話題の中からいずれかの種類の話題を自動的に選択し、選択した種類の話題について前記キャラクタが話すように前記話題提供制御を行う
〔2〕又は〔3〕に記載のバーチャルアシスタント装置。
【0020】
このバーチャルアシスタント装置は、いずれかの種類の話題を自動的に選択して提供するように話題提供制御を行うことができるため、話題を決定する負担を軽減することができ、特に話題を決定してもらうことを望む利用者にとって有用である。自動的に選択する方法は、ランダムに選択する方法であってもよく、規則正しく選択する方法であってもよい。
【0021】
〔6〕外部からの選択指示を受け付ける受付部を備え、
前記制御部は、前記選択指示による選択が可能な画像領域を前記表示部に表示させる画像制御を行い、前記画像領域が前記表示部に表示された状態で前記受付部が前記画像領域を選択する前記選択指示を受け付けた場合に前記話題提供制御を行う
〔2〕から〔5〕のいずれか一つに記載のバーチャルアシスタント装置。
【0022】
このバーチャルアシスタント装置は、利用者が選択指示を行うことをトリガーとして新たな話題提供制御を開始することができるため、利用者は自身が望む任意のタイミングで話題の提供を受けることができる。
【0023】
〔7〕キャラクタの画像を表示する表示部と、言葉を発する出力部と、前記表示部及び前記出力部を制御する制御部と、音声が入力される音声入力部と、を備えたバーチャルアシスタント装置に用いられるプログラムであって、
前記バーチャルアシスタント装置の内部又は外部に設けられるとともに、キーワード又は前記キーワードを示唆する情報であるキーワード情報、および前記キーワードに対応する返答が登録される登録部を利用し、
前記キーワード情報を前記表示部に表示させる表示制御を前記制御部に行わせ、
前記表示制御によって前記表示部に前記キーワード情報が表示された状態で前記キーワードを含む前記音声が前記音声入力部に入力された場合に、音声入力された前記キーワードに対応する前記返答を前記キャラクタが話すように前記出力部に出力させる出力制御を前記制御部に行わせる
バーチャルアシスタント装置用のプログラム。
【0024】
上記のバーチャルアシスタント装置用のプログラムは、キーワード情報を表示部に表示させる表示制御を制御部に行わせることで、利用者が会話を開始又は継続するためのヒントを与えることができる。これにより、利用者が会話の開始や継続を行いやすくなる。しかも、登録部には、キーワードに対応する返答も登録されている。このため、上記のバーチャルアシスタント装置用のプログラムは、利用者からキーワードを含む言葉が発せられた場合に、そのキーワードに適した返答を出力部に出力させる出力制御を制御部に行わせることができる。
【0025】
〔8〕複数の前記キーワードおよび各々の前記キーワードに関連する話が登録される前記登録部を利用し、
いずれかの話題について前記キャラクタが話すように前記出力部に出力させる話題提供制御を前記制御部に行わせ、
前記話題提供制御によって提供される話題に関する前記キーワードを前記表示部に表示させる前記表示制御を前記制御部に行わせ、
前記表示制御によって前記表示部に前記キーワードが表示された状態で前記キーワードを読み上げる前記音声が前記音声入力部に入力された場合に、音声入力された前記キーワードに関連する話題を前記キャラクタが話すように前記登録部の情報を利用して前記出力部に出力させる出力制御を前記制御部に行わせる
〔7〕に記載のバーチャルアシスタント装置用のプログラム。
【0026】
上記のバーチャルアシスタント装置用のプログラムは、いずれかの話題についてキャラクタが話すように話題提供制御を行うことができるため、利用者に対して話題を提供することができる。そして、話題提供制御によって提供される話題に関するキーワードを表示部に表示させるように表示制御を行うことができるため、利用者にキーワードの読み上げを促すことができる。これにより、話題提供後に利用者が回答に迷ったリ、回答を放棄したりすることを抑制することができ、利用者の発話を促進することができる。更に、利用者がキーワードを読み上げた場合には、そのキーワードに関連する話をキャラクタが話すように会話が続くため、会話を円滑に進めやすい。しかも、話題提供後の回答を認識する際には、予め用意されたキーワードを認識すればよいため、利用者が自由に回答する方法と比較して利用者からの応答が正確に認識されやすく、正確な認識に基づく自然な会話が成立しやすい。
【0027】
[本開示の実施形態の詳細]
<第1実施形態>
1.バーチャルアシスタントシステムの概要
図1に示されるバーチャルアシスタントシステム1は、バーチャルアシスタント装置10と、管理装置90と、を備える。以下の説明では、バーチャルアシスタントシステム1は、単にシステム1とも称される。以下で説明される代表例は、バーチャルアシスタント装置10が、高齢者向けのバーチャルアシスタント装置として機能するものであり、例えば、利用者が、介護施設、自宅、病院などで利用することができるものである。
【0028】
2.バーチャルアシスタント装置のハードウェア構成
図1のように、バーチャルアシスタント装置10は、タブレット端末、スマートフォン、パーソナルコンピュータ、外部装置と通信可能に構成されたテレビジョンなどの汎用の情報端末にアプリケーションプログラムをインストールし、記憶及び利用可能とした情報通信端末であってもよく、後述される各機能を実現できる専用装置であってもよい。バーチャルアシスタント装置10は、通信機能を有する携帯型の情報装置であってもよく、通信機能を有する据置型の情報装置であってもよい。
【0029】
図1のように、バーチャルアシスタント装置10は、制御部11と通信部12とインタフェース13と記憶部14とを備える。以下で説明されるバーチャルアシスタント装置10の代表例は、バーチャルアシスタント装置10が、図2のようにタブレット端末によって実現される例である。
【0030】
図1に示される制御部11は、例えば公知の情報処理装置として構成される。制御部11は、CPUなどの公知の演算装置及び他の周辺回路などを備え、様々な制御や演算を行い得る。制御部11は、インタフェース13を構成する表示部15及び音声出力部16を制御する機能を有し、例えば、表示部15に、具現化されたキャラクタを表示させる機能を有する。
【0031】
図1に示される通信部12は、公知の有線通信方式又は公知の無線通信方式によって広域通信網に直接又は他装置を介して間接的にアクセス可能な装置である。通信部12は、基地局との間で無線通信を行い、図示されていない基地局を介して広域通信網(例えば、インターネット)に直接アクセスする構成であってもよい。通信部12は、図示されていないアクセスポイントとの間で無線通信を行い、アクセスポイントを介して広域通信網に間接的にアクセスする構成であってもよい。通信部12は、中継装置(ルータ等)との間で有線通信を行い、中継装置を介して広域通信網にアクセスする構成であってもよい。
【0032】
図1に示されるインタフェース13は、利用者からの入力の受入れおよび出力を行う装置である。インタフェース13は、表示部15と音声出力部16と操作部17と音声入力部18とを備える。
【0033】
表示部15及び音声出力部16は、出力部の一例に相当し、情報を出力する機能を有する。表示部15は、液晶ディスプレイや有機エレクトロルミネッセンスディスプレイなどの公知の画像表示装置として構成され、様々な画像を表示する機能を有する。以下で説明される代表例では、表示部15は、タッチパネル式の表示装置の一部をなす。音声出力部16は、例えば公知のスピーカなどの発音装置によって構成されている。音声出力部16は、制御部11と協働して各種音声を出力する機能を有する。
【0034】
操作部17及び音声入力部18は、情報を入力する入力部として機能する。操作部17は、動作検出部の一例に相当し、接触方式での入力操作が可能とされた入力デバイスである。操作部17は、例えば、タッチパネルなどが好適例であり、情報を入力するためのボタンを備えていてもよい。音声入力部18は、例えば公知のマイクなどの音声入力装置によって構成されている。音声入力部18は、入力される音を電気信号に変換して制御部11に与える機能を有する。音声入力部18は、利用者が音声入力部18に向かって声やその他の音を発した場合に利用者の音声を示す音声信号を取得するように機能する。具体的には、音声入力部18は、自身が検出可能な音声を利用者が発した場合、その音声の内容を示す音声信号を取得し、電気信号に変換し得る。
【0035】
以下で説明される代表例では、図2等で示されるように、表示部15と操作部17とがタッチパネル式表示装置20を構成する。図2等の例では、操作部17の一部又は全部をなすタッチパネルが、表示部15からの光を透過可能に構成され、表示部15からの画像を外部から視認可能な構成で透明性のパネルとして表示部15を覆っている。
【0036】
記憶部14は、様々な情報を記憶する機能を有する。記憶部14は、半導体メモリ、HDD、SSD、など、公知の記憶装置が採用される。制御部11は、記憶部14に対して各種情報を書き込む機能や、記憶部14に記憶された各種情報を読み出す機能を有する。記憶部14には、後述されるアプリケーションプログラムなどの様々なプログラムが記憶されている。記憶部14には、管理装置90によって管理されているサイト、情報、プログラム等に対して広域通信網を介してアクセスするための識別情報(例えば、URL(Uniform Resource Locator)など)やその他のデータも記憶されている。
【0037】
3.管理装置
図1に示される管理装置90は、様々な情報処理機能や様々な演算機能を有する。管理装置90は、バーチャルアシスタント装置10の外部に設けられた外部装置である。管理装置90は、様々な情報を登録する機能、様々な情報を配信する機能、などを有する。管理装置90は、通信機能及び情報処理機能を有する装置であればよい。管理装置90は、例えば、CPU,記憶媒体、通信装置などを備えたコンピュータとして構成されている。図1の例では、管理装置90は、制御装置91と、通信部92、表示部93、入力部94、記憶部95、を備える。
【0038】
制御装置91は、例えば公知の情報処理装置として構成される。制御装置91は、CPUなどの公知の演算装置及び他の周辺回路などを備え、様々な制御や演算を行い得る。
【0039】
通信部92は、公知の有線通信方式又は公知の無線通信方式によって広域通信網に直接又は他装置を介して間接的にアクセス可能な装置である。通信部92は、基地局との間で無線通信を行い、図示されていない基地局を介して広域通信網に直接アクセスする構成であってもよい。通信部92は、図示されていないアクセスポイントとの間で無線通信を行い、アクセスポイントを介して広域通信網に間接的にアクセスする構成であってもよい。通信部92は、中継装置(ルータ等)との間で有線通信を行い、中継装置を介して広域通信網にアクセスする構成であってもよい。
【0040】
表示部93は、公知の画像表示装置として構成される。入力部94は、例えば、キーボード、マウス、タッチパネル、音声入力部など、公知の入力デバイスとして構成され、接触による操作や音声入力などによって情報の入力が可能とされる。記憶部95は、様々な情報を記憶する記憶装置である。記憶部95において、データベースが構成されていてもよい。
【0041】
4.管理装置からのコンテンツの配信
管理装置90には、情報の配信対象である利用者に関する情報が登録されている。図3は、図1に示される管理装置90の記憶部95に記憶される利用者データのデータ構造例を示している。図3のように、管理装置90に記憶される利用者データは、データベースを構成しており、各々の利用者に対応付けてID、登録種類、利用者情報が記憶されている。IDは、各々の利用者を識別可能な情報であり、各々の利用者を特定し得る識別情報である。登録種類は、利用者が希望する情報や利用者に有意義な情報の種類を登録する情報である。利用者情報は、利用者に関する各種情報であり、氏名、生年月日、メールアドレス、趣味、健康に関する情報、気分に関する情報、居住地、過去のエピソード、希望するキャラクタの容姿と性格等の個人情報を含んでいてもよく、コンテンツの配信先を特定する配信先情報を含んでいてもよい。例えば、図3の利用者データでは、利用者のIDとしてID1が特定されれば、「ID1」で特定される利用者が希望する情報の種類が「登録種類1」の情報によって特定され、その利用者の個人情報等が「利用者情報1」の情報によって特定される。
【0042】
本実施形態に係るシステム1では、「利用者が希望する情報の種類」や「利用者に有意義な情報」として、様々な種類が登録可能とされている。具体的には、「利用者が希望する情報の種類」や「利用者に有意義な情報」として、趣味又は生き甲斐に関する複数の種類が予め選定可能に用意され、それら複数の種類から選ばれるいずれか1以上の種類が登録情報に含まれていてもよい。趣味又は生き甲斐に関する種類としては、例えば、園芸、スポーツ、レクリエーション、体操、音楽、美術、料理、懐かしい景色や玩具、旅行、動物、乗り物、ショッピング情報、昔の出来事、最近のニュース、地域の役立つ情報、安全に関する情報、個人の属性に関連する情報、など、様々な種類を用意しておくことができる。或いは、利用者が希望する情報の種類として、病気に関する複数の種類が予め選定可能に用意され、それら複数の種類から選ばれるいずれか1以上の種類が登録情報に含まれていてもよい。具体的には、老年症候群の予防、リハビリテーション、リラクゼーション、在宅医療、栄養、運動管理などに関する複数の種類が予め選定可能に用意され、それら複数の種類から選ばれるいずれか1以上の種類が登録情報に含まれていてもよい。
【0043】
例えば、図3の利用者データにおいて、ID1が「00001」の情報であり、登録種類1が「園芸、体操」を特定する情報であり、利用者情報1が、利用者名として「山田太郎」を特定し、配信先アドレスとして「アドレス情報1」を特定する情報であるとする。この場合、制御装置91は、利用者データを参照すれば、「00001」のIDで特定される利用者の氏名が「山田太郎」であり、配信先アドレスが「アドレス情報1」であり、この利用者が希望する種類が「園芸、体操」であることを特定することができる。
【0044】
管理装置90は、コンテンツの登録及び配信を行うことが可能とされている。図4は、図4は、図1に示される管理装置90の記憶部95に記憶されるコンテンツ関連データのデータ構造例を示している。図4のように、管理装置90に記憶されるコンテンツ関連データは、データベースを構成しており、コンテンツ毎に、コンテンツ識別情報、コンテンツデータ、配信日時、コンテンツの種類が互いに対応付けられて記憶されている。本明細書では、コンテンツデータは、コンテンツ情報の一例に相当し、単にコンテンツとも称される。
【0045】
コンテンツ識別情報は、各々のコンテンツを識別可能且つ特定可能な情報であればよく、識別番号であってもよく、具体的な名称であってもよい。コンテンツデータは、コンテンツの具体的なデータであり、動画データ、静止画データ、音声データなどを含んでいてもよく、その他のデータ(例えば、プログラムデータ等)を含んでいてもよい。配信日時は、対応付けられたコンテンツ(コンテンツデータ)が配信される日時を特定する情報である。種類情報は、対応付けられたコンテンツ(コンテンツデータ)の種類を特定する情報である。種類情報で特定されるコンテンツの種類は、1種類であってもよく、複数種類であってもよい。
【0046】
管理装置90は、各識別情報で特定される各コンテンツ(コンテンツデータ)を、各コンテンツを配信すべき利用者(各コンテンツの種類を登録している利用者)のバーチャルアシスタント装置10に対し、各コンテンツに対応付けられた各配信日時に配信する。なお、図1では、一の利用者が所持する一のバーチャルアシスタント装置10のみが例示されているが、システム1では、多数の利用者がバーチャルアシスタント装置10を所持することができ、図1では、他の利用者が所持するバーチャルアシスタント装置10の図示は省略されている。管理装置90は、コンテンツを配信する場合において、そのコンテンツの配信対象の利用者が複数存在する場合、いずれの利用者のバーチャルアシスタント装置10に対してもコンテンツを配信することができる。なお、本実施形態では、管理装置90が各コンテンツを配信すべき利用者(各コンテンツの種類を登録している利用者)を特定し、当該利用者のバーチャルアシスタント装置10に対し、各コンテンツ(コンテンツデータ)を配信することとしたが、コンテンツの配信はこれに限られない。例えば、利用者のバーチャルアシスタント装置10が、自身の記憶部に記憶されている情報に基づき、管理装置90に対してコンテンツの配信を要求することで、当該利用者のバーチャルアシスタント装置10に対し、各コンテンツ(コンテンツデータ)を配信することとしてもよい。
【0047】
例えば、図4のコンテンツ関連データにおいて、「識別情報1」が「0000A」の情報であり、「データ1」が「園芸に関する所定の動画データ」であり、「日時情報1」が「2021年1月1日10:00」であり、「種類情報1」が「園芸」を特定する情報であるとする。この場合、制御装置91は、図4のコンテンツ関連データを参照すれば、「0000A」に対応付けられたコンテンツデータ(データ1の「園芸に関する所定の動画データ」)を、「園芸」の種類のデータとして、「2021年1月1日10:00」に配信すべきことを特定することができる。この場合、管理装置90は、識別情報1(0000A)で特定されるコンテンツデータ(データ1の「園芸に関する所定の動画データ」)を、「園芸」の種類のデータを登録する利用者(図3の利用者データにおいて、登録種類として「園芸」を含む利用者)のバーチャルアシスタント装置10に対し「2021年1月1日10:00」に配信する。
【0048】
5.バーチャルアシスタント装置の受信制御
5-1.基本制御
バーチャルアシスタント装置10には、アプリケーションプログラムが記憶されている。このアプリケーションプログラムは、バーチャルアシスタント装置10にインストールされている。このアプリケーションプログラムは、記憶部14に記憶され、制御部11によって読み出されて実行される。このアプリケーションプログラムは、バーチャルアシスタント装置用のプログラムの一例に相当する。
【0049】
上述されたように、管理装置90は、バーチャルアシスタント装置10に対してコンテンツ(コンテンツデータ)を配信する。管理装置90からバーチャルアシスタント装置10に配信されるコンテンツは、バーチャルアシスタント装置10を所持する利用者が予め登録した種類に属するコンテンツであってもよく、利用者による登録に関係なく管理装置90が選定したコンテンツであってもよい。バーチャルアシスタント装置10は、管理装置90から自身に対して配信されるコンテンツを通信部12によって受信する。制御部11は、外部(管理装置90)から配信されるコンテンツ(コンテンツデータ)を通信部12が受けた場合に、そのコンテンツデータを記憶部14に記憶し、インタフェース13を介して「所定の報知」を行う制御を実行する。なお、「所定の報知」は、コンテンツデータを記憶部14に記憶する前に行ってもよい。
【0050】
具体的には、上記アプリケーションプログラムは、図5のような流れで制御部11に制御を行わせるプログラムである。制御部11は、所定の開始条件が成立した場合(例えば、操作部17に対して予め定められた開始操作(例えば、当該アプリケーションプログラムを起動させるためのタッチパネル式表示装置20の操作)がなされた場合)に上記アプリケーションプログラムを実行し、ステップS1において、画像によって具現化されたキャラクタ70を表示部15に表示させる。
【0051】
図2には、ステップS1でなされる表示の具体例が示される。図2において、キャラクタ70は、一般人を模したバーチャルアシスタント(擬人)である。図2に表示されるキャラクタ70は、あくまで一例であり、例えば、介護福祉士、看護師、医師などの特定の職業の者を模したバーチャルアシスタントであってもよい。また、人に限らず動物やロボット等を模したバーチャルアシスタントであってもよい。上記アプリケーションプログラムは、図2に表示されるキャラクタ70が自動的に会話を行うようにチャットボットの機能を実現するプログラムが備えられていてもよい。自動的に行う会話の内容は、利用者が事前に登録した属性(男女、年齢、居住地域、健康状態、気分、現役時代の仕事、家族構成、住宅環境、誕生日、趣味、コンテンツの難易度、希望するキャラクタの容姿と性格など)に合わせて、変更、選択することができる。なお、ここで例示された属性はあくまで一例であり、上述の利用者情報に含まれる他の属性であってもよい。図2に示されるキャラクタ70の画像は、静止画や動画などによって実現することができ、後述されるステップS3の処理が実行されていない期間には、時間経過に応じて図6図7図8のようにキャラクタ70の表情、姿勢、動作、行為、つぶやき、声かけなどの発話などを様々に変化させてもよい。
【0052】
制御部11は、ステップS1、S3、S4等において、図2図6図8のようにキャラクタ70を表示させ、その場合には、表示部15に、季節、暦、日付、時刻、利用者の情報等を文字やアイコンで表示してもよく、朝・昼・夕方・夜の時間帯をイメージするイラストレーション、写真、コンピューターグラフィック、その他の画像等を表示してもよい。例えば、図6は、予め定められた昼の時間帯の画像を示しており、この画像では、昼の時間帯であることを示すようにキャラクタ70の外側の背景の色を明るい色(具体的には予め定められた明色)で示している。一方、図8は、予め定められた夜の時間帯の画像を示しており、この画像では、夜の時間帯であることを示すようにキャラクタ70の外側の背景の色を暗い色(予め定められた暗色)で示している。
【0053】
制御部11は、ステップS1の後、ステップS2において、コミュニケーション条件が成立したか否かを判定する。コミュニケーション条件は、バーチャルアシスタント装置10においてコミュニケーションを行う条件として予め定められた条件である。コミュニケーション条件は、音声入力部18に対して所定の音声が入力されたこと(例えば、予め定められたウエイクワードが入力されたこと)であってもよい。以下で説明される代表例では、キャラクタ70の名前がウエイクワードとされており、このウエイクワードが音声入力されることがコミュニケーション条件の一つとされている。なお、この例はあくまで一例であり、予め定められた挨拶(例えば「こんにちは」の言葉)がウエイクワードとされ、このウエイクワードが音声入力されることがコミュニケーション条件の一つとされてもよい。コミュニケーション条件は、これらの例に限定されず、例えば、操作部17に対して所定の操作がなされたことであってもよい。「操作部17に対して所定の操作がなされたこと」の例としては、例えば、表示部15におけるキャラクタの近傍、またはキャラクタをタップする操作がなされたことであってもよく、話の開始を指示するための何らかのボタンを選択する操作がなされたことであってもよく、図9のような画面において「見る」を選択する操作がなされたことであってもよく、いきいき配信を選択する所定操作がなされたことであってもよい。或いは、コミュニケーション条件は、予め設定された予約時刻が到来したことであってもよい。
【0054】
制御部11は、ステップS2においてコミュニケーション条件が成立した判定した場合、ステップS3に進んで会話又はコンテンツの提供を開始する。一方、ステップS2においてコミュニケーション条件が成立していないと判定した場合、ステップS4に進んで通常表示を継続する。なお、ステップS2でのNo判定及びステップS5でのNo判定が繰り返される間は、図2図6図8のようなキャラクタ表示を継続させ、継続中には、キャラクタ70の表情、姿勢、動作、行為などを様々に変化させる。
【0055】
制御部11は、ステップS3又はステップS4の後、ステップS5において、新たな配信があったか否かの判定を行う。制御部11は、ステップS5において、通信部12が管理装置90から配信されたコンテンツ(コンテンツデータ)を受けていないと判定した場合、ステップS5においてNoと判定するとともにステップS2に処理を戻し、ステップS2以降の処理を再び行う。制御部11は、ステップS5において新たな配信があったと判定した場合、ステップS5においてYesと判定し、ステップS6において新たに配信されたコンテンツデータを記憶部14に蓄積する。なお、制御部11は、新たな配信があった後、図9のような所定の報知を行い、所定の報知を行った後、所定時間を経過するまで「コンテンツの提供を指示する入力」がなされない場合、図10のように、コンテンツデータ(コンテンツ情報)の配信があったことを示す報知情報の表示を表示部15に行わせてもよい。
【0056】
制御部11は、ステップS3の処理を行う場合、例えば、図11図14のようにコンテンツを提供してもよい。図11図14は、制御部11がステップS3で行う処理での表示例を示している。図11図14は、例えば、管理装置90から「園芸」に関する「いきいき配信」というコンテンツが新たに配信された場合において、上記コミュニケーション条件が成立した場合(例えば、図9のような画面が表示された後、「見る」ボタンが選択された場合)に、ステップS3でこのコンテンツを提供する例であり、この例では、配信されたコンテンツデータに「園芸」に関する動画や会話データが含まれている。この場合、制御部11は、ステップS3において動作を再生しつつ会話のために音声を発するように制御を行う。例えば、図13の例では、ひまわり畑が表示されたタイミングで「夏の花、ひまわりは元気なイメージですね」という会話を発している。この会話を発する際には、キャラクタ70を表示させておくことで、キャラクタ70が話しかけている印象を与えることができる。なお、制御部11は、会話を発する場合、予め登録された利用者のニックネームで発話をしてもよい。
【0057】
制御部11は、ステップS3にてコンテンツの提供を行い、図13のように利用者に対して会話を発した場合には、その後、動作検出部が検出する動作又は音声入力部に入力される音声の少なくともいずれかに基づいて「利用者からの応答の認識」を試みる。例えば、操作部17に対する所定の応答操作(例えば、キャラクタ70やその他のデザインをタップする操作)や音声入力部18に対する所定の音声入力(例えば、言葉の入力)が「利用者からの応答」と定められている。制御部11は、インタフェース13において「利用者からの応答」があった場合に、この応答に対する更なる会話を、インタフェース13を介して出力するように制御を行う。「応答に対する更なる会話」は、提供されているコンテンツの種類の話題であってもよく、その種類とは異なる話題であってもよい。「応答に対する更なる会話」は、文字表示と音声出力を併用することが望ましいが、いずれか一方であってもよい。なお、制御部11が「応答に対する更なる会話」を発するように制御を行った場合、再び、「利用者からの応答の認識」を試みることが望ましい。そして、「利用者からの応答」があった場合には、この応答に対する更なる会話を、インタフェース13を介して出力することが望ましい。このように、「応答に対する更なる会話」と「利用者からの応答の認識」を繰り返すことで、会話を継続させることができる。また、更なる会話が行える状態であることを、文字やイラスト、音声、点滅など視覚的・聴覚的効果で知らせてもよい。例えば、「連続会話」と表示することで連続会話が行える状態であることがわかり、利用者にとって親切であるといえる。
【0058】
このように、制御部11は、インタフェース13を介して「コンテンツに関する会話」を出力した後、インタフェース13を介して「利用者からの応答」を認識した場合に、インタフェース13を介して「応答に対する会話」を出力するように制御を行う。ステップS3は、このような制御を制御部11に行わせるステップである。
【0059】
なお、制御部11は、ステップS3にて会話を行う場合、音声の入出力と併用して、音声入力部18を介して音声入力された発話内容(利用者の発話内容)やバーチャルアシスタント装置10の発話内容(例えば、キャラクタ70の発話内容)を表示部15に文字で表示してもよい。
【0060】
なお、図11図14は、バーチャルアシスタント装置10と対応付けて登録されている種類(利用者が希望する種類)のコンテンツを提供する例が示されるが、ステップS3で提供するコンテンツや会話はこの例に限定されない。
【0061】
ステップS5のNoと判定される期間には、制御部11は、主に、解除モード(待機モード)と有効モード(会話モード)とに切り替わる。本実施形態では、新たな配信が無い期間(ステップS5のNoと判定される期間)において、ステップS4の処理を継続するモードが解除モードの一例である。また、上記期間において、ステップS3の処理を継続するモードが有効モードの一例である。
【0062】
有効モード(会話モード)は、ステップS2でYesと判定されてから、有効モードの終了条件が成立するまでのモードである。有効モードの終了条件は、有効モードで実行されたコンテンツが終了したことであってもよく、一定時間以上インタフェースに所定入力(例えば、音声入力やタッチパネルに対する操作等)がなされなかったことであってもよく、利用者からインタフェースに対して終了を指示する入力(終了を指示する音声入力や接触操作等)がなされたことであってもよい。有効モードは、具体的には、制御部11がウェイクワード以外の言葉を検出するモードである。制御部11は、有効モード中にインタフェースに音声が入力された場合、インタフェースに入力された音声を解析し、その音声が意味する言葉を公知の方法で認識する。
【0063】
解除モード(待機モード)は、ステップS2でNoと判定される期間のモードであり、有効モードが解除されているときのモードである。解除モードは、上記インタフェースにウェイクワードが入力されたか否かを制御部11が監視するモードである。制御部11は、解除モード中にインタフェースに音声が入力された場合、その音声がウェイクワードであるか否かを公知の方法で判定する。但し、制御部11は、解除モード中にインタフェースに入力される音声からウェイクワード以外の音声は認識しない。つまり、制御部11は、解除モードのときには、ウェイクワード以外の音声認識する必要が無く、ウェイクワードであるか否かの判定を行うだけで済むため、有効モードのときよりも音声の認識を簡略化することができる。なお、本実施形態においては、解除モード(待機モード)を有していたが本発明はこれに限られず、解除モード(待機モード)を有していない形態においても適用することができる。
【0064】
図5のフローチャートで示されるように、制御部11は、ステップS2、S5でNoの判定が繰り返される期間は解除モードに設定され、解除モード中には、ウェイクワードの検出を継続的に試みる。制御部11は、解除モード中にインタフェース13にウェイクワードが音声入力されたことを検出した場合、ステップS2にてYesと判定するとともに有効モードに切り替わり、処理をステップS3に進める。そして、有効モードの終了条件が成立するまで、有効モードを継続する。制御部11は、有効モードの終了条件が成立した場合、解除モードに切り替わり、解除モードを継続する。制御部11は、解除モード中に、キャラクタが待機動作を行う画像を表示部15に表示させることもできる。
【0065】
バーチャルアシスタント装置がステップS3で提供するコンテンツは、単に静止画を表示したり単に動画を流したりするコンテンツであってもよいが、疑似体験ができるコンテンツであってもよい。また、テロップを出して説明を行ったり、動画にマッチしたBGMを流すことも望ましい、なお、ステップS3でいずれのコンテンツを実施するかは、利用者が選択できるようになっていることが望ましい。利用者によるコンテンツの選択方法は、例えば、複数種類のコンテンツ名をタッチパネル式表示装置20に表示させたうえで、利用者が希望するコンテンツを選択するような方法であってもよく、キャラクタ70が会話の中で「旅行の動画を見ましょうか?」といった具合にコンテンツの種類を提案し、それに応じて利用者が希望する指示(タップ操作や指示する用語の音声入力など)を行った場合に、そのコンテンツが選択されるようにしてもよい。これらの方法に限定されず、他の方法でコンテンツが選択されてもよい。
【0066】
5-2.会話の具体例
次の説明は、バーチャルアシスタント装置10でなされる会話の具体例に関する。
以下で説明される具体例は、キャラクタ70からの話を出力部が出力することが前提の例である。本実施形態では、音声出力部16及び表示部15が出力部の一例に相当し、言葉を音声や画像によって発するように機能し、例えば、キャラクタ70からの話を音声出力したり文字情報などによって画像出力したりする機能を有する。キャラクタ70からの話を出力する動作は、キャラクタ70が表示部15に表示された状態でキャラクタ70からの話を音声や文字表示などによって出力する動作であってもよい。或いは、キャラクタ70からの話を出力する動作は、キャラクタ70が表示部15に表示された状態でキャラクタ70からの話を音声によって出力する動作とキャラクタ70が表示されずにキャラクタ70からの話を音声によって出力する動作とが併用されてもよい。なお、以下で説明される具体例は、利用者からの話が音声として音声入力部18に入力され得ることが前提の例である。制御部11は、各種制御を行う機能を有し、例えば、表示部15にキャラクタ70の画像を表示させる機能、出力部に画像や音声などの出力を行わせる機能、音声入力部18に入力された音声を解析する機能、などを有する。
【0067】
本実施形態では、上述のように、制御部11は、有効モードと解除モードとを切り替えるように動作する。有効モードは、音声入力部18に入力される話の解析を有効化するモードである。解除モードは、上記有効モードを解除したモードである。解除モード中には、「音声入力部18に入力される話の解析」は行われない。
【0068】
制御部11は、例えば、予め定められた話題提供条件が成立した場合に、いずれかの話題についてキャラクタ70が話すように出力部(表示部15、音声出力部16)に出力させる話題提供制御を行う。以下で説明される第1の例では、「話題」ボタン32が押されたことが第1開始条件(話題提供条件の一例)である。第1の例では、操作部17及び制御部11が受付部の一例として機能し、外部からの選択指示(具体的には、「話題」ボタン32を選択する操作)を受け付ける。制御部11は、図15のように選択指示による選択が可能な画像領域(「話題」ボタン32の画像領域)を表示部15に表示させる画像制御を行い、この画像領域が表示部15に表示された状態で上記受付部が上記画像領域を選択する選択指示を受け付けた場合に話題提供制御を行う。なお、代表例では、「話題」ボタン32を選択する操作がなされた場合に話題提供制御が行われるが、キャラクタ70をタップする操作などの別操作がなされた場合には、話題提供制御ではなく、キャラクタとの普通の会話が行われる。このようにすると、開始条件の種類によって、キャラクタとの会話内容を切り替えることができ、キャラクタ70をタップした場合は、話題提供ではなく。所謂、雑談を行うことができる。
【0069】
第1の例では、例えば、キャラクタ70の画像を表示部15に表示させながら「話題」ボタン32の選択操作を促すメッセージを出力部に出力させる。このメッセージとしては、例えば、「青色の「話題ボタン」を押して、写真の「いきいきキーワード」を読んでいただけますか。」といったメッセージなどが挙げられ、このメッセージをキャラクタ70が話すように音声出力してもよく、このメッセージを音声出力しつつメッセージの文字情報を表示部15に表示してもよい。なお、「話題」ボタン32を押した際にキャラクタ70が話すメッセージは上述の例に限定されず、「これから~の話題について話しましょう」「後ろの写真の文字を音読してほしいな~」「何の話題を話しましょうか」「後ろの百人一首を音読してほしいな~」等の様々なメッセージを採用し得る。
【0070】
なお、第1の例では、話題提供条件が、『「話題」ボタン32を選択する操作がなされたこと』であるが、この例に限定されず、例えば、「キャラクタ70の画像を選択する操作(例えば、操作部17においてキャラクタ70の画像を覆う表面部をタップする操作等)がなされたこと」であってもよい。この場合、キャラクタ70の画像を選択する操作がなされた際に「はい、はーい」「お待たせしました」等のメッセージを出力し、その後、第1の例における話題提供条件成立後の処理と同様の処理を行ってもよい。
【0071】
バーチャルアシスタント装置10には、複数種類の話題が予め用意されるとともに複数種類の話題の情報が記憶部14に記憶されており、制御部11は、上述の第1開始条件の成立に応じて話題提供制御によって話題を提供する場合、いずれかの話題を選定して表示する。話題の選定方法は、用意された複数種類の話題の中からランダムに話題を選択してもよく、複数種類の話題を所定の順序で提供するように定めておき、話題提供制御を行う毎に上記順序で順番に選択してもよい。用意される話題の種類は特に限定されないが、例えば、風景、旅、自然、植物、動物、建物、食べ物、栄養、運動、健康、体調、イベント(時節、地域、安全・災害など)など、様々な話題が挙げられる。
【0072】
図15は、第1の例において、上述の第1開始条件の成立後、いずれかの選定方法を用いて「紫陽花」という話題が選定された場合の表示例である。図15の例では、上述のメッセージ(「話題」ボタン32の選択操作を促すメッセージ)の出力中及び出力後にキャラクタ70の周囲に「紫陽花」の文字情報が表示され、「紫陽花」を読み上げるような音読を行いやすくしている。「紫陽花」は、キーワードの一例に相当し、具体的には、上述の「いきいきキーワード」に相当する文字情報である。キーワードの識別、読み仮名を表示したりすることも親切である。
【0073】
このように、制御部11は、上述の第1開始条件の成立後、話題提供制御によって提供される話題に関するキーワード(図15では「紫陽花」)を表示部15に表示させるように表示制御を行う。そして、制御部11は、第1開始条件の成立後になされる上記表示制御によって表示部15にキーワードが表示された状態(図15のような状態)で当該キーワードを読み上げる音声が音声入力部18に入力された場合に、音声入力されたキーワードに関連する話をキャラクタ70が話すように出力部(表示部15、音声出力部16)に出力させる出力制御を行う。例えば、図15のように「紫陽花」の文字が表示された状態で、利用者が「紫陽花」を読み上げ、このように読み上げた音声が音声入力部18に入力された場合、制御部11は、音声入力部18に入力された音声が「紫陽花」の音声であるか否かを判定し、入力された音声が「紫陽花」の音声であれば、図16のように「紫陽花」を話題とする話をキャラクタ70が発するように出力部(表示部15、音声出力部16)に出力させる。図16の例では、制御部11は、「これから、紫陽花のお話をしましょう。紫陽花は・・・」といった話をキャラクタ70が話すように音声出力しつつ、この話を文字情報として表示部15に表示させている。
【0074】
バーチャルアシスタントシステム1では、記憶部95、記憶部14、又はこれらの記憶部とは異なる外部装置(バーチャルアシスタント装置10と通信可能に構成された外部装置)が登録部の一例として機能し得る。この登録部には、複数のキーワードと各々のキーワードに関連する話とが記憶された形で登録されている。登録部は、例えば、公知のチャットボット(Chatbot)システムとして構成されていることが望ましいが、この例に限られず、キーワードに関連する話を提供できるシステムであればよい。例えば、上記登録部としてチャットボットシステムが用いられる場合、チャットボットシステムが特定の話題に関する会話(例えば、雑談等)を連続的に行うことにより、話題提供を実現できる。「登録部」がバーチャルアシスタント装置10ではなく、外部のチャットボットシステムにあり、そのチャットボットシステムにキーワードに関連する話が予め登録されている例では、利用者がキーワードを発した際に、バーチャルアシスタント装置10がそのキーワードを認識し、そのキーワードに対応する話を外部のチャットボットシステムにアクセスしてキーワードに対応する話を取得し、取得した話(キーワードに対応する話)を出力部(表示部15、音声出力部16)から発するようにすることができる。なお、写真等の画像と共に表示されるキーワードを利用者に読んでもらう1つの場面としては、例えば、「話題」ボタン32を押した後のキャラクタ70による返事の一例として、「写真の話題をしましょう。写真のキーワードを読んでください」と発話することなどが挙げられる。この例では、少なくとも発話直後から音声入力部18に入力される音声が認識される状態(例えば、マイクオン状態)となっていれば、特別なボタン操作を不要とすることができる。別の場面としては、キャラクタ70がタップされ、利用者が「写真の景色がきれいね」という音声を発した場合に、チャットボットシステムを用いたバーチャルアシスタント装置10の回答として、「写真の話題をしましょう。写真のキーワードを読んでください」といった音声を出力する例などが挙げられる。なお、代表例では、「登録部」が外部のチャットボットシステムに設けられるが、バーチャルアシスタント装置10の内部に設けられる記憶部14が登録部として機能してもよい。
【0075】
例えば、登録部には、「紫陽花」(図15参照)、「梅雨」「真冬」(図16参照)、「七変化」(図17参照)、「湿布薬」「水虫退治」(図18参照)、「いも煮会」(図19参照)などのキーワードが記憶されており、各々のキーワードに対応付けて、各キーワードに関連する話が音声出力可能な情報として且つ画像出力可能な情報として登録されている。例えば、図15のような「紫陽花」というキーワードに対応付けて、図16のような「これから、紫陽花のお話ししましょう。紫陽花は、・・・」といった関連話が登録されている。或いは、図16のような「真冬」というキーワード(具体的には紫陽花の話題に関する真冬というキーワード)に対応付けて、図17のような「冬にも咲くのはパンジーとビオラですね。・・・」といった関連話が登録されている。その他のキーワードに関しても関連する話が登録されており、いずれかのキーワードが読み上げられた場合に、そのキーワードに関連する話を出力させることが可能となっている。登録部に登録されるキーワードは、1つの単語又は少数の単語の組み合わせからなる言葉であってもよく、短文などであってもよい。さらには、キーワードはクイズや質問の回答を表示する場合もあり、利用者に、こっそり教えてあげるヒントであること、二者択一であることがわかる工夫などを行うのもよい。また、読み上げる(音読する)上でフリガナを付記するなど、利用者が会話の短い時間内でわかりやすい表示やデザインすることが望ましい。
【0076】
図16の例では、「紫陽花」を話題とする話をキャラクタ70が発するように出力部(表示部15、音声出力部16)に出力させる際に、提供する話を質問としている。つまり、制御部11は、いずれかの質問をキャラクタ70が話すように話題提供制御を行うこともできるのである。
【0077】
登録部に記憶される話としては、キーワードに対応付けられた話(キーワードが読み上げられた場合に提供される話)もあれば、キーワードの読み上げに関係なく提供され得る話(例えば、話題提供条件が成立した場合に提供される話)もある。いずれの話も、図16のような質問形式の話であってもよく、質問形式の話でなくてもよい。以下で説明される代表例では、質問形式の話が登録部に複数登録されており、各々の質問形式の話に対応付けて質問の答えを含むキーワードが登録されている。
【0078】
具体的には、図15のような「紫陽花」というキーワードに対応付けて、図16のような「・・・紫陽花の作季節といえば?」という質問形式の話が登録されており、この質問形式の話に対応付けて「梅雨」というキーワード(質問の答えを含むキーワード)と「真冬」というキーワード(質問の答えを含まないキーワード(誤答のキーワード))とが登録されている。更に、「梅雨」「真冬」の各々のキーワードに対応付けて、各々のキーワードに関連する話がそれぞれ登録されている。従って、図15のように表示された「紫陽花」のキーワードが利用者によって読み上げられた場合、制御部11は、図16のように「これから、紫陽花のお話をしましょう。・・・紫陽花の咲く季節といえば?」という「紫陽花」のキーワードに関する質問形式の話をキャラクタ70からの話として出力部に出力させつつ、「梅雨」「真冬」というキーワードを表示し、利用者からの回答を更に促すことができる。なお、キーワードは、音声入力されたときに認識の対象となる言葉であり、キーワードを表示する場合には、キーワードのみを表示してもよく、キーワードに対して記号等を付加して表示してもよい。例えば、図16の例では、「梅雨」「真冬」がキーワードであるが、それぞれのキーワードに対して「?」の記号が付加されて表示されている。そして、図16のように、複数のキーワードが表示された状態で「真冬」という一つのキーワードが読み上げられた場合(具体的には、「真冬」のキーワードが音声入力部18に入力されたことを制御部11が判定した場合)には、読み上げられた「真冬」のキーワードに対応付けられた話を、キャラクタ70からの話として図17のように出力することができる。図17の例では、「真冬」のキーワードに対応付けられた話が質問形式の話とされており、この質問形式の話を出力しつつ、この質問の答えを含むキーワード(「七変化」というキーワード)を表示部15に表示させることで、会話の更なる継続を促している。なお、図16のように出力がなされたときに「梅雨」というキーワード(質問の答えを含むキーワード)が利用者によって読み上げられた場合(具体的には、「梅雨」のキーワードが音声入力部18に入力されたことを制御部11が判定した場合)には、読み上げられた「梅雨」のキーワードに対応付けられた話(例えば、「正解です。梅雨の花を聞くと、紫陽花を連想しますね。紫陽花は別名、なんて呼ばれているかご存知ですか?」といった話)を、キャラクタ70からの話として出力することができる。この話を出力する場合でも、質問形式の話として出力しつつ、この質問の答えを含むキーワード(「七変化」というキーワード)を表示部15に表示させることで、会話の更なる継続を促すことができる。なお、クイズに限った実施形態ではなく、利用者の意向を尋ねる質問やそれと複合で会話を続けることも望ましく、このように会話を行うと、利用者は自分のことを伝える体験ができて会話に対してストレスなく、楽しくなる。
【0079】
上述の第1の例では、「話題」ボタン32が押されたことが話題提供条件であるが、この例に限定されない。以下の第2の例では、キャラクタ70側から自発的に会話を開始し、話題を提供する。この例では、キャラクタ70側から自発的に会話を開始するための条件(第2開始条件)が予め定められる。第2開始条件は、第1開始条件とは異なる条件であり話題提供条件の一例に相当する。キャラクタ70側から自発的に会話を開始するための条件(第2開始条件)は、例えば、予め定められた時刻が到来したことであってもよく、前回の会話から一定時間が経過したことであってもよく、管理装置90から何らかの情報の提供があったことであってもよく、音声入力部18に所定音が入力されたことであってもよい。
【0080】
第2の例では、制御部11は、上記第2開始条件が成立した場合に、図18のようにキャラクタ70側から自発的に会話を開始するように出力部(表示部15、音声出力部19)に出力させる。図18の例では、制御部11は、「・・・いきいきキーワードは「健康」です。」とのメッセージをキャラクタ70が話すように出力部を制御する。制御部11は、上記メッセージに「健康」というキーワードを含ませており、利用者が「健康」というキーワードを音読しやすくしている。なお、図18では、「健康」というキーワードがメッセージとは別表示されてないが、「健康」というキーワードをメッセージとは別で表示させたり、音読マークのようなものを表示させて音読を一層促してもよい。
【0081】
制御部11は、図18のようなメッセージの出力を行った場合において、利用者によって「健康」というキーワードが音読された場合(具体的には、「健康」のキーワードが音声入力部18に入力されたことを制御部11が判定した場合)、図19のように、「健康」のキーワードに対応付けられた話(具体的には、「・・・どんな症状に使われたかご存知ですか?」という質問形式の話)をキャラクタ70が話すように出力部(表示部15、音声出力部19)に出力させる。図19の例でも、キーワードに対応付けられた話(具体的には、質問形式の話)をキャラクタ70が話す場合に、その質問の正答を含むキーワード(「湿布薬」というキーワード)を表示部15に表示させることで、会話の更なる継続を促している。なお、図19の例では、質問の答えを含むキーワードだけでなく、質問の答えを含まないキーワード(具体的には「水虫退治」という誤答のキーワード)も表示部15に表示させることで、択一クイズとしての楽しみも提供している。そして、図19のように話の出力とキーワードの表示を行った後、「湿布薬」という一つのキーワードが読み上げられた場合(具体的には、「湿布薬」のキーワードが音声入力部18に入力されたことを制御部11が判定した場合)には、読み上げられた「湿布薬」のキーワードに対応付けられた話を、キャラクタ70からの話として図20のように出力することができる。図20の例では、「湿布薬」のキーワードに対応付けられた話も、「・・・・何かご存知ですか?」という質問形式の話とされており、この質問形式の話を出力しつつ、この質問の正答を含むキーワード(「いも煮会」というキーワード)を表示部15に表示させることで、会話の更なる継続を促している。
【0082】
第3の例では、制御部11は、第3開始条件が成立した場合に、話題の種類を特定する特定情報を表示部15に複数表示させる情報提供制御を行い、この情報提供制御によって表示された複数の特定情報の中からいずれかを選択する選択指示を受付部が受け付けた場合に、選択指示によって特定される種類の話題についてキャラクタ70が話すように話題提供制御を行う。第3の例でも、操作部17及び制御部11が受付部の一例として機能し、外部からの選択指示(具体的には、いずれかの特定情報を選択する指示)を受け付ける。第3開始条件は、例えば、第1開始条件とは異なり、第2開始条件とは異なる条件である。第3開始条件は、操作部17に対して所定操作がなされたことであってもよく、音声入力部18に所定音声が入力されたことであってもよく、その他の条件であってもよい。
【0083】
制御部11は、上述の情報提供制御により、例えば、図21のような選択用の画像を表示部15に表示させる。図21の選択用の画像は「話題の種類を特定する特定情報を表示部15に複数表示させる画像」の一例に相当する。図21の例では、複数の選択ボタン38が表示され、各々の選択ボタン38の領域内に示される文字情報が特定情報の一例に相当する。特定情報は、話題の種類を特定できればよく、図21の例では、各特定情報が話題名と話題名に対応付けられた番号とを含んでいる。例えば、複数の選択ボタン38のうちの選択ボタン38Aに示される特定情報は、「昔の遊び」という話題名とこの話題名に対応する番号(1番)とを含んでいる。また、選択ボタン38Bに示される特定情報は、「旅」という話題名とこの話題名に対応する番号(2番)とを含んでいる。また、選択ボタン38Gに示される特定情報は、「栄養」という話題名とこの話題名に対応する番号(31番)とを含んでいる。
【0084】
制御部11は、例えば、図21のような画像が表示された状態で、操作部17によって選択ボタン38Aを選択する操作(例えば、タップ操作等)がなされた場合、選択ボタン38Aに含まれる特定情報によって特定される話題(「昔の遊び」の話題)についてキャラクタ70が話すように話題提供制御を行う。或いは、図21のような画像が表示された状態で、操作部17によって選択ボタン38Gを選択する操作(例えば、タップ操作等)がなされた場合、図22のように、選択ボタン38Gに含まれる特定情報によって特定される話題(「栄養」の話題)についてキャラクタ70が話すように話題提供制御を行う。
【0085】
なお、上述の説明は、選択ボタン38を選択する選択指示についてのあくまで一例であり、選択指示はこの例に限定されない。例えば、話題名に対応付けられた番号が操作部17によって文字入力された場合にその番号に対応する話題名を選択してもよく、話題名に対応付けられた番号が音声入力部18に入力された場合に、その番号に対応する話題名を選択してもよい。或いは、話題名を読み上げる音声が音声入力部18に入力された場合に、その話題名を選択してもよい。
【0086】
図22は、上述の選択指示によって選択ボタン38Gが選択された後の出力例である。図22の例では、選択ボタン38Gに含まれる特定情報によって特定される話題(栄養)に関する質問形式の話をキャラクタ70からの話として出力部に出力させつつ、「リコピン」「青汁」というキーワード(具体的には、上記質問に対する正答を含むキーワードと、上記質問に対する誤答を含むキーワード)を表示し、利用者からの回答を促す。そして、図22のように、複数のキーワードが表示された状態で「リコピン」という一つのキーワード(正答を含むキーワード)が読み上げられた場合(具体的には、「リコピン」のキーワードが音声入力部18に入力されたことを制御部11が判定した場合)には、読み上げられた「リコピン」のキーワードに対応付けられた話を、キャラクタ70からの話として図23のように出力することができる。図23の例では、「リコピン」のキーワードに対応付けられた話が、「正答を回答したことを褒める又は称賛する言葉」と「回答したキーワードに関連する質問形式の話」とを含んでおり、このような質問形式の話を出力しつつ、この質問の答えを含むキーワード(「抗酸化作用」というキーワード)を表示部15に表示させることで、会話の更なる継続を促している。なお、図23の例では、「抗酸化作用」という漢字に対して「こうさんかさよう」という読み仮名を併記することで、音読を行いやすくしている。なお、図23のような出力がなされた状態で表示されるキーワードが更に音声入力された場合には、そのキーワードに対応付けられた関連話を更に出力させてもよい。
【0087】
なお、バーチャルアシスタント装置10は、上述の登録部(例えばチャットボットシステム)を利用した雑談、上述の話題提供制御に基づく会話、話題提供制御とは異なる挨拶のような会話、をボタン操作によって使い分けることができるようになっていてもよい。この例、又は他のいずれの例でも、写真などの画像と共に表示されたキーワードを読んでもらうことや、テロップに表示されるキーワードを読み上げてもらうことを話題提供を開始する条件とすることで、話題がつながりやすくなる。
【0088】
バーチャルアシスタント装置10は、上述の話題提供制御とは別処理として、呼びかけ動作を行うことができる。例えば、バーチャルアシスタント装置10の主導により、決められた時刻毎、一定時間毎、任意の時間などに、利用者に対して音声出力部16により所定のセリフで声をかけるようにすることもできる。この例では、声をかける動作の前後において音声入力部18を用いた音声認識を有効にしなくてもよい。このような例では、バーチャルアシスタント装置10から利用者に話かける上記セリフ(呼びかけボイス等)の情報は、バーチャルアシスタント装置10に記憶されていることが望ましい。
【0089】
また、バーチャルアシスタント装置10では、利用者側が声をかけてもらう日時を設定可能となっていてもよく、この場合、その設定日時が到来した場合に、バーチャルアシスタント装置10は、上述の話題提供制御とは別処理として、利用者に対して音声出力部16により所定のセリフで声をかけることができる。この例では、声をかける動作の前後において音声入力部18を用いた音声認識を有効にしなくてもよい。更に、声をかける動作の開始後、利用者が所定操作(例えば、確認ボタンを押す操作)を行うことで、声をかける動作を停止させることができるようになっていてもよい。
【0090】
また、バーチャルアシスタントシステム1では、上述のコンテンツ配信や配信に伴うコンテンツ提供を、話題提供制御とは別処理として行うことができ、例えば、バーチャルアシスタントシステム1の主導で、日時指定等により、コンテンツを配信することができ、この場合、バーチャルアシスタント装置10、上述の話題提供制御とは別処理として、配信されたコンテンツ(例えば、キャラクタの前説、動画コンテンツ、後説等)を提供することができる。この場合、利用者は、オンタイムで見ることも、後で見ることもできる。
【0091】
6.効果の例示
以上のように、バーチャルアシスタント装置10では、制御部11が話題提供制御を行い、いずれかの話題についてキャラクタ70が話すように出力部(表示部15、音声出力部16)に出力させる。そして、制御部11は表示制御を行い、話題提供制御によって提供される話題に関するキーワードを表示部15に表示させる。更に、制御部11は出力制御を行い、表示制御によって表示部15にキーワードが表示された状態でキーワードを読み上げる音声が音声入力部18に入力された場合に、音声入力されたキーワードに関連する話をキャラクタ70が話すように出力部(表示部15、音声出力部16)に出力させる。上述のアプリケーションプログラム(バーチャルアシスタント装置用のプログラム)は、制御部11に話題提供制御を行わせるステップと、制御部11に表示制御を行わせるステップと、制御部11に出力制御を行わせるステップとを含む。
【0092】
このように、バーチャルアシスタント装置10は、いずれかの話題についてキャラクタ70が話すように話題提供制御を行うため、利用者に対して話題を提供することができる。そして、話題提供制御によって提供される話題に関するキーワードを表示部15に表示させるように表示制御を行うため、利用者にキーワードの読み上げを促すことができる。これにより、話題提供後に利用者が回答に迷ったリ、回答を放棄したりすることを抑制することができ、利用者の発話を促進することができる。更に、利用者がキーワードを読み上げた場合には、そのキーワードに関連する話をキャラクタ70が話すように会話が続くため、会話を円滑に進めやすい。しかも、話題提供後の回答を認識する際には、予め用意されたキーワードを認識すればよいため、利用者が自由に回答する方法と比較して利用者からの応答が正確に認識されやすく、正確な認識に基づく自然な会話が成立しやすい。
【0093】
利用者が自由に話して回答するような従来技術では、会話がぎこちなくなったり、利用者の期待とのギャップが生じたり、利用者が飽きたりする事態が生じやすかった。また、ノンバーバルな表現に限定されやすい技術であったり、視覚的な変化が少ない技術であったり、音読のような効果がない技術では、脳の活性化を促進しにくかった。これに対し、バーチャルアシスタント装置10は、この問題を効果的に解消することができる。具体的には、バーチャルアシスタント装置10を利用する利用者に話題提供型の雑談を提供し、且つ、話題および話題周辺に関する文字情報を画面に表示し、更に、利用者がそれを音読することにより、脳の活性化を促進することができる。特に、キーワードの表示(例えばデジタル映像のテロップ等)によって回答を支援するとともに、認知機能や口腔機能に良いと考えられている音読(声に出して読むこと、また、その声を自分の耳で聞くこと)を組み合わせることで脳を効果的に活性化することができる。そして、利用者は、上述のような会話を継続(例えば毎日続けるように継続)することで、様々な話題を体験することができ、音読を通じて脳の活性化を継続的することができるため、キャラクタ70との会話が、飽きることなく生活に役立つものとして日常に溶け込みやすくなる。
【0094】
例えば、利用者が高齢者の場合、「楽しむ」「役立つ」「頭を使う」「声に出して読む(音読)」「身体を動かす」「リラックスする」「教えてあげる」「褒められる」「懐かしい」「孤独が和らぐ」「疑似体験ができる」「季節、時刻がわかる」「服薬などの予定を確認できる」「お部屋で使える」「安全に感覚的に操作できる」といったことを可能にすれば、有用性を一層高めることができる。そして、日常の生活リズムに溶け込ませつつ、飽きがこないように変化をつけることができれば、利用者自身のペースで継続的に繰り返しやすいため、高齢者の自立支援に資する。
【0095】
また、バーチャルアシスタント装置10は、音楽、動画、写真やイラスト、文字情報、と音読を組み合わせることにより、会話がぎこちなくなることを抑制し、キャラクタ70との会話を連続的に且つ円滑に行うように支援することができる。例えば、利用者が高齢者である場合、高齢者が発話する内容を文字情報とその音読によってサポートすることができるため、話題に対してぎくしゃくしにくい。
【0096】
バーチャルアシスタント装置10では、登録部に複数の質問が登録され、制御部11は、いずれかの質問をキャラクタ70が話すように話題提供制御を行うこともできる。この場合、制御部11は、話題提供制御によって提供される質問の答えを含むキーワードを表示部15に表示させるように表示制御を行う。このように、バーチャルアシスタント装置10は、利用者に対して質問を行うように会話を開始又は継続することができ、質問として話題を提供するため、利用者が聞き流すような事態を抑制しやすく、利用者の回答を一層促進しやすい。
【0097】
例えば、図16図19のように、変化する話題に沿ってクイズ形式で会話がなされたり、利用者の意思に沿ったセリフの展開が行われたりするため、利用者が飽きにくい。更に、利用者が「勉強になった」「思い出した」「相手に教えてあげた」という気持ちになりやすいため、利用者の満足感や充実感を高めやすい。
【0098】
第3の例では、制御部11は、話題の種類を特定する特定情報を表示部15に複数表示させる情報提供制御を行い、情報提供制御によって表示された複数の特定情報の中からいずれかを選択する選択指示を受付部が受け付けた場合に、選択指示によって特定される種類の話題についてキャラクタ70が話すように話題提供制御を行ってもよい。このバーチャルアシスタント装置10は、利用者が複数種類の話題の中から希望する話題を選択することができるため、利用者が希望する種類の話題の会話を円滑に継続させやすい。
【0099】
第2の例では、制御部11は、予め用意された複数種類の話題の中からいずれかの種類の話題を自動的に選択し、選択した種類の話題についてキャラクタ70が話すように話題提供制御を行うことができる。バーチャルアシスタント装置10がこのように動作すれば、話題を決定する負担を軽減することができ、特に話題を決定してもらうことを望む利用者にとって有用である。また、バーチャルアシスタント装置10から自発的に話題を提供する場合、利用者にとっては、次にどのような話題が提供されるのか楽しみもあり、わくわく感や驚きを抱きやすい。
【0100】
第1の例では、操作部17及び制御部11が受付部の一例として機能し、外部からの選択指示を受け付ける。制御部11は、図15等のように選択指示による選択が可能な画像領域(「話題」ボタン32の画像領域)を表示部15に表示させる画像制御を行い、画像領域が表示部15に表示された状態で受付部が画像領域を選択する選択指示を受け付けた場合に話題提供制御を行う。このように、バーチャルアシスタント装置10は、利用者が選択指示を行うことをトリガーとして新たな話題提供制御を開始することができるため、利用者は自身が望む任意のタイミングで話題の提供を受けることができる。
【0101】
<第2実施形態>
第1実施形態では、利用者に話題を提供する例について説明した。これに対し、第2実施形態では、会話の途中で会話を継続するヒントを与える例について説明する。なお、バーチャルアシスタントシステムの基本的な構成は第1実施形態と同じであり、第2実施形態では主に異なる点について説明する。
【0102】
第2実施形態では、まず有効モード(会話モード)において利用者から話題が提供される。バーチャルアシスタント装置は、その話題に対して返答するとともに、キーワード情報を表示部15に表示させる。キーワード情報は、キーワード又はキーワードを示唆する情報である。キーワードを示唆する情報は、文字に限定されず、記号や絵柄などであってもよい。利用者がキーワードを含む言葉を発すると、バーチャルアシスタント装置は、そのキーワードに対応する返答を行う。
【0103】
こうした動作を実現するため、記憶部14には、キーワード情報と、キーワードに対応する返答が記憶されている。キーワード情報がキーワードを示唆する情報である場合には、キーワード情報とは別にキーワードが記憶部14に記憶されている。そして、制御部11は、キーワード情報を表示部15に表示させる表示制御を行う。制御部11は、表示制御によって表示部15にキーワード情報が表示された状態でキーワードを含む音声が音声入力部18に入力された場合に、音声入力されたキーワードに対応する返答をキャラクタが話すように出力部(表示部15、音声出力部16)に出力させる。
【0104】
なお、バーチャルアシスタント装置は、キーワード以外の音声のみが入力された場合には、無難な返答をするようにしてもよい。
【0105】
以下では、第2実施形態の具体例について説明する。
第5の例では、まず利用者が「有名な俳句を知ってるか。」という言葉を発する。これに対し、バーチャルアシスタント装置は、「有名な俳句が頭に浮かびました。私に続いて上の文字を音読していただけますか。柿食えば」という返答を行うとともに、「鐘が鳴るなり?」というキーワードを表示部15に表示させる。利用者が「鐘が鳴るなり」というキーワードを発すると、バーチャルアシスタント装置は、そのキーワードに対応する返答、すなわち「法隆寺ですね。ありがとうございます。正岡子規の俳句ですね。」という返答を行う。
【0106】
第6の例では、まず利用者が「百人一首読んで」という言葉を発する。これに対し、バーチャルアシスタント装置は、「しおりに続いて上の文字を音読していただけますか。ちはやぶる神代も聞かず」という返答を行うとともに、「竜田川?」というキーワードを表示部15に表示させる。利用者が「竜田川」というキーワードを発すると、バーチャルアシスタント装置は、そのキーワードに対応する返答、すなわち「からくれないに水くくるとは。一緒に読んでいただきありがとうございます。最後に、おひとりでもう一度読んでくださいね。」という返答を行う。そして、バーチャルアシスタント装置は、「ちはやぶる神代も聞かず竜田川からくれないに水くくるとは」という文字を表示部15に表示させる。
【0107】
第7の例では、まず利用者が「計算問題出して」という言葉を発する。これに対し、バーチャルアシスタント装置は、「はい、頑張りましょうね。船の数に関する計算問題です。上の計算の答えが何隻か教えてください?」という返答を行うとともに、キーワードを示唆する情報である「さんじゅうさんわるさんは何隻?」という文字を表示部15に表示させる。利用者が「11隻」というキーワードを発すると、バーチャルアシスタント装置は、そのキーワードに対応する返答、すなわち「さすがですね。ひらがなで表示しただけでも難しくなりますね。次は、足踏みしながら解いてみましょう。」という返答を行う。そして、バーチャルアシスタント装置は、「難しそう!簡単だよ!頑張るよ!」という文字を表示部15に表示させる。第7の例では、「11」ではなく、「11隻」と回答させることで、キーワードに対する返答の精度を向上させることができる。
【0108】
第8の例では、まず利用者が「しりとりしよう」という言葉を発する。これに対し、バーチャルアシスタント装置は、「リンゴ、ゴリラ」という返答を行うとともに、キーワードを示唆する情報である「ラッパ?ライオン?ライト?」という文字を表示部15に表示させる。利用者が「ラッパ」というキーワードを発すると、バーチャルアシスタント装置は、そのキーワードに対応する返答、すなわち「パイナップル」という返答を行う。そして、バーチャルアシスタント装置は、キーワードを示唆する情報である「ルビー?ルール?」という文字を表示部15に表示させる。これに対し、利用者が「ラッパ」でなく「ライオン」というキーワードを発すると、バーチャルアシスタント装置は、そのキーワードに対応する返答、すなわち「あっ、私の勝ちです。」という返答を行う。そして、バーチャルアシスタント装置は、「"ん"が付いたら負け」という文字を表示部15に表示させる。
【0109】
第9の例では、まず利用者が「お散歩に行ってくる」という言葉を発する。これに対し、バーチャルアシスタント装置は、「夏場のお散歩は何に気を付けますか。」という返答を行うとともに、キーワードを示唆する情報である「水分補給?涼しい時間に行く?厚着をする?」という文字を表示部15に表示させる。利用者が「水分補給じゃやないかな」というキーワードを含む言葉を発すると、バーチャルアシスタント装置は、そのキーワードに対応する返答、すなわち「良くご存知ですね。熱中症対策の一つですね。家の中でも熱中症対策はされてますか。」という返答を行う。そして、バーチャルアシスタント装置は、キーワードを示唆する情報である「エアコンをつけてる?換気をする?」という文字を表示部15に表示させる。これに対し、利用者が「どれかな~。涼しい時間だと思う」というキーワード「涼しい時間」を含む言葉を発すると、バーチャルアシスタント装置は、そのキーワードに対応する返答、すなわち「恐れ入ります。日中や湿度の高い日は避けましょうね。お散歩のお勧めの時間帯を教えてください?」という返答を行う。そして、バーチャルアシスタント装置は、「夏場は日差しが強い時間を避けて早朝がお勧めです」という文字を表示部15に表示させる。利用者が「厚着をするは違うよね」というキーワードを含む言葉を発すると、バーチャルアシスタント装置は、「厚着をするは違う」というキーワードに対応する返答、すなわち、「さすがですね。通気性の良い服装が良いですね。」という返答を行う。そして、バーチャルアシスタント装置は、「何を着て行こうかな?」という文字を表示部15に表示させる。
【0110】
<他の実施形態>
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。また、上述した実施形態や後述する実施形態の様々な特徴は、矛盾しない組み合わせであればどのように組み合わされてもよい。
【0111】
上述された実施形態では、キャラクタ70が話す場合に、キャラクタ70の話を音声出力するとともに文字情報として画像表示も行うが、一部の話については音声出力だけにしてもよく、文字表示だけにしてもよい。
【0112】
上述された第1実施形態では、第1~第3の例が採用されるが、これらのうちのいずれか一つ又は2つの例のみが採用されてもよい。
【0113】
図15等で示される第1の例や変更例では、「話題」ボタン32やキャラクタ70の画像が選択されたことが話題提供条件の一例であるが、この例に限定されず、例えば、図24のように「話して」ボタン34を別途設け、制御部11は、「話して」ボタン34が選択された場合(例えば、タップされた場合)に話題提供条件が成立した判定して、第1の例と同様の話題提供処理を行ってもよい。図24の例は、「話して」ボタン34であるが、「話して」の部分を「話題」に置き換えて「話題」ボタンとしてもよい。
【0114】
上述の第1実施形態の説明では、選択された話題についてキャラクタ70が話す例がいくつか説明されたが、これらの例に限定されない。例えば、第1~第3のいずれかの例において「俳句」の話題が選択された場合には、制御部11は、図25のようにキーワードとして「俳句」の一例を表示するように表示制御を行うとともに、キャラクタ70が利用者に対して「俳句」の音読を促すメッセージを話すように出力制御を行ってもよい。
【0115】
上述された第1実施形態で説明される音読の例はあくまで一例であり、音読の対象は、記号、数字、単語、文章、詩、歌、俳句、短歌、早口言葉、計算式など、様々な対象が採用され得る。また、日本語だけでなく、英語等の外国語であってもよい。例えば、第1~第3のいずれかの例において、いずれかの選定方法で「計算」の話題が選定された場合には、制御部11は、話題提供制御を行い、キャラクタ70が「今日は足し算の話題です」と話すように出力部に出力させてもよい。この場合、制御部11は、その話に引き続いて、或いは、利用者から「足し算」の音声入力があった場合に、キャラクタ70が「犬が3頭でしっぽの数は? 答えはどっちでしょうか?」と話すように話題提供制御を続けて行い、このような出力を行いつつ、表示部15に「しっぽは12本?」という言葉(誤答のキーワードを含む言葉)と、「しっぽは3本?」という言葉(正答のキーワードを含む言葉)とを表示するように表示制御を行ってもよい。この場合、キーワードは「しっぽは3本」「しっぽは12本」というそれぞれの言葉であってもよい。或いは、「3」「12」という言葉がキーワード(音声認識されたか否かを判定する対象)であってもよく、この場合、各々の言葉において「3」「12」以外の文字はキーワードに付加された付加情報として扱うことができる。「3」「12」がキーワードであれば、「3」という言葉のみ、或いは、「12」という言葉のみが音声入力されても、キーワードが音声入力されたものとして出力制御を行うことができる。いずれにしても、制御部11は、表示制御によって「しっぽは12本?」「しっぽは3本?」という言葉(キーワードを含む言葉)が表示された状態で、いずれかの言葉が音声入力部18に音声入力された場合には、音声入力されたキーワードに関連する話をキャラクタ70が話すように出力部に出力させることができる。この例では、例えば、「しっぽは3本」という正答のキーワードを含む言葉が音声入力された場合、正答に関連する話として、「計算がとっても速いですね」等の「正答を回答したことを称賛又は褒めるようなメッセージ」をキャラクタ70が話すように出力制御を行ってもよい。
【0116】
上述された第1実施形態で説明されるキャラクタ70からの話題提供例はあくまで一例であり、話題の提供方法は様々にアレンジし得る。例えば、キャラクタ70の表情、発話、動作、音楽、動画、写真やイラスト、文字情報などを様々に組み合わせて行い得る。
【0117】
上述された第1実施形態における第3の例では、図21のように、いくつかの話題を選択可能に表示するが、図21の例はあくまで一例であり、表示方法はこの例に限定されない。例えば、所定のボタン操作毎に話題の種類が切り替わって表示されるようになっており、いずれかの話題が表示された状態でその話題を選択及び決定する操作がなされることで、その話題が選定されてもよい。或いは、図21のように表示される項目が大分類であり、大分類のうちのいずれかが選択された場合に、選択された分類(大分類のいずれか)に属する小分類の話題が選択可能に複数表示され、表示された複数の小分類のいずれかが選択操作によって選択された場合にその話題が選定されてもよい。
【0118】
上述された実施形態では、動作検出部の一例に相当する操作部17がタッチパネルとして構成されるがこの例に限定されない。操作部17は、その他の公知の入力デバイス(キーボード、マウス、タッチペン等)であってもよい。或いは、動作検出部は、操作部17に代えて又は操作部17に加えて他の入力デバイス(例えば、非接触方式での入力操作が可能とされた入力デバイス)を備えていてもよい。具体的には、動作検出部は、撮像部やモーションセンサなどの非接触センサを有していてもよい。この場合、その非接触センサと制御部11とが協働し、利用者の動きやジェスチャーなどを検知してもよい。
【0119】
上述された実施形態では、表示部15は、静止画や動画を二次元で表示する表示装置として構成されるが、この例に限定されない。表示部15は、三次元表示を行い得る三次元ディスプレイであってもよい。
【0120】
上述された実施形態では、バーチャルアシスタント装置10が、主に高齢者向けのバーチャルアシスタント装置として構成された例を示したが、この例に限定されない。例えば、子供などの他のカテゴリの対象者を対象としてもよい。
【0121】
上述された実施形態において、キャラクタ70を表示して会話を行ういずれも例でも、会話を行う過程で、キャラクタの表情、キャラクタの動作、テロップ、効果音、アイコンのいずれか1つ又は複数の表示又は音声出力を発生又は変化させてもよい。例えば、制御部11は、キャラクタ70の表情を笑顔にしたり、キャラクタ70に対してジャンプやスキップ等の動作を行わせたりしてもよい。採用されるキャラクタの表情は笑顔に限定されず、沈んだ表情、怒った表情、悲しんだ表情などに変化させてもよく、キャラクタ70に喜んだ動作や泣く動作などを行わせてもよい。
【0122】
なお、今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、今回開示された実施の形態に限定されるものではなく、特許請求の範囲によって示された範囲内又は特許請求の範囲と均等の範囲内での全ての変更が含まれることが意図される。
【符号の説明】
【0123】
1…バーチャルアシスタントシステム
10…バーチャルアシスタント装置
11…制御部(受付部)
14…記憶部(登録部)
15…表示部(出力部)
16…音声出力部(出力部)
17…操作部(受付部)
18…音声入力部
70…キャラクタ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25