特開 2022-191125 バーチャルアシスタント装置及びバーチャルアシスタント装置用のプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022191125

(43)【公開日】2022-12-27

(54)【発明の名称】バーチャルアシスタント装置及びバーチャルアシスタント装置用のプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20221220BHJP

   G06F 13/00 20060101ALI20221220BHJP

   G06F 3/01 20060101ALI20221220BHJP

   G06F 3/0481 20220101ALI20221220BHJP

   G10L 13/00 20060101ALI20221220BHJP

   G10L 15/10 20060101ALI20221220BHJP

   G10L 15/00 20130101ALI20221220BHJP

   G06Q 50/10 20120101ALI20221220BHJP

【ＦＩ】

G06F3/16 630

G06F13/00 540A

G06F3/16 620

G06F3/01 510

G06F3/0481

G06F3/16 650

G10L13/00 100M

G10L15/10 200W

G10L15/00 200Z

G06Q50/10

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021163806

(22)【出願日】2021-10-05

(31)【優先権主張番号】P 2021099363

(32)【優先日】2021-06-15

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000004547

【氏名又は名称】日本特殊陶業株式会社

(74)【代理人】

【識別番号】110000497

【氏名又は名称】弁理士法人グランダム特許事務所

(72)【発明者】

【氏名】宮嶋 一元

【テーマコード（参考）】

5B084

5E555

5L049

【Ｆターム（参考）】

5B084AA01

5B084AA02

5B084AA12

5B084AB06

5B084AB13

5B084BB01

5B084CD22

5B084DC02

5E555AA27

5E555AA57

5E555AA76

5E555BA02

5E555BA15

5E555BA38

5E555BA45

5E555BA46

5E555BA83

5E555BB02

5E555BB15

5E555BB38

5E555BC07

5E555BD01

5E555CA12

5E555CB12

5E555CB33

5E555CB34

5E555CB64

5E555CC01

5E555CC03

5E555DA23

5E555DB18

5E555DB20

5E555DB32

5E555DB53

5E555DC14

5E555DD08

5E555EA23

5E555EA28

5E555FA00

5L049CC12

(57)【要約】

【課題】バーチャルアシスタント装置を利用する利用者のコンテンツの利用を促進しやすい技術を提供する。
【解決手段】バーチャルアシスタント装置１０において、制御部１１は、外部から配信されるコンテンツ情報を通信部１２が受けた場合に、インタフェース１３を介して所定の報知を行う制御を実行する。制御部１１は、上記報知を行った後、インタフェース１３を介してコンテンツの提供を指示する入力を受けた場合に、コンテンツ情報に基づくコンテンツの表示を表示部１５に行わせる。
【選択図】図１

【特許請求の範囲】

【請求項1】

利用者からの入力の受入れおよび出力を行うインタフェースと、外部の装置と通信する通信部と、前記インタフェースを構成する表示部に具現化されたキャラクタを表示させる制御部と、を備えたバーチャルアシスタント装置であって、
前記制御部は、外部から配信されるコンテンツ情報を前記通信部が受けた場合に、前記インタフェースを介して所定の報知を行う制御を行い、前記報知を行った後、前記インタフェースを介してコンテンツの提供を指示する入力を受けた場合に、前記コンテンツ情報に基づくコンテンツの表示を前記表示部に行わせる
バーチャルアシスタント装置。

【請求項2】

前記インタフェースは、接触又は非接触による前記利用者からの入力動作を検出する動作検出部又は前記利用者の音声を示す音声信号を取得する音声入力部の少なくともいずれかを有し、
前記制御部は、前記報知を行った後、前記動作検出部が検出する動作又は前記音声入力部が取得した音声の少なくともいずれかに基づいて前記指示する入力を受けたか否かを判定する
請求項１に記載のバーチャルアシスタント装置。

【請求項3】

前記制御部は、前記報知を行った後、所定時間を経過しても前記指示する入力がなされない場合に、前記コンテンツ情報の配信があったことを示す報知情報の表示を前記表示部に行わせる
請求項１又は請求項２に記載のバーチャルアシスタント装置。

【請求項4】

前記バーチャルアシスタント装置又は前記バーチャルアシスタント装置の外部に設けられた登録部に前記利用者が希望する情報の種類が登録され、
前記制御部は、前記登録部に登録される前記種類の前記コンテンツを前記インタフェースを介して出力する制御を行う
請求項１から請求項３のいずれか一項に記載のバーチャルアシスタント装置。

【請求項5】

前記制御部は、
前記インタフェースにウェイクワードが入力されたか否かを監視することおよび動作検出部によって動作が検出されたか否かを監視することの少なくとも一方を行う待機モードと、少なくとも前記ウェイクワード以外の言葉を検出する会話モードと、に切り替わり、前記待機モード中に前記ウェイクワードの入力を検出した場合に前記会話モードに切り替わり、
前記待機モード中に、前記キャラクタが待機動作を行う画像を前記表示部に表示させつつ前記キャラクタが発する会話を前記インタフェースに音声出力させ、
前記会話が出力されてから所定時間が経過するまでの間、前記会話モードに切り替わる
請求項１から請求項４のいずれか一項に記載のバーチャルアシスタント装置。

【請求項6】

利用者からの入力の受入れおよび出力を行うインタフェースと、外部の装置と通信する通信部と、前記インタフェースを構成する表示部に具現化されたキャラクタを表示させる制御部と、を備えたバーチャルアシスタント装置であって、
前記制御部は、
前記インタフェースにウェイクワードが入力されたか否かを監視することおよび動作検出部によって動作が検出されたか否かを監視することの少なくとも一方を行う待機モードと、少なくとも前記ウェイクワード以外の言葉を検出する会話モードと、に切り替わり、前記待機モード中に前記ウェイクワードの入力を検出した場合に前記会話モードに切り替わり、
前記待機モード中に、前記キャラクタが待機動作を行う画像を前記表示部に表示させつつ前記キャラクタが発する会話を前記インタフェースに音声出力させ、
前記会話が出力されてから所定時間が経過するまでの間、前記会話モードに切り替わる
バーチャルアシスタント装置。

【請求項7】

前記制御部は、前記所定時間が経過するまでの間の前記会話モード中に前記ウェイクワード以外の言葉を検出しなかった場合、前記待機モードに切り替わる
請求項５又は請求項６に記載のバーチャルアシスタント装置。

【請求項8】

前記制御部は、前記所定時間が経過するまでの間の前記会話モード中に、前記待機動作の画像を解除して前記キャラクタが正面を向く基本画像を表示しつつ前記インタフェースに入力される前記ウェイクワード以外の言葉を検出する
請求項５から請求項７のいずれか一項に記載のバーチャルアシスタント装置。

【請求項9】

前記制御部は、前記所定時間が経過するまでの間の前記会話モード中に、前記待機動作の画像を表示させつつ前記ウェイクワード以外の言葉を検出する
請求項５から請求項７のいずれか一項に記載のバーチャルアシスタント装置。

【請求項10】

前記制御部は、所定条件が成立した場合に、前記表示部に複数の選択肢を表示し、前記複数の選択肢の表示後の前記インタフェースへの入力結果に基づいていずれの選択肢が選択されたかを判定する
請求項１から請求項９のいずれか一項に記載のバーチャルアシスタント装置。

【請求項11】

利用者からの入力の受入れおよび出力を行うインタフェースと、外部の装置と通信する通信部と、前記インタフェースを構成する表示部に具現化されたキャラクタを表示させる制御部と、を備えたバーチャルアシスタント装置に用いられるプログラムであって、
外部から配信されるコンテンツ情報を前記通信部が受けた場合に、前記インタフェースを介して所定の報知を行う制御を実行させるステップと、
前記報知が行われた後、コンテンツの提供を指示する入力が前記インタフェースを介してなされた場合に、前記コンテンツ情報に基づくコンテンツの表示を前記表示部に行わせる制御を実行させるステップと、
を含むバーチャルアシスタント装置用のプログラム。

【請求項12】

利用者からの入力の受入れおよび出力を行うインタフェースと、外部の装置と通信する通信部と、前記インタフェースを構成する表示部に具現化されたキャラクタを表示させる制御部と、を備えたバーチャルアシスタント装置に用いられるプログラムであって、
前記制御部を、前記インタフェースにウェイクワードが入力されたか否かを監視することおよび動作検出部によって動作が検出されたか否かを監視することの少なくとも一方を行う待機モードと、少なくとも前記ウェイクワード以外の言葉を検出する会話モードと、に切り替え、前記待機モード中に前記ウェイクワードの入力を検出した場合に前記会話モードに切り替えるステップと、
前記待機モード中に前記キャラクタが待機動作を行う画像を前記表示部に表示させつつ前記キャラクタが発する会話を前記インタフェースに音声出力させるように前記制御部を動作させるステップと、
前記会話が出力されてから所定時間が経過するまでの間、前記制御部を前記会話モードに切り替えるステップと、
を含むバーチャルアシスタント装置用のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、バーチャルアシスタント装置及びバーチャルアシスタント装置用のプログラムに関する。

【背景技術】

【0002】

特許文献１には、エージェント装置の一例が開示されている。特許文献１のエージェント装置は、表示装置とスピーカとを用いて画像と音声により現出させたエージェントにより状況に応じた違和感の無いユーザ性格判別用の質問をさせる。更に、このエージェント装置は、マイク入力されたユーザの回答結果からユーザの性格を判別し、ユーザの性格に合わせてエージェントの性格を可変させる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－１３３７２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の装置は、利用者が発話をしなければ会話の機会を十分に確保できないため、積極的な行為を行いにくい利用者にとっては、コンテンツの提供を受ける機会を十分に確保しにくい。特許文献１の装置を含め、従来技術では、この種の観点で改善の余地がある。

【0005】

本発明は、バーチャルアシスタント装置を利用する利用者のコンテンツの利用を促進しやすい技術を提供することを一つの目的とする。

【課題を解決するための手段】

【0006】

本発明の一つであるバーチャルアシスタント装置は、
利用者からの入力の受入れおよび出力を行うインタフェースと、外部の装置と通信する通信部と、上記インタフェースを構成する表示部に具現化されたキャラクタを表示させる制御部と、を備えたバーチャルアシスタント装置であって、
上記制御部は、外部から配信されるコンテンツ情報を上記通信部が受けた場合に、上記インタフェースを介して所定の報知を行う制御を行い、上記報知を行った後、上記インタフェースを介してコンテンツの提供を指示する入力を受けた場合に、上記コンテンツ情報に基づくコンテンツの表示を上記表示部に行わせる。

【0007】

上記のバーチャルアシスタント装置は、外部から配信されるコンテンツ情報を通信部が受けた場合にインタフェースを介して所定の報知を行うため、利用者にコンテンツ配信があったことを知らせることができる。従って、この装置は、利用者に対しコンテンツの提供を受けるきっかけを能動的に与えることができ、利用者がコンテンツの提供を受ける機会を確保しやすい。しかも、この装置は、上記報知の後、「コンテンツの提供を指示する入力」を受けた場合に、配信されたコンテンツ情報に基づくコンテンツの表示を行うことができるため、利用者は、希望する時期に希望する話題の提供を受けやすい。ゆえに、このバーチャルアシスタント装置は、利用者のコンテンツの利用を促進しやすい。また、人感センサなどの利用者を認識するセンシングシステムを本装置の他に設ける必要がないため、経済的である。

【0008】

上記のバーチャルアシスタント装置において、上記インタフェースは、接触又は非接触による上記利用者からの入力動作を検出する動作検出部又は上記利用者の音声を示す音声信号を取得する音声入力部の少なくともいずれかを有していてもよい。上記制御部は、上記報知を行った後、上記動作検出部が検出する動作又は上記音声入力部が取得した音声の少なくともいずれかに基づいて上記指示する入力を受けたか否かを判定してもよい。

【0009】

上記のバーチャルアシスタント装置は、『配信を知らせる報知に対して「コンテンツの提供を指示する入力」があったか否か』を、動作検出又は音声検出によってより正確に確認することができる。

【0010】

上記のバーチャルアシスタント装置において、上記制御部は、上記報知を行った後、所定時間を経過しても上記指示する入力がなされない場合に、上記コンテンツ情報の配信があったことを示す報知情報の表示を上記表示部に行わせてもよい。

【0011】

上記のバーチャルアシスタント装置は、利用者が報知に気付かなかったり、報知の際にコンテンツの提供を希望しない場合には、コンテンツ情報の配信があったことを報知情報によって知らせることができ、事後的な対応を行いやすくすることができる。

【0012】

上記バーチャルアシスタント装置又は上記バーチャルアシスタント装置の外部に設けられた登録部に上記利用者が希望する情報の種類が登録されていてもよい。上記制御部は、上記登録部に登録される上記種類の上記コンテンツを上記インタフェースを介して出力する制御を行ってもよい。

【0013】

上記のバーチャルアシスタント装置は、利用者が希望したり、利用者にとって有意義な種類のコンテンツを選定して提供することができるため、利用者が興味を持ちやすくなり、利用者の満足度が高まりやすい。

【0014】

上記のバーチャルアシスタント装置において、上記制御部は、上記インタフェースにウェイクワードが入力されたか否かを監視することおよび動作検出部によって動作が検出されたか否かを監視することの少なくとも一方を行う待機モードと、少なくとも上記ウェイクワード以外の言葉を検出する会話モードと、に切り替わり、上記待機モード中に上記ウェイクワードの入力を検出した場合に上記会話モードに切り替わり、上記待機モード中に、上記キャラクタが待機動作を行う画像を上記表示部に表示させつつ上記キャラクタが発する会話を上記インタフェースに音声出力させ、上記会話が出力されてから所定時間が経過するまでの間、上記会話モードに切り替わるように動作してもよい。

【0015】

上記のバーチャルアシスタント装置は、待機モード中にキャラクタが待機動作を行うため、待機モード中であってもキャラクタの行動が利用者の印象に残りやすくなる。更に、待機モード中には、自発的に会話を開始するようにキャラクタを動作させることができるため、キャラクタが待機動作を行いながら利用者を会話に誘うような状況を発生させることができる。しかも、上記のバーチャルアシスタント装置は、ウェイクワードの検出によって会話モードに切り替わることやタッチパネル等の操作部の操作によって切り替わることを前提とする一方で、キャラクタから会話が発せられた後には、所定時間が経過するまでの間、自動的に会話モードに切り替えることができるため、利用者は、ウェイクワードを発することなく会話に入ることができ、より自然な流れで会話を進めることもできる。

【0016】

本発明の一つであるバーチャルアシスタント装置は、
利用者からの入力の受入れおよび出力を行うインタフェースと、外部の装置と通信する通信部と、上記インタフェースを構成する表示部に具現化されたキャラクタを表示させる制御部と、を備えたバーチャルアシスタント装置であって、
上記制御部は、
上記インタフェースにウェイクワードが入力されたか否かを監視することおよび動作検出部によって動作が検出されたか否かを監視することの少なくとも一方を行う待機モードと、少なくとも上記ウェイクワード以外の言葉を検出する会話モードと、に切り替わり、上記待機モード中に上記ウェイクワードの入力を検出した場合に上記会話モードに切り替わり、
上記待機モード中に、上記キャラクタが待機動作を行う画像を上記表示部に表示させつつ上記キャラクタが発する会話を上記インタフェースに音声出力させ、
上記会話が出力されてから所定時間が経過するまでの間、上記会話モードに切り替わる。

【0017】

上記のバーチャルアシスタント装置は、待機モード中にキャラクタが待機動作を行うため、待機モード中であってもキャラクタの行動が利用者の印象に残りやすくなる。更に、待機モード中には、自発的に会話を開始するようにキャラクタを動作させることができるため、キャラクタが待機動作を行いながら利用者を会話に誘うような状況を発生させることができる。しかも、上記のバーチャルアシスタント装置は、ウェイクワードの検出によって会話モードに切り替わることやタッチパネル等の操作部の操作によって切り替わることを前提とする一方で、キャラクタから会話が発せられた後には、所定時間が経過するまでの間、自動的に会話モードに切り替えることができるため、利用者は、ウェイクワードを発することなく会話に入ることができ、より自然な流れで会話を進めることもできる。

【0018】

上記のバーチャルアシスタント装置において、上記制御部は、上記所定時間が経過するまでの間の上記会話モード中に上記ウェイクワード以外の言葉を検出しなかった場合、上記待機モードに切り替わるように動作してもよい。

【0019】

このバーチャルアシスタント装置は、上記所定時間が経過するまでの間の会話モード中に利用者からの応答の言葉がなかった場合、待機モードに戻すことができる。例えば、キャラクタが自発的に会話を発した後の会話モード中に利用者が近くにいなかったり、利用者が会話を望まずに応答しない状況であった場合には、自動的に待機モードに戻すことで、会話モードが不要な状況下で会話モードが継続しすぎることを抑えることができる。

【0020】

上記のバーチャルアシスタント装置において、上記制御部は、上記所定時間が経過するまでの間の上記会話モード中に、上記待機動作の画像を解除して上記キャラクタが正面を向く基本画像を表示しつつ上記インタフェースに入力される上記ウェイクワード以外の言葉を検出するように動作してもよい。

【0021】

このバーチャルアシスタント装置は、所定時間が経過するまでの間の会話モード中に、キャラクタが正面を向いた状態で利用者からの応答を受けることができるため、キャラクタが利用者に注目した状態で利用者からの話を待つような印象を利用者に与えることができる。

【0022】

上記のバーチャルアシスタント装置において、上記制御部は、上記所定時間が経過するまでの間の上記会話モード中に、上記待機動作の画像を表示させつつ上記ウェイクワード以外の言葉を検出する。

【0023】

このバーチャルアシスタント装置は、会話モード中に、キャラクタが待機動作を行いながら利用者からの話を待つような印象を利用者に与えることができる。

【0024】

上記のバーチャルアシスタント装置において、上記制御部は、所定条件が成立した場合に、上記表示部に複数の選択肢を表示し、上記複数の選択肢の表示後の上記インタフェースへの入力結果に基づいていずれの選択肢が選択されたかを判定するように動作してもよい。

【0025】

このバーチャルアシスタント装置は、選択肢の提示により回答の候補を単純化することで、回答の容易化を図ることができ、利用者がいずれの選択肢を選択したのかを判定することで、利用者の意思を誤認しにくい形で利用することができる。

【0026】

本発明の一つであるバーチャルアシスタント装置用のプログラムは、
利用者からの入力の受入れおよび出力を行うインタフェースと、外部の装置と通信する通信部と、上記インタフェースを構成する表示部に具現化されたキャラクタを表示させる制御部と、を備えたバーチャルアシスタント装置に用いられるプログラムであって、
外部から配信されるコンテンツ情報を上記通信部が受けた場合に、上記インタフェースを介して所定の報知を行う制御を実行させるステップと、
上記報知が行われた後、コンテンツの提供を指示する入力が上記インタフェースを介してなされた場合に、上記コンテンツ情報に基づくコンテンツの表示を上記表示部に行わせる制御を実行させるステップと、
を含む。

【0027】

上記のバーチャルアシスタント装置用のプログラムは、外部から配信されるコンテンツ情報を通信部が受けた場合にインタフェースを介して所定の報知を行わせることができるため、利用者にコンテンツ配信があったことを知らせることができる。従って、上記のプログラムは、利用者に対しコンテンツの提供を受けるきっかけを能動的に与えることができ、利用者がコンテンツの提供を受ける機会を確保しやすい。しかも、上記のプログラムは、上記報知の後、「コンテンツの提供を指示する入力」を受けた場合に、配信されたコンテンツ情報に基づくコンテンツの表示を行うことができるため、利用者は、希望する時期に話題の提供を受けやすい。

【0028】

本発明の一つであるバーチャルアシスタント装置用のプログラムは、
利用者からの入力の受入れおよび出力を行うインタフェースと、外部の装置と通信する通信部と、前記インタフェースを構成する表示部に具現化されたキャラクタを表示させる制御部と、を備えたバーチャルアシスタント装置に用いられるプログラムであって、
前記制御部を、前記インタフェースにウェイクワードが入力されたか否かを監視することおよび動作検出部によって動作が検出されたか否かを監視することの少なくとも一方を行う待機モードと、少なくとも前記ウェイクワード以外の言葉を検出する会話モードと、に切り替え、前記待機モード中に前記ウェイクワードの入力を検出した場合に前記会話モードに切り替えるステップと、
前記待機モード中に前記キャラクタが待機動作を行う画像を前記表示部に表示させつつ前記キャラクタが発する会話を前記インタフェースに音声出力させるように前記制御部を動作させるステップと、
前記会話が出力されてから所定時間が経過するまでの間、前記制御部を前記会話モードに切り替えるステップと、
を含む。

【0029】

上記のプログラムによって動作するバーチャルアシスタント装置は、待機モード中にキャラクタが待機動作を行うため、待機モード中であってもキャラクタの行動が利用者の印象に残りやすくなる。更に、待機モード中には、自発的に会話を開始するようにキャラクタを動作させることができるため、キャラクタが待機動作を行いながら利用者を会話に誘うような状況を発生させることができる。しかも、ウェイクワードの検出によって会話モードに切り替わることやタッチパネル等の操作部の操作によって切り替わることを前提とする一方で、キャラクタから会話が発せられた後には、所定時間が経過するまでの間、自動的に会話モードに切り替えることができるため、利用者は、ウェイクワードを発することなく会話に入ることができ、より自然な流れで会話を進めることもできる。

【発明の効果】

【0030】

本発明によれば、バーチャルアシスタント装置を利用する利用者のコンテンツの利用を促進やすい。

【図面の簡単な説明】

【0031】

【図1】図１は、第１実施形態のバーチャルアシスタント装置を備えたバーチャルアシスタントシステムの電気的構成を簡略的に示すブロック図である。

【図2】図２は、第１実施形態のバーチャルアシスタント装置における通常表示の例１を示す説明図である。

【図3】図３は、管理装置に記憶された利用者データのデータ構造例を概念的に示す説明図である。

【図4】図４は、管理装置に記憶されたコンテンツ関連データのデータ構造例を概念的に示す説明図である。

【図5】図５は、第１実施形態のバーチャルアシスタント装置での制御の流れを例示するフローチャートである。

【図6】図６は、第１実施形態のバーチャルアシスタント装置における通常表示の例２を示す説明図である。

【図7】図７は、第１実施形態のバーチャルアシスタント装置における通常表示の例３を示す説明図である。

【図8】図８は、第１実施形態のバーチャルアシスタント装置における通常表示の例４を示す説明図である。

【図9】図９は、第１実施形態のバーチャルアシスタント装置における「所定の報知」の一例を説明する説明図である。

【図10】図１０は、第１実施形態のバーチャルアシスタント装置における通常表示の例５を示す説明図であり、報知情報が表示された例を示す図である。

【図11】図１１は、第１実施形態のバーチャルアシスタント装置でのコンテンツの提供例１を示す説明図である。

【図12】図１２は、第１実施形態のバーチャルアシスタント装置でのコンテンツの提供例２を示す説明図であり、図１１の表示に続く表示の例である。

【図13】図１３は、第１実施形態のバーチャルアシスタント装置でのコンテンツの提供例３を示す説明図であり、図１２の表示に続く表示の例である。

【図14】図１４は、第１実施形態のバーチャルアシスタント装置でのコンテンツの提供例４を示す説明図であり、図１３の表示に続く表示の例である。

【図15】図１５は、第１実施形態のバーチャルアシスタント装置での会話の開始の例１を説明する説明図である。

【図16】図１６は、第１実施形態のバーチャルアシスタント装置での会話の開始の例２を説明する説明図である。

【図17】図１７は、第１実施形態のバーチャルアシスタント装置でのコンテンツの提供例５を示す説明図である。

【図18】図１８は、第１実施形態のバーチャルアシスタント装置でのコンテンツの提供例６を示す説明図であり、図１７の表示に続く表示の例である。

【図19】図１９は、第１実施形態のバーチャルアシスタント装置における蓄積されたコンテンツのリストの表示例を示す説明図である。

【図20】図２０は、第１実施形態のバーチャルアシスタント装置での待機画像の表示例を示す説明図である。

【図21】図２１は、第１実施形態のバーチャルアシスタント装置において基本画像を表示する場合の表示例を示す説明図である。

【図22】図２２は、第１実施形態のバーチャルアシスタント装置での待機画像の表示例について、図２０とは異なる例を示す説明図である。

【図23】図２３は、他の実施形態のバーチャルアシスタント装置でのコンテンツの提供例１を示す説明図である。

【図24】図２４は、他の実施形態のバーチャルアシスタント装置でのコンテンツの提供例２を示す説明図である。

【図25】図２５は、他の実施形態のバーチャルアシスタント装置でのコンテンツの提供例３を示す説明図である。

【図26】図２６は、他の実施形態のバーチャルアシスタント装置での複数の選択肢の表示例を示す説明図である。

【発明を実施するための形態】

【0032】

＜第１実施形態＞
１．バーチャルアシスタントシステムの概要
図１に示されるバーチャルアシスタントシステム１は、バーチャルアシスタント装置１０と、管理装置９０と、を備える。以下の説明では、バーチャルアシスタントシステム１は、単にシステム１とも称される。以下で説明される代表例は、バーチャルアシスタント装置１０が、高齢者向けのバーチャルアシスタント装置として機能するものであり、例えば、利用者が、介護施設、自宅、病院などで利用することができるものである。

【0033】

２．バーチャルアシスタント装置のハードウェア構成
図１のように、バーチャルアシスタント装置１０は、タブレット端末、スマートフォン、パーソナルコンピュータ、外部装置と通信可能に構成されたテレビジョンなどの汎用の情報端末にアプリケーションプログラムをインストールし、記憶及び利用可能とした情報通信端末であってもよく、後述される各機能を実現できる専用装置であってもよい。バーチャルアシスタント装置１０は、通信機能を有する携帯型の情報装置であってもよく、通信機能を有する据置型の情報装置であってもよい。

【0034】

図１のように、バーチャルアシスタント装置１０は、制御部１１と通信部１２とインタフェース１３と記憶部１４とを備える。以下で説明されるバーチャルアシスタント装置１０の代表例は、バーチャルアシスタント装置１０が、図２のようにタブレット端末によって実現される例である。

【0035】

図１に示される制御部１１は、例えば公知の情報処理装置として構成される。制御部１１は、ＣＰＵなどの公知の演算装置及び他の周辺回路などを備え、様々な制御や演算を行い得る。制御部１１は、インタフェース１３を構成する表示部１５に、具現化されたキャラクタを表示させる機能を有する。

【0036】

図１に示される通信部１２は、公知の有線通信方式又は公知の無線通信方式によって広域通信網に直接又は他装置を介して間接的にアクセス可能な装置である。通信部１２は、基地局との間で無線通信を行い、図示されていない基地局を介して広域通信網（例えば、インターネット）に直接アクセスする構成であってもよい。通信部１２は、図示されていないアクセスポイントとの間で無線通信を行い、アクセスポイントを介して広域通信網に間接的にアクセスする構成であってもよい。通信部１２は、中継装置（ルータ等）との間で有線通信を行い、中継装置を介して広域通信網にアクセスする構成であってもよい。

【0037】

図１に示されるインタフェース１３は、利用者からの入力の受入れおよび出力を行う装置である。インタフェース１３は、表示部１５と音声出力部１６と操作部１７と音声入力部１８とを備える。

【0038】

表示部１５及び音声出力部１６は、情報を出力する出力部として機能する。表示部１５は、液晶ディスプレイや有機エレクトロルミネッセンスディスプレイなどの公知の画像表示装置として構成される。以下で説明される代表例では、表示部１５は、タッチパネル式の表示装置の一部をなす。音声出力部１６は、例えば公知のスピーカなどの発音装置によって構成されている。音声出力部１６は、制御部１１と協働して各種音声を出力する機能を有する。

【0039】

操作部１７及び音声入力部１８は、情報を入力する入力部として機能する。操作部１７は、動作検出部の一例に相当し、接触方式での入力操作が可能とされた入力デバイスである。操作部１７は、例えば、タッチパネルなどが好適例である。音声入力部１８は、例えば公知のマイクなどの音声入力装置によって構成されている。音声入力部１８は、入力される音を電気信号に変換して制御部１１に与える機能を有する。

【0040】

以下で説明される代表例では、図２等で示されるように、表示部１５と操作部１７とがタッチパネル式表示装置２０を構成する。タッチパネル式表示装置２０は、単にタッチパネル２０とも称される。図２等の例では、操作部１７は、表示部１５からの光を透過可能に構成され、表示部１５からの画像を外部から視認可能な構成で透明性のパネルが表示部１５を覆っている。

【0041】

記憶部１４は、様々な情報を記憶する機能を有する。記憶部１４は、半導体メモリ、ＨＤＤ、ＳＳＤ、など、公知の記憶装置が採用される。制御部１１は、記憶部１４に対して各種情報を書き込む機能や、記憶部１４に記憶された各種情報を読み出す機能を有する。記憶部１４には、後述されるアプリケーションプログラムなどの様々なプログラムが記憶されている。記憶部１４には、管理装置９０によって管理されているサイト、情報、プログラム等に対して広域通信網を介してアクセスするための識別情報（例えば、ＵＲＬ（Uniform Resource Locator）など）も記憶されている。

【0042】

３．管理装置
図１に示される管理装置９０は、様々な情報処理機能や様々な演算機能を有する。具体的には、管理装置９０は、様々な情報を登録する機能、様々な情報を配信する機能、などを有する。管理装置９０は、通信機能及び情報処理機能を有する装置であればよい。管理装置９０は、例えば、ＣＰＵ，記憶媒体、通信装置などを備えたコンピュータとして構成されている。図１の例では、管理装置９０は、制御装置９１と、通信部９２、表示部９３、入力部９４、記憶部９５、を備える。

【0043】

制御装置９１は、例えば公知の情報処理装置として構成される。制御部１１は、ＣＰＵなどの公知の演算装置及び他の周辺回路などを備え、様々な制御や演算を行い得る。

【0044】

通信部９２は、公知の有線通信方式又は公知の無線通信方式によって広域通信網に直接又は他装置を介して間接的にアクセス可能な装置である。通信部９２は、基地局との間で無線通信を行い、図示されていない基地局を介して広域通信網に直接アクセスする構成であってもよい。通信部９２は、図示されていないアクセスポイントとの間で無線通信を行い、アクセスポイントを介して広域通信網に間接的にアクセスする構成であってもよい。通信部９２は、中継装置（ルータ等）との間で有線通信を行い、中継装置を介して広域通信網にアクセスする構成であってもよい。

【0045】

表示部９３は、公知の画像表示装置として構成される。入力部９４は、例えば、キーボード、マウス、タッチパネル、音声入力部など、公知の入力デバイスとして構成され、接触による操作や音声などによって情報の入力が可能とされる。記憶部９５は、様々な情報を記憶する記憶装置である。記憶部９５において、データベースが構成されていてもよい。

【0046】

４．管理装置からのコンテンツの配信
管理装置９０には、情報の配信対象である利用者に関する情報が登録されている。図３は、図１に示される管理装置９０の記憶部９５に記憶される利用者データのデータ構造例を示している。図３のように、管理装置９０に記憶される利用者データは、データベースを構成しており、各々の利用者に対応付けてＩＤ、登録種類、利用者情報が記憶されている。ＩＤは、各々の利用者を識別可能な情報であり、各々の利用者を特定し得る識別情報である。登録種類は、利用者が希望する情報や利用者に有意義な情報の種類を登録する情報である。利用者情報は、利用者に関する各種情報であり、氏名、生年月日、メールアドレス、趣味、健康に関する情報、居住地、過去のエピソード等の個人情報を含んでいてもよく、コンテンツの配信先を特定する配信先情報を含んでいてもよい。例えば、図３の利用者データでは、利用者のＩＤとしてＩＤ１が特定されれば、「ＩＤ１」で特定される利用者が希望する情報の種類が「登録種類１」の情報によって特定され、その利用者の個人情報等が「利用者情報１」の情報によって特定される。

【0047】

本実施形態に係るシステム１では、「利用者が希望する情報の種類」や「利用者に有意義な情報」として、様々な種類が登録可能とされている。具体的には、「利用者が希望する情報の種類」や「利用者に有意義な情報」として、趣味又は生き甲斐に関する複数の種類が予め選定可能に用意され、それら複数の種類から選ばれるいずれか１以上の種類が登録情報に含まれていてもよい。趣味又は生き甲斐に関する種類としては、例えば、園芸、スポーツ、レクリエーション、体操、音楽、美術、料理、懐かしい写真、ショッピング情報など、様々な種類を用意しておくことができる。或いは、利用者が希望する情報の種類として、病気に関する複数の種類が予め選定可能に用意され、それら複数の種類から選ばれるいずれか１以上の種類が登録情報に含まれていてもよい。具体的には、老齢症候群の予防やリハビリテーションやリラクゼーションに関する複数の種類が予め選定可能に用意され、それら複数の種類から選ばれるいずれか１以上の種類が登録情報に含まれていてもよい。

【0048】

例えば、図３の利用者データにおいて、ＩＤ１が「００００１」の情報であり、登録種類１が「園芸、体操」を特定する情報であり、利用者情報１が、利用者名として「山田太郎」を特定し、配信先アドレスとして「アドレス情報１」を特定する情報であるとする。この場合、制御装置９１は、利用者データを参照すれば、「００００１」のＩＤで特定される利用者の氏名が「山田太郎」であり、配信先アドレスが「アドレス情報１」であり、この利用者が希望する種類が「園芸、体操」であることを特定することができる。

【0049】

管理装置９０は、コンテンツの登録及び配信を行うことが可能とされている。図４は、図４は、図１に示される管理装置９０の記憶部９５に記憶されるコンテンツ関連データのデータ構造例を示している。図４のように、管理装置９０に記憶されるコンテンツ関連データは、データベースを構成しており、コンテンツ毎に、コンテンツ識別情報、コンテンツデータ、配信日時、コンテンツの種類が互いに対応付けられて記憶されている。本明細書では、コンテンツデータは、コンテンツ情報の一例に相当し、単にコンテンツとも称される。

【0050】

コンテンツ識別情報は、各々のコンテンツを識別可能且つ特定可能な情報であればよく、識別番号であってもよく、具体的な名称であってもよい。コンテンツデータは、コンテンツの具体的なデータであり、動画データ、静止画データ、音声データなどを含んでいてもよく、その他のデータ（例えば、プログラムデータ等）を含んでいてもよい。配信日時は、対応付けられたコンテンツ（コンテンツデータ）が配信される日時を特定する情報である。種類情報は、対応付けられたコンテンツ（コンテンツデータ）の種類を特定する情報である。種類情報で特定されるコンテンツの種類は、１種類であってもよく、複数種類であってもよい。

【0051】

管理装置９０は、各識別情報で特定される各コンテンツ（コンテンツデータ）を、各コンテンツを配信すべき利用者（各コンテンツの種類を登録している利用者）のバーチャルアシスタント装置１０に対し、各コンテンツに対応付けられた各配信日時に配信する。なお、図１では、一の利用者が所持する一のバーチャルアシスタント装置１０のみが例示されているが、システム１では、多数の利用者がバーチャルアシスタント装置１０を所持することができ、図１では、他の利用者が所持するバーチャルアシスタント装置１０の図示は省略されている。管理装置９０は、コンテンツを配信する場合において、そのコンテンツの配信対象の利用者が複数存在する場合、いずれの利用者のバーチャルアシスタント装置１０に対してもコンテンツを配信することができる。

【0052】

例えば、図４のコンテンツ関連データにおいて、「識別情報１」が「００００Ａ」の情報であり、「データ１」が「園芸に関する所定の動画データ」であり、「日時情報１」が「２０２１年１月１日１０：００」であり、「種類情報１」が「園芸」を特定する情報であるとする。この場合、制御装置９１は、図４のコンテンツ関連データを参照すれば、「００００Ａ」に対応付けられたコンテンツデータ（データ１の「園芸に関する所定の動画データ」）を、「園芸」の種類のデータとして、「２０２１年１月１日１０：００」に配信すべきことを特定することができる。この場合、管理装置９０は、識別情報１（００００Ａ）で特定されるコンテンツデータ（データ１の「園芸に関する所定の動画データ」）を、「園芸」の種類のデータを登録する利用者（図３の利用者データにおいて、登録種類として「園芸」を含む利用者）のバーチャルアシスタント装置１０に対し「２０２１年１月１日１０：００」に配信する。

【0053】

５．バーチャルアシスタント装置の受信制御
５－１．基本制御
バーチャルアシスタント装置１０には、アプリケーションプログラムが記憶されている。このアプリケーションプログラムは、バーチャルアシスタント装置１０にインストールされている。このアプリケーションプログラムは、記憶部１４に記憶され、制御部１１によって読み出されて実行される。

【0054】

上述されたように、管理装置９０は、バーチャルアシスタント装置１０に対してコンテンツ（コンテンツデータ）を配信する。管理装置９０からバーチャルアシスタント装置１０に配信されるコンテンツは、バーチャルアシスタント装置１０を所持する利用者が予め登録した種類に属するコンテンツであってもよく、利用者による登録に関係なく管理装置９０が選定したコンテンツであってもよい。バーチャルアシスタント装置１０は、管理装置９０から自身に対して配信されるコンテンツを通信部１２によって受信する。制御部１１は、外部（管理装置９０）から配信されるコンテンツ（コンテンツデータ）を通信部１２が受けた場合に、そのコンテンツデータを記憶部１４に記憶し、インタフェース１３を介して「所定の報知」を行う制御を実行する。なお、「所定の報知」は、コンテンツデータを記憶部１４に記憶する前に行ってもよい。

【0055】

具体的には、上記アプリケーションプログラムは、図５のような流れで制御部１１に制御を行わせる。制御部１１は、所定の開始条件が成立した場合（例えば、操作部１７に対して所定の開始操作がなされた場合）に上記アプリケーションプログラムを実行し、ステップＳ１において、画像によって具現化されたキャラクタ７０を表示部１５に表示させる。

【0056】

図２には、ステップＳ１でなされる表示の具体例が示される。図２において、キャラクタ７０は、一般人を模したバーチャルアシスタント（擬人）である。図２に表示されるキャラクタ７０は、あくまで一例であり、例えば、介護福祉士、看護師、医師などの特定の職業の者を模したバーチャルアシスタントであってもよい。また、人に限らず動物やロボット等を模したバーチャルアシスタントであってもよい。上記アプリケーションプログラムは、図２に表示されるキャラクタ７０が自動的に会話を行うようにチャットボットの機能を実現するプログラムが備えられていてもよい。自動的に行う会話の内容は、利用者が事前に登録した属性（男女、家族構成、住宅環境、誕生日、趣味など）に合わせて、変更、選択することができる。図２に示されるキャラクタ７０の画像は、静止画や動画などによって実現することができ、後述されるステップＳ３，Ｓ８の処理が実行されていない期間には、時間経過に応じて図６、図７，図８のようにキャラクタ７０の表情、姿勢、動作、行為などを様々に変化させてもよい。

【0057】

制御部１１は、ステップＳ１、Ｓ３、Ｓ４、Ｓ８等において、図２、図６～図８のようにキャラクタ７０を表示させ、その場合には、表示部１５に、季節、暦、日付、時刻等を表示してもよく、朝・昼・夕方・夜の時間帯をイメージするイラストレーション、写真、コンピューターグラフィック、その他の画像等を表示してもよい。例えば、図６は、予め定められた昼の時間帯の画像を示しており、この画像では、昼の時間帯であることを示すようにキャラクタ７０の外側の背景の色を明るい色（具体的には予め定められた明色）で示している。一方、図８は、予め定められた夜の時間帯の画像を示しており、この画像では、夜の時間帯であることを示すようにキャラクタ７０の外側の背景の色を暗い色（予め定められた暗色）で示している。

【0058】

制御部１１は、ステップＳ１の後、ステップＳ２において、会話開始条件が成立したか否かを判定する。会話開始条件は、バーチャルアシスタント装置１０から会話を発する条件として予め定められた条件である。会話開始条件は、音声入力部１８に対して所定の音声が入力されたこと（例えば、予め定められたウエイクワードが入力されたこと）であってもよい。図１５の例では、キャラクタ７０の名前がウエイクワードとされており、このウエイクワードが音声入力されることが会話開始条件の一つとされている。図１６の例では、予め定められた挨拶（例えば「こんにちは」の言葉）がウエイクワードとされており、このウエイクワードが音声入力されることが会話開始条件の一つとされている。会話開始条件は、これらの例に限定されず、例えば、操作部１７に対して所定の操作がなされたこと（例えば、表示部１５近傍をタップする操作がなされたこと）であってもよい。会話開始条件は、予め設定された予約時刻が到来したことであってもよい。

【0059】

制御部１１は、ステップＳ２において会話開始条件が成立した判定した場合、ステップＳ３に進んで会話又はコンテンツの提供を開始する。ステップＳ３での会話やコンテンツの提供は、後述されるステップＳ８と同様に行うことができる。一方、ステップＳ２において会話開始条件が成立していないと判定した場合、ステップＳ４に進んで通常表示を継続する。なお、ステップＳ２でのＮｏ判定及びステップＳ５でのＮｏ判定が繰り返される間は、図２、図６～図８のようなキャラクタ表示を継続させ、継続中には、キャラクタ７０の表情、姿勢、動作、行為などを様々に変化させる。

【0060】

制御部１１は、ステップＳ３又はステップＳ４の後、ステップＳ５において、新たな配信があったか否かの判定を行う。制御部１１は、ステップＳ５において、通信部１２が管理装置９０から配信されたコンテンツ（コンテンツデータ）を受けていない判定した場合、ステップＳ５においてＮｏと判定するとともにステップＳ２に処理を戻し、ステップＳ２以降の処理を再び行う。制御部１１は、ステップＳ５において新たな配信があったと判定した場合、ステップＳ５においてＹｅｓと判定し、ステップＳ６以降の処理を行う。

【0061】

５－２．新たな配信があった場合
制御部１１は、ステップＳ５において、通信部１２が管理装置９０から配信されたコンテンツ（コンテンツデータ）を受けたか否かを判定し、受けたと判定した場合、ステップＳ６において、インタフェース１３に「所定の報知」を行わせる。「所定の報知」は、「バーチャルアシスタント装置１０が外部から新たなコンテンツの配信を受けたことを伝える伝達情報」の表示や音声出力などである。上記伝達情報の表示や音声出力は、メッセージの表示や音声出力などであってもよく、新たなコンテンツの配信を受けたことを伝える記号や絵柄などの画像表示であってもよく、新たなコンテンツの配信を受けたことを伝える報知音（アラーム音やブザー音などの発生）の出力であってもよい。報知音としては、例えば日常生活で聴きなれた電話のベル音やチャーム音が好ましい。例えば、図９には、「所定の報知」の一例が示されている。図９の例では、「所定の報知」として、配信名で特定される配信が届いた旨のメッセージの画像７２を表示部１５に表示させているが、このようなメッセージ表示に代えて又はメッセージ表示と併用して音声によるメッセージ報知、絵柄等の画像表示、報知音の出力などを行ってもよい。例えば、キャラクタの会話により報知してもよい。

【0062】

このように、上記のアプリケーションプログラムは、外部（管理装置９０）から配信されるコンテンツデータ（コンテンツ情報）を通信部１２が受けた場合に、ステップＳ６において、「インタフェース１３を介して所定の報知を行う制御」を制御部１１に実行させる。

【0063】

制御部１１は、ステップＳ６において、インタフェース１３に「所定の報知」を行わせた後、ステップＳ７において、提供指示があったか否かを判定する。具体的には、制御部１１は、ステップＳ７において、「インタフェース１３を介してコンテンツの提供を指示する入力を受けたか否か」を判定する。

【0064】

「コンテンツの提供を指示する入力」は、例えば、操作部１７に対する所定操作であってもよく、所定の音声入力であってもよい。例えば、ステップＳ６の処理によって図９のような「所定の報知」がなされる例では、「所定の報知」のメッセージと共に２つの選択ボタン（「見ない」「見る」のボタン画像）が表示される。この場合、それら選択ボタンのうちの「見る」を選択する操作（例えば、「見る」の画像７２をクリックする操作）が「コンテンツの提供を指示する入力」の一例に相当する。従って、ステップＳ６において図９のような表示が行われた後、「見る」を選択する操作がなされた場合、ステップＳ７では、コンテンツの提供を指示する入力を受けたと判定し、ステップＳ８の処理を実行する。

【0065】

制御部１１は、ステップＳ７において「コンテンツの提供を指示する入力」を受けなかった判定した場合、ステップＳ９において新たに配信されたコンテンツデータを記憶部１４に蓄積する。例えば、制御部１１は、ステップＳ６において「所定の報知」を行った後、所定時間を経過するまで「コンテンツの提供を指示する入力」がなされない場合、図１０のように、コンテンツデータ（コンテンツ情報）の配信があったことを示す報知情報の表示を表示部１５に行わせる。例えば、管理装置９０から新たに２つのコンテンツデータが配信され、ステップＳ６において図９のように「所定の報知」が行われた場合に、「所定の報知」の開始から所定時間を経過しても「見る」のボタンが押されなかった場合には、ステップＳ９に進み、新たに配信されてきたコンテンツデータを蓄積するとともに、図１０のような画像を表示する。図１０の画像では、報知情報として、新たに配信されたコンテンツのうち未提供となっているコンテンツの数を画像７４によって表示している。なお、ステップＳ６において図９のように「所定の報知」が行われた場合に、「見ない」のボタンが選択された場合（即ち、コンテンツの提供の保留を指示する入力がなされた場合）にも、ステップＳ９に進んで同様の処理を行う。

【0066】

制御部１１は、ステップＳ７において「コンテンツの提供を指示する入力」を受けたと判定した場合、ステップＳ８において、会話やコンテンツを提供する表示を表示部１５に行わせる。制御部１１は、ステップＳ７でＹｅｓと判定してステップＳ８の処理を行う場合、管理装置９０から新たに配信されたコンテンツデータ（コンテンツ情報）に基づくコンテンツの出力（例えば、新たに配信されたコンテンツデータに含まれる動画の再生や静止画の表示、音声の出力等）を表示部１５や音声出力部１６に行わせる。

【0067】

ステップＳ７でＹｅｓに進んだ場合にステップＳ８で行う制御は、「通信部１２が受けたコンテンツに関する会話」を、インタフェース１３を介して出力する制御である。図１１～図１４は、ステップＳ７でＹｅｓに進んだ場合に、制御部１１がステップＳ８で行う制御の一例を示している。図１１～図１４は、管理装置９０から「園芸」に関する「いきいき配信」というコンテンツが新たに配信された場合においてステップＳ８でこのコンテンツを提供する例であり、この例では、配信されたコンテンツデータに「園芸」に関する動画や会話データが含まれている。この場合、制御部１１は、ステップＳ８において動作を再生しつつ会話のために音声を発するように制御を行う。例えば、図１３の例では、ひまわり畑が表示されたタイミングで「夏の花、ひまわりは元気なイメージですね」という会話を発している。この会話を発する際には、キャラクタ７０を表示させておくことで、キャラクタ７０が話しかけている印象を与えることができる。なお、制御部１１は、会話を発する場合、予め登録された利用者のニックネームで発話をしてもよい。

【0068】

制御部１１は、ステップＳ８にてコンテンツの提供を行い、図１３のように利用者に対して会話を発した場合には、その後、動作検出部が検出する動作又は音声入力部に入力される音声の少なくともいずれかに基づいて「利用者からの応答の認識」を試みる。例えば、操作部１７に対する所定の応答操作（例えば、キャラクタ７０やその他のデザインをタップする操作）や音声入力部１８に対する所定の音声入力（例えば、言葉の入力）が「利用者からの応答」と定められている。制御部１１は、インタフェース１３において「利用者からの応答」があった場合に、この応答に対する更なる会話を、インタフェース１３を介して出力するように制御を行う。「応答に対する更なる会話」は、提供されているコンテンツの種類の話題であってもよく、その種類とは異なる話題であってもよい。「応答に対する更なる会話」は、文字表示と音声出力を併用することが望ましいが、いずれか一方であってもよい。なお、制御部１１が「応答に対する更なる会話」を発するように制御を行った場合、再び、「利用者からの応答の認識」を試みることが望ましい。そして、「利用者からの応答」があった場合には、この応答に対する更なる会話を、インタフェース１３を介して出力することが望ましい。このように、「応答に対する更なる会話」と「利用者からの応答の認識」を繰り返すことで、会話を継続させることができる。

【0069】

このように、制御部１１は、インタフェース１３を介して「コンテンツに関する会話」を出力した後、インタフェース１３を介して「利用者からの応答」を認識した場合に、インタフェース１３を介して「応答に対する会話」を出力するように制御を行う。ステップＳ８は、このような制御を制御部１１に行わせるステップである。

【0070】

なお、制御部１１は、ステップＳ８にて会話を行う場合、音声の入出力と併用して、音声入力部１８を介して音声入力された発話内容（利用者の発話内容）やバーチャルアシスタント装置１０の発話内容（例えば、キャラクタ７０の発話内容）を表示部１５に文字で表示してもよい。

【0071】

なお、図１１～図１４は、バーチャルアシスタント装置１０と対応付けて登録されている種類（利用者が希望する種類）のコンテンツを提供する例が示されるが、ステップＳ８で提供するコンテンツや会話はこの例に限定されない。例えば、管理装置９０から新たな配信として「明日の天気」に関するコンテンツの配信があった場合に、ステップＳ８において、このコンテンツに関する会話を図１７のように開始してもよい。或いは、ステップＳ２において会話開始条件が成立したと判定した場合に、ステップＳ３において「明日の天気」に関する会話及びコンテンツを図１７のように開始してもよい。制御部１１は、ステップＳ８において図１７のように会話を開始した場合であっても、その開始後、動作検出部が検出する動作又は音声入力部に入力される音声の少なくともいずれかに基づいて「利用者からの応答の認識」を試みる。そして、制御部１１は、インタフェース１３において上述された「利用者からの応答」があった場合（例えば、キャラクタ７０の近傍のタップがあった場合）、この応答に対する更なる会話を、図１８のように、インタフェース１３を介して出力するように制御を行う。

【0072】

制御部１１がインタフェース１３を介して会話を行う場合、コンテンツに関する会話又は応答に対する会話の少なくともいずれかにおいて、キャラクタの表情、キャラクタの動作、テロップ、効果音、アイコンのいずれかの表示又は音声出力を発生又は変化させてもよい。例えば、図１８の例では、図１７の例から「新たにハートマークの絵柄（アイコン）」や「ワクワクの文字（テロップ）」を発生させ、キャラクタ７０の気分が良好であることを視覚的に示している。制御部１１は、図１８のような表示と併せて効果音を音声出力させてもよい。制御部１１は、図１８の表示において、キャラクタ７０の表情を笑顔にしたり、キャラクタ７０に対してジャンプやスキップ等の動作を行わせたりしてもよい。図１８は、キャラクタ７０が良好な気分の例を示しているが、キャラクタ７０を、沈んだ表情、怒った表情、悲しんだ表情などに変化させてもよく、キャラクタ７０に喜んだ動作や泣く動作などを行わせてもよい。また、テロップ、効果音、アイコンの種類は図１８の例に限定されず、様々に変更することができる。

【0073】

図５の制御では、ステップＳ１、Ｓ３、Ｓ４、Ｓ８が「キャラクタ７０を表示部１５に表示させる動作」を制御部１１に行わせるステップの一例に相当する。ステップＳ８は、「インタフェース１３を介してコンテンツに関する会話を出力する制御」を制御部１１に行わせるステップの一例に相当する。ステップＳ８は、「コンテンツ情報に基づくコンテンツの表示を表示部に行わせる制御」を制御部１１に行わせるステップの一例に相当する。

【0074】

なお、図５のフローチャートでは制御を省略したが、蓄積されたコンテンツの提供を指示する所定の入力がなされた場合に、蓄積されたコンテンツの提供及びそのコンテンツに関する会話を開始してもよい。例えば、ステップＳ２でのＮｏ判定及びステップＳ５でのＮｏ判定が繰り返される間（通常表示が継続している間）において図１０のように上述の報知情報（図１０では、画像７４）が表示されている場合、所定操作（例えば、報知情報を示す画像７４又はその近傍を選択する操作）がなされたときには、図１９のように、報知情報が蓄積を示すコンテンツのリスト（配信履歴（着信履歴））を表示させてもよい。そして、そのリストにおいて、いずれかのコンテンツを選択する操作がなされた場合に、その選択されたコンテンツを提供するとともに当該コンテンツに関する会話を開始させてもよい。このようにコンテンツが選択された場合のコンテンツや会話は、図１１～図１４の例と同様に行ってもよく、図１７、図１８の例と同様に行ってもよい。

【0075】

５－３．新たな配信が無い期間の通常動作の詳細
次の説明は、新たな配信が無い期間（ステップＳ５のＮｏと判定される期間）になされる通常動作の詳細に関する。この期間、制御部１１は、主に、待機モードと会話モードとに切り替わる。本実施形態では、新たな配信が無い期間（ステップＳ５のＮｏと判定される期間）において、ステップＳ４の処理を継続するモードが待機モードの一例である。また、上記期間において、ステップＳ３の処理を継続するモードが会話モードの一例である。

【0076】

会話モードは、ステップＳ２でＹｅｓと判定されてから、会話モードの終了条件が成立するまでのモードである。会話モードの終了条件は、会話モードで実行されたコンテンツが終了したことであってもよく、一定時間以上インタフェースに所定入力（例えば、音声入力やタッチパネルに対する操作等）がなされなかったことであってもよく、利用者からインタフェースに対して終了を指示する入力（終了を指示する音声入力や接触操作等）がなされたことであってもよい。会話モードは、具体的には、制御部１１がウェイクワード以外の言葉を検出するモードである。制御部１１は、会話モード中にインタフェースに音声が入力された場合、インタフェースに入力された音声を解析し、その音声が意味する言葉を公知の方法で認識する。

【0077】

待機モードは、ステップＳ２でＮｏと判定される期間のモードであり、会話モードが解除されているときのモードである。待機モードは、上記インタフェースにウェイクワードが入力されたか否かを制御部１１が監視するモードである。制御部１１は、待機モード中にインタフェースに音声が入力された場合、その音声がウェイクワードであるか否かを公知の方法で判定する。但し、制御部１１は、待機モード中にインタフェースに入力される音声からウェイクワード以外の音声は認識しない。つまり、制御部１１は、待機モードのときには、ウェイクワード以外の音声認識する必要が無く、ウェイクワードであるか否かの判定を行うだけで済むため、会話モードのときよりも音声の認識を簡略化することができる。

【0078】

図５のフローチャートで示されるように、制御部１１は、ステップＳ２、Ｓ５でＮｏの判定が繰り返される期間は待機モードに設定され、待機モード中には、ウェイクワードの検出を継続的に試みる。制御部１１は、待機モード中にインタフェース１３にウェイクワードが音声入力されたことを検出した場合、ステップＳ２にてＹｅｓと判定するとともに会話モードに切り替わり、処理をステップＳ３に進める。そして、会話モードの終了条件が成立するまで、会話モードを継続する。制御部１１は、会話モードの終了条件が成立した場合、待機モードに切り替わり、待機モードを継続する。

【0079】

制御部１１は、待機モード中に、キャラクタが待機動作を行う画像を表示部１５に表示させることもできる。図２０は、キャラクタ７０が待機動作を行う画像の一例であり、制御部１１は、待機モード中に図２０のような待機画像を表示部１５に表示させるように動作する。なお、図２０の画像はあくまで一例であり、待機画像はこの例に限定されない。例えば、図２２のような待機画像であってもよく、他の種類の待機画像であってもよい。利用者の属性に合わせて選定した待機画像でもよい。このキャラクタが待機動作を行う画像を表示部１５に表示させることは、一定時間ごとに行ってもよく、また予め設定された特定の時刻に行ってもよく、あるいはランダムな間隔をおいて行ってもよい。

【0080】

制御部１１は、待機モード中に、図２０のような待機画像を表示させるだけでなく、待機画像に含まれるキャラクタ７０が発する会話をインタフェース１３に音声出力させるように動作する。待機画像に含まれるキャラクタ７０が発する会話は、キャラクタ７０が行っている待機動作に関連する話、利用者にとって有益な情報を含む話、利用者への質問を含む話、であることが望ましい。例えば、図２０のような待機画像を表示しながら、或いは、待機画像の表示直後に、「愛犬のポチです。犬と触れ合うことで今日の仕事の疲れも忘れて、優しい気持ちになれます。動物と触れ合うことで人の心に癒しを与える効果をアニマルセラピーというそうです。利用者様はご存知でしたか。」といった話（待機画像の動作に関連する話、利用者にとって有益な情報を含む話、利用者に質問する話）を発するように上記会話を音声出力してもよい。なお、上述の会話例はあくまで一例であり、例えば、図２０のような待機画像を表示しながら、或いは、待機画像の表示直後に、「私の愛犬は小型のトイプードルです。５０年前は欧米のテレビ番組の影響でシェパードやコリーなど大型犬が人気があったそうですね。」といった話を発するように上記会話を音声出力してもよい。

【0081】

このような動作により、待機動作を行っているキャラクタ７０から会話の誘いを受けたような印象を利用者に与えることができる。そして、制御部１１は、上記会話（待機動作を行うキャラクタ７０が発した会話）が出力されてから所定時間が経過するまでの間、一時的に会話モードに切り替わる。つまり、制御部１１は、上記会話が出力されてから上記所定時間が経過するまでの間、インタフェース１３に入力された音声からウェイクワード以外の言葉を検出する。上記所定時間は、予め定められた固定時間であってもよく、変更可能な設定時間であってもよい。

【0082】

制御部１１は、上記会話（待機モード中にキャラクタ７０から発せられる会話）が出力されてから上記所定時間が経過するまでの間にウェイクワード以外の言葉を検出した場合、会話モードを継続する。この場合、制御部１１は、継続した会話モードを、例えば、上述の会話モードの終了条件が成立するまで維持する。

【0083】

一方、制御部１１は、上記会話（待機モード中にキャラクタ７０から発せられる会話）が出力されてから上記所定時間が経過するまでの間にウェイクワード以外の言葉を検出しなかった場合、待機モードに切り替わるように動作する。このバーチャルアシスタント装置１０は、例えば、キャラクタ７０が自発的に会話を発した後の会話モード中に利用者が近くにいなかったり、利用者が会話を望まずに応答しない状況であった場合には、自動的に待機モードに戻すことで、会話モードが不要な状況下で会話モードが継続しすぎることを抑えることができる。

【0084】

制御部１１は、上記会話（待機モード中にキャラクタ７０から発せられる会話）が出力されてから上記所定時間が経過するまでの間の上記会話モード中に、図２１のように、上記待機動作の画像を解除してキャラクタ７０が正面を向く基本画像を表示しつつインタフェース１３に入力されるウェイクワード以外の言葉を検出するように動作してもよい。この例では、バーチャルアシスタント装置１０は、上記所定時間が経過するまでの間の会話モード中に、キャラクタ７０が正面を向いた状態で利用者からの応答を受けることができるため、キャラクタ７０が利用者に注目した状態で利用者からの話を待つような印象を利用者に与えることができる。

【0085】

或いは、制御部１１は、上記会話（待機モード中にキャラクタ７０から発せられる会話）が出力されてから上記所定時間が経過するまでの間の上記会話モード中に、図２２のように、上記待機動作の画像を表示させつつウェイクワード以外の言葉を検出するように動作してもよい。図２２の例で会話を発する場合、例えば、「最近、生け花を習い始めました。日本では７００年も前から独自に発展した技術なんですよ。ユーザ様は生け花のご経験はありますか。」といった話（待機画像の動作に関連する話、利用者にとって有益な情報を含む話、利用者への質問を含む話）を発するように上記会話を音声出力してもよい。このような会話を発した後、待機動作（生け花を行っている動作）の画像表示を継続しながら、インタフェース１３に入力されるウェイクワード以外の言葉を検出するように動作してもよい。この例では、バーチャルアシスタント装置１０は、会話モード中に、キャラクタ７０が待機動作を行いながら利用者からの話を待つような印象を利用者に与えることができる。

【0086】

６．効果の例示
例えば、特許文献１の装置は、利用者が発話をしなければ会話の機会を十分に確保できないため、積極的な行為を行いにくい利用者にとっては、コンテンツの提供を受ける機会を十分に確保しにくい。しかも、特許文献１の装置は、利用者が最初に発したメッセージの話題で会話を進めるため、利用者は、相手が決めた話題でコンテンツの提供を受けることができない。

【0087】

これに対し、バーチャルアシスタント装置１０は、外部から配信されるコンテンツ情報を通信部１２が受けた場合にインタフェース１３を介して所定の報知を行うため、利用者にコンテンツ配信があったことを知らせることができる。従って、この装置は、利用者に対しコンテンツの提供を受けるきっかけを能動的に与えることができ、利用者がコンテンツの提供を受ける機会を確保しやすい。しかも、この装置は、上記報知の後、「コンテンツの提供を指示する入力」を受けた場合に、配信されたコンテンツ情報に基づくコンテンツの表示を行うことができるため、利用者は、希望する時期に話題の提供を受けやすい。

【0088】

バーチャルアシスタント装置１０は、『配信を知らせる報知に対して「コンテンツの提供を指示する入力」があったか否か』を、動作検出又は音声検出によってより正確に確認することができる。

【0089】

バーチャルアシスタント装置１０は、利用者が報知に気付かなかったり、報知の際にコンテンツの提供を希望しない場合には、コンテンツ情報の配信があったこと報知情報によって知らせることができ、事後的な対応を行いやすくすることができる。なお、報知する手段としては表示部への表示の他、キャラクタの発話による報知であってもよい。また、表示部への表示およびキャラクタの発話による報知の両方であってもよい。

【0090】

バーチャルアシスタント装置１０は、利用者が希望する種類のコンテンツを選定して提供することができるため、利用者が興味を持ちやすくなり、利用者の満足度が高まりやすい。

【0091】

バーチャルアシスタント装置１０は、図２０のように、待機モード中にキャラクタ７０が待機動作を行うため、待機モード中であってもキャラクタ７０の行動が利用者の印象に残りやすくなる。更に、待機モード中には、自発的に会話を開始するようにキャラクタ７０を動作させることができるため、キャラクタ７０が待機動作を行いながら利用者を会話に誘うような状況を発生させることができる。しかも、バーチャルアシスタント装置１０は、ウェイクワードの検出によって会話モードに切り替わることを前提とする一方で、キャラクタ７０から会話が発せられた後には、所定時間が経過するまでの間、自動的に会話モードに切り替えることができるため、利用者は、ウェイクワードを発することなく会話に入ることができ、より自然な流れで会話を進めることができる。

【0092】

例えば、特許文献１の装置は、利用者が発話をしなければ、会話の機会を十分に確保できない。しかも、特許文献１の装置は、利用者が最初に発したメッセージの話題で会話を進めるため、利用者は相手が決めた話題で会話の誘いを受けることができない。上述のバーチャルアシスタント装置１０は、このような問題をより効果的に解消することができる。

【0093】

＜他の実施形態＞
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。また、上述した実施形態や後述する実施形態の様々な特徴は、矛盾しない組み合わせであればどのように組み合わされてもよい。

【0094】

上述された実施形態では、動作検出部の一例に相当する操作部１７がタッチパネルとして構成される、がこの例に限定されない。操作部１７は、その他の公知の入力デバイス（キーボード、マウス、タッチペン等）であってもよい。或いは、動作検出部は、操作部１７に代えて又は操作部１７に加えて他の入力デバイス（例えば、非接触方式での入力操作が可能とされた入力デバイス）を備えていてもよい。具体的には、動作検出部は、撮像部やモーションセンサなどの非接触センサを有していてもよい。この場合、その非接触センサと制御部１１とが協働し、利用者の動きやジェスチャーなどを検知してもよい。

【0095】

上述された実施形態では、表示部１５は、静止画や動画を二次元で表示する表示装置として構成されるが、この例に限定されない。表示部１５は、三次元表示を行い得る三次元ディスプレイであってもよい。

【0096】

上述されたシステム１では、バーチャルアシスタント装置１０の外部に設けられた登録部（記憶部９５）に利用者が希望する情報の種類が登録され、そして、制御部１１は、登録部に登録される種類のコンテンツに関する会話をインタフェース１３を介して出力する制御を行うようになっていた。しかし、この例に限定されない。例えば、バーチャルアシスタント装置１０に登録部が設けられ、利用者が希望する種類の情報が登録されてもよい。例えば、バーチャルアシスタント装置１０は、バーチャルアシスタント装置１０に登録された種類（利用者が希望する種類）のコンテンツのみを管理装置９０から受信してもよい。或いは、バーチャルアシスタント装置１０は、管理装置９０からコンテンツを受信した場合において、バーチャルアシスタント装置１０に登録された種類（利用者が希望する種類）のコンテンツを受信した場合にステップＳ２において新たな配信があったと判定してもよい。そして、ステップＳ７では、バーチャルアシスタント装置１０に登録された種類（利用者が希望する種類）のコンテンツのみを提供してもよい。

【0097】

上述された実施形態に加え、表示部１５に過去の対話の履歴を表示できるようにしてもよい。例えば、ステップＳ７の会話が行われる毎にその会話の日時を記録しておき、会話の履歴を記憶部１４に蓄積しておいてもよい。そして、操作部１７において会話の履歴の表示を指示する所定操作がなされた場合に、記憶部１４に蓄積された会話の履歴の一部又は全部を表示するようにしてもよい。

【0098】

上述された実施形態では、コンテンツの一例を示したが、コンテンツとしては様々な種類のコンテンツを採用することができる。例えば、図２３は、レクリエーションに関するコンテンツ（例えば、簡易体操を表示するコンテンツ）の例であり、図２４は、回想法に関するコンテンツ（例えば、昔の画像を表示するコンテンツ）の例であり、図２５は、自然の音に関するコンテンツ（例えば、焚火の画像及び音を出力するコンテンツ）の例である。ステップＳ７では、図２３～図２５のようなコンテンツを提供してもよく、このようなコンテンツの提供時又は提供の前後に、キャラクタ７０によって会話を行うようにしてもよい。例えば、提供する前にコンテンツの目的や内容に関する会話を行ったり、提供後に、コンテンツを体験した感想や意見について問いかける質問をしたり、他の話題へと繋げる会話を行うようにしてもよい。

【0099】

上述された実施形態では、バーチャルアシスタント装置１０が、主に高齢者向けのバーチャルアシスタント装置として構成された例を示したが、この例に限定されない。例えば、子供などの他のカテゴリの対象者を対象としてもよい。

【0100】

上述された実施形態では、バーチャルアシスタント装置１０は、管理装置９０から新たな配信を受けた場合に、新たな配信があった直後に図９のような情報を表示するが、この例に限定されない。例えば、バーチャルアシスタント装置１０は、管理装置９０から新たな配信を受けた場合に、配信されるコンテンツをバックグラウンドでダウンロードし、記憶部１４に記憶しておいてもよい。このように、配信されるコンテンツバックグラウンドでダウンロードした場合、所定の報知条件の成立に応じて、新たな配信がダウンロードされたことを図９のように報知してもよい。この場合の所定の報知条件は、予め設定された時刻になったことであってもよく、バックグラウンドでダウンロードしている最中に実行されていたコンテンツ（例えば、動画表示など）が終了したことであってもよく、その他の条件であってもよい。

【0101】

管理装置９０からバーチャルアシスタント装置１０に送信される情報は、上述の例に限定されない。例えば、管理装置９０は、利用者の誕生日の当日になった場合に、当該利用者のバーチャルアシスタント装置１０に対して利用者の誕生日であることを知らせる情報や誕生日に関するコンテンツなどを配信してもよい。バーチャルアシスタント装置１０は、利用者の誕生日であることを知らせる情報を受信した場合に、利用者の誕生日を祝うメッセージや画像などを表示させてもよい。或いは、管理装置９０は、コンテンツ配信のスケジュールを知らせる情報をバーチャルアシスタント装置１０に送信してもよい。コンテンツ配信のスケジュールを知らせる情報は、例えば、コンテンツの内容とそのコンテンツが配信される日時とを対応付けたスケジュール情報や、そのスケジュール情報のリストなどが挙げられる。

【0102】

上述の実施形態では、コンテンツの終了時に図１４のような画像を表示するようにバーチャルアシスタント装置１０が動作したが、この例に限定しない。例えば、制御部１１は、図１４に代えて図２６のような画像を表示するように表示部１５を制御してもよい。図２６の例では、制御部１１は、所定条件が成立した場合に、表示部１５に複数の選択肢を表示し、複数の選択肢の表示後の上記インタフェースへの入力結果に基づいていずれの選択肢が選択されたかを判定するように動作する。所定条件は、例えば、図１４，図２６の例のように、コンテンツが終了したことであってもよく、その他の条件（利用者に対する質問が音声出力されたこと等）であってもよい。図２６の例は、コンテンツの終了の際に利用者に対する質問（具体的にはアンケート）を音声出力及び画像表示する場合の例であり、その質問に対する回答の候補を複数の選択肢として示している。制御部１１は、図２６のように複数の選択肢を画像８１，８２，８３，８４として表示するように表示部１５を動作させ、このように複数の選択肢が表示された後、インタフェース１３への入力結果に基づいていずれの選択肢が選択されたかを判定するように動作する。例えば、図２６のように複数の選択肢の画像８１，８２，８３，８４が表示された状態で、画像８１，８２，８３，８４のいずれかを選択する接触操作又は音声指示がインタフェース１３に対してなされた場合に、その入力に基づいていずれの選択肢が選択されたのかを特定する。このバーチャルアシスタント装置１０は、選択肢の提示により回答の候補を単純化することで、回答の容易化を図ることができ、利用者がいずれの選択肢を選択したのかを判定することで、利用者の意思を誤認しにくい形で利用することができる。図２６の仕組みを用いることで、アンケートに限らず、クイズの回答選択、各種調査を目的とした情報収集にも活用できる。選択された情報をもとに、提供する会話の内容を変更・選択したり、今後のサービス内容の向上を図ることに利用したり、集計した結果を利用者にフィードバックすることで、利用者の参加意識やモチベーションを高める効果も期待できる。

【0103】

上述の実施形態の説明では、待機モードから会話モードに切り替わる条件の一例が説明されたが、この例に限定されない。例えば、待機モードから会話モードに切り替わる条件は、「動作検出部によって所定動作が検出されたこと」であってもよい。所定動作は、例えば、「タッチパネル２０（図２等）に対する接触」であってもよく、「タッチパネル２０に対する予め定められた操作」であってもよく、その他の動作であってもよい。上記実施形態をこのように変更する場合、「待機モードでのウェイクワードの監視」に代えて「待機モードでの所定動作の監視」に変更すればよく、その他の構成及び制御は、上記実施形態と同様にすることができる。そして、この例では、制御部１１及び操作部１７が協働して動作検出部として機能することができる。具体的には、制御部１１は、図５の制御において、待機モード中に所定動作（例えば、タッチパネル２０（図２等）に対する接触）の監視を継続的に試み、待機モード中に上記所定動作がなされたことを検出した場合、ステップＳ２にてＹｅｓと判定するとともに会話モードに切り替わり、処理をステップＳ３に進めるように動作すればよい。

【0104】

なお、今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、今回開示された実施の形態に限定されるものではなく、特許請求の範囲によって示された範囲内又は特許請求の範囲と均等の範囲内での全ての変更が含まれることが意図される。

【符号の説明】

【0105】

１…バーチャルアシスタントシステム
１０…バーチャルアシスタント装置
１１…制御部
１２…通信部
１３…インタフェース
１５…表示部
１７…操作部（動作検出部）
１８…音声入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】