特開 2022-190870 バーチャルアシスタント装置及びバーチャルアシスタント装置用のプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022190870

(43)【公開日】2022-12-27

(54)【発明の名称】バーチャルアシスタント装置及びバーチャルアシスタント装置用のプログラム

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20221220BHJP

   G06F 3/16 20060101ALI20221220BHJP

   H04N 21/466 20110101ALI20221220BHJP

【ＦＩ】

G06F3/0481

G06F3/16 650

H04N21/466

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021099362

(22)【出願日】2021-06-15

(71)【出願人】

【識別番号】000004547

【氏名又は名称】日本特殊陶業株式会社

(74)【代理人】

【識別番号】110000497

【氏名又は名称】弁理士法人グランダム特許事務所

(72)【発明者】

【氏名】宮嶋 一元

(72)【発明者】

【氏名】藤原 香代

【テーマコード（参考）】

5C164

5E555

【Ｆターム（参考）】

5C164GA05

5C164UC01P

5C164UD21S

5C164UD41S

5E555AA22

5E555AA25

5E555AA27

5E555AA46

5E555BA02

5E555BA04

5E555BB02

5E555BB04

5E555BC17

5E555BE08

5E555CA12

5E555CA47

5E555CB64

5E555DA21

5E555DB05

5E555DB18

5E555DB32

5E555DB41

5E555DB53

5E555DB57

5E555DC09

5E555DC13

5E555DC14

5E555DC84

5E555DC85

5E555DD08

5E555EA02

5E555EA05

5E555EA23

5E555FA00

(57)【要約】

【課題】利用者が会話の機会を確保しやすく、且つ利用者が話題の提供を受けて会話しやすい技術を提供する。
【解決手段】バーチャルアシスタント装置１０において、制御部１１は、外部から配信されるコンテンツを通信部１２が受けた場合に、コンテンツに関する会話をインタフェース１３を介して出力する制御を行う。更に、制御部１１は、コンテンツに関する会話を出力した後、インタフェース１３を介して利用者からの応答を認識した場合に、応答に対する会話を、インタフェース１３を介して出力する制御を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

利用者からの入力の受入れおよび出力を行うインタフェースと、外部の装置と通信する通信部と、前記インタフェースを構成する表示部に具現化されたキャラクタを表示させる制御部と、を備えたバーチャルアシスタント装置であって、
前記制御部は、外部から配信されるコンテンツを前記通信部が受けた場合に、前記コンテンツに関する会話を前記インタフェースを介して出力する制御を行い、前記コンテンツに関する会話を出力した後、前記インタフェースを介して利用者からの応答を認識した場合に、前記応答に対する会話を前記インタフェースを介して出力する制御を行う、
バーチャルアシスタント装置。

【請求項2】

前記インタフェースは、接触又は非接触による前記利用者からの入力動作を検出する動作検出部又は前記利用者の音声を示す音声信号を取得する音声入力部の少なくともいずれかを有し、
前記制御部は、前記コンテンツに関する会話を出力した後、前記動作検出部が検出する動作又は前記音声入力部が取得した音声の少なくともいずれかに基づいて前記利用者からの応答を認識する
請求項１に記載のバーチャルアシスタント装置。

【請求項3】

前記インタフェースは、前記コンテンツに関する会話又は前記応答に対する会話の少なくともいずれかにおいて、前記キャラクタの表情、前記キャラクタの動作、テロップ、効果音、アイコンのいずれかの表示又は音声出力を発生又は変化させる
請求項１又は請求項２に記載のバーチャルアシスタント装置。

【請求項4】

前記バーチャルアシスタント装置又は前記バーチャルアシスタント装置の外部に設けられた登録部に前記利用者が希望する情報の種類が登録され、
前記制御部は、前記登録部に登録される前記種類の前記コンテンツに関する会話を前記インタフェースを介して出力する制御を行う
請求項１から請求項３のいずれか一項に記載のバーチャルアシスタント装置。

【請求項5】

利用者からの入力の受入れおよび出力を行うインタフェースと、外部の装置と通信する通信部と、制御部と、を備えたバーチャルアシスタント装置に用いられるプログラムであって、
前記インタフェースを構成する表示部に具現化されたキャラクタを表示させる動作を前記制御部に行わせるステップと、
外部から配信されるコンテンツを前記通信部が受けた場合に、前記コンテンツに関する会話を前記インタフェースを介して出力する制御を前記制御部に行わせるステップと、
前記インタフェースが前記コンテンツに関する会話を出力した後、利用者からの応答を前記インタフェースが認識した場合に、前記応答に対する会話を前記インタフェースを介して出力する制御を前記制御部に行わせるステップと、
を含むバーチャルアシスタント装置用のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、バーチャルアシスタント装置及びバーチャルアシスタント装置用のプログラムに関する。

【背景技術】

【0002】

特許文献１には、エージェント装置の一例が開示されている。特許文献１のエージェント装置は、利用者がマイクに話しかけた場合に、エージェント処理部が利用者の会話のカテゴリを分析し、分析したカテゴリの会話文を発するように動作する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－１３３７２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の装置は、利用者が発話をしなければ、会話の機会を十分に確保できない。しかも、特許文献１の装置は、利用者が最初に発したメッセージの話題で会話を進めるため、利用者は、相手が決めた話題で会話の誘いを受けることができない。

【0005】

本発明は、利用者が会話の機会を確保しやすく、且つ利用者が話題の提供を受けて会話しやすい技術を提供することを一つの目的とする。

【課題を解決するための手段】

【0006】

本発明の一つであるバーチャルアシスタント装置は、
利用者からの入力の受入れおよび出力を行うインタフェースと、外部の装置と通信する通信部と、前記インタフェースを構成する表示部に具現化されたキャラクタを表示させる制御部と、を備えたバーチャルアシスタント装置であって、
前記制御部は、外部から配信されるコンテンツを前記通信部が受けた場合に、前記コンテンツに関する会話を前記インタフェースを介して出力する制御を行い、前記コンテンツに関する会話を出力した後、前記インタフェースを介して利用者からの応答を認識した場合に、前記応答に対する会話を前記インタフェースを介して出力する制御を行う。

【0007】

上記のバーチャルアシスタント装置は、利用者に対して会話のきっかけを能動的に与えることができるため、利用者が会話の機会を確保しやすい。しかも、上記のバーチャルアシスタント装置は、当該装置から自発的にコンテンツに関する会話に誘うことができるため、利用者が話題の提供を受けて会話しやすい。

【0008】

上記のバーチャルアシスタント装置において、上記インタフェースは、接触又は非接触による上記利用者からの入力動作を検出する動作検出部又は上記利用者の音声を示す音声信号を取得する音声入力部の少なくともいずれかを有していてもよい。そして、前記制御部は、前記コンテンツに関する会話を出力した後、前記動作検出部が検出する動作又は前記音声入力部が取得した音声の少なくともいずれかに基づいて前記利用者からの応答を認識してもよい。

【0009】

上記のバーチャルアシスタント装置は、装置が自発的に開始した会話に対して利用者が応答してくれたかをより正確に確認することができ、応答が認識できた場合に更なる会話を提供することができる。装置から会話に誘った場合に、利用者が気付かなかったり、利用者が不在であったりして、応答が適切になされない場合もあり得る。上記のバーチャルアシスタント装置は、このような事態であっても対応することができ、利用者の応答をより正確に確認した上で会話を継続することができるため、利用者の反応を無視して装置が一方的に会話を続けてしまうような事態が生じにくい。

【0010】

上記のバーチャルアシスタント装置において、上記インタフェースは、上記コンテンツに関する会話又は上記応答に対する会話の少なくともいずれかにおいて、上記キャラクタの表情、上記キャラクタの動作、テロップ、効果音、アイコンのいずれかの表示又は音声出力を発生又は変化させてもよい。

【0011】

上記のバーチャルアシスタント装置は、会話を自発的に開始した後、会話においてキャラクタの表情、キャラクタの動作、テロップ、効果音、アイコンなどを発生又は変化させることができるため、会話が画一的になることを抑えることができ、キャラクタの言語のみでは表現しきれないこと、キャラクタの発話が必ずしも伝わらない時でもコミュニケーションを補完することができる。また、キャラクタに対する親近感や愛情、信頼が強まることも期待できる。

【0012】

上記バーチャルアシスタント装置又は上記バーチャルアシスタント装置の外部に設けられた登録部に上記利用者が希望する情報の種類が登録されてもよい。そして、上記制御部は、上記登録部に登録される上記種類の上記コンテンツに関する会話を上記インタフェースを介して出力する制御を行ってもよい。

【0013】

上記のバーチャルアシスタント装置は、利用者が希望する種類の話題や利用者に有意義な話題を選定して会話を開始することができるため、利用者が会話に興味を持ちやすくなり、利用者の満足度が高まりやすい。

【0014】

本発明の一つであるバーチャルアシスタント装置用のプログラムは、
利用者からの入力の受入れおよび出力を行うインタフェースと、外部の装置と通信する通信部と、制御部と、を備えたバーチャルアシスタント装置に用いられるプログラムであって、
前記インタフェースを構成する表示部に具現化されたキャラクタを表示させる動作を前記制御部に行わせるステップと、
外部から配信されるコンテンツを前記通信部が受けた場合に、前記コンテンツに関する会話を前記インタフェースを介して出力する制御を前記制御部に行わせるステップと、
前記インタフェースが前記コンテンツに関する会話を出力した後、利用者からの応答を前記インタフェースが認識した場合に、前記応答に対する会話を前記インタフェースを介して出力する制御を前記制御部に行わせるステップと、
を含む。

【0015】

上記のプログラムは、利用者に対して会話のきっかけを能動的に与えるようにバーチャルアシスタント装置を動作させることができるため、利用者が会話の機会を確保しやすい。しかも、上記のプログラムは、自発的にコンテンツに関する会話に誘うようにバーチャルアシスタント装置を動作させることができるため、利用者が話題の提供を受けて会話しやすい。

【発明の効果】

【0016】

本発明によれば、利用者が会話の機会を確保しやすく、且つ利用者が話題の提供を受けて会話しやすい。

【図面の簡単な説明】

【0017】

【図1】図１は、第１実施形態のバーチャルアシスタント装置を備えたバーチャルアシスタントシステムの電気的構成を簡略的に示すブロック図である。

【図2】図２は、第１実施形態のバーチャルアシスタント装置における通常表示の例１を示す説明図である。

【図3】図３は、管理装置に記憶された利用者データのデータ構造例を概念的に示す説明図である。

【図4】図４は、管理装置に記憶されたコンテンツ関連データのデータ構造例を概念的に示す説明図である。

【図5】図５は、第１実施形態のバーチャルアシスタント装置での制御の流れを例示するフローチャートである。

【図6】図６は、第１実施形態のバーチャルアシスタント装置における通常表示の例２を示す説明図である。

【図7】図７は、第１実施形態のバーチャルアシスタント装置における通常表示の例３を示す説明図である。

【図8】図８は、第１実施形態のバーチャルアシスタント装置における通常表示の例４を示す説明図である。

【図9】図９は、第１実施形態のバーチャルアシスタント装置における「所定の報知」の一例を説明する説明図である。

【図10】図１０は、第１実施形態のバーチャルアシスタント装置における通常表示の例５を示す説明図であり、報知情報が表示された例を示す図である。

【図11】図１１は、第１実施形態のバーチャルアシスタント装置でのコンテンツの提供例１を示す説明図である。

【図12】図１２は、第１実施形態のバーチャルアシスタント装置でのコンテンツの提供例２を示す説明図であり、図１１の表示に続く表示の例である。

【図13】図１３は、第１実施形態のバーチャルアシスタント装置でのコンテンツの提供例３を示す説明図であり、図１２の表示に続く表示の例である。

【図14】図１４は、第１実施形態のバーチャルアシスタント装置でのコンテンツの提供例４を示す説明図であり、図１３の表示に続く表示の例である。

【図15】図１５は、第１実施形態のバーチャルアシスタント装置での会話の開始の例１を説明する説明図である。

【図16】図１６は、第１実施形態のバーチャルアシスタント装置での会話の開始の例２を説明する説明図である。

【図17】図１７は、第１実施形態のバーチャルアシスタント装置でのコンテンツの提供例５を示す説明図である。

【図18】図１８は、第１実施形態のバーチャルアシスタント装置でのコンテンツの提供例６を示す説明図であり、図１７の表示に続く表示の例である。

【図19】図１９は、第１実施形態のバーチャルアシスタント装置における蓄積されたコンテンツのリストの表示例を示す説明図である。

【図20】図２０は、他の実施形態のバーチャルアシスタント装置でのコンテンツの提供例１を示す説明図である。

【図21】図２１は、他の実施形態のバーチャルアシスタント装置でのコンテンツの提供例２を示す説明図である。

【図22】図２２は、他の実施形態のバーチャルアシスタント装置でのコンテンツの提供例３を示す説明図である。

【発明を実施するための形態】

【0018】

＜第１実施形態＞
１．バーチャルアシスタントシステムの概要
図１に示されるバーチャルアシスタントシステム１は、バーチャルアシスタント装置１０と、管理装置９０と、を備える。以下の説明では、バーチャルアシスタントシステム１は、単にシステム１とも称される。以下で説明される代表例は、バーチャルアシスタント装置１０が、高齢者向けのバーチャルアシスタント装置として機能するものであり、例えば、利用者が、介護施設、自宅、病院などで利用することができるものである。

【0019】

２．バーチャルアシスタント装置のハードウェア構成
図１のように、バーチャルアシスタント装置１０は、タブレット端末、スマートフォン、パーソナルコンピュータ、外部装置と通信可能に構成されたテレビジョンなどの汎用の情報端末にアプリケーションプログラムをインストールし、記憶及び利用可能とした情報通信端末であってもよく、後述される各機能を実現できる専用装置であってもよい。バーチャルアシスタント装置１０は、通信機能を有する携帯型の情報装置であってもよく、通信機能を有する据置型の情報装置であってもよい。

【0020】

図１のように、バーチャルアシスタント装置１０は、制御部１１と通信部１２とインタフェース１３と記憶部１４とを備える。以下で説明されるバーチャルアシスタント装置１０の代表例は、バーチャルアシスタント装置１０が、図２のようにタブレット端末によって実現される例である。

【0021】

図１に示される制御部１１は、例えば公知の情報処理装置として構成される。制御部１１は、ＣＰＵなどの公知の演算装置及び他の周辺回路などを備え、様々な制御や演算を行い得る。制御部１１は、インタフェース１３を構成する表示部１５に、具現化されたキャラクタを表示させる機能を有する。

【0022】

図１に示される通信部１２は、公知の有線通信方式又は公知の無線通信方式によって広域通信網に直接又は他装置を介して間接的にアクセス可能な装置である。通信部１２は、基地局との間で無線通信を行い、図示されていない基地局を介して広域通信網（例えば、インターネット）に直接アクセスする構成であってもよい。通信部１２は、図示されていないアクセスポイントとの間で無線通信を行い、アクセスポイントを介して広域通信網に間接的にアクセスする構成であってもよい。通信部１２は、中継装置（ルータ等）との間で有線通信を行い、中継装置を介して広域通信網にアクセスする構成であってもよい。

【0023】

図１に示されるインタフェース１３は、利用者からの入力の受入れおよび出力を行う装置である。インタフェース１３は、表示部１５と音声出力部１６と操作部１７と音声入力部１８とを備える。

【0024】

表示部１５及び音声出力部１６は、情報を出力する出力部として機能する。表示部１５は、液晶ディスプレイや有機エレクトロルミネッセンスディスプレイなどの公知の画像表示装置として構成される。以下で説明される代表例では、表示部１５は、タッチパネル式の表示装置の一部をなす。音声出力部１６は、例えば公知のスピーカなどの発音装置によって構成されている。音声出力部１６は、制御部１１と協働して各種音声を出力する機能を有する。

【0025】

操作部１７及び音声入力部１８は、情報を入力する入力部として機能する。操作部１７は、動作検出部の一例に相当し、接触方式での入力操作が可能とされた入力デバイスである。操作部１７は、例えば、タッチパネルなどが好適例である。音声入力部１８は、例えば公知のマイクなどの音声入力装置によって構成されている。音声入力部１８は、入力される音を電気信号に変換して制御部１１に与える機能を有する。

【0026】

以下で説明される代表例では、図２等で示されるように、表示部１５と操作部１７とがタッチパネル式表示装置２０を構成する。タッチパネル式表示装置２０は、単にタッチパネル２０とも称される。図２等の例では、操作部１７は、表示部１５からの光を透過可能に構成され、表示部１５からの画像を外部から視認可能な構成で透明性のパネルが表示部１５を覆っている。

【0027】

記憶部１４は、様々な情報を記憶する機能を有する。記憶部１４は、半導体メモリ、ＨＤＤ、ＳＳＤ、など、公知の記憶装置が採用される。制御部１１は、記憶部１４に対して各種情報を書き込む機能や、記憶部１４に記憶された各種情報を読み出す機能を有する。記憶部１４には、後述されるアプリケーションプログラムなどの様々なプログラムが記憶されている。記憶部１４には、管理装置９０によって管理されているサイト、情報、プログラム等に対して広域通信網を介してアクセスするための識別情報（例えば、ＵＲＬ（Uniform Resource Locator）など）も記憶されている。

【0028】

３．管理装置
図１に示される管理装置９０は、様々な情報処理機能や様々な演算機能を有する。具体的には、管理装置９０は、様々な情報を登録する機能、様々な情報を配信する機能、などを有する。管理装置９０は、通信機能及び情報処理機能を有する装置であればよい。管理装置９０は、例えば、ＣＰＵ，記憶媒体、通信装置などを備えたコンピュータとして構成されている。図１の例では、管理装置９０は、制御装置９１と、通信部９２、表示部９３、入力部９４、記憶部９５、を備える。

【0029】

制御装置９１は、例えば公知の情報処理装置として構成される。制御部１１は、ＣＰＵなどの公知の演算装置及び他の周辺回路などを備え、様々な制御や演算を行い得る。

【0030】

通信部９２は、公知の有線通信方式又は公知の無線通信方式によって広域通信網に直接又は他装置を介して間接的にアクセス可能な装置である。通信部９２は、基地局との間で無線通信を行い、図示されていない基地局を介して広域通信網に直接アクセスする構成であってもよい。通信部９２は、図示されていないアクセスポイントとの間で無線通信を行い、アクセスポイントを介して広域通信網に間接的にアクセスする構成であってもよい。通信部９２は、中継装置（ルータ等）との間で有線通信を行い、中継装置を介して広域通信網にアクセスする構成であってもよい。

【0031】

表示部９３は、公知の画像表示装置として構成される。入力部９４は、例えば、キーボード、マウス、タッチパネル、音声入力部など、公知の入力デバイスとして構成され、接触による操作や音声などによって情報の入力が可能とされる。記憶部９５は、様々な情報を記憶する記憶装置である。記憶部９５において、データベースが構成されていてもよい。

【0032】

４．管理装置からのコンテンツの配信
管理装置９０には、情報の配信対象である利用者に関する情報が登録されている。図３は、図１に示される管理装置９０の記憶部９５に記憶される利用者データのデータ構造例を示している。図３のように、管理装置９０に記憶される利用者データは、データベースを構成しており、各々の利用者に対応付けてＩＤ、登録種類、利用者情報が記憶されている。ＩＤは、各々の利用者を識別可能な情報であり、各々の利用者を特定し得る識別情報である。登録種類は、利用者が希望する情報の種類を登録する情報である。利用者情報は、利用者に関する各種情報であり、氏名、生年月日、メールアドレス、趣味、健康に関する情報、居住地、過去のエピソード等の個人情報を含んでいてもよく、コンテンツの配信先を特定する配信先情報を含んでいてもよい。例えば、図３の利用者データでは、利用者のＩＤとしてＩＤ１が特定されれば、「ＩＤ１」で特定される利用者が希望する情報の種類が「登録種類１」の情報によって特定され、その利用者の個人情報等が「利用者情報１」の情報によって特定される。

【0033】

本実施形態に係るシステム１では、「利用者が希望する情報」や「利用者に有意義な情報」の種類として、様々な種類が登録可能とされている。具体的には、「利用者が希望する情報」や「利用者に有意義な情報」の種類として、趣味又は生き甲斐に関する複数の種類が予め選定可能に用意され、それら複数の種類から選ばれるいずれか１以上の種類が登録情報に含まれていてもよい。趣味又は生き甲斐に関する種類としては、例えば、園芸、スポーツ、レクリエーション、体操、音楽、美術、料理、懐かしい写真、ショッピング情報など、様々な種類を用意しておくことができる。或いは、利用者が希望する情報の種類として、病気に関する複数の種類が予め選定可能に用意され、それら複数の種類から選ばれるいずれか１以上の種類が登録情報に含まれていてもよい。具体的には、老齢症候群の予防やリハビリテーションやリラクゼーションに関する複数の種類が予め選定可能に用意され、それら複数の種類から選ばれるいずれか１以上の種類が登録情報に含まれていてもよい。

【0034】

例えば、図３の利用者データにおいて、ＩＤ１が「００００１」の情報であり、登録種類１が「園芸、体操」を特定する情報であり、利用者情報１が、利用者名として「山田太郎」を特定し、配信先アドレスとして「アドレス情報１」を特定する情報であるとする。この場合、制御装置９１は、利用者データを参照すれば、「００００１」のＩＤで特定される利用者の氏名が「山田太郎」であり、配信先アドレスが「アドレス情報１」であり、この利用者が希望する種類が「園芸、体操」であることを特定することができる。

【0035】

管理装置９０は、コンテンツの登録及び配信を行うことが可能とされている。図４は、図４は、図１に示される管理装置９０の記憶部９５に記憶されるコンテンツ関連データのデータ構造例を示している。図４のように、管理装置９０に記憶されるコンテンツ関連データは、データベースを構成しており、コンテンツ毎に、コンテンツ識別情報、コンテンツデータ、配信日時、コンテンツの種類が互いに対応付けられて記憶されている。本明細書では、コンテンツデータは、コンテンツ情報の一例に相当し、単にコンテンツとも称される。

【0036】

コンテンツ識別情報は、各々のコンテンツを識別可能且つ特定可能な情報であればよく、識別番号であってもよく、具体的な名称であってもよい。コンテンツデータは、コンテンツの具体的なデータであり、動画データ、静止画データ、音声データなどを含んでいてもよく、その他のデータ（例えば、プログラムデータ等）を含んでいてもよい。配信日時は、対応付けられたコンテンツ（コンテンツデータ）が配信される日時を特定する情報である。種類情報は、対応付けられたコンテンツ（コンテンツデータ）の種類を特定する情報である。種類情報で特定されるコンテンツの種類は、１種類であってもよく、複数種類であってもよい。

【0037】

管理装置９０は、各識別情報で特定される各コンテンツ（コンテンツデータ）を、各コンテンツを配信すべき利用者（各コンテンツの種類を登録している利用者）のバーチャルアシスタント装置１０に対し、各コンテンツに対応付けられた各配信日時に配信する。なお、図１では、一の利用者が所持する一のバーチャルアシスタント装置１０のみが例示されているが、システム１では、多数の利用者がバーチャルアシスタント装置１０を所持することができ、図１では、他の利用者が所持するバーチャルアシスタント装置１０の図示は省略されている。管理装置９０は、コンテンツを配信する場合において、そのコンテンツの配信対象の利用者が複数存在する場合、いずれの利用者のバーチャルアシスタント装置１０に対してもコンテンツを配信することができる。

【0038】

例えば、図４のコンテンツ関連データにおいて、「識別情報１」が「００００Ａ」の情報であり、「データ１」が「園芸に関する所定の動画データ」であり、「日時情報１」が「２０２１年１月１日１０：００」であり、「種類情報１」が「園芸」を特定する情報であるとする。この場合、制御装置９１は、図４のコンテンツ関連データを参照すれば、「００００Ａ」に対応付けられたコンテンツデータ（データ１の「園芸に関する所定の動画データ」）を、「園芸」の種類のデータとして、「２０２１年１月１日１０：００」に配信すべきことを特定することができる。この場合、管理装置９０は、識別情報１（００００Ａ）で特定されるコンテンツデータ（データ１の「園芸に関する所定の動画データ」）を、「園芸」の種類のデータを登録する利用者（図３の利用者データにおいて、登録種類として「園芸」を含む利用者）のバーチャルアシスタント装置１０に対し「２０２１年１月１日１０：００」に配信する。

【0039】

５．バーチャルアシスタント装置の受信制御
５－１．基本制御
バーチャルアシスタント装置１０には、アプリケーションプログラムが記憶されている。このアプリケーションプログラムは、バーチャルアシスタント装置１０にインストールされている。このアプリケーションプログラムは、記憶部１４に記憶され、制御部１１によって読み出されて実行される。

【0040】

上述されたように、管理装置９０は、バーチャルアシスタント装置１０に対してコンテンツ（コンテンツデータ）を配信する。管理装置９０からバーチャルアシスタント装置１０に配信されるコンテンツは、バーチャルアシスタント装置１０を所持する利用者が予め登録した種類に属するコンテンツであってもよく、利用者による登録に関係なく管理装置９０が選定したコンテンツであってもよい。バーチャルアシスタント装置１０は、管理装置９０から自身に対して配信されるコンテンツを通信部１２によって受信する。制御部１１は、外部（管理装置９０）から配信されるコンテンツ（コンテンツデータ）を通信部１２が受けた場合に、そのコンテンツデータを記憶部１４に記憶し、インタフェース１３を介して「所定の報知」を行う制御を実行する。なお、「所定の報知」は、コンテンツデータを記憶部１４に記憶する前に行ってもよい。

【0041】

具体的には、上記アプリケーションプログラムは、図５のような流れで制御部１１に制御を行わせる。制御部１１は、所定の開始条件が成立した場合（例えば、操作部１７に対して所定の開始操作がなされた場合）に上記アプリケーションプログラムを実行し、ステップＳ１において、画像によって具現化されたキャラクタ７０を表示部１５に表示させる。

【0042】

図２には、ステップＳ１でなされる表示の具体例が示される。図２において、キャラクタ７０は、一般人を模したバーチャルアシスタント（擬人）である。図２に表示されるキャラクタ７０は、あくまで一例であり、例えば、介護福祉士、看護師、医師などの特定の職業の者を模したバーチャルアシスタントであってもよい。また、人に限らず動物やロボット等を模したバーチャルアシスタントであってもよい。上記アプリケーションプログラムは、図２に表示されるキャラクタ７０が自動的に会話を行うようにチャットボットの機能を実現するプログラムが備えられていてもよい。図２に示されるキャラクタ７０の画像は、静止画や動画などによって実現することができ、後述されるステップＳ３，Ｓ８の処理が実行されていない期間には、時間経過に応じて図６、図７，図８のようにキャラクタ７０の表情、姿勢、動作、行為などを様々に変化させてもよい。

【0043】

制御部１１は、ステップＳ１、Ｓ３、Ｓ４、Ｓ８等において、図２、図６～図８のようにキャラクタ７０を表示させ、その場合には、表示部１５に、季節、暦、日付、時刻等を表示してもよく、朝・昼・夕方・夜の時間帯をイメージするイラストレーション、写真、コンピューターグラフィック、その他の画像等を表示してもよい。例えば、図６は、予め定められた昼の時間帯の画像を示しており、この画像では、昼の時間帯であることを示すようにキャラクタ７０の外側の背景の色を明るい色（具体的には予め定められた明色）で示している。一方、図８は、予め定められた夜の時間帯の画像を示しており、この画像では、夜の時間帯であることを示すようにキャラクタ７０の外側の背景の色を暗い色（予め定められた暗色）で示している。

【0044】

制御部１１は、ステップＳ１の後、ステップＳ２において、会話開始条件が成立したか否かを判定する。会話開始条件は、バーチャルアシスタント装置１０から会話を発する条件として予め定められた条件である。会話開始条件は、音声入力部１８に対して所定の音声が入力されたこと（例えば、予め定められたウエイクワードが入力されたこと）であってもよい。図１５の例では、キャラクタ７０の名前がウエイクワードとされており、このウエイクワードが音声入力されることが会話開始条件の一つとされている。図１６の例では、予め定められた挨拶（例えば「こんにちは」の言葉）がウエイクワードとされており、このウエイクワードが音声入力されることが会話開始条件の一つとされている。会話開始条件は、これらの例に限定されず、例えば、操作部１７に対して所定の操作がなされたこと（例えば、表示部１５近傍をタップする操作がなされたこと）であってもよい。会話開始条件は、予め設定された予約時刻が到来したことであってもよい。

【0045】

制御部１１は、ステップＳ２において会話開始条件が成立した判定した場合、ステップＳ３に進んで会話又はコンテンツの提供を開始する。ステップＳ３での会話やコンテンツの提供は、後述されるステップＳ８と同様に行うことができる。一方、ステップＳ２において会話開始条件が成立していないと判定した場合、ステップＳ４に進んで通常表示を継続する。なお、ステップＳ２でのＮｏ判定及びステップＳ５でのＮｏ判定が繰り返される間は、図２、図６～図８のようなキャラクタ表示を継続させ、継続中には、キャラクタ７０の表情、姿勢、動作、行為などを様々に変化させる。

【0046】

制御部１１は、ステップＳ３又はステップＳ４の後、ステップＳ５において、新たな配信があったか否かの判定を行う。制御部１１は、ステップＳ５において、通信部１２が管理装置９０から配信されたコンテンツ（コンテンツデータ）を受けていない判定した場合、ステップＳ５においてＮｏと判定するとともにステップＳ２に処理を戻し、ステップＳ２以降の処理を再び行う。制御部１１は、ステップＳ５において新たな配信があったと判定した場合、ステップＳ５においてＹｅｓと判定し、ステップＳ６以降の処理を行う。

【0047】

５－２．新たな配信があった場合
制御部１１は、ステップＳ５において、通信部１２が管理装置９０から配信されたコンテンツ（コンテンツデータ）を受けたか否かを判定し、受けたと判定した場合、ステップＳ６において、インタフェース１３に「所定の報知」を行わせる。「所定の報知」は、「バーチャルアシスタント装置１０が外部から新たなコンテンツの配信を受けたことを伝える伝達情報」の表示や音声出力などである。上記伝達情報の表示や音声出力は、メッセージの表示や音声出力などであってもよく、新たなコンテンツの配信を受けたことを伝える記号や絵柄などの画像表示であってもよく、新たなコンテンツの配信を受けたことを伝える報知音（アラーム音やブザー音などの発生）の出力であってもよい。報知音としては、例えば日常生活で聴きなれた電話のベル音やチャーム音が好ましい。例えば、図９には、「所定の報知」の一例が示されている。図９の例では、「所定の報知」として、配信名で特定される配信が届いた旨のメッセージの画像７２を表示部１５に表示させているが、このようなメッセージ表示に代えて又はメッセージ表示と併用して音声によるメッセージ報知、絵柄等の画像表示、報知音の出力などを行ってもよい。例えば、キャラクタの会話により報知してもよい。

【0048】

このように、上記のアプリケーションプログラムは、外部（管理装置９０）から配信されるコンテンツデータ（コンテンツ情報）を通信部１２が受けた場合に、ステップＳ６において、「インタフェース１３を介して所定の報知を行う制御」を制御部１１に実行させる。

【0049】

制御部１１は、ステップＳ６において、インタフェース１３に「所定の報知」を行わせた後、ステップＳ７において、提供指示があったか否かを判定する。具体的には、制御部１１は、ステップＳ７において、「インタフェース１３を介してコンテンツの提供を指示する入力を受けたか否か」を判定する。

【0050】

「コンテンツの提供を指示する入力」は、例えば、操作部１７に対する所定操作であってもよく、所定の音声入力であってもよい。例えば、ステップＳ６の処理によって図９のような「所定の報知」がなされる例では、「所定の報知」のメッセージと共に２つの選択ボタン（「見ない」「見る」のボタン画像）が表示される。この場合、それら選択ボタンのうちの「見る」を選択する操作（例えば、「見る」の画像７２をクリックする操作）が「コンテンツの提供を指示する入力」の一例に相当する。従って、ステップＳ６において図９のような表示が行われた後、「見る」を選択する操作がなされた場合、ステップＳ７では、コンテンツの提供を指示する入力を受けたと判定し、ステップＳ８の処理を実行する。

【0051】

制御部１１は、ステップＳ７において「コンテンツの提供を指示する入力」を受けなかった判定した場合、ステップＳ９において新たに配信されたコンテンツデータを記憶部１４に蓄積する。例えば、制御部１１は、ステップＳ６において「所定の報知」を行った後、所定時間を経過するまで「コンテンツの提供を指示する入力」がなされない場合、図１０のように、コンテンツデータ（コンテンツ情報）の配信があったことを示す報知情報の表示を表示部１５に行わせる。例えば、管理装置９０から新たに２つのコンテンツデータが配信され、ステップＳ６において図９のように「所定の報知」が行われた場合に、「所定の報知」の開始から所定時間を経過しても「見る」のボタンが押されなかった場合には、ステップＳ９に進み、新たに配信されてきたコンテンツデータを蓄積するとともに、図１０のような画像を表示する。図１０の画像では、報知情報として、新たに配信されたコンテンツのうち未提供となっているコンテンツの数を画像７４によって表示している。なお、ステップＳ６において図９のように「所定の報知」が行われた場合に、「見ない」のボタンが選択された場合（即ち、コンテンツの提供の保留を指示する入力がなされた場合）にも、ステップＳ９に進んで同様の処理を行う。

【0052】

制御部１１は、ステップＳ７において「コンテンツの提供を指示する入力」を受けたと判定した場合、ステップＳ８において、会話やコンテンツを提供する表示を表示部１５に行わせる。制御部１１は、ステップＳ７でＹｅｓと判定してステップＳ８の処理を行う場合、管理装置９０から新たに配信されたコンテンツデータ（コンテンツ情報）に基づくコンテンツの出力（例えば、新たに配信されたコンテンツデータに含まれる動画の再生や静止画の表示、音声の出力等）を表示部１５や音声出力部１６に行わせる。

【0053】

ステップＳ７でＹｅｓに進んだ場合にステップＳ８で行う制御は、「通信部１２が受けたコンテンツに関する会話」を、インタフェース１３を介して出力する制御である。図１１～図１４は、ステップＳ７でＹｅｓに進んだ場合に、制御部１１がステップＳ８で行う制御の一例を示している。図１１～図１４は、管理装置９０から「園芸」に関する「いきいき配信」というコンテンツが新たに配信された場合においてステップＳ８でこのコンテンツを提供する例であり、この例では、配信されたコンテンツデータに「園芸」に関する動画や会話データが含まれている。この場合、制御部１１は、ステップＳ８において動作を再生しつつ会話のために音声を発するように制御を行う。例えば、図１３の例では、ひまわり畑が表示されたタイミングで「夏の花、ひまわりは元気なイメージですね」という会話を発している。この会話を発する際には、キャラクタ７０を表示させておくことで、キャラクタ７０が話しかけている印象を与えることができる。なお、制御部１１は、会話を発する場合、予め登録された利用者のニックネームで発話をしてもよい。

【0054】

制御部１１は、ステップＳ８にてコンテンツの提供を行い、図１３のように利用者に対して会話を発した場合には、その後、動作検出部が検出する動作又は音声入力部に入力される音声の少なくともいずれかに基づいて「利用者からの応答の認識」を試みる。例えば、操作部１７に対する所定の応答操作（例えば、キャラクタ７０やその他のデザインをタップする操作）や音声入力部１８に対する所定の音声入力（例えば、言葉の入力）が「利用者からの応答」と定められている。制御部１１は、インタフェース１３において「利用者からの応答」があった場合に、この応答に対する更なる会話を、インタフェース１３を介して出力するように制御を行う。「応答に対する更なる会話」は、提供されているコンテンツの種類の話題であってもよく、その種類とは異なる話題であってもよい。「応答に対する更なる会話」は、文字表示と音声出力を併用することが望ましいが、いずれか一方であってもよい。なお、制御部１１が「応答に対する更なる会話」を発するように制御を行った場合、再び、「利用者からの応答の認識」を試みることが望ましい。そして、「利用者からの応答」があった場合には、この応答に対する更なる会話を、インタフェース１３を介して出力することが望ましい。このように、「応答に対する更なる会話」と「利用者からの応答の認識」を繰り返すことで、会話を継続させることができる。

【0055】

このように、制御部１１は、インタフェース１３を介して「コンテンツに関する会話」を出力した後、インタフェース１３を介して「利用者からの応答」を認識した場合に、インタフェース１３を介して「応答に対する会話」を出力するように制御を行う。ステップＳ８は、このような制御を制御部１１に行わせるステップである。

【0056】

なお、制御部１１は、ステップＳ８にて会話を行う場合、音声の入出力と併用して、音声入力部１８を介して音声入力された発話内容（利用者の発話内容）やバーチャルアシスタント装置１０の発話内容（例えば、キャラクタ７０の発話内容）を表示部１５に文字で表示してもよい。

【0057】

なお、図１１～図１４は、バーチャルアシスタント装置１０と対応付けて登録されている種類（利用者が希望する種類）のコンテンツを提供する例が示されるが、ステップＳ８で提供するコンテンツや会話はこの例に限定されない。例えば、管理装置９０から新たな配信として「明日の天気」に関するコンテンツの配信があった場合に、ステップＳ８において、このコンテンツに関する会話を図１７のように開始してもよい。或いは、ステップＳ２において会話開始条件が成立したと判定した場合に、ステップＳ３において「明日の天気」に関する会話及びコンテンツを図１７のように開始してもよい。制御部１１は、ステップＳ８において図１７のように会話を開始した場合であっても、その開始後、動作検出部が検出する動作又は音声入力部に入力される音声の少なくともいずれかに基づいて「利用者からの応答の認識」を試みる。そして、制御部１１は、インタフェース１３において上述された「利用者からの応答」があった場合（例えば、キャラクタ７０の近傍のタップがあった場合）、この応答に対する更なる会話を、図１８のように、インタフェース１３を介して出力するように制御を行う。

【0058】

制御部１１がインタフェース１３を介して会話を行う場合、コンテンツに関する会話又は応答に対する会話の少なくともいずれかにおいて、キャラクタの表情、キャラクタの動作、テロップ、効果音、アイコンのいずれかの表示又は音声出力を発生又は変化させてもよい。例えば、図１８の例では、図１７の例から「新たにハートマークの絵柄（アイコン）」や「ワクワクの文字（テロップ）」を発生させ、キャラクタ７０の気分が良好であることを視覚的に示している。制御部１１は、図１８のような表示と併せて効果音を音声出力させてもよい。制御部１１は、図１８の表示において、キャラクタ７０の表情を笑顔にしたり、キャラクタ７０に対してジャンプやスキップ等の動作を行わせたりしてもよい。図１８は、キャラクタ７０が良好な気分の例を示しているが、キャラクタ７０を、沈んだ表情、怒った表情、悲しんだ表情などに変化させてもよく、キャラクタ７０に喜んだ動作や泣く動作などを行わせてもよい。また、テロップ、効果音、アイコンの種類は図１８の例に限定されず、様々に変更することができる。

【0059】

図５の制御では、ステップＳ１、Ｓ３、Ｓ４、Ｓ８が「キャラクタ７０を表示部１５に表示させる動作」を制御部１１に行わせるステップの一例に相当する。ステップＳ８は、「インタフェース１３を介してコンテンツに関する会話を出力する制御」を制御部１１に行わせるステップの一例に相当する。ステップＳ８は、「コンテンツ情報に基づくコンテンツの表示を表示部に行わせる制御」を制御部１１に行わせるステップの一例に相当する。

【0060】

なお、図５のフローチャートでは制御を省略したが、蓄積されたコンテンツの提供を指示する所定の入力がなされた場合に、蓄積されたコンテンツの提供及びそのコンテンツに関する会話を開始してもよい。例えば、ステップＳ２でのＮｏ判定及びステップＳ５でのＮｏ判定が繰り返される間（通常表示が継続している間）において図１０のように上述の報知情報（図１０では、画像７４）が表示されている場合、所定操作（例えば、報知情報を示す画像７４又はその近傍を選択する操作）がなされたときには、図１９のように、報知情報が蓄積を示すコンテンツのリスト（配信履歴（着信履歴））を表示させてもよい。そして、そのリストにおいて、いずれかのコンテンツを選択する操作がなされた場合に、その選択されたコンテンツを提供するとともに当該コンテンツに関する会話を開始させてもよい。このようにコンテンツが選択された場合のコンテンツや会話は、図１１～図１４の例と同様に行ってもよく、図１７、図１８の例と同様に行ってもよい。

【0061】

７．効果の例示
バーチャルアシスタント装置１０は、利用者に対して会話のきっかけを能動的に与えることができるため、利用者が会話の機会を確保しやすい。しかも、バーチャルアシスタント装置１０は、当該装置から自発的にコンテンツに関する会話に誘うことができるため、利用者が話題の提供を受けて会話しやすい。

【0062】

バーチャルアシスタント装置１０は、装置が自発的に開始した会話に対して利用者が応答してくれたかをより正確に確認することができ、応答が認識できた場合には、更なる会話を提供することができる。装置から利用者を会話に誘った場合に、利用者が気付かなかったり、利用者が不在であったりして、応答が適切になされない場合もあり得る。バーチャルアシスタント装置１０は、このような事態であっても対応することができ、利用者の応答をより正確に確認した上で会話を継続することができるため、利用者の反応を無視して装置が一方的に会話を続けてしまうような事態が生じにくい。

【0063】

例えば、高齢者が用いる場合、高齢者は、音声入力と接触操作（例えばタップ）のいずれか一方又は両方の手段で、バーバル又はノンバーバルのコミュニケーションを行うことができ、介護予防や生き甲斐に繋がるコンテンツを体験できる。高齢者の場合、音声入力と接触操作（例えばタップ）を組み合わせることで、手や指を動かしてモノに触れたり声を発する機会をより多く確保することができ、脳の活性化や運動機能の改善も期待できる。

【0064】

しかも、高齢者が愛着のわくようなキャラクタ７０（バーチャルアシスタント）を表示させることができ、例えば自宅などで毎日寄り添いながらバーバル又はノンバーバルで多様な対話を行うことも可能であるため、高齢者の満足度や充実度をより高めることができ、老齢症候群の予防、リハビリテーション、趣味、生き甲斐、癒し、等の観点で効果的である。

【0065】

バーチャルアシスタント装置１０は、会話を自発的に開始した後、会話においてキャラクタの表情、キャラクタの動作、テロップ、効果音、アイコンなどを発生又は変化させることができるため、会話が画一的になることを抑えることができ、キャラクタの言語のみでは表現しきれないこと、キャラクタの発話が必ずしも伝わらない時でもコミュニケーションを補完することができる。また、キャラクタに対する親近感や愛情、信頼が強まることも期待できる。

【0066】

バーチャルアシスタント装置１０は、利用者が希望する種類の話題を選定して会話を開始することができるため、利用者が会話に興味を持ちやすくなり、利用者の満足度が高まりやすい。

【0067】

＜他の実施形態＞
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。また、上述した実施形態や後述する実施形態の様々な特徴は、矛盾しない組み合わせであればどのように組み合わされてもよい。

【0068】

上述された実施形態では、動作検出部の一例に相当する操作部１７がタッチパネルとして構成される、がこの例に限定されない。操作部１７は、その他の公知の入力デバイス（キーボード、マウス、タッチペン等）であってもよい。或いは、動作検出部は、操作部１７に代えて又は操作部１７に加えて他の入力デバイス（例えば、非接触方式での入力操作が可能とされた入力デバイス）を備えていてもよい。具体的には、動作検出部は、撮像部やモーションセンサなどの非接触センサを有していてもよい。この場合、その非接触センサと制御部１１とが協働し、利用者の動きやジェスチャーなどを検知してもよい。

【0069】

上述された実施形態では、表示部１５は、静止画や動画を二次元で表示する表示装置として構成されるが、この例に限定されない。表示部１５は、三次元表示を行い得る三次元ディスプレイであってもよい。

【0070】

上述されたシステム１では、バーチャルアシスタント装置１０の外部に設けられた登録部（記憶部９５）に利用者が希望する情報の種類が登録され、そして、制御部１１は、登録部に登録される種類のコンテンツに関する会話をインタフェース１３を介して出力する制御を行うようになっていた。しかし、この例に限定されない。例えば、バーチャルアシスタント装置１０に登録部が設けられ、利用者が希望する種類の情報が登録されてもよい。例えば、バーチャルアシスタント装置１０は、バーチャルアシスタント装置１０に登録された種類（利用者が希望する種類）のコンテンツのみを管理装置９０から受信してもよい。或いは、バーチャルアシスタント装置１０は、管理装置９０からコンテンツを受信した場合において、バーチャルアシスタント装置１０に登録された種類（利用者が希望する種類）のコンテンツを受信した場合にステップＳ５において新たな配信があったと判定してもよい。そして、ステップＳ８では、バーチャルアシスタント装置１０に登録された種類（利用者が希望する種類）のコンテンツのみを提供してもよい。

【0071】

上述された実施形態に加え、表示部１５に過去の対話の履歴を表示できるようにしてもよい。例えば、ステップＳ３，Ｓ８の会話が行われる毎にその会話の日時を記録しておき、会話の履歴を記憶部１４に蓄積しておいてもよい。そして、操作部１７において会話の履歴の表示を指示する所定操作がなされた場合に、記憶部１４に蓄積された会話の履歴の一部又は全部を表示するようにしてもよい。

【0072】

上述された実施形態では、コンテンツの一例を示したが、コンテンツとしては様々な種類のコンテンツを採用することができる。例えば、図２０は、レクリエーションに関するコンテンツ（例えば、簡易体操を表示するコンテンツ）の例であり、図２１は、回想法に関するコンテンツ（例えば、昔の画像を表示するコンテンツ）の例であり、図２２は、自然の音に関するコンテンツ（例えば、焚火の画像及び音を出力するコンテンツ）の例である。ステップＳ３，Ｓ７では、図２０～図２２のようなコンテンツを提供してもよく、このようなコンテンツの提供時又は提供の前後に、キャラクタ７０によって会話を行うようにしてもよい。例えば、提供する前にコンテンツの目的や内容に関する会話を行ったり、提供後に、コンテンツを体験した感想や意見について問いかける質問をしたり、他の話題へと繋げる会話を行うようにしてもよい。

【0073】

上述された実施形態では、バーチャルアシスタント装置１０が、主に高齢者向けのバーチャルアシスタント装置として構成された例を示したが、この例に限定されない。例えば、子供などの他のカテゴリの対象者を対象としてもよい。

【0074】

上述された実施形態では、バーチャルアシスタント装置１０は、管理装置９０から新たな配信を受けた場合に、新たな配信があった直後に図９のような情報を表示するが、この例に限定されない。例えば、バーチャルアシスタント装置１０は、管理装置９０から新たな配信を受けた場合に、配信されるコンテンツをバックグラウンドでダウンロードし、記憶部１４に記憶しておいてもよい。このように、配信されるコンテンツバックグラウンドでダウンロードした場合、所定の報知条件の成立に応じて、新たな配信がダウンロードされたことを図９のように報知してもよい。この場合の所定の報知条件は、予め設定された時刻になったことであってもよく、バックグラウンドでダウンロードしている最中に実行されていたコンテンツ（例えば、動画表示など）が終了したことであってもよく、その他の条件であってもよい。

【0075】

管理装置９０からバーチャルアシスタント装置１０に送信される情報は、上述の例に限定されない。例えば、管理装置９０は、利用者の誕生日の当日になった場合に、当該利用者のバーチャルアシスタント装置１０に対して利用者の誕生日であることを知らせる情報や誕生日に関するコンテンツなどを配信してもよい。バーチャルアシスタント装置１０は、利用者の誕生日であることを知らせる情報を受信した場合に、利用者の誕生日を祝うメッセージや画像などを表示させてもよい。或いは、管理装置９０は、コンテンツ配信のスケジュールを知らせる情報をバーチャルアシスタント装置１０に送信してもよい。コンテンツ配信のスケジュールを知らせる情報は、例えば、コンテンツの内容とそのコンテンツが配信される日時とを対応付けたスケジュール情報や、そのスケジュール情報のリストなどが挙げられる。

【0076】

なお、今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、今回開示された実施の形態に限定されるものではなく、特許請求の範囲によって示された範囲内又は特許請求の範囲と均等の範囲内での全ての変更が含まれることが意図される。

【符号の説明】

【0077】

１…バーチャルアシスタントシステム
１０…バーチャルアシスタント装置
１１…制御部
１２…通信部
１３…インタフェース
１５…表示部
１７…操作部（動作検出部）
１８…音声入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】