IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 住友電気工業株式会社の特許一覧

特許7347725表示プログラム、表示方法及び表示システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-09-11
(45)【発行日】2023-09-20
(54)【発明の名称】表示プログラム、表示方法及び表示システム
(51)【国際特許分類】
   G06F 3/0481 20220101AFI20230912BHJP
   G06F 3/16 20060101ALI20230912BHJP
   G06T 13/40 20110101ALI20230912BHJP
【FI】
G06F3/0481
G06F3/16 530
G06T13/40
【請求項の数】 30
(21)【出願番号】P 2023542893
(86)(22)【出願日】2023-04-10
(86)【国際出願番号】 JP2023014534
【審査請求日】2023-07-14
(31)【優先権主張番号】P 2022124758
(32)【優先日】2022-08-04
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000002130
【氏名又は名称】住友電気工業株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100136722
【弁理士】
【氏名又は名称】▲高▼木 邦夫
(74)【代理人】
【識別番号】100176658
【弁理士】
【氏名又は名称】和田 謙一郎
(72)【発明者】
【氏名】戴 桂明
(72)【発明者】
【氏名】柿井 俊昭
【審査官】星野 裕
(56)【参考文献】
【文献】国際公開第2022/079933(WO,A1)
【文献】国際公開第2020/203999(WO,A1)
【文献】特開2004-78238(JP,A)
【文献】特開2011-209787(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/048
G06F 3/16
G06T 13/40
(57)【特許請求の範囲】
【請求項1】
ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示プログラムであって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、
前記キャラクタの動作に係る操作に応じて、前記第一画面とは異なると共に前記第一画面の前記キャラクタに対応するキャラクタを含む第二画面に表示を遷移させるステップと、をコンピュータに実行させ、
前記第一画面の前記キャラクタと前記第二画面の前記キャラクタとは、形態、状態及び機能の少なくとも一つが異なり、
前記第一画面の前記キャラクタ及び前記第二画面の前記キャラクタの少なくとも一方は、前記ユーザの操作に応じて耳を模したアニメーションが動作する、表示プログラム。
【請求項2】
前記仮想空間において、複数の表示領域を表示させ、
複数の前記表示領域の少なくとも一部には、前記キャラクタが表示され、
前記キャラクタが表示される複数の前記表示領域のそれぞれは、前記キャラクタの属性に対応して区分されており、
前記表示領域毎に前記キャラクタの形態を変化させる、請求項1に記載の表示プログラム。
【請求項3】
前記仮想空間において、複数の表示領域を表示させ、
複数の前記表示領域の少なくとも一部には、前記キャラクタが表示され、
前記キャラクタが表示される複数の前記表示領域は、
前記仮想空間における前記キャラクタの音声の出力が規制される前記表示領域と、
前記空間における前記キャラクタの音声を出力可能な前記表示領域と、を含む、請求項1又は請求項2に記載の表示プログラム。
【請求項4】
前記表示領域に表示される前記キャラクタは、前記ユーザの属性に基づいて区別可能に表示される、請求項3に記載の表示プログラム。
【請求項5】
複数の前記表示領域において、一の前記表示領域に表示される前記キャラクタの音声と、他の前記表示領域に表示される前記キャラクタの音声とが互いに聞こえないようにする、請求項2に記載の表示プログラム。
【請求項6】
前記第一画面において前記キャラクタを一の前記表示領域から他の前記表示領域にドラッグ・アンド・ドロップする操作を受け付けた場合、前記第二画面において一の前記表示領域と他の前記表示領域とにおける前記キャラクタの表示を変更させる、請求項2に記載の表示プログラム。
【請求項7】
前記ユーザから所定の操作を受け付けた場合、複数の前記キャラクタの正面又は背面の向きを一括して変更して表示させる、請求項1又は請求項2に記載の表示プログラム。
【請求項8】
前記第一画面における前記ユーザによる所定操作及び音声入力の少なくとも一つにより、前記第二画面の前記キャラクタの一部に表示部を表示させる、請求項1又は請求項2に記載の表示プログラム。
【請求項9】
前記表示部には、前記キャラクタの音声をテキスト化した会話テキスト、前記会話テキストの翻訳文、及び、前記表示部の表示内容の翻訳文の少なくとも一つが表示される、請求項8に記載の表示プログラム。
【請求項10】
前記表示部には、前記キャラクタの音声及びテキスト入力の少なくとも一方に基づくAIの使用によって、必要な図、文章、音楽、動画、静止画及びサイトの少なくとも一つが表示される、請求項9に記載の表示プログラム。
【請求項11】
前記仮想空間において、前記コンテンツを表示する表示部を表示させる、請求項1に記載の表示プログラム。
【請求項12】
前記表示部に、前記ユーザから入力された入力内容を表示させる、請求項11に記載の表示プログラム。
【請求項13】
前記表示部に対して前記キャラクタをドラッグ・アンド・ドロップする操作を受け付けた場合、前記表示部において所定の機能が実行される、請求項11又は請求項12に記載の表示プログラム。
【請求項14】
前記表示部に対して前記キャラクタがドラッグ・アンド・ドロップされた後、前記表示部に表示されている前記キャラクタを前記表示部以外の領域にドラッグ・アンド・ドロップする操作を受け付けた場合、前記所定の機能の実行を終了させる、請求項13に記載の表示プログラム。
【請求項15】
前記表示部に対する前記ユーザからの所定の操作を受け付けた場合、前記表示部における表示内容を操作する操作画面を表示させる、請求項11又は請求項12に記載の表示プログラム。
【請求項16】
前記キャラクタのサイズの変更が可能であり、
前記仮想空間に表示される複数の前記キャラクタのうち、一の前記キャラクタのサイズが変更された場合、他の前記キャラクタのサイズも同様に変更する、請求項11又は請求項12に記載の表示プログラム。
【請求項17】
前記仮想空間において、前記コンテンツを表示するコンテンツ表示部と、前記キャラクタの音声をテキスト化した会話テキストを表示するテキスト表示部と、少なくとも二つの前記キャラクタとを表示させる、請求項1に記載の表示プログラム。
【請求項18】
前記テキスト表示部に表示される前記会話テキストに対する前記ユーザからの操作を受け付けた場合、当該会話テキストを前記コンテンツ表示部に表示させる、請求項17に記載の表示プログラム。
【請求項19】
前記キャラクタの配置及びサイズの変更が可能であり、
前記仮想空間に表示される二つの前記キャラクタのうち、一方の前記キャラクタの配置又はサイズが変更された場合、他方の前記キャラクタの配置又はサイズも一方の前記キャラクタの配置又はサイズに応じて変更する、請求項16に記載の表示プログラム。
【請求項20】
一又は複数の前記キャラクタが配置されると共に、前記仮想空間において移動可能に設けられている一又は複数の移動体を表示させる、請求項11に記載の表示プログラム。
【請求項21】
複数の前記移動体のそれぞれに複数の前記キャラクタが配置される場合において、一の前記移動体に配置される複数の前記キャラクタの音声と、他の前記移動体に配置される複数の前記キャラクタの音声とが互いに聞こえないようにする、請求項20に記載の表示プログラム。
【請求項22】
前記表示部に表示される前記コンテンツについての解説を表示させる、請求項11に記載の表示プログラム。
【請求項23】
前記仮想空間における前記活動において、前記キャラクタの前記アニメーションを編集可能な映像として出力する、請求項11に記載の表示プログラム。
【請求項24】
前記キャラクタの一部に前記ユーザの顔の画像又は映像を表示させる、請求項1又は請求項2に記載の表示プログラム。
【請求項25】
前記仮想空間には一又は複数の前記キャラクタが表示され、
一又は複数の前記キャラクタのうちの少なくとも一つの前記キャラクタは、AIによって操作される、請求項1に記載の表示プログラム。
【請求項26】
前記AIによって操作される前記キャラクタは、前記AIの操作によって前記耳を模したアニメーションが動作し、
前記AIによって操作される前記キャラクタに対応する表示部が表示され、
前記表示部には、前記AIによって生成されたテキスト、当該テキストに関連する静止画、当該テキストに関連する動画、当該テキストに関連する文章、当該テキストに関連するサイト情報の少なくとも一つが表示される、請求項25に記載の表示プログラム。
【請求項27】
前記キャラクタは、前記AIが生成したテキストに対応する音声を出力する、請求項25又は請求項26に記載の表示プログラム。
【請求項28】
前記キャラクタが所定の対象を注視していることを想像させるように、前記所定の対象の位置に応じて前記キャラクタを回転動作させる、請求項1に記載の表示プログラム。
【請求項29】
ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示方法であって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、
前記キャラクタの動作に係る操作に応じて、前記第一画面とは異なると共に前記第一画面の前記キャラクタに対応するキャラクタを含む第二画面に表示を遷移させるステップと、を含み、
前記第一画面の前記キャラクタと前記第二画面の前記キャラクタとは、形態、状態及び機能の少なくとも一つが異なり、
前記第一画面の前記キャラクタ及び前記第二画面の前記キャラクタの少なくとも一方は、前記ユーザの操作に応じて耳を模したアニメーションが動作する、を含む、表示方法。
【請求項30】
ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示システムであって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させ、
前記キャラクタの動作に係る操作に応じて、前記第一画面とは異なると共に前記第一画面の前記キャラクタに対応するキャラクタを含む第二画面に表示を遷移させ、
前記第一画面の前記キャラクタと前記第二画面の前記キャラクタとは、形態、状態及び機能の少なくとも一つが異なり、
前記第一画面の前記キャラクタ及び前記第二画面の前記キャラクタの少なくとも一方は、前記ユーザの操作に応じて耳を模したアニメーションが動作する、表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の一側面は、表示プログラム、表示方法及び表示システムに関する。
本出願は、2022年8月4日出願の日本出願第2022-124758号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
【背景技術】
【0002】
特開2015-38725号公報(特許文献1)は、顔画像を生成する発話アニメーション生成装置を開示する。この発話アニメーション生成装置は、予め用意された音響モデル、言語モデル、及び複数の音素と複数の視覚素との間の対応表を使用して、音声信号に対して音声認識を漸次的に行って視覚素系列を生成する。発話アニメーション生成装置はさらに、生成した視覚素系列を平滑化して複数の視覚素ごとの混合重みを生成し、複数の視覚素ごとの混合重みに従って、複数の視覚素それぞれに対応する複数の顔モデルを混合することにより、顔画像を生成する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2015-38725号公報
【発明の概要】
【0004】
本開示の一実施形態に係る表示プログラムは、ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示プログラムであって、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、キャラクタの動作に係る操作に応じて、第一画面とは異なると共に第一画面のキャラクタに対応するキャラクタを含む第二画面に表示を遷移させるステップと、をコンピュータに実行させ、第一画面のキャラクタと第二画面のキャラクタとは、形態、状態及び機能の少なくとも一つが異なり、第一画面のキャラクタ及び第二画面のキャラクタの少なくとも一方は、ユーザの操作に応じて耳を模したアニメーションが動作する。
【図面の簡単な説明】
【0005】
図1図1は、一実施形態に係る表示システムの概略構成の例を示す図である。
図2図2は、端末及びサーバの機能ブロックの例を示す図である。
図3図3は、操作装置の斜視図である。
図4図4は、図4に示す操作装置の機能ブロックの例を示す図である。
図5図5は、耳アニメーションの動作の一例を示す図である。
図6図6は、活動の選択画面の一例を示す図である。
図7図7は、仮想空間において表示される画面の一例を示す図である。
図8図8は、仮想空間において表示される画面の一例を示す図である。
図9図9は、仮想空間において表示される画面の一例を示す図である。
図10図10は、仮想空間において表示される画面の一例を示す図である。
図11図11は、仮想空間において表示される画面の一例を示す図である。
図12図12は、仮想空間において表示される画面の一例を示す図である。
図13図13は、仮想空間において表示される画面の一例を示す図である。
図14図14は、仮想空間において表示される画面の一例を示す図である。
図15図15は、耳アニメーションの動作の一例及び帯グラフの一例を示す図である。
図16図16は、仮想空間において表示される画面の一例を示す図である。
図17図17は、仮想空間において表示される画面の一例を示す図である。
図18図18は、仮想空間において表示される画面の一例を示す図である。
図19図19は、仮想空間において表示される画面の一例を示す図である。
図20図20は、仮想空間において表示される画面の一例を示す図である。
図21図21は、仮想空間において表示される画面の一例を示す図である。
図22図22は、キャラクタの配置の設定について説明するための図である。
図23図23は、仮想空間において表示される画面の一例を示す図である。
図24図24は、仮想空間において表示される画面の一例を示す図である。
図25図25は、仮想空間において表示される画面の一例を示す図である。
図26図26は、仮想空間において表示される画面の一例を示す図である。
図27図27は、仮想空間において表示される画面の一例を示す図である。
図28図28は、仮想空間において表示される画面の一例を示す図である。
図29図29は、仮想空間において表示される画面の一例を示す図である。
図30図30は、仮想空間において表示される画面の一例を示す図である。
図31図31は、仮想空間において表示される画面の一例を示す図である。
図32図32は、仮想空間において表示される画面の一例を示す図である。
図33図33は、仮想空間において表示される画面の一例を示す図である。
図34図34は、仮想空間において表示される画面の一例を示す図である。
図35図35は、仮想空間において表示される画面の一例を示す図である。
図36図36は、仮想空間において表示される画面の一例を示す図である。
図37図37は、キャラクタのボディの変形の一例を示す図である。
図38図38は、キャラクタに表示部が表示される形態の一例を示す図である。
図39図39は、仮想空間において表示される画面の一例を示す図である。
図40図40は、キャラクタのボディの変形の一例を示す図である。
図41図41は、キャラクタのボディの変形の一例を示す図である。
図42図42は、キャラクタのボディの変形の一例を示す図である。
図43図43は、キャラクタに表示部が表示される形態の一例を示す図である。
図44図44は、キャラクタの変形の一例を示す図である。
図45図45は、キャラクタのボディの変形の一例を示す図である。
図46図46は、キャラクタのボディの変形の一例を示す図である。
図47図47は、キャラクタのボディの変形の一例を示す図である。
図48図48は、仮想空間において表示される画面の一例を示す図である。
図49図49は、仮想空間において表示される画面の一例を示す図である。
図50図50は、仮想空間において表示される画面の一例を示す図である。
図51図51は、仮想空間において表示される画面の一例を示す図である。
図52図52は、仮想空間において表示される画面の一例を示す図である。
図53図53は、仮想空間において表示される画面の一例を示す図である。
図54図54は、仮想空間において表示される画面の一例を示す図である。
図55図55は、仮想空間において表示される画面の一例を示す図である。
図56図56は、仮想空間において表示される画面の一例を示す図である。
図57図57は、仮想空間において表示される画面の一例を示す図である。
図58図58は、仮想空間において表示される画面の一例を示す図である。
図59図59は、仮想空間において表示される画面の一例を示す図である。
図60図60は、仮想空間において表示される画面の一例を示す図である。
図61図61は、キャラクタと表示部との表示形態を示す図である。
図62図62は、録画のタイムチャートを示す図である。
【発明を実施するための形態】
【0006】
[本開示が解決しようとする課題]
近年、メタバース等、仮想空間においてアバター等のキャラクタを用いたサービスが提供されている。このような仮想空間におけるキャラクタの活動においては、ユーザの利便性の向上が求められている。
【0007】
本開示は、仮想空間でキャラクタが活動を行う場合において、キャラクタを使用するユーザの利便性の向上が図れる表示プログラム、表示方法及び表示システムを提供することを目的とする。
【0008】
[本開示の効果]
本開示によれば、仮想空間でキャラクタが活動を行う場合において、キャラクタを使用するユーザの利便性の向上が図れる。
【0009】
[本開示の実施形態の説明]
最初に、本開示の実施形態の内容を列記して説明する。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
【0010】
(1)本開示の一側面に係る表示プログラムは、ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示プログラムであって、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、キャラクタの動作に係る操作に応じて、第一画面とは異なると共に第一画面のキャラクタに対応するキャラクタを含む第二画面に表示を遷移させるステップと、をコンピュータに実行させ、第一画面のキャラクタと第二画面のキャラクタとは、形態、状態及び機能の少なくとも一つが異なり、第一画面のキャラクタ及び第二画面のキャラクタの少なくとも一方は、ユーザの操作に応じて耳を模したアニメーションが動作する。
【0011】
本開示の一側面に係る表示プログラムでは、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面において、キャラクタの動作に係る操作を行った場合には、それに応じて、第一画面のキャラクタに対応するキャラクタを含む第二画面に表示が遷移される。そのため、表示プログラムでは、ユーザの意図する操作により動作するキャラクタの動き応じた画面遷移を行うことができる。すなわち、表示プログラムでは、ユーザの意図する操作に応じて画面が遷移する。したがって、表示プログラムでは、仮想空間でキャラクタが活動を行う場合において、キャラクタを使用するユーザの利便性の向上が図れる。
【0012】
(2)上記(1)の表示プログラムにおいて、仮想空間において、複数の表示領域を表示させ、複数の表示領域の少なくとも一部には、キャラクタが表示され、キャラクタが表示される複数の表示領域のそれぞれは、キャラクタの属性に対応して区分されており、表示領域毎にキャラクタの形態を変化させてもよい。この構成では、例えば、一つの表示領域においては、コンテンツについて説明等を行う主導者のキャラクタのサイズを大きく表示すること等ができる。そのため、説明等を理解し易くなる。
【0013】
(3)上記(1)又は(2)の表示プログラムにおいて、仮想空間において、複数の表示領域を表示させ、複数の表示領域の少なくとも一部には、キャラクタが表示され、キャラクタが表示される複数の表示領域は、仮想空間におけるキャラクタの音声の出力が規制される表示領域と、空間におけるキャラクタの音声を出力可能な表示領域と、を含んでいてもよい。この構成では、表示領域において音声の出力のオンオフが自動で切り替わるため、オンオフの作業を行う手間を省略できる。
【0014】
(4)上記(2)又は(3)の表示プログラムにおいて、表示領域に表示されるキャラクタは、ユーザの属性に基づいて区別可能に表示されてもよい。この構成では、活動に参加しているユーザの属性を一見して確認(把握)することができる。
【0015】
(5)上記(2)~(4)のいずれか一つの表示プログラムにおいて、複数の表示領域において、一の表示領域に表示されるキャラクタの音声と、他の表示領域に表示されるキャラクタの音声とが互いに聞こえないようにしてもよい。この構成では、表示領域毎にキャラクタが会話をすることができる。
【0016】
(6)上記(2)~(5)のいずれか一つの表示プログラムにおいて、第一画面においてキャラクタを一の表示領域から他の表示領域にドラッグ・アンド・ドロップする操作を受け付けた場合、第二画面において一の表示領域と他の表示領域とにおけるキャラクタの表示を変更させてもよい。この構成では、キャラクタをドラッグ・アンド・ドロップするという、キャラクタの移動を伴う操作を行うことによって、キャラクタの表示が変更される。そのため、キャラクタの移動時間感覚、移動動作において、参加する気持ち、新しいシーン切り替え等への感情移入がし易くなる効果が期待できる。
【0017】
(7)上記(1)~(6)のいずれか一つの表示プログラムにおいて、ユーザから所定の操作を受け付けた場合、複数のキャラクタの正面又は背面の向きを一括して変更して表示させてもよい。この構成では、複数のキャラクタの正面又は背面の向きを容易に変更することができる。
【0018】
(8)上記(1)~(7)のいずれか一つの表示プログラムにおいて、第一画面におけるユーザによる所定操作及び音声入力の少なくとも一つにより、第二画面のキャラクタの一部に表示部を表示させてもよい。この構成では、キャラクタに表示部を表示させることができる。そのため、キャラクタの表示部において、キャラクタのプレゼンテーションに使用する資料等や、キャラクタの会話の翻訳文等を表示させることができる。
【0019】
(9)上記(8)の表示プログラムにおいて、表示部には、キャラクタの音声をテキスト化した会話テキスト、会話テキストの翻訳文、及び、表示部の表示内容の翻訳文の少なくとも一つが表示されてもよい。この構成では、異なる言語間でのコミュニケーションが可能となる。
【0020】
(10)上記(8)又は(9)の表示プログラムにおいて、表示部には、キャラクタの音声及びテキスト入力の少なくとも一方に基づくAIの使用によって、必要な図、文章、音楽、動画、静止画及びサイトの少なくとも一つが表示されてもよい。この構成では、キャラクタによる説明をより理解し易くなる。
【0021】
(11)上記(1)の表示プログラムにおいて、仮想空間において、コンテンツを表示する表示部を表示させてもよい。この構成では、コンテンツが表示部に表示されるため、コンテンツを認識し易くなる。
【0022】
(12)上記(11)の表示プログラムにおいて、表示部に、ユーザから入力された入力内容を表示させてもよい。この構成では、コンテンツに対する意見等を表示に表示させることができる。
【0023】
(13)上記(11)又は(12)の表示プログラムにおいて、表示部に対してキャラクタをドラッグ・アンド・ドロップする操作を受け付けた場合、表示部において所定の機能が実行されてもよい。この構成では、キャラクタをドラッグ・アンド・ドロップするという、キャラクタの移動を伴う操作を行うことによって、キャラクタの移動時間感覚、移動動作において、参加する気持ち、新しいシーン切り替え等への感情移入がし易くなる効果が期待できる。
【0024】
(14)上記(13)の表示プログラムにおいて、表示部に対してキャラクタがドラッグ・アンド・ドロップされた後、表示部に表示されているキャラクタを表示部以外の領域にドラッグ・アンド・ドロップする操作を受け付けた場合、所定の機能の実行を終了させてもよい。この構成では、キャラクタをドラッグ・アンド・ドロップする簡易な操作によって、所定の機能を終了させることができる。
【0025】
(15)上記(11)~(14)のいずれか一つの表示プログラムにおいて、表示部に対するユーザからの所定の操作を受け付けた場合、表示部における表示内容を操作する操作画面を表示させてもよい。この構成では、ユーザによる所定の操作によって、操作画面を容易に表示させることができる。
【0026】
(16)上記(11)~(15)のいずれか一つの表示プログラムにおいて、キャラクタのサイズの変更が可能であり、仮想空間に表示される複数のキャラクタのうち、一のキャラクタのサイズが変更された場合、他のキャラクタのサイズも同様に変更してもよい。この構成では、全てのキャラクタのサイズが同様に変更されるため、仮想空間において一体感のある活動を実現することができる。
【0027】
(17)上記(1)の表示プログラムにおいて、仮想空間において、コンテンツを表示するコンテンツ表示部と、キャラクタの音声をテキスト化した会話テキストを表示するテキスト表示部と、少なくとも二つのキャラクタとを表示させてもよい。この構成では、例えば、活動がカウンセリングである場合において、カウンセリングの目的となるコンテンツ(相談内容等)や会話の内容を確認しながら、カウンセリングを進めることができる。
【0028】
(18)上記(17)の表示プログラムにおいて、テキスト表示部に表示される会話テキストに対するユーザからの操作を受け付けた場合、当該会話テキストをコンテンツ表示部に表示させてもよい。この構成では、例えば、ユーザが会話テキストをクリックしたり、ドラッグ・アンド・ドロップしたりした場合には、会話テキストがコンテンツ表示部に表示される。これにより、会話において発生した新たな事項や、重要な事項等をコンテンツ表示部に表示させることができる。そのため、カウンセリングをより有効なものとすることができる。
【0029】
(19)上記(17)又は(18)の表示プログラムにおいて、キャラクタの配置及びサイズの変更が可能であり、仮想空間に表示される二つのキャラクタのうち、一方のキャラクタの配置又はサイズが変更された場合、他方のキャラクタの配置又はサイズも一方のキャラクタの配置又はサイズに応じて変更してもよい。この構成では、二つのキャラクタの配置又はサイズが一つのキャラクタの配置又はサイズに応じて変更されるため、仮想空間において一体感のある活動を実現することができる。
【0030】
(20)上記(11)の表示プログラムにおいて、一又は複数のキャラクタが配置されると共に、仮想空間において移動可能に設けられている一又は複数の移動体を表示させてもよい。この構成では、仮想空間において、キャラクタを移動体に乗せて移動させることができる。これにより、例えば、観光、美術館鑑賞等の活動を、移動体に乗りながら行うことができる。
【0031】
(21)上記(20)の表示プログラムにおいて、複数の移動体のそれぞれに複数のキャラクタが配置される場合において、一の移動体に配置される複数のキャラクタの音声と、他の移動体に配置される複数のキャラクタの音声とが互いに聞こえないようにしてもよい。この構成では、移動体に乗るキャラクタのグループ毎に会話をすることができる。
【0032】
(22)上記(11)の表示プログラムにおいて、表示部に表示されるコンテンツについての解説を表示させてもよい。この構成では、例えば、活動が美術館鑑賞である場合において、コンテンツである絵画の解説を表示させることができる。
【0033】
(23)上記(11)の表示プログラムにおいて、仮想空間における活動において、キャラクタのアニメーションを編集可能な映像として出力してもよい。この構成では、活動を映像として作成した後、アニメーションを編集することができる。
【0034】
(24)上記(1)~(23)のいずれか一つの表示プログラムにおいて、キャラクタの一部にユーザの顔の画像又は映像を表示させてもよい。この構成では、ユーザの顔の表示が必要な場合において、顔を例えば一時的に表示させることができる。
【0035】
(25)上記(1)~(24)のいずれか一つの表示プログラムにおいて、仮想空間には一又は複数のキャラクタが表示され、一又は複数のキャラクタのうちの少なくとも一つのキャラクタは、AIによって操作されてもよい。この構成では、AIがユーザである場合にも適用できる。
【0036】
(26)上記(25)の表示プログラムにおいて、AIによって操作されるキャラクタは、AIの操作によって耳を模したアニメーションが動作し、AIによって操作されるキャラクタに対応する表示部が表示され、表示部には、AIによって生成されたテキスト、当該テキストに関連する静止画、当該テキストに関連する動画、当該テキストに関連する文章、当該テキストに関連するサイト情報の少なくとも一つが表示されてもよい。この構成では、AIの状態、状況、及び、コミュニケーション相手の状態、状況に応じて、AIが耳アニメーションを動作させる。このように、非言語情報である耳アニメーションを表示することによって、テキストのみのコミュニケーションよりも、より感情豊かなコミュニケーションを実現できる。また、表示部にAIのテキストに係る情報が表示されるため、キャラクタ(AI)による説明等をより理解し易くなる。
【0037】
(27)上記(25)又は(26)の表示プログラムにおいて、キャラクタは、AIが生成したテキストに対応する音声を出力してもよい。この構成では、AIの状態等を音声によって認識することができる。
【0038】
(28)上記(1)~(27)のいずれか一つの表示プログラムにおいて、キャラクタが所定の対象を注視していることを想像させるように、所定の対象の位置に応じてキャラクタを回転動作させてもよい。この構成では、画面推移や、キャラクタの形態、状態、及び機能の少なくとも一つ以上の変化等に対応して、所定の対象を注視(注目)していることを想像させるようにキャラクタが回転動作するため、所定の対象に関心があることを想像させる。キャラクタの回転動作が、視線や姿勢変化と同様な非言語コミュニケーション効果となり、対話に対する積極的な関心を表出する。したがって、対話に対する反応感の向上、臨場感の向上等、豊かなコミュニケーションを実現できる。
【0039】
(29)本開示の一側面に係る表示方法は、ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示方法であって、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、キャラクタの動作に係る操作に応じて、第一画面とは異なると共に第一画面のキャラクタに対応するキャラクタを含む第二画面に表示を遷移させるステップと、を含み、第一画面のキャラクタと第二画面のキャラクタとは、形態、状態及び機能の少なくとも一つが異なり、第一画面のキャラクタ及び第二画面のキャラクタの少なくとも一方は、ユーザの操作に応じて耳を模したアニメーションが動作する。
【0040】
本開示の一側面に係る表示方法では、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面において、キャラクタの動作に係る操作を行った場合には、それに応じて、第一画面のキャラクタに対応するキャラクタを含む第二画面に表示が遷移される。そのため、表示方法では、ユーザの意図する操作により動作するキャラクタの動き応じた画面遷移を行うことができる。すなわち、表示方法では、ユーザの意図する操作に応じて画面が遷移する。したがって、表示方法では、仮想空間でキャラクタが活動を行う場合において、キャラクタを使用するユーザの利便性の向上が図れる。
【0041】
(30)本開示の一側面に係る表示システムは、ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示システムであって、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面を表示させ、キャラクタの動作に係る操作に応じて、第一画面とは異なると共に第一画面のキャラクタに対応するキャラクタを含む第二画面に表示を遷移させ、第一画面のキャラクタと第二画面のキャラクタとは、形態、状態及び機能の少なくとも一つが異なり、第一画面のキャラクタ及び第二画面のキャラクタの少なくとも一方は、ユーザの操作に応じて耳を模したアニメーションが動作する。
【0042】
本開示の一側面に係る表示システムでは、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面において、キャラクタの動作に係る操作を行った場合には、それに応じて、第一画面のキャラクタに対応するキャラクタを含む第二画面に表示が遷移される。そのため、表示システムでは、ユーザの意図する操作により動作するキャラクタの動き応じた画面遷移を行うことができる。すなわち、表示システムでは、ユーザの意図する操作に応じて画面が遷移する。したがって、表示システムでは、仮想空間でキャラクタが活動を行う場合において、キャラクタを使用するユーザの利便性の向上が図れる。
【0043】
[本開示の実施形態の詳細]
本開示の実施形態の具体例を、以下に図面を参照しつつ説明する。本発明はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【0044】
図1は、表示システム(以下、単に「システム」という場合もある。)の概略構成の例を示す図である。システム100は、ユーザU1,U2,U3が操作可能なキャラクタC(図5のパターンA参照)であって、ユーザU1,U2,U3の操作に応じて耳アニメーションE(図5のパターンA参照)が動作するキャラクタCを用いた仮想空間R(図7参照)における活動を支援するコンピュータシステムである。
【0045】
キャラクタCは、ユーザU1,U2,U3を示すものである。キャラクタCは、ダイナミックなキャラクタである。キャラクタCは、ユーザU1,U2,U3の実際の像(撮像データ等)とは独立した画像素材によって生成される。画像素材は、アニメーションキャラクタを生成するための素材である。キャラクタCは二次元又は三次元のコンピュータグラフィック(CG)によって描画されてもよい。
【0046】
一例として、キャラクタCは、ボディB(図5のパターンA参照)及び耳アニメーションEを含んで構成される。キャラクタCでは、ボディBと耳アニメーションEとが一体的に表示される。一体的に表示されるとは、キャラクタCを見たときに、視覚的にボディBと耳アニメーションEとが一つのまとまりとして認識されることを意味する。すなわち、一体的に表示されるとは、ボディBと耳アニメーションEとが結びついている(対応している)ことを一見して認識できる状態であればよい。そのため、一体的に表示されるとは、ボディBと耳アニメーションEとが接触している状態であってもよいし、ボディBと耳アニメーションEとが離隔している状態であってもよい。
【0047】
ボディBは、ユーザを示す画像及びユーザを示すテキストの少なくとも一方を含んでいてもよい。キャラクタCには、影が表示され得る。ボディBは、球状を呈しており、ユーザを識別可能なテキスト(「A」、「B」、「C」)を含んでいてもよい。キャラクタCは、発話アニメーション(図示省略)を含んで構成されていてもよいし、腕や足等を模したアニメーションを含んで構成されていてもよい。
【0048】
耳アニメーションEは、非言語情報を表現するアニメーションである。耳アニメーションEは、ユーザの状態(動作)、感情を示すアニメーションである。耳アニメーションEは、ユーザの状態を、ユーザの実際の動作部位とは異なる形態で表現したアニメーションである。耳アニメーションEは、動的に変化する顔表情を含まなくてもよいし、動的に変化する顔表情を含んでいてもよい。耳アニメーションEは、ボディBの表示領域の外側に表示領域から突出するように表示される。耳アニメーションEは、動物(例えば、うさぎ等)の耳を模したアニメーションであり、ユーザの状態の変化に応じて動作する。耳アニメーションEは、ユーザの動作に応じて動作する。耳アニメーションEは、例えば、伸縮、折り曲げ、揺動等の動作をする。耳アニメーションEは、変形自在であり、ユーザU1,U2,U3の状態に対応して、ユーザU1,U2,U3の状態を想起させるような視覚的変形をする。
【0049】
システム100では、キャラクタCの耳アニメーションEによって、ユーザU1,U2,U3の状態、感情、リアクション等を確認することができる。
【0050】
<システムの構成>
システム100は、端末10、端末20及び端末30を含む。図1に示される例では、端末10は、ユーザU1が使用するラップトップ型のパーソナルコンピュータ(PC)である。端末20は、ユーザU2が使用する携帯電話機(スマートフォン等)である。端末30は、ユーザU3が使用するデスクトップ型のPCである。端末10、端末20及び端末30は、ネットワークNに接続可能である。この例では、端末10はアクセスポイントAPを介して、端末20は基地局BSを介して、端末30は有線(不図示)により、それぞれネットワークNに接続される。端末10、端末20及び端末30には、上述のPC、携帯電話機以外にも、タブレット端末、ウェアラブル端末、ヘッドマウントディスプレイ(HMD)端末、その他さまざまな端末が用いられてよい。なお、システム100に含まれる端末の数は、図1の例に限定されない。
【0051】
システム100は、サーバ40を含む。サーバ40は、ネットワークNに接続される。したがって、端末10、端末20、端末30及びサーバ40は、ネットワークNを介して互いに通信可能である。なお、システム100に含まれるサーバの数は、図1の例に限定されない。
【0052】
ネットワークNの構成は限定されない。例えば、ネットワークNは、インターネット(公衆網)、通信キャリアネットワーク、事業者ネットワーク等を含んで構成されてよい。
【0053】
図2は、端末10、端末20、端末30、及びサーバ40の機能ブロックの例を示す図である。端末20及び端末30の機能ブロックは、端末10の機能ブロックと同様であるので、以下では端末10及びサーバ40について説明する。はじめに端末10について説明し、次にサーバ40について説明する。
【0054】
<端末の構成>
端末10は、入力部11を含む。入力部11は、ユーザU1の音声データ及び画像データが入力される部分である。入力部11は、ユーザU1の映像データが入力されてもよい。映像は、ユーザU1の音声データ及び画像データを含む。
【0055】
端末10は、制御部12を含む。制御部12は、ユーザU1の制御データを生成する部分である。ユーザU1の制御データは、操作装置50から出力された動作データに基づいて生成される。本実施形態では、例えば、制御データとして、キャラクタCの耳アニメーションEを、「うなずき」、「同意」「賞賛(拍手)」、「質問」、「挙手」及び「驚き」の6つの動作をさせるデータを生成し得る。制御部12は、他の動作(例えば、「YES」、「NO」を示す動作)についての制御データを生成してもよい。
【0056】
制御データは、動作データに対応付けられている。本実施形態では、例えば、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」及び「驚き」のそれぞれの制御データに対して、動作データが対応付けられている。動作データは、操作装置50から送信されるデータである。制御部12は、動作データが制御データに対応している場合、制御データを生成する。
【0057】
制御データは、入力部11に入力されたユーザU1の音声データ及び画像データに基づいて生成されてもよい。画像データは、連続する複数の単位フレームによって構成される。単位フレームは、通常、ユーザU1の画像情報を含む。例えば60フレーム/秒の画像データは、一秒間に60個の単位フレームを含む。制御部12による制御データの生成の詳細については後述する。
【0058】
制御部12は、制御データに基づいて、キャラクタCの動作を制御する部分でもある。制御部12は、生成した制御データ及び受信した制御データに基づいて、仮想空間RにキャラクタCを表示させると共に、キャラクタCの耳アニメーションEの動作を制御する。
【0059】
制御部12は、仮想空間Rの映像データを生成する。仮想空間Rの映像データは、制御データに基づいて制御されるキャラクタCの映像データを含む。この他に、仮想空間Rに現れるさまざまなオブジェクトが、仮想空間Rの映像データに含まれてもよい。制御部12による仮想空間Rの生成手法は特に限定されず、公知の種々の手法を用いることができる。制御部12は、例えば、カメラによる撮影画像に基づいて、仮想空間Rの映像データを生成してもよい。あるいは、制御部12は、3次元CADデータに基づいて、仮想空間Rの映像データを生成してもよい。
【0060】
端末10は、記憶部13を含む。記憶部13は、端末10の制御(処理)に必要な情報を記憶する部分である。図2には、記憶部13に記憶される情報として、端末プログラム13Pが例示される。端末プログラム13Pは、端末10を動作させるためのプログラムであり、制御部12による制御等が実行されるようにコンピュータを動作させる。システム100が表示システムであるので、端末プログラム13Pは、表示プログラムともいえる。
【0061】
端末10は、通信部14を含む。通信部14は、ネットワークN(図1参照)を介して、端末10の外部装置と通信する部分である。端末10の外部装置の例は、端末20、端末30、サーバ40及び操作装置50である。通信部14は、音声データ及び制御部12が生成した制御データをサーバ40に送信したり、音声データ及び制御データをサーバ40から受信したりする。通信部14は、操作装置50と通信する部分である。通信部14は、動作データを操作装置50から受信する。
【0062】
端末10は、出力部15を含む。出力部15は、仮想空間Rの映像を出力する。仮想空間Rの映像は、制御部12によって生成された仮想空間Rの映像データに基づく映像である。
【0063】
<サーバの構成>
サーバ40は、制御部42を含む。制御部42は、サーバ40の動作を制御する。サーバ40は、記憶部43を含む。記憶部43は、サーバ40の制御に必要な情報を記憶する部分である。図3には、記憶部43に記憶される情報として、サーバプログラム43P及び受信データ43Sが例示される。サーバプログラム43Pは、サーバ40を動作させるためのプログラムであり、制御部42による制御等が実行されるようにコンピュータを動作させる。受信データ43Sは、端末10、端末20及び端末30からサーバ40に送られるデータであり、端末10、端末20及び端末30が生成した制御データを含み得る。
【0064】
サーバ40は、通信部44を含む。通信部44は、ネットワークN(図1参照)を介して、サーバ40の外部装置と通信する部分である。サーバ40の外部装置の例は、端末10、端末20及び端末30である。通信部44は、ユーザU1の制御データ、ユーザU2の制御データ及びユーザU3の制御データを端末10、端末20及び端末30からそれぞれ受信したり、端末10、端末20及び端末30が生成した制御データを端末10、端末20及び端末30のそれぞれに送信したりする。
【0065】
<ハードウェア構成>
端末10及びサーバ40の各機能部分に関するハードウェア構成の例を説明する。サーバ40の通信部44は、ネットワークNにアクセスできるように、ネットワークカード又は無線通信デバイスを用いて構成され得る。サーバ40の制御部42は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部42は、プロセッサ、クロック、内蔵メモリ、記憶部43及び通信部44を集積した一つのハードウェア(SoC:System On a Chip)として構成されてもよい。制御部42は、サーバプログラム43Pに基づいて動作することで、サーバコンピュータをサーバ40として動作させる。サーバ40の記憶部43は、フラッシュメモリ、ハードディスク、SSD(Solid State Disk)等の不揮発性記憶媒体を用いて構成され得る。
【0066】
端末10の入力部11は、マイクロフォン、カメラ等を用いて構成され得る。マイクロフォンにより、ユーザU1の音声が取得される。すなわち、マイクロフォンは、音声を取得する音声センサの一種である。カメラにより、ユーザU1の画像が取得される。すなわち、カメラは、画像を取得する画像センサの一種である。さらに、入力部11は、キーボード、マウス、タッチパネルの操作デバイスも用いて構成されてよい。端末10の制御部12は、サーバ40の制御部42と同様に構成され得る。制御部12は、端末プログラム13Pに基づいて動作することで、汎用コンピュータを端末10として動作させる。端末10の記憶部13は、サーバ40の記憶部43と同様に構成され得る。端末10の通信部14は、サーバ40の通信部44と同様に構成され得る。端末10の出力部15は、液晶パネル、有機ELパネル等(タッチパネルでもよい)等のディスプレイ装置を用いて構成され得る。さらに、出力部15は、スピーカも用いて構成されてよい。
【0067】
<操作装置の構成>
図3は、操作装置50の斜視図である。図3では、操作装置50がユーザU1,U2,U3の指Fによって操作されている状態を示す図である。操作装置50は、ユーザU1,U2,U3によって操作される装置である。ユーザU1,U2,U3による操作装置50の操作によって、耳アニメーションEが動作する。操作装置50は、タッチパッドである。タッチパッドの方式としては、静電容量方式、感圧タッチ式、超音波方式等を採用することができる。
【0068】
操作装置50は、ハードウェア構成として、本体51を備えている。本体51は、操作面51Aを有する。操作装置50は、ユーザU1,U2,U3の手Hの指Fによって操作される。操作装置50は、単体で設けられていてもよいし、テレビディスプレイ等を操作するリモコンの一部に設けられていてもよい。すなわち、操作装置50は、機器の一部であってもよい。
【0069】
図4は、操作装置50の機能ブロックの例を示す図である。図4に示されるように、操作装置50は、通信部52を含む。通信部52は、無線通信又は有線通信によって、外部装置と通信する部分である。無線通信は、例えば、LAN、Bluetooth(登録商標)、Wifi等である。外部装置の例は、端末10、端末20及び端末30である。通信部52は、制御部54から出力された動作データを端末10、端末20及び端末30に送信する。
【0070】
操作装置50は、入力部53を含む。入力部53は、操作面51AにおけるユーザU1,U2,U3の操作を入力する部分である。入力部53は、ユーザU1,U2,U3による操作面51Aの操作(ジェスチャ)を検出する。操作としては、クリック、タップ、スライド、スクロール等が挙げられる。入力部53は、操作信号を制御部54に出力する。
【0071】
操作装置50は、制御部54を含む。制御部54は、入力部53の操作信号に基づいて、動作データを生成する。制御部54は、動作データを通信部52に出力する。
【0072】
制御部54は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサと、クロックと、内蔵メモリとを用いて構成され得る。制御部54は、プロセッサ、クロック、内蔵メモリ、通信部52を集積した一つのハードウェア(SoC:System On a Chip)として構成されてもよい。
【0073】
操作装置50は、バッテリ55を含む。バッテリ55は、操作装置50の各部に電力を供給する。
【0074】
続いて、キャラクタCの耳アニメーションEを、例えば、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」又は「驚き」として動作させる場合の、ユーザU1,U2,U3による操作装置50の操作について説明する。すなわち、キャラクタCの耳アニメーションEの動作と、操作装置50によって検出されるユーザU1,U2,U3の動作との関係について説明する。耳アニメーションEの動作と、耳アニメーションEを動作させるためのユーザU1,U2,U3の指Fの動作とは類似(関連)している。例えば、「うなずき」の耳アニメーションEを動作させる場合には、うなずく動作に似た動作を操作装置50の操作面51A上で指Fによって行う。すなわち、ユーザU1,U2,U3は、動作させたい耳アニメーションEと似た動作を操作装置50において行うことで、耳アニメーションEを動作させることができる。
【0075】
図5は、耳アニメーションEの動作の一例を示す図である。図5のパターンAでは、耳アニメーションEの通常時を示している。
【0076】
図5のパターンBでは、耳アニメーションEにおける「うなずき」の動作を示している。図5のパターンBに示されるように、「うなずき」の動作では、キャラクタCの耳アニメーションEにおいて、耳の上部1/2部分が前方に折り曲がる。「うなずき」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、操作装置50の本体51の操作面51Aを二本の指F(例えば、人差し指、中指)でタッチする。或いは、ユーザU1,U2,U3は、操作面51Aに二本の指Fをタッチさせた状態で、二本の指Fをスライドさせる。指Fをスライドさせるスライド量は、例えば、1cm~2cmである。
【0077】
操作装置50は、上記動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「うなずき」として動作させる制御データを生成する。
【0078】
図5のパターンCでは、耳アニメーションEにおける「同意」の動作を示している。「同意」の動作では、キャラクタCの耳アニメーションEにおいて、耳が全体的に前方に折り曲がる。「同意」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、ユーザU1,U2,U3は、操作面51Aに二本の指F(例えば、人差し指、中指)をタッチさせた状態で、二本の指Fをスライドさせる。指Fをスライドさせるスライド量は、例えば、2cmよりも長く、例えば、3cm~4cmである。すなわち、「同意」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、「うなずき」の動作を耳アニメーションEに実行させる場合よりも、指Fのスライド量を長くする。
【0079】
操作装置50は、上記動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「同意」として動作させる制御データを生成する。
【0080】
図5のパターンDでは、耳アニメーションEにおける「拍手(賞賛)」の動作を示している。「拍手(賞賛)」の動作では、キャラクタCの耳アニメーションEにおいて、耳が近づいたり離れたりする。「拍手(賞賛)」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、操作面51Aに二本の指F(例えば、親指と人差し指、又は、人差し指と中指)をタッチさせた状態で、二本の指Fを近接(接触)させたり離間させたりする。
【0081】
操作装置50は、上記動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「拍手(賞賛)」として動作させる制御データを生成する。端末10,20,30の制御部12は、二本の指Fを近接させたり離間させたりする一回の動作に係る動作データに対して、複数回拍手するように制御データを生成してもよい。
【0082】
図5のパターンEでは、耳アニメーションEにおける「質問」の動作を示している。「質問」の動作では、キャラクタCの耳アニメーションEにおいて、耳が絡まる。「質問」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、操作面51Aに二本の指F(例えば、人差し指と中指)をタッチさせた状態で、円(半円)を描くようにスライドさせる。なお、「質問」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3が操作面51Aに二本の指F(例えば、人差し指と中指)をタッチさせた状態で、∞(無限)を描くようスライドさせてもよい。
【0083】
操作装置50は、上記動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「質問」として動作させる制御データを生成する。
【0084】
図5のパターンFでは、耳アニメーションEにおける「挙手」の動作を示している。「挙手」の動作では、キャラクタCの耳アニメーションEにおいて、耳が伸びる。「挙手」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、ユーザU1,U2,U3は、操作面51Aに二本の指F(例えば、人差し指、中指)をタッチさせた状態で、一方の指F(中指)のみを上方にスライドさせる。
【0085】
操作装置50は、上記動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「挙手」として動作させる制御データを生成する。
【0086】
図5のパターンGでは、耳アニメーションEにおける「驚き」の動作を示している。「驚き」の動作では、キャラクタCの耳アニメーションEにおいて、耳の先端が大きくなる。このとき、キャラクタCのボディBが後ろに反る。「驚き」の動作を耳アニメーションEに実行させる場合には、ユーザU1,U2,U3は、操作面51Aに二本の指F(例えば、人差し指、中指)をタッチさせた状態で、二本の指Fを上方にスライドさせつつ離間させる。
【0087】
操作装置50は、上記動作が行われた場合、当該動作を入力部53で検出し、動作データとして端末10,20,30に送信する。端末10,20,30の制御部12は、当該動作データに基づいて、耳アニメーションEを「驚き」として動作させる制御データを生成する。
【0088】
<耳アニメーションの動作の操作方法>
続いて、キャラクタCの耳アニメーションEの動作の操作方法について説明する。耳アニメーションEを操作する場合には、ユーザU1,U2,U3は、例えば、図5のパターンB、図5のパターンC、図5のパターンD、図5のパターンE、図5のパターンF又は図5のパターンGの何れかに対応する動作を行う。これにより、操作装置50において動作データが生成される。操作装置50は、動作データを端末10,20,30に送信する。
【0089】
端末10,20,30は、動作データを受信すると、動作データに対応する制御データを生成する。これにより、端末10,20,30の仮想空間Rにおいて、キャラクタCの耳アニメーションEが、「うなずき」、「同意」「賞賛(拍手)」、「質問」、「挙手」又は「驚き」の何れかの動作を行う。このように、ユーザU1,U2,U3による操作装置50の操作により、キャラクタCの耳アニメーションEの動作を操作する。
【0090】
<仮想空間での活動>
続いて、制御部12によって生成される映像データに基づいて表示される仮想空間RにおけるキャラクタCの活動について説明する。仮想空間Rでは、キャラクタCの活動が行われる。仮想空間Rでは、キャラクタC同士(ユーザU1,U2,U3同士)が会話をしたり、コミュニケーションを取ったりすることができる。仮想空間Rには、キャラクタCと、キャラクタCの活動の内容に基づくコンテンツと、が表示される。仮想空間Rでは、キャラクタCの動作に基づいて、画面が遷移する。すなわち、仮想空間での活動では、キャラクタCと、活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、キャラクタCの動作に応じて、第一画面とは異なる第二画面に表示を遷移させるステップと、をコンピュータに実行させる。
【0091】
仮想空間RにおけるキャラクタCの内容としては、例えば、講義、講演、研修、会議、報告会、カウンセリング、相談、エンターテイメント、観光、映像作成等が挙げられる。システム100では、内容毎にアプリケーション(ソフトウェア)が構成されていてもよいし、一つのアプリケーションに複数の内容が含まれていてもよい。一つのアプリケーションに複数の内容が含まれる場合には、端末10,20,30の出力部15に活動を選択する画面が表示され得る。例えば、図6に示されるように、選択画面G1には、複数の活動(活動1、活動2、活動3、活動4、活動5、活動6)のそれぞれについて、選択ボタンが表示される。活動1、活動2、活動3、活動4、活動5及び活動6は、後述する各活動に対応している。
【0092】
(活動1)
活動1は、講義、研修会、講演会等である。以下では、講義を一例に説明する。講義では、教授(先生、講師)及び学生(生徒)のキャラクタCが参加し得る。図7に示されるように、講義の仮想空間Rの映像が表示される画面G2には、司会者ウィンドウ(表示領域)W1、プレゼンターウィンドウ(表示領域)W2、参加者ウィンドウ(表示領域)W3及び資料ウィンドウ(表示領域)W4が表示される。
【0093】
司会者ウィンドウW1には、講義の司会者となるキャラクタCが表示される。司会者ウィンドウW1は、例えば、画面G2において右側の上部に表示される。講義においては、教授が司会者(主導者)に相当し得る。司会者ウィンドウW1において、キャラクタCは、正面を向くように表示される。すなわち、司会者ウィンドウW1のキャラクタCは、端末10,20,30のユーザU1,U2,U3と対面するように表示される。司会者ウィンドウW1においては、司会者となるユーザU1,U2,U3のカメラ映像(画像)等が表示されてもよい。ユーザU1,U2,U3は、キャラクタCの表示と、カメラ映像の表示との切り替えを行うことができる。
【0094】
プレゼンターウィンドウW2には、プレゼンターとなるキャラクタCが表示される。プレゼンターウィンドウW2は、例えば、画面G2において左側の上部に表示される。講義においては、教授、学生がプレゼンター(主導者)に相当し得る。すなわち、講義においては、教授は、司会者及びプレゼンターの両方になり得る。プレゼンターウィンドウW2において、キャラクタCは、正面を向くように表示される。プレゼンターウィンドウW2においては、プレゼンターとなるユーザU1,U2,U3のカメラ映像(画像)等が表示されてもよい。ユーザU1,U2,U3は、キャラクタCの表示と、カメラ映像の表示との切り替えを行うことができる。
【0095】
参加者ウィンドウW3には、講義の参加者であるキャラクタCが表示される。参加者ウィンドウW3は、例えば、画面G2において下部(司会者ウィンドウW1及びプレゼンターウィンドウW2の下部)に表示される。講義においては、学生が参加者に相当し得る。参加者ウィンドウW3におけるキャラクタCの席(位置)は、指定席であってもよいし、自由席であってもよい。キャラクタCの席は、予め設定された所定のパターンに基づいて、参加者ウィンドウW3に入室した順に割り振られてもよい。
【0096】
参加者ウィンドウW3において、キャラクタCは、背面を向くように表示される。なお、司会者及びプレゼンターの端末10,20,30においては、参加者ウィンドウW3のキャラクタCが正面を向くように表示されてもよい。参加者ウィンドウW3に表示されるキャラクタC音声は、オフにされる。すなわち、参加者ウィンドウW3に表示されるキャラクタCの音声の仮想空間Rにおける出力が規制されている。これにより、例えば教授の進行等が学生の音声によって妨げられることを回避できる。キャラクタCの音声は、ユーザU1,U2,U3の音声であってもよいし、ユーザU1,U2,U3の音声を変換したもの(ボイスチェンジしたもの)であってよい。すなわち、ボイスチェンジ機能を有してもよい。複数のキャラクタCの正面又は背面の向きは、ユーザU1,U2,U3から所定の操作を受け付けた場合、一括して変更して表示させてもよい。
【0097】
キャラクタCの表示数が多い場合(参加する学生の数が多い場合)には、参加者ウィンドウW3にスクロールバーSBが表示される。スクロールバーSBを操作することによって、参加している全ての学生のキャラクタCを参加者ウィンドウW3において確認することができる。
【0098】
参加者ウィンドウW3に表示されるキャラクタCには、識別情報が表示されてもよい。識別情報は、例えば、学生番号、名前、イニシャル等であってもよい。参加者ウィンドウW3のキャラクタCは、司会者ウィンドウW1及びプレゼンターウィンドウW2のキャラクタCよりもサイズが小さく表示される。言い換えれば、司会者ウィンドウW1及びプレゼンターウィンドウW2のキャラクタCは、参加者ウィンドウW3のキャラクタCよりも大きく表示される。
【0099】
資料ウィンドウW4には、資料等が表示される。資料等は、キャラクタCの活動の内容に基づくコンテンツである。すなわち、講義において資料ウィンドウW4に表示される資料等は、キャラクタCの講義の受講という活動において、講義の内容(中身)を示すものである。資料ウィンドウW4は、例えば、画面G2において上部の中央(司会者ウィンドウW1とプレゼンターウィンドウW2との間)に表示される。
【0100】
資料ウィンドウW4は、司会者及びプレゼンターが操作可能である。司会者及びプレゼンターは、所定の操作画面において、資料ウィンドウW4に表示させる表示内容を操作できる。操作画面は、例えば、司会者又はプレゼンターが資料ウィンドウW4をタップ(クリック)することで、司会者又はプレゼンターの出力部15に表示される。操作画面では、資料ウィンドウW4に資料(テキストデータ、画像データ、プレゼンテーションデータ等)を表示させたり、表示させた資料やボードに手書きで入力したりすることができる。
【0101】
司会者ウィンドウW1、プレゼンターウィンドウW2、参加者ウィンドウW3及び資料ウィンドウW4の配置及びサイズは、管理者によって任意に設定可能である。管理者は、講義の場合、例えば、講師である。
【0102】
図8に示されるように、参加者ウィンドウW3では、キャラクタCは、参加者(ユーザU1,U2,U3)の属性によって区別可能に表示されてもよい。これにより、活動に参加しているユーザU1,U2,U3の属性を一見して確認(把握)することができる。図8に示される例では、キャラクタCは、五つの属性に区別されている。具体的には、例えば、ハッチングの線種によって属性が区別され得る。線種は、例えば、実線(細線)、実線(太線)、破線、一点鎖線、二点鎖線である。属性は、講義の場合には、例えば、学部、学科等であり得る。具体的には、例えば、文学部、工学部、理学部等である。属性は、予め設定されているユーザU1,U2,U3の情報に基づいて設定される。なお、図8に示す例では、ハッチングの線種によってキャラクタCのユーザU1,U2,U3の属性を区別可能に示しているが、色の種類によってキャラクタCのユーザU1,U2,U3の属性を示してもよい。
【0103】
図9に示されるように、参加者ウィンドウW3に表示されるキャラクタCは、表示サイズが変更可能である。図9に示す例では、図8に示す例よりもキャラクタCのサイズが大きく表示されている。参加者ウィンドウW3では、前列側(図示上側)に表示されるキャラクタCのサイズを大きくし、後列側(図示下側)に表示されるキャラクタCのサイズを小さくすることもできる。キャラクタCのサイズを変更することによって、スクロールをしない状態において参加者ウィンドウW3に表示されるキャラクタCの数を設定することができる。キャラクタCのサイズを大きくした場合、参加者ウィンドウW3に表示されるキャラクタCの数は減少し、キャラクタCのサイズを大きくした場合、参加者ウィンドウW3に表示されるキャラクタCの数は増加する。このような設定は、管理者によって、任意に設定可能である。管理者は、所定の設定画面において設定を行うことができる。
【0104】
図10に示されるように、プレゼンターウィンドウW2に表示されているキャラクタCを資料ウィンドウW4にドラッグ・アンド・ドロップすることにより、プレゼンターウィンドウW2に表示されていたキャラクタCを、資料ウィンドウW4に表示させる(移動させる)ことができる。キャラクタCのドラッグ・アンド・ドロップは、司会者及びプレゼンターが行うことができる。プレゼンターウィンドウW2から資料ウィンドウW4にドラッグ・アンド・ドロップされたキャラクタCには、プレゼンターの識別情報が表示される。識別情報は、例えば、学生番号、名前、イニシャル等であってもよい。図10に示す例では、キャラクタCのボディBに「AAA」が表示される。
【0105】
また、司会者ウィンドウW1に表示されているキャラクタCを資料ウィンドウW4にドラッグ・アンド・ドロップすることにより、司会者ウィンドウW1に表示されていたキャラクタCを、資料ウィンドウW4に表示させることもできる。例えば、講義の開始前においては、司会者のキャラクタCを資料ウィンドウW4に表示させ、講義が開始されると、司会者のキャラクタCを司会者ウィンドウW1に移動させてもよい。
【0106】
図11に示されるように、司会者及び/又はプレゼンターからの質問等の受け付けに対して、複数のキャラクタCの耳アニメーションEが挙手の動作を行った場合には、資料ウィンドウW4に代えて挙手者ウィンドウ(表示領域)W5が表示される。挙手者ウィンドウW5には、耳アニメーションEが挙手の動作を行ったキャラクタCが、動作を行った順番に表示される。挙手者ウィンドウW5には、例えば、挙手動作が早いキャラクタCが左から順番に表示される。なお、参加者ウィンドウW3から挙手者ウィンドウW5にキャラクタCが移動した場合、空席となった場所に所定の目印(識別情報等)が表示されてもよい。これにより、挙手者ウィンドウW5に移動したことによって、参加者ウィンドウW3において空席となった部分に、他のキャラクタCが座る(位置する)ことを回避できる。
【0107】
また、キャラクタCの耳アニメーションEが挙手の動作を行った場合には、発話者ウィンドウ(表示領域)W6が表示される。発話者ウィンドウW6は、司会者ウィンドウW1の下部(司会者ウィンドウW1と参加者ウィンドウW3との間)に表示される。
【0108】
図12に示されるように、挙手者ウィンドウW5に表示されたキャラクタCは、発話者ウィンドウW6に移動させることができる。キャラクタCの移動は、キャラクタCのクリック又はドラッグ・アンド・ドロップで行うことができる。キャラクタCのクリック又はドラッグ・アンド・ドロップは、司会者及びプレゼンターが行うことができる。発話者ウィンドウW6にキャラクタCが表示された場合、キャラクタCのボディBに、キャラクタCのユーザU1,U2,U3の情報が表示されてもよい。発話者ウィンドウW6にキャラクタCが表示されると、当該キャラクタCの音声が自動でオンになる。これにより、当該キャラクタCのユーザU1,U2,U3の発話内容が、講義に参加している他のユーザU1,U2,U3に伝わる。
【0109】
司会者及び/又はプレゼンターからの質問等の受け付けに対して、複数のキャラクタCの耳アニメーションEが挙手の動作を行った場合には、発話者ウィンドウW6のみが表示される。挙手動作を行ったキャラクタCは、発話者ウィンドウW6に移動させることができる。キャラクタCの移動は、キャラクタCのクリック又はドラッグ・アンド・ドロップで行うことができる。キャラクタCのクリック又はドラッグ・アンド・ドロップは、司会者及びプレゼンターが行うことができる。
【0110】
発話者ウィンドウW6におけるキャラクタCの発話が終了した場合、キャラクタCを参加者ウィンドウW3に移動させる。キャラクタCの移動は、キャラクタCのクリック又はドラッグ・アンド・ドロップで行うことができる。キャラクタCのクリック又はドラッグ・アンド・ドロップは、司会者及びプレゼンターが行うことができる。キャラクタCは、参加者ウィンドウW3の所定の位置に戻る。これにより、キャラクタCの音声が自動でオフになる。
【0111】
図13に示されるように、参加者ウィンドウW3に表示されるキャラクタCを、ブレイクアウトルーム(表示領域)BR1,BR2,BR3,BR4に移動させることができる。ブレイクアウトルームBR1,BR2,BR3,BR4は、参加者ウィンドウW3に表示されるキャラクタCの数(講義に参加する学生の数)に応じて、複数設定され得る。
【0112】
ブレイクアウトルームBR1,BR2,BR3,BR4へのキャラクタCの割り振りは、司会者又はプレゼンターが任意に行うことができる。ブレイクアウトルームBR1,BR2,BR3,BR4へのキャラクタCの割り振りは、キャラクタCの属性に基づいて、自動で行うこともできる。ブレイクアウトルームBR1,BR2,BR3,BR4への移動は、司会者又はプレゼンターの操作に応じて行われる。すなわち、司会者又はプレゼンターがブレイクアウトルームBRへの移動を指示する操作(入力)を行うと、参加者ウィンドウW3に表示されているキャラクタCが各ブレイクアウトルームBR1,BR2,BR3,BR4に移動する。
【0113】
ブレイクアウトルームBR1,BR2,BR3,BR4の映像が表示される画面G3には、資料ウィンドウW7が表示される。資料ウィンドウW7には、資料等が表示される。講義に参加する学生の端末10,20,30の出力部15には、図13に示される画面が表示される。すなわち、学生の端末10,20,30には、自身が割り振られたブレイクアウトルームBR1,BR2,BR3,BR4のみが表示される。各ブレイクアウトルームBR1,BR2,BR3,BR4においては、他のブレイクアウトルームBR1,BR2,BR3,BR4に表示されるキャラクタCの音声が互いに聞こえないようになっている。すなわち、各ブレイクアウトルームBR1,BR2,BR3,BR4において、キャラクタCは、ルーム毎に会話をすることができる。
【0114】
図14に示されるように、司会者又はプレゼンターは、複数のブレイクアウトルームBR1,BR2,BR3,BR4を確認することができる。図14に示す例では、四つのブレイクアウトルームBR1,BR2,BR3,BR4を示している。司会者又はプレゼンターは、ブレイクアウトルームBR1,BR2,BR3,BR4の一つをクリックすることにより、図13に示されるように、ブレイクアウトルームBR1,BR2,BR3,BR4を表示することができる。
【0115】
講義においては、司会者又はプレゼンターからの理解度の問いかけに対して、学生は、キャラクタCにおいて、図15のパターンA、図15のパターンB及び図15のパターンCに示されるような耳アニメーションEで反応することができる。図15のパターンAでは、耳アニメーションEにおける「よく分かる」の動作を示している。図15のパターンBでは、耳アニメーションEにおける「なんとか分かる」の動作を示している。図15のパターンCでは、耳アニメーションEにおける「分からない」の動作を示している。耳アニメーションEにおける「分からない」の動作は、図5のパターンEに示される「質問」の動作と同様である。ユーザU1,U2,U3は、司会者又はプレゼンターからの理解度の問いかけに対して、操作装置50を操作して、キャラクタCの耳アニメーションEを動作させる。なお、図15のパターンA、図15のパターンB及び図15のパターンCに示される耳アニメーションEの動作は、操作装置50に対する所定の操作によって制御されてもよいし、参加者の画面に表示されるボタンの操作によって制御されてもよい。
【0116】
参加者の反応、すなわちキャラクタCの耳アニメーションEの動作は、視覚化されて表示され得る。図15に示されるように、キャラクタCの耳アニメーションEの動作の統計は、例えば、帯グラフで表示される。これにより、司会者又はプレゼンターは、講義における学生の理解度を把握することができる。
【0117】
続いて、上記講義への参加方法の一例について説明する。最初に、参加者である学生(ユーザU1,U2,U3)は、端末10,20,30において、学校のホームページを開く。続いて、学生は、ホームページにおいて、ID及びパスワード等を入力してログインする。ログイン後、所定の画面において、講義スケジュールが表示される。講義の時間になると、アプリケーションが起動し、ユーザU1,U2,U3のキャラクタCが参加者ウィンドウW3に表示される。これにより、学生は、講義への参加が完了する。
【0118】
仮想空間RにおけるキャラクタCの活動(講義等への参加)は、録画することができる。録画は、管理者が行うようにしてもよいし、参加者全員がそれぞれに行うようにしてもよい。管理者が録画を行う場合、録画映像が参加者に対して公開されるようにしてもよい。ユーザU1,U2,U3は、録画映像によって、講義等を見直すことができる。
【0119】
(活動2)
続いて、活動2について説明する。活動2は、会議、報告会等である。最初に、会議を一例に説明する。会議は、ブレインストーミングであり得る。
【0120】
図16に示されるように、会議の仮想空間Rの映像が表示される画面G4には、資料ウィンドウ(表示部)W9が表示される。資料ウィンドウW9は、画面G4において中央に表示される。キャラクタCは、資料ウィンドウW9を挟む位置に表示される。図16に示す例では、六つのキャラクタCが、資料ウィンドウW9を挟んで対向する位置に表示されている。キャラクタCは、例えば、全て同じサイズで表示される。キャラクタCのサイズは、管理者及び参加者によって任意に設定可能である。管理者は、会議の場合、例えば、主催者である。管理者又は参加者が一つのキャラクタCのサイズを変更すると、これに応じて全てのキャラクタCのサイズが変更されてもよい。もちろん、特定のキャラクタCのみのサイズを変更することも可能である。
【0121】
キャラクタCの位置は、会議に参加するユーザU1,U2,U3によって任意に設定されてもよいし、主催者によって予め設定されていてもよい。キャラクタCの位置が設定されていない場合(自由席の場合)、会議に参加した順にキャラクタCの位置が割り振られてもよい。キャラクタCの位置は、適宜変更することができる。
【0122】
資料ウィンドウW9には、資料等が表示される。資料等は、キャラクタCの活動の内容に基づくコンテンツである。すなわち、講義において資料ウィンドウW9に表示される資料等は、キャラクタCの会議への参加という活動において、会議の内容(中身)を示すものである。資料ウィンドウW9には、キャラクタCの会話がテキスト化されて表示されてもよい。また、資料ウィンドウW9には、キャラクタCの会話の翻訳文が表示されてもよい。
【0123】
資料ウィンドウW9は、参加者が操作可能である。参加者は、所定の操作画面において、資料ウィンドウW9に表示させる表示内容を操作できる。操作画面は、例えば、参加者が資料ウィンドウW9をタップ(クリック)することで、参加者の出力部15に表示される。操作画面では、資料ウィンドウW9に資料(テキストデータ、画像データ、プレゼンテーションデータ等)を表示させたり、表示させた資料やボードに手書きで入力したりすることができる。ポインタを用いた説明である場合、キャラクタCは、ポインタ(所定の対象)が示す位置を向くように自動で回転するようにしてもよい。すなわち、キャラクタCが所定の対象を注視していることを想像させるように、所定の対象の位置に応じてキャラクタCを回転動作させてもよい。また、特定のキャラクタCに対して話掛ける場合には、そのキャラクタCをクリックすることによって、自身のキャラクタCと対話相手のキャラクタC(所定の対象)とが向き合うようにしてもよい。
【0124】
資料ウィンドウW9は、管理者、参加者全員等、事前に設定されユーザU1,U2,U3によって作成され得る。例えば、タスクバー(図示省略)での資料ウィンドウのクリックによって、資料ウィンドウW9を作成することができる。資料ウィンドウW9は、終了ボタン(図示省略)によって表示が終了されてもよい。
【0125】
資料ウィンドウW9の配置及びサイズは、管理者によって任意に設定可能である。管理者は、会議の場合、例えば、主催者である。資料ウィンドウW9のサイズの変更に応じて、キャラクタCのサイズも変更される。例えば、資料ウィンドウW9のサイズを大きくした場合には、キャラクタCのサイズを小さくする。キャラクタCは、画面G3において、資料ウィンドウW9の外側領域(余白)に表示される。資料ウィンドウW9のサイズを最大まで大きくした場合、キャラクタCのサイズは、10mm程度まで縮小され得る。資料ウィンドウW9は、画面G3において、全画面表示されてもよい。この場合、キャラクタCは、資料ウィンドウW9に重ねて表示される。また、各ユーザU1,U2,U3は、表示視点を任意に変更することができる。例えば、視点を3D回転させることができる。
【0126】
図17に示されるように、参加者が資料ウィンドウW9にテキストを記入する場合、どの参加者が記入しているのかが分かるように表示されてもよい。具体的には、資料ウィンドウW9にキャラクタCに対応するポインタを表示させ、資料ウィンドウW9に記入しているキャラクタCとポインタPとが対応していることが一見して分かるようにしてもよい。具体的には、例えば、ポインタPとキャラクタCとにハッチングを表示させたり、ポインタPとキャラクタCとを同じ色で表示させたりすることができる。
【0127】
また、図18に示されるように、参加者のキャラクタCのボディBが変形して資料ウィンドウCWとなってもよい。これにより、資料ウィンドウCWに記入しているキャラクタCを一見して認識することができる。資料ウィンドウW9から資料ウィンドウWCへの表示の切り替えは、キャラクタCを資料ウィンドウW9にドラッグ・アンド・ドロップ(ドラッグイン)することによって実行され得る。すなわち、資料ウィンドウW9にキャラクタCがドラッグ・アンド・ドロップされる操作を受け付けた場合、資料ウィンドウW9において表示の切り替えという所定の機能が実行される。資料ウィンドウWCには、ドラッグ・アンド・ドロップされたキャラクタCのユーザU1,U2,U3の資料等が表示されたり、ユーザU1,U2,U3が入力した内容が表示されたりする。
【0128】
資料ウィンドウWCは、どの参加者の表示であるのか(操作者が誰なのか)が分かるように表示されてもよい。具体的には、例えば、その参加者が一目瞭然で分かるように、参加者のキャラクタCの耳アニメーションE又はその類似デザインをウィンドウ外部や内部に設けたり、枠色や枠柄を設けたりすることができる。このとき、同色、同柄や、類似関連付けられるデザインの耳アニメーションEのウィンドウ外部への追加だけではなく、対応するウィンドウの枠等の色、柄等も、枠に太さを設けて、キャラクタCの色、柄と一致、類似させて関係付けられるようにしておくとよい。枠も完全な四角でなくて、若干の丸味あるデザインにしてもよい。また、資料ウィンドウWCには、ポインタP(図17参照)が表示されてもよい。ポインタPも同様に、色、枠、周辺、背景の色をキャラクタCの耳アニメーションEの色と同一、同系統色にしておくとよい。
【0129】
資料ウィンドウWCから資料ウィンドウW9への表示の切り替えは、資料ウィンドウWCに表示されているキャラクタCが資料ウィンドウWC以外の領域にドラッグ・アンド・ドロップ(ドラッグアウト)することによって実行され得る。すなわち、資料ウィンドウW9に対してキャラクタCがドラッグ・アンド・ドロップされた後、資料ウィンドウWCに表示されているキャラクタCを資料ウィンドウWC以外の領域にドラッグ・アンド・ドロップする操作を受け付けた場合、資料ウィンドウW9から資料ウィンドウWCへの表示の切り替えという所定の機能の実行を終了させる。また、資料ウィンドウWCに他のキャラクタCがドラッグ・アンド・ドロップ(ドラッグイン)された場合、他のキャラクタCの資料ウィンドウWCに表示が変更されてもよい。また、退出ボタン(図示省略)のクリックによって、資料ウィンドウWCから資料ウィンドウW9に表示が切り替えられてもよい。
【0130】
なお、キャラクタCのボディBの変形は、複数のパターンを有していてもよい。例えば、ボディBは、段階的に表示領域が大きくなるように変形してもよい。ユーザU1,U2,U3は、状況等に応じて、ボディBの変形パターンを変更することができる。また、資料ウィンドウに表示される資料に限定はなく、情報表示として、ペン入力ウィンドウ、映像ウィンドウ等に活用してもよい。特に、ペン入力において、ペン入力操作者の交代において、交代するキャラクタCを、ペン入力ウィンドウにドラッグ・アンド・ドロップしたときは、前のペン入力ウィンドウの状態が引き継がれ、追加書き込みできるようにしておくと、ペン入力の交代がスムーズにできる。
【0131】
図19に示されるように、会議の仮想空間Rの映像が表示される画面G5には、資料ウィンドウW10が表示されると共に、参加者のキャラクタCのボディBが変形した資料ウィンドウCWが表示されてもよい。資料ウィンドウCWは、上記のように、資料ウィンドウ(図示省略)にキャラクタCがドラッグ・アンド・ドロップされることによって表示され得る。資料ウィンドウWCから資料ウィンドウへ(図示省略)の表示の切り替えは、資料ウィンドウWCに表示されているキャラクタCが資料ウィンドウWC以外の領域にドラッグ・アンド・ドロップ(ドラッグアウト)することによって実行され得る。
【0132】
資料ウィンドウW10は、例えば、画面G5において、中央の上部に表示される。資料ウィンドウW10には、タブが設けられていてもよい。タブは、資料ウィンドウW10の右上に表示される「+」をクリックすることによって、追加することができる。図19に示す例では、三つ(「1」、「2」、「3」)のタブが表示されている。タブをクリックすることによって、資料ウィンドウW10における資料等の表示を切り替えることができる。キャラクタCのボディBで構成される資料ウィンドウCWは、例えば、画面G5において、中央の下部(資料ウィンドウW10の下方)に表示される。
【0133】
資料ウィンドウW10において、タブは、各キャラクタCに対応付けられていてもよい。例えば、タブの「1」は、ボディBに「1」が表示されているキャラクタC、タブの「2」は、ボディBに「2」が表示されているキャラクタC、タブの「3」は、ボディBに「3」が表示されているキャラクタCに対応付けられている。キャラクタCのユーザU1,U2,U3は、自身のタブの資料ウィンドウW10に、任意の表示をさせることができる。
【0134】
また、資料ウィンドウCWでは、キャラクタCの会話がテキスト化された会話テキストが表示されてもよい。言語が異なる場合は、自動通訳機能と連動させて、各参加者の指定した言語でテキスト表示することができる。これにより、耳アニメーションEを用いた非言語情報と異なる言語間での翻訳テキストとが表示される。したがって、ユーザU1,U2,U3の状態、感情、言葉(翻訳テキスト)の視覚支援での自動通訳会話を実現できる。
【0135】
会話テキストは、任意に選択して、資料ウィンドウW10にドラッグ・アンド・ドロップすることができる。ドラッグ・アンド・ドロップされた会話テキストは、キャラクタCに対応するタブのウィンドウに表示される。なお、キャラクタCの会話のテキスト化について、所定の言葉については、表示がされないようにしてもよい。所定の言葉は、例えば、「うん、うん」、「えーえー」、「なるほど」、「はい、はい」等である。所定の言葉が表示されないように設定される場合、所定の言葉によって、キャラクタCの耳アニメーションEが動作するようにしてもよい。また、資料ウィンドウCWを構成するキャラクタCの耳アニメーションEは、キャラクタCの音声の音量に応じて伸長してもよい。
【0136】
また、仮想空間Rにおいて、リアル画像ウィンドウ(図示省略)を表示させ、リアル画像ウィンドウにキャラクタCをドラッグ・アンド・ドロップすると、キャラクタCがユーザU1,U2,U3のリアル画像(映像)に変わる機能を有していてもよい。リアル画像をオフにすると、キャラクタCの表示に戻るようにしてもよい。なお、リアル画像に切り替わる場合には、事前に、表示される画像の事前確認(承認)を行うことが好ましい。すなわち、画面推移の承認ステップを設けるとよい。
【0137】
上記一連の操作、シーンの遷移は、キャラクタCにおける機能スイッチのクリックで実現してもよい。キャラクタC自体のドラッグによる「移動過程」や、キャラクタCのスイッチのクリックによるキャラクタCの「変身過程」を設けることによって、「状態遷移」を行い、感覚的、直感的操作によるシーン遷移を、時間感覚を有して実現できる。ここでいう、感覚的、直感的とは、画面上部のタイトルバー等から、表示されるキャラクタ操作とかけ離れた、画面操作板の操作ではなく、あくまでも、ユーザU1,U2,U3自身によるキャラクタCの目的移動、キャラクタC自体の操作により、次のシーンに切替操作できることに特徴がある。例えるなら、直感的な画面上での廃却物のゴミ箱移動か、非直感的なタイトルバーをクリックして、デリートキーを操作するかの違いと同じである。従来は、ファイル操作を対象としていたが、本実施形態では、リモート会議やメタバースで登場するキャラクタCにおける直感的操作を提供するものである。そして、非言語情報表出の耳アニメーションEを維持しながら遷移していくところにも特徴がある。
【0138】
続いて、報告会を一例に説明する。図20に示されるように、報告会の仮想空間Rの映像が表示される画面G6には、参加者ウィンドウW11及び資料ウィンドウW12が表示される。参加者ウィンドウW11には、報告会の参加者であるキャラクタCが表示される。参加者ウィンドウW11は、例えば、画面G6において下部に表示される。参加者ウィンドウW11において、キャラクタCは、背面を向くように表示される。参加者ウィンドウW11に表示されるキャラクタCの音声は、オフにされる。キャラクタCの表示数が多い場合(参加者の数が多い場合)には、参加者ウィンドウW11にスクロールバーSBが表示される。スクロールバーSBを操作することによって、参加している全てのキャラクタCを参加者ウィンドウW11において確認することができる。参加者ウィンドウW11に表示されるキャラクタCには、識別情報が表示されてもよい。識別情報は、例えば、役職、名前、イニシャル等であってもよい。
【0139】
資料ウィンドウW12には、資料等が表示される。資料等は、キャラクタCの活動の内容に基づくコンテンツである。すなわち、報告会において資料ウィンドウW12に表示される資料等は、キャラクタCの報告会への参加という活動において、報告会の内容(中身)を示すものである。資料ウィンドウW12は、例えば、画面G6において上部(参加者ウィンドウW11の上方)に表示される。報告会に参加する報告者のキャラクタCは、画面G6において資料ウィンドウW12の右側に表示される。なお、報告者のキャラクタCは、資料ウィンドウW12上に(資料ウィンドウW12にオーバーラップして)表示されてもよい。
【0140】
資料ウィンドウW12は、報告者が操作可能である。報告者は、所定の操作画面において、資料ウィンドウW12に表示させる表示内容を操作できる。操作画面は、例えば、報告者が資料ウィンドウW12をタップ(クリック)することで、報告者の出力部15に表示される。なお、参加者のキャラクタCを資料ウィンドウW12にドラッグ・アンド・ドロップすることによって、参加者に資料ウィンドウW12の操作権限が与えられるようにしてもよい。この場合、参加者ウィンドウW3から資料ウィンドウW12にキャラクタCが移動した場合、空席となった場所に所定の目印(識別情報等)が表示されてもよい。これにより、資料ウィンドウW12に移動したことによって、参加者ウィンドウW3において空席となった部分に、他のキャラクタCが座る(位置する)ことを回避できる。
【0141】
参加者ウィンドウW11及び資料ウィンドウW12の配置及びサイズは、管理者によって任意に設定可能である。管理者は、報告会の場合、例えば、主催者である。
【0142】
参加者ウィンドウW11では、キャラクタCは、参加者(ユーザU1,U2,U3)の属性によって区別可能に表示されてもよい。例えば、ハッチングの線種や色によって属性が区別され得る。参加者ウィンドウW11に表示されるキャラクタCは、表示サイズが変更可能である。参加者ウィンドウW11では、例えば、前列側(図示上側)に表示されるキャラクタCのサイズを大きくし、後列側(図示下側)に表示されるキャラクタCのサイズを小さくすることもできる。
【0143】
続いて、上記会議、報告会への参加方法の一例について説明する。主催者は、アプリケーションをダウンロードする。アプリケーションを開くと、図6に示されるように、選択画面G1が表示される。主催者が選択画面G1において「活動2」を選択すると、「会議」又は「報告会」の選択画面が表示される。主催者は、「会議」又は「報告会」を選択し、更に参加者を選択して、参加者に案内状を送信する。
【0144】
案内状には、会議等の説明、ID、パスワードが記載され得る。また、案内状には、URL又はカレンダー等が表示されてもよい。URL又はカレンダーをクリックすることによって、会議に参加することができる。なお、案内状には、会議への参加が初めてのユーザに対してのアプリケーションのダウンロードをサポートするための記載がされていてもよい。参加者は、会議等の時間になった場合、ID、パスワードの入力やURL等のクリックにより、会議等に参加する。
【0145】
仮想空間RにおけるキャラクタCの活動(会議、講演会等)は、録画することができる。録画は、管理者が行うようにしてもよいし、参加者全員がそれぞれに行うようにしてもよい。管理者が録画を行う場合、録画映像が参加者に対して公開されるようにしてもよい。ユーザU1,U2,U3は、録画映像によって、会議等を見直すことができる。
【0146】
(活動3)
続いて、活動3について説明する。活動3は、キャラクタCの一対一での活動であり、カウンセリング、コールセンターにおけるサポートや説明のやり取り、打ち合わせ、遠隔診療、個人レッスン等である。本実施形態では、活動3がカウンセリングである形態を一例に説明する。カウンセリングでは、カウンセラー及びクライアントのキャラクタCが参加し得る。図21に示されるように、カウンセリングの仮想空間Rの映像が表示される画面G7には、表示ボード(コンテンツ表示部)B1と、チャットボード(テキスト表示部)B2と、キャラクタCと、テーブルTと、が表示される。
【0147】
表示ボードB1には、カウンセリング内容等が表示される。カウンセリング内容等は、キャラクタCの活動の内容に基づくコンテンツである。すなわち、カウンセリングにおいて表示ボードB1に表示されるカウンセリング内容等は、キャラクタCのカウンセリングの受診という活動において、カウンセリングの内容(中身)を示すものである。表示ボードB1は、例えば、画面G7において上部に表示される。表示ボードB1には、タブが設けられていてもよい。タブは、表示ボードB1の右上に表示される「+」をクリックすることによって、追加することができる。図21示す例では、三つ(「1」、「2」、「3」)のタブが表示されている。タブをクリックすることによって、表示ボードB1における資料等の表示を切り替えることができる。
【0148】
表示ボードB1は、カウンセラーが操作可能である。カウンセラーは、所定の操作画面において、表示ボードB1に表示させる表示内容を操作できる。操作画面は、例えば、カウンセラーが表示ボードB1をタップ(クリック)することで、カウンセラーの出力部15に表示される。操作画面では、表示ボードB1に資料を表示させたり、手書きで入力したりすることができる。
【0149】
チャットボードB2には、テキスト化されたキャラクタCの会話内容を示す会話テキストがチャット形式で表示される。会話テキストは、ユーザU1,U2,U3の音声を音声認識処理によってテキスト化したものである。チャットボードB2には、ユーザU1,U2,U3の音声に基づいて作成される複数の会話テキストのうち、時系列において最新のものから所定数の会話テキストを表示させる。図21に示す例では、三つの会話テキストを表示させている。チャットボードB2は、例えば、画面G7において中央部(表示ボードB1の下方)に表示される。チャットボードB2では、会話テキストの近傍に、キャラクタCのマークが表示され得る。
【0150】
なお、チャットボードB2には、音声認識処理によってテキスト化されたテキストだけではなく、ユーザU1,U2,U3によってキーボード等から入力されたテキストが表示されてもよい。チャットボードB2において、入力されたテキストの表示は、音声発言を避けたいケースに有効である。例えば、会議中に離席、退席するとき、その旨を入力してチャットボードB2に表示させることによって、現状の対話への障害を低減して、参加者に離席、退席状況を伝えることができる。もちろん、他にも広い用途において使用することができる。例えば、控え目なコメントを伝達するシーン等にも活用できる。チャットボードB2は、音無しでのシーン提供や、音響付き、効果音付きでのシーン提供等、状況に応じて、音響のオンオフ機能、音響内容の選択、標準型の自動生成等、タイプ別に対応できるようにしておくとよい。
【0151】
キャラクタCは、例えば、画面G7において下部(チャットボードB2の下方)に表示される。例えば、カウンセラーのキャラクタCは、左側に表示され、クライアントのキャラクタCは、右側に表示される。キャラクタCは、テーブルTを介在させて、斜めに向き合うように配置される。
【0152】
図22に示されるように、キャラクタCの配置は、任意に設定することができる。具体的には、キャラクタCとキャラクタCとの間の距離L、キャラクタCが向き合う角度θ、及び、キャラクタCの回転角度を設定することができる。キャラクタCが向き合う角度θは、テーブルTの角度を調整することによって変更することができる。一方のキャラクタCの配置を変更した場合、他のキャラクタCの配置も連動して(一括して)変更されるようにしてもよい。また、キャラクタCのサイズも任意に設定することができる。キャラクタCのサイズは、二つのキャラクタCのそれぞれについて設定することができる。また、一方のキャラクタCのサイズを変更した場合、他方のキャラクタCのサイズも連動して変更されるようにしてもよい。また、各ユーザU1,U2,U3は、表示視点を任意に変更することができる。例えば、視点を3D回転させることができる。
【0153】
図23に示されるように、チャットボードB2に表示される会話テキストに対するユーザU1,U2,U3からの操作を受け付けた場合、会話テキストが表示ボードB1に表示される。例えば、ユーザU1,U2,U3がチャットボードB2に表示される会話テキストをクリックすると、クリックした会話テキストが表示ボードB1に表示される。なお、ユーザU1,U2,U3は、チャットボードB2に表示される会話テキストを表示ボードB1にドラッグ・アンド・ドロップしてもよい。
【0154】
図24に示されるように、表示ボードB1には、スクロールバーSBが設けられてもよい。これにより、表示ボードB1において、多くの情報を表示することができる。図25に示されるように、表示ボードB1は、テーブルT上に表示されてもよい。図26に示されるように、会話テキストは、キャラクタCのボディBにおいて表示されてもよい。なお、キャラクタCの背景は、カウンセラーが任意に設定することができる。背景は、カウンセリングに効果的な画像等が予め複数記憶されており、その中から選択して設定してもよいし、カウンセラーが作成してもよい。
【0155】
仮想空間RにおけるキャラクタCの活動(カウンセリングへの参加)は、録画することができる。録画は、カウンセラーが行うようにしてもよいし、クライアントが行うようにしてもよい。カウンセラーが録画を行う場合、録画映像がクライアントに対して公開されるようにしてもよい。ユーザU1,U2,U3は、録画映像によって、カウンセリングを見直すことができる。
【0156】
また、録画(録音)されたリアルな対面カウンセリングの映像(音声)に基づいて、仮想空間Rの映像が表示される画面G7が作成されてもよい。この場合、画面G7には、カウンセラー及びクライアントのキャラクタCが表示される。キャラクタCの耳アニメーションEは、音声に応じて動作してもよい。キャラクタCの音声は、ユーザU1,U2,U3の音声であってもよいし、ユーザU1,U2,U3の音声を変換したもの(ボイスチェンジしたもの)であってよい。また、画面G7には、録画されたカウンセラー及びクライアントの会話の内容に基づいて、チャットボードB2には、テキスト化されたキャラクタCの会話内容を示す会話テキストがチャット形式で表示される。作成された映像を見るユーザU1,U2,U3は、チャットボードB2に表示される会話テキストに対する操作によって、会話テキストを表示ボードB1に表示させることができる。
【0157】
仮想空間Rの映像は、カウンセリング後の振り返り観察に効果的であり、新しい気づきを得やすくなる。特に、チャットボードB2における会話(言葉)のテキスト化表示は、リアル対話での聴覚刺激だけでなく、視覚刺激にも作用し、より気付きを与え易くなることが期待できる。また、テキスト化もオフラインで行えるため、リアルタイム表示で課題となる遅延等を気にしなくてもよくなる。また、キャラクタCを用いることで、クライアント等の顔が出ない(カメラを用いない)ので、プライバシー保護にも効果的である。更に、ボイスチェンジャーを用いて、音声を出力させれば、より強いプライバシー保護ができる。従来、プライバシー保護の観点より、カウンセリングでの録音録画は、広く活用されていなかったが、本方式で、振り返りがやり易くなる。また、カウンセラーの指導としての、スーパーバイザーもやり易くなる。
【0158】
なお、キャラクタCの動作操作に関しては、リアル対話では実施しないが、音声による耳アニメーションEの伸長等の表現は、自動的に表現できる。また、一定時間沈黙が続いたときは、キャラクタCの色変化等でも強調表現できる。また、例えば、リストバンドに取り付けられた心拍モニター、身体揺れ等の加速度センサの計測値と統合させることで、定量的、客観的なデータとのリンク、分析ができる。
【0159】
(活動4)
続いて、活動4について説明する。活動4は、例えば、エンターテイメントである。エンターテイメントとしては、音楽演奏、ゲーム等が挙げられる。最初に、音楽演奏について説明する。
【0160】
音楽演奏では、演奏者のキャラクタCが参加し得る。図27に示されるように、音楽演奏の仮想空間Rの映像が表示される画面G8には、表示ボードB3が表示される。図27では、バンド演奏の例を示している。
【0161】
表示ボードB3には、楽譜等が表示される。楽譜等は、キャラクタCの活動の内容に基づくコンテンツである。すなわち、音楽演奏において表示ボードB3に表示される楽譜等は、キャラクタCの音楽演奏への参加という活動において、音楽演奏の内容(中身)を示すものである。表示ボードB3は、例えば、画面G8において中央に表示される。表示ボードB3の配置及びサイズは、任意に設定可能である。表示ボードB3において、楽譜は、演奏に応じて表示が変更(スライド)されてもよい。
【0162】
キャラクタCは、表示ボードB3の周囲に表示される。図27に示す例では、キャラクタCのボディBは、ギター、ドラム、ウッドベース、サックス、キーボードとなっている。すなわち、ギターのボディBのキャラクタCのユーザは、ギターを演奏する。同様に、ドラムのボディBのキャラクタCのユーザは、ドラムを演奏する。
【0163】
表示ボードB3のサイズの変更に応じて、キャラクタCのサイズも変更される。例えば、表示ボードB3のサイズを大きくした場合には、キャラクタCのサイズを小さくする。キャラクタCは、画面G8において、表示ボードB3の外側領域(余白)に表示される。表示ボードB3のサイズを最大まで大きくした場合、キャラクタCのサイズは、10mm程度まで縮小され得る。表示ボードB3は、画面G8において、全画面表示されてもよい。この場合、キャラクタCは、表示ボードB3に重ねて表示される。
【0164】
キャラクタCの耳アニメーションEは、ユーザU1,U2,U3の動作に応じて動作してもよい。ユーザU1,U2,U3の動作は、センサ等によって検出され得る。制御部12は、検出されたユーザU1,U2,U3の動作に基づいて、耳アニメーションEの制御データを生成する。
【0165】
図28に示されるように、音楽演奏の仮想空間Rの映像が表示される画面G9には、表示ボードB3が表示される。図28では、オーケストラ演奏の例を示している。
【0166】
キャラクタCは、表示ボードB3を囲うように表示される。図27に示す例では、キャラクタCのボディBは、バイオリン、クラリネット、ウッドベース、フルートとなっている。図28に示す例では、指揮者としてのキャラクタCが表示されている。指揮者であるユーザU1,U2,U3の指揮の動作は、センサ等によって検出され得る。制御部12は、検出されたユーザU1,U2,U3の指揮の動作に基づいて、耳アニメーションEの制御データを生成する。これにより、指揮者のキャラクタCの耳アニメーションEが指揮を行う。これにより、他のキャラクタCのユーザU1,U2,U3は、指揮を見ながら演奏することができる。
【0167】
続いて、ゲームについて説明する。ゲームでは、ゲームのプレーヤーのキャラクタC及び観覧者のキャラクタCが参加し得る。図29に示されるように、ゲームの仮想空間Rの映像が表示される画面G10には、表示ボードB4が表示される。図29では、囲碁の例を示している。
【0168】
表示ボードB4には、囲碁盤であるゲームボードが表示される。ゲームボードは、キャラクタCの活動の内容に基づくコンテンツである。すなわち、ゲームにおいて表示ボードB4に表示されるゲームボードは、キャラクタCのゲームへの参加という活動において、ゲームの内容(中身)を示すものである。表示ボードB4は、例えば、画面G10において中央に表示される。
【0169】
プレーヤーであるキャラクタCは、表示ボードB4を挟むように表示される。観覧者であるキャラクタCは、画面G10において上部に表示され得る。図30に示されるように、表示ボードB4は、配置及びサイズの変更が可能である。図30に示す例では、表示ボードB4を拡大して表示させている。表示ボードB4の拡大に応じて、キャラクタCのサイズは縮小され得る。
【0170】
仮想空間RにおけるキャラクタCの活動(音楽演奏、ゲーム等)は、録画することができる。録画は、管理者が行うようにしてもよいし、参加者全員がそれぞれに行うようにしてもよい。管理者が録画を行う場合、録画映像が参加者に対して公開されるようにしてもよい。ユーザU1,U2,U3は、録画映像によって、音楽演奏、ゲーム等を見直すことができる。
【0171】
(活動5)
続いて、活動5について説明する。活動1は、観光、鑑賞(スポーツ鑑賞、映画鑑賞、コンサート鑑賞)等である。最初に、観光を一例に説明する。観光では、観光者のキャラクタCが参加し得る。図31に示されるように、観光の仮想空間Rの映像が表示される画面G11には、表示ボードB5と、ムービングステージ(移動体)Sと、が表示される。
【0172】
表示ボードB5には、観光地等の映像が表示される。観光地等の映像は、キャラクタCの活動の内容に基づくコンテンツである。すなわち、観光において表示ボードB5に表示される観光地等の映像は、キャラクタCの観光という活動において、観光の内容(中身)を示すものである。表示ボードB5は、例えば、画面G11において上部に表示される。
【0173】
表示ボードB5は、観光の主催者が操作可能である。主催者は、所定の操作画面において、表示ボードB5に表示させる表示内容を操作できる。操作画面は、例えば、主催者が表示ボードB5をタップ(クリック)することで、主催者の出力部15に表示される。操作画面では、表示ボードB5に映像を表示させたり、表示させた映像に手書きで入力したりすることができる。
【0174】
表示ボードB5の配置及びサイズは、管理者によって任意に設定可能である。管理者は、観光の場合、例えば、主催者である。管理者の画面G11には、参加者の情報、ガイド情報等が表示されるようにしてもよい。
【0175】
ムービングステージSには、キャラクタCが配置される。ムービングステージSは、移動可能に設けられている。ムービングステージSは、ユーザU1,U2,U3によって操作される。すなわち、ユーザU1,U2,U3は、任意の位置にムービングステージSを移動させることができる。また、各ユーザU1,U2,U3は、表示視点を任意に変更することができる。例えば、視点を3D回転させることができる。
【0176】
図32に示されるように、観光の仮想空間Rの映像が表示される画面G12には、表示ボードB5と、複数のムービングステージSと、が表示される。図32に示す例では、観光者のキャラクタCの他に、ガイドのキャラクタCGが参加し得る。図32に示す例では、表示ボードB5に表示される映像等について、ガイドによる説明を受けることができる。このとき、ガイドの音声は、仮想空間RのキャラクタCの全員に伝えられる。また、一のムービングステージSに配置される一又は複数のキャラクタCの音声と、他のムービングステージSに配置される一又は複数のキャラクタCの音声とが互いに聞こえないようにすることができる。ガイドであるユーザU1,U2,U3は、状況に応じて、音声のオンオフを制御する。
【0177】
図33に示されるように、表示ボードB5は、画面G12において、全画面表示されてもよい。この場合、キャラクタC及びムービングステージSは、表示ボードB5に重ねて表示される。すなわち、表示ボードB3に表示される映像上に、キャラクタC及びムービングステージSが表示される。この場合、臨場感のある観光を実現することができる。
【0178】
続いて、絵画の鑑賞を一例に説明する。鑑賞では、鑑賞者のキャラクタCが参加し得る。図34に示されるように、鑑賞の仮想空間Rの映像が表示される画面G13には、表示ボードB6,B7と、ムービングステージSと、が表示される。図35に示されるように、例えば、表示ボードB6をクリックすると、表示ボードB8が表示される。表示ボードB8には、表示ボードB6に表示される絵画の解説が表示される。
【0179】
(活動6)
活動6は、例えば、映像作成等である。映像作成では、仮想空間における活動において、キャラクタCの耳アニメーションEを編集可能な映像として出力する。図36に示されるように、作成される仮想空間Rの映像が表示される画面G13には、例えば、表示ボードB9と、二つのキャラクタCと、が表示される。表示ボードB9には、様々なコンテンツが表示され得る。キャラクタCは、ポインタを用いて、表示ボードB9に表示される内容を説明する。キャラクタC毎に、ポインタを色分けすることができる。これにより、ポインタを使用して説明等を行っているキャラクタCを認識することができる。また、ポインタの表示、位置に対応させて、キャラクタCの向きを自動回転させてもよい。このように、ポインタの動きに対応(連動)してキャラクタCが回転することにより、説明の臨場感が増す。
【0180】
作成された映像においては、キャラクタCの耳アニメーションEの動作、キャラクタCの配置及びサイズ、表示ボードB9の配置及びサイズ、表示ボードB9に表示する内容を編集することができる。作成された映像は、動画の共有サービス等にアップロードすることができる。
【0181】
[効果]
以上説明したように、本実施形態に係るシステム100では、キャラクタCと、活動の内容に基づくコンテンツとを含む第一画面において、キャラクタCの動作動作に係る操作を行った場合には、それに応じて、第一画面のキャラクタCに対応するキャラクタCを含む第二画面に表示が遷移される。例えば、活動1において、ユーザU1,U2,U3の操作に応じて複数のキャラクタCの耳アニメーションEが挙手の動作を行った場合には、資料ウィンドウW4に代えて挙手者ウィンドウW5が表示される。挙手者ウィンドウW5には、耳アニメーションEが挙手の動作を行ったキャラクタCが、動作を行った順番に表示される。このように、システム100では、ユーザU1,U2,U3の意図する操作により動作するキャラクタCの動き応じた画面遷移を行うことができる。したがって、システム100では、仮想空間RでキャラクタCが活動を行う場合において、キャラクタCを使用するユーザU1,U2,U3の利便性の向上が図れる。
【0182】
キャラクタCの動作に係る操作とは、ユーザU1,U2,U2の自身のキャラクタCを移動させたり、キャラクタCに表示部を表示させたりすること等に加えて、キャラクタCの表示部にテキスト入力(キーボード入力、音声入力等)を行うことによって、他のキャラクタC(AIのキャラクタC等)に表示部が生成されること等も含み得る。また、ユーザU1,U2,U3の操作に応じて耳アニメーションEが動作するとは、ユーザU1,U2,U3の操作によって自身のキャラクタCの耳アニメーションEが動作することに加えて、ユーザU1,U2,U3の操作に応じて、他のキャラクタCの耳アニメーションEが動作する(反応する、連動する)ことも含み得る。ユーザU1,U2,U3のキャラクタCのテキスト入力、音声操作等に連動して、画面遷移や他のキャラクタCの耳アニメーションEの動作を誘起させることで、テキスト表示のみのコミュニケーションよりも、反応感、臨場感がより豊かな、ダイナミックなコミュニケーションを提供できる。
【0183】
第一画面に含まれるキャラクタC(以下、「第一キャラクタC」とも称する。)と、第二画面に含まれるキャラクタC(以下、「第二キャラクタC」とも称する。)とは、対応している。第一キャラクタCと第二キャラクタCとは、同じ形態(外観、形状)であってもよいし、異なる形態であってもよい。例えば、第一画面に含まれる第一キャラクタC及び第二画面に含まれる第二キャラクタCは、画面の遷移前と遷移後とにおいてボディBが同じ形態(例えば、図5のパターンAに示される状態)であってよい。例えば、第一画面に含まれる第一キャラクタCは、図5のパターンAに示される状態であり、第二画面に含まれる第二キャラクタCは、図18に示されるようにボディBが変形して資料ウィンドウCWとなっている状態であってもよい。また、例えば、第一画面に含まれる第一キャラクタCと第二画面に含まれる第二キャラクタC2とは、色や模様が異なっていてもよいし、機能が異なっていてもよい。要は、第一画面のキャラクタCと対応するキャラクタCが第二画面に含まれていればよい。
【0184】
なお、キャラクタCとは、耳を模した耳アニメーションEが、ユーザU1,U2,U3のアバターの構成要素になっているものを意味している。キャラクタCは、耳アニメーションEを通して、ユーザU1,U2,U3の状態、感情を表出する非言語情報手法を有する。キャラクタCでは、ユーザU1,U2,U3の顔情報の有無は問わない。
【0185】
本実施形態に係るシステム100では、活動1において、活動の主導者となるキャラクタCを表示させる司会者ウィンドウW1及びプレゼンターウィンドウW2と、活動の参加者となるキャラクタCを表示させる参加者ウィンドウW3と、を表示させる。司会者ウィンドウW1及びプレゼンターウィンドウW2に表示されるキャラクタCのサイズを、参加者ウィンドウW3に表示されるキャラクタCよりも大きく表示させてもよい。この構成では、講義資料について説明等を行う主導者のキャラクタCのサイズが大きく表示されるため、説明等を理解し易くなる。
【0186】
本実施形態に係るシステム100では、活動1において、参加者のキャラクタCの耳アニメーションEが挙手を示す動作を行った場合に、当該キャラクタCが参加者ウィンドウW3から移動して表示されると共に、当該キャラクタCの音声の仮想空間Rにおける出力が規制されている挙手者ウィンドウW5と、挙手者ウィンドウW5に表示されたキャラクタCの内の少なくとも一つのキャラクタCが挙手者ウィンドウW5から移動して表示されると共に、当該キャラクタCの音声を仮想空間Rにおいて出力することが可能である発話者ウィンドウW6と、を表示させる。挙手者ウィンドウW5から発話者ウィンドウW6にキャラクタCが移動したことに応じて、発話者ウィンドウW6におけるキャラクタCの音声の出力を可能にさせる。
【0187】
上記構成では、キャラクタCの耳アニメーションEが挙手を示す動作を行った場合に、当該キャラクタCが挙手者ウィンドウW5に表示されるため、主導者は、挙手を行ったキャラクタCを容易に認識できる。また、挙手者ウィンドウW5から発話者ウィンドウW6にキャラクタCが移動したことに応じて、音声の出力のオンオフが自動で切り替わるため、オンオフの作業を行う手間を省略できる。さらに、発話者ウィンドウW6に表示されるキャラクタCの音声のみが出力されるため、挙手者ウィンドウW5に表示される複数のキャラクタCの音声が同時に出力され、音声が聞き取れない等といった事態が生じることを抑制できる。
【0188】
本実施形態に係るシステム100において、活動1では、数十から数百人の学生が講義に参加し得る。この場合、仮想空間Rにおいて参加者全員の映像(リアル映像)を表示させたり、顔表情を有するアバターを表示させたりすると、伝送容量を相当量必要とする。これにより、動作が遅くなったり、映像が乱れたりする。これについて、システム100では、動的に変化する顔表情を含まないキャラクタCを表示させている。そのため、大人数が参加する講義等においても、伝送容量の低減が図れる。したがって、スムーズな活動が可能となる。また、学生等の映像を表示させる場合、学生等の状態や反応が確認し難い。これについて、システム100では、視認し易いキャラクタCの耳アニメーションEの動作によって、学生等の状態や反応が示される。したがって、システム100では、学生等の状態や反応を容易に確認できる。
【0189】
本実施形態に係るシステム100では、活動2~5等において、仮想空間Rに表示される複数のキャラクタCのうち、一のキャラクタCのサイズが変更された場合、他のキャラクタCのサイズも同様に変更させてもよい。この構成では、全てのキャラクタCのサイズが同様に変更されるため、仮想空間Rにおいて一体感のある活動を実現することができる。
【0190】
本実施形態に係るシステム100では、活動2において、資料ウィンドウW9に対してキャラクタCをドラッグ・アンド・ドロップする操作を受け付けた場合、資料ウィンドウW9において所定の機能が実行される。具体的には、資料ウィンドウW9が、キャラクタCのユーザU1,U2,U3が操作可能な資料ウィンドウWCに変更される。この構成では、キャラクタCをドラッグ・アンド・ドロップするという、キャラクタCの移動を伴う操作を行うことによって、単なるボタンクリックと異なり、キャラクタCの移動時間感覚、移動動作において、参加する気持ち、新しいシーン切り替え等への感情移入がし易くなる効果が期待できる。この操作は、例えば、画面でのごみ箱にドキュメントをドラッグして、廃却する雰囲気感と似ていると考えられる。素早く処理をするためには、消去クリック動作が好ましいが、慎重に心を込めて、イベントを生成させるときには、動作時間を有した方が、より自然感覚に対応して、シーン移動への準備感覚の生成ができるとも考えられる。
【0191】
なお、シーン切り替えや、耳アニメーションEの変化の内容に応じて、効果音、短いBGM等の聴覚刺激又は音響等を併用すると、シーン発生、切り替えの伝達性及び認知性の向上が期待できる。変化の内容について、音響を対応させておくことで、音を通して、変化の認識が容易にできるようになり、コミュニケーションをより豊かにしてくれる。
【0192】
本実施形態に係るシステム100では、活動2において、資料ウィンドウW9に対してキャラクタCがドラッグ・アンド・ドロップされた後、資料ウィンドウWCに表示されているキャラクタCを資料ウィンドウWC以外の領域にドラッグ・アンド・ドロップする操作を受け付けた場合、所定の機能の実行を終了させる。具体的には、資料ウィンドウWCから資料ウィンドウW9に表示を変更する。この構成では、キャラクタをドラッグ・アンド・ドロップするという、キャラクタCの移動を伴う操作を行うことによって、退席処理、退席感覚を生成させることができる。
【0193】
本実施形態に係るシステム100では、活動3の仮想空間Rにおいて、コンテンツを表示する表示ボードB1と、キャラクタCの音声をテキスト化した会話テキストを表示するチャットボードB2と、を表示させる。チャットボードB2には、キャラクタCの音声に基づいて作成される複数の会話テキストのうち、時系列において最新のものから所定数の会話テキストが表示される。この構成では、カウンセリングにおいて、カウンセリングの目的となるコンテンツ(相談内容等)や会話の内容を確認しながら、カウンセリングを進めることができる。したがって、有効なカウンセリングを実現できる。
【0194】
また、仮想空間Rにおけるカウンセリングでは、キャラクタCを用いている。これにより、クライアントが顔を出したくない場合であっても、耳アニメーションEによって、クライアントのうなずき、同意、質問等の非言語情報を表出させることができる。また、キャラクタCは、動的に変化する目を有さないので、カウンセラー及びクライアントは、互いの視線を気にすることなく、画面を見ることができる。画面においては、キャラクタCの音声に基づく会話テキストがチャットボードB2に表示されるため、キャラクタCの発言に注目することができる。
【0195】
また、チャットボードB2に表示される会話テキストは、対話の進行と共に表示されなくなる。カウンセリングでは、対話でのキーワードとなる言葉を抽出して、深めていくことが重要である。言葉の抽出は、対話の流れにできる限り支障を与えないで行うことが好ましい。そこで、システム100では、チャットボードB2に表示される会話テキストに対するユーザU1,U2,U3からの操作を受け付けた場合、会話テキストを表示ボードB1に表示させる。これにより、会話において発生した新たな事項や、重要な事項等を表示ボードB1に表示させることができる。そのため、対話の流れに支障を与えることなく、言葉を抽出することができる。
【0196】
本実施形態に係るシステム100では、活動4において、表示ボードB3の周囲にキャラクタCを表示させる。システム100では、ユーザU1,U2,U3の動作を検出し、ユーザU1,U2,U3の動作に基づいて耳アニメーションEを動作させてもよい。この構成では、キャラクタCが楽器を演奏する場合に、実際にユーザU1,U2,U3が楽器を演奏する際のリズムを耳アニメーションEに反映させることができる。これにより、音楽演奏において、一体感、臨場感のある活動を実現することができる。
【0197】
本実施形態に係るシステム100では、活動5において、一又は複数のキャラクタが配置されると共に、仮想空間Rにおいて移動可能に設けられている一又は複数のムービングステージSを表示させる。この構成では、仮想空間Rにおいて、キャラクタCをムービングステージSに乗せて移動させることができる。これにより、例えば、観光、美術館鑑賞等の活動を、ムービングステージSに乗りながら行うことができる。ムービングステージSに乗って移動することによって、臨場感を得ることができる。また、複数のキャラクタCがムービングステージSに乗って移動することによって、一体感を得ることができる。
【0198】
本実施形態に係るシステム100では、活動5において、複数のムービングステージSのそれぞれに複数のキャラクタCが配置される場合において、一のムービングステージSに配置される複数のキャラクタCの音声と、他のムービングステージSに配置される複数のキャラクタCの音声とが互いに聞こえないようにしてもよい。この構成では、ムービングステージSに乗るキャラクタCのグループ毎に会話をすることができる。したがって、他のグループのユーザU1,U2,U3を気にせずに会話をすることができる。
【0199】
本実施形態に係るシステム100では、活動6において、仮想空間Rにおける活動を、キャラクタCのアニメーションを編集可能な映像として出力する。この構成では、活動を映像として作成した後、アニメーションを編集することができる。そのため、映像の後編集において、キャラクタCの耳アニメーションEの演出を追加したり変更したりすることができる。
【0200】
本実施形態に係るシステム100では、仮想空間RにおけるキャラクタCの活動を録画して出力する。この構成では、仮想空間Rにおけるキャラクタの活動を後から見直すことができる。
【0201】
本実施形態に係るシステム100では、キャラクタCが所定の対象を注視していることを想像させるように、所定の対象の位置に応じてキャラクタCを回転動作させる。この構成では、画面推移や、キャラクタCの形態、状態、及び機能の少なくとも一つ以上の変化に対応して、所定の対象を注視している(所定の対象の方向に注目している)ことを想像させるようにキャラクタCが回転動作する。これにより、人における関心対象や、変化対象に対する視線移動、姿勢変化のように、所定の対象を注視している、関心があることを想像させる。キャラクタCの回転動作が、視線や姿勢変化と同様な非言語コミュニケーション効果となり、対話に対する積極的な関心を表出する。したがって、対話に対する反応感の向上、臨場感の向上等、豊かなコミュニケーションを実現できる。
【0202】
なお、本実施形態におけるキャラクタCの回転動作とは、キャラクタCの耳アニメーションEの回転によって表出されてもよいし、キャラクタCのボディBの回転によって表出されてもよい。回転方向は、必ずしも注視領域の中心に限定されない。本実施形態での注視とは、例えば、所定の対象が人である場合を一例に説明すると、対象とする相手の目の凝視ではなく、相手の胸元、相手の概ねの方向等、所定の対象の方向を想起させる注視でもよい。回転角度は、注視領域方向への回転によって関心の雰囲気が伝われば小さくてもよい。
【0203】
以上、本開示の実施形態について説明してきたが、本開示は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。
【0204】
上記実施形態では、耳アニメーションEを、「うなずき」、「同意」、「賞賛(拍手)」、「質問」、「挙手」又は「驚き」の何れかで動作させる形態を一例に説明した。しかし、ユーザの動作に応じた耳アニメーションEの動作はこれに限定されない。耳アニメーションEの動作は、他の動作であってもよいし、更に他の動作を含んでいてもよい。耳アニメーションEの折れ曲がり角度や速さは、適宜設定(変更)することができる。これにより、機微な感情を表出ができると共に、その感情表出の強度の調整(強め、弱め)もできる。耳アニメーションEにおいて、動作の強度を強めに設定した場合、例えば、感情表現の苦手な人の非言語情報表出を、耳アニメーションEの動作の内容、強度、速度表出で支援できる。また、非言語情報表現の異なる文化間のコミュニケーションに対しても、ユーザU1,U2,U3の文化に対応して、動作形態を変換する設定もできる。
【0205】
上記実施形態では、操作装置50によってユーザU1,U2,U3の手H又は指Fの動作を検出する形態を一例に説明した。しかし、ユーザU1,U2,U3の手H又は指Fは、画像センサ(カメラ、レーザ等)によって検出してもよい。
【0206】
また、耳アニメーションEの動作は、基本的にはユーザU1,U2、U3の操作に基づいて実行されるが、ユーザU1,U2,U3の表情(カメラによる顔認識)、ユーザU1,U2,U3の音声、AI(Artificial Intelligence:人工知能)による表出制御等を組み合わせてもよい。
【0207】
キャラクタCの操作は、人に限らず、AI(Chat GPT、Siri(登録商標)、Googoleアシスタント(登録商標)、Alexa(登録商標)、Cortana(登録商標))が行ってもよい。すなわち、キャラクタCを操作するユーザがAIであってもよい。ユーザとは、キャラクタCを操作する対象を意味する。AIが話す言葉が、テキストとして表示され、その時のAIの状態、感情に対応する動作を耳アニメーションEで表出させる。例えば、AIが理解して「OK」のときは、AIの耳アニメーションEにおいて「OKマーク」、AIが理解できない「NG」ときは、AIの耳アニメーションEにおいて「NGマーク」の動作をさせる。AIが良い提案を見つけたときは、耳アニメーションEにおいて「拍手」の動作や耳アニメーションEが二つのビックリマークに変化する動作をさせてもよい。通話相手の感情をAIが読み取って、耳アニメーションEの動作で反応させてもよい。AIは、本来の固有の顔情報、姿情報は有していないので、AIの非言語情報を耳アニメーションEで表出することは、コミュニケーションを創造的に豊かにできる。
【0208】
耳を模したアニメーションは、耳そのものに限られず、耳に類似したアニメーションであってもよい。耳を模したアニメーショは、耳を連想させるようなデザインであってもよい。耳を模したアニメーションは、耳を基本形として、耳から変形するものであってもよい。
【0209】
上記実施形態において、操作装置は、加速度及び角速度を検出できるものであればよい。操作装置は、例えば、耳アニメーションEを表示するディスプレイ(表示部)を有する携帯電話機(スマートフォン等)であってもよい。携帯電話機である場合、操作装置50と同様に携帯電話機を操作することによって、動作データが生成される。
【0210】
上記実施形態では、端末10、端末20及び端末30において制御データを生成する形態を一例に説明した。しかし、制御データは、サーバ40によって生成されてもよい。この構成では、端末10、端末20及び端末30は、動作データをサーバ40に送信し、サーバ40は、動作データに基づいて、制御データを生成する。
【0211】
上記実施形態では、端末10,20,30にボディB及び耳アニメーションE等が表示される形態を一例に説明した。しかし、端末がウェアラブル端末、ヘッドマウントディスプレイ(HMD)端末である場合には、ボディB及び耳アニメーションE等がレンズ等に表示されてもよいし、ホログラムで表示されてもよい。すなわち、サイバー空間において、キャラクタCを表示させる。サイバー空間には、VR(Virtual Reality:仮想現実)、AR(Augmented Reality:拡張現実)、MR(Mixed Reality:混合現実)が含まれ得る。
【0212】
上記実施形態では、図18に示される例において、資料ウィンドウW9から資料ウィンドウWCへの表示の切り替えが、キャラクタCを資料ウィンドウW9にドラッグ・アンド・ドロップ(ドラッグイン)することによって実行される形態を一例に説明した。しかし、資料ウィンドウへの表示の切り替え、すなわちボディBに表示部を表示させる方法は、他の方法によって行われてもよい。
【0213】
例えば、図37のパターンAに示されるように、キャラクタCのボディBをクリック(タッチ)することにより、ボディBに「+」マークM1が表示される。図37のパターンBに示されるように、ボディBに表示された「+」マークM1を外側に向けてドラッグすると、ボディBが拡大され、ボディBに表示部Dが形成(表示)される。図37のパターンCに表示されるように、「+」マークM1を更に外側に向けてドラッグすると、ボディBが例えば略矩形状に変形し、所定サイズの表示部Dが表示される。ボディBのサイズを変更(拡大、縮小)することによって、表示部Dのサイズを適宜設定(調整)することができる。表示部Dは、資料を表示したり、ホワイトボードとして機能したりする。具体的には、表示部Dは、資料、画像、テキスト、カメラ画像、ユーザ自己像、ペン入力ホワイトボード等が、選択されて表示される機能を有している。
【0214】
図38に示されるように、図37のパターンCに示される状態から、「+」マークM1を更に外側に向けてドラッグすることにより、複数(二つ)の表示部D1,D2が表示されてもよい。図38に示される例では、表示部D1には、資料等やユーザU1,U2,U3が入力した入力内容を表示し、表示部D2には、表示部D1に表示される表示内容の翻訳文を表示してもよい。
【0215】
表示部D1,D2の配置、サイズ等は、適宜設定することができる。ボディBが表示部D(D1,D2)として機能する形態(ボディBが表示部となる形態、ボディBに表示部が表示される形態)では、図18に示されるように、ボディB全体が表示部となり、ボディBの上部に耳アニメーションEが表示されてもよいし、図37のパターンCに示されるように、変形後のボディBの上部に、変形前のボディBの一部(半円形状の部分)及び耳アニメーションEが表示されてもよい。図37のパターンCに示される例では、ボディBの一部及び耳アニメーションEが帽子のような形状を呈しており、ボディBの上部に帽子が被されるように配置される。ボディBの一部の形状は、半円形状に限られず、矩形状等であってもよい。図37のパターンCに示される例のように、耳アニメーションEと変形前のボディBの一部とを表示し、ボディBにおいて変形しない部分を一部残すことにより、ボディBの変形前と変形後とにおける繋がりを認識し易くなる効果が得られる。
【0216】
図39に示されるように、表示部D1,D2が表示された二つのキャラクタCは、対話するように表示されてもよい。キャラクタC(ユーザU1,U2,U3)同士の対話において、表示部D1,D2には、会話テキスト等が表示され得る。表示部D1,D2には、ユーザU1,U2,U3の音声データを取得し、データをAIとリンクさせて、会話に応じた図、テキスト、動画、カメラ画像、カメラで撮影した動画自己像、静止画自己像又は音声に対応したテキスト等を自動的に、又は、手動操作で表示させてもよい。例えば、医者と患者との対話において、白内障手術の説明の際、会話内容に基づいて、眼球構造が医者のキャラクタCの表示部D2に自動で表示される。これにより、患者は、眼内レンズと水晶体の交換説明をより理解し易くなる。このように、キーワード、キーセンテンスに基づいて、AI活用により、最適な図、文章、音楽、動画、静止画、サイト等が、説明者のキャラクタCの表示部D1,D2に自動で表示、出力されることによって、対話がダイナミックに効率的に構成できる。
【0217】
また、ボディBに表示部を表示させる別の方法として、図40のパターンAに示されるように、キャラクタCのボディBの上部側(耳アニメーションE側)をクリック(タッチ)することにより、ボディBに例えば「+」マークM2が表示される。図40のパターンBに示されるように、ボディBに表示された「+」マークM3をドラッグすると、ボディBが拡大され、ボディBに表示部Dが形成(表示)される。図41のパターンAに示されるように、表示部Dに表示された「+」マークM3を更にドラッグすると、図41のパターンBに示されるように、表示部Dが拡大される。
【0218】
図42のパターンAに示されるように、キャラクタCのボディBの上部側(耳アニメーションE側)を再度クリック(タッチ)することにより、ボディBに「+」マークM2が表示される。ボディBに表示された「+」マークM2をクリックすることにより、新たな表示部D2が形成される。図42のパターンBに示されるように、表示部D1,D2に表示された「+」マークM3,M4を更に外側に向けてドラッグすると、表示部Dが拡大される。
【0219】
図43に示されるように、表示部D1,D2には、機能ボタンFBが表示されてもよい。機能ボタンFBは、一又は複数表示され得る。機能ボタンFBをクリックすることによって、表示部D1,D2における機能を切り替えることができる。機能ボタンFBとしては、例えば、資料表示ボタン、手書き入力ボタン、翻訳ボタン、AIサーチボタン等が含まれ得る。各表示部D1,D2において、選択された機能ボタンFBの機能が発揮される。例えば、表示部D1において機能ボタンFBとして資料ボタンが選択されると、表示部D1にパソコン等の画面が表示され、資料を選択して表示させることができる。例えば、表示部D1において機能ボタンFBとして手書き入力ボタンが選択されると、表示部D1に手書き入力のためのツール(ペン、ペンの色・太さ選択、消しゴム等)が表示される。例えば、表示部D2において翻訳ボタンが選択されると、表示部D2に翻訳文が表示される。例えば、表示部D2においてAIサーチボタンが選択されると、表示部D2に、会話に応じた図、テキスト、動画、静止画又は音声等が自動的に表示、出力される。
【0220】
上記のように、ユーザU1,U2,U3によってボディBを拡大(縮小)する操作により、表示部D(D1,D2)を表示させる等の機能変化要素が加わる。そのため、視覚的な対話を容易に提供できると共に、その変化に面白味が生じ、対話が楽しくなる。ユーザU1,U2,U3によるボディBの操作のため、周囲の参加者も含めて、視覚的に分かり易くできる。また、キャラクタCのボディBの変身による表示部D(D1,D2)の生成は、マルチに表示したりサイズを変更したりする等、ボディBに表示される「+」マークのドラッグで自在に容易に配置できるようにしておくことにより、ユーザーインターフェースが著しく向上する。そのため、対話の視聴覚支援ツールとしての効用が高い。
【0221】
また、キャラクタCは、仮想空間における特定場所、パビリオン、教室、図書館、食堂等、様々な場所(環境、シチュエーション)において、ボディBが場所や属性等に応じて自動で変身(変形)してもよい。ボディBの変身としては、形態(形状)の変化、色の変化、デザイン(模様等)の変化等がある。このように、場所等に応じてボディBが変身することにより、その場の雰囲気をより一層体感することができる。ボディBの変身の可否は、ユーザU1,U2,U3が設定することができる。また、キャラクタCが変身する際、複数の態様が表示されて、選択できるようにしておいてもよい。
【0222】
また、キャラクタCは、仮想空間において、アバターと一体化されてもよい。図44のパターンAに示されるキャラクタCは、図44のパターンBに示されるように、例えば、アバターABと一体的に表示されてもよい。アバターABは、顔表情を含んでいてもよいし、顔表情を含んでいなくてもよい。この場合、キャラクタCの一部、例えば耳アニメーションEを含むボディBの上部は、アバターABの上部に付加される。耳アニメーションEだけではなく、ボディBの一部(例えば、半円形状の部分、識別情報)も一緒に付加することにより、キャラクタCの変身をスムーズに行うことができ、変身しても、元の識別性を与えていたデザインの一部を受け継ぐことで、識別の連続性、視認性を維持実現でき、変身による識別に関する違和感を軽減できる。
【0223】
アバターABに付加される部分は、耳アニメーションE及びボディBの一部に限られず、耳アニメーションEのみであってもよい。また、アバターABに付加される部分は、耳アニメーションEを有する基礎体、支持体等、例えば帽子や耳アニメーションEを有するヘッドフォン等であってもよい。帽子の形状は、様々な形状(シルクハット、野球帽、王冠、ヘルメット等)を採用することができる。帽子形態によって、アバターABを識別することが可能となる。帽子にテキスト情報、名前、ニックネーム、属性、マーク、又は、特定できるNFTが表示されてもよい。これにより、アバターABの識別性がより向上する。
【0224】
上記のように、アバターABに耳アニメーションE(ボディBの一部、帽子を含む)を付加することにより、アバターABを使用する場合であっても、耳アニメーションEの機能を維持させることができる。このように、耳アニメーションE及びアバターABの融合により、アバターABにおいて非言語コミュニケーションの強化を図ることができると共に識別情報を表出させることができる、その場に適したブランドに対応できる。また、デザイン及び機能は、NFT(Non-Fungible Token)と融合することにより、サービスをより拡大できる。
【0225】
なお、キャラクタCは、人型のアバターABに限らず、顔表情の無い車やディスプレイ等の「モノ」に適用してもよい。「モノ」に耳アニメーションEを適用することによって、「モノ」に生き物感覚を付与することができる。キャラクタCは、「モノ」ではなく、NFT等のデザイン、ブランド等マーク、映像、画像、テキスト情報に耳アニメーションEを付加したものであってもよい。このように、耳アニメーションEを含むモノ等が特定の集団、属性、識別表示として一定の役割、効果を有すれば、キャラクタCとして広く適用できる。
【0226】
また、ボディBに表示部を表示させる別の方法(形態を変化させる方法)として、キャラクタCの通常状態(表示部が表示されていない状態)からボディBに表示部を表示させるときに、他のアニメーションを表示させてもよい。図45に示されるように、例えば、キャラクタCの通常状態(以下、「第一形態」とも称する。)とボディBに表示部が表示された状態(以下、「第二形態」とも称する。)との間に、煙、雲、竜巻(つむじ風)等のアニメーションAMを表示させてもよい。アニメーションAMは、第一形態及び第二形態とは外観が異なるものあればよく、様々なアニメーションを採用することができる。
【0227】
このように、第一形態と第二形態との間にアニメーションAMを表示させることにより、第一形態から第二形態に即座に(急激に)変化する印象を緩和できる。この場合、例えば、第一形態から第二形態への変化に対するユーザU1,U2,U3の違和感を軽減できる効果が得られる。
【0228】
第一形態と第二形態とは、形態の変化の前後において、ユーザU1,U2,U3を特定できるようにしておくことが好ましい。例えば、図46に示されるように、第一形態と第二形態とにおいて、ボディBに表示される識別情報(名前、イニシャル、特定デザイン(NFT、模様等)、ブランドマーク)を同じものとすることができる。また、第二形態において、第一形態と同様のボディBの形状とすることができる。すなわち、第二形態においては、第一形態と同様のボディBの形状を維持しつつ、表示部Dが表示される。また、第一形態と第二形態とにおいて、同じ色とすることができる。
【0229】
図47のパターンAに示されるように、第二形態において、ボディBに顔画像(映像)を表示してもよい。顔画像の表示は、例えば、カメラ等の撮像装置によって得られたユーザU1,U2,U3の顔を含む画像から、AI等による顔認識によって顔部分を取得し、当該顔部分をボディBに表示させることにより実現される。また、図47のパターンBに示されるように、第二形態において、ボディBにより形成される枠部分に、名前等の識別情報を表示してもよい。
【0230】
上記のように、第一形態から第二形態に変化する場合においては、第一形態と第二形態とにおいてユーザU1,U2,U3の同定し易さが維持されることが好ましい。ここで、人間の視野角は、一般には120°程度である。画面において情報を読み取る等、高性能を求める場合は、10°以内の視野角に鮮明な視野(中心視野)がある。そのため、画面を観察するとき、画面全面での情報を読み取り、注意を行き届かせることは困難である。例えば、画面から50cm~60cm離れた位置において、中心視野の視野角を10°とすると、直径8cm~10cm程度の領域に相当する。このように、画面において情報を読み取る場合には、視野角は、10°以内であることが好ましい。視野角を10°とすることが困難である場合であっても、できる限り視野角を小さくすることが好ましい。
【0231】
視野角を10°以内、又は、視野角をできる限り小さくするためには、キャラクタCと表示部との単なる結合でなく、第一形態と第二形態とにおいて、識別情報(同定情報)を維持すると共に、キャラクタC全体としての同定性を維持して、キャラクタCにおいて表示部Dを一体的に表示することが好ましい。そのため、図46又は図47に示される例のように、キャラクタCと同じ色、デザインによって、表示部Dの周囲の枠を形成したり、ボディBの一部、例えば、上部に識別情報となる名前、イニシャル、特定デザイン(NFT、模様等)、ブランドマークを、枠デザインの一部として表示したりすることが好ましい。
【0232】
例えば、画面にキャラクタCと翻訳文とが表示される場合、広い視野角の領域では、キャラクタCの耳アニメーションEの変化と翻訳文の文字とを同時に読み取ることは難しい。例えば、図48に示されるように、キャラクタCと翻訳文等が表示されるが表示ウィンドウW13とが別に表示される場合、視野角が大きくなるため、キャラクタCの耳アニメーションEの変化と翻訳文の文字とを同時に読み取ることが難しくなり得る。また、図49に示されるように、例えばプレゼンターとなるキャラクタCの下部に表示ウィンドウW14が表示される場合、図48に示す例よりも視野角は小さくなるものの、視野各は10°よりも大きくなる。図50に示されるように、アバターABと一体的に表示されているキャラクタCと表示ウィンドウW15とが表示される場合、視野角が大きくなる。
【0233】
図51に示される例のように、キャラクタCにおいて、ボディBに表示部Dが表示される場合には、キャラクタCと表示ウィンドウとを別に表示する場合に比べて、耳アニメーションEと表示部Dに表示されるテキスト情報とが近い位置に表示されるため、視野角が小さくなる。そのため、視認性が向上し、情報処理がし易くなる。その結果、耳アニメーションE(非言語情報)とテキスト情報とを同時に理解することができる。さらに、キャラクタCにおいて、ボディBに表示部Dが表示されて一体化されている構成では、キャラクタCと表示ウィンドウとを別に表示する構成よりも、耳アニメーションEとテキスト情報との一体感が向上し、より親しみと、躍動感が向上することも期待できる。
【0234】
今後、AIによる同時通訳技術の普及により、世界中において、異言語でのコミュニケーションが日常的に普及すると予測される。耳アニメーションEと通訳文を表示する表示部Dとが一体的に表示されるキャラクタCは、異言語でのコミュニケーションを実現するためのアプリケーションとして期待できる。特に、GX(グリーントランスフォーメーション)の視点からも、伝送容量の低減(エネルギーの低減)には、リアルな動画である顔情報を常時表示すのではなく、耳アニメーションEによって非言語表現を表出させることが、伝送容量の削減には大きく有効である。なお、顔情報認識が必要な場合は、図47に示されるように、キャラクタCのボディBに顔の静止画等を表示することができる。
【0235】
また、ボディBに表示部を表示させる別の方法として、図52に示されるように、複数のキャラクタCが表示されている画面G14において、キャラクタCをクリック(タッチ、選択)してもよい。画面G14は、例えば会議の活動において表示される画面である。画面G14には、キャラクタCが表示される参加者ウィンドウW16と、操作ウィンドウW17と、が表示される。参加者ウィンドウW16には、会議に参加しているキャラクタCが表示される。キャラクタCのボディBには、参加者を識別可能な情報(例えば、「A」~「H」)が表示される。操作ウィンドウW17には、キャラクタCにおける耳アニメーションEの動作パターンが複数表示される。ユーザU1,U2,U3は、操作ウィンドウW17に表示されている動作パターンの一つをクリックする。これにより、ユーザU1,U2,U3のキャラクタCの耳アニメーションEが所定のパターンで動作する。
【0236】
画面G14において、ユーザU1,U2,U3が自身のキャラクタCをクリックすると、図53に示されるように、キャラクタCの近傍に機能選択ウィンドウW18が表示される。機能選択ウィンドウW18は、キャラクタCの近傍に吹き出しのようにポップアップ表示される。機能選択ウィンドウW18には、キャラクタCにおいて実行させる複数の機能が表示される。機能選択ウィンドウW18には、例えば、「プレゼン」、「自己像」及び「デザイン」の機能が表示される。「プレゼン」の機能が選択されると、ボディBに表示部D(図54)が表示される。「自己像」の機能が選択されると、ボディBにユーザU1,U2,U3の顔画像(映像)が表示される。顔画像の表示を停止する場合には、「自己像」の機能を再度選択する。「デザイン」の機能が選択されると、キャラクタCのデザインを設定(変更)する画面が表示される。デザインの設定画面では、キャラクタCに表示されるテキスト(「A」等)、キャラクタCの色等を設定できる。
【0237】
機能選択ウィンドウW18において、「プレゼン」を選択すると、図54に示されるように、キャラクタCのボディBに表示部Dが形成(表示)される。キャラクタCのボディBには、識別情報が表示される。表示部Dを有するキャラクタC(「A」)は、参加者ウィンドウW16において、拡大して表示される。他のキャラクタC(「B」~「H」)は、縮小して表示される。他のキャラクタC(「B」~「H」)は、例えば、参加者ウィンドウW16の上部に並んで配置される。キャラクタCのボディBに表示部Dには、プレゼンの資料等が表示される。
【0238】
ボディBには、「+」マークM5と、「×」マークM6と、が表示される。「+」マークM5をドラッグすると、表示部Dを拡大又は縮小できる。「×」マークM6をクリックすると、ボディBの表示部Dの表示が終了する。この場合、図52に示される参加者ウィンドウW16の表示に戻る。
【0239】
上記に示す例では、機能選択ウィンドウW18を表示し、機能選択ウィンドウW18において「プレゼン」をクリックすることにより、キャラクタCのボディBに表示部Dを表示させる形態を一例に説明した。しかし、キャラクタCのボディBに表示部Dを表示させる方法は、他の方法であってもよい。例えば、表示部Dは、ユーザU1,U2,U3の音声に基づいて表示されてもよい。具体的には、ユーザU1,U2,U3が話を始めると、自動的に、キャラクタCのボディBに表示部Dが表示されてもよい。この場合、「うんうん」、「なるほど」等の相槌言葉の全てにおいて表示部Dを表示させると、画面表示が頻繁に切り替わり、ユーザU1,U2,U3が違和感を覚えることがある。そのため、例えば、ユーザU1,U2,U3が5秒以上連続して発話した場合に、ボディBに表示部Dを表示するように設定してもよい。また、他の方法として、キーボード等のスペースバーを押下すると、キャラクタCのボディBに表示部Dが表示されるようにしてもよい上記のように、ボディBへの表示部Dの表示は、対話障害にならない操作レベルでの手動操作、状況に応じた自動化によって行われればよい。
【0240】
上記実施形態では、ユーザU1,U2,U3によってキャラクタCが操作される形態を一例に説明した。しかし、上記のように、キャラクタCの操作は、AIが行ってもよい。仮想空間Rには一又は複数のキャラクタCが表示され、一又は複数のキャラクタCのうちの少なくとも一つのキャラクタCが、AIによって操作される。AIによって操作されるキャラクタCに対応する表示ウィンドウ(表示部)W21(図56参照)が表示されてもよい。表示ウィンドウW21には、AIによって生成されたテキスト、当該テキストに関連する静止画、当該テキストに関連する動画、当該テキストに関連する文章、当該テキストに関連するサイト情報の少なくとも一つが表示される。また、キャラクタCは、AIが生成したテキストに対応する音声を出力してもよい。
【0241】
AIによるキャラクタCの操作により、キャラクタCは、例えば、以下のように動作する。AIがコミュニケーション相手の入力テキスト及び/又は音声を理解した場合には、AIは、キャラクタCの耳アニメーションEがうなずく動作(図5のパターンB)を行うように、キャラクタCを操作する。AIが処理中(考え中)である場合には、AIは、キャラクタCの耳アニメーションEの耳が絡まる動作(図5のパターンE)を繰り返し行うように、キャラクタCを操作する。AIにおいて処理が終了した場合(結果等が出た場合)には、AIは、キャラクタCの耳アニメーションEがエクスクラメーションマーク(!)を想像させる動作(図59参照)を行うように、キャラクタCを操作する。AIが対応できない場合には、AIは、キャラクタCの耳アニメーションEの耳が深く折り曲がる動作(図5のパターンC)を繰り返し行うように、キャラクタCを操作する。コミュニケーション相手が理解、納得した場合には、AIは、キャラクタCの耳アニメーションEの耳が拍手する動作を行うように、キャラクタCを操作する。
【0242】
AIがキャラクタCを操作する形態の一例について説明する。図55に示されるように、画面G15には、キャラクタCが表示される参加者ウィンドウW19と、操作ウィンドウW20と、が表示される。参加者ウィンドウW19には、会議に参加しているキャラクタCが表示される。キャラクタCのボディBには、参加者を識別可能な情報(例えば、「A」~「E」、「AI」)が表示される。操作ウィンドウW20には、キャラクタCにおける耳アニメーションEの動作パターンが複数表示される。
【0243】
画面G15において、ユーザ(ユーザU1,U2,U3等を含むユーザ)が「AI」のキャラクタCをクリックすると、図56に示されるように、画面G16に遷移する。画面G16には、AIのキャラクタCの近傍に表示ウィンドウ(表示部)W21が表示されると共に、テキストウィンドウW22が表示される。表示ウィンドウW21は、AIのキャラクタCに対応する表示部であり、AIのキャラクタCと表示ウィンドウW21とが対応していることが認識し得る態様で表示される。図56に示す例では、表示ウィンドウW21は、AIのキャラクタCの下方に表示される。テキストウィンドウW22には、テキストを入力することができる。テキストの入力方法としては、キーボード入力、手書き入力、音声入力等が挙げられる。
【0244】
任意のキャラクタC(図56に示す例では、「D」のキャラクタ)をテキストウィンドウW22にドラッグ・アンド・ドロップすると、図57に示されるように、画面G17に遷移する。キャラクタCが複数の場合には、複数のキャラクタCをテキストウィンドウW22にドラッグ・アンド・ドロップする。以下では、「D」のキャラクタCのみの場合について説明する。画面G17には、AIのキャラクタC及び表示ウィンドウW21と、質問者のキャラクタC及び入力ウィンドウW23と、操作ウィンドウW20と、が表示される。入力ウィンドウW23は、質問者のキャラクタCに対応して表示される。図56に示す例では、入力ウィンドウW23は、質問者のキャラクタCの下方に表示される。画面G17において、質問者以外のキャラクタCは、所定の領域にまとめて表示される。質問者以外のキャラクタCは、AIのキャラクタC及び質問者のキャラクタCよりも小さく表示されてもよい。
【0245】
画面G17において、表示ウィンドウW21には、「なんでしょうか?」等のテキストが表示される。ユーザは、入力ウィンドウW23にテキスト(例えば、「〇〇について教えて下さい」)を入力する。テキストの入力方法としては、キーボード入力、手書き入力、音声入力等が挙げられる。入力ウィンドウW23へのテキストの入力中、質問者のキャラクタCの耳アニメーションEは、耳が絡まる動作を行う。また、入力ウィンドウW23へのテキストの入力中、AIのキャラクタCの耳アニメーションEは、うなずく動作を行う。なお、このときのAIのキャラクタCの耳アニメーションEは、左右に揺れる動作であってもよい。
【0246】
入力ウィンドウW23へのテキストの入力が完了すると、ユーザは、AIのキャラクタCをクリックする。これにより、図58に示されるように、画面G18に遷移する。入力ウィンドウW23に入力されたテキスト(質問)に対する処理をAIが行っている間、AIのキャラクタCの耳アニメーションEは、絡まる動作を繰り返し行う。AIによる処理が完了すると、図59に示されるように、AIのキャラクタCの耳アニメーションEは、エクスクラメーションマーク(!)を想像させる動作を行う。また、表示ウィンドウW21には、入力ウィンドウW23に入力されたテキスト(質問)に対する回答が表示される。表示ウィンドウW21には、AIによって生成されたテキストの他に、テキストに関連する静止画、テキストに関連する動画、テキストに関連する文章、テキストに関連するサイト情報等が表示されてもよい。表示ウィンドウW21には、テキストと当該テキストに対応する翻訳文、又は、テキストの翻訳文が表示されてもよい。また、表示ウィンドウW21に表示されたテキストに対応する音声が出力されてもよい。
【0247】
入力ウィンドウW23に入力されたテキスト(質問)に対する処理を完了できなかった場合、AIのキャラクタCの耳アニメーションEは、耳が深く折り曲がる動作を繰り返し行う。AIによる処理が完了すると、図60に示されるように、画面G19に遷移する。画面G19には、テキストウィンドウW22が表示される。
【0248】
上記の形態では、AIのキャラクタCが一つである場合を一例に説明したが、AIのキャラクタCは二以上であってもよい。AIのキャラクタCが二以上の場合、ユーザU1,U2,U3は、回答を求めるAIのキャラクタCをクリックすればよい。
【0249】
また、上記の形態では、AIのキャラクタCの下方に表示ウィンドウ(表示部)W21が表示される形態を一例に説明した。しかし、AIのキャラクタCに対応する表示部の形態はこれに限定されない。図61のパターンAに示されるように、キャラクタCと表示部とが別々に表示されてもよいし、図61のパターンBに示されるように、表示部と耳アニメーションとが一体化されていてもよい。また、図61のパターンCに示されるように、表示部とキャラクタとが一体化されていてもよいし(キャラクタのボディの一部が表示部であってもよいし)、図61のパターンDに示されるように、表示部とボディが変形したキャラクタとが一体化されていてもよい。
【0250】
上記の形態では、AIのキャラクタCと質問者のキャラクタCとのやり取りがチャット形式で表示される形態を一例に説明した。しかし、AIのキャラクタCと質問者のキャラクタCとのコミュニケーションは、図39に示されるような態様であってもよい。また、AIのキャラクタCと複数のユーザU1,U2,U3のキャラクタCとがいる場合には、自身の入力ウィンドウW23に入力した後、対話相手のキャラクタC(AIのキャラクタC又はユーザU1,U2,U3のキャラクタC)をクリックする。対話相手のキャラクタCがユーザU1,U2,U3のキャラクタCである場合、入力ウィンドウW23に入力された内容は、AIに送信される。
【0251】
上記実施形態に加えて、耳アニメーションEの動作を信号として、前後の一定時間自動録画、再生、時間位置情報等を表示する機能を有していてもよい。自動録画について、耳アニメーションEは他のユーザU1,U2,U3の話を聞いてからの動作(反応)になるため、耳アニメーションEの動作を信号とする録画開始位置(時間)は、耳アニメーションEの動作より前、例えば、5秒前からであることが好ましい。録画終了位置(時間)は、耳アニメーションEの動作の一定時間後(例えば、15秒)とすることができる。録画終了位置は、ユーザU1,U2,U3の操作によって決定されてもよいし、録画の延長を手動でできるようにしておいてもよい。また、録画は、授業中等において、ユーザU1,U2,U3によって設定されたタイミング(付箋が付与された位置、時間)で行われてもよい。
【0252】
図62に示されるように、録画を再生する場合には、タイムチャートにおいて、耳アニメーションEの動作パターンをクリックする。例えば、拍手の動作パターンをクリックすると、耳アニメーションEの動作の5秒前から動作後15秒の動画が再生される。これにより、録画を効率的に閲覧することができる。
【0253】
上記のように、耳アニメーションEの動作を起点として録画がされるため、特別な操作を行うことなく、録画を行うことができる。そのため、授業等の振り返り等を容易に行うことができる。また、プレゼンター等も、耳アニメーションEの動作を基に反応を確認できるため、プレゼンの振り返りに役立つ。更に、例えば、授業全体の統計でなく、特定のユーザの反応に着目しての、個人別記録も可能になる。そのため、詳細な反応分析ができる。分析結果のまとめは、AIに実行させてもよい。
【0254】
[付記]
上記の様々な例から把握されるとおり、本開示は以下に示す態様を含む。
(付記1)
ユーザが操作可能なキャラクタであって、前記ユーザの操作に応じて耳を模したアニメーションが動作する前記キャラクタを用いた仮想空間における活動の表示を制御する表示プログラムであって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、
前記キャラクタの動作に応じて、前記第一画面とは異なる第二画面に表示を遷移させるステップと、をコンピュータに実行させる、表示プログラム。
(付記2)
前記仮想空間において、複数の表示領域を表示させ、
複数の前記表示領域の少なくとも一つに、前記コンテンツを表示させる、付記1に記載の表示プログラム。
(付記3)
複数の前記表示領域は、
前記活動の主導者となる前記キャラクタを表示させる第一表示領域と、
前記活動の参加者となる前記キャラクタを表示させる第二表示領域と、を含み、
前記第一表示領域に表示される前記キャラクタのサイズを、前記第二表示領域に表示される前記キャラクタよりも大きく表示させる、付記2に記載の表示プログラム。
(付記4)
複数の前記表示領域は、
前記参加者の前記キャラクタの前記アニメーションが挙手を示す動作を行った場合に、当該キャラクタが前記第二表示領域から移動して表示されると共に、当該キャラクタの音声の前記仮想空間における出力が規制されている第三表示領域と、
前記第三表示領域に表示された前記キャラクタの内の少なくとも一つの前記キャラクタが前記第三表示領域から移動して表示されると共に、当該キャラクタの音声を前記仮想空間において出力することが可能である第四表示領域と、を含み、
前記第三表示領域から前記第四表示領域に前記キャラクタが移動したことに応じて、前記第四表示領域における前記キャラクタの音声の出力を可能にさせる、付記3に記載の表示プログラム。
(付記5)
複数の前記表示領域のそれぞれは、サイズ及び前記仮想空間における位置の少なくとも一方を変更可能である、付記2又は付記3に記載の表示プログラム。
(付記6)
前記第二表示領域に表示される前記キャラクタは、前記ユーザの属性に基づいて区別可能に表示される、付記3又は付記4に記載の表示プログラム。
(付記7)
前記第二表示領域に表示される前記キャラクタにおいて、当該キャラクタの音声の前記仮想空間における出力を規制する、付記3又は付記4に記載の表示プログラム。
(付記8)
前記コンテンツが表示される前記表示領域に、前記ユーザから入力された入力内容を表示させる、付記2に記載の表示プログラム。
(付記9)
前記仮想空間において、前記コンテンツを表示する表示部を表示させる、付記1に記載の表示プログラム。
(付記10)
前記表示部に、前記ユーザから入力された入力内容を表示させる、付記9に記載の表示プログラム。
(付記11)
前記表示部に対して前記キャラクタをドラッグ・アンド・ドロップする操作を受け付けた場合、前記表示部において所定の機能が実行される、付記9又は付記10に記載の表示プログラム。
(付記12)
前記表示部を操作する前記ユーザを識別可能に表示させる、付記11に記載の表示プログラム。
(付記13)
前記表示部に対して前記キャラクタがドラッグ・アンド・ドロップされた後、前記表示部に表示されている前記キャラクタを前記表示部以外の領域にドラッグ・アンド・ドロップする操作を受け付けた場合、前記所定の機能の実行を終了させる、付記11に記載の表示プログラム。
(付記14)
前記表示部に対する前記ユーザからの所定の操作を受け付けた場合、前記表示部における表示内容を操作する操作画面を表示させる、付記9又は付記10に記載の表示プログラム。
(付記15)
前記入力を行う前記ユーザの前記キャラクタを、他の前記キャラクタとは識別可能に表示させる、付記8又は付記10に記載の表示プログラム。
(付記16)
前記仮想空間における前記キャラクタ及び前記表示部の位置を変更可能である、付記9に記載の表示プログラム。
(付記17)
前記キャラクタのサイズの変更が可能であり、
前記仮想空間に表示される複数の前記キャラクタのうち、一の前記キャラクタのサイズが変更された場合、他の前記キャラクタのサイズも同様に変更する、付記9又は付記10に記載の表示プログラム。
(付記18)
前記仮想空間において、前記コンテンツを表示するコンテンツ表示部と、前記キャラクタの音声をテキスト化した会話テキストを表示するテキスト表示部と、少なくとも二つの前記キャラクタとを表示させる、付記1に記載の表示プログラム。
(付記19)
前記テキスト表示部には、前記キャラクタの音声に基づいて作成される複数の前記会話テキストのうち、時系列において最新のものから所定数の前記会話テキストを表示させる、付記18に記載の表示プログラム。
(付記20)
前記テキスト表示部に表示される前記会話テキストに対する前記ユーザからの操作を受け付けた場合、当該会話テキストを前記コンテンツ表示部に表示させる、付記18又は付記19に記載の表示プログラム。
(付記21)
前記キャラクタの配置及びサイズの変更が可能であり、
前記仮想空間に表示される二つの前記キャラクタのうち、一方の前記キャラクタの配置又はサイズが変更された場合、他方の前記キャラクタの配置又はサイズも一方の前記キャラクタの配置又はサイズに応じて変更する、付記18又は付記19に記載の表示プログラム。
(付記22)
前記表示部の周囲に前記キャラクタを表示させ、
前記ユーザの動作を検出し、前記ユーザの動作に基づいて前記アニメーションを動作させる、付記9又は付記10に記載の表示プログラム。
(付記23)
一又は複数の前記キャラクタが配置されると共に、前記仮想空間において移動可能に設けられている一又は複数の移動体を表示させる、付記9に記載の表示プログラム。
(付記24)
複数の前記移動体のそれぞれに複数の前記キャラクタが配置される場合において、一の前記移動体に配置される複数の前記キャラクタの音声と、他の前記移動体に配置される複数の前記キャラクタの音声とが互いに聞こえないようにする、付記23に記載の表示プログラム。
(付記25)
前記表示部に表示される前記コンテンツについての解説を表示させる、付記9に記載の表示プログラム。
(付記26)
前記仮想空間における前記活動において、前記キャラクタの前記アニメーションを編集可能な映像として出力する、付記9に記載の表示プログラム。
(付記27)
前記仮想空間における前記キャラクタの前記活動を録画して出力する、付記1又は付記2に記載の表示プログラム。
(付記28)
ユーザが操作可能なキャラクタであって、前記ユーザの操作に応じて耳を模したアニメーションが動作する前記キャラクタを用いた仮想空間における活動の表示を制御する表示方法であって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、
前記キャラクタの動作に応じて、前記第一画面とは異なる第二画面に表示を遷移させるステップと、を含む、表示方法。
(付記29)
ユーザが操作可能なキャラクタであって、前記ユーザの操作に応じて耳を模したアニメーションが動作する前記キャラクタを用いた仮想空間における活動の表示を制御する表示システムであって、
前記キャラクタと、前記活動の内容に基づくコンテンツとを含む第一画面を表示させ、
前記キャラクタの動作に応じて、前記第一画面とは異なる第二画面に表示を遷移させる、表示システム。
【符号の説明】
【0255】
10…端末、11…入力部、12…制御部、13…記憶部、13P…端末プログラム、14…通信部、15…出力部、20…端末、30…端末、40…サーバ、42…制御部、43…記憶部、43P…サーバプログラム、43S…受信データ、44…通信部、50…操作装置、51A…操作面、52…通信部、53…入力部、54…制御部、55…バッテリ、100…表示システム、AB…アバター、AM…アニメーション、AP…アクセスポイント、B…ボディ、B1…表示ボード(コンテンツ表示部)、B2…チャットボード(テキスト表示部)、B3…表示ボード、B4…表示ボード、B5…表示ボード、B6…表示ボード、B7…表示ボード、B8…表示ボード、B9…表示ボード、BR1…ブレイクアウトルーム、BR2…ブレイクアウトルーム、BR3…ブレイクアウトルーム、BR4…ブレイクアウトルーム、BS…基地局、C…キャラクタ、CG…キャラクタ、CW…資料ウィンドウ、D,D1,D2…表示部、E…耳アニメーション、F…指、G1…選択画面、G2…画面、G3…画面、G4…画面、G5…画面、G6…画面、G7…画面、G8…画面、G9…画面、G10…画面、G11…画面、G12…画面、G13…画面、G14…画面、G15…画面、G16…画面、G17…画面、G18…画面、G19…画面、H…手、L…距離、M1…マーク、M2…マーク、M3…マーク、M4…マーク、M5…マーク、N…ネットワーク、P…ポインタ、R…仮想空間、S…ムービングステージ、SB…スクロールバー、T…テーブル、U1…ユーザ、U2…ユーザ、U3…ユーザ、W1…司会者ウィンドウ(表示領域)、W2…プレゼンターウィンドウ(表示領域)、W3…参加者ウィンドウ(表示領域)、W4…資料ウィンドウ(表示領域)、W5…挙手者ウィンドウ(表示領域)、W6…発話者ウィンドウ(表示領域)、W7…資料ウィンドウ、W9…資料ウィンドウ、W10…資料ウィンドウ、W11…参加者ウィンドウ、W12…資料ウィンドウ、W13…表示ウィンドウ、W14…表示ウィンドウ、W16…参加者ウィンドウ、W17…操作ウィンドウ、W18…機能選択ウィンドウ、W19…参加者ウィンドウ、W20…操作ウィンドウ、W21…表示ウィンドウ、W22…テキストウィンドウ、W23…入力ウィンドウ。
【要約】
表示プログラムは、ユーザが操作可能なキャラクタを用いた仮想空間における活動の表示を制御する表示プログラムであって、キャラクタと、活動の内容に基づくコンテンツとを含む第一画面を表示させるステップと、キャラクタの動作に係る操作に応じて、第一画面とは異なると共に第一画面のキャラクタに対応するキャラクタを含む第二画面に表示を遷移させるステップと、をコンピュータに実行させ、第一画面のキャラクタと第二画面のキャラクタとは、形態、状態及び機能の少なくとも一つが異なり、第一画面のキャラクタ及び第二画面のキャラクタの少なくとも一方は、ユーザの操作に応じて耳を模したアニメーションが動作する。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43
図44
図45
図46
図47
図48
図49
図50
図51
図52
図53
図54
図55
図56
図57
図58
図59
図60
図61
図62