ホーム > 特許ランキング > 株式会社バーチャルキャスト
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023067360
(43)【公開日】2023-05-16
(54)【発明の名称】端末、情報処理方法、プログラム、および記録媒体
(51)【国際特許分類】
H04N 7/15 20060101AFI20230509BHJP
G06F 3/0481 20220101ALI20230509BHJP
H04M 1/724 20210101ALI20230509BHJP
【ＦＩ】
H04N7/15 170
G06F3/0481
H04M1/724
【審査請求】有
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021178513
(22)【出願日】2021-11-01
(11)【特許番号】
(45)【特許公報発行日】2022-05-02
(71)【出願人】
【識別番号】518412081
【氏名又は名称】株式会社バーチャルキャスト
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】岩城 進之介
【テーマコード（参考）】
5C164
5E555
5K127
【Ｆターム（参考）】
5C164FA10
5C164UB83P
5C164VA03S
5C164VA04S
5C164VA07P
5C164VA35P
5E555AA28
5E555BA13
5E555BA87
5E555BB13
5E555BC18
5E555BE17
5E555CA42
5E555CA47
5E555CC22
5E555DB32
5E555DC19
5E555DC24
5E555DD06
5E555EA23
5E555FA00
5K127AA36
5K127BA03
5K127CB23
5K127GB72
5K127GB74
5K127GD07
5K127KA04
5K127KA05
(57)【要約】
【課題】リモート会議のストレスを軽減して気軽に参加でき、円滑に進行できる会議システムを提供する。
【解決手段】参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末１０である。端末１０は、参加者の音声を収集する収集部１１と、参加者のアバターを制御するための制御データを生成する制御部１３と、参加者の状態を判定する判定部１４と、参加者の音声データ、制御データ、および判定結果を送信する送信部１５と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部１６と、参加者と他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部１７と、音声データを再生し、制御データに基づいてアバターを制御し、表示態様に従って会議の画面を表示する表示部１８を備える。
【選択図】図２
【解決手段】参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末１０である。端末１０は、参加者の音声を収集する収集部１１と、参加者のアバターを制御するための制御データを生成する制御部１３と、参加者の状態を判定する判定部１４と、参加者の音声データ、制御データ、および判定結果を送信する送信部１５と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部１６と、参加者と他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部１７と、音声データを再生し、制御データに基づいてアバターを制御し、表示態様に従って会議の画面を表示する表示部１８を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、
前記参加者の音声を収集する収集部と、
前記参加者のアバターを制御するための制御データを生成する制御部と、
前記参加者の状態を判定する判定部と、
前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、
他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備える
端末。
前記参加者の音声を収集する収集部と、
前記参加者のアバターを制御するための制御データを生成する制御部と、
前記参加者の状態を判定する判定部と、
前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、
他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備える
端末。
【請求項2】
請求項１に記載の端末であって、
前記参加者を撮影した撮影画像を得る撮影部を備え、
前記判定部は、前記撮影画像から前記参加者が画面を見ているか否かを判定し、
前記表示制御部は、前記判定結果を集計し、集計結果に基づいて会議の表示態様を決定する
端末。
前記参加者を撮影した撮影画像を得る撮影部を備え、
前記判定部は、前記撮影画像から前記参加者が画面を見ているか否かを判定し、
前記表示制御部は、前記判定結果を集計し、集計結果に基づいて会議の表示態様を決定する
端末。
【請求項3】
請求項２に記載の端末であって、
前記表示制御部は、前記集計結果に基づき、前記仮想空間内をレンダリングする視点または前記画面のコマ割りを決定する
端末。
前記表示制御部は、前記集計結果に基づき、前記仮想空間内をレンダリングする視点または前記画面のコマ割りを決定する
端末。
【請求項4】
請求項１に記載の端末であって、
前記表示制御部は、アバターを表示した過去のカット割りを記憶しておき、前記判定結果に基づいて会話中の参加者を特定し、前記過去のカット割りに基づいて前記会話中の参加者のアバターのカット割りを決定する
端末。
前記表示制御部は、アバターを表示した過去のカット割りを記憶しておき、前記判定結果に基づいて会話中の参加者を特定し、前記過去のカット割りに基づいて前記会話中の参加者のアバターのカット割りを決定する
端末。
【請求項5】
請求項１ないし４のいずれかに記載の端末であって、
前記参加者が他の参加者と会話中の場合、当該端末の種別に応じて前記参加者のアバターの位置を他の参加者のアバターの近くに移動する
端末。
前記参加者が他の参加者と会話中の場合、当該端末の種別に応じて前記参加者のアバターの位置を他の参加者のアバターの近くに移動する
端末。
【請求項6】
参加者のアバターが配置される仮想空間内で行われる会議に参加するための情報処理方法であって、
コンピュータが、
前記参加者の音声を収集し、
前記参加者のアバターを制御するための制御データを生成し、
前記参加者の状態を判定し、
前記参加者の音声データ、制御データ、および判定結果を送信し、
他の参加者の音声データ、制御データ、および判定結果を受信し、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定し、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する
情報処理方法。
コンピュータが、
前記参加者の音声を収集し、
前記参加者のアバターを制御するための制御データを生成し、
前記参加者の状態を判定し、
前記参加者の音声データ、制御データ、および判定結果を送信し、
他の参加者の音声データ、制御データ、および判定結果を受信し、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定し、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する
情報処理方法。
【請求項7】
コンピュータを参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末として動作させるプログラムであって、
前記参加者の音声を収集する処理と、
前記参加者のアバターを制御するための制御データを生成する処理と、
前記参加者の状態を判定する処理と、
前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する処理を
コンピュータに実行させるプログラム。
前記参加者の音声を収集する処理と、
前記参加者のアバターを制御するための制御データを生成する処理と、
前記参加者の状態を判定する処理と、
前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する処理を
コンピュータに実行させるプログラム。
【請求項8】
コンピュータを参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末として動作させるプログラムを記録した記録媒体であって、
前記参加者の音声を収集する処理と、
前記参加者のアバターを制御するための制御データを生成する処理と、
前記参加者の状態を判定する処理と、
前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する処理を
コンピュータに実行させるプログラムを記録した記録媒体。
前記参加者の音声を収集する処理と、
前記参加者のアバターを制御するための制御データを生成する処理と、
前記参加者の状態を判定する処理と、
前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する処理を
コンピュータに実行させるプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、端末、情報処理方法、プログラム、および記録媒体に関する。
【背景技術】
【0002】
近年、各自の端末を利用したリモート会議が盛んに行われている。リモート会議では、パーソナルコンピュータにカメラとマイクを接続し、参加者の映像と音声をネットワークを介して送信する。インカメラを備えるスマートフォンなどの携帯端末を利用することもある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１４－２２５８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
カメラで参加者を撮影した映像を並べて表示する従来のリモート会議システムでは、多数の参加者が自分の方向を向いているため圧迫感を感じるという課題があった。また、参加者自身の姿を映して会議に参加することもストレスになっていると思われる。
【0005】
カメラをオフにして、撮影した映像の代わりに参加者を表すアイコンを表示することにより、見られているというストレスは軽減されるが、他の参加者からの反応が乏しく、発言者は手ごたえを感じにくいという課題があった。
【0006】
特許文献１に記載の会議システムは、会議参加者を仮想的なアバターで表現している。特許文献１では、カメラを通じて取得した参加者の行動に基づき、会議への積極的な態度を示す指標である積極度を判定し、積極度を各参加者のアバターに反映している。特許文献１では、参加者自身の姿の代わりにアバターが表示されるので見られているというストレスは軽減される。しかしながら、参加者ごとに積極度が判定されてアバターに反映されるので、カメラの前で積極的な態度を取らなければならないというストレスが生じてしまうおそれがある。
【0007】
本発明は、上記に鑑みてなされたものであり、リモート会議のストレスを軽減して気軽に参加でき、円滑に進行できる会議システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様の端末は、参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、前記参加者の音声を収集する収集部と、前記参加者のアバターを制御するための制御データを生成する制御部と、前記参加者の状態を判定する判定部と、前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備える。
【発明の効果】
【0009】
本発明によれば、リモート会議のストレスを軽減して気軽に参加でき、円滑に進行できる会議システムを提供できる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
［実施例１］
以下、本発明の実施の形態について図面を用いて説明する。
以下、本発明の実施の形態について図面を用いて説明する。
【0012】
図１に示す会議システムは、参加者が端末１０を用いて仮想空間内で開催されるリモート会議に参加するシステムである。本会議システムはネットワークを介して通信可能に接続された複数の端末１０とサーバ３０を備える。図１では、端末１０を５台のみ図示しているがこれに限るものではなく、リモート会議に参加できる端末１０の台数は任意である。
【0013】
仮想空間内には、各参加者に対応するアバターが配置される。アバターとは、リモート会議に参加する参加者を表すコンピュータグラフィックスのキャラクタである。参加者は、端末１０を用いて、アバターで仮想空間内の会議に参加する。なお、会議には井戸端会議のようなチャットも含む。
【0014】
端末１０は、マイクで参加者の音声を収集し、カメラで参加者を撮影し、参加者のアバターの動きおよび姿勢を制御するための制御データを生成する。端末１０は、参加者の音声データと制御データを送信する。端末１０は、他の参加者の音声データと制御データを受信し、音声データを出力し、制御データに従って対応するアバターを制御し、仮想空間をレンダリングした映像を表示する。また、端末１０は、参加者の状態を判定して判定結果を送信するとともに、他の端末１０から他の参加者の状態の判定結果を受信し、参加者の判定結果と他の参加者の判定結果に基づいて会議の表示態様を決定する。
【0015】
端末１０には、カメラとマイクを接続したパーソナルコンピュータを用いてもよいし、インカメラを備えたスマートフォンなどの携帯端末を用いてもよいし、コントローラとヘッドマウントディスプレイ（ＨＭＤ）を備えた仮想現実（ＶＲ）機器を用いてもよい。
【0016】
サーバ３０は、各端末１０から制御データ、音声データ、および判定結果を受信して、各端末１０へ配信する。
【0017】
図２を参照し、端末１０の構成の一例について説明する。図２に示す端末１０は、収集部１１、撮影部１２、制御部１３、判定部１４、送信部１５、受信部１６、表示制御部１７、および表示部１８を備える。端末１０が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは端末１０が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリなどの記録媒体に記録することも、ネットワークを通して提供することも可能である。
【0018】
収集部１１は、端末１０の備えるマイクまたは端末１０に接続されたマイクを用いて参加者の音声を収集する。収集部１１は、他の装置で収録された参加者の音声データを受信してもよい。
【0019】
撮影部１２は、端末１０の備えるカメラまたは端末１０に接続されたカメラを用いて参加者を撮影する。撮影する映像には参加者の顔が映るとよいが、参加者の全身が映ってもよいし、参加者が映らない場合があってもよい。撮影部１２は、他の装置で撮影された撮影画像を受信してもよい。
【0020】
制御部１３は、参加者のアバターを制御するための制御データを生成する。制御部１３は、参加者の音声または撮影画像の少なくともいずれかに基づいて制御データを生成してもよい。単純な例としては、制御部１３は、参加者が話していないときはアバターの口を閉じるように制御データを生成し、参加者が話しているときは発話に応じてアバターの口を動かすように制御データを生成する。制御部１３は、撮影画像の参加者の表情に基づいてアバターの動作を決めてもよい。
【0021】
あるいは、制御部１３は、参加者の状態を反映せずに、制御データを生成してもよい。例えば、参加者が会議の画面を見ないで横を向いている場合または参加者がカメラの前からいなくなった場合、制御部１３は、参加者の動きを忠実にアバターに反映せずに、頷く、発話者を向くなどの会議において自然な動作をアバターにさせる制御データを生成する。参加者が画面を見て頷く動作をしている場合など、参加者が会議に積極的な態度をとっている場合は、制御部１３は、参加者の動きをアバターに反映する制御データを生成してもよい。これにより、参加者がどのような状態であっても、会議において参加者のアバターが反応を示すので発話者は気持ちよく発話できる。
【0022】
制御部１３は、音声とアバターの動きとを学習した機械学習モデルを用い、音声を機械学習モデルに入力してアバターの制御データを生成してもよい。
【0023】
端末１０としてＶＲ機器を利用する場合、制御部１３は、コントローラおよびＨＭＤからの入力に基づいてアバターを制御する制御データを生成する。参加者の手振り、頭の動きなどがアバターに反映される。
【0024】
判定部１４は、撮影画像から参加者の状態を判定する。具体的には、判定部１４は、撮影画像から参加者が会議の画面を見ているか否か、参加者がいるか否かを判定する。判定部１４による判定は厳密でなくてよく、例えば、参加者が端末１０としてスマートフォンを利用している場合、判定部１４は、撮影画像に顔の正面が写っていれば画面を見ていると判定する。また、判定部１４は、撮影画像または音声データから参加者が発話中か否かを判定してもよい。
【0025】
送信部１５は、音声データ、制御データ、および判定結果を送信する。判定結果は、判定部１４の判定した参加者の状態を示す情報である。例えば、判定結果は、画面を見ている、画面を見ていない、カメラの前にいる、カメラの前にいない、発話中などの状態を含む。判定結果として、画面を見ている時間、カメラの前にいない時間、または発話時間などの時間情報を含めてもよい。送信したデータは、サーバ３０を介して、各端末１０に配信される。
【0026】
受信部１６は、サーバ３０を介して、他の端末１０から音声データ、制御データ、および判定結果を受信する。
【0027】
表示制御部１７は、判定部１４と他の端末１０から受信した判定結果を集計し、集計結果に基づいて会議の表示態様を決定する。表示態様には、例えば、仮想空間をレンダリングする際の視点、画面のコマ割り、オブジェクトの配置、アバターの動きと姿勢、各種エフェクトを含む。以下、集計結果と表示態様の例を挙げる。
【0028】
画面を見ていない参加者の割合が所定の閾値を超えた場合、表示制御部１７は、参加者の注意を引くために、仮想空間をレンダリングするときの視点を発話者のアップを映す視点とする。このとき、表示制御部１７は、発話者のアバターに机を叩くなどの大きなアクションをさせてもよいし、発話者の音声の音量を上げてもよい。発話者のアバターに大きなアクションをさせる場合、表示制御部１７は、発話者のアバターの制御データを大きなアクションの制御データに差し替える。
【0029】
画面を見ていない参加者の割合が所定の閾値を超え、発話者がいない場合、表示制御部１７は、次の話題への移行または会議の終了を促すために、仮想空間をレンダリングするときの視点を会議の主催者（進行役）のアバターのアップを映す視点とする。
【0030】
参加者の大半が画面を見ている場合、表示制御部１７は、仮想空間をレンダリングする視点を会議室全体を俯瞰する視点として、参加者が熱心に聞いている演出をしてもよい。表示制御部１７は、何体かのアバターをランダムに選び、アバターに頷く動作をさせてもよい。アバターに頷く動作をさせる場合、表示制御部１７は、対象のアバターの制御データを頷く動作の制御データに差し替える。
【0031】
このように、参加者の状態を集計し、集計結果に基づいて会議の表示態様を決定することで、会議を円滑に進行できる。
【0032】
表示部１８は、受信した音声データを再生するとともに、表示制御部１７の指示に従って、仮想空間内にアバターを含むオブジェクトを配置し、制御データに基づいてアバターの動きおよび姿勢を制御し、仮想空間をレンダリングして会議の映像を生成する。例えば、表示部１８は、会議室を構成する床、壁、天井、テーブルなどのオブジェクトを仮想空間内に配置し、所定の位置に参加者のアバターを配置する。オブジェクトのモデルデータおよび配置位置は、端末１０の備える記憶装置に記憶しておく。仮想空間を構築するために必要な情報は、会議に参加する際にサーバ３０または他の装置から受信してもよい。表示制御部１７の指示にオブジェクトの位置の変更、アバターの位置および姿勢の変更が含まれていれば、表示部１８は、その指示に従ってオブジェクトの位置、アバターの位置および姿勢を変更する。表示制御部１７の指示に視点の指定があれば、表示部１８は指定の視点で仮想空間をレンダリングする。
【0033】
表示部１８は、画面上に操作ボタンを配置し、参加者からの操作を受け付けてもよい。例えば操作ボタンが押下されると、操作ボタンに応じた動きを参加者のアバターにさせる制御データが送信される。
【0034】
なお、端末１０の機能の一部をサーバ３０が実行してもよい。例えば、サーバ３０が表示制御部１７の機能を備え、各端末１０からの判定結果を集計して表示態様を決定し、表示態様を各端末１０へ配信してもよい。サーバ３０が制御部１３、判定部１４、および表示制御部１７の機能を備え、各端末１０から撮影画像および音声データを受信し、各アバターの制御データを生成し、各参加者の状態を判定し、判定結果を集計して表示態様を決定し、制御データと表示態様を各端末へ配信してもよい。サーバ３０が表示部１８の機能を備え、仮想空間をレンダリングした映像を端末１０へ配信してもよい。
【0035】
【0036】
図３は、端末１０がデータを送信する処理の流れの一例を示すフローチャートである。
【0037】
ステップＳ１１にて、収集部１１が参加者の音声を収集し、撮影部１２が参加者を撮影する。
【0038】
ステップＳ１２にて、制御部１３が参加者のアバターを制御するための制御データを生成する。
【0039】
ステップＳ１３にて、判定部１４が撮影画像または音声から参加者の状態を判定する。
【0040】
ステップＳ１４にて、送信部１５は、音声データ、制御データ、および判定結果を送信する。送信したデータは、サーバ３０を介して各端末１０に配信される。
【0041】
図４は、端末１０が会議の画面を表示する処理の流れの一例を示すフローチャートである。
【0042】
ステップＳ２１にて、受信部１６は、サーバ３０から、他の端末１０の送信したデータを受信する。受信するデータは、例えば、音声データ、制御データ、および判定結果である。
【0043】
ステップＳ２２にて、表示制御部１７は、受信した判定結果を集計する。
【0044】
ステップＳ２３にて、表示制御部１７は、集計結果に基づき、会議の表示態様を決定する。
【0045】
ステップＳ２４にて、表示部１８は、音声データを再生するとともに、制御データに従ってアバターを制御し、表示態様に従って会議の画面を表示する。
【0046】
図５は、会議の表示画面の一例を示す図である。図５（ａ）は、発話者のアバターが表示された画面の一例である。図５（ｂ）は、会議室の全体が俯瞰する視点で表示された画面の一例である。図５（ｃ）は、画面がコマ割りされて、各コマに各参加者のアバターが表示された画面の一例である。画面の表示態様は、端末１０が参加者の状態の判定結果を集計した集計結果に基づいて決めてもよいし、端末１０がランダムで決めてもよい。全ての端末１０が同じ表示態様で画面を表示してもよいし、表示しなくてもよい。つまり、各端末１０が個別に表示態様を決定してもよいし、いずれかの端末１０が決定した表示態様を各端末１０へ配信し、各端末１０の表示態様を同じにしてもよい。
【0047】
［実施例２］
実施例２では、参加者の状態の判定結果と過去のカット割りを参考にして会議の表示態様を決定する。実施例２の会議システムの全体構成および端末１０の構成は基本的に実施例１と同様である。実施例２では、判定部１４は参加者が会話中であるか否かを判定し、表示制御部１７は判定結果に基づいて会話中の参加者を特定し、過去のカット割りに基づいて会話中の参加者のアバターのカット割りを決定する。実施例２では、端末１０は撮影部１２を備えなくてもよい。
実施例２では、参加者の状態の判定結果と過去のカット割りを参考にして会議の表示態様を決定する。実施例２の会議システムの全体構成および端末１０の構成は基本的に実施例１と同様である。実施例２では、判定部１４は参加者が会話中であるか否かを判定し、表示制御部１７は判定結果に基づいて会話中の参加者を特定し、過去のカット割りに基づいて会話中の参加者のアバターのカット割りを決定する。実施例２では、端末１０は撮影部１２を備えなくてもよい。
【0048】
図６のフローチャートを参照し、実施例２の端末１０が会議の画面を表示する処理について説明する。なお、端末１０がデータを送信する処理は実施例１と同様である。
【0049】
ステップＳ３１にて、受信部１６は、サーバ３０から、他の端末１０の送信したデータを受信する。
【0050】
ステップＳ３２にて、表示制御部１７は、受信した判定結果に基づいて会話中の参加者を特定する。例えば、ある参加者Ａの発話が終了後、所定の時間内に別の参加者Ｂが発話し始めた場合、参加者Ａ，Ｂは会話中であると判定する。
【0051】
ステップＳ３３にて、表示制御部１７は、過去のカット割りに基づいて会議の表示態様を決定する。過去のカット割りに基づく処理の具体例は後述する。
【0052】
ステップＳ３４にて、表示部１８は、音声データを再生するとともに、制御データに従ってアバターを制御し、表示態様に従って会議の画面を表示する。
【0053】
ここで過去のカット割りに基づく処理の一例について説明する。図７に示すように、過去に、参加者ＡのアバターＡが画面の右を向いたカット割りでアバターＡを表示していたとする。表示制御部１７は、過去に会話中の参加者のアバターを表示してしたカット割りを記憶しておく。参加者Ａが会話中の発話者である場合、表示制御部１７は、過去のカット割りと同様に、表示態様をアバターＡが画面の右を向くカット割りとする。会話の相手が参加者Ｂである場合、表示制御部１７は、参加者ＢのアバターＢを表示する際には、アバターＡとアバターＢが向き合うように、図８に示すように、アバターＢが画面の左を向くカット割りとする。以降、参加者Ｂが発話するとき、表示制御部１７は、アバターＢを画面の左を向くようにする。表示制御部１７はアバターの姿勢を制御してもよい。
【0054】
もし、過去にアバターＡとアバターＢのいずれも右向きのカット割りで表示されていた場合、表示制御部１７は、例えば図９に示すように、アバターＡとアバターＢの両方が映り、アバターＡが右を向き、アバターＢが左を向く画面を表示させる。その後、参加者Ａと参加者Ｂが会話するときは、表示制御部１７は、アバターＡは右向き、アバターＢは左向きのカット割りにする。これにより、参加者は誰と誰が会話しているのかを自然に把握できる。表示制御部１７は、過去のカット割りに基づき、会話中の参加者を自然に把握できるような表示態様を決定する。
【0055】
参加者の何人かで会話が行われている場合、表示制御部１７は、会話中のアバターを特定し、会話中のアバターが１画面内に収まるように視点を決めてもよい。表示制御部１７は、会話中のアバターが近くになるように、アバターの位置を仮想空間内で移動させてもよい。あるいは、表示制御部１７は、画面を複数領域に分割し、領域のそれぞれに会話中のアバターを表示させてもよい。
【0056】
表示制御部１７は、端末１０を使用する参加者の役割（発話者、進行役など）に応じて、画面の構成を他の参加者と異ならせてもよい。例えば、進行役の画面はコマ割りされて、発話者と画面を集中して見ている参加者が表示される。進行役は、画面を見て、画面を集中して見ている参加者に発言の機会を与えることができる。
【0057】
［変形例］
次に、会話中のアバターを接近させる処理について説明する。
次に、会話中のアバターを接近させる処理について説明する。
【0058】
【0059】
ステップＳ４１にて、端末１０は、端末１０を操作する参加者のアバターと会話相手のアバターとが離れた位置にいるか否か判定する。例えば、会話中のアバターが仮想空間内で所定の距離離れている場合に離れた位置にいると判定する。あるいは、会話中のアバターの間に別のアバターが存在する場合に離れた位置にいると判定してもよい。会話中のアバターの位置が離れていない場合は処理を終了する。
【0060】
会話中のアバターの位置が離れている場合、ステップＳ４２にて、端末１０は、端末１０自身の種別に基づき、参加者がアバターを自由に移動させることができるか否かを判定する。例えば、端末１０としてＶＲ機器を用いている参加者はアバターを自由に移動させることができるが、端末１０としてスマートフォンを用いている参加者はアバターを自由に移動させにくい。アバターを自由に移動させることができる端末１０は処理を終了する。会話中の参加者の端末１０の種別を比較し、端末１０が自由にアバターを移動させにくいか否か判定してもよい。例えば、パーソナルコンピュータを端末１０として用いている参加者とスマートフォンを端末１０として用いている参加者とが会話中の場合、パーソナルコンピュータにはキーボードおよびマウスが接続されているので移動がスマートフォンより容易であるため、スマートフォンを用いている参加者のアバターが自由に移動させにくいと判定してもよい。
【0061】
アバターを自由に移動させにくい場合、ステップＳ４３にて、端末１０は、端末１０を操作する参加者のアバターの位置を会話相手の近くに移動する。
【0062】
図１１の例では、端末１０としてＶＲ機器（以下端末１０Ａとする）を用いている参加者のアバターＡと端末１０としてスマートフォン（以下端末１０Ｂとする）を用いている参加者のアバターＢで会話している。この場合、端末１０Ａは、ステップＳ３２にて、アバターＡは自由に移動できると判定し、端末１０Ｂは、ステップＳ３２にて、アバターＢは自由に移動しにくいと判定する。端末１０Ｂは、ステップＳ３３にて、アバターＢの位置をアバターＡの近くに移動する。アバターＢが瞬間移動する際、端末１０Ｂは、アバターＢの移動前の位置と移動後の位置にワープエフェクト（例えばキラキラなど）を出現させて、アバターＢが瞬間移動したことを表現し、端末１０Ａは、画面を一瞬暗転させて、カット割りを切り替える。
【0063】
次に、参加者による端末１０を介したアバターの操作について説明する。
【0064】
図１２に示すように、端末１０は、画面１００内に、アイコン１１０を配置し、参加者からの操作を受け付けてもよい。各アイコン１１０には、アバターにさせたいアクションの図柄が描画されている。参加者がアイコン１１０にタッチすると、端末１０は、アイコン１１０に対応する動作の制御データを生成して送信する。制御データは、アバターの動作だけでなく、背景、エフェクト、および視点などを含んでもよい。
【0065】
制御データを受信した端末１０は、制御データに従って対応するアバターを制御する。制御データが背景、エフェクト、および視点を含む場合、端末は、制御データの指示に従って背景とエフェクトを配置し、仮想空間内の視点を設定する。例えば、図９は、意見がある参加者がアバターに手を挙げさせる動作を示すアイコンを選択したときの画面１００の例である。図１３の例では、アバターが手を挙げる動作し、そのアバターを正面から見る視点が設定され、アバターの頭上に「！」のエフェクトを表示している。
【0066】
以上説明したように、本実施形態の端末１０は、参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であり、参加者の音声を収集する収集部１１と、参加者のアバターを制御するための制御データを生成する制御部１３と、参加者の状態を判定する判定部１４と、参加者の音声データ、制御データ、および判定結果を送信する送信部１５と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部１６と、参加者と他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部１７と、音声データを再生し、制御データに基づいてアバターを制御し、表示態様に従って会議の画面を表示する表示部１８を備える。これにより、参加者はアバターで仮想空間内の会議に参加できるので、見られているというストレスを軽減でき、参加者の状態を集計して会議の表示態様を決めることで、会議全体の雰囲気を会議の表示に反映できる。
【符号の説明】
【0067】
１０ 端末
１１ 収集部
１２ 撮影部
１３ 制御部
１４ 判定部
１５ 送信部
１６ 受信部
１７ 表示制御部
１８ 表示部
３０ サーバ
１１ 収集部
１２ 撮影部
１３ 制御部
１４ 判定部
１５ 送信部
１６ 受信部
１７ 表示制御部
１８ 表示部
３０ サーバ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【手続補正書】
【提出日】2022-03-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、
前記参加者の音声を収集する収集部と、
前記参加者を撮影した撮影画像を得る撮影部と、
前記参加者のアバターを制御するための制御データを生成する制御部と、
前記撮影画像から前記参加者が画面を見ているか否かを判定する判定部と、
前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、
他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、
前記参加者と前記他の参加者の判定結果を集計し、集計結果に基づいて会議の表示態様を決定する表示制御部と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備える
端末。
前記参加者の音声を収集する収集部と、
前記参加者を撮影した撮影画像を得る撮影部と、
前記参加者のアバターを制御するための制御データを生成する制御部と、
前記撮影画像から前記参加者が画面を見ているか否かを判定する判定部と、
前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、
他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、
前記参加者と前記他の参加者の判定結果を集計し、集計結果に基づいて会議の表示態様を決定する表示制御部と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備える
端末。
【請求項2】
請求項１に記載の端末であって、
前記表示制御部は、前記集計結果に基づき、前記仮想空間内をレンダリングする視点または前記画面のコマ割りを決定する
端末。
前記表示制御部は、前記集計結果に基づき、前記仮想空間内をレンダリングする視点または前記画面のコマ割りを決定する
端末。
【請求項3】
参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、
前記参加者の音声を収集する収集部と、
前記参加者のアバターを制御するための制御データを生成する制御部と、
前記参加者の状態を判定する判定部と、
前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、
他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備え、
前記表示制御部は、アバターを表示した過去のカット割りを記憶しておき、前記判定結果に基づいて会話中の参加者を特定し、前記過去のカット割りに基づいて前記会話中の参加者のアバターのカット割りを決定する
端末。
前記参加者の音声を収集する収集部と、
前記参加者のアバターを制御するための制御データを生成する制御部と、
前記参加者の状態を判定する判定部と、
前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、
他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備え、
前記表示制御部は、アバターを表示した過去のカット割りを記憶しておき、前記判定結果に基づいて会話中の参加者を特定し、前記過去のカット割りに基づいて前記会話中の参加者のアバターのカット割りを決定する
端末。
【請求項4】
参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、
前記参加者の音声を収集する収集部と、
前記参加者のアバターを制御するための制御データを生成する制御部と、
前記参加者の状態を判定する判定部と、
前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、
他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備え、
前記参加者が他の参加者と会話中の場合、当該端末の種別に応じて前記参加者のアバターの位置を他の参加者のアバターの近くに移動する
端末。
前記参加者の音声を収集する収集部と、
前記参加者のアバターを制御するための制御データを生成する制御部と、
前記参加者の状態を判定する判定部と、
前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、
他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備え、
前記参加者が他の参加者と会話中の場合、当該端末の種別に応じて前記参加者のアバターの位置を他の参加者のアバターの近くに移動する
端末。
【請求項5】
参加者のアバターが配置される仮想空間内で行われる会議に参加するための情報処理方法であって、
コンピュータが、
前記参加者の音声を収集し、
前記参加者を撮影した撮影画像を得て、
前記参加者のアバターを制御するための制御データを生成し、
前記撮影画像から前記参加者が画面を見ているか否かを判定し、
前記参加者の音声データ、制御データ、および判定結果を送信し、
他の参加者の音声データ、制御データ、および判定結果を受信し、
前記参加者と前記他の参加者の判定結果を集計し、集計結果に基づいて会議の表示態様を決定し、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する
情報処理方法。
コンピュータが、
前記参加者の音声を収集し、
前記参加者を撮影した撮影画像を得て、
前記参加者のアバターを制御するための制御データを生成し、
前記撮影画像から前記参加者が画面を見ているか否かを判定し、
前記参加者の音声データ、制御データ、および判定結果を送信し、
他の参加者の音声データ、制御データ、および判定結果を受信し、
前記参加者と前記他の参加者の判定結果を集計し、集計結果に基づいて会議の表示態様を決定し、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する
情報処理方法。
【請求項6】
請求項５に記載の情報処理方法であって、
前記集計結果に基づき、前記仮想空間内をレンダリングする視点または前記画面のコマ割りを決定する
情報処理方法。
前記集計結果に基づき、前記仮想空間内をレンダリングする視点または前記画面のコマ割りを決定する
情報処理方法。
【請求項7】
参加者のアバターが配置される仮想空間内で行われる会議に参加するための情報処理方法であって、
コンピュータが、
前記参加者の音声を収集し、
前記参加者のアバターを制御するための制御データを生成し、
前記参加者の状態を判定し、
前記参加者の音声データ、制御データ、および判定結果を送信し、
他の参加者の音声データ、制御データ、および判定結果を受信し、
アバターを表示した過去のカット割りを記憶しておき、前記参加者と前記他の参加者の判定結果に基づいて会話中の参加者を特定し、前記過去のカット割りに基づいて前記会話中の参加者のアバターのカット割りを決定し、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記カット割りに従って前記会議の画面を表示する
情報処理方法。
コンピュータが、
前記参加者の音声を収集し、
前記参加者のアバターを制御するための制御データを生成し、
前記参加者の状態を判定し、
前記参加者の音声データ、制御データ、および判定結果を送信し、
他の参加者の音声データ、制御データ、および判定結果を受信し、
アバターを表示した過去のカット割りを記憶しておき、前記参加者と前記他の参加者の判定結果に基づいて会話中の参加者を特定し、前記過去のカット割りに基づいて前記会話中の参加者のアバターのカット割りを決定し、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記カット割りに従って前記会議の画面を表示する
情報処理方法。
【請求項8】
参加者のアバターが配置される仮想空間内で行われる会議に参加するための情報処理方法であって、
コンピュータが、
前記参加者の音声を収集し、
前記参加者のアバターを制御するための制御データを生成し、
前記参加者の状態を判定し、
前記参加者の音声データ、制御データ、および判定結果を送信し、
他の参加者の音声データ、制御データ、および判定結果を受信し、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定し、
前記参加者が他の参加者と会話中の場合、前記参加者の端末の種別に応じて前記参加者のアバターの位置を他の参加者のアバターの近くに移動し、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する
情報処理方法。
コンピュータが、
前記参加者の音声を収集し、
前記参加者のアバターを制御するための制御データを生成し、
前記参加者の状態を判定し、
前記参加者の音声データ、制御データ、および判定結果を送信し、
他の参加者の音声データ、制御データ、および判定結果を受信し、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定し、
前記参加者が他の参加者と会話中の場合、前記参加者の端末の種別に応じて前記参加者のアバターの位置を他の参加者のアバターの近くに移動し、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する
情報処理方法。
【請求項9】
コンピュータを参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末として動作させるプログラムであって、
前記参加者の音声を収集する処理と、
前記参加者を撮影した撮影画像を得る処理と、
前記参加者のアバターを制御するための制御データを生成する処理と、
前記撮影画像から前記参加者が画面を見ているか否かを判定する処理と、
前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
前記参加者と前記他の参加者の判定結果を集計し、集計結果に基づいて会議の表示態様を決定する処理と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する処理を
コンピュータに実行させるプログラム。
前記参加者の音声を収集する処理と、
前記参加者を撮影した撮影画像を得る処理と、
前記参加者のアバターを制御するための制御データを生成する処理と、
前記撮影画像から前記参加者が画面を見ているか否かを判定する処理と、
前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
前記参加者と前記他の参加者の判定結果を集計し、集計結果に基づいて会議の表示態様を決定する処理と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する処理を
コンピュータに実行させるプログラム。
【請求項10】
請求項９に記載のプログラムであって、
前記会議の表示態様を決定する処理では、前記集計結果に基づき、前記仮想空間内をレンダリングする視点または前記画面のコマ割りを決定する処理を
コンピュータに実行させるプログラム。
前記会議の表示態様を決定する処理では、前記集計結果に基づき、前記仮想空間内をレンダリングする視点または前記画面のコマ割りを決定する処理を
コンピュータに実行させるプログラム。
【請求項11】
コンピュータを参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末として動作させるプログラムであって、
前記参加者の音声を収集する処理と、
前記参加者のアバターを制御するための制御データを生成する処理と、
前記参加者の状態を判定する処理と、
前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
アバターを表示した過去のカット割りを記憶しておき、前記参加者と前記他の参加者の判定結果に基づいて会話中の参加者を特定し、前記過去のカット割りに基づいて前記会話中の参加者のアバターのカット割りを決定する処理と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記カット割りに従って前記会議の画面を表示する処理を
コンピュータに実行させるプログラム。
前記参加者の音声を収集する処理と、
前記参加者のアバターを制御するための制御データを生成する処理と、
前記参加者の状態を判定する処理と、
前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
アバターを表示した過去のカット割りを記憶しておき、前記参加者と前記他の参加者の判定結果に基づいて会話中の参加者を特定し、前記過去のカット割りに基づいて前記会話中の参加者のアバターのカット割りを決定する処理と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記カット割りに従って前記会議の画面を表示する処理を
コンピュータに実行させるプログラム。
【請求項12】
コンピュータを参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末として動作させるプログラムであって、
前記参加者の音声を収集する処理と、
前記参加者のアバターを制御するための制御データを生成する処理と、
前記参加者の状態を判定する処理と、
前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する処理と、
前記参加者が他の参加者と会話中の場合、前記参加者の端末の種別に応じて前記参加者のアバターの位置を他の参加者のアバターの近くに移動する処理と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する処理を
コンピュータに実行させるプログラム。
前記参加者の音声を収集する処理と、
前記参加者のアバターを制御するための制御データを生成する処理と、
前記参加者の状態を判定する処理と、
前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する処理と、
前記参加者が他の参加者と会話中の場合、前記参加者の端末の種別に応じて前記参加者のアバターの位置を他の参加者のアバターの近くに移動する処理と、
前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する処理を
コンピュータに実行させるプログラム。
【請求項13】
請求項９ないし１２のいずれかに記載のプログラムを記録した記録媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
本発明の一態様の端末は、参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、前記参加者の音声を収集する収集部と、前記参加者を撮影した撮影画像を得る撮影部と、前記参加者のアバターを制御するための制御データを生成する制御部と、前記撮影画像から前記参加者が画面を見ているか否かを判定する判定部と、前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、前記参加者と前記他の参加者の判定結果を集計し、集計結果に基づいて会議の表示態様を決定する表示制御部と、前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備える。
本発明の一態様の端末は、参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、前記参加者の音声を収集する収集部と、前記参加者のアバターを制御するための制御データを生成する制御部と、前記参加者の状態を判定する判定部と、前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備え、前記表示制御部は、アバターを表示した過去のカット割りを記憶しておき、前記判定結果に基づいて会話中の参加者を特定し、前記過去のカット割りに基づいて前記会話中の参加者のアバターのカット割りを決定する。
本発明の一態様の端末は、参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、前記参加者の音声を収集する収集部と、前記参加者のアバターを制御するための制御データを生成する制御部と、前記参加者の状態を判定する判定部と、前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備え、前記参加者が他の参加者と会話中の場合、当該端末の種別に応じて前記参加者のアバターの位置を他の参加者のアバターの近くに移動する。
本発明の一態様の端末は、参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、前記参加者の音声を収集する収集部と、前記参加者のアバターを制御するための制御データを生成する制御部と、前記参加者の状態を判定する判定部と、前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備え、前記表示制御部は、アバターを表示した過去のカット割りを記憶しておき、前記判定結果に基づいて会話中の参加者を特定し、前記過去のカット割りに基づいて前記会話中の参加者のアバターのカット割りを決定する。
本発明の一態様の端末は、参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、前記参加者の音声を収集する収集部と、前記参加者のアバターを制御するための制御データを生成する制御部と、前記参加者の状態を判定する判定部と、前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備え、前記参加者が他の参加者と会話中の場合、当該端末の種別に応じて前記参加者のアバターの位置を他の参加者のアバターの近くに移動する。