特開 2023-68283 端末、処理方法、通信システム、プログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023068283

(43)【公開日】2023-05-17

(54)【発明の名称】端末、処理方法、通信システム、プログラムおよび記録媒体

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230510BHJP

   H04L 67/131 20220101ALI20230510BHJP

   H04N 7/15 20060101ALI20230510BHJP

【ＦＩ】

G06T19/00 300B

H04L67/131

H04N7/15 170

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021179204

(22)【出願日】2021-11-02

(11)【特許番号】

(45)【特許公報発行日】2022-06-17

(71)【出願人】

【識別番号】518412081

【氏名又は名称】株式会社バーチャルキャスト

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】岩城 進之介

【テーマコード（参考）】

5B050

5C164

【Ｆターム（参考）】

5B050BA08

5B050BA12

5B050CA07

5B050CA08

5B050DA10

5B050EA07

5B050EA13

5B050EA18

5B050EA19

5B050EA24

5B050FA02

5B050FA09

5B050FA10

5B050GA08

5C164FA10

5C164UB90S

5C164VA07P

5C164VA35P

(57)【要約】

【課題】仮想空間での会話に参加するユーザが発言しやすい環境を実現する。
【解決手段】端末１は、仮想空間での会話に参加するユーザの動作データを取得する取得部３１と、ユーザの動作データ２１から、ユーザに対応するアバターの制御データ２２を生成し、ユーザの動作データ２１において発言しようとする所定の動作を検知すると、アバターが発言しやすい動作を示す制御データ２２を生成する生成部３２と、制御データ２２を送信する送信部３３と、制御データ２２に従って、アバターを仮想空間で活動させる再生部３５を備える。
【選択図】 図２

【特許請求の範囲】

【請求項1】

仮想空間での会話に参加するユーザの動作データを取得する取得部と、
前記ユーザの動作データから、前記ユーザに対応するアバターの制御データを生成し、前記ユーザの動作データにおいて発言しようとする所定の動作を検知すると、前記アバターが発言しやすい動作を示す制御データを生成する生成部と、
前記制御データを送信する送信部と、
前記制御データに従って、前記アバターを仮想空間で活動させる再生部
を備える端末。

【請求項2】

前記アバターが発言しやすい動作を示す制御データを送信した後、前記アバターが発言しない場合、前記生成部は、前記動作データから制御データを生成する
請求項１に記載の端末。

【請求項3】

前記動作データにおいて発言しようとする所定の動作を検知すると、
前記生成部は、前記アバターが発言しやすい動作に関連する部分について、前記アバターが発言しやすい動作を示す制御データを生成し、
前記再生部は、前記アバターが発言しやすい動作を示す制御データに従って、前記アバターを仮想空間で活動させる
請求項１に記載の端末。

【請求項4】

他の端末のユーザに対応するアバターが発言しようとすることを示す指示データを受信すると、前記生成部は、前記他の端末のユーザに対応するアバターに着目する動作を示す制御データを生成する
請求項１に記載の端末。

【請求項5】

コンピュータが、仮想空間での会話に参加するユーザの動作データを取得するステップと、
前記コンピュータが、前記ユーザの動作データから、前記ユーザに対応するアバターの制御データを生成し、前記ユーザの動作データにおいて発言しようとする所定の動作を検知すると、前記アバターが発言しやすい動作を示す制御データを生成するステップと、
前記コンピュータが、前記制御データを送信するステップと、
前記コンピュータが、前記制御データに従って、前記アバターを仮想空間で活動させるステップ
を備える処理方法。

【請求項6】

仮想空間での会話に参加する第１のユーザが利用する第１の端末と、
前記第１の端末に接続し、前記会話に参加する第２のユーザが利用する第２の端末を備え、
前記第１の端末は、
前記第１のユーザの動作データを取得する取得部と、
前記第１のユーザの動作データから、前記第１のユーザに対応する第１のアバターの制御データを生成し、前記第１のユーザの動作データにおいて発言しようとする所定の動作を検知すると、前記第１のアバターが発言しやすい動作を示す制御データを生成する生成部と、
前記制御データを前記第２の端末に送信する送信部と、
前記第２の端末から、他アバター制御データを受信する受信部と、
前記仮想空間で、前記制御データに従って前記第１のアバターを活動させ、前記他アバター制御データに従って第２のユーザに対応する第２のアバターを活動させる再生部を備える
通信システム。

【請求項7】

仮想空間での会話に参加する第１のユーザが利用する第１の端末と、
前記第１の端末に接続し、前記会話に参加する第２のユーザが利用する第２の端末を備え、
前記第１の端末は、
前記第１のユーザの動作データを取得する取得部と、
前記第１のユーザの動作データから、前記第１のユーザに対応する第１のアバターの制御データを生成し、前記第１のユーザの動作データにおいて発言しようとする所定の動作を検知すると、前記第１のアバターが発言しようとすることを示す指示データを生成する生成部と、
前記指示データを第２の端末に送信する送信部を備え、
前記第２の端末は、
前記第２のユーザの動作データを取得する取得部と、
前記第２のユーザの動作データから、前記第２のユーザに対応する第２のアバターの制御データを生成し、前記指示データを受信すると、前記第１のアバターに着目する動作を示す第２のアバターの制御データを生成する生成部と、
前記第２のアバターの制御データを前記第１の端末に送信する送信部を備え、
前記第１の端末はさらに、
前記仮想空間で、前記第１のアバターの制御データに従って前記第１のアバターを活動させ、前記第２のアバターの制御データに従って第２のアバターを活動させる再生部を備える
通信システム。

【請求項8】

仮想空間での会話に参加するユーザの動作データを取得する取得部と、
前記ユーザの動作データから、前記ユーザに対応するアバターの制御データを生成し、前記ユーザの動作データにおいて発言しようとする所定の動作を検知すると、前記アバターが発言しやすい動作を示す制御データを生成する生成部と、
前記制御データを送信する送信部と、
前記制御データに従って、前記アバターを仮想空間で活動させる再生部
として、コンピュータに機能させるためのプログラム。

【請求項9】

仮想空間での会話に参加するユーザの動作データを取得する取得部と、
前記ユーザの動作データから、前記ユーザに対応するアバターの制御データを生成し、前記ユーザの動作データにおいて発言しようとする所定の動作を検知すると、前記アバターが発言しやすい動作を示す制御データを生成する生成部と、
前記制御データを送信する送信部と、
前記制御データに従って、前記アバターを仮想空間で活動させる再生部
として、コンピュータに機能させるプログラムを記憶する記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端末、処理方法、通信システム、プログラムおよび記録媒体に関する。

【背景技術】

【0002】

アバターが配置された仮想空間において、所定のトリガが検知されると、そのトリガに関するアバターの配置を変更する方法がある（特許文献１参照）。具体的には、あるアバターが会話を開始すると、コンテンツ配信サーバは、そのアバターの仮想空間における配置を変更する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許6684952号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ネットワークを介して複数のユーザが会話する際、他のユーザの発言等により発言できない場合がある。しかしながら特許文献１は、会話開始時に、その会話を開始したアバターの配置を変更するに止まる。特許文献１は、仮想空間での会話に参加するユーザが発言しやすい環境を提供するものではない。

【0005】

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、仮想空間での会話に参加するユーザが発言しやすい環境を実現可能な技術を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様の処理装置は、仮想空間での会話に参加するユーザの動作データを取得する取得部と、前記ユーザの動作データから、前記ユーザに対応するアバターの制御データを生成し、前記ユーザの動作データにおいて発言しようとする所定の動作を検知すると、前記アバターが発言しやすい動作を示す制御データを生成する生成部と、前記制御データを送信する送信部と、前記制御データに従って、前記アバターを仮想空間で活動させる再生部を備える。

【0007】

本発明の一態様の処理方法は、コンピュータが、仮想空間での会話に参加するユーザの動作データを取得するステップと、前記コンピュータが、前記ユーザの動作データから、前記ユーザに対応するアバターの制御データを生成し、前記ユーザの動作データにおいて発言しようとする所定の動作を検知すると、前記アバターが発言しやすい動作を示す制御データを生成するステップと、前記コンピュータが、前記制御データを送信するステップと、前記コンピュータが、前記制御データに従って、前記アバターを仮想空間で活動させるステップを備える。

【0008】

本発明の一態様の通信システムは、仮想空間での会話に参加する第１のユーザが利用する第１の端末と、前記第１の端末に接続し、前記会話に参加する第２のユーザが利用する第２の端末を備え、前記第１の端末は、前記第１のユーザの動作データを取得する取得部と、前記第１のユーザの動作データから、前記第１のユーザに対応する第１のアバターの制御データを生成し、前記第１のユーザの動作データにおいて発言しようとする所定の動作を検知すると、前記第１のアバターが発言しやすい動作を示す制御データを生成する生成部と、前記制御データを前記第２の端末に送信する送信部と、前記第２の端末から、他アバター制御データを受信する受信部と、前記仮想空間で、前記制御データに従って前記第１のアバターを活動させ、前記他アバター制御データに従って第２のユーザに対応する第２のアバターを活動させる再生部を備える。

【0009】

本発明の一態様の通信システムは、仮想空間での会話に参加する第１のユーザが利用する第１の端末と、前記第１の端末に接続し、前記会話に参加する第２のユーザが利用する第２の端末を備え、前記第１の端末は、前記第１のユーザの動作データを取得する取得部と、前記第１のユーザの動作データから、前記第１のユーザに対応する第１のアバターの制御データを生成し、前記第１のユーザの動作データにおいて発言しようとする所定の動作を検知すると、前記第１のアバターが発言しようとすることを示す指示データを生成する生成部と、前記指示データを第２の端末に送信する送信部を備え、前記第２の端末は、前記第２のユーザの動作データを取得する取得部と、前記第２のユーザの動作データから、前記第２のユーザに対応する第２のアバターの制御データを生成し、前記指示データを受信すると、前記第１のアバターに着目する動作を示す第２のアバターの制御データを生成する生成部と、前記第２のアバターの制御データを前記第１の端末に送信する送信部を備え、前記第１の端末はさらに、前記仮想空間で、前記第１のアバターの制御データに従って前記第１のアバターを活動させ、前記第２のアバターの制御データに従って第２のアバターを活動させる再生部を備える。

【0010】

本発明の一態様のプログラムは、仮想空間での会話に参加するユーザの動作データを取得する取得部と、前記ユーザの動作データから、前記ユーザに対応するアバターの制御データを生成し、前記ユーザの動作データにおいて発言しようとする所定の動作を検知すると、前記アバターが発言しやすい動作を示す制御データを生成する生成部と、前記制御データを送信する送信部と、前記制御データに従って、前記アバターを仮想空間で活動させる再生部として、コンピュータに機能させる。

【0011】

本発明の一態様の記録媒体は、仮想空間での会話に参加するユーザの動作データを取得する取得部と、前記ユーザの動作データから、前記ユーザに対応するアバターの制御データを生成し、前記ユーザの動作データにおいて発言しようとする所定の動作を検知すると、前記アバターが発言しやすい動作を示す制御データを生成する生成部と、前記制御データを送信する送信部と、前記制御データに従って、前記アバターを仮想空間で活動させる再生部として、コンピュータに機能させるプログラムを記憶する。

【発明の効果】

【0012】

本発明によれば、仮想空間での会話に参加するユーザが発言しやすい環境を実現可能な技術を提供することができる。

【図面の簡単な説明】

【0013】

【図1】図１は、本発明の実施の形態に係る通信システムのシステム構成を説明する図である。

【図2】図２は、本発明の実施の形態に係る端末の機能ブロックを説明する図である。

【図3】図３は、本発明の実施の形態に係る端末の処理の一例を示すフローチャートである。

【図4】図４は、本発明の実施の形態に係る通信システムにおける処理の一例を説明するシーケンス図である。

【図5】図５は、変形例に係る端末の機能ブロックを説明する図である。

【図6】図６は、変形例に係る端末の処理の一例を示すフローチャートである。

【図7】図７は、変形例に係る通信システムにおける処理の一例を説明するシーケンス図である。

【図8】図８は、端末に用いられるコンピュータのハードウエア構成を説明する図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して、本発明の実施形態を説明する。図面の記載において同一部分には同一符号を付し説明を省略する。

【0015】

（通信システム）
図１を参照して、本発明の実施の形態にかかる通信システム５を説明する。通信システム５は、端末１、相手端末２およびサーバ３を備える。端末１、相手端末２およびサーバ３は、ネットワーク４によって、相互に通信可能である。通信システム５における端末１および相手端末２の数は１以上であれば良い。

【0016】

端末１および相手端末２は、同様の構成を備え、パソコン、スマートフォンなどの一般的なコンピュータである。各アバターは、端末１および相手端末２の操作によって、仮想空間において会話する。端末１および相手端末２の各ユーザは、仮想空間で活動する各アバターを操作する。本発明の実施の形態において各アバターは、他のアバターと会話して、各アバターに対応する湯-座と交流したり、ウェブ会議したりする。

【0017】

端末１および相手端末２は、アバターの動きを特定する制御データ、アバターに発言させる内容を示す発言データ（図示せず）等を送受信する。発言データは、テキストデータであっても良いし、音声データであっても良く、端末１のユーザから入力される。端末１および相手端末２は、自端末および他端末から取得した発言データおよび制御データ等を再生する。端末１および相手端末２は、端末１および相手端末２に対応する各アバターが活動する仮想空間の動画データを生成して表示する。

【0018】

サーバ３は、各アバターによる仮想空間における会話を実現するために、端末１および相手端末２間で必要な発言データおよび制御データ等を中継する。端末１から送信された各データを相手端末２に送信したり、相手端末２から送信された各データを端末１に送信したりする。なお、本発明の実施の形態においてサーバ３が、端末１および相手端末２間の通信を中継する場合を説明するが、これに限らない。端末１および相手端末２は、P2P（Peer to Peer）等によってサーバを介することなく通信しても良い。

【0019】

本発明の実施の形態は、仮想空間で活動するアバターを介して会話に参加するユーザが、発言しやすい環境を実現する。仮想空間においてあるアバターは、他のアバターに話しかけようとするが、他のアバターが発言し始めたりするなどにより発言を開始できない場合がある。本発明の実施の形態に係る端末１は、そのようなケースにおいて、発言を試みるアバターが発言しやすいように、その発言を試みるアバターの動作を制御する。

【0020】

（端末）
図２を参照して、本発明の実施の形態に係る端末１を説明する。相手端末２も、図２に示す端末１と同様の構成を備える。

【0021】

端末１は、入力装置１１、出力装置１２、動作データ２１、制御データ２２、他アバター制御データ２３、取得部３１、生成部３２、送信部３３、受信部３４および再生部３５を備える。動作データ２１、制御データ２２および他アバター制御データ２３の各データは、メモリ９０２またはストレージ９０３等の記憶装置に記憶される。取得部３１、生成部３２、送信部３３、受信部３４および再生部３５の各機能は、CPU９０１に実装される。

【0022】

入力装置１１は、端末１にユーザの指示を入力する装置であって、キーボード、マウス、ユーザに装着されたモーションキャプチャ等である。出力装置１２は、表示装置であって、ヘッドマウントディスプレイであっても良い。

【0023】

動作データ２１は、端末１のユーザが入力するアバターの動作を特定するデータである。一般的に仮想空間で活動するアバターの動作は、そのアバターを操作するユーザからの入力によって決定される。動作データ２１は、例えば、ユーザに付けられたセンサからモーションキャプチャによって得られたユーザ自身の動きから生成される。動作データ２１は、ユーザがキーボードまたはマウス等によって指定したアバターの動作から生成されても良い。

【0024】

制御データ２２は、仮想空間における、端末１のユーザに対応するアバターの動作を特定するデータである。制御データ２２は、生成部３２によって生成される。制御データ２２は、端末１および相手端末２において再生される。本発明の実施の形態において制御データ２２は、動作データ２１が示す動作に従って生成される場合もあれば、動作データ２１が示す動作とは異なる動作に変換されて生成される場合もある。

【0025】

他アバター制御データ２３は、仮想空間における、相手端末２のユーザに対応するアバターの動作を特定するデータである。他アバター制御データ２３は、相手端末２において生成され、相手端末２から取得される。他アバター制御データ２３は、端末１および相手端末２において再生される。

【0026】

取得部３１は、仮想空間での会話に参加するユーザの動作データ２１を取得する。取得部３１は、モーションキャプチャ、キーボード等によってユーザが指定したアバターの動作のデータを取得する。取得部３１が動作データ２１を取得する方法はこれに限るものではない。

【0027】

生成部３２は、端末１のユーザに対応するアバターの制御データ２２を生成する。生成部３２は、通常時において、ユーザの動作データ２１から、ユーザに対応するアバターの制御データ２２を生成する。なお、制御データ２２は、動作データ２１を参照して生成されればよく、アバターが動作データ２１と同一の動きを示さなくても良い。例えば生成部３２は、通常時、動作データ２１のうち、ユーザの表情、目線などの所定部分のデータを用いて、制御データ２２を生成する。このとき生成部３２は、動きをデフォルメするなど、動作データ２１での動きのパラメータを変換して、制御データ２２を生成しても良い。生成部３２は、仕草など、動作データ２１から反映させない部分について、所定ルールで決められたその部分のデータに置換して、制御データ２２を生成する。制御データ２２が、部分的に動作データ２１に依拠していればよく、制御データ２２が動作データ２１のみから生成されなくても良い。また生成部３２は、動作データ２１以外のデータも参照して制御データ２２を生成しても良い。生成部３２は、例えば、ユーザから入力された発言データからユーザの感情を推定し、その感情に対応するように制御データ２２を生成しても良い。ユーザの感情は、発言内容から分析されても良いし、発言データが音声データの場合にその音声の周波数特性から分析されても良い。

【0028】

ここで生成部３２は、ユーザの動作データ２１において発言しようとする所定の動作を検知すると、アバターが発言しやすい動作を示す制御データ２２を生成する。送信部３３は、相手端末２に制御データ２２を送信する。生成部３２は、ユーザの動作データ２１において発言しようとする所定の動作を検知すると、アバターが発言しやすい動作に関連する部分について、動作データ２１を参照して生成されたデータまたは所定ルールで定められたその部分のデータを、アバターが発言しやすい動作のデータに変換して、制御データ２２を生成する。また生成部３２は、アバターが発言しやすい動作に関連する部分以外の部分については、通常時と同様に、動作データ２１を参照して、制御データ２２を生成する。

【0029】

通常時、生成部３２は、ユーザが入力したアバターの動作の通りにアバターが仮想空間で活動できるように、制御データ２２を生成する。ユーザの動作データ２１において、ユーザが発言しようとして発言していないことが検知されると、生成部３２は、動作データ２１にかかわらず、仮想空間において、アバターが発言しやすくなるように、制御データ２２を生成する。

【0030】

生成部３２は、動作データ２１が特定する動作が所定の動作の場合、ユーザが発言しようとして発言していないことを検知する。所定の動作は、例えば口を一定期間半開きにする、片手を軽く挙げる、口が半開きになる、表情に変化が生じる、頷く、同意を示す動作などであって、発言しようとして発言していないことを示す動作である。所定の動作としてさらに、動作データ２１において所定時間以内に発言データが検知されないことを、含んでも良い。

【0031】

生成部３２は、予め生成された検出モデルから、ユーザが発言しようして発言できないことを検知しても良い。生成部３２は、過去の動作データから、ユーザが発言しようとして発言できていないことを検出可能なモデルを生成する。生成部３２は、生成したモデルを参照して、新たに入力された動作データ２１が、ユーザが発言しようとして発言できていない状を示すか否かを判定する。

【0032】

ユーザが発言しようとしていることを検知すると、生成部３２は、アバターが発言しやすい動作をするように、制御データ２２を生成する。動作データ２１において発言しようとする所定の動作を検知すると、生成部３２は、アバターが発言しやすい動作に関連する部分について、アバターが発言しやすい動作を示す制御データ２２を生成する。アバターが発言しやすい動作は、例えば他のアバターが当該アバターに注目しやすくなる動作である。アバターが発言しやすい動作は、具体的には手を挙げる、口を開ける、表情を変える、前のめりになる、現在の発言者の位置に近づく、他の参加者に近づく、などである。生成部３２は、このような動作に関連する部分について、アバターが発言しやすい動作に変換して、制御データ２２を生成する。なお生成部３２は、これ以外の部分について、動作データ２１を参照して、あるいは所定ルールに従って制御データ２２を生成する。

【0033】

アバターが他のアバターから注目されることにより、アバターのユーザは、アバターに発言させるコマンドを入力しやすくなる。また他のアバターが発言中であっても、アバターが注目されることにより、他のアバターの発言の中断が促され、端末１のユーザは、アバターに発言させるコマンドを入力しやすくなる。

【0034】

動作データ２１において発言しようとする動作を検出した場合、生成部３２が、そのユーザに対応するアバターが注目を集めやすい動作に変換して、仮想空間におけるアバターの動作を制御する。これにより、仮想空間において、ユーザのアバターは、他のユーザのアバターからの注目を得て発言しやすくなる。

【0035】

生成部３２は、動作データ２１の一部のデータを変換して、制御データ２２を生成する。例えば生成部３２は、動作データ２１のうち、アバターが注目を集めやすい動作に関連する部分を変換し、それ以外の部分を動作データ２１に従って変換して、制御データ２２を生成しても良い。あるいは生成部３２は、動作データ２１を参照することなく、制御データ２２を生成しても良い。

【0036】

アバターが発言しやすい動作を示す制御データ２２を相手端末２に送信した後、アバターが発言しない場合、生成部３２は、動作データ２１から制御データ２２を生成する。アバターが発言しない場合は、具体的には、生成部３２が生成した制御データ２２を相手端末２に送信して所定時間内に、ユーザから発言データが入力されない場合である。アバターが発言しやすい動作をしたにも関わらず、アバターが発言しない場合、生成部３２は、通常通り、動作データ２１の通りにアバターを動作させるように、制御データ２２を生成する。

【0037】

生成部３２が生成した制御データ２２は、送信部３３によって相手端末２に送信される。相手端末２のユーザは、端末１のユーザが発言しようとしていることを検知し、端末１のアバターに着目したり、自身の会話を中断したりして、端末１のアバターの発言を促すことができる。しかしながら端末１のアバターが発言しない場合、生成部３２は、端末１のアバターが注目を集めやすい動作から制御データ２２を生成することを中断し、動作データ２１から制御データ２２を生成する。これにより、仮想空間において各アバターに自然に動作させることが可能になる。

【0038】

受信部３４は、相手端末２から他アバター制御データ２３を受信する。受信部３４は、相手端末２から他アバター制御データ２３を逐次受信して、再生部３５に再生させる。受信部３４は、相手端末２から他アバターに発言させる内容を示す発言データを受信しても良い。

【0039】

再生部３５は、制御データ２２と他アバター制御データ２３を再生して、仮想空間内で複数のアバターが活動する動画データを生成する。再生部３５は、制御データ２２に従って端末１のユーザに対応するアバターを仮想空間で活動させる。また再生部３５は、仮想空間で、他アバター制御データ２３に従って相手端末２のユーザに対応する第２のアバターを活動させる。再生部３５は、アバターに発言させる内容を示す発言データに従って、テキストデータを表示したり、テキストデータから音声データを生成したり、音声データを再生したりしても良い。動画データは、出力装置１２において表示される。

【0040】

動作データ２１において発言しようとする所定の動作を検知すると、生成部３２は、アバターが発言しやすい動作を示す制御データ２２を生成する。再生部３５も、アバターが発言しやすい動作を示す制御データ２２に従って、アバターを仮想空間で活動させる。

【0041】

図３を参照して、端末１の処理を説明する。図３に示す処理は一例であって、これに限定するものではない。

【0042】

ステップＳ１において端末１は、動作データ２１から、発言しようとする動作を検知するか否かを判定する。

【0043】

検知する場合、ステップＳ２において端末１は、アバターが発言しやすい動作を示す制御データ２２を生成する。検知しない場合、ステップＳ３において端末１は、動作データ２１から制御データ２２を生成する。

【0044】

ステップＳ４において端末１は、ステップＳ２またはステップＳ３で生成した制御データ２２を再生する。このとき端末１は、相手端末２から受信した他アバター制御データ２３、ユーザまたは相手端末２から入力された発言データも参照して、仮想空間で各アバターが活動する様子を再生する。

【0045】

図４を参照して、通信システム５における処理を説明する。図４に示す処理は一例であって、これに限定するものではない。

【0046】

ステップＳ５１において端末１は、動作データ２１から制御データ２２を生成する。ステップＳ５２において相手端末２は、相手端末２のユーザからの入力による動作データから制御データ（他アバター制御データ２３）を生成する。

【0047】

ステップＳ５３において、端末１で生成された制御データ２２は相手端末２に送信され、相手端末２で生成された制御データは端末１に送信される。ステップＳ５４およびステップＳ５５において、端末１および相手端末２は、自身の端末で生成した制御データと、他端末で生成した制御データに従って、各アバターが仮想空間で活動する動画データを再生する。

【0048】

ステップＳ５６において端末１は、動作データ２１においてアバターが発言しようとする動作を検知する。ステップＳ５７において端末１は、アバターが発言しやすい動作を示す制御データ２２を生成する。ステップＳ５８において相手端末２は、動作データ２１においてアバターが発言しようとする動作を検知しない場合、動作データから制御データを生成する。

【0049】

ステップＳ５９において、端末１で生成された制御データ２２は相手端末２に送信され、相手端末２で生成された制御データは端末１に送信される。ステップＳ６０およびステップＳ６１において、端末１および相手端末２は、自身の端末で生成した制御データと、他端末で生成した制御データに従って、各アバターが仮想空間で活動する動画データを再生する。ここで端末１のアバターは、端末１および相手端末２のそれぞれで再生される仮想空間において、端末１のユーザが入力した動作データ２１にかかわらず、発言しやすい動作を行う。

【0050】

本発明の実施の形態において、端末１のユーザから入力された動作データ２１において、発言しようとする動作が検出されると、ユーザのアバターが発言しやすい動作を示す制御データ２２を生成する。生成された制御データ２２は、端末１および相手端末２で再生され、アバターが発言しようとしていることが、会話の参加者間で認識される。他アバターが発言を中止するなど、端末１のアバターが発言しやすい環境となり、端末１のユーザは、アバターが発言しやすい機会を得ることができる。このように端末１は、仮想空間での会話に参加するユーザが発言しやすい環境を実現することができる。

【0051】

（変形例）
本発明の実施の形態は、発言を試みるアバターの動作を制御して、そのアバターが発言しやすい環境を実現する場合を説明した。変形例では、発言を試みるアバター以外のアバターの動作を制御して、発言を試みるアバターが発言しやすい環境を実現する場合を説明する。

【0052】

図５を参照して、変形例に係る端末１ａを説明する。相手端末２ａも端末１ａと同様の構成を備える。

【0053】

変形例に係る端末１ａは、図２に示す端末１と比べて、指示データ２４ｍおよび２４ｎを備える点が異なる。また端末１ａにおいて、生成部３２ａ、送信部３３ａおよび受信部３４ａの処理が異なる。

【0054】

指示データ２４ｍは、端末１ａに対応するユーザが発話を試みていることを示す。指示データ２４ｍは、生成部３２ａで生成され、送信部３３ａによって相手端末２ａに送信される。

【0055】

指示データ２４ｎは、相手端末２ａに対応するユーザに対応するアバターが発言を試みていることを示す。指示データ２４ｎは、受信部３４ａによって相手端末２ａに送信される。指示データ２４ｎは、生成部３２ａで処理される。

【0056】

生成部３２ａは、相手端末２ａのユーザに対応するアバターが発言しようとすることを示す指示データ２４ｎを受信すると、相手端末２ａのユーザに対応するアバターに着目する動作を示す制御データ２２を生成する。相手端末２ａのユーザに対応するアバターに着目する動作は、端末１ａのユーザに対応するアバターに、発言しようとするアバターの方向を向くなどの動作である。生成部３２ａは、ユーザが入力した動作データ２１も参照して、制御データ２２を生成しても良い。

【0057】

また生成部３２ａは、ユーザの動作データにおいて発言しようとする所定の動作を検知すると、当該ユーザに対応するアバターが発言しようとすることを示す指示データ２４ｍを生成する。端末１ａのユーザに対応するアバターが発言しようとすることを、相手端末２ａに通知することにより、相手端末２ａのアバターに、端末１ａのアバターが発言しやすくなる動作を促す。

【0058】

再生部３５は、制御データ２２と他アバター制御データ２３を再生して、仮想空間内で複数のアバターが活動する動画データを生成する。端末１ａのユーザが発言しようとした場合、再生部３５は、端末１ａのユーザに対応するアバターに、それ以外のアバターが着目する動画データを再生する。これにより、端末１ａのユーザは発言しやすくなる。

【0059】

図６を参照して、端末１ａの処理を説明する。図６に示す処理は一例であって、これに限定するものではない。

【0060】

ステップＳ１０１において端末１ａは、動作データ２１から、発言しようとする動作を検知するか否かを判定する。

【0061】

検知する場合、ステップＳ１０２において端末１ａは、発言しようとすることを示す指示データ２４ｍを生成して相手端末２ａに送信する。さらにステップＳ１０３において端末１ａは、動作データ２１から制御データ２２を生成する。ステップＳ１０１において検知しない場合、かつステップＳ１０４において指示データ２４ｎを受信しない場合、ステップＳ１０３において端末１ａは、動作データ２１から制御データ２２を生成する。ステップＳ１０４において指示データ２４ｎを受信した場合、ステップＳ１０５において端末１ａは、指示データ２４ｎの送信元の相手端末２ａのユーザに対応するアバターに注目する制御データ２２を生成する。

【0062】

ステップＳ１０６において端末１ａは、ステップＳ１０３またはステップＳ１０５で生成した制御データ２２を再生する。このとき端末１ａは、相手端末２ａから受信した他アバター制御データ２３、およびユーザまたは相手端末２ａから入力された発言データも参照して、仮想空間で各アバターが活動する様子を再生する。

【0063】

図７を参照して、通信システム５ａ（図示せず）における処理を説明する。図７に示す処理は一例であって、これに限定するものではない。

【0064】

ステップＳ１５１において端末１ａは、動作データ２１から制御データ２２を生成する。ステップＳ１５２において相手端末２ａは、相手端末２ａのユーザからの入力による動作データから制御データ（他アバター制御データ２３）を生成する。

【0065】

ステップＳ１５３において、端末１ａで生成された制御データ２２は相手端末２ａに送信され、相手端末２ａで生成された制御データは端末１ａに送信される。ステップＳ１５４およびステップＳ１５５において、端末１ａおよび相手端末２ａは、自身の端末で生成した制御データと、他端末で生成した制御データに従って、各アバターが仮想空間で活動する動画データを再生する。

【0066】

ステップＳ１５６において端末１ａは、動作データ２１においてアバターが発言しようとする動作を検知する。ステップＳ１５７において端末１ａは、アバターが発言しようとすることを示す指示データ２４ｍを生成する。ステップＳ１５８において端末１ａは、動作データ２１から制御データ２２を生成する。ステップＳ１５９において相手端末２ａは、指示データ２４ｍの送信元の端末１ａに対応するアバターに注目する制御データを生成する。

【0067】

ステップＳ１６０において端末１ａで生成された制御データ２２は相手端末２ａに送信され、相手端末２ａで生成された制御データは端末１ａに送信される。ステップＳ１６１およびステップＳ１６２において、端末１ａおよび相手端末２ａは、自身の端末で生成した制御データと、他端末で生成した制御データに従って、各アバターが仮想空間で活動する動画データを再生する。ここで相手端末２ａのアバターは、端末１ａおよび相手端末２ａのそれぞれで再生される仮想空間において、相手端末２ａのユーザが入力した動作データにかかわらず、端末１ａのアバターに注目する動作を行う。

【0068】

変形例において、端末１ａのユーザから入力された動作データ２１において、発言しようとする動作が検出されると、端末１ａは、ユーザが発言しようとしていることを示す指示データ２４ｍを相手端末２ａに送信する。相手端末２ａは、端末１ａのアバターに注目する動作を示す制御データ２２を生成する。生成された制御データ２２は、端末１および相手端末２ａで再生され、端末１ａのアバターが注目され、発言しようとしていることが、会話の参加者間で認識される。端末１ａのアバターが発言しやすい環境となり、端末１ａのユーザは、アバターが発言しやすい機会を得ることができる。このように端末１ａは、仮想空間での会話に参加するユーザが発言しやすい環境を実現することができる。

【0069】

上記説明した本実施形態の端末１は、例えば、CPU（Central Processing Unit、プロセッサ）９０１と、メモリ９０２と、ストレージ９０３（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える汎用的なコンピュータシステムが用いられる。このコンピュータシステムにおいて、CPU９０１がメモリ９０２上にロードされたプログラムを実行することにより、端末１の各機能が実現される。

【0070】

なお、端末１は、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また端末１は、コンピュータに実装される仮想マシンであっても良い。

【0071】

端末１のプログラムは、HDD、SSD、USB（Universal Serial Bus）メモリ、CD(Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

【0072】

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

【符号の説明】

【0073】

１ 端末
２ 相手端末
３ サーバ
４ ネットワーク
５ 通信システム
２１ 動作データ
２２ 制御データ
２３ 他アバター制御データ
２４ 指示データ
３１ 取得部
３２ 生成部
３３ 送信部
３４ 受信部
３５ 再生部
９０１ CPU
９０２ メモリ
９０３ ストレージ
９０４ 通信装置
１１、９０５ 入力装置
１２，９０６ 出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2022-03-22

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

仮想空間での会話に参加するユーザの動作データを取得する取得部と、
前記ユーザの動作データから、前記ユーザに対応するアバターの制御データを生成し、前記ユーザの動作データにおいて発言しようとして発言していないことを示す所定の動作を検知すると、前記アバターが発言しやすい動作を示す制御データを生成する生成部と、
前記制御データを送信する送信部と、
前記制御データに従って、前記アバターを仮想空間で活動させる再生部
を備える端末。

【請求項2】

前記アバターが発言しやすい動作を示す制御データを送信した後、前記アバターが発言しない場合、前記生成部は、前記動作データから制御データを生成する
請求項１に記載の端末。

【請求項3】

前記動作データにおいて発言しようとする所定の動作を検知すると、
前記生成部は、前記アバターが発言しやすい動作に変換した制御データを生成し、
前記再生部は、前記アバターが発言しやすい動作に変換した制御データに従って、前記アバターを仮想空間で活動させる
請求項１に記載の端末。

【請求項4】

他の端末のユーザに対応するアバターが発言しようとすることを示す指示データを受信すると、前記生成部は、前記他の端末のユーザに対応するアバターに着目する動作を示す制御データを生成する
請求項１に記載の端末。

【請求項5】

コンピュータが、仮想空間での会話に参加するユーザの動作データを取得するステップと、
前記コンピュータが、前記ユーザの動作データから、前記ユーザに対応するアバターの制御データを生成し、前記ユーザの動作データにおいて発言しようとして発言していないことを示す所定の動作を検知すると、前記アバターが発言しやすい動作を示す制御データを生成するステップと、
前記コンピュータが、前記制御データを送信するステップと、
前記コンピュータが、前記制御データに従って、前記アバターを仮想空間で活動させるステップ
を備える処理方法。

【請求項6】

仮想空間での会話に参加する第１のユーザが利用する第１の端末と、
前記第１の端末に接続し、前記会話に参加する第２のユーザが利用する第２の端末を備え、
前記第１の端末は、
前記第１のユーザの動作データを取得する取得部と、
前記第１のユーザの動作データから、前記第１のユーザに対応する第１のアバターの制御データを生成し、前記第１のユーザの動作データにおいて発言しようとして発言していないことを示す所定の動作を検知すると、前記第１のアバターが発言しやすい動作を示す制御データを生成する生成部と、
前記制御データを前記第２の端末に送信する送信部と、
前記第２の端末から、他アバター制御データを受信する受信部と、
前記仮想空間で、前記制御データに従って前記第１のアバターを活動させ、前記他アバター制御データに従って第２のユーザに対応する第２のアバターを活動させる再生部を備える
通信システム。

【請求項7】

仮想空間での会話に参加する第１のユーザが利用する第１の端末と、
前記第１の端末に接続し、前記会話に参加する第２のユーザが利用する第２の端末を備え、
前記第１の端末は、
前記第１のユーザの動作データを取得する取得部と、
前記第１のユーザの動作データから、前記第１のユーザに対応する第１のアバターの制御データを生成し、前記第１のユーザの動作データにおいて発言しようとして発言していないことを示す所定の動作を検知すると、前記第１のアバターが発言しようとすることを示す指示データを生成する生成部と、
前記指示データを第２の端末に送信する送信部を備え、
前記第２の端末は、
前記第２のユーザの動作データを取得する取得部と、
前記第２のユーザの動作データから、前記第２のユーザに対応する第２のアバターの制御データを生成し、前記指示データを受信すると、前記第１のアバターに着目する動作を示す第２のアバターの制御データを生成する生成部と、
前記第２のアバターの制御データを前記第１の端末に送信する送信部を備え、
前記第１の端末はさらに、
前記仮想空間で、前記第１のアバターの制御データに従って前記第１のアバターを活動させ、前記第２のアバターの制御データに従って第２のアバターを活動させる再生部を備える
通信システム。

【請求項8】

仮想空間での会話に参加するユーザの動作データを取得する取得部と、
前記ユーザの動作データから、前記ユーザに対応するアバターの制御データを生成し、前記ユーザの動作データにおいて発言しようとして発言していないことを示す所定の動作を検知すると、前記アバターが発言しやすい動作を示す制御データを生成する生成部と、
前記制御データを送信する送信部と、
前記制御データに従って、前記アバターを仮想空間で活動させる再生部
として、コンピュータに機能させるためのプログラム。

【請求項9】

仮想空間での会話に参加するユーザの動作データを取得する取得部と、
前記ユーザの動作データから、前記ユーザに対応するアバターの制御データを生成し、前記ユーザの動作データにおいて発言しようとして発言していないことを示す所定の動作を検知すると、前記アバターが発言しやすい動作を示す制御データを生成する生成部と、
前記制御データを送信する送信部と、
前記制御データに従って、前記アバターを仮想空間で活動させる再生部
として、コンピュータに機能させるプログラムを記憶する記録媒体。