特許 7416735 アバタ表示装置、アバタ表示システム、アバタ表示方法およびアバタ表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-09

(45)【発行日】2024-01-17

(54)【発明の名称】アバタ表示装置、アバタ表示システム、アバタ表示方法およびアバタ表示プログラム

(51)【国際特許分類】

   H04N 21/258 20110101AFI20240110BHJP

   G06F 3/0484 20220101ALI20240110BHJP

   G06T 13/40 20110101ALI20240110BHJP

   H04L 67/00 20220101ALI20240110BHJP

【ＦＩ】

H04N21/258

G06F3/0484

G06T13/40

H04L67/00

【請求項の数】 10

(21)【出願番号】P 2021022488

(22)【出願日】2021-02-16

(62)【分割の表示】P 2020013451の分割

【原出願日】2020-01-30

(65)【公開番号】P2021121094

(43)【公開日】2021-08-19

【審査請求日】2023-01-27

(73)【特許権者】

【識別番号】598138327

【氏名又は名称】株式会社ドワンゴ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】齊藤 寛明

【審査官】大西 宏

(56)【参考文献】

【文献】特開２００５－３２８８５４（ＪＰ，Ａ）

【文献】特開２００７－３３４４４３（ＪＰ，Ａ）

【文献】特開２０１０－２３９９９１（ＪＰ，Ａ）

【文献】特開２０１１－０３１０５０（ＪＰ，Ａ）

【文献】特開２０１３－１３１１１９（ＪＰ，Ａ）

【文献】特許第６５８５８６６（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｈ０４Ｌ ６７／００－６７／７５

Ｇ０６Ｆ ３／０４８－ ３／０４８９

Ｇ０６Ｔ １１／６０ －１３／８０

(57)【特許請求の範囲】

【請求項1】

仮想空間で活動する能動アバタの動作指示を入力する能動端末に接続し、前記仮想空間の動画データを前記能動端末に表示し、前記仮想空間における前記能動アバタと受動アバタ間のコミュニケーションを支援するアバタ表示装置であって、
前記能動アバタから前記受動アバタへの動作であって前記能動アバタおよび受動アバタ間のコミュニケーションを実現する動作に対する前記受動アバタの許可または拒否を示す許可フラグを含む受動許可データを記憶する記憶装置と、
前記能動アバタから前記受動アバタへの前記動作が検出され、前記受動許可データにおいて前記許可フラグが許可を示す場合、前記受動アバタが前記能動アバタの前記動作を受け入れる動画データを、前記能動端末に表示するためのデータを、出力する出力部
を備えることを特徴とするアバタ表示装置。

【請求項2】

前記出力部は、前記能動アバタが前記受動アバタに近づき、距離が一定値以下の場合に、前記能動アバタから前記受動アバタへの前記動作を検出する
請求項１に記載のアバタ表示装置。

【請求項3】

前記動作は、前記能動アバタと前記受動アバタとが互いに対応する動作をすることで成立する動作組み合わせをするために、前記能動アバタが前記受動アバタの動作を促す動作である
ことを特徴とする請求項１または２に記載のアバタ表示装置。

【請求項4】

前記受動許可データは、さらに、前記許可フラグが許可を示す場合の前記受動アバタの動作を含み、
前記動画データにおいて、前記能動アバタの動作に対して、前記受動アバタが前記受動許可データで対応づけられた動作を行う
ことを特徴とする請求項１ないし３のいずれか１項に記載のアバタ表示装置。

【請求項5】

前記能動アバタから前記受動アバタへの前記動作が検出され、前記受動許可データにおいて前記動作に対する許可フラグが設定されていない場合、前記動画データにおいて、前記能動アバタが前記受動アバタに対して前記動作を行っていることを示す
ことを特徴とする請求項１ないし４のいずれか１項に記載のアバタ表示装置。

【請求項6】

前記能動アバタから前記受動アバタへの前記動作が検出され、前記受動許可データの前記動作についての前記許可フラグが拒否を示す場合、前記動画データにおいて、前記受動アバタが前記能動アバタの動作を受け入れないことを示す
ことを特徴とする請求項１ないし５のいずれか１項に記載のアバタ表示装置。

【請求項7】

前記受動許可データは、前記仮想空間における前記能動アバタから前記受動アバタへの動作について、前記能動アバタの部位毎に、前記能動アバタからの前記動作を前記受動アバタが許可するか否かを示す許可フラグを対応づけ、
前記能動アバタから前記受動アバタの所定部位への前記動作が検出され、前記受動許可データにおいて前記所定部位に対応する前記許可フラグが許可を示す場合、前記動画データにおいて、前記受動アバタが前記能動アバタの動作を受け入れることを示す
ことを特徴とする請求項１ないし６のいずれか１項に記載のアバタ表示装置。

【請求項8】

仮想空間で活動する能動アバタの動作指示を入力する能動端末と、前記能動端末に接続し、前記仮想空間の動画データを前記能動端末に表示し、前記仮想空間における前記能動アバタと受動アバタ間のコミュニケーションを支援するアバタ表示装置を備えるアバタ表示システムであって、
前記アバタ表示装置は、
前記能動アバタから前記受動アバタへの動作であって前記能動アバタおよび受動アバタ間のコミュニケーションを実現する動作に対する前記受動アバタの許可または拒否を示す許可フラグを含む受動許可データを記憶する記憶装置と、
前記能動アバタから前記受動アバタへの前記動作が検出され、前記受動許可データにおいて前記許可フラグが許可を示す場合、前記受動アバタが前記能動アバタの前記動作を受け入れる動画データを、前記能動端末に表示するためのデータを、出力する出力部を備え、
前記能動端末は、前記動画データを表示する
ことを特徴とするアバタ表示システム。

【請求項9】

仮想空間で活動する能動アバタの動作指示を入力する能動端末に接続し、前記仮想空間の動画データを前記能動端末に表示し、前記仮想空間における前記能動アバタと受動アバタ間のコミュニケーションを支援するアバタ表示装置に用いられるアバタ表示方法であって、
コンピュータが、前記能動アバタから前記受動アバタへの動作であって前記能動アバタおよび受動アバタ間のコミュニケーションを実現する動作に対する前記受動アバタの許可または拒否を示す許可フラグを含む受動許可データを記憶装置に記憶するステップと、
前記コンピュータが、前記能動アバタから前記受動アバタへの前記動作が検出され、前記受動許可データにおいて前記許可フラグが許可を示す場合、前記受動アバタが前記能動アバタの前記動作を受け入れる動画データを、前記能動端末に表示するためのデータを、出力するステップ
を備えることを特徴とするアバタ表示方法。

【請求項10】

仮想空間で活動する能動アバタの動作指示を入力する能動端末に接続し、前記仮想空間の動画データを前記能動端末に表示し、前記仮想空間における前記能動アバタと受動アバタ間のコミュニケーションを支援するアバタ表示装置に用いられるアバタ表示プログラムであって、
コンピュータを、
前記能動アバタから前記受動アバタへの動作であって前記能動アバタおよび受動アバタ間のコミュニケーションを実現する動作に対する前記受動アバタの許可または拒否を示す許可フラグを含む受動許可データを記憶する記憶部と、
前記能動アバタから前記受動アバタへの前記動作が検出され、前記受動許可データにおいて前記許可フラグが許可を示す場合、前記受動アバタが前記能動アバタの前記動作を受け入れる動画データを、前記能動端末に表示するためのデータを、出力する出力部
として機能させることを特徴とするアバタ表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想空間の動画データを能動端末および受動端末に表示するアバタ表示装置、アバタ表示システム、アバタ表示方法およびアバタ表示プログラムに関する。

【背景技術】

【0002】

通信端末を利用するユーザ間のコミュニケーションの一つとして、ユーザの分身であるアバタを仮想空間で活動させる方法がある。アバタは、ユーザが入力する操作によって、仮想空間内で活動する。また仮想空間内で、複数のユーザのそれぞれのアバタが、互いに対応する動作をすることにより、握手などの、複数のアバタによる動作組み合わせを行うことができる。

【0003】

またアバタが所定条件を満たした際に既定のアニメーションでアバタ表現を行うアバタ表示装置がある（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開2001-160154号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

各ユーザがアバタを適切に動作させることにより、互いに対応する動作を行い、握手などの動作組み合わせを実現することが可能である。しかしながら動作組み合わせを実現するためには、各ユーザは、相手のアバタの位置および状態を把握しながら、自身のアバタの位置および状態を調整して動作させなければならず、それぞれのユーザがそれぞれのアバタに対応する動作をさせることが困難な場合がある。

【0006】

特許文献１は、他のアバタとの距離等を基準に、既定のアニメーションでアバタ表現を行うことに止まり、複数のアバタによる動作組み合わせについては何ら開示されていない。

【0007】

従って本発明の目的は、アバタが互いに対応する動作をする動画データを表示するアバタ表示装置、アバタ表示システム、アバタ表示方法およびアバタ表示プログラムを提供することである。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明の第１の特徴は、仮想空間で活動する能動アバタの動作指示を入力する能動端末と、仮想空間で活動する受動アバタの動作指示を入力する受動端末に接続し、仮想空間の動画データを能動端末および受動端末に表示するアバタ表示装置に関する。本発明の第１の特徴に係るアバタ表示装置は、能動アバタから受動アバタへの動作に対する受動アバタの許可または拒否を示す許可フラグを含む受動許可データを記憶する記憶装置と、能動アバタから受動アバタへの動作が検出され、受動許可データにおいて許可フラグが許可を示す場合、受動アバタが能動アバタの動作を受け入れる動画データを、能動端末および受動端末に表示するためのデータを、出力する出力部を備える。

【0009】

動作は、能動アバタと受動アバタとが互いに対応する動作をすることで成立する動作組み合わせをするために、能動アバタが受動アバタの動作を促す動作であっても良い。

【0010】

受動許可データは、さらに、許可フラグが許可を示す場合の受動アバタの動作を含み、動画データにおいて、能動アバタの動作に対して、受動アバタが受動許可データで対応づけられた動作を行っても良い。

【0011】

能動アバタから受動アバタへの動作が検出され、受動許可データにおいて動作に対する許可フラグが設定されていない場合、動画データにおいて、能動アバタが受動アバタに対して動作を行っていることを示しても良い。

【0012】

能動アバタから受動アバタへの動作が検出され、受動許可データの動作についての許可フラグが拒否を示す場合、動画データにおいて、受動アバタが能動アバタの動作を受け入れないことを示しても良い。

【0013】

受動許可データは、仮想空間における能動アバタから受動アバタへの動作について、能動アバタの部位毎に、能動アバタからの動作を受動アバタが許可するか否かを示す許可フラグを対応づけ、能動アバタから受動アバタの所定部位への動作が検出され、受動許可データにおいて所定部位に対応する許可フラグが許可を示す場合、動画データにおいて、受動アバタが能動アバタの動作を受け入れることを示しても良い。

【0014】

本発明の第２の特徴は、仮想空間で活動する能動アバタの動作指示を入力する能動端末と、仮想空間で活動する受動アバタの動作指示を入力する受動端末と、能動端末および受動端末に接続し、仮想空間の動画データを能動端末および受動端末に表示するアバタ表示装置を備えるアバタ表示システムに関する。本発明の第２の特徴に係るアバタ表示システムにおいてアバタ表示装置は、能動アバタから受動アバタへの動作に対する受動アバタの許可または拒否を示す許可フラグを含む受動許可データを記憶する記憶装置と、能動アバタから受動アバタへの動作が検出され、受動許可データにおいて許可フラグが許可を示す場合、受動アバタが能動アバタの動作を受け入れる動画データを、能動端末および受動端末に表示するためのデータを、出力する出力部を備え、能動端末および受動端末は、動画データを表示する。

【0015】

本発明の第３の特徴は、仮想空間で活動する能動アバタの動作指示を入力する能動端末と、仮想空間で活動する受動アバタの動作指示を入力する受動端末に接続し、仮想空間の動画データを能動端末および受動端末に表示するアバタ表示装置に用いられるアバタ表示方法に関する。本発明の第３の特徴に係るアバタ表示方法は、コンピュータが、能動アバタから受動アバタへの動作に対する受動アバタの許可または拒否を示す許可フラグを含む受動許可データを記憶装置に記憶するステップと、コンピュータが、能動アバタから受動アバタへの動作が検出され、受動許可データにおいて許可フラグが許可を示す場合、受動アバタが能動アバタの動作を受け入れる動画データを、能動端末および受動端末に表示するためのデータを、出力するステップを備える。

【0016】

本発明の第４の特徴は、仮想空間で活動する能動アバタの動作指示を入力する能動端末と、仮想空間で活動する受動アバタの動作指示を入力する受動端末に接続し、仮想空間の動画データを能動端末および受動端末に表示するアバタ表示装置に用いられるアバタ表示プログラムに関する。本発明の第４の特徴に係るアバタ表示プログラムは、コンピュータを、能動アバタから受動アバタへの動作に対する受動アバタの許可または拒否を示す許可フラグを含む受動許可データを記憶する記憶部と、能動アバタから受動アバタへの動作が検出され、受動許可データにおいて許可フラグが許可を示す場合、受動アバタが能動アバタの動作を受け入れる動画データを、能動端末および受動端末に表示するためのデータを、出力する出力部として機能させる。

【発明の効果】

【0017】

本発明によれば、アバタが互いに対応する動作をする動画データを表示するアバタ表示装置、アバタ表示システム、アバタ表示方法およびアバタ表示プログラムを提供することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施の形態に係るアバタ表示システムのシステム構成を説明する図である。

【図2】本発明の実施の形態に係るアバタ表示装置のハードウエア構成および機能ブロックを説明する図である。

【図3】受動許可データのデータ構造とデータの一例を説明する図である。

【図4】能動アバタと受動アバタとが握手する動画データのキャプチャの一例である。

【図5】能動アバタが受動アバタに握手を要求する動画データのキャプチャの一例である。

【図6】生成部による生成処理を説明するフローチャートである。

【発明を実施するための形態】

【0019】

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

【0020】

（アバタ表示システム）
図１を参照して本発明の実施の形態にかかるアバタ表示システム５を説明する。アバタ表示システム５は、アバタ表示装置１、能動端末２および受動端末３を備える。アバタ表示装置１および能動端末２は、通信ネットワークにより相互に通信可能である。アバタ表示装置１および受動端末３は、通信ネットワークにより相互に通信可能である。本発明の実施の形態においてアバタ表示システム５が、ユーザ端末として能動端末２および受動端末３の２つの端末を備える場合を説明するが、ユーザ端末の数は問わない。

【0021】

能動端末２および受動端末３は、それぞれ、仮想空間で活動するアバタの動作の指示をアバタ表示装置入力する。能動端末２は、仮想空間で活動する能動アバタの動作指示を入力する。受動端末３は、仮想空間で活動する受動アバタの動作指示を入力する。

【0022】

動作の指示方法は、任意の方法で良い。例えば、キーボードおよびマウス等の入力装置を用いて、ユーザが、アバタの動作指示を能動端末２または受動端末３に入力しても良い。ユーザの体にマーカを付け、マーカの位置をトラッキングしてユーザの動きを特定するモーションキャプチャを用いる方法もある。ユーザは、モーションキャプチャによって特定されたユーザの動きを、ユーザが入力したアバタの動作指示として、能動端末２または受動端末３に入力しても良い。

【0023】

また能動端末２および受動端末３は、アバタ表示装置１から受信したデータに従って、表示装置に動画データを表示する。アバタ表示装置１が動画データを出力する場合、能動端末２および受動端末３は、出力された動画データを表示する。アバタ表示装置１が動画データ表示するためのデータを出力する場合、能動端末２および受動端末３は、出力されたデータに従って動画データを生成し、生成した動画データを表示する。

【0024】

アバタ表示装置１は、能動端末２および受動端末３から受信したアバタの動作指示に従って仮想空間でアバタを動作させ、その仮想空間の動画データを、能動端末２および受動端末３に表示する。

【0025】

アバタ表示装置１がユーザ端末に動画データを表示する方法は任意の方法で良い。例えばアバタ表示装置１は、仮想空間を仮想カメラで撮影した動画データを生成して、ユーザ端末に配信しても良い。あるいはアバタ表示装置１は、仮想空間をレンダリング可能なモーションデータを生成してユーザ端末に送信し、ユーザ端末がモーションデータをレンダリングして仮想空間の動画データを生成して表示しても良い。

【0026】

本発明の実施の形態においてアバタ表示装置１は、ユーザ端末からの指示に従って、アバタを仮想空間で活動させるのみならず、アバタに、所定条件下で、ユーザ端末からの指示とは異なる動作、具体的には、複数のアバタによる動作組み合わせを実行させる。

【0027】

動作組み合わせは、能動アバタと受動アバタとが互いに対応する動作をすることで成立する動作である。動作組み合わせは、複数のアバタがそれぞれ対応する位置で、対応するポーズを取り、対応する動きをすることで成立する。動作組み合わせは、例えば、握手、ハイタッチ、ハグ、お姫様抱っこ、組み体操などである。

【0028】

本発明の実施の形態において、能動アバタが受動アバタに握手を求めるなど、能動アバタが受動アバタに動作組み合わせをするように働きかけ、能動アバタと受動アバタが動作組み合わせを行う場合を説明する。なお、本発明の実施の形態において能動アバタと受動アバタの２体のアバタによる動作組み合わせを説明するが、これに限らない。動作組み合わせを実現するアバタの数は問わず、３体以上のアバタによって動作組み合わせが実現されても良い。

【0029】

動作組み合わせを行うためには、複数のアバタがそれぞれ適切な位置で適切な動作をする必要がある。しかしながら仮想空間の動画データを見ながら操作するユーザが、そのような精細な動作指示を入力するのは困難な場合がある。

【0030】

そこでアバタ表示装置１は、能動端末２および受動端末３から入力された能動アバタおよび受動アバタの動作指示にかかわらず、所定条件下で能動アバタと受動アバタが動作組み合わせを行う動画データを表示する。これによりユーザは、精細な動作指示を入力しなくても、自身のアバタに、動作組み合わせの対応する動作をとらせ、容易に、他のユーザのアバタとの動作組み合わせを実現することができる。これによりアバタ表示装置１は、仮想空間においてアバタを用いたスムーズなコミュニケーションを実現することができる。

【0031】

（アバタ表示装置）
図２を参照して、本発明の実施の形態に係るアバタ表示装置１を説明する。アバタ表示装置１は、記憶装置１０、処理装置２０、および通信制御装置３０を備える一般的なコンピュータである。一般的なコンピュータがアバタ表示プログラムを実行することにより、図２に示す機能を実現する。

【0032】

記憶装置１０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、ハードディスク、ＳＳＤ（Solid State Drive）等であって、処理装置２０が処理を実行するための入力データ、出力データおよび中間データなどの各種データを記憶する。処理装置２０は、ＣＰＵ（Central Processing Unit）であって、記憶装置１０に記憶されたデータを読み書きしたり、通信制御装置３０とデータを入出力したりして、アバタ表示装置１における処理を実行する。通信制御装置３０は、能動端末２および受動端末３のそれぞれと、相互に通信可能に接続するためのインタフェースである。

【0033】

記憶装置１０は、アバタ表示プログラムを記憶するとともに、能動動作データ１１、受動動作データ１２、受動許可データ１３およびモーションデータ１４を記憶する。

【0034】

能動動作データ１１は、能動端末２から受信した能動アバタに対する動作指示のデータである。能動動作データ１１は、能動端末２から入力された動作指示に従って逐次更新される。

【0035】

受動動作データ１２は、受動端末３から受信した受動アバタに対する動作指示のデータである。受動動作データ１２は、受動端末３から入力された動作指示に従って逐次更新される。

【0036】

受動許可データ１３は、能動アバタから受動アバタへの動作に対する受動アバタの許可または拒否を示す許可フラグを含む。受動許可データ１３は、受動アバタの動作を受け入れるか否かの、受動端末３のユーザの意図を予め設定する。受動許可データ１３は、能動アバタが受動アバタに対して動作組み合わせを要求した場合、その受動アバタが能動アバタの要求を受け入れるか否かを設定する。受動許可データ１３は、能動アバタの動作毎に、許可フラグを設ける。受動許可データ１３は、アバタ毎に設定されても良い。

【0037】

受動許可データ１３は、仮想空間における能動アバタから受動アバタへの動作について、さらに、能動アバタの部位毎に、能動アバタからの動作を受動アバタが許可するか否かを示す許可フラグを対応づけても良い。能動アバタの部位は、例えば、右手、左手、頭等の能動アバタを構成する部分である。例えば、能動アバタが受動アバタの右手に対してタッチを要求した場合、許可フラグが設定され、お尻に対してタッチを要求した場合、拒否フラグが設定される。

【0038】

受動許可データ１３は、さらに、許可フラグが許可を示す場合の受動アバタの動作を含んでも良い。受動アバタの動作は、能動アバタの動作を受け入れる場合の受動アバタの動作である。

【0039】

一般的に、仮想空間におけるアバタの形状の自由度は高く、各ユーザが任意の形状を選択することができる。従って、アバタ毎に大きさが違っていたり、人間とは異なる形状を有するアバタが存在したりする場合がある。アバタの形状によっては、人間同士が行うコミュニケーションとは異なる方法で、他のアバタとコミュニケーションを取ることが考えられる。そこで、他のアバタから所定の動作を受けた場合に、受動アバタが行う動作を、受動許可データ１３の「動作」で定義する。なお受動許可データ１３で設定される「動作」は、人間が行う動作に限らず、大きくなる、小さくなるなどの、アバタに実施可能な任意の動作を含む。

【0040】

受動許可データ１３は、受動端末３のユーザによる設定に基づいて、生成されても良い。また受動許可データ１３は、システムが予め生成したデフォルトの設定のデータであっても良いし、そのデフォルトの設定を、受動端末３のユーザが変更したデータであっても良い。

【0041】

受動許可データ１３は、例えば図３に示すように、「能動動作種別」、「受動アバタの部位」、「フラグ」および「動作」の各項目の値を対応づけるデータである。

【0042】

「能動動作種別」は、能動アバタが受動アバタに対して要求する動作組み合わせの種類である。

【0043】

「受動アバタの部位」は、能動アバタが動作組み合わせを要求する部位である。「能動動作種別」と「受動アバタの部位」によって、能動アバタが受動アバタに求める動作を特定することができる。図３に示す例において、能動動作種別が握手、受動アバタの部位が右手となる場合、能動アバタが、受動アバタの「右手」との「握手」を求めていることを示す。

【0044】

「フラグ」は、能動アバタが要求する受動アバタの動作を、受動アバタが許可するか、あるいは拒否するかを示す。「フラグ」は、「許可」と「拒否」の２つの値のいずれかが設定されても良い。能動アバタの要求を許可するか拒否するかを予め設定することにより、仮想空間において受動端末３のユーザが嫌う行為が受動アバタに対して行われなくなる。

【0045】

また「フラグ」は、「許可」と「拒否」のほか、「ペンディング」を含む３つの値のいずれかが設定されても良い。「ペンディング」は、「許可」も「拒否」も設定されていないnullの状態を含んでも良い。「ペンディング」は、受動端末３からの「許可」、「拒否」または受動アバタの動作の指示を待機することを示しても良いし、デフォルトの動作をしても良い。

【0046】

「動作」は、能動アバタが所定の動作を要求した際の受動アバタの動作である。図３に示す例において「フラグ」に許可が設定される場合、受動アバタが、「動作」に対応づけられた動作を行う。このとき受動許可データ１３は、アバタを動作させるためのモーションデータを対応づけても良い。「フラグ」に許可が設定され、「動作」に何ら設定されていない場合、デフォルトの動作を行う。

【0047】

図３に示す例において、能動アバタが、受動アバタの「右手」との「握手」を求めている場合の「動作」に、「左手での握手を提案」が設定される。右手に武器などの道具を装着するアバタは、人間同士のように右手での握手が難しい。そのような場合、受動アバタは、左手を差し出すなど「左手での握手を提案」する動作を行う。また右手に武器を装着する場合でも、「右手に装着した武器を取り外して握手」するなど、任意の動作が対応づけられても良い。

【0048】

また図３に示す例において、能動アバタが受動アバタの「右手」との「ハイタッチ」を求めている場合の「動作」に、「アバタサイズを能動アバタにあわせて変更」とある。能動アバタのサイズに対して受動アバタのサイズが大きすぎる、または小さすぎる場合、能動アバタと受動アバタがハイタッチすることが難しい。そこで受動アバタは、能動アバタからハイタッチを求められると、能動アバタのサイズに合うように受動アバタのサイズを変更した上で、ハイタッチの動作を行う。

【0049】

動作例は、図３に示すものに限られない。例えば、受動アバタに手がない場合、「動作」に「右手が生える」と設定されても良い。能動アバタが受動アバタに握手を求めると、動画データにおいて、受動アバタの右手が生え、能動アバタと受動アバタが右手で握手する。

【0050】

なお「受動アバタの部位」および「動作」は、任意の項目であっても良い。

【0051】

モーションデータ１４は、能動端末２および受動端末３において、仮想空間の様子の動画データをレンダリングするためのデータである。本発明の実施の形態においてアバタ表示装置１は、モーションデータ１４を出力する場合を説明するが、モーションデータ１４から生成された動画データを出力しても良い。

【0052】

処理装置２０は、取得部２１、生成部２２および出力部２３を備える。

【0053】

取得部２１は、能動端末２から能動アバタの動作指示を取得し、能動動作データ１１に記憶するとともに、受動端末３から受動アバタの動作指示を取得し、受動動作データ１２に記憶する。

【0054】

生成部２２は、動画データを、能動端末２および受動端末３に表示するためのデータを、生成する。生成部２２は、能動動作データ１１に基づいて能動アバタの動作を特定するともに、受動動作データ１２に基づいて受動アバタの動作を特定する。生成部２２は、特定された能動アバタおよび受動アバタの動作に従って、仮想空間で能動アバタおよび受動アバタが活動する様子を示す動画データを表示するためのデータを生成する。

【0055】

動画データを表示するためのデータは、動画データを表示する指示のデータであっても良い。このとき生成部２２は、指示のデータのほか、動画データも生成する。また画データを表示するためのデータは、能動端末２および受動端末３で動画データをレンダリングするためのデータであっても良い。レンダリングするためのデータは、例えば、仮想空間を特定するデータ、能動アバタと受動アバタの形態および動作を特定するデータ等である。

【0056】

出力部２３は、動画データを能動端末２および受動端末３に表示するために、生成部２２が生成するデータを、能動端末２および受動端末３に送信する。出力部２３が動画データを出力する場合、能動端末２および受動端末３は、出力部２３から送信された動画データを表示装置で再生する。出力部２３が動画データをレンダリングするためのデータを出力する場合、能動端末２および受動端末３は、送信されたデータをレンダリングして、仮想空間で能動アバタおよび受動アバタが活動する様子を示す動画データを生成して、表示装置で再生する。

【0057】

（生成部）
本発明の実施の形態にかかる生成部２２は、動画データを、能動端末２および受動端末３に表示するためのデータを、生成する際、動画データにおいて、所定条件下で、能動動作データ１１および受動動作データ１２が示す動作とは異なる動作を行わせる。

【0058】

具体的に生成部２２は、能動アバタから受動アバタへの動作が検出され、受動許可データにおいて許可フラグが許可を示す場合、受動アバタが能動アバタの動作を受け入れる動画データを、能動端末２および受動端末３に表示するためのデータを、生成する。本発明の実施の形態において動画データを能動端末２および受動端末３に表示するためのデータは、モーションデータ１４である。

【0059】

まず生成部２２は、仮想空間の状況、能動アバタの状況等から、能動アバタが、動作組み合わせをするために、能動アバタが受動アバタの動作を促す動作をすることを検出する。動作組み合わせは、受動許可データ１３に設定される「動作」のいずれかである。生成部２２は、受動アバタに対して、能動アバタが、受動許可データ１３の「動作」のいずれかをしようとしていることを検出する。能動アバタの動作を検出する方法はいくつか考えられる。

【0060】

生成部２２は、能動アバタの直前の動作の流れから判断しても良い。例えば、能動アバタの右手を受動アバタに近づける動作がある場合、生成部２２は、能動アバタの動作が、握手の動作組み合わせを促す動作であると検出する。

【0061】

生成部２２は、能動アバタの受動アバタに対する会話から判断しても良い。例えば能動アバタが受動アバタに対して「握手しよう」と発言する場合、能動アバタの発言が、握手の動作組み合わせを促す動作であると検出する。

【0062】

生成部２２は、能動端末２におけるユーザから入力された動作指示から判断しても良い。例えば能動アバタが受動アバタに握手するという動作の指示がある場合、生成部２２は、握手の能動アバタが動作組み合わせを促す動作があると検出する。

【0063】

生成部２２は、能動アバタに表現される感情から判断しても良い。例えば、手の形をしたオブジェなど「握手」に対応する所定のアイテムを有する能動アバタが受動アバタに近づくと、生成部２２は、能動アバタが握手の動作組み合わせを促す動作であると検出する。アイテムは、アバタの衣装、道具、オーラ等であって、能動アバタに対応づけられる物である。

【0064】

ここで、動作組み合わせを促す動作であるか否かは、能動アバタと受動アバタの距離が一定値以下であること、能動アバタと受動アバタが対面していることなど、能動アバタと受動アバタとの位置関係を前提として判断されても良い。また能動アバタと受動アバタの位置関係は、動作組み合わせの種類によって適宜設定される。

【0065】

受動許可データ１３が「受動アバタの部位」の項目を有する場合、生成部２２は、能動アバタの動作が検出する際、能動アバタが受動アバタの所定部位に対する動作に着目して、能動アバタが受動アバタの動作を促す動作をすることを検出しても良い。

【0066】

生成部２２は、能動アバタから受動アバタの所定部位への動作が検出され、受動許可データ１３において所定部位に対応する許可フラグが許可を示す場合、動画データにおいて、受動アバタが能動アバタの動作を受け入れることを示す。所定部位は、受動許可データに設定される「受動アバタの部位」である。生成部２２は、受動アバタの、受動許可データ１３の「受動アバタの部位」に対して、能動アバタが、その「受動アバタの部位」に対応する「動作」のいずれかをしようとしていることを検出する。

【0067】

能動アバタが受動アバタの動作を促す動作をすることを検出すると、生成部２２は、受動許可データ１３を参照して、受動アバタが能動アバタの動作を受け入れるか否かを判定する。受動許可データ１３において、検出された動作に「許可」が対応づけられる場合、受動アバタが能動アバタの動作を受け入れる動画データを表示するためのデータを生成する。

【0068】

能動アバタが受動アバタに対して、「握手」をしようとする動作が検出された場合、受動許可データ１３において「握手」に対して「許可」が対応づけられる場合、生成部２２は、図４に示すように能動アバタと受動アバタとが握手する動画データを表示するデータを生成する。図４に示す画面のキャプチャにおいて能動アバタＡ１は、受動アバタＡ２に右手を差し出しながら近づき、その距離が所定値以下となると、動画データにおいて、能動アバタＡ１と受動アバタＡ２は、自動的に近づき、それぞれが指を閉じて握手をする。

【0069】

受動許可データ１３が「受動アバタの部位」の項目を有する場合、生成部２２は、能動アバタが動作する対象となる受動アバタの部位も考慮して、受動アバタが能動アバタの動作を受け入れるか否かを判定する。例えば図３に示す例において、能動アバタが受動アバタの右手に対して握手をしようとする場合、受動アバタは受け入れる一方、受動アバタの上半身に対してハグしようとする場合、受動アバタは拒否する。

【0070】

ここで生成部２２は、能動動作データ１１または受動動作データ１２において、能動アバタと受動アバタとが動作組み合わせを行うのを阻害する動作が指示されている場合、能動動作データ１１または受動動作データ１２において指示された動作を無視して、能動アバタと受動アバタとが握手する動画データを表示するデータを生成しても良い。阻害する動作は、動作組み合わせをする場合に用いる部位についての動作指示である。

【0071】

例えば、能動アバタと受動アバタが右手同士で握手する際、受動動作データ１２において、受動アバタが右手で手を振る動作が指定されている場合、生成部２２は、動画データにおいて、受動アバタに手を振る動作ではなく、能動アバタと握手する動作をさせても良い。一方、能動アバタと受動アバタが右手同士で握手する際、受動動作データ１２において、受動アバタが左手で手を振る動作が指定されている場合、生成部２２は、動画データにおいて、受動アバタに、左手を振り、能動アバタと握手する動作をさせても良い。

【0072】

受動許可データ１３において「動作」が対応づけられ、受動アバタが能動アバタの動作を受け入れる場合、動画データにおいて、能動アバタの動作に対して、受動アバタが受動許可データで対応づけられた動作を行う。例えば、図３に示す例において、能動アバタが受動アバタに握手を求める場合、動画データにおいて受動アバタは「左手での握手を提案」する。具体的には、右手を差し出した能動アバタに対して、受動アバタは左手を差し出し、左手を上下に振って左手での握手を促す。また能動アバタが受動アバタに対してハイタッチを求める場合、動画データにおいて受動アバタは、「アバタサイズを、能動アバタにあわせて変更」して、能動アバタとハイタッチをする。

【0073】

能動アバタから受動アバタへの動作が検出され、受動許可データ１３においてその動作に対する許可フラグが設定されていない場合、動画データにおいて、能動アバタが受動アバタに対して動作を行っていることを示しても良い。例えば、受動許可データ１３のフラグにおいて、「拒否」が設定される、または「ペンディング」が設定される場合、能動アバタが受動アバタに対して、動作組み合わせをしようと働きかけていることを、動画データにおいて示す。

【0074】

例えば図５に示す画面のキャプチャに示すように、動画データにおいてメッセージ表示部Ｖ１を設ける。メッセージ表示部Ｖ１に「握手をしよう！」というメッセージを表示することで、能動アバタＡ１が受動アバタＡ２に対して握手を働きかけていることが、動画データを介して受動端末３のユーザに伝わる。また他の方法として、動画データにおいて、能動アバタＡ１の右手を強調する強調表示部Ｖ２ａと、受動アバタＡ２の右手を強調する強調表示部Ｖ２ｂを設け、能動アバタＡ１が握手しようとしていることを、動画データを介して受動端末３のユーザに伝えても良い。能動アバタＡ１および受動アバタＡ２のうちのいずれかにのみ、強調表示がなされても良い。

【0075】

受動端末３のユーザは、メッセージまたは強調表示を参照して、能動アバタＡ１が受動アバタＡ２と握手をしたがっていることを把握し、その要求に対して許可するか拒否するかの指示を入力する。許可する場合、動画データにおいて、能動アバタＡ１と受動アバタＡ２とが握手する。

【0076】

能動アバタから受動アバタへの動作が検出され、受動許可データ１３のその動作についての許可フラグが拒否を示す場合、動画データにおいて、受動アバタが能動アバタの動作を受け入れないことを示す。これにより能動端末２のユーザは、受動アバタから動作を拒否されたことを認識することができる。

【0077】

例えば、受動許可データ１３において「拒否」が設定される場合、動画データにおいて、受動アバタが能動アバタをすり抜けるなど、能動アバタと受動アバタが絡まず、相手がいないかのごとく能動アバタおよび受動アバタが動作する。具体的には、能動アバタが受動アバタに握手を要求し、受動アバタが拒否する場合、能動アバタが差し出した右手を受動アバタがすり抜けるなど、動画データにおいて、能動アバタと受動アバタが単に重なる様子が示される。あるいは、能動アバタと受動アバタが反発するように、動画データにおいて、能動アバタと受動アバタが互いに後方向に移動する様子が示されても良い。また動画データにおいて、「握手を拒否します」というメッセージ表示部を表示しても良い。

【0078】

図６を参照して、生成部２２による生成処理を説明する。図６においてアバタ表示装置１は、仮想空間をレンダリング可能なモーションデータ１４を生成して、能動端末２および受動端末３がモーションデータから動画データを生成する。

【0079】

まず生成部２２は、受動許可データ１３に設定された能動アバタの動作の検出を待機する。受動許可データ１３において、受動アバタの部位が設定される場合、能動アバタの動作が、受動アバタの部位に対する動作であることも検出する。

【0080】

検出されない場合、ステップＳ４において生成部２２は、能動動作データ１１および受動動作データ１２に従って、モーションデータ１４を生成する。

【0081】

検出される場合、ステップＳ２において生成部２２は、受動許可データ１３において、その動作に対応づけられたフラグを参照する。フラグが許可の場合、ステップＳ３に進み、フラグが拒否の場合、ステップＳ７に進む。

【0082】

フラグが許可の場合、ステップＳ３において生成部２２は、受動許可データ１３において、動作の設定があるか否かを判定する。動作の設定がない場合、ステップＳ５において生成部２２は、能動動作データ１１および受動動作データ１２を変更して、能動アバタと受動アバタとが動作組み合わせを行うモーションデータ１４を生成する。このモーションデータ１４により、能動動作データ１１および受動動作データ１２に関わらず、能動アバタと受動アバタとが動作組み合わせを行う動画データが、能動端末２および受動端末３で再生される。

【0083】

動作の設定がある場合、ステップＳ５において生成部２２は、受動動作データ１２を変更して、受動アバタが、受動許可データ１３で設定された動作を行うモーションデータ１４を生成する。このモーションデータ１４により、受動動作データ１２に関わらず、受動アバタは、設定された動作を行う動画データが、能動端末２および受動端末３で再生される。能動アバタは、能動動作データ１１に従って動作しても良いし、所定の動作をしても良いし、一時停止で停止しても良い。

【0084】

フラグが拒否の場合、ステップＳ７において生成部２２は、受動動作データ１２を変更して、受動アバタが動作を受け入れないモーションデータ１４を生成する。モーションデータ１４において、能動アバタが動作組み合わせを要求している旨をメッセージまたは強調表示で示しても良い。

【0085】

ステップＳ４ないしＳ７のいずれかの処理が終了すると、生成部２２は、ステップＳ１に戻る。

【0086】

このような本発明の実施の形態に係るアバタ表示システム５によれば、能動アバタが受動アバタに動作組み合わせを要求し、受動アバタがその要求を許可する場合、能動端末２および受動端末３から入力される動作指示に関わらず、能動アバタと受動アバタが互いに対応する動作をする動画データを表示する。これにより、能動端末２および受動端末３において動作組み合わせを行うための精細な動作指示を入力することなく、容易に仮想空間において動作組み合わせを実現することができる。仮想空間でコミュニケーションするユーザは、アバタの操作技能に関わらず、容易に他のアバタと交流することが可能になる。

【0087】

なお本発明の実施の形態において、仮想空間で活動する能動アバタと受動アバタへの動作指示がリアルタイムに入力される場合を説明するが、これに限らない。例えば、能動アバタはリアルタイムに入力された動作指示に従って動作し、受動アバタは予め入力された動作指示に従って動作するなど、動作指示の入力タイミングは問わない。例えば仮想空間で活動するアイドル（受動アバタ）のアバタの握手会の動画データにおいて、能動アバタがアイドルに近づき握手を求め、受動許可データ１３において握手が許可される場合、能動アバタとアイドルとが握手する様子が示される。

【0088】

本発明の実施の形態において、図に示す受動許可データ１３は、受動アバタ毎に生成される場合を説明したがこれに限らない。例えば、受動許可データ１３がない受動アバタは、能動アバタとの動作組み合わせを全て拒否するように制御されても良い。また、アバタ表示装置１は、受動アバタ毎に動作組み合わせを受け入れるか否かを設定するデータを保持しても良い。動作組み合わせを受け入れない受動アバタが容易に特定されることにより、生成部２２の処理コストを低減することができる。

【0089】

図３に示す受動許可データ１３において、能動動作種別および受動アバタの部位毎に、フラグが設定される場合を説明したが、これに限らない。例えば、能動アバタ毎に、フラグが設定されても良い。受動許可データ１３は、動作組み合わせを受け入れる能動アバタの特定情報、または受け入れない能動アバタの特定情報を含んでも良い。この能動アバタの特定情報は、能動アバタを特定できればよく、個々のアバタの識別子であっても良いし、職業、親密度等の能動アバタの属性であっても良い。また受動許可データ１３において、能動動作種別および受動アバタの部位のほか、さらに能動アバタの特定情報毎に、フラグが設定されても良い。

【0090】

また受動許可データ１３において、仮想空間を区分するエリアの属性、時間、天気等の仮想空間の環境ごとに、フラグが設定されても良い。例えば、アイドルの町において、職業がアイドルの受動アバタは、全ての能動アバタからの働きかけを受け入れる一方、アイドルの町以外のエリアにおいて、能動アバタからの働きかけを一切受け入れないように、フラグが設定されても良い。

【0091】

またフラグに拒否が設定される場合、受動許可データ１３において、能動アバタによる動作組み合わせを受動アバタが受け入れる条件が対応づけられても良い。条件は、例えば、親密度が所定レベル以上である、所定のアイテムを持っている、課金ユーザのアバタである、などである。この条件は、能動アバタのユーザが認識できるように通知される。例えば、能動端末２に表示される動画データにおいて通知されても良いし、能動端末２にダイレクトメッセージで通知されても良い。

【0092】

このように受動許可データ１３において、受動アバタが能動アバタからの働きかけを受け入れる条件を予め既定することにより、アバタ表示装置１は、仮想空間において、受動アバタの意向を反映したコミュニケーションを実現することができる。

【0093】

（その他の実施の形態）
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。

【0094】

例えば、本発明の実施の形態に記載したアバタ表示装置は、図２に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、他の機能とともに既存の処理装置上に実現されても良い。

【0095】

本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

【符号の説明】

【0096】

１ アバタ表示装置
２ 能動端末
３ 受動端末
５ アバタ表示システム
１０ 記憶装置
１１ 能動動作データ
１２ 受動動作データ
１３ 受動許可データ
１４ モーションデータ
２０ 処理装置
２１ 取得部
２２ 生成部
２３ 出力部
３０ 通信制御装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】