特許 7609252 画像生成装置、画像生成方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-23

(45)【発行日】2025-01-07

(54)【発明の名称】画像生成装置、画像生成方法、プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241224BHJP

   G06T 13/40 20110101ALI20241224BHJP

【ＦＩ】

H04N7/18 U

G06T13/40

【請求項の数】 14

(21)【出願番号】P 2023508269

(86)(22)【出願日】2021-03-24

(86)【国際出願番号】 JP2021012331

(87)【国際公開番号】W WO2022201371

(87)【国際公開日】2022-09-29

【審査請求日】2023-09-19

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100134359

【弁理士】

【氏名又は名称】勝俣 智夫

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(74)【代理人】

【識別番号】100206391

【弁理士】

【氏名又は名称】柏野 由布子

(72)【発明者】

【氏名】石塚 健治

(72)【発明者】

【氏名】今村 秀隆

(72)【発明者】

【氏名】才野 慶二郎

(72)【発明者】

【氏名】下薗 大樹

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１３－０２１４６６（ＪＰ，Ａ）

【文献】国際公開第２０２０／２１３０９８（ＷＯ，Ａ１）

【文献】特開２０２０－１６６５７５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １３／４０

(57)【特許請求の範囲】

【請求項1】

演者によって演奏された曲を通信ネットワークを介して複数の視聴者の端末装置に対してリアルタイムに配信するライブ配信システムにおいて用いられる画像生成装置であり、
前記配信を視聴する視聴者の動作に応じた動作情報を取得する取得部と、
前記演奏に応じた仮想空間に配置される複数の視聴者のアバターがグループに分けられたアバター群を、前記動作情報に基づいて動作させる画像を生成する画像生成部
を有し、
前記画像生成部は、
前記動作情報に基づいて、前記配信される曲に含まれる所定のパートが到来したタイミングに応じて動作を行わせるものであり、
前記画像生成部は、
前記取得された動作情報に基づいて、前記グループに属する視聴者のうちカウント対象の動作に該当する動作情報が前記グループに属する視聴者の端末装置から得られた数を検出し、検出された数が基準値以上である場合に、前記カウント対象とされた動作を前記グループに属するアバター群の動作として行わせる画像を生成する
画像生成装置。

【請求項2】

前記画像生成部は、前記視聴者の端末装置の表示画面に、当該視聴者に対応するアバターと、当該視聴者に対応するアバターの座席の周囲のアバターが同じ動作をしているように表示させる
請求項１に記載の画像生成装置。

【請求項3】

前記画像生成部は、
前記動作情報に基づいて、前記動作に応じた周波数を抽出し、抽出された周波数に応じて前記アバター群が動く画像を生成する
請求項１または請求項２に記載の画像生成装置。

【請求項4】

前記画像生成部は、
前記動作情報に基づいて、前記動作に応じた信号強度を算出し、算出された信号強度に応じて前記アバター群が動く画像を生成する
請求項１から請求項３のうちいずれか１項に記載の画像生成装置。

【請求項5】

前記画像生成部は、
前記視聴者の動作に応じて動作するアバターと、前記グループ単位で同じ動きをするアバター群を、ともに表示させる
請求項１から請求項４のうちいずれか１項に記載の画像生成装置。

【請求項6】

前記画像生成部は、
前記配信される曲のジャンルに応じた動作をさせる
請求項１から請求項５のうちいずれか１項に記載の画像生成装置。

【請求項7】

前記取得部は、前記演者が物品を放る動作に応じた動作情報を取得し、
前記画像生成部は、前記物品を放る動作に応じた動作情報に基づいて、仮想空間における物品の落下地点を推定し、推定された位置に応じて前記物品を前記仮想空間において受け取ることが可能なアバターをスペシャルアバターとして特定する
請求項１から請求項６のうちいずれか１項に記載の画像生成装置。

【請求項8】

前記画像生成装置は、前記視聴者の端末装置と、前記演者が利用する端末装置に対して、前記配信を行うものであり、
前記画像生成部は、前記演者が演奏をするステージ側から客席側を見た場合の画像であって、前記客席において前記グループに分けられたアバター群を動作させる画像を生成し、前記ステージ側から客席側を見た場合の画像を前記演者が利用する端末装置に対して表示させる
請求項１記載の画像生成装置。

【請求項9】

演者によって演奏された曲を通信ネットワークを介して複数の視聴者の端末装置に対してリアルタイムに配信するライブ配信システムにおいて用いられる画像生成装置であり、
前記配信を視聴する視聴者の動作に応じた動作情報を取得する取得部と、
前記演奏に応じた仮想空間に配置される複数の視聴者のアバターがグループに分けられたアバター群を、前記動作情報に基づいて動作させる画像を生成する画像生成部
を有し、
前記画像生成部は、
前記動作情報に基づいて、前記配信される曲に含まれる所定のパートが到来したタイミングに応じて動作を行わせ、
前記取得部は、前記演者が物品を放る動作に応じた動作情報を取得し、
前記画像生成部は、前記物品を放る動作に応じた動作情報に基づいて、仮想空間における物品の落下地点を推定し、推定された位置に応じて前記物品を前記仮想空間において受け取ることが可能なアバターをスペシャルアバターとして特定する
画像生成装置。

【請求項10】

前記スペシャルアバターに対応する視聴者の個人情報に基づく前記物品の送付先情報を出力する送付先情報出力部をさらに備える
請求項７または請求項９に記載の画像生成装置。

【請求項11】

演者によって演奏された曲を通信ネットワークを介して複数の視聴者の端末装置に対してリアルタイムに配信するライブ配信システムにおいて用いられるコンピュータにより実行される画像生成方法であり、
前記配信を視聴する視聴者の動作に応じた動作情報を取得し、
前記演奏に応じた仮想空間に配置される複数の視聴者のアバターがグループに分けられたアバター群を、前記動作情報に基づいて動作させる画像を生成し、
前記画像を生成することは、
前記動作情報に基づいて、前記配信される曲に含まれる所定のパートが到来したタイミングに応じて動作を行わせることを含むとともに、
前記取得された動作情報に基づいて、前記グループに属する視聴者のうちカウント対象の動作に該当する動作情報が前記グループに属する視聴者の端末装置から得られた数を検出し、検出された数が、基準値以上である場合に、前記カウント対象とされた動作を前記グループに属するアバター群の動作として行わせる画像を生成する
ことを含む画像生成方法。

【請求項12】

演者によって演奏された曲を通信ネットワークを介して複数の視聴者の端末装置に対してリアルタイムに配信するライブ配信システムにおいて用いられるコンピュータに実行させるプログラムであり、
前記配信を視聴する視聴者の動作に応じた動作情報を取得し、
前記演奏に応じた仮想空間に配置される複数の視聴者のアバターがグループに分けられたアバター群を、前記動作情報に基づいて動作させる画像を生成し、
前記画像を生成することは、
前記動作情報に基づいて、前記配信される曲に含まれる所定のパートが到来したタイミングに応じて動作を行わせることを含むとともに、
前記取得された動作情報に基づいて、前記グループに属する視聴者のうちカウント対象の動作に該当する動作情報が前記グループに属する視聴者の端末装置から得られた数を検出し、検出された数が、基準値以上である場合に、前記カウント対象とされた動作を前記グループに属するアバター群の動作として行わせる画像を生成する
ことを含むプログラム。

【請求項13】

演者によって演奏された曲を通信ネットワークを介して複数の視聴者の端末装置に対してリアルタイムに配信するライブ配信システムにおいて用いられるコンピュータにより実行される画像生成方法であり、
前記配信を視聴する視聴者の動作に応じた動作情報を取得し、
前記演奏に応じた仮想空間に配置される複数の視聴者のアバターがグループに分けられたアバター群を、前記動作情報に基づいて動作させる画像を生成し、
前記演者が物品を放る動作に応じた動作情報を取得し、
前記画像を生成することは、
前記動作情報に基づいて、前記配信される曲に含まれる所定のパートが到来したタイミングに応じて動作を行わせることを含むとともに、
前記物品を放る動作に応じた動作情報に基づいて、仮想空間における物品の落下地点を推定し、推定された位置に応じて前記物品を前記仮想空間において受け取ることが可能なアバターをスペシャルアバターとして特定することを含む
画像生成方法。

【請求項14】

演者によって演奏された曲を通信ネットワークを介して複数の視聴者の端末装置に対してリアルタイムに配信するライブ配信システムにおいて用いられるコンピュータにより実行させるプログラムであり、
前記配信を視聴する視聴者の動作に応じた動作情報を取得し、
前記演奏に応じた仮想空間に配置される複数の視聴者のアバターがグループに分けられたアバター群を、前記動作情報に基づいて動作させる画像を生成し、
前記演者が物品を放る動作に応じた動作情報を取得し、
前記画像を生成することは、
前記動作情報に基づいて、前記配信される曲に含まれる所定のパートが到来したタイミングに応じて動作を行わせることを含むとともに、
前記物品を放る動作に応じた動作情報に基づいて、仮想空間における物品の落下地点を推定し、推定された位置に応じて前記物品を前記仮想空間において受け取ることが可能なアバターをスペシャルアバターとして特定することを含む
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、画像生成方法、プログラムに関する。

【背景技術】

【0002】

歌唱や演奏の様子を撮影した映像をライブ配信するシステムがある（例えば特許文献１）。このシステムでは、歌唱者や演奏者等の演者は、それぞれ別の場所において演奏する。演奏場所にはそれぞれカメラが設けられている。センターは、各カメラから得られた映像を合成し、配信映像として受信端末に配信する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－１３１３７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、実際のライブでは、演者は、客席にいる来場者の反応を見ながら演奏をする。そのため、ライブ配信においても視聴者の反応を見ながら演奏をできた方がよい。また、視聴者には、演奏されている曲をどのように楽しめばよいか、他の視聴者の様子を把握したい人もいる。そのため、ライブ配信の視聴者の反応を共有できることが望ましい。

【0005】

本発明は、このような事情に鑑みてなされたもので、その目的は、ライブ配信における視聴者の反応を共有することである。

【課題を解決するための手段】

【0006】

本発明の一態様は、演者によって演奏された曲を通信ネットワークを介して複数の視聴者の端末装置に対してリアルタイムに配信するライブ配信システムにおいて用いられる画像生成装置であり、前記配信を視聴する視聴者の動作に応じた動作情報を取得する取得部と、前記演奏に応じた仮想空間に配置される複数の視聴者のアバターがグループに分けられたアバター群を、前記動作情報に基づいて動作させる画像を生成する画像生成部を有し、前記画像生成部は、前記動作情報に基づいて、前記配信される曲に含まれる所定のパートが到来したタイミングに応じて動作を行わせるものであり、前記画像生成部は、前記取得された動作情報に基づいて、前記グループに属する視聴者のうちカウント対象の動作に該当する動作情報が前記グループに属する視聴者の端末装置から得られた数を検出し、検出された数が、基準値以上である場合に、前記カウント対象とされた動作を前記グループに属するアバター群の動作として行わせる画像を生成する画像生成装置である。
また、本発明の一態様は、演者によって演奏された曲を通信ネットワークを介して複数の視聴者の端末装置に対してリアルタイムに配信するライブ配信システムにおいて用いられる画像生成装置であり、前記配信を視聴する視聴者の動作に応じた動作情報を取得する取得部と、前記演奏に応じた仮想空間に配置される複数の視聴者のアバターがグループに分けられたアバター群を、前記動作情報に基づいて動作させる画像を生成する画像生成部を有し、前記画像生成部は、前記動作情報に基づいて、前記配信される曲に含まれる所定のパートが到来したタイミングに応じて動作を行わせ、前記取得部は、前記演者が物品を放る動作に応じた動作情報を取得し、前記画像生成部は、前記物品を放る動作に応じた動作情報に基づいて、仮想空間における物品の落下地点を推定し、推定された位置に応じて前記物品を前記仮想空間において受け取ることが可能なアバターをスペシャルアバターとして特定する画像生成装置である。

【0007】

また、本発明の一態様は、演者によって演奏された曲を通信ネットワークを介して複数の視聴者の端末装置に対してリアルタイムに配信するライブ配信システムにおいて用いられるコンピュータにより実行される画像生成方法であり、前記配信を視聴する視聴者の動作に応じた動作情報を取得し、前記演奏に応じた仮想空間に配置される複数の視聴者のアバターがグループに分けられたアバター群を、前記動作情報に基づいて動作させる画像を生成し、前記画像を生成することは、前記動作情報に基づいて、前記配信される曲に含まれる所定のパートが到来したタイミングに応じて動作を行わせることを含むとともに、前記取得された動作情報に基づいて、前記グループに属する視聴者のうちカウント対象の動作に該当する動作情報が前記グループに属する視聴者の端末装置から得られた数を検出し、検出された数が、基準値以上である場合に、前記カウント対象とされた動作を前記グループに属するアバター群の動作として行わせる画像を生成することを含む画像生成方法である。
また、本発明の一態様は、演者によって演奏された曲を通信ネットワークを介して複数の視聴者の端末装置に対してリアルタイムに配信するライブ配信システムにおいて用いられるコンピュータに実行させるプログラムであり、前記配信を視聴する視聴者の動作に応じた動作情報を取得し、前記演奏に応じた仮想空間に配置される複数の視聴者のアバターがグループに分けられたアバター群を、前記動作情報に基づいて動作させる画像を生成し、前記画像を生成することは、前記動作情報に基づいて、前記配信される曲に含まれる所定のパートが到来したタイミングに応じて動作を行わせることを含むとともに、前記取得された動作情報に基づいて、前記グループに属する視聴者のうちカウント対象の動作に該当する動作情報が前記グループに属する視聴者の端末装置から得られた数を検出し、検出された数が、基準値以上である場合に、前記カウント対象とされた動作を前記グループに属するアバター群の動作として行わせる画像を生成することを含むプログラムである。
また、本発明の一態様は、演者によって演奏された曲を通信ネットワークを介して複数の視聴者の端末装置に対してリアルタイムに配信するライブ配信システムにおいて用いられるコンピュータにより実行される画像生成方法であり、前記配信を視聴する視聴者の動作に応じた動作情報を取得し、前記演奏に応じた仮想空間に配置される複数の視聴者のアバターがグループに分けられたアバター群を、前記動作情報に基づいて動作させる画像を生成し、前記演者が物品を放る動作に応じた動作情報を取得し、前記画像を生成することは、前記動作情報に基づいて、前記配信される曲に含まれる所定のパートが到来したタイミングに応じて動作を行わせることを含むとともに、前記物品を放る動作に応じた動作情報に基づいて、仮想空間における物品の落下地点を推定し、推定された位置に応じて前記物品を前記仮想空間において受け取ることが可能なアバターをスペシャルアバターとして特定することを含む画像生成方法である。
また、本発明の一態様は、演者によって演奏された曲を通信ネットワークを介して複数の視聴者の端末装置に対してリアルタイムに配信するライブ配信システムにおいて用いられるコンピュータにより実行させるプログラムであり、前記配信を視聴する視聴者の動作に応じた動作情報を取得し、前記演奏に応じた仮想空間に配置される複数の視聴者のアバターがグループに分けられたアバター群を、前記動作情報に基づいて動作させる画像を生成し、前記演者が物品を放る動作に応じた動作情報を取得し、前記画像を生成することは、前記動作情報に基づいて、前記配信される曲に含まれる所定のパートが到来したタイミングに応じて動作を行わせることを含むとともに、前記物品を放る動作に応じた動作情報に基づいて、仮想空間における物品の落下地点を推定し、推定された位置に応じて前記物品を前記仮想空間において受け取ることが可能なアバターをスペシャルアバターとして特定することを含むプログラムである。

【発明の効果】

【0008】

ライブ配信における視聴者の反応を共有することができる。

【図面の簡単な説明】

【0009】

【図1】ライブ配信システム１の構成を示す概略ブロック図である。

【図2】ライブ配信装置１０の構成を表す概略機能ブロック図である。

【図3】ライブ配信システム１の処理の流れを説明するシーケンス図である。

【図4】視聴者の端末装置の表示画面に表示される画像の一例を示す図である。

【図5】演者の端末装置の表示画面に表示される画像の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態による画像生成装置について図面を参照して説明する。
図１は、この発明の一実施形態による画像生成装置を用いたライブ配信システム１の構成を示す概略ブロック図である。
ライブ配信システム１は、ライブ配信装置１０と、デザイナ端末２０と、演者装置群Ｐ１と、演者装置群Ｐ２と、視聴者装置群Ａ１と、視聴者装置群Ａ２とがネットワークＮを介して通信可能に接続される。

【0011】

ライブ配信装置１０は、演者が行うライブ演奏に応じたコンテンツを、視聴者の端末にリアルタイムに配信（ライブ配信）する。
ライブ配信装置１０は、１つの楽曲を演奏する場合に、１箇所のライブ会場に演者が集まって演奏する場合と、１つの楽曲を異なるライブ会場においてそれぞれの演者が異なるパートを演奏する場合とのいずれであってもライブ配信をすることができる。ライブ配信装置１０は、異なるライブ会場において演者がそれぞれ演奏をする場合、各ライブ会場に設けられるそれぞれの演者装置群から得られる演奏データを合成し、ライブ配信データとして視聴者の装置に送信する。
ライブ会場は、自宅、スタジオ、ライブ会場等のように演奏可能な場所であれば、いずれの場所であってもよい。

【0012】

演者装置群Ｐ１と演者装置群Ｐ２は、それぞれライブに出演する演者によって利用される。ここでは、１つの曲を演者装置群Ｐ１を利用する演者と、演者装置群Ｐ２を利用する演者がそれぞれ異なるライブ会場において演奏する場合を例として説明する。なお、１つの曲を複数のライブ会場ではなく１つのライブ会場において演奏するようにしてもよい。その場合、１つの演者装置群が利用される。ここでは、演者装置群が２つである場合について説明するが、演奏する場所が３箇所以上ある場合には、それぞれの演奏場所に演者装置群が設けられるようにしてもよい。例えば、ボーカル、ギター、ベース、ドラム、キーボード等のように演奏パートが異なる場合には、それぞれ別の演奏装置群を用いて別の演奏場所から演奏することができる。

【0013】

演者装置群Ｐ１は、端末装置Ｐ１１と、収音装置Ｐ１２と、カメラＰ１３とを含む。
端末装置Ｐ１１は、収音装置Ｐ１２とカメラＰ１３とに通信可能に接続されるとともに、ネットワークＮと通信可能に接続される。端末装置Ｐ１１は、マウスとキーボード、またはタッチパネル等の各種入力装置を備えるとともに、表示装置を備える。
端末装置Ｐ１１は、例えばコンピュータである。

【0014】

収音装置Ｐ１２は、音を収音し、収音された音に応じた音信号を端末装置Ｐ１１に出力する。収音装置Ｐ１２は、楽器から出力される演奏音を収音する音センサ、電子楽器から出力される音信号を入力する入力装置、演者の歌唱音を収音するマイクロフォンのうちいずれか１つの機能を有していればよい。ここでは端末装置Ｐ１１に対して１つの収音装置Ｐ１２が接続されているが、複数の収音装置が接続されてもよい。例えば、演者が歌唱しながら楽器を演奏する場合には、マイクロフォンとしての収音装置と、楽器の音を収音する収音装置とを用いることができる。
カメラＰ１３は、演者装置群Ｐ１を利用する演者を撮像し、撮像データを端末装置Ｐ１１に出力する。撮像データは、例えば、動画データである。

【0015】

演者装置群Ｐ２は、端末装置Ｐ２１と、収音装置Ｐ２２と、カメラＰ２３とを含む。端末装置Ｐ２１は、端末装置Ｐ１１と同様の機能、収音装置Ｐ２２は、収音装置Ｐ１２と同様の機能、カメラＰ２３は、カメラＰ１３と同様の機能を有するため、その説明を省略する。

【0016】

デザイナ端末２０は、ライブ配信に関するコンテンツの演出を担当するデザイナによって利用される。デザイナ端末２０は、ライブ配信装置１０に対して、アバター群を動作させるための設定情報を入力する。設定情報は、会場のデザイン、楽曲に応じたアバターの動作パターン、客席をグループ毎に分けるグループの割り当て等のうち少なくとも１つの情報を用いることができる。

【0017】

視聴者装置群Ａ１と視聴者装置群Ａ２は、それぞれライブ配信を視聴する視聴者によって利用される。視聴者装置群Ａ１と視聴者装置群Ａ２は、それぞれ異なる視聴者によって利用される。
視聴者装置群Ａ１は、端末装置Ａ１１とモーションセンサＡ１２とを含む。
端末装置Ａ１１は、マウスとキーボード、またはタッチパネル等の各種入力装置を備えるとともに、表示装置を備える。端末装置Ａ１１は、モーションセンサＡ１２と通信可能に接続されるとともに、ネットワークＮに通信可能に接続される。
端末装置Ｐ１１は、例えばコンピュータ、スマートフォン、タブレット等のいずれの装置が用いられる。

【0018】

端末装置Ａ１１は、ライブ配信装置１０から画像信号を受信し、画像信号を表示画面に表示する。端末装置Ａ１１は、画像信号を表示する場合、仮想空間における視聴位置を視聴者からの操作入力に応じて変更することができる。端末装置Ｐ１１は、画像信号に基づいて、仮想空間におけるライブ会場が示された仮想空間の三次元情報を生成し、指定された視聴位置から見える、ライブ会場を表す三次元情報を表示する画像信号として生成する。端末装置Ｐ１１は、この生成した画像信号を表示画面に表示する。

【0019】

モーションセンサＡ１２は、端末装置群Ａ１を利用する視聴者の動作を検出し、検出された動作に応じた動作情報を生成し、外部に出力する。モーションセンサＡ１２は、端末装置Ａ１１に通信可能に接続されており、動作情報を端末装置Ａ１１に出力する。

【0020】

モーションセンサＡ１２は、視聴者を撮像し、撮像結果に基づいて視聴者の姿勢を検出し、検出結果から視聴者の動作を検出する。検出される動作は、例えば、視聴者が立ち上がっているか否か、腕を上げているか否か、体を左右方向に揺らす動作を行っているか否か、手を左右に振る動作を行っているか否か等のうち少なくともいずれか１つであってもよい。この場合、モーションセンサＡ１２は、端末装置Ａ１１の表示装置近傍に取り付けられ、視聴者がライブ配信を視聴している様子が撮像範囲に入るように撮影方向が予め調整される。

【0021】

モーションセンサＡ１２は、視聴者の動作を画像に基づいて検出する場合、視聴者が動かした体の部位、動作する方向、動作する速度等を検出し、これらを含む動作情報を生成し、端末装置へ出力することができる。また、モーションセンサＡ１２は、特定の部位が動いたか否かを表す動作情報を生成するようにしてもよい。この場合、モーションセンサＡ１２は、動いたか否かを示す二値の値によって動作情報を表すことができる。そのため、少ない情報量（低次元の情報）によって動作情報を表すことができ、視聴者の端末装置からライブ配信装置１０に動作情報を送信する送信処理にかかる負荷を低減することができ、ネットワークＮにかかる負荷も低減することができる。

【0022】

モーションセンサＡ１２は、加速度センサやジャイロセンサなどであってもよい。この場合、モーションセンサＡ１２は、視聴者の身体に取り付けられるか、または、視聴者の手に握られるように保持される。加速度センサやジャイロセンサが用いられる場合であっても、モーションセンサＡ１２は、視聴者が動いたか否かを二値によって動作情報を表すようにしてもよい。
なお、モーションセンサＡ１２は、ネットワークＮに接続する機能を有していてもよい。この場合、モーションセンサＡ１２は、端末装置Ａ１１を介して動作情報をネットワークＮに送信するのではなく、端末装置Ａ１１を介さずにネットワークＮに送信することができる。端末装置Ａ１１とモーションセンサＡ１２とが同一の視聴者が利用していることについては、ライブ配信を視聴する際に、同じログインＩＤとパスワードを用いてログインすることで、同一ユーザであることを識別するようにしてもよい。また、端末装置Ａ１１においてモーションセンサＡ１２の個体識別番号を入力することで、ユーザ登録するようにしてもよい。

【0023】

視聴者装置群Ａ２は、端末装置Ａ２１と、モーションセンサＡ２２とを含む。端末装置Ａ２１は、端末装置Ａ１１と同様の機能、モーションセンサＡ２２は、モーションセンサＡ１２と同様の機能を有するため、その説明を省略する。

【0024】

図２は、ライブ配信装置１０の構成を表す概略機能ブロック図である。
ライブ配信装置１０は、通信部１０１と、記憶部１０２と、動作判定部１３０と、画像生成部１０４と、音処理部１０５と、同期処理部１０６と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０７、送付先情報出力部１０８とを含む。
通信部１０１は、ネットワークＮに接続され、ネットワークＮと介して他の装置と通信を行う。例えば、通信部１０１は、ライブ配信を視聴する視聴者の動作に応じた動作情報を視聴者の端末装置から取得する取得部としての機能を有する。

【0025】

記憶部１０２は、各種データを記憶する。
例えば、記憶部１０２は、会場データ記憶部１０２１と、アバター記憶部１０２２とを含む。
会場データ記憶部１０２１は、ライブ会場を仮想空間において表す会場データを記憶する。会場データは、ライブ会場を三次元空間において表す三次元データであってもよい。

【0026】

アバター記憶部１０２２は、仮想空間におけるライブ会場に配置されるアバターを表す画像データを記憶する。アバターは、各視聴者について同じデザインであっても良いし、少なくとも一部の視聴者について、視聴者に応じて異なるデザインであってもよい。アバターが視聴者に応じたデザインが用いられる場合、アバター記憶部１０２２は視聴者（ユーザ）毎のアバターのデザインを表すアバターデータを記憶する。ここで、仮想空間上におけるライブ会場に設置されたグッズ売り場において、アバターの形状や、アバターが装着可能な衣服やアクセサリー等のアイテムを電子マネー等を利用して購入することができる。視聴者は、グッズ売り場において好みに応じてアバターの形状やアイテムを購入し、自身のアバターに設定することができる。

【0027】

記憶部１０２は、記憶媒体、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ ｒｅａｄ／ｗｒｉｔｅ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはこれらの記憶媒体の任意の組み合わせである。この記憶部１０２は、例えば、不揮発性メモリを用いることができる。

【0028】

動作判定部１０３は、視聴者の端末装置から送信される動作情報に基づいて、視聴者がいずれの動作を行っているかを判定する。視聴者の動作としては、例えば、視聴者が立ち上がっているか否か、腕を上げているか否か、体を左右方向に揺らす動作を行っているか否か、手を左右に振る動作を行っているか否か等のうち少なくともいずれか１つであってもよい。

【0029】

画像生成部１０４は、演者によって演奏される曲に応じた画像信号を生成する。画像生成部１０４は、ステージ合成部１０４１と、客席合成部１０４２とを含む。
ステージ合成部１０４１は、曲を演奏する演者が撮像された撮像データを会場データが示す仮想空間のライブ会場におけるステージ上の位置に合成する。
客席合成部１０４２は、視聴者に対応するアバターを仮想空間におけるライブ会場の観客席の位置に合成する。

【0030】

画像生成部１０４は、ステージ合成部１０４１によって仮想空間のライブ会場に演者の画像が合成され、客席合成部１０４２によって仮想空間のライブ会場の客席に視聴者のアバターが合成された画像信号を生成する。画像生成部１０４は、生成された画像信号を通信部１０１及びネットワークＮを介して、視聴者の端末装置（例えば端末装置Ａ１１、端末装置Ａ２１）に送信する。

【0031】

画像生成部１０４の客席合成部１０４２は、ライブ配信される仮想空間に配置されたアバター群を、動作判定部１０３から得られる動作情報に基づいて動作させる画像を生成する。アバター群は、複数の視聴者のアバターをグループに分けたものである。

【0032】

客席合成部１０４２は、アバター群を動作させる画像を生成する場合、視聴者に対応するアバターが属するアバター群を、動作情報に基づいて動作させるようにしてもよい。例えば、仮想空間におけるライブ会場の座席の位置は、座席データとして視聴者毎に割り当てられている。この座席は、１人の視聴者に個別の座席が割り当てられていてもよいし、複数の視聴者を収容可能なエリアが割り当てられていてもよい。客席合成部１０４２は、視聴者の動作情報が検出されると、この視聴者が属する座席を座席データに基づいて判別する。客席合成部１０４２は、判別された座席の位置を含む視聴者のグループを特定する。客席合成部１０４２は、視聴者の動作情報を特定されたグループにおける複数のアバターの動作に反映させる。

【0033】

ここでは、客席合成部１０４２は、グループに属する１人の視聴者の動作情報に基づいて、そのグループ全体のアバターを動作させるようにしてもよい。この場合、グループの代表的な視聴者の動作に応じて、グループ全体のアバターを動作させることができる。
また、客席合成部１０４２は、グループに属する複数の視聴者の動作情報に基づいて、グループに属する各視聴者の動作の傾向を分析し、分析結果に応じてグループに属するアバターを動作させるようにしてもよい。例えば、あるグループにおいて、曲の途中にジャンプする動作を行った視聴者の数を検出し、ジャンプした人数が基準値以上（例えば半分以上）である場合には、そのグループに属する各アバターを動作（例えばジャンプ）させる。これにより、グループ毎に視聴者の動作の傾向に応じてアバター群を動作させることができる。

【0034】

この実施形態において、画像生成部１０４がライブ配信装置１０の中に設けられた場合について説明するが、ライブ配信装置１０とは別に独立した装置として設けられ、ライブ配信装置１０通信を行うようにしてもよい。

【0035】

音処理部１０５は、演者によって演奏される曲に応じた音信号を生成する。
画像生成部１０４は、ミキサ１０５１と演奏同期部１０５２とを含む。
ミキサ１０５１は、各演者装置群から得られる音信号のうち、ミキシング対象の音信号を合成する。例えば、演者装置群Ｐ１の演者が演奏する楽器（例えばギター）の音信号、演者装置群Ｐ１の演者の歌唱音声、演者装置群Ｐ２の演者が演奏する楽器（例えばベース）の音信号を入力し、演者装置群Ｐ１の演者が演奏する楽器（例えばギター）の音信号と、演者装置群Ｐ２の演者が演奏する楽器（例えばベース）の音信号とをミキシングした音信号（伴奏パートの音信号）を生成する。この場合、ミキサ１０５１は、演者装置群Ｐ１の演者の歌唱音声の音信号と、伴奏パートの音信号との２系統の音信号を出力する。

【0036】

演奏同期部１０５２は、１つの曲を演奏する各パートの演者装置群から得られる演奏信号を同期させる。例えば、演奏同期部１０５２は、演者装置群Ｐ１の演者が演奏する歌唱音声の演奏信号と、演者装置群Ｐ１の演者が演奏する楽器の演奏信号と、演者装置群Ｐ２の演者が演奏する楽器の演奏信号とを同期させる。

【0037】

同期処理部１０６は、画像生成部１０４によって生成される画像信号と音処理部１０５によって生成される音信号とを同期させる。

【0038】

ＣＰＵ１０７は、ライブ配信装置１０内の各部を制御する。
送付先情報出力部１０８は、スペシャルアバターに対応する視聴者の個人情報に基づく物品の送付先情報を出力する。

【0039】

動作判定部１０３、画像生成部１０４、音処理部１０５、同期処理部１０６、送付先情報出力部１０８のうち少なくとも１つは、例えばＣＰＵ１０７等の処理装置において、コンピュータプログラムが実行されることによって実現されるようにしてもよいし、専用の電子回路によって実現されてもよい。

【0040】

次に、上述したライブ配信システム１の動作を説明する。
図３は、ライブ配信システム１の処理の流れを説明するシーケンス図である。
デザイナ端末２０は、デザイナからの操作入力に応じて、設定情報をライブ配信装置１０に送信する（ステップＳ１０１）。
ライブ配信装置１０は、デザイナ端末２０から送信された設定情報を受信し、記憶部１０２に記憶する（ステップＳ１０２）。
ライブ配信装置１０は、ライブ配信開始時刻が到来すると、記憶部１０２に記憶された設定情報に基づいて、ライブ配信を開始する（ステップＳ１０３）。ここでは、ライブ配信装置１０は、演者装置群Ｐ１と演者装置群Ｐ２からそれぞれ送信される画像信号と演奏信号とを受信し、画像信号を仮想空間のライブ会場に合成した画像信号と、演奏信号とを配信する。
端末装置Ａ１１は、視聴者からの操作入力に応じて、ライブ配信装置１０に対してライブ配信を視聴する電子チケットの購入手続をする購入要求とともに、ライブ配信の要求を送信する（ステップＳ１０４）。ライブ配信装置１０は、この購入要求に応じて電子チケットを端末装置Ａ１１の視聴者に対して、仮想空間のライブ会場における座席を割り当て、ライブ配信の視聴を許可する。ここで、電子チケットの購入は、事前に予約をして購入してもよいし、ライブ配信を視聴する段階において販売されてもよい。
ライブ配信装置１０は、端末装置Ａ１１からのライブ配信の要求に応じて、画像信号と演奏信号とを同期させて端末装置Ａ１１に送信する（ステップＳ１０５）。これにより、端末装置Ａ１１に対してのライブ配信が開始される。

【0041】

演奏が開始された後、端末装置Ｐ１１から演奏信号が送信され（ステップＳ１０６）、端末装置Ｐ１２から演奏信号が送信されると（ステップＳ１０７）、ライブ配信装置１０は、演奏信号を受信する。ライブ配信装置１０は受信した演奏信号を視聴者の端末装置に配信する。ここでは、ライブ配信装置１０は、演奏信号を演者の端末装置のそれぞれに配信することもできる。演者の端末装置は、ライブ配信装置１０から演奏信号を受信すると、スピーカやヘッドフォン等に演奏信号を出力する。これにより、演奏信号が音として外部に出力される。これにより、演者は、他の場所において演奏する演者の演奏音を聞きながら、自身の演奏をすることができる。

【0042】

端末装置Ａ２１は、視聴者からの操作入力に応じて、ライブ配信装置１０に対してライブ配信の要求を送信する（ステップＳ１０８）。
ライブ配信装置１０は、端末装置Ａ２１からのライブ配信の要求に応じて、画像信号と演奏信号とを端末装置Ａ２１に送信する（ステップＳ１０９）。これにより、端末装置Ａ２１に対してのライブ配信が開始される。

【0043】

演者は、曲の途中において、演奏を行うだけでなく、マイクロフォンから「うしろ、届いているかい」等のように、視聴者に対して話しかける（コールする）場合がある。この場合、仮想空間におけるライブ会場の客席後方側の座席にいる視聴者は、腕を上げる等、体の動きによってレスポンスを返すことができる。

【0044】

視聴者が腕を上げたことをモーションセンサＡ１２が検出すると、検出結果に応じた動作情報を端末装置Ａ１１に出力する。端末装置Ａ１１は、モーションセンサＡ１２から得られた動作情報を端末装置Ａ１１の識別情報とともにライブ配信装置１０に送信する（ステップＳ１１０）。
モーションセンサＡ２２は、視聴者が腕を上げたことを検出すると、検出結果に応じた動作情報を端末装置Ａ２１に出力する。端末装置Ａ２１は、モーションセンサＡ２２から得られた動作情報を端末装置Ａ２１の識別情報とともにライブ配信装置１０に送信する（ステップＳ１１１）

【0045】

ライブ配信装置１０の動作判定部１３０は、端末装置Ａ１１と端末装置Ａ２１から動作情報を受信すると、それぞれの動作情報に基づいて、視聴者の動作を判定する。ここでは、動作判定部１３０は、それぞれの動作情報によって表された動作が腕を上げる動作であると判定する（ステップＳ１１２）。

【0046】

画像生成部１０４は、動作判定部１０３の判定結果に基づいて、動作情報を客席のグループ毎に集計する。例えば、客席の全体のうち、前列側（ステージ近傍の座席群）が第１グループ、後列側（ステージから離れた位置にある座席群）が第２グループとして割り当てられている場合、画像生成部１０４は、第１グループに属する視聴者の端末装置から受信した、腕を上げたことを表す動作情報の数をカウントし、そのカウント結果が、基準値以上であるか否かを判定する。ここでは、演者の呼びかけが後列側に対する呼びかけであるため、前列側の座席に割り当てられた視聴者のほとんどは腕を上げないため、基準値を超えない。この場合、画像生成部１０４は、第１グループに属するアバターについては、腕を上げる動作をおこなわない。ここでは、第１グループに属する視聴者のうち数人が腕を上げる動作を行っていたとしても、仮想空間のライブ会場における第１グループに対応する位置に配置されたアバターについては、いずれも腕を上げないようにすることができる。

【0047】

一方、演者の呼びかけが後列側に対する呼びかけであり、後列側の座席に割り当てられた視聴者の多くが曲に対して気分が高揚している場合には、視聴者のそれぞれが腕を上げる。この場合、第２グループに属する視聴者が腕を上げた動作をした動作情報の数は、基準値を超える。この場合、画像生成部１０４は、第２グループに属するアバターについては、腕を上げる動作を行わせる。これにより、第２グループに属するそれぞれのアバターの腕を上げる画像を合成する（ステップＳ１１３）。

【0048】

画像を合成すると、画像生成部１０４は、通信部１０１とネットワークＮを介して、視聴者の端末装置に、第２グループに属するアバターがそれぞれ腕を上げたことを示す画像信号を視聴者の端末装置と、演者の端末装置のそれぞれに送信する（ステップＳ１１４）。これにより、各視聴者の端末装置（例えば、端末装置Ａ１１や端末装置Ａ２１）の表示画面には、前列側に配置されたアバターがそれぞれ腕を下げた状態であって、後列側に配置されたアバターがそれぞれ腕を上げた画像が表示される。演者の端末装置（端末装置Ａ１１や端末装置Ａ２１）の表示画面においても同様に、前列側に配置されたアバターがそれぞれ腕を下げた状態であって、後列側に配置されたアバターがそれぞれ腕を上げた画像が表示される。

【0049】

図４は、視聴者の端末装置の表示画面に表示される画像の一例を示す図である。
視聴者の端末装置においては、客席側からステージ側を見た画像が表示される。
視聴者の端末装置の表示画面４００には、前方に配置されたステージ上において演者が演奏をしている様子を表す画像４１０が表示され、ステージよりも手前側には客席の様子を表す画像４２０が表示される。客席において、ステージに近いエリア（前列側）における座席群が第１グループ４２１、ステージから離れたエリア（後列側）における座席群が第２グループ４２２として割り当てられている。
この図に示すように、視聴者のうち、前列側に位置する視聴者は、前列側のアバターが腕を上げていないことを画面上において確認することができるため、自分が腕を上げていなかった場合には、他の視聴者と同じ反応をすることができたことを把握することができる。また、自分が腕を上げてしまっていたとしても、自身に対応するアバターは、腕を上げていない状態であるので、自分の動作が自分の座席の周囲の人とは違っていたことを把握することができる。また、自身のアバターの動作としては、自分の座席の周囲の視聴者と同じ動作をしているように表示してもらうことができる。

【0050】

また、視聴者のうち、後列側に位置する視聴者は、後列側のアバターが腕を上げていることを画面上において確認することができるため、自分が腕を上げていた場合には、他の視聴者と同じ反応をすることができたことを把握することができる。また、自分が腕を上げていなかったとしても、自身に対応するアバターは、腕を上げている状態で表示されるため、自分の動作が自分の座席の周囲の人とは違っていたことを把握することができる。また、自身のアバターの動作としては、自分の座席の周囲の視聴者と同じ動作をしているように表示してもらうことができる。

【0051】

図５は、演者の端末装置の表示画面に表示される画像の一例を示す図である。
演者の端末装置においては、ステージ側から客席側を見た画像が表示される。すなわち、画像生成部１０４は、客席側からステージを見た場合の画像信号を生成する機能を有していてもよいが、ステージ側から客席を見た場合の画像信号を生成する機能を有していてもよい。
演者の端末装置の表示画面５００には、手前側にステージ上の様子を表す画像５１０が表示され、ステージよりも奥側には客席の様子を表す画像５２０が表示される。客席において、ステージに近いエリア（前列側）における座席群が第１グループ５２１、ステージから離れたエリア（後列側）における座席群が第２グループ５２２として割り当てられている。
演者は、前列側（第１グループ）のアバターが腕を上げず、後列側（第２グループ）のアバターが腕を上げていることを画面上において確認することができるため、演者から呼びかけたことに対して後列側の視聴者が反応してくれたことを把握することができる。
ここで、後列側の視聴者が腕を上げたか否かをグループ単位ではなく、個別のアバターによってそれぞれ表示した場合には、腕を上げたか否かについてばらつきが生じてしまう。この場合、後列側の座席において程度の人数が腕を上げていたとしても、演奏を行ったことに対する視聴者の反応を必ずしも十分に感じることができない。この実施形態では、腕を上げた後列の視聴者の数が基準値以上であれば、後列側に属するアバターがそれぞれ腕を上げるため、演奏を行ったことに対する視聴者の反応について手応えを感じることができ、より演奏を楽しむことができる。また、自分の演奏に対して視聴者の反応がグループ単位で表現されているため、視聴者との間で曲を通じて一体感を感じることができる。
特に、ライブ配信において、演者は、実際の視聴者が目の前にいて演奏をしているわけではないため、自分の演奏に対する視聴者の反応を把握することがむずかしい。ライブ配信中に、視聴者の操作入力に基づいて端末装置からコメントを表すテキストデータを送信してもらい、演者の画面に表示させる場合がある。この場合、視聴者の反応を文字列によって表現することができるが、実際のライブ会場において演者が感じる来場者からの反応は、歓声や体の動きであるため、文字列を画面上に表示したとしても、視聴者の反応の表現としては、実際のライブ会場とは相違がある。そのため、演者は、視聴者の反応を把握することが難しい。この実施形態によれば、視聴者の動きに応じて、アバターをグループ単位で動作させるようにしたので、演者は、実際のライブ会場において来場者の動きを見ているかのように感じることができる。

【0052】

以上説明した実施形態において、画像生成部１０４は、腕を上げたか否かに応じた画像を表示する場合について説明したが、他の表示態様によってアバターの動作を表示することができる。
例えば、ゆったりとしたリズムの曲が演奏された場合には、視聴者は、リズムに合わせて体を左右に揺らしながら曲を聴く場合がある。この場合、各モーションセンサは、体を左右に揺動する動作を検出し、動作情報として出力する。視聴者の端末装置は、この動作情報をライブ配信装置１０に送信する。

【0053】

画像生成部１０４は、この動作情報に基づいて、アバターをグループ毎に、体を左右に揺らす画像を生成し、端末装置に配信する。
演者は、この画像を見ることにより、視聴者がリズムに乗って曲を楽しんでもらえているか否かを把握することができる。また、グループ単位でリズムに乗って動くことから、ライブ会場のエリア毎の一体感を感じることができる。
視聴者は、自分が属する座席の位置の周囲の動きを見ることで、他の視聴者がどのようなリズムで体を揺らしているのかを確認することができる。これにより、自分も他の視聴者に合わせたリズムで体を揺らすことができ、曲の楽しみ方を共有することができる。

【0054】

また、画像生成部１０４は、動作に応じた周波数を抽出し、抽出された周波数に応じてアバター群が動く画像を生成するようにしてもよい。周波数を抽出する場合、画像生成部１０４は、動作情報をフーリエ変換することにより、動作情報に含まれる周波数毎の信号強度を算出する。そして画像生成部１０４は、得られた信号強度に応じて、全周波数帯域のうちいずれかの周波数を抽出する。画像生成部１０４は、信号強度が最も高い周波数を抽出してもよい。
視聴者が体を左右に揺らす動作をしている場合、左右に揺らす周期的な動作から周波数を抽出し、その周波数に応じて、アバター群を左右に揺らす動作を行わせるようにしてもよい。
周波数に応じてアバター群を動作させるようにした場合には、視聴者の動きをそのまま再現するのではなく、視聴者の動作から周期的な動作の特徴を抽出し、その特徴に応じてアバター群を動作させることができる。

【0055】

また、画像生成部１０４は、動作情報に基づいて、動作に応じた信号強度を算出し、算出された信号強度に応じてアバター群が動く画像を生成するようにしてもよい。信号強度を抽出する場合、画像生成部１０４は、動作情報をフーリエ変換することにより、動作情報に含まれる周波数毎の信号強度を算出する。そして算出された周波数毎の信号強度のうち、いずれかの信号強度を抽出する。例えば、画像生成部１０４は、最も大きい信号強度を抽出するようにしてもよい。

【0056】

また、画像生成部１０４は、視聴者の動作に応じて動作するアバターを、アバター群とともに表示させるようにしてもよい。具体的に、画像生成部１０４は、グループ単位で同じ動きするアバター群とともに、視聴する視聴者自身のアバターを表示させる。この場合、画像生成部１０４は、視聴者自身のアバターについては、視聴者から得られた動作情報に応じて動作させる。これにより、視聴者の端末装置においては、グループ単位で動くアバター群とともに自分の動きに合わせて動くアバターが表示される。そのため、視聴者は、仮想空間のライブ会場内に配置された複数のアバターの中から、自分の動きに合わせて動くアバターを見つけることによって、ライブ会場内において自分のアバターがどれであるかを特定することができる。

【0057】

また、グループ単位で動くアバター群とともに自分の動きに合わせて動くアバターを表示する画像を画像生成部１０４が生成するようにしてもよいが、視聴者の端末装置において生成するようにしてもよい。例えば、ライブ配信装置１０は、グループ単位で動くアバター群の画像を視聴者の端末装置に配信する。視聴者の端末装置は、ライブ配信装置１０から配信された画像信号に基づいて表示画面に画像信号を表示するとともに、視聴者に対応するアバターをその画像信号に対して合成して表示する。これにより、視聴者自身に対応するアバターについては、ライブ配信装置１０において合成することなく、視聴者の端末装置において合成することができる。これにより、ライブ配信装置１０において画像を合成する処理の負荷を低減することができる。

【0058】

また、画像生成部１０４は、動作情報に基づいて、ライブ配信される曲に含まれる所定のパートが到来したタイミングに応じて動作を行わせるようにしてもよい。曲を実際のライブ会場において演奏する場合、曲の特定パートが到来したタイミングで、来場者が一斉にジャンプをする等のように同じ動きをすることによって、曲を楽しむ場合がある。このように曲によって特定パートが到来したタイミングに合わせて恒例の動作を行うことが知られている楽曲もある。このような曲をライブ配信において演奏することが予め把握できている場合、曲の特定パートのタイミングと、アバターを動作させる動作パターンとを対応付けて記憶部１０２に予め記憶しておく。画像生成部１０４は、この曲の演奏が開始された後、特定パートのタイミングが到来した際に収集される動作情報に基づいて、所定の動作を行った視聴者の人数が基準値以上であると判定された場合には、アバター群を、曲のタイミングに対応付けられたアバターの動作パターンに従って動作させる。

【0059】

ここでは、曲の特定パートが到来した際に、動作情報に応じてアバター群にどのような動作を行わせるかを予め決めておくことができる。このため、例えば、デザイナは、ライブ配信における画像の演出をどのようにするかを検討し、検討結果に応じて、デザイナ端末２０から、ライブ配信装置１０の記憶部１０２に対して事前に登録することができる。また、ここでは動きについては複数パターンを予め登録させておき、デザイナが、ライブ配信を視聴している視聴者の曲に対する盛り上がりや、会場全体の雰囲気を考慮して、いずれの動作を行うかをデザイナ端末２０から入力するようにしてもよい。これにより、画像生成部１０４は、いくつかの動作パターンのうち、デザイナ端末２０から指示された動作パターンに従って、曲の特定パートが到来したタイミングで動作させることができる。

【0060】

また、曲のジャンルがクラシックである場合、実際の演奏会場において、来場者は演奏中においてあまり体を動かさずに曲を聴き、演奏が終了した後に、スタンディングオベーションを行う場合がある。このような場合には、演奏が終了する前に視聴者が立ち上がったり拍手する動作をした場合には、曲の途中においてアバターが立ち上がったり、拍手する動作をしてしまう。この場合、演者は、演奏中においては、何らかの動作を行わずに曲を楽しんでいて欲しいという思いがある場合もある。このような場合には、曲が終了したタイミングと、スタンディングオベーションを行う動作とを予め記憶部１０２に記憶しておき、画像生成部１０４は、曲が終了したことを検出した際に、動作情報に基づいて、アバター群を動作させる。これにより、演者は、演奏が終了してから、視聴者の反応を把握することができる。また、視聴者は、曲が終了する少し前の段階において立ち上がったり拍手する動作を行ったとしても、他の視聴者や演者に対して、曲の途中でアバターが動かずに、曲が終了したタイミングに応じて、アバターを動作させることができる。

【0061】

また、画像生成部１０４は、ライブ配信される曲のジャンルに応じた動作をさせるようにしてもよい。例えば、演奏される曲がジャズである場合、実際の会場において、来場者は、曲のリズムに合わせて体を揺らすようにして曲を楽しむ場合がある。また、演奏される曲がクラシックである場合には、曲の途中においてはあまり体を動かさずに聴き、演奏が終了してから拍手などをする場合がある。また、演奏される曲がポップスである場合には、曲を聴きながら手拍子をしたり手を上げて左右に振ったりして曲を楽しむ場合がある。このように、曲のジャンルに応じて、曲の楽しみ方が異なる場合がある。

【0062】

記憶部１０２は、曲のジャンルと、アバター群の動作パターンとを対応付けて記憶する。画像生成部１０４は、演奏される曲のジャンルを判定し、判定された曲のジャンルに応じた動作パターンを記憶部１０２から読み出す。画像生成部１０４は、読み出した動作パターンに従って、動作情報が得られたことに応じてアバター群を動作するようにしてもよい。
ライブ配信において演奏する曲が事前に決まっている場合には、記憶部１０２は、ジャンルを示すジャンル情報をライブ毎に、または曲毎に、記憶する。画像生成部１０４が、このジャンル情報を読み出すことによって、演奏される曲のジャンルを判定するようにしてもよい。

【0063】

また、以上説明した実施形態において、視聴者から得られた動作情報が表す動作と同じようにアバターを動作させるようにしてもよいが、異なる動作を行わせるようにしてもよい。例えば、記憶部１０２は、曲やパートに応じてアバターの動作パターンを予め記憶する。画像生成部１０４は、動作情報に基づいて、動きに変化があった場合、あるいは特定の動作を行った場合には、動作パターンを記憶部１０２から読み出し、動作パターンに従ってアバター群を動作させるようにしてもよい。これにより、アバターをジャンプさせる場合において、視聴者は実際にジャンプをしなくても、手を上げる、左右に動かす等の簡単な動作をすることによって、検出された動作とは異なる動作をアバター群に行わせることができる。

【0064】

また、通信部１０１は、演者装置群Ｐ１における演者の動作に応じた動作情報を取得するようにしてもよい。例えば、いずれかの演者装置群において、モーションセンサが設けられる。ここでは、演者装置群Ｐ１にモーションセンサが設けられる場合について説明する。モーションセンサは、演者の動作に応じた動作情報を生成し、端末装置Ｐ１１に出力する。端末装置Ｐ１１は、モーションセンサから得られた動作情報をライブ配信装置１０に送信する。ライブ配信装置１０は、端末装置Ｐ１１から送信された動作情報に基づいて、画像信号を生成する。
例えば、実際のライブ会場においては、演者がステージから客席側にピックを投げ込んだり、タオルやボールを投げ込んだりすることで、来場者に物品をプレゼントする場合がある。このような演出は、ライブ配信においても実現できた方が、ライブらしさを演出する観点において好ましい。

【0065】

画像生成部１０４は、物品を放る演者の動作を検出し、その動作に応じて仮想空間における物品の落下位置を推定する。画像生成部１０４は、投げられた物品の軌道や落下位置について、演者から得られた動作情報に基づいて、投げる方向と投げる動作の速さから算出することによって推定することができる。画像生成部１０４は、得られた軌道に沿って物品の画像を描画し、視聴者の各端末装置に配信する。これにより、視聴者の端末装置には、演者によって物品が客席に投げられたこと、及び投げられた物品の軌跡を表示画面において確認することができる。

【0066】

そして、視聴者は、自身が存在する仮想空間における位置の近傍に物品が落下する場合には、手を上げる等の受け取る動作をする。これに応じて受け取る動作がモーションセンサによって検出され、ライブ配信装置１０に送信される。
ライブ配信装置１０は、物品の落下地点を含む一定範囲に含まれるアバターを１つのグループとして決定し、その領域に該当する視聴者の動作情報に基づいて、アバターを動作させる画像を生成し、仮想空間における画像に対して合成し、配信する。
これにより、演者の物品を投げる動作に応じた画像を配信することができ、物品を投げる動作に応じた会場内の反応を、視聴者や演者に対して共有することができる。画像生成部１０４は、推定された落下位置に応じて、物品を仮想空間において受け取ることが可能なアバターをスペシャルアバターとして特定する。例えば、画像生成部１０４は、落下位置から最も近くにいたアバターをスペシャルアバターとする。ここでは画像生成部１０４は、一定範囲内に位置するアバターであって、受け取る動作を行ったアバターの中からいずれか１つのアバターをスペシャルアバターとして選択するようにしてもよい。
なお、ライブ配信システム１は、送付先情報出力部１０８を備える。送付先情報出力部１０８は、スペシャルアバターに対応する視聴者の個人情報に基づく物品の送付先情報を出力するようにしてもよい。送付先情報は、例えば、視聴者の住所、氏名を含む。送付先情報は、電話番号をさらに含んでもよい。記憶部１０２は、例えば個人情報をユーザ登録の際に記憶されていてもよい。ライブ配信装置１０を運営する運営者は、演者から物品を受け取る。そして、運営者は、ライブ配信装置１０から出力された個人情報に基づいて、物品を発送する。これにより、視聴者は、実際に物品を受け取ることができ、格別の喜びを感じることができる。ここでは、実際の物品を視聴者に発送してもよいし、アバターを装飾するアイテムを付与してもよい。アイテムを付与する場合、アイテムが付与された視聴者は、仮想空間において、自身のアバターにアイテムを付帯した状態で表示してもらうことが可能となる。これにより、アイテムを取得したことを他のユーザや演者と共有することができる。

【0067】

なお、上述した実施形態において、アバター群が動作する画像を画像生成部１０４が生成する場合について説明したが、アバター群を動作させることを表す情報を画像生成部１０４が、通信部１０１とネットワークＮを介して演者の端末装置や視聴者の端末装置に送信するようにしてもよい。この場合、端末装置が、アバター群を動作させることを表す情報に基づいて、アバター群を動作させる画像を生成し、表示画面に表示するようにしてもよい。これにより、ライブ配信装置１０に係る画像処理の負荷を低減することができ、ネットワークＮを介して端末装置に送信する情報量を低減することもできる。これにより、少ない情報量を送信したとしても、視聴者の反応を表示画面上に表示することができる。

【0068】

また、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより施工管理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0069】

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものを含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記のプログラムを所定のサーバに記憶させておき、他の装置からの要求に応じて、当該プログラムを通信回線を介して配信（ダウンロード等）させるようにしてもよい。

【0070】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0071】

１・・・ライブ配信システム、１０・・・ライブ配信装置、２０・・・デザイナ端末、１０１・・・通信部、１０２・・・記憶部、１０３・・・動作判定部、１０４・・・画像生成部、１０５・・・音処理部、１０６・・・同期処理部、１０７・・・ＣＰＵ、１０８・・・送付先情報出力部、１３０・・・動作判定部、１０２１・・・会場データ記憶部、１０２２・・・アバター記憶部、１０４１・・・ステージ合成部、１０４２・・・客席合成部、１０５１・・・ミキサ、１０５２・・・演奏同期部

【図1】

【図2】

【図3】

【図4】

【図5】