特許 7264941 プログラム、情報処理装置及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-17

(45)【発行日】2023-04-25

(54)【発明の名称】プログラム、情報処理装置及び情報処理方法

(51)【国際特許分類】

   H04N 21/2668 20110101AFI20230418BHJP

   H04N 21/234 20110101ALI20230418BHJP

   H04N 21/258 20110101ALI20230418BHJP

   H04N 21/431 20110101ALI20230418BHJP

   A63F 13/5255 20140101ALI20230418BHJP

   A63F 13/86 20140101ALI20230418BHJP

   A63F 13/25 20140101ALI20230418BHJP

   A63F 13/55 20140101ALI20230418BHJP

   A63F 13/428 20140101ALI20230418BHJP

   H04L 67/00 20220101ALI20230418BHJP

【ＦＩ】

H04N21/2668

H04N21/234

H04N21/258

H04N21/431

A63F13/5255

A63F13/86

A63F13/25

A63F13/55

A63F13/428

H04L67/00

【請求項の数】 15

(21)【出願番号】P 2021100774

(22)【出願日】2021-06-17

(65)【公開番号】P2023000136

(43)【公開日】2023-01-04

【審査請求日】2022-12-13

【早期審査対象出願】

(73)【特許権者】

【識別番号】504437801

【氏名又は名称】グリー株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】白井 暁彦

(72)【発明者】

【氏名】加藤 琢磨

【審査官】川中 龍太

(56)【参考文献】

【文献】特許第６３３００７２（ＪＰ，Ｂ１）

【文献】特許第６２２５２４２（ＪＰ，Ｂ１）

【文献】国際公開第２０２１／０５９３５９（ＷＯ，Ａ１）

【文献】特開平１０－２２８５０３（ＪＰ，Ａ）

【文献】特開平０９－００６９８５（ＪＰ，Ａ）

【文献】特開２０２０－１７０５１９（ＪＰ，Ａ）

【文献】特許第６６９５４８２（ＪＰ，Ｂ１）

【文献】米国特許出願公開第２０１９／００８８０１６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ａ６３Ｆ １３／００ － １３／９８

Ｈ０４Ｌ ６７／００

(57)【特許請求の範囲】

【請求項1】

１乃至複数のコンピュータを、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得部と、
指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラから見た動画を表示するための動画表示用データを作成する作成部と、
前記動画表示用データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信部として機能させる
プログラム。

【請求項2】

前記モードの一つは、前記アバターの視線を前記仮想カメラに向ける第１モードであって、
前記作成部は、前記第１モードが指定された場合に、前記アバターの視線を、前記アバター毎に異なる位置に設定された前記仮想カメラに向けるための視線データを含む前記動画表示用データを作成する
請求項１に記載のプログラム。

【請求項3】

前記モードの一つは、前記ヘッドマウントディスプレイを装着した複数の前記配信ユーザが動画を配信する場合に前記アバターの視線を他のアバターに向ける第２モードであって、
前記作成部は、複数の前記アバターのアニメーションであって、前記アバターの各々の視線を、当該アバターとは異なる他のアバターに向けるための視線データを含む前記動画表示用データを作成する
請求項１又は２に記載のプログラム。

【請求項4】

前記モードの一つは、前記ヘッドマウントディスプレイを装着した複数の前記配信ユーザが動画を配信する場合に前記アバターの視線を共通の前記仮想カメラに向ける第３モードであって、
前記作成部は、複数の前記アバターのアニメーションであって、複数の前記アバターが視線を共通の前記仮想カメラに向けるための視線データを含む前記動画表示用データを作成する
請求項１～３のいずれか１項に記載のプログラム。

【請求項5】

前記作成部は、複数の前記配信ユーザの各々に対応するアバターのアニメーションを作成する場合に、複数の前記アバターの位置に基づいて設定された中心点を中心としたカメラ範囲を設定し、前記仮想カメラを前記カメラ範囲のいずれかの位置に設定する
請求項１～４のいずれか１項に記載のプログラム。

【請求項6】

前記作成部は、複数の前記仮想カメラを前記カメラ範囲に設定する
請求項５に記載のプログラム。

【請求項7】

前記作成部は、前記配信ユーザの操作部に対する操作に従って前記仮想カメラを前記カメラ範囲内で移動させる
請求項５又は６に記載のプログラム。

【請求項8】

前記作成部は、
複数の前記配信ユーザに対応するアバターのアニメーションを作成する場合に、前記仮想カメラから前記アバターの各々に向かうベクトルと前記仮想カメラの光軸とがなす角度の絶対値が最も大きいアバターを判定し、当該アバターが含まれるように前記仮想カメラの視野角を特定する
請求項１～７のいずれか１項に記載のプログラム。

【請求項9】

前記ヘッドマウントディスプレイは透過型のヘッドマウントディスプレイであって、
前記配信ユーザによって現実空間を移動可能な撮像カメラの位置を、前記仮想カメラの位置とし、
前記作成部は、前記撮像カメラによって撮像された前記現実空間の画像に、前記仮想カメラから見た前記仮想空間の画像を重畳した動画を表示するための動画表示用データを生成する
請求項１～４のいずれか１項に記載のプログラム。

【請求項10】

１乃至複数のコンピュータが、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得ステップと、
指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラから見た動画を表示するための動画表示用データを作成する作成ステップと、
前記動画表示用データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信ステップと、を実行する
情報処理方法。

【請求項11】

１乃至複数のコンピュータを、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、指定された一つのモードに応じた視線データと、前記配信ユーザの動きを示すトラッキングデータとをサーバから受信する視線データ受信部と、
前記トラッキングデータ及び前記視線データを用いて、前記アバターが配置された仮想空間を仮想カメラから見た動画データを作成し、前記動画データを視聴ユーザが視認するディスプレイに出力する表示制御部として機能させる
プログラム。

【請求項12】

１乃至複数のコンピュータが、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、指定された一つのモードに応じた視線データと、前記配信ユーザの動きを示すトラッキングデータとをサーバから受信する視線データ受信ステップと、
前記トラッキングデータ及び前記視線データを用いて、前記アバターが配置された仮想空間を仮想カメラから見た動画データを作成し、前記動画データを視聴ユーザが視認するディスプレイに出力する表示制御ステップと、を実行する
情報処理方法。

【請求項13】

１乃至複数のコンピュータを、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得部と、
指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラから見た動画を表示するための動画データを作成する作成部と、
エンコードした前記動画データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信部と、して機能させる
プログラム。

【請求項14】

１乃至複数のコンピュータを、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得部と、
指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラから見た動画を表示するための動画データを作成する作成部と、
エンコードした前記動画データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信部と、を備える
情報処理装置。

【請求項15】

１乃至複数のコンピュータが、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得ステップと、
指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラから見た動画を表示するための動画データを作成する作成ステップと、
エンコードした前記動画データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信ステップと、を実行する
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

従来から、ユーザの動きに基づいてアバターのアニメーションを生成し、アバターのアニメーションを含む動画を配信する動画配信システムが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－００７１９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の動画配信システムの殆どは配信者がスマートフォン等の多機能電話端末を用いて動画を配信するものである。多機能電話端末を用いた動画の配信においてもユーザのアバターを通じた表現が可能であるが、より没入感が得られるヘッドマウントディスプレイを用いることによって、アバターの表情を含めた表現方法の幅をさらに広げることができれば、ユーザの満足度をさらに高めることが可能となる。このため、動画を配信する配信ユーザの数及び動画の配信回数に加え、動画を視聴するユーザの数及び視聴回数の増大が期待される。

【課題を解決するための手段】

【0005】

上記課題を解決するプログラムは、１乃至複数のコンピュータを、非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線が向けられる対象が異なる複数のモードのうち一つのモードを取得するモード取得部と、指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラによって撮影した動画データを作成する動画作成部と、作成した前記動画データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信部と、して機能させる。

【0006】

上記課題を解決する情報処理装置は、非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち一つのモードを取得するモード取得部と、指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラによって撮影した動画データを作成する動画作成ステップと、作成した前記動画データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信部と、を備える。

【0007】

上記課題を解決する動画配信方法は、１乃至複数のコンピュータを、非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち一つのモードを取得するモード取得ステップと、指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラによって撮影した動画データを作成する動画作成ステップと、作成した前記動画データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信ステップと、を実行する。

【0008】

上記課題を解決するプログラムは、１乃至複数のコンピュータを、非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、指定された一つのモードに応じた視線データと、前記配信ユーザの動きを示すトラッキングデータとをサーバから受信する視線データ受信部と、前記トラッキングデータ及び前記視線データを用いて、前記アバターが配置された仮想空間を仮想カメラからみた動画データを作成し、前記動画データを視聴ユーザが視認するディスプレイに出力する表示制御部として機能させる。

【0009】

上記課題を解決する情報処理方法は、１乃至複数のコンピュータが、非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、指定された一つのモードに応じた視線データと、前記配信ユーザの動きを示すトラッキングデータとをサーバから受信する視線データ受信ステップと、前記トラッキングデータ及び前記視線データを用いて、前記アバターが配置された仮想空間を仮想カメラから見た動画を作成し、前記動画データを視聴ユーザが視認するディスプレイに出力する表示制御ステップと、を実行する。

【0010】

上記課題を解決するプログラムは、非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得部と、指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラから見た動画を表示するための動画データを作成する作成部と、エンコードした前記動画データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信部と、して機能させる。

【0011】

上記課題を解決する情報処理装置は、１乃至複数のコンピュータを、非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得部と、指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラから見た動画を表示するための動画データを作成する作成部と、エンコードした前記動画データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信部と、を備える。

【0012】

上記課題を解決する情報処理方法は、１乃至複数のコンピュータが、非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得ステップと、指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラから見た動画を表示するための動画データを作成する作成ステップと、エンコードした前記動画データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信ステップと、を実行する。

【発明の効果】

【0013】

本発明によれば、ユーザの満足度をさらに高めることが可能な動画を配信することができる。

【図面の簡単な説明】

【0014】

【図1】情報処理装置及びサーバを含むシステムの一実施形態を示す模式図。

【図2】同実施形態のユーザ管理データのデータ構造の一例を示す図。

【図3】同実施形態のユーザ装置の模式図。

【図4】同実施形態の仮想空間の座標系と、アバター及び仮想カメラの位置関係を説明する図。

【図5】同実施形態のアバターの瞳の移動方向を説明する図。

【図6】同実施形態の動画配信時の配信ユーザの状態及び視聴ユーザによって視聴される画面の例を説明する模式図。

【図7】同実施形態の複数のアバターが共演するコラボレーション配信での仮想カメラの位置を説明する図。

【図8】同実施形態の仮想カメラの視野角を説明する図。

【図9】同実施形態の配信ユーザが動画配信中に確認するプレビュー画面を表示することを説明する図。

【図10】同実施形態の第１モードについて説明する図。

【図11】同実施形態の第１モードでの配信時に視聴ユーザ装置に表示される画面の図。

【図12】同実施形態の第２モードについて説明する図。

【図13】同実施形態の第２モードでの配信時に視聴ユーザ装置に表示される画面の図。

【図14】同実施形態の第３モードについて説明する図。

【図15】同実施形態の視聴ユーザ装置に表示される配信リスト画面の一例を示す図。

【図16】同実施形態のギフトオブジェクトを含む視聴画面の一例を示す図。

【図17】同実施形態のメッセージを含む視聴画面の一例を示す図。

【図18】同実施形態の動画配信手順を示すシーケンスチャート。

【発明を実施するための形態】

【0015】

以下、図面を参照して動画配信システムである管理システムの一実施形態について説明する。
＜管理システム＞
図１に示すように、管理システム１０は、サーバ１１、及びユーザ装置１２を備える。管理システム１０は、サーバ１１及び複数のユーザ装置１２の間で、クラウドサーバ群を含むネットワーク１４を介してデータを相互に送受信することにより、一方のユーザが配信した動画を他方のユーザが用いるユーザ装置１２に表示するシステムである。

【0016】

＜動画配信方法＞
動画の配信方式として、第１配信方式、第２配信方式、及び第３配信方式のいずれかを用いることができる。ユーザ装置１２は、視聴モード及び配信モードの両方のモードで動作可能である。ユーザが、ユーザ装置１２を用いて動画を配信する場合には当該ユーザを「配信ユーザ」といい、ユーザ装置１２を用いて動画を視聴する場合には当該ユーザを「視聴ユーザ」という。つまり、ユーザは、配信ユーザにも視聴ユーザにもなり得る。

【0017】

第１配信方式は、配信ユーザのユーザ装置１２が動画データを生成し、生成した動画データをエンコードして視聴ユーザのユーザ装置１２に送信する映像配信方式である。第２配信方式は、配信ユーザのユーザ装置１２及び視聴ユーザのユーザ装置１２が動画の生成に必要なデータを受信して動画を作成するクライアントレンダリング方式である。第３配信方式は、サーバ１１が配信ユーザのユーザ装置１２から動画の生成に必要なデータを収集して動画データを生成し視聴ユーザのユーザ装置１２に配信するサーバ映像配信方式である。又は、これらの方式のうち複数を用いるハイブリッド方式を用いてもよい。本実施形態では、第２配信方式であるクライアントレンダリング方式でユーザ装置１２に動画を表示させる方法について説明する。

【0018】

＜ユーザ装置＞
ユーザ装置１２について説明する。本実施形態では、ユーザ装置１２として、ユーザの頭部に装着可能なヘッドマウントディスプレイを含むシステム又は装置の他、ヘッドマウントディスプレイを含まないシステム又は装置が存在し得る。ヘッドマウントディスプレイを含むユーザ装置１２を、それ以外のシステム又は装置と区別する場合には、ユーザ装置１２０として説明し、区別しない場合には単にユーザ装置１２として説明する。

【0019】

ユーザ装置１２に含まれるヘッドマウントディスプレイは、ユーザが視認するディスプレイを備えるものであり、両眼を覆うハウジングを備える非透過型の装置や、仮想空間画像だけでなく現実世界の実像を視認可能な透過型の装置である。非透過型のヘッドマウントディスプレイは、１乃至複数のディスプレイに、左眼に視認させるための画像と右眼に視認させるための画像とをそれぞれ表示してもよいし、１つの画像をディスプレイに表示してもよい。非透過型のヘッドマウントディスプレイは、仮想現実（ＶＲ：Virtual Reality）の画像を表示する。透過型のヘッドマウントディスプレイは、例えば両眼式又は単眼式の眼鏡型のものであり、ディスプレイがハーフミラー又は透明材料から形成される。透過型のヘッドマウントディスプレイは、拡張現実（ＡＲ：Augmented Reality）の画像を表示する。また、ヘッドマウントディスプレイは、スマートフォン等の多機能電話端末を所定のハウジングに着脱可能に固定するものであってもよい。

【0020】

ユーザ装置１２０は、制御部２０、ストレージ２２（記憶媒体）、通信インターフェース（Ｉ／Ｆ）２３を備える。制御部２０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＮＰＵ（Neural network Processing Unit）等の１乃至複数の演算回路を備える。また、制御部２０は、演算回路が読み出し及び書き込みが可能な主記憶装置（記録媒体）であるメモリを備える。メモリは、半導体メモリ等から構成される。制御部２０は、ストレージ２２又は外部ストレージからオペレーティングシステムやその他のプログラムをメモリに読み込み、メモリから取り出した命令を実行する。通信Ｉ／Ｆ２３は、ネットワーク１４を介して、サーバ１１やその他の外部装置との間でデータを送受信する。ネットワーク１４は、ローカルエリアネットワーク、インターネット等、各種のネットワークを含む。本実施形態においては、制御部２０が、モード取得部、動画作成部、及び動画データ送信部として機能する。

【0021】

ストレージ２２は、補助記憶装置（記録媒体）であり、例えば、磁気ディスク、光ディスク、半導体メモリ等の記憶媒体である。ストレージ２２は、複数のストレージを組み合わせて用いることもできる。ストレージ２２には、動画プログラム２２０、アバターを描画するためのアバターデータ２２１、オブジェクトデータ２２２、及びユーザ管理データ２２３が格納されている。

【0022】

本実施形態では、動画プログラム２２０は、動画を配信及び動画を視聴するためのプログラムである。動画プログラム２２０は、ユーザがモードを指定する操作に基づき、配信モード及び視聴モードのいずれかのモードを実行する。制御部２０は、動画プログラム２２０を実行することにより、サーバ１１から各種のデータを適宜取得する。本実施形態では主に動画プログラム２２０の動画配信機能について説明するが、動画プログラム２２０は、配信モードに加え、動画を視聴する視聴モードを備えている。

【0023】

アバターデータ２２１は、人物を模したモデル又は人物以外のキャラクターであるアバターを描画するための３次元モデルデータである。ユーザ装置１２は、アバターデータ２２１を更新するデータを、動画プログラム２２０を起動した場合等、サーバ１１から所定のタイミングで取得する。アバターデータは、アバター本体を描画するためのデータ、アバター本体に付随するテクスチャデータ等を含んでいる。アバター本体を描画するためのデータには、ポリゴンデータ、アバターの動作を表現するための行列を含む骨格データ（ボーン）や、モデルの変形を含むブレンドシェイプ等が含まれる。ブレンドシェイプは、頂点数などの構造を同一とし形が異なる複数のモデルをブレンドして新しい形を作り出す手法である。ボーンには、アバターの腰、脊椎、首、頭部、腕及び手、脚部等の体躯のボーンの他、瞳のボーンが含まれる。

【0024】

また、アバターデータ２２１は、複数体のアバター本体を描画するためのデータを含んでいてもよい。この場合、ユーザは自身に対応するアバターを選択することができる。テクスチャデータには、アバターに対して適用可能な複数のパーツデータが含まれている。例えば「まぶた」、「瞳」、「眉」、「耳」、「服」等のカテゴリ毎に複数のパーツデータが準備されている。ユーザは、パーツデータを選択し、アバター本体に適用して、自身のアバターを作成する。ユーザによって選択されたパーツデータは、ストレージ２２に記録される。

【0025】

オブジェクトデータ２２２は、アバター以外のオブジェクトに関する情報である。アバター以外のオブジェクトには、アバターの特定の部位と関連付けて表示画面に表示される装着オブジェクトが含まれる。装着オブジェクトは、例えば、装着オブジェクトに装着されるアクセサリー、衣服、及びこれら以外のアバターに装着可能なオブジェクトである。アバター以外のオブジェクトであって、装着オブジェクト以外のものとしては、仮想空間の所定位置に配置されるオブジェクトや、背景、花火等のアニメーションがある。

【0026】

ユーザ管理データ２２３は、ユーザに関するデータを含む。なお、ユーザ管理データ２２３は、ユーザの識別情報（ユーザＩＤ）に関連付けて、ユーザが所有するコイン、ポイント、配信状況等を含んでいてもよい。また、ユーザ管理データ２２３は、ユーザと友達関係にある他のユーザの識別情報、他のユーザとの友好度等を含んでいても良い。ユーザ同士が互いについて承認を行うと、友達関係としてユーザ管理データ２２３に記憶される。

【0027】

また、ユーザ装置１２０は、センサユニット２４、スピーカ２５、マイク２６、ディスプレイ２８を備える。
センサユニット２４は、ユーザの動きを検出するトラッキングを行うものである。センサユニット２４は、ヘッドマウントディスプレイに備えられるもの、又はヘッドマウントディスプレイ以外に備えられるものである。ヘッドマウントディスプレイ以外に備えられるものとしては、ユーザの腕、脚等の各部位や、バッドやラケット等の道具に装着されるものがある。この種のセンサユニット２４としては、例えばVive Tracker（登録商標）が挙げられる。ヘッドマウントディスプレイに設けられるセンサユニット２４はそれらの端末の方向及び位置の少なくとも一方を検出するものであって、３ＤｏＦ（Degrees of Freedom）や６ＤｏＦのセンサユニットである。センサユニット２４は、例えば慣性計測装置（ＩＭＵ：Inertial Measurement Unit）である。慣性計測装置は、現実世界の三次元座標であるＸ軸、Ｙ軸、及びＺ軸を中心とした回転角度、角速度、加速度等の少なくとも一つを検出する。慣性計測装置としては、ジャイロセンサ、加速度センサ等が挙げられる。さらにセンサユニット２４は、ＧＰＳ等の絶対位置を検出するセンサを備えていてもよい。

【0028】

さらにヘッドマウントディスプレイがアウトサイドイン方式でトラッキングを行うものである場合、センサユニット２４は、トラッキング空間内であってユーザの身体以外に設置された外部センサを含んでいてもよい。ヘッドマウントディスプレイに設けられたセンサ及び外部センサは、ヘッドマウントディスプレイの方向及び位置を協働して検出する。外部センサとしては、例えばVive BaseStation（登録商標）を用いることができる。

【0029】

ヘッドマウントディスプレイがインサイドアウト方式でトラッキングを行うものである場合、センサユニット２４は、トラッキング空間の３次元情報を計測可能な３Ｄセンサ等を有していてもよい。この種の３Ｄセンサは、ステレオ方式又はＴｏＦ方式でトラッキング空間の位置情報を検出する。３Ｄセンサは、上記のＴｏＦセンサや公知の他のセンサの検出結果に基づきユーザが存在する現実空間の物体を認識し、認識した物体を空間地図にマッピングする空間マッピング機能を有する。

【0030】

また、センサユニット２４は、ユーザの表情の変化を示すフェイスモーションを検出する１乃至複数のセンサを備えていてもよい。フェイスモーションは、瞬きや口の開閉等の動きを含む。センサユニット２４は、公知の物を使用することができる。センサユニット２４の一例は、ユーザに向かって照射された光がユーザの顔等に反射して返ってくるまでの飛行時間（Time of Flight）を測定検出するＴｏＦセンサ、ユーザの顔を撮影するカメラ及びカメラが撮影したデータを画像処理する画像処理部を含むものである。また、センサユニット２４は、可視光線を撮像するＲＧＢカメラと、近赤外線を撮像する近赤外線カメラとを含んでいてもよい。このカメラは、具体的には、ドットプロジェクタによってユーザの顔等に数万の不可視のドット（点）を投影する。そして、ドットパターンの反射光を検出し、分析して顔の深度マップを形成し、顔等の赤外線画像をキャプチャすることで、正確な顔データをキャプチャする。センサユニット２４の演算処理部は、深度マップと赤外線画像に基づいて各種の情報を生成し、その情報を登録済みの参照データと比較して、顔の各ポイントの深度（各ポイントと近赤外線カメラとの間の距離）や深度以外の位置のずれを算出する。

【0031】

また、センサユニット２４は、ユーザの顔だけでなく、手をトラッキングする（ハンドトラッキング）機能を有していてもよい。ハンドトラッキング機能は、ユーザの指の外郭線や、関節等をトラッキングする。又は、センサユニット２４は、ユーザが手に装着したグローブに内蔵されたセンサを含んでいてもよい。また、センサユニット２４は、ユーザの瞳孔や虹彩の位置を検出するアイトラッキング機能を備えていてもよい。

【0032】

このようにセンサユニット２４は公知のものを利用することができ、その種類や数は限定されず、センサユニット２４が設けられる位置もその種類に応じた位置となる。以下、ユーザのボディモーションやフェイスモーションの検出データを区別しないで説明する場合には単に「トラッキングデータ」という。

【0033】

スピーカ２５は、音声データを音声に変換して出力する。マイク２６は、ユーザが発話した音声を入力し、音声データに変換する。
ディスプレイ２８は、ヘッドマウントディスプレイに設けられるものである。ディスプレイ２８は、制御部２０の出力指示に応じて、各種画像を出力する。

【0034】

コントローラ２７は、制御部２０への命令を入力するものである。コントローラ２７は、操作ボタンや操作トリガー等を備えるものであってもよい。また、コントローラ２７は、位置や方向を検出可能なセンサを備えていてもよい。なお、ハンドトラッキングや視線検出等によって入力操作を行うことができる場合にはコントローラを省略してもよい。

【0035】

制御部２０は、ストレージ２２に記憶された動画プログラム２２０を実行することにより、アプリケーション管理部２０１及び画像処理部２０２として機能する。アプリケーション管理部２０１は、動画プログラムの主な制御を実行する。アプリケーション管理部２０１は、コントローラ２７を通じて入力されたユーザの命令又はサーバ１１からの要求等を取得し、それらの要求の内容に応じて画像処理部２０２へ要求を出力する。また、アプリケーション管理部２０１は、画像処理部２０２からの要求や各種データをサーバ１１へ送信したり、センサユニット２４から取得したトラッキングデータを画像処理部２０２に出力したりする。また、アプリケーション管理部２０１は、サーバ１１から受信した各種データをストレージ２２に記録する。また、アプリケーション管理部２０１は、動画を生成するための動画作成用データを、サーバ１１を介して他のユーザ装置１２に送信する。なお、動画作成用データは動画表示用データに対応する。

【0036】

画像処理部２０２は、センサユニット２４から取得したトラッキングデータを用いて、ユーザの頭部の向きに応じた仮想空間画像を生成し、生成した仮想空間画像をディスプレイ２８に出力する。また、仮想空間画像に自身に対応するアバターだけでなく他のユーザに対応するアバターを表示する場合、画像処理部２０２は、サーバ１１を介して他のユーザ装置１２から動画作成用データを取得する。そして、画像処理部２０２は、自身に対応するアバターデータ２２１に、センサユニット２４から取得したトラッキングデータを適用してアニメーションを作成する。また、サーバ１１を介して他の配信ユーザに対応するアバターデータ２２１に動画作成用データを適用して、他の配信ユーザに対応するアバターのアニメーションを作成する。また、画像処理部２０２は、アバター、アバター以外のオブジェクトを含めてレンダリングを行う。ここでいうレンダリングは、仮想カメラの位置の取得、透視投影、隠面消去（ラスタ化）等が含まれる描画処理をいう。レンダリングは、これらのうち少なくとも一つの処理であってもよいし、シェーディング、テクスチャマッピング等の処理を含んでいてもよい。

【0037】

画像処理部２０２は、配信モードにおいて、動画作成用データを生成して、サーバ１１に送信する。また、視聴モードにおいて、サーバ１１から取得した動画作成用データを取得して、動画作成用データに基づいて動画を作成し、ディスプレイ２８に出力する。

【0038】

＜サーバ＞
次にサーバ１１について説明する。サーバ１１は、動画を配信するためのサービスを提供するサービス提供者等が用いるものである。サーバ１１は、制御部３０と、通信Ｉ／Ｆ３４と、ストレージ３５とを備えている。制御部３０は、上述したユーザ装置１２の制御部２０と同様な構成であるため説明を省略する。また、通信Ｉ／Ｆ３４及びストレージ３５は、ユーザ装置１２の通信Ｉ／Ｆ２３及びストレージ２２と同様な構成であるため説明を省略する。サーバ１１は１つの装置から構成されていてもよく、複数の装置から構成されていてもよい。つまり、サーバ１１の機能は、複数のサーバからなるサーバ群によって実現されるものであってもよい。また、複数の拠点にそれぞれ設けられた同等の機能を有するサーバが同期をとることによりサーバ１１を構成してもよい。

【0039】

ストレージ３５には、配信プログラム３５３が格納されている。制御部３０は、配信プログラム３５３を実行することにより、配信管理部３０１及び購入管理部３０２として機能する。

【0040】

配信管理部３０１は、ユーザ装置１２との間で動画の配信及び動画の視聴に関する各種の情報を送受信するサーバ機能を有する。配信管理部３０１は、ユーザ装置１２から受信した各種データをストレージ３５に記憶するとともに、ユーザ装置１２から受信した購入要求等に基づき、購入管理部３０２に要求を出力する。

【0041】

さらに、配信管理部３０１は、ユーザ装置１２から要求されたデータをストレージ３５等から取得してユーザ装置１２に送信する。
配信管理部３０１は、視聴ユーザが用いるユーザ装置１２からの要求に応じて、配信中の動画のリストを送信する。配信管理部３０１は、リストの中から選択された動画の識別情報を、配信ユーザが用いるユーザ装置１２から受信する。また、配信管理部３０１は、選択された動画を配信するユーザが用いるユーザ装置１２から動画を表示するための動画作成用データを取得しユーザ装置１２に送信する。

【0042】

また、配信管理部３０１は、配信中の動画に対して視聴ユーザから投稿された投稿メッセージ等を受信する。さらに配信管理部３０１は、受信した投稿メッセージを、ユーザ装置１２に送信する。投稿メッセージには、メッセージの内容の他、投稿メッセージを送信した視聴ユーザの識別情報（ユーザのアカウント名等）、投稿日時等が含まれる。また、動画に表示されるメッセージには、視聴ユーザから送信されたものだけでなく、サーバ１１が自動的に付与する通知メッセージも含まれる。

【0043】

配信管理部３０１は、視聴ユーザのユーザ装置１２から、視聴中の動画へのギフトの出力要求を受信する。本実施形態において出力要求が行われるギフトは、視聴ユーザから、動画を配信する配信ユーザに提供されるオブジェクト、動画を好評価する評価等を含む。ギフトは、対価を支払わずに出力要求を行うことのできるものであってもよく、対価を払うことによって出力要求を行うものであってもよい。又は、ギフトは、出力要求に応じて表示がなされた場合に対価を支払うものであってもよい。配信管理部３０１は、ギフトの出力要求を配信ユーザのユーザ装置１２に送信する。このとき、ギフトオブジェクトの表示に必要なデータを配信ユーザのユーザ装置１２に送信するようにしてもよい。サーバ１１は、ギフトの出力要求を受け付けたとき等の所定のタイミングで、「ユーザＢさんが花火を贈りました」等の通知メッセージを配信ユーザのユーザ装置１２及び視聴ユーザのユーザ装置１２に送信する。

【0044】

購入管理部３０２は、ユーザの操作にしたがって、オブジェクト等の購入処理を行う。購入処理には、動画プログラム内で利用可能なコイン、ポイント、チケット等の対価（媒体）を支払う処理が含まれる。また、購入処理には、交換、売却、譲渡の処理を含めてもよい。また、購入管理部３０２は、対価が支払われることにより、複数のオブジェクトの中から所定数のオブジェクトが選択される抽選（ガチャ）を実行するようにしてもよい。購入管理部３０２は、購入されたオブジェクトを、ユーザに関連付けてユーザ装置１２及びサーバ１１の少なくとも一方に記録する。配信モード（又は配信を開始する前のクローゼットモード）においてユーザがオブジェクトを購入したとき、購入管理部３０２は、購入したオブジェクトの識別情報を購入したユーザに関連付けてストレージ３５に記憶してもよい。また、視聴モードにおいてユーザがオブジェクトを購入すると、購入管理部３０２は、購入したオブジェクトの識別情報を、ギフトとして、動画を配信する配信ユーザに関連付けてストレージ３５に記憶してもよい。購入可能なオブジェクトの売上は、例えば配信ユーザ又は動画の配信サービス提供者に分配される。また、ゲーム動画に対するギフトが購入された場合には、その売り上げは、配信ユーザ、動画の配信サービス提供者、及びゲームの提供者の少なくとも一者に提供される。

【0045】

次に、サーバ１１のストレージ３５に格納された各種のデータについて説明する。ストレージ３５には、配信プログラム３５３のほか、ユーザ管理データ３５０、アバターデータ３５１、オブジェクトデータ３５２が格納されている。

【0046】

図２に示すように、ユーザ管理データ３５０は、動画プログラムを用いるユーザに関する情報である。ユーザ管理データ３５０は、ユーザの識別情報（ユーザＩＤ）、動画の配信履歴を示す配信履歴、視聴履歴を示す視聴履歴、コイン等の購入媒体、ポイント等を含んでいてもよい。ユーザ管理データ３５０は、ユーザ装置１２のユーザ管理データ２２３のマスターデータであり、ユーザ管理データ２２３と同じ内容であってもよく、さらに他のデータを含んでいてもよい。

【0047】

アバターデータ３５１は、アバターをユーザ装置１２で描画するためのマスターとなるデータであって、ユーザ装置１２の要求に応じて、ユーザ装置１２に送信される。
オブジェクトデータ３５２は、ユーザ装置１２でギフトオブジェクトの描画を行うためのマスターとなるデータであって、ユーザ装置１２の要求に応じて、ユーザ装置１２に送信される。オブジェクトデータ３５２には、ポリゴンデータ等のギフトを描画するためのデータの他、ギフトオブジェクトの属性情報が含まれる。ギフトオブジェクトの属性情報には、ギフトオブジェクトの種類、ギフトオブジェクトが表示される位置等が含まれる。

【0048】

＜他のユーザ装置＞
図３を参照して、ヘッドマウントディスプレイを含まないユーザ装置１２１について説明する。以下、ヘッドマウントディスプレイを含まないユーザ装置１２を区別して説明する場合にはユーザ装置１２１として説明し、区別しない場合には単にユーザ装置１２として説明する。ユーザ装置１２１は、スマートフォン（多機能電話端末）、タブレット端末、パーソナルコンピュータ、いわゆる据え置き型のコンソールゲーム機、又はこれらの装置以外の動画を再生可能な情報処理装置である。

【0049】

ユーザ装置１２１は、制御部４０、ストレージ４２（記憶媒体）、通信インターフェース（Ｉ／Ｆ）４３を備える。これらのハードウェア構成は、ユーザ装置１２０の制御部２０、ストレージ２２、通信Ｉ／Ｆ２３と同様な構成であるため説明を省略する。ストレージ４２には、動画プログラム４２０が格納されている。制御部４０は、動画プログラム４２０を実行することにより、アプリケーション管理部４０１、表示制御部４０２として機能する。アプリケーション管理部４０１は、サーバ１１との間で、動画を視聴するために必要なデータを送受信する。

【0050】

表示制御部４０２は、クライアントレンダリング方式において、サーバ１１から受信した動画作成用データを用いてアニメーションを生成する。表示制御部４０２は、サーバ１１を介して他のユーザ装置１２から動画作成用データを取得する。そして、アバターデータ２２１に動画作成用データを適用してアニメーションを作成する。また、表示制御部４０２は、アバター、アバター以外のオブジェクトを含めてレンダリングを行い、アニメーションを含む動画データを作成してディスプレイ４８に出力する。

【0051】

また、ユーザ装置１２１は、センサユニット２４を備える。ユーザ装置１２１が配信モードであるとき、表示制御部４０２は、センサユニット２４から各種データを取得し、ユーザの動作に応じてアバターオブジェクトのアニメーションを生成するための動画作成用データをサーバ１１に送信する。

【0052】

動画プログラム４２０は、制御部４０に、配信機能及び視聴機能を実現させるものである。動画プログラム４２０は、ユーザがモードを指定する操作に基づき、配信モード及び視聴モードのいずれかのモードを実行する。ユーザ管理データ４２１は、視聴ユーザに関するデータを含む。なお、ユーザ管理データ４２１は、ユーザの識別情報（ユーザＩＤ）、コイン等の購入媒体、ポイント等を含んでいてもよい。

【0053】

なお、ユーザ装置１２０にインストールされる動画プログラム２２０と、ユーザ装置１２１にインストールされる動画プログラム４２０とは、同じプログラムであってもよく、異なるプログラムであってもよい。動画プログラム２２０，４２０が同じプログラムである場合、当該プログラムは、インストールされた装置によって、一部の機能を実現したり制限する。

【0054】

ユーザ装置１２１は、スピーカ４５、マイク４６、操作部４７、ディスプレイ４８及びセンサユニット４９を備える。スピーカ４５及びマイク４６は、ユーザ装置１２０と同様の構成である。操作部４７は、ディスプレイ４８に併設されたタッチパネルや、キーボード、マウス等である。ディスプレイ４８は、制御部４０等と一体に設けられていても良いし、別体として設けられていてもよい。また、スピーカ４５は、サーバ１１から受信した音声データを出力する。

【0055】

センサユニット４９は、１乃至複数のセンサからなるユニットであり、少なくとも一部がユーザ装置１２０のセンサユニット２４と同じものであってもよい。センサユニット４９は、ユーザの表情の変化を示すフェイスモーション、及びセンサユニット２４に対するユーザの身体の相対位置の変化を示すボディモーションを検出する１乃至複数のセンサである。また、センサユニット４９は、可視光線を撮像するＲＧＢカメラと、近赤外線を撮像する近赤外線カメラとを含んでいてもよい。ＲＧＢカメラや近赤外線カメラは、例えば「ｉｐｈｏｎｅＸ（登録商標）」のトゥルーデプス（Ｔｒｕｅ Ｄｅｐｔｈ）、又は「ｉＰａｄ Ｐｒｏ（登録商標）」の「ＬＩＤＥＲ」や、スマートフォンに搭載されるその他のＴｏＦセンサを用いることが可能である。このカメラは、具体的には、ドットプロジェクタによってユーザの顔等に数万の不可視のドット（点）を投影する。そして、ドットパターンの反射光を検出し、分析して顔の深度マップを形成し、顔等の赤外線画像をキャプチャすることで、正確な顔データをキャプチャする。センサユニット２４の演算処理部は、深度マップと赤外線画像に基づいて各種の情報を生成し、その情報を登録済みの参照データと比較して、顔の各ポイントの深度（各ポイントと近赤外線カメラとの間の距離）や深度以外の位置のずれを算出する。

【0056】

＜配信動画の作成＞
（アバター及びカメラ）
図４及び図５を参照して、アバター１００が配置される仮想空間内で座標系について説明する。図４に示すように、仮想空間にはワールド座標系１０５が設定されている。ワールド座標系１０５は、仮想空間全体における位置を定義するための座標系である。例えばアバター１００等のオブジェクトの位置は、ワールド座標系１０５上で特定することが可能である。仮想空間の特定のオブジェクトには、ローカル座標系１０６が設定されている。ローカル座標系１０６は、オブジェクトの位置を原点とするものであり、ローカル座標系１０６を用いてオブジェクトの向き等を制御することが可能である。アバター１００は、配信ユーザの動作に基づいて、ローカル座標系のＹ軸方向を中心とする回転方向に向きを変更可能である。また、配信ユーザの動作に基づいて、腕、脚、頭部等の可動部位を動かすことが可能である。さらに、直立した状態から屈んだ状態になる等、Ｙ軸方向に姿勢を変位可能である。また、配信ユーザのコントローラ２７等の操作、又は配信ユーザの動作に基づいて、仮想空間内をワールド座標系１０５のＸ軸方向及びＺ軸方向に移動可能である。また、ヘッドマウントディスプレイに拡張現実の画像を表示する場合には、ユーザ装置１２に設けられたカメラによって撮影された現実画像に、拡張現実画像を表示するが、この場合にはユーザ装置１２のカメラの位置を操作する視聴ユーザの歩行等に基づいて、アバター１００の向きを変更可能である。なお、アバター１００の動作は上記のものに限られない。

【0057】

仮想空間にはアバター１００を撮影するカメラ１０１が設定される。カメラ１０１には、カメラ１０１の位置を原点とするカメラ座標系１０７が設定されている。カメラ１０１から観察される画像を作成する際、まず仮想空間に配置されたオブジェクトの座標を、カメラ座標系１０７の座標に変換する。カメラ座標系１０７は、カメラ１０１の光軸と平行なＸ軸、鉛直方向と平行又は略平行なＹ軸、及びＺ軸とからなる。なお、カメラ１０１は特許請求の範囲の仮想カメラに対応する。

【0058】

画像処理部２０２は、仮想空間に複数のアバター１００が存在する場合、動画のモードに応じて、アバター１００毎にカメラ１０１を設定する。カメラ１０１は、アバター１００の数や位置に応じて決まる中心点１０８から一定の距離Ｒだけ離れたカメラ範囲１０９のいずれかの位置に設定される。また、距離Ｒは、アバター１００の数や位置に応じて変化する。言い換えると、カメラ１０１は、中心点１０８を中心とし距離Ｒを直径とする球面状のカメラ範囲１０９内に位置する。カメラ１０１は、配信ユーザのコントローラ２７の操作に応じてカメラ範囲１０９上を移動することが可能である。また、カメラ１０１は、光軸を中心点１０８に向ける。つまり、カメラ１０１は中心点１０８を向くように配置される。

【0059】

球面であるカメラ範囲１０９内のカメラ１０１の位置は、カメラ範囲１０９の水平方向の角度である方位角φと、鉛直方向と平行な方向の角度である仰角θとで特定することができる。方位角φは、アバター１００のローカル座標系１０６の鉛直方向と平行なＹ軸方向を中心とした回転方向の角度であるヨー角である。仰角θは、アバター１００のローカル座標系１０６のＸ軸方向を中心とした回転方向の角度であるピッチ角である。なお、カメラ１０１は、ローカル座標系１０６の奥行方向と平行なＺ軸を中心とした回転であるローリングは行わない。カメラ１０１のローリングを抑制することで、ヘッドマウントディスプレイを装着した配信ユーザの不快感を抑制することができる。

【0060】

画像処理部２０２は、カメラ１０１の仰角θを所定範囲に制限する。カメラ範囲１０９の上側の頂点と下側の頂点とを結ぶ曲線の中間を「０°」としたとき、仰角θの許容範囲は、下限が「－３０°」、上限が「＋８０°」とする角度範囲に設定される。これは、アバター１００に、ある仰角θからみたとき不自然に見える部分や、視聴ユーザに見せたくない部分があることによる。このように仰角θを所定範囲とすることにより、不自然に見える部分や見せたくない部分を動画に表示することなく、違和感のない動画を配信することができる。

【0061】

次に図５を参照してアバター１００の瞳１０２の挙動について説明する。アバター１００の目１０３は、アバター１００の頭部１０４と主従関係にあり、頭部１０４の動きに追従して移動する。さらにアバター１００の瞳１０２は、所定範囲内で独立して挙動させることができる。画像処理部２０２は、瞳１０２を、ローカル座標系１０６のうち、アバター１００の奥行方向と平行なＺ軸を中心とした回転方向２０４（ロール方向）に移動可能とする。これに代えて若しくは加えて、瞳１０２は、Ｘ軸方向及びＹ軸方向に平行移動可能であってもよい。

【0062】

瞳１０２（眼球）の挙動の制御方法の一例として、瞳１０２に関連付けて設定されたボーンを回転させる方法が挙げられる。瞳１０２に関連付けられたボーンを、視線を向ける対象である特定のオブジェクトに関連付け、特定のオブジェクトを「親」、瞳１０２を「子」として、瞳１０２が特定のオブジェクトの動きに従うようにその主従関係を設定する。一般的な実装としては、眼球の姿勢を制御するベクトルに対してLookAt関数やQuaternion.Slerp関数を使うことで特定のベクトルに対して眼球の姿勢を制御するクォータニオン経由で任意の方向を示すオイラー角を求めることができる。単純な回転角度の制御ではなく、実際の人体を模倣し、角度に対して２軸で制御する筋肉を模倣した制御系も可能であり、左右の眼球で３次元的に破綻のない１点を見ることができればより良好である。また２つの眼球のターゲットを意図的にずらすことや震えなどのノイズを加えて微細眼球運動を再現することで、より細かな感情表現も可能である。物体が点ではない場合も、直交するベクトルや面に対する法線を取得でき、同様に処理することができる。これにより、画像処理部２０２は、瞳１０２を特定のオブジェクトの動きに追従させて移動させることができる。又は、瞳１０２に関連付けられたボーンを、オブジェクトではなく、仮想空間内の所定位置に関連付ける。これにより、画像処理部２０２は、アバター１００が動いている間においても、瞳１０２をその所定位置に向けるようにする。

【0063】

視線が向けられる特定のオブジェクトは、アバター１００に向かい合う他のアバター１００や、アバター１００毎に対応付けられたカメラ１０１、複数のアバター１００が共通して用いるカメラ１０１である。特定のオブジェクトを、他のアバター１００の顔や瞳１０２とした場合には、アバター１００は、他のアバター１００に視線を向ける状態となる。両方のアバター１００の瞳１０２を、互いの瞳１０２に向けた場合には、それらのアバター１００が視線を合わせた状態となる。

【0064】

また、アバター１００の瞳１０２を、アバター１００に対応付けられたカメラ１０１に関連付けた場合には、アバター１００が動作した場合でも、瞳１０２はカメラ１０１の方向に向けられる。画像処理部２０２は、アバター１００の瞳１０２の位置で特定されるアバター１００の視線情報を作成する。

【0065】

（コラボレーション配信の概要）
動画の演出方法の一つであるコラボレーション配信について説明する。配信ユーザのユーザ装置１２は、単数のアバター１００が出演する動画のほか、同じ仮想空間内に存在する複数のアバター１００を含む動画を配信することができる。複数のアバター１００が共演する動画の配信をここでは「コラボレーション配信」という。

【0066】

本実施形態におけるコラボレーション配信では、コラボレーション配信を行う主たる配信ユーザのユーザ装置１２に、他の配信ユーザのユーザ装置１２がコラボレーション配信の要求を送信し、その要求が配信ユーザにより承認されることで実現する。ここでは、コラボレーション配信を行う主たる配信ユーザをホストユーザ、コラボレーション配信に参加する他の配信ユーザをゲストユーザという。

【0067】

コラボレーション配信では、ホストユーザが、複数のモードのうち一つを選択することができる。本実施形態では、第１モード、第２モード、及び第３モードが選択可能である。これらのモードは、アバター１００の視線を向ける対象がそれぞれ異なる。また、第１モード及び第２モードの各々においては視線を向ける対象がアバター１００間で異なる。つまり、スマートフォン等の多機能電話端末を用いて動画を配信する場合、仮想空間内において配信ユーザに対応するアバター１００の正面にカメラ１０１が設定され、配信ユーザは多機能電話端末に向かい合って動画を配信する。つまり配信ユーザはほぼ動くことなく、アバター１００と仮想空間内のカメラ１０１との位置関係は固定されているため、配信ユーザは仮想空間内に設定されるカメラ１０１の位置を特に気にすることなく演技することができる。一方、配信ユーザがヘッドマウントディスプレイを装着する場合、配信ユーザはヘッドマウントディスプレイに表示された仮想空間の画像を視認しながら動作するため、アバター１００とカメラ１０１との位置関係は変化する。このため配信ユーザはカメラ１０１の位置を見失うことがある。配信ユーザがカメラ１０１を見失ったまま動画を配信すると、カメラ１０１の方向を向かずに視聴ユーザに話し掛けたり、アバター１００の顔が見えない状態が長く続いたりして、視聴ユーザが違和感を覚える動画が配信されることになりかねない。しかし、配信ユーザが常にカメラ１０１の位置を意識すると、演技に集中することができない。よって、画像処理部２０２によって、アバター１００の視線を自動的に特定のオブジェクトや所定の位置に向けるようにすることで、視聴ユーザからみて違和感のない動画を配信し、配信ユーザを演技に集中させるようにしている。

【0068】

第１モードは、複数のアバター１００の各々が、各自に対応付けられたカメラ１０１に視線を向けるモードである。アバター１００の各々に対応するカメラ１０１は、それぞれ異なる位置に設けられている。カメラ１０１は、所定位置に固定されてもよい。また、カメラ１０１は、配信ユーザのコントローラ２７の操作に基づき移動してもよい。このとき、配信ユーザは、コントローラ２７を操作することにより、カメラ１０１の仰角θ及び方位角φを指定することが可能である。この第１モードはカメラ目線モードである。

【0069】

第２モードは、アバター１００が、共演相手のアバター１００に視線を向けるモードである。二人のアバター１００がコラボレーション配信を行う場合には、一方のアバター１００は他方のアバター１００の位置に視線を向ける。三人以上のアバター１００がコラボレーション配信を行う場合には、アバター１００全員の中間となる位置に視線を向ける。又は、アバター１００は、最も近い位置の他のアバター１００に視線を向ける。第２モードは、合い目線モードである。

【0070】

第２モードにおいても、アバター１００の各々に対応するカメラ１０１は、それぞれ異なる位置に固定されていてもよい。また、アバター１００の各々に対応するカメラ１０１は、配信ユーザのコントローラ２７の操作に基づき移動してもよい。

【0071】

このように、アバター１００毎に設定されたカメラ１０１の動画を作成するための動画作成データは、アバター１００に対応する配信ユーザのユーザ装置１２によって生成される。又は、ホストユーザのユーザ装置１２のみが、アバター１００毎に設定されたカメラ１０１からみた動画を生成するための動画作成データを作成してもよい。

【0072】

第３モードは、複数のアバターが、共通のカメラ１０１に視線を向けるモードである。共通のカメラ１０１は、例えば複数のアバター１００を、アバター１００の上方から俯瞰する俯瞰カメラである。共通のカメラは、所定位置に固定されるものであってもよく、ホストユーザ又はゲストユーザのコントローラ２７の操作に基づき移動してもよい。又は、拡張現実の画像を表示する場合は、視聴ユーザ装置１２Ｂが備えるカメラの位置がカメラ１０１の位置となる。

【0073】

画像処理部２０２は、ホストユーザの操作に基づき、コラボレーション配信に対して一つのモードを適用する。そして、第１モード及び第２モードが選択された場合には、複数のカメラ１０１が設定される。複数のカメラ１０１は、同じ仮想空間をそれぞれ異なる位置から撮影する。カメラ１０１の数は、アバター１００の数と同数であってもよく、アバター１００の数と異なる複数であってもよい。

【0074】

なお、ユーザが、ヘッドマウントディスプレイを含むユーザ装置１２０を用いて動画を視聴する場合には、ユーザの頭部の向き等の変化に応じて、ヘッドマウントディスプレイに出力する仮想空間の画像を変化させる。しかし、ユーザ装置１２が第１モード、第２モード及び第３モードのいずれかのモードが適用された動画を出力する場合には、例えば、ユーザの頭部の向き等に応じて仮想空間の画像を表示しつつ、仮想空間に設定されたスクリーン等の２次元領域に動画を出力するようにしてもよい。又はユーザ装置１２は、ディスプレイ２８の全面に、第１モード、第２モード及び第３モードのいずれかのモードが適用された動画を出力するようにしてもよい。

【0075】

図６は、配信ユーザ１１０Ａに対応するアバター１００Ａと、配信ユーザ１１０Ｂに対応するアバター１００Ｂとが共演するコラボレーション配信の動画を、複数の視聴ユーザ１１２が視聴する状態を模式的に示している。なお、配信ユーザ１１０が用いるユーザ装置１２を区別して説明する場合には、ヘッドマウントディスプレイを含むか含まないかに関わらず配信ユーザ装置１２Ａとして説明する。また、視聴ユーザ１１２が用いるユーザ装置１２を区別して説明する場合には、ヘッドマウントディスプレイを含むか含まないかに関わらず視聴ユーザ装置１２Ｂとして説明する。

【0076】

視聴ユーザ１１２は、配信リスト画面から視聴したい動画を選択する。視聴ユーザ装置１２Ｂは、サーバ１１に動画の視聴要求を行う。視聴ユーザ装置１２Ｂは、サーバ１１から指定した動画作成用データを取得して、動画を作成しディスプレイ４８に表示する。動画はホストユーザである配信ユーザ装置１２Ａが指定したモードの動画である。動画のモードとして、第１モード又は第２モードが選択されている場合にはアバター１００の周辺に複数のカメラ１０１が設定されているため、視聴ユーザ１１２は、同じアバター１００が共演する動画であっても異なる角度からみた動画を視聴することができる。

【0077】

視聴ユーザ１１２は、視聴ユーザ装置１２Ｂに表示される画面において、アバター１００Ａ，１００Ｂのいずれか又は複数のカメラ１０１のうちいずれか１つを選択することによって、動画１１７，１１８のいずれかを選択することができる。一方の視聴ユーザ装置１２Ｂは、一方のカメラ１０１によって撮影された動画１１７を表示する。他方の視聴ユーザ装置１２Ｂは、他方のカメラ１０１によって撮影された動画１１８を表示する。つまり、視聴ユーザ装置１２Ｂに表示される動画１１７，１１８は、アバター１００Ａ，１００Ｂを異なる位置から撮影した画像を表示し、音声を共通とするものである。

【0078】

例えば、一方の視聴ユーザ１１２は自身が好むアバター１００Ａの最寄りのカメラ１０１で撮影された動画を視聴し、他方の視聴ユーザ１１２は自身が好むアバター１００Ｂの最寄りのカメラ１０１で撮影された動画を視聴することが想定される。また、視聴ユーザ１１２は、動画配信中に、一方のカメラ１０１で撮影された動画を視聴した後に、他方のカメラ１０１で撮影された動画を視聴することができる。つまり、動画配信中に、視聴ユーザ１１２は、異なるカメラ１０１によって撮影された動画を視聴することが可能である。

【0079】

（コラボレーション配信におけるカメラ範囲）
図７を参照して、コラボレーション配信におけるカメラ位置について説明する。画像処理部２０２は、コラボレーション配信においてもカメラ範囲１０９を設定し、カメラ範囲１０９上にカメラ１０１を設定する。

【0080】

図７は、三体のアバター１００Ｃ～１００Ｅでコラボレーション配信を行う状態を示している。カメラ範囲１０９には、アバター１００Ｃ～１００Ｅの数と同数のカメラ１０１が設定されている。カメラ範囲１０９の中心点１０８は、アバター１００Ｃ～１００Ｅの位置に基づいて決定される。例えば、ローカル座標系１０６の座標であって、アバター１００Ｃ～１００Ｅの所定部位の座標を、それぞれ（Ｘｃ，Ｙｃ，Ｚｃ），（Ｘｄ，Ｙｄ，Ｚｄ），（Ｘｅ，Ｙｅ，Ｚｅ）とするとき、中心点１０８は、それらの中間点｛（Ｘｃ＋Ｘｄ＋Ｘｅ）／３，（Ｙｃ＋Ｙｄ＋Ｙｅ）／３，（Ｚｃ＋Ｚｄ＋Ｚｅ）／３｝に設定される。また、カメラ範囲１０９の半径である距離Ｒは、アバター１００Ｃ～１００Ｅの所定位置がカメラ範囲１０９に含まれる大きさに設定される。具体的には、アバター１００の外郭線、又は、首、頭部、又は腹等のアバター１００の中心位置や所定部位が全てカメラ範囲１０９に含まれるように設定される。画像処理部２０２は、中心点１０８及び距離Ｒを繰り返し算出する。アバター１００Ｃ～１００Ｅが移動すると、中心点１０８は変化する。また、アバター１００Ｃ～１００Ｅが互いに近づき相対距離が小さくなると、距離Ｒは小さくなり、アバター１００Ｃ～１００Ｅ同士が遠ざかり相対距離が大きくなると、距離Ｒは長くなる。なお、画像処理部２０２は、三体以外の複数のアバター１００がコラボレーション配信を行う場合であっても、同様にカメラ範囲１０９を設定する。

【0081】

（コラボレーション配信におけるカメラの視野角）
図８を参照して、カメラ１０１の視野角について説明する。カメラ１０１の視野角ＦＶは、光軸Ａｘを中心とする水平方向の角度である。本実施形態では、画像処理部２０２は、共演する全てのアバター１００が含まれるようにアバター１００の位置に応じて視野角ＦＶを拡大又は縮小する。具体的には、画像処理部２０２は、アバター１００の相対距離が大きい場合には、カメラ範囲１０９（図７参照）の距離Ｒを大きくするとともに視野角ＦＶを拡大する。また、画像処理部２０２は、アバター１００の相対距離が小さい場合には、カメラ範囲１０９（図７参照）の距離Ｒを小さくするとともに視野角ＦＶを縮小する。

【0082】

図８は、三体のアバター１００Ｃ～１００Ｅでコラボレーション配信を行う状態を示している。カメラ１０１は、図８においては図示しないカメラ範囲１０９上にあるものとする。画像処理部２０２は、カメラ１０１の原点からアバター１００へ向かう方向のベクトルＶＣ～ＶＥを求め、このベクトルＶＣ～ＶＥを正規化する。例えばベクトルＶＣ～ＶＥは、アバター１００の中心位置又は重心位置に向かう方向である。そして、正規化したベクトルＶＣ～ＶＥの各々と、カメラ１０１の光軸Ａｘと同じ水平方向であって光軸Ａｘに直交するＺ軸との内積を求める。そして画像処理部２０２は、その内積の値から、アバター１００がカメラ１０１の光軸Ａｘの左側及び右側のどちらに位置するかを判定する。また、画像処理部２０２は、内積の値から、カメラ１０１の光軸Ａｘに対して最も離れたアバター１００を判定する。

【0083】

具体的には、画像処理部２０２は、コラボレーション配信を行うアバター１００の全てについて、ベクトルＶＣ～ＶＥを正規化する。そして正規化したベクトルＶＣ～ＶＥとカメラ１０１の光軸Ａｘと直交するＺ軸がなす内積を求める。内積の値から、アバター１００が光軸Ａｘに対して左側に位置するか右側に位置するかを判定することができる。例えば、アバター１００Ｄは、そのベクトルＶＤとＺ軸との内積の値が正であることから、Ｚ軸に対して０°超９０°未満の角度の方向に位置すると判定する。つまり、アバター１００Ｄは、Ｚ軸に対して直交する光軸Ａｘに対して右側に位置すると判定する。一方、アバター１００Ｃは、そのベクトルＶＣとＺ軸との内積の値が負であることから、Ｚ軸に対して９０°超１８０°未満の角度の方向に位置すると判定する。つまり、Ｚ軸に対して直交する光軸Ａｘに対して左側に位置すると判定する。

【0084】

さらに画像処理部２０２は、求めた内積の値のうち、その絶対値が最も大きいものを判定する。絶対値が最も大きくなるベクトルは、光軸Ａｘに対する角度が最も大きくなるベクトルである。画像処理部２０２は、そのベクトルと光軸Ａｘとがなす角度である最大角度を算出し、光軸Ａｘを中心に最大角度を２倍した大きさ以上の角度を視野角ＦＶとする。例えば、最大角度が「３０°」のとき、「６０°」又は「６０°」に所定のオフセット値を加えた角度を視野角ＦＶとする。オフセット値は、「１０°」等の固定の値であってもよい。又は、オフセット値は、視野角ＦＶの大きさに応じて決定された値であってもよい。例えば視野角が「６０°」のとき、その所定の割合（２％等）をオフセット値としてもよい。

【0085】

画像処理部２０２は、配信ユーザ装置１２Ａのセンサユニット２４から取得した検出データ、及びコラボレーション配信に参加している他の配信ユーザの配信ユーザ装置１２Ａから取得したアバター１００の位置データに基づいて視野角ＦＶを繰り返し算出する。これにより、アバター１００の位置が変化した場合には、この変化に応じて視野角ＦＶも変化する。例えば、アバター１００の相対距離が大きくなった場合には視野角ＦＶを拡大し、アバター１００の相対距離が小さくなった場合には視野角ＦＶを縮小する。

【0086】

一方、カメラ１０１を一定の位置に固定したときの仰角を、上述したカメラ範囲１０９上でのカメラ位置の仰角θと区別するためにカメラ仰角という。カメラ仰角は、カメラ座標系１０７のＺ軸を中心とした回転方向の角度であって、略鉛直方向の角度である。本実施形態において、カメラ１０１の仰角の大きさは一定である。

【0087】

＜コラボレーション配信におけるプレビュー画面＞
図９を参照して、プレビュー画面の表示について説明する。プレビュー画面は、ヘッドマウントディスプレイを装着した配信ユーザ１１０が、自身が配信する動画の視聴画面を確認するための画像である。つまり、ヘッドマウントディスプレイに設けられたディスプレイ２８には、配信ユーザ１１０の頭部の位置や向きに応じた画面が表示される。このとき表示される画面は、視聴ユーザ装置１２Ｂに表示される視聴画面とは異なる。つまりヘッドマウントディスプレイを装着した配信ユーザ１１０が動画を配信する際、これまでの動画配信用アプリケーションでは、配信ユーザ１１０は視聴画面を確認することはできない。しかし、コラボレーション配信を行う場合、配信ユーザ１１０自身に対応するアバター１００が、背後に存在する他のアバター１００を隠してしまう可能性もある。また、アバター１００がカメラ１０１に背を向ける場合には、配信ユーザ１１０が、アバター１００が視聴画面内でどのような配置で表示されるのかを把握することは困難である。よって配信ユーザ１１０が意図する動画を配信するためには、配信ユーザ１１０は視聴画面を確認しつつ演技することが好ましい。このため、本実施形態では、配信ユーザの頭部の位置に応じた仮想空間画像とともに視聴画面をプレビュー画面１２２として表示する。

【0088】

プレビュー画面１２２は、アバター１００毎に設定される。画像処理部２０２は、アバター１００Ａに対応する配信ユーザ１１０Ａが視認するプレビュー画面１２２Ａとして、アバター１００Ａに対応するカメラ１０１Ａからみた動画を表示する。プレビュー画面１２２Ａは、アバター１００Ａの正面又はその近傍であってアバター１００Ａから一定距離離れた位置に設定される。また、画像処理部２０２は、アバター１００Ｂに対応する配信ユーザ１１０Ｂが視認するプレビュー画面１２２Ｂとして、アバター１００Ｂに対応するカメラ１０１Ｂからみた動画を表示する。

【0089】

配信ユーザ１１０は、仮想空間画像を視認し演技を行いながら、正面に表示されるプレビュー画面１２２を確認することができる。このため、配信ユーザ１１０は、表現の一つとして、アバター１００が視聴画面に表示されるときの角度や位置等を工夫しながら演技することができる。また、プレビュー画面１２２は、アバター１００の真正面からオフセットした位置に表示してもよい。この場合、配信ユーザ１１０が仮想空間内で視認したいオブジェクトや背景等に極力重ならないようにプレビュー画面１２２を表示することができる。

【0090】

（コラボレーション配信のモード）
次に、コラボレーション配信で選択される第１モード、第２モード及び第３モードについて詳述する。なお、本実施形態では、第１モード、第２モード及び第３モードのいずれかのモードが適用された動画を配信する配信ユーザ装置１２Ａを、ヘッドマウントディスプレイを含むユーザ装置１２０として説明する。また、視聴ユーザ装置１２Ｂを、ヘッドマウントディスプレイを含むユーザ装置１２０又はヘッドマウントディスプレイを含まないユーザ装置１２１として説明する。

【0091】

（第１モード）
図１０及び図１１を参照して、第１モードについて詳述する。図１０に示すように、第１モードにおいて、画像処理部２０２は、アバター１００Ａの視野範囲１２３にアバター１００Ａに対応するカメラ１０１が含まれるか否かを判定する。アバター１００Ａの視野範囲１２３は、アバター１００の正面における所定の角度範囲である。アバター１００Ａの左眼及び右眼には視線の方向を示す方向ベクトル１２４が設定されており、これらの方向ベクトルは視野範囲１２３に含まれる。アバター１００Ａの視野範囲１２３にカメラ１０１が含まれる場合には、方向ベクトル１２４に示すように、アバター１００Ａの瞳１０２の位置をアバター１００Ａに対応するカメラ１０１Ａに向ける。具体的には、瞳１０２のボーンの中心軸をカメラ１０１Ａに向ける。一方、アバター１００Ａの視野範囲１２３にカメラ１０１が含まれない場合には、瞳１０２をカメラ１０１へ向けることができないため、瞳１０２の位置を所定位置又はカメラ１０１の方向に近い端に移動させる。或いは、若しくは瞳１０２の移動を一時停止する。同様に、画像処理部２０２は、アバター１００Ｂの瞳１０２を、アバター１００Ｂに対応するカメラ１０１Ｂに向ける。なお、カメラ１０１Ａ，１０１Ｂは、カメラ範囲１０９の中心点１０９Ａを向く。つまり、カメラ１０１Ａ，１０１Ｂの光軸Ａｘ上に、カメラ範囲１０９の中心点１０９Ａが位置する。

【0092】

図１１は、第１モードであってアバター１００Ａに対応するカメラ１０１Ａからみた視聴画面１３１を示す。配信ユーザ１１０Ａが配信する視聴画面１３１には、カメラ１０１Ａに視線を向けたアバター１００Ａが表示されている。また、他方のアバター１００Ｂの視線は、アバター１００Ｂに対応するカメラ１０１Ｂに向けられている。つまり、カメラ１０１Ａによって撮影された動画を視聴する視聴ユーザ１１２は、アバター１００Ａがカメラ１０１Ａに視線を向けた動画を視聴する。視聴ユーザ装置１２Ｂは、視聴画面をディスプレイ４８に表示するとともに、配信ユーザ１１０Ａ，１１０Ｂの音声をスピーカ４５から出力する。このため、視聴ユーザ１１２は、アバター１００Ａが他のアバター１００Ｂと共演している状態で、アバター１００Ａが動いていても視聴ユーザ１１２の方向を向いているような動画を視聴することができる。配信ユーザ１１０Ａは、アバター１００Ａがカメラ１０１Ａの方向を向いている状態となるため、カメラ１０１Ａの位置を意識することなく、自由に動き回ったりする等、演技に集中することができる。一方、カメラ１０１Ｂによって撮影された動画を視聴する視聴ユーザ１１２は、アバター１００Ｂがカメラ１０１Ｂに視線を向けた動画を視聴する。

【0093】

（第２モード）
次に図１２及び図１３を参照して、第２モードについて詳述する。図１２では、二体のアバター１００Ａ，１００Ｂがコラボレーション配信をする場合を示している。第２モードにおいて、画像処理部２０２は、一方のアバター１００Ａについて、アバター１００Ａの瞳１０２の位置を他方のアバター１００Ｂに向ける。また、アバター１００Ｂについて、アバター１００Ｂの瞳１０２の位置をアバター１００Ａに向ける。また、アバター１００Ａに対応するカメラ１０１Ａ、及びアバター１００Ｂに対応する１０１Ｂの位置は、一定の位置に固定されていてもよい。また、カメラ１０１Ａ，１０１Ｂは、アバター１００Ａ，１００Ｂに対応する配信ユーザ１１０のコントローラ２７の操作によって移動してもよい。

【0094】

仮想空間内にアバター１００が三体以上存在するとき、アバター１００が視線を向ける他のアバター１００は、アバター１００に最も近いアバター１００でもよい。画像処理部２０２は、アバター１００毎にローカル座標系１０６の座標を取得して、取得した座標に基づいてアバター１００に最も近い他のアバター１００を判定する。又は、画像処理部２０２は、ユーザ管理データ２２３を参照して、友達関係にある配信ユーザ１１０のアバター１００が自身のアバター１００の所定範囲内に存在するとき、そのアバター１００に視線を向けるようにしてもよい。又は友好度の高い配信ユーザ１１０のアバター１００が自身のアバター１００の所定範囲内に存在するとき、そのアバター１００に視線を向けるようにしてもよい。又は、配信ユーザ１１０が、視線を向ける他のアバター１００を指定するようにしてもよい。アバター１００の指定は、コントローラ２７、又は配信ユーザ１１０が他のアバター１００を所定時間継続して注視すること等によって実行される。

【0095】

上述したように、カメラ１０１Ａ，１０１Ｂは、カメラ範囲１０９の中心点１０８（図７参照）を向き、カメラ範囲１０９の距離Ｒ及びカメラ１０１の視野角ＦＶは、アバター１００Ａ，１００Ｂの相対距離に応じて設定されている。このため、配信ユーザ１１０がアバター１００Ａ，１００Ｂの位置を調整しなくても、対話するアバター１００Ａ，１００Ｂを視野角ＦＶに含めた動画を作成できるため、配信ユーザ１１０は演技に集中することができる。

【0096】

図１３は第２モードにおけるカメラ１０１Ａからみた視聴画面１３２の一例を示す。配信ユーザ１１０Ａが配信する視聴画面１３２には、少なくともアバター１００Ａが、アバター１００Ｂに視線を向けた様子が表示されている。また、アバター１００Ｂの視線は、アバター１００Ａに向けられている。例えばアバター１００Ａ，１００Ｂが並んで同じカメラ１０１の方向を見て会話した場合、アバター１００Ａ，１００Ｂ同士が視聴ユーザ１１２に話し掛けながら対話するような視聴画面となる。このようにアバター１００Ａ，１００Ｂが視線を合わせた状態で対話をさせると、アバター１００Ａ，１００Ｂが両者のみで自然に対話する様子を表現することができる。

【0097】

＜第３モード＞
次に図１４を参照して、第３モードについて説明する。図１４に示すように、第３モードにおいて、画像処理部２０２は、アバター１００Ｃ～１００Ｅの瞳１０２の位置を、一つのカメラ１０１に向ける。一例として、カメラ１０１は、アバター１００Ｃ～１００Ｅの目の位置よりも上方に設定される。なお、カメラ１０１は、ホストユーザ等のコントローラ２７の操作により移動してもよい。

【0098】

このようにアバター１００Ｃ～１００Ｅの視線を共通のカメラ１０１に向けることにより、記念撮影等のシーンを撮影することができる。通常、ヘッドマウントディスプレイを装着中の配信ユーザ１１０は、その視界を、会話相手であるアバター１００の頭部と眼球に一致させる。そのため、会話中の配信ユーザ１１０は、自身の正面や会話の相手を注視しがちであり、またカメラ１０１そのものの正確な位置を把握しづらい。人間は同じ一点を注視し続けることは難しく、瞬間的に周囲などに視点をずらす現象がある。このため、複数のユーザが同じ点を注視し続けることは難しく、また不自然な姿勢を続けることになる。上記の通り、全員が１点を注視している絵は自然ではないが、記念写真やイベントの参加証明写真のような画像、また番組内容を説明するサムネイル画像のような視聴ユーザ１１２の注目を集める訴求力を有する画像としては効果的である。

【0099】

第１モード、第２モード及び第３モードは、動画配信前に設定可能であるが、配信ユーザ１１０の指示によりモードを切り替えることが可能である。モードの切替は、コントローラ２７の操作、仮想空間内に表示される操作ボタン等を選択することにより行うことができる。例えばホストユーザは、動画の配信を開始する際には第２モードを設定し、動画配信中に記念撮影を行う場合等に第３モードを設定する。配信ユーザ装置１２Ａの画像処理部２０２は、モードが切り替えられると、モードに応じて視線を向ける対象を変更する。第１モードから第２モードに切り替えられた場合には、視線を向ける対象を、アバター１００の各々に対応するカメラ１０１から他のアバター１００の顔や瞳１０２に変更する。第１モードから第３モードに切り替えられた場合には、視線を向ける対象を、アバター１００の各々に対応するカメラ１０１から共通のカメラ１０１に変更する。１回の配信の中でモードを切り替え可能とすることにより、より多様な表現を実現することができる。

【0100】

（配信リスト画面）
図１５を参照して、視聴ユーザ装置１２Ｂに表示される配信リスト画面１３５の一例について説明する。視聴ユーザ装置１２Ｂのアプリケーション管理部４０１は、視聴ユーザ１１２の操作に基づいて配信リストをサーバ１１から取得する。表示制御部４０２は、配信リスト画面１３５をディスプレイ４８に表示する。配信リスト画面１３５には、配信中の動画のサムネイル画像１３６が表示されている。

【0101】

コラボレーション配信では、図１５中、上方左側のサムネイル画像１３６に示すように、一つのサムネイル画像１３６に対して、コラボレーション配信であることを示すマーク１３７が表示される。このサムネイル画像１３６には、動画の属性情報が表示される。この属性情報は、動画を視聴している視聴ユーザ１１２の数である視聴ユーザ数表示部１３８を含む。

【0102】

視聴ユーザ１１２は、配信リスト画面１３５から、サムネイル画像１３６を選択する。表示制御部４０２は、サムネイル画像１３６が選択された場合、コラボレーション配信に参加するアバター１００を選択するための画面を表示する。コラボレーション配信に「アバターＡ」及び「アバターＢ」が参加している場合、視聴ユーザ１１２が「アバターＡ」を選択すると、視聴ユーザ装置１２Ｂはサーバ１１に対して「アバターＡ」に対応付けられたカメラ１０１をカメラ座標原点（光学中心）とした動画データを要求する。つまり、カメラ１０１から見た動画データを要求する。視聴ユーザ装置１２Ｂがサーバ１１から動画データを受信すると、「アバターＡ」に対応するカメラ１０１をカメラ座標原点とした動画をディスプレイ４８に表示する。一方、視聴ユーザ１１２が「アバターＢ」を選択すると、視聴ユーザ装置１２Ｂは「アバターＢ」に対応するカメラ１０１をカメラ座標原点とした動画データをサーバ１１から取得する。そして、視聴ユーザ装置１２Ｂは「アバターＢ」に対応するカメラ１０１をカメラ座標原点とした動画をディスプレイ４８に表示する。カメラ１０１を切り替える際には、配信リスト画面１３５まで戻り、アバター１００を選択しなおす。又は、視聴画面にカメラ１０１を切り替えるためのボタンを表示し、そのボタンを選択することにより、カメラ１０１を切り替える。つまり、視聴ユーザ１１２は、好きなアバター１００や、応援しているアバター１００を選択することによって、そのアバター１００を中心に表示する動画を視聴することができる。また、コラボレーション配信の動画を視聴している間に、カメラ１０１を切り替えることによって、異なる角度から観察された動画を視聴することができるので、新たな動画の楽しみ方を視聴ユーザ１１２に提供することができる。

【0103】

なお、カメラ１０１をカメラ座標原点とした画像は、必ずしもレンダリングした画像とは限らず、座標と姿勢、画角を記録した行列と定義することもできる。また全てのカメラ１０１が常に同時に撮影しているとは限らない。例えば、複数のカメラ１０１を切り替えて、その時々のシーンに必要なカメラ１０１だけがその姿勢や座標、状態を、サーバ１１を経由して視聴ユーザ装置１２Ｂ等に伝えることもできる。複数のカメラ１０１の切り替えに、球面線形補間（Slerp，Spherical linear interpolation）を用いることによって、時間的に複数の状態を補間するアニメーション表現も可能となる。レンダリングされた画像は切り替え時にブレンデイングやブラーなどの合成処理をして表示してもよい。

【0104】

（コラボレーション配信におけるギフトオブジェクト）
次にコラボレーション配信におけるギフトオブジェクトについて説明する。ギフトオブジェクトとしては、視聴ユーザ１１２から配信ユーザに提供されるオブジェクトがある。サーバ１１は、ギフトオブジェクトの表示要求を視聴ユーザ装置１２Ｂから受信する。ギフトオブジェクトには、アバター１００に付して表示される装着ギフトオブジェクトと、アバター１００に付されない通常ギフトオブジェクトとがある。

【0105】

図１６は、視聴ユーザ装置１２Ｂに表示される視聴画面１４０を示す。視聴ユーザ装置１２Ｂからギフトオブジェクトの表示要求が送信されると、視聴画面１４０にはギフトオブジェクト１４１が表示される。装着ギフトオブジェクト１４１Ａは、いずれかのアバター１００に付された状態で表示され、通常ギフトオブジェクト１４１Ｂはアバター１００に付されずに仮想空間内の所定位置に表示される。図１６に示す装着ギフトオブジェクト１４１Ａは、アバター１００の頭部に装着される「ネコミミ」であり、通常ギフトオブジェクト１４１Ｂは、「花束」である。

【0106】

コラボレーション配信において、装着ギフトオブジェクト１４１Ａは、ホストユーザにより選択されたアバターに装着オブジェクトを適用される。視聴ユーザ１１２が装着ギフトオブジェクト１４１Ａの表示要求を行うと、ホストユーザが用いる配信ユーザ装置１２Ａのディスプレイ２８に、アバター１００Ａ，１００Ｂを選択するための図示しない選択ボタンが表示される。ホストユーザが、コントローラ２７等を用いて選択ボタンを操作することによってアバター１００を選択すると、選択されたアバターに装着ギフトオブジェクト１４１Ａが適用される。

【0107】

また、ギフトオブジェクト１４１が贈られたとき、ギフトオブジェクトに対応付けられた報酬の総和をコラボレーション配信に参加するホストユーザ及びゲストユーザで等分する。サーバ１１は、コラボレーション配信毎にギフトオブジェクトに対応付けられた報酬を集計する。報酬は、「ポイント」、「コイン」等のアプリケーション内で利用可能な媒体、又はアプリケーション外でも利用可能な媒体である。サーバ１１は、動画の配信が完了した場合等の所定のタイミングで集計した報酬を等分し、等分した報酬を示すデータを配信ユーザ装置１２Ａに送信するとともに、ユーザ管理データ３５０に保存する。

【0108】

（コラボレーション配信におけるメッセージ）
次にコラボレーション配信におけるメッセージの表示方法について説明する。視聴ユーザ１１２は、動画の配信中に配信ユーザ１１０に対してメッセージを送信することができる。

【0109】

図１７に示すように、視聴画面１５１には、メッセージ入力欄１３９が設けられている。動画を視聴中の視聴ユーザ１１２がメッセージ入力欄１３９にメッセージを入力し、入力したメッセージを送信する操作を行うと、視聴ユーザ装置１２Ｂは、視聴ユーザ１１２の識別情報とともにサーバ１１にメッセージを送信する。サーバ１１は、視聴ユーザ装置１２Ｂからメッセージを受信し、視聴ユーザ１１２の識別情報及びメッセージを、コラボレーション配信に参加する全ての配信ユーザ装置１２Ａ、及びコラボレーション配信を視聴する全ての視聴ユーザ装置１２Ｂに送信する。

【0110】

視聴ユーザ装置１２Ｂの視聴画面１５１には、視聴ユーザ１１２の識別情報とともにメッセージ１５０が表示される。これにより、同じコラボレーション配信の動画を視聴中の視聴ユーザ１１２間でメッセージを共有することができる。また、配信ユーザ装置１２Ａは、配信ユーザ１１０が視認する仮想空間画像の所定位置にメッセージを表示する。これにより、配信ユーザ１１０は、視聴ユーザ１１２から送信されたメッセージを確認することができる。

【0111】

＜動画配信方法＞
図１８を参照して、本実施形態の処理手順について説明する。ホストユーザの配信ユーザ装置１２Ａは、ホストユーザの操作を受け付けてモードを決定する（ステップＳ１）。なお、コラボレーション配信への参加を希望する配信ユーザ１１０の配信ユーザ装置１２Ａは、参加要求を、サーバ１１を介してホストユーザの配信ユーザ装置１２Ａに送信する。そして、ゲストユーザとなる配信ユーザ装置１２Ａは、ホストユーザの配信ユーザ装置１２Ａにより参加を許諾される。

【0112】

ゲストユーザの配信ユーザ装置１２Ａは、動画を作成するために必要なデータである動画作成用データをサーバ１１に送信する（ステップＳ２）。動画の配信方式によるが、クライアントレンダリング方式の場合には、動画作成用データはゲストユーザの動作を検出したトラッキングデータ、アバター１００の瞳１０２の位置を示す視線データ、及び音声データを少なくとも含む。また、動画作成用データに、ゲストユーザに対応するアバター１００に対して設定されたカメラ１０１のカメラ属性情報を含んでいてもよい。カメラ属性情報には、位置情報や視野情報等が含まれる。

【0113】

同様に、ホストユーザの配信ユーザ装置１２Ａは、自身の動画作成用データをサーバ１１に送信する（ステップＳ３）。
一方、サーバ１１は、ゲストユーザの配信ユーザ装置１２Ａから送信された動画作成用データを、ホストユーザの配信ユーザ装置１２Ａに送信する（ステップＳ４－１）。また、サーバ１１は、ホストユーザの配信ユーザ装置１２Ａから送信された動画作成用データを、ゲストユーザの配信ユーザ装置１２Ａに送信する（ステップＳ４－２）。配信ユーザ装置１２Ａの各々は、動画作成用データを受信すると、動画作成用データに基づき動画を生成してディスプレイ２８及びスピーカ２５に出力する。ステップＳ２～ステップＳ４－１及びステップＳ４－２は、動画配信中に繰り返し行われる。

【0114】

また、視聴ユーザ装置１２Ｂがリストを要求したタイミングで、動画配信リストを視聴ユーザ装置１２Ｂに送信する（ステップＳ５）。視聴ユーザ装置１２Ｂがリストを要求するタイミングは、動画配信前であってもよく、動画配信中であってもよい。動画配信リストは、配信中の動画の一覧である。また、視聴ユーザ１１２が視聴したい動画を選択する操作を行うと、視聴ユーザ装置１２Ｂは、選択された動画を識別するための情報とともに動画の視聴要求を送信する（ステップＳ６－１、ステップＳ６－２）。例えば、一方の視聴ユーザ装置１２Ｂは、「アバターＡ」及び「アバターＢ」が共演するコラボレーション配信であって「カメラＡ」で撮影された動画作成用データの視聴要求を送信する（ステップＳ６－１）。また、他方の視聴ユーザ装置１２Ｂは、「アバターＡ」及び「アバターＢ」が共演するコラボレーション配信であって「カメラＢ」で撮影された動画作成用データの視聴要求を送信する（ステップＳ６－２）。上述したように、視聴ユーザ１１２は、「アバターＡ」又は「アバターＢ」を選択することによってカメラ１０１を選択してもよいし、提示されたカメラ１０１の位置から一つを選択することによってカメラ１０１を選択してもよい。

【0115】

サーバ１１は、「カメラＡ」で撮影された動画の視聴要求を送信した視聴ユーザ装置１２Ｂには、「カメラＡ」で撮影した動画作成用データを送信する（ステップＳ７）。視聴ユーザ装置１２Ｂは、「カメラＡ」に応じた視線データ及びトラッキングデータを含む動画作成用データを受信し、「カメラＡ」から見た動画データを作成し、動画データを視聴ユーザ１１２が視聴するディスプレイ４８及びスピーカ４５に出力する（ステップＳ８）。また、サーバ１１は、「カメラＢ」で撮影された動画の視聴要求を送信した視聴ユーザ装置１２Ｂには、「カメラＢ」で撮影された動画作成用データを送信する。視聴ユーザ装置１２Ｂは、受信した動画作成用データを用いて動画データを作成し、ディスプレイ４８に出力する（ステップＳ１０，Ｓ１１）。

【0116】

上記実施形態の効果について説明する。
（１）アバター１００の視線が向けられる対象が異なる３つのモードのうち、配信ユーザ１１０であるホストユーザは一つを指定することが可能である。このため、ホストユーザは、自身が配信する動画のテーマやストーリーに沿ったモードを指定して動画を配信することができる。したがって、アバター１００を通じた配信ユーザ１１０の多様な表現をさらに行うことが可能となるため、配信ユーザ１１０及び視聴ユーザ１１２の満足度をさらに高めることができる。

【0117】

（２）第１モードでは、コラボレーション配信において、複数のアバター１００が、各自に対応するカメラ１０１に視線を向けた動画を配信することができる。このため、視聴ユーザ１１２は、視聴ユーザ１１２が好きなアバター１００又はそのアバター１００に対応するカメラ１０１を選択して、そのアバター１００を中心とする動画を視聴することができる。したがって、配信ユーザ１１０は、コラボレーション配信をしていても自身のファンに向けた動画を配信することができる。また、視聴ユーザ１１２は、自身が好きなアバター１００が他のアバター１００と交流する様子を観覧しつつ、自身が好きなアバターを中心に動画を視聴することができる。

【0118】

（３）第２モードでは、複数のアバター１００が視線を互いに向けた動画を配信することができる。このため、アバター１００Ａ，１００Ｂが両者のみで自然に対話する様子を表現することができる。これにより、配信ユーザ１１０の表現の幅を拡げることができるため、配信ユーザ１１０の満足度と、その動画を視聴する視聴ユーザ１１２の満足度を高めることができる。

【0119】

（４）第３モードでは、複数のアバター１００が共通のカメラ１０１に視線を向けた動画を配信することができる。このため、記念撮影等の特定のシーンを撮影することができる。

【0120】

（５）カメラ１０１を、複数のアバター１００の位置に応じて設定された中心点１０８を中心としたカメラ範囲１０９に設定する。このため、コラボレーション配信を行う全てのアバター１００が視野角ＦＶに極力含まれるようにカメラ１０１を配置することができる。

【0121】

（６）複数のカメラ１０１がカメラ範囲１０９に設定されるため、複数のアバター１００を同時に異なる角度から撮影することができる。
（７）配信ユーザ１１０のコントローラ２７の操作によってカメラ１０１を移動させることができる場合には、配信ユーザ１１０の表現の幅をより拡大することができる。

【0122】

（８）画像処理部２０２は、カメラ１０１からアバター１００の各々に向かうベクトルとカメラ１０１の光軸Ａｘとがなす角度を算出し、角度の絶対値が最も大きくなるアバター１００を判定するようにした。そして、角度の絶対値が最も大きくなるアバター１００が含まれるように視野角ＦＶを設定した。このため、配信ユーザ１１０の動作に伴いアバター１００が仮想空間内を動き回ったとしても、全てのアバター１００が含まれるような視野角ＦＶを設定することが可能となる。

【0123】

（変形例）
上記各実施形態は、以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0124】

（システム構成）
・上記実施形態では、視聴ユーザ装置１２Ｂは、ストレージ４２にインストールされたネイティブアプリケーションプログラムである動画プログラム４２０によって動画を視聴するようにした。これに代えて若しくは加えて、視聴ユーザ装置１２Ｂがレンダリングを行う必要が無い場合又はそのような場面では、ＨＴＭＬ（Hyper Text Markup Language）等のマークアップ言語を用いて記述されたウェブページを、ブラウザで表示するウェブアプリケーションを用いて動画を表示してもよい。又は、ネイティブアプリケーションの機能及びウェブアプリケーションの機能を有するハイブリッドアプリケーションを用いて動画を表示してもよい。また、配信ユーザ装置１２Ａに格納された動画プログラム２２０は、視聴ユーザ装置１２Ｂに格納された動画プログラム４２０と同じプログラムであってもよく、異なるプログラムであってもよい。

【0125】

・上記実施形態では、動画プログラム２２０，４２０は配信機能及び視聴機能の両方を備える構成とした。これに代えて若しくは加えて、管理システム１０は、ヘッドマウントディスプレイを含み、配信機能及び視聴機能のいずれか一方のみを実現するユーザ装置１２０を含んでいてもよい。また、管理システム１０は、ヘッドマウントディスプレイを含まず、配信機能及び視聴機能のいずれか一方のみを実現するユーザ装置１２1を含んでいてもよい。この場合、少なくとも配信機能を有するヘッドマウントディスプレイを含むユーザ装置１２０が、第１モード、第２モード及び第３モードのいずれかが設定された動画を配信し、少なくとも視聴機能を有するユーザ装置１２０，１２１がその動画を視聴する。

【0126】

（動画配信方法）
・上記実施形態におけるコラボレーション配信では、ホストユーザの配信ユーザ装置１２Ａに、他の配信ユーザの配信ユーザ装置１２Ａがコラボレーション配信の要求を送信しするようにした。そして、その要求が配信ユーザにより承認されることで共演を実現するようにした。これに代えて若しくは加えて、コラボレーション配信はこれ以外の手順で成立させてもよい。例えば、配信用のスタジオにコラボレーション配信を行う複数の配信ユーザ１１０が存在する場合、予め通知された所定のウェブサイトにログインをしている場合等には、ホストユーザ及びゲストユーザを設定せず、コラボレーション配信を行ってもよい。ホストユーザが設定されない場合、配信ユーザ１１０又は配信用のスタジオに存在するオペレータ等がモードを設定してもよい。

【0127】

・上記実施形態では、動画配信方式をクライアントレンダリング方式として説明した。これに代えて、動画配信方式を、を行う第１配信方式としてもよい。この態様においてコラボレーション配信を行う場合、配信ユーザ装置１２Ａは、配信ユーザ１１０等の操作に基づきアバター１００の視線に関するモードを取得する。また、配信ユーザ装置１２Ａは、動画作成用データを、コラボレーション配信に参加する他の配信ユーザ１１０の配信ユーザ装置１２Ａから受信する。そして、動画作成用データを適用したアバター１００のアニメーションを生成し、他のオブジェクトと合わせてレンダリングを行って動画データを作成する。そして配信ユーザ１２装置Ａは、動画データをエンコードして、サーバ１１を介して視聴ユーザ装置１２Ｂに送信する。アバター１００毎にカメラ１０１が設定されている場合には、配信ユーザ装置１２Ａは、配信ユーザ装置１２Ａ毎にカメラ１０１を設定して、そのカメラ１０１から見た動画を生成する。動画配信方式によって、動画表示用データのデータ構成は決定される。

【0128】

・上記実施形態では、ユーザ装置１２の制御部２０又はユーザ装置１２の制御部４０を、モード取得部、動画作成部、及び動画データ送信部として機能させた。モード取得部、動画作成部、及び動画データ送信部は、動画の配信方式に応じて変更される。モード取得部、動画作成部、及び動画データ送信部は、１つの装置に設けられていても良く、複数の装置に分散して設けられていてもよい。サーバ１１が、動画データを作成する場合には、サーバ１１が、モード取得部、動画作成部、及び動画データ送信部として機能する。視聴ユーザ装置１２Ｂが動画データを作成する場合には、視聴ユーザ装置１２Ｂが、モード取得部、動画作成部、及び動画データ送信部として機能する。また、例えば配信ユーザ装置１２Ａとサーバ１１とに、モード取得部、動画作成部、及び動画データ送信部を分散させて設けてもよい。換言すると、上記実施形態の配信ユーザ装置１２Ａの機能の一部を、サーバ１１及び視聴ユーザ装置１２Ｂの少なくとも一方が担うようにしてもよい。又は上記実施形態のサーバ１１の機能の一部を、配信ユーザ装置１２Ａ及び視聴ユーザ装置１２Ｂの少なくとも一方が担うようにしてもよい。また、視聴ユーザ装置１２Ｂの機能の一部を、サーバ１１及び配信ユーザ装置１２Ａの少なくとも一方が担うようにしてもよい。つまり、上記実施形態での配信ユーザ装置１２Ａ、視聴ユーザ装置１２Ｂ、及びサーバ１１が行う各処理は、映像配信方式や装置の種類等に応じて上記のいずれの装置が行ってもよいし、配信ユーザ装置１２Ａ、視聴ユーザ装置１２Ｂ、及びサーバ１１以外の他の装置が行ってもよい。

【0129】

・上記実施形態では、第１モード、第２モード及び第３モードのいずれかのモードが適用された動画を配信する配信ユーザ装置１２Ａを、ヘッドマウントディスプレイを含むユーザ装置１２０とした。これに代えて、第１モード、第２モード及び第３モードのいずれかのモードが適用された動画を配信する配信ユーザ装置１２Ａは、ヘッドマウントディスプレイを含むユーザ装置１２０の他、ヘッドマウントディスプレイを含まないユーザ装置１２１であってもよい。この態様において、ユーザの頭部及び上半身の少なくとも一つの向きだけでなく、ユーザのタッチパネルディスプレイやコントローラ等の操作により、アバター１００の向きや位置を変えるようにしてもよい。また、この態様において、ユーザ装置１２１のディスプレイ４８には、アバター１００から見たアバター視点の仮想空間の画像を出力してもよく、第１モード、第２モード及び第３モードのいずれかのモードで設定されたカメラから見た仮想空間の画像を表示してもよい。後者の場合、プレビュー画面１２２を省略することが可能である。

【0130】

（モード）
・上記実施形態では、第２モードは、アバター１００が共演相手のアバター１００に視線を向けるモードであるとしたが、アバター１００の近傍に、複数の他のアバター１００が存在する場合には、以下の（Ａ）～（Ｃ）のいずれか１つの手法で瞳１０２の挙動を制御してもよい。

【0131】

（Ａ）他のアバター１００の中間となる点に瞳１０２を追従させる。
（Ｂ）他のアバター１００の特定部位にアバター１００の瞳１０２を所定時間追従させた後、別の他のアバター１００の特定部位に瞳１０２を追従させ、順番に他のアバター１００に視線を向ける。

【0132】

（Ｃ）他のアバター１００の視線方向が交差する点に瞳１０２を追従させる。
または（Ａ）■（Ｃ）のうち複数の手法を組み合わせてもよい。複数の手法を組み合わせ変化させることで、アバター１００の表現が現実的なものとなる。また、（Ａ）～（Ｃ）もちろん、特定のユーザやカメラに対して好意を示すような事前パラメータや制御上の重み付けを加えても良い。また、第１モード～第３モードに加えて、上記の（Ａ）～（Ｃ）のいずれか１つを含むモードを選択可能としてもよい。

【0133】

・上記実施形態では、アバター１００の視線を、カメラ１０１又は相対向する他のアバター１００とした。これに代えて若しくは加えて、アバター１００の視線を、カメラ１０１、及びアバター１００以外の特定オブジェクトに向けるようにしてもよい。例えば、仮想空間内を移動する移動オブジェクトに設定してもよい。移動オブジェクトは、ボール、ノンプレイヤーキャラクター（NPC,Non Player Character）等である。この場合、この特定オブジェクトの動きにアバター１００の瞳１０２の動きが追従するように、瞳１０２を所定範囲内で移動させる。

【0134】

・上記実施形態では、ホストユーザは、第１モード、第２モード及び第３モードの３つのモードのうち一つのモードを選択するようにしたが、複数のモードのうち一つを選択可能であればよい。これに代えて、第１モード又は第２モードを選択可能であってもよい。或いは、第１モード又は第３モード、第２モード又は第３モードを選択可能であってもよい。或いは、ゲストユーザが複数のモードのうち一つを選択可能としてもよい。

【0135】

・上記実施形態では、配信ユーザ１１０が第１モード、第２モード、及び第３モードの切替を指示するようにした。これに代えて若しくは加えて、配信ユーザ装置１２Ａ又はサーバ１１が、第１モード、第２モード、及び第３モードを自動的に切り替えてもよい。具体的には、第１モード又は第２モードである場合に、配信ユーザ１１０が、コントローラ２７等で開始ボタンを操作する等、所定のシーンを開始する開始要求操作を行った場合に、配信ユーザ装置１２Ａ又はサーバ１１が、第３モードに切り替えるようにしてもよい。又は、配信ユーザ装置１２Ａ又はサーバ１１は、配信中に所定のアニメーションや音声が生成される等の開始条件が満たされたことを契機として、第３モードに切り替えるようにしてもよい。又は、配信ユーザ装置１２Ａ又はサーバ１１は、アバター１００が所定のエリアに集合する等、アバター１００の座標が開始条件を満たした場合に、第３モードに切り替えるようにしてもよい。又は、配信ユーザが発話内容を音声認識して、予め決められたキーワード等を発話した場合に、そのキーワードに関連付けられたモードに切り替えるようにしてもよい。例えば配信ユーザ１１０が「見つめ合う」というキーワードを発した場合、第２モードに切り替えるようにしてもよい。

【0136】

・上記実施形態では、第１モード、第２モード及び第３モードのうち一つに代えて、若しくは加えて、他のモードを選択可能としてもよい。３つのモード以外のモードとしては、例えば、複数のアバター１００を俯瞰するカメラ１０１で撮影し、アバター１００は正面等のカメラ１０１以外の方向を向くモードとしてもよい。

【0137】

・上記実施形態では、配信ユーザ装置１２Ａの画像処理部２０２は、アバター１００の視線をカメラ１０１又は他のアバター１００に向けるための視線データを作成するようにした。これに代えて、視聴ユーザ装置１２Ｂが、アバター１００の位置や向きを示すトラッキングデータと、カメラ１０１、他のオブジェクト又は他のアバター１００等の視線を向ける対象の位置データとに基づいて、アバター１００の瞳１０２を視線を向ける対象に向けたアニメーションを作成するようにしてもよい。

【0138】

（カメラの選択）
・上記実施形態では、視聴ユーザ１１２がコラボレーション配信に参加するアバター１００を視聴ユーザ装置１２Ｂの画面で選択することにより、選択したアバター１００に対応するカメラ１０１で撮影した動画を視聴ユーザ装置１２Ｂに表示するようにした。これに代えて、視聴ユーザ１１２がコラボレーション配信で設定された複数のカメラ１０１のうち一つを視聴ユーザ装置１２Ｂの画面で選択することにより、選択したカメラ１０１で撮影した動画を視聴ユーザ装置１２Ｂに表示してもよい。カメラ１０１を選択する画面では、アバター１００に対して「上方」、「下方」、「左側」、「右側」等のカメラ１０１の位置から選択可能としてもよいし、「俯瞰」、「仰視」等のカメラ１０１のアングルで選択可能としてもよい。

【0139】

・上記実施形態では、視聴ユーザ１１２が、コラボレーション配信を視聴する際にアバター１００又はカメラ１０１を選択するようにしたが、複数のモードのうち１つが指定されていればアバター１００又はカメラ１０１の選択を省略可能である。つまり、コレボレーション配信においてサーバ１１が決定したカメラ１０１で撮影した動画を配信するようにしてもよい。このときサーバ１１は所定のタイミングでカメラ１０１を切り替えるようにしてもよい。

【0140】

（カメラの位置及び視野範囲）
・上記実施形態では、カメラ１０１を球面状のカメラ範囲１０９内に設定した。これに代えて若しくは加えて、仮想空間又は現実空間に、仮想的な三脚に据付けたモデルとして、回転中心座標を固定した上で仰角と方位角のみを制御できるカメラを設定してもよい。そして、このカメラに、回転中心座標を固定したまま光軸を左右に振る「パン」を実行させてもよい。そして配信ユーザ１１０のコントローラ２７の操作又は所定のイベントの発生を契機としてカメラのパンを実行し、光軸を水平移動させながらターゲットとなるオブジェクトを注視つつ画角を滑らかに変化させてもよい。また、カメラに光軸を上下に振る「チルト」を実行させてもよい。

【0141】

・上記実施形態では、画像処理部２０２は、アバター１００の相対距離が大きい場合には、カメラ範囲１０９の距離Ｒを大きくするとともに視野角ＦＶを拡大した。また、アバター１００の相対距離が小さい場合には、カメラ範囲１０９の距離Ｒを小さくするとともに視野角ＦＶを縮小した。これに代えて、画像処理部２０２は、アバター１００の相対距離に応じて、視野角ＦＶを一定とし、カメラ範囲１０９の距離Ｒのみを変更するようにしてもよい。又は、画像処理部２０２は、アバター１００の相対距離に応じて、カメラ範囲１０９の距離Ｒを一定とし、視野角ＦＶのみを変更するようにしてもよい。

【0142】

・上記実施形態では、アバター１００の中心点１０８を中心としたカメラ範囲１０９を設定し、このカメラ範囲１０９にカメラ１０１を設定するようにした。これに代えて若しくは加えて、仮想空間の所定位置にカメラ１０１を固定するようにしてもよい。

【0143】

・上記実施形態では、カメラ１０１から最も離れたアバター１００が含まれるように視野角ＦＶを設定した。これに代えて若しくは加えて、視野角ＦＶを一定範囲に固定してもよい。

【0144】

・上記実施形態では、非透過型のヘッドマウントディスプレイを有する配信ユーザ装置１２Ａに仮想現実の画像を表示し、及び視聴ユーザ装置１２Ｂに、仮想空間画像を表示するようにした。これに代えて、透過型のヘッドマウントディスプレイに、拡張現実の画像を表示するようにしてもよい。この場合、カメラ１０１の位置は配信ユーザ装置１２Ａに設けられた撮像カメラの位置であり、配信ユーザ１１０の位置に応じて変化する。この場合、配信ユーザ装置１２Ａは、撮像カメラで撮影した現実画像に仮想空間の画像を重畳した動画データを生成する。また、配信ユーザ装置１２Ａは、動画データをエンコードし、サーバ１１を介して視聴ユーザ装置１２Ｂにエンコードした動画データを送信する。

【0145】

（ギフトオブジェクト及び報酬）
・上記実施形態では、ホストユーザにより選択されたアバターに装着オブジェクトを適用した。これに代えて若しくは加えて、視聴中の動画に対応付けられたアバターに装着オブジェクトを適用してもよい。この方法は、第１モード及び第２モードであって、アバター１００とカメラ１０１とが対応付けられている場合に適用されうる。「アバターＡ」に対応付するカメラ１０１によって撮影された動画を表示している視聴ユーザ装置１２Ｂから、装着ギフトオブジェクト１４１Ａの表示要求を実行するための操作を受け付けたとする。この場合、サーバ１１は、装着ギフトオブジェクト１４１Ａを「アバターＡ」に適用すると判定する。サーバ１１は、「アバターＡ」のレンダリングを行う配信ユーザ装置１２Ａに、装着ギフトオブジェクト１４１Ａの表示要求を送信する。本実施形態では、ホストユーザの配信ユーザ装置１２Ａに装着ギフトオブジェクト１４１Ａの表示要求を送信する。配信ユーザ装置１２Ａは「アバターＡ」に装着ギフトオブジェクト１４１Ａを付した動画を作成する。

【0146】

・上記実施形態では、ギフトオブジェクトに対応付けられた報酬の総和をコラボレーション配信に参加するホストユーザ及びゲストユーザで等分した。これに代えて若しくは加えて、ギフトオブジェクト１４１を贈った視聴ユーザ１１２が視聴中の動画に対応する配信ユーザ１１０にギフトオブジェクト１４１に応じた報酬を付与してもよい。この方法は、第１モード及び第２モードであって、アバター１００とカメラ１０１とが対応付けられている場合に適用されうる。視聴ユーザ装置１２Ｂが「アバターＡ」に対応するカメラ１０１によって撮影された動画を表示しているときに、装着ギフトオブジェクト１４１Ａの表示要求を行うための操作を受け付けたとする。このとき、サーバ１１は、「アバターＡ」に対応する配信ユーザ１１０に報酬を付与する。具体的には、サーバ１１は、「アバターＡ」に対応する配信ユーザ１１０のユーザ管理データ３５０の報酬を示すデータを更新する。また、サーバ１１は、報酬が付与されたことを知らせる通知を配信ユーザ装置１２Ａに送信する。

【0147】

（コラボレーション配信におけるメッセージ）
・上記実施形態では、視聴ユーザ１１２から送信されたメッセージを、コラボレーション配信に参加する全ての配信ユーザ装置１２Ａ、及びコラボレーション配信を視聴する全ての視聴ユーザ装置１２Ｂに送信するようにした。これに代えて若しくは加えて、視聴ユーザ装置１２Ｂが送信したメッセージを、その視聴ユーザ装置１２Ｂに配信している動画にのみ表示するようにしてもよい。この方法は、視聴ユーザ装置１２Ｂが「アバターＡ」に対応付けられたカメラ１０１で撮影された動画を表示しているとき、その視聴ユーザ装置１２Ｂが送信したメッセージは、同じ「アバターＡ」に対応付けられたカメラ１０１で撮影された動画を表示している視聴ユーザ装置１２Ｂのみに表示し、「アバターＢ」に対応付けられたカメラ１０１で撮影された動画を表示している視聴ユーザ装置１２Ｂには表示しない。この態様では、一画面に表示されるメッセージの数を低減することができる。

【0148】

（コラボレーション配信以外の態様）
・上記実施形態では、コラボレーション配信において、アバター１００の視線が向けられる対象が異なる複数のモードを設定した。これに代えて、配信ユーザ１１０が単独で動画を配信するときに、それらのモードを選択できるようにしてもよい。この場合、例えば、アバター１００がカメラ１０１に視線を向けるモード、アバター１００がカメラ１０１以外のオブジェクト又は所定位置に視線を向けるモード、アバター１００が常に正面に視線を向け、瞳１０２を動かさないモード等のうち複数のモードを設定することができる。

【0149】

次に、上記実施形態及び別例から把握できる技術的思想について以下に追記する。
・１乃至複数のコンピュータを、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得部と、
動画を作成するための動画作成用データを取得するデータ取得部と、
指定された前記モードに従って、前記動画作成用データを用いて前記アバターが配置された仮想空間を仮想カメラによって撮影した動画データを作成する動画作成部と、
作成した前記動画データをディスプレイに出力する出力制御部と、して機能させるプログラム。

【符号の説明】

【0150】

１０…管理システム
１１…サーバ
１２Ａ…配信ユーザ装置
１２Ｂ…視聴ユーザ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】