特許 6555513 プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6555513

(24)【登録日】2019年7月19日

(45)【発行日】2019年8月7日

(54)【発明の名称】プログラム

(51)【国際特許分類】

   A63F 13/52 20140101AFI20190729BHJP

   A63F 13/812 20140101ALI20190729BHJP

   A63F 13/55 20140101ALI20190729BHJP

   A63F 13/25 20140101ALI20190729BHJP

   G06T 15/20 20110101ALI20190729BHJP

   G06T 19/00 20110101ALI20190729BHJP

【ＦＩ】

   A63F13/52

   A63F13/812 B

   A63F13/55

   A63F13/25

   G06T15/20 500

   G06T19/00 A

【請求項の数】2

【全頁数】26

(21)【出願番号】特願2015-131751(P2015-131751)

(22)【出願日】2015年6月30日

(65)【公開番号】特開2017-12397(P2017-12397A)

(43)【公開日】2017年1月19日

【審査請求日】2018年3月26日

(73)【特許権者】

【識別番号】000132471

【氏名又は名称】株式会社セガゲームス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100080953

【弁理士】

【氏名又は名称】田中 克郎

(72)【発明者】

【氏名】豊田 卓也

【審査官】 上田 泰

(56)【参考文献】

【文献】 特開２０１４−１２７９８７（ＪＰ，Ａ）

【文献】 特開２００２−２７１７３３（ＪＰ，Ａ）

【文献】 特開２００３−２４４７２８（ＪＰ，Ａ）

【文献】 特開２００７−２５９９８８（ＪＰ，Ａ）

【文献】 ＃０４２：自由視点映像でスポーツ観戦をカスタマイズ,TSUKUBA FUTURE，[online]，２０１５年 ５月２２日，２０１５年６月１３日検索，ＵＲＬ，http://www.tsukuba.ac.jp/notes/042/index.html

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ ９／２４，１３／００−１３／９８

Ｇ０６Ｔ １／００，１１／６０−１３／８０，１７／０５，１９／００−１９／２０

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
ユーザによるプレイヤの選択を受け付ける受付ステップと、
１又は複数のプレイヤの動きを複数の撮像装置が撮像した各撮像データであって、相手と対戦するイベントに参加する１又は複数のプレイヤが撮像された各撮像データに基づき、三次元仮想空間が生成され、かつ、少なくとも１の前記プレイヤの動作解析が行われ、当該三次元仮想空間及び当該動作解析の結果に基づきコンピュータグラフィックスを用いて生成された映像コンテンツであって、選択されたプレイヤの視点からの映像コンテンツを取得する取得ステップと、
取得された映像コンテンツの表示を制御する表示制御ステップと、
前記選択されたプレイヤの視線方向を推定し、前記視線方向に基づく水平方向の第１視野角、及び垂直方向の第２視野角を用いて前記選択されたプレイヤの視野を特定する特定ステップと、
特定された前記選択されたプレイヤの視野と、前記相手の各プレイヤの視野とに基づいて、前記相手の各プレイヤの死角領域を検出する検出ステップと、
検出された死角領域の表示を制御する表示制御ステップと、
を実行させるプログラム。

【請求項2】

コンピュータに、
ユーザによるプレイヤの選択を受け付ける受付ステップと、
１又は複数のプレイヤの動きを複数の撮像装置が撮像した各撮像データに基づき、三次元仮想空間が生成され、かつ、少なくとも１の前記プレイヤの動作解析が行われ、当該三次元仮想空間及び当該動作解析の結果に基づき生成された映像コンテンツであって、選択されたプレイヤの視点からの映像コンテンツを取得する取得ステップと、
取得された映像コンテンツの表示を制御する表示制御ステップと、
ユーザ操作に基づき、前記選択されたプレイヤの動き方向又は視線方向を示す第１方向を変更する変更ステップと、
前記映像コンテンツに基づく前記選択されたプレイヤの実際の動き方向又は視線方向を示す第２方向と、前記第１方向との差異をユーザに報知する報知ステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラムに関する。

【背景技術】

【0002】

近年、コンピュータなどによって作り出された世界を現実であるかのようにユーザに知覚させるバーチャルリアリティ（以下、ＶＲとも称する。）が盛んに研究されている。このＶＲについて、カメラで撮影オブジェクトを撮影し、その映像データに基づいて、三人称視点と、一人称視点とを切り替える技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−１２７９８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、複数のカメラで撮影オブジェクトを撮影し、撮影した画像を合成することで、所定の撮影オブジェクトに対する一人称視点に切り替えるが、画像合成にかかる処理の負荷が大きく、一人称視点における映像コンテンツを容易に生成することはできない。

【0005】

また、従来のＶＲを提供する技術では、撮影オブジェクトの様々な動きに対応することや、多数の撮影オブジェクトの視点からの映像コンテンツを生成することは想定されていない。

【0006】

そこで、本発明は、ＶＲにおいて、オブジェクトの様々な動きに対応しつつ、多数のオブジェクトの視点からのコンテンツを容易に生成することを目的の一つとする。

【課題を解決するための手段】

【0007】

本発明に係るプログラムは、コンピュータに、
１又は複数のプレイヤの動きを撮像した複数の撮像装置から各撮像データを受信する受信ステップと、
前記各撮像データに基づいて、三次元仮想空間を生成する第１生成ステップと、
前記各撮像データに基づいて、少なくとも１の前記プレイヤの動作解析を行う解析ステップと、
前記三次元仮想空間及び前記動作解析の結果に基づき、少なくとも１の前記プレイヤの視点からの映像コンテンツを、コンピュータグラフィックスを用いて生成する第２生成ステップと、
を実行させる。

【発明の効果】

【0008】

本発明によれば、ＶＲにおいて、オブジェクトの様々な動きに対応しつつ、多数のオブジェクトの視点からのコンテンツを生成することを容易にすることができる。

【図面の簡単な説明】

【0009】

【図1】実施形態におけるコンテンツ販売システムの一例を示す概念図である。

【図2】実施形態における撮像装置による撮像の様子の一例を説明するための図である。

【図3】実施形態における情報処理装置が接続されたＨＭＤの一例を示す図である。

【図4】実施形態におけるサーバ装置のハードウェア構成の一例を示す図である。

【図5】実施形態における携帯端末の外観構成の一例を示す携帯端末正面図である。

【図6】実施形態における携帯端末のハードウェア構成を概略的に示すブロック図である。

【図7】実施形態におけるＨＭＤのハードウェア構成を概略的に示すブロック図である。

【図8】実施形態におけるサーバ装置の機能構成の一例を示す図である。

【図9】コンテンツ情報の一例を示す図である。

【図10】カテゴリごとに分類された部分コンテンツの一例を示す図である。

【図11】実施形態における携帯端末の機能構成の一例を示す図である。

【図12】プレイヤキャラクタの視線方向及び視野を説明するための図である。

【図13】実施形態における表示画面Ａの一例を示す図である。

【図14】実施形態における表示画面Ｂの一例を示す図である。

【図15】実施形態における表示画面Ｃの一例を示す図である。

【図16】実施形態における表示画面Ｄの一例を示す図である。

【図17】実施形態における表示画面Ｅの一例を示す図である。

【図18】死角領域を説明するための図である。

【図19】実施形態におけるコンテンツ生成処理の一例を示すフローチャートである。

【図20】実施形態におけるコンテンツ配信処理の一例を示すフローチャートである。

【図21】実施形態におけるコンテンツ表示処理の一例を示すフローチャートである。

【図22】実施形態における表示制御処理の一例を示すフローチャートである。

【図23】実施形態におけるプレイヤ切替処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形（各実施例を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

【0011】

［実施形態］
以下、本発明の実施形態におけるコンテンツ配信システムを、図面を用いて説明する。

【0012】

＜コンテンツ配信システムの概要＞
図１は、実施形態におけるコンテンツ販売システム１の一例を示す概念図である。図１に示す例において、コンテンツ販売システム１は、例えばコンテンツを配信する会社等により提供されるサーバ装置（情報処理装置）５０と、各ユーザが操作する情報処理装置１０と、１又は複数のオブジェクトを撮像する撮像装置６０Ａ、６０Ｂ、６０Ｃと、がネットワークＮを介して接続される。以下、撮像装置を１つ１つ区別する必要がない場合は、符号６０を用いる。また、情報処理装置１０は、ネットワークＮに複数接続されてもよい。

【0013】

オブジェクトは、例えばプレイヤや動物などの動く生物を含む。プレイヤは、スポーツをしている人や音楽ライブをしている人などを含む。

【0014】

また、情報処理装置１０は、ヘッドマウントディスプレイ（以下、ＨＭＤとも称する。）７０に接続される。ＨＭＤ７０を装着したユーザは、ＶＲを体験することができる。なお、ネットワークＮには、その他決済サーバなどが接続されてもよい。

【0015】

図２は、実施形態における撮像装置６０による撮像の様子の一例を説明するための図である。図２に示す例では、フィールドＦ１内で複数のプレイヤＰ１〜Ｐ３がスポーツをしている。撮像装置６０は、スポーツをしている各プレイヤの様子を様々な角度から撮像する。撮像装置６０は、動作解析を容易にするため、高性能の撮像装置、例えば８Ｋカメラなどが望ましい。また、撮像装置６０の設置台数は、図２に示す例では８台であるが、フィールドＦ１の大きさに応じて適切な台数が設置されればよい。

【0016】

撮像装置６０により撮像された各撮像データは、直接的又はパーソナルコンピュータなどの処理装置を介して間接的に、サーバ装置５０に送信される。サーバ装置５０は、各撮像データに基づき、各プレイヤやフィールドを含む三次元仮想空間を生成し、また、撮像データを画像処理すること、又はモーションキャプチャなどの技術を用いることで、各オブジェクトの動作解析を行う。なお、サーバ装置５０は、フィールドＦ１が既知であれば、事前に三次元仮想空間を生成しておき、各撮像データに基づいて風景やプレイヤ等に基づくオブジェクトを配置し、最終的な三次元仮想空間を生成してもよい。また、これらの処理の一部または全ては、サーバ装置５０ではなく、撮像装置６０に接続された前述のパーソナルコンピュータなどの処理装置で行い、生成されたオブジェクトや三次元仮想空間をサーバ装置５０に送信して記憶させるようにしても良い。

【0017】

モーションキャプチャは、マーカーレス方式の公知の技術を用いるとよい。例えば、Ｃａｐｔｕｒｙ Ｓｔｕｄｉｏ社のモーションキャプチャや、Ｏｒｇａｎｉｃ Ｍｏｔｉｏｎ社のモーションキャプチャなどの技術が適用可能である。これにより、オブジェクトに対してカメラを設ける必要がなくなり、オブジェクトに負担をかけずに済む。

【0018】

サーバ装置５０は、１又は複数のオブジェクトについて、上述した動作解析を行うことにより、各オブジェクトの動きを再現する映像コンテンツを生成する。この映像コンテンツは、コンピュータグラフィックス（以下、ＣＧとも称する。）を用いており、また、各プレイヤの視点からの映像コンテンツである。各プレイヤや全フィールドをモデリングした仮想オブジェクトを含む三次元仮想空間に基づき、ＣＧによる映像コンテンツを生成する方が、実映像による複雑な映像コンテンツを生成するよりも、オブジェクトの様々な動きや視点変更にも柔軟に対応することができ、処理負荷を軽減することができる。サーバ装置５０は、このようにして生成された映像コンテンツを複数記憶しておいてもよい。

【0019】

情報処理装置１０は、所定のアプリケーションを用いてサーバ装置５０にアクセスし、ユーザ操作に基づいて、映像コンテンツやオブジェクトを選択し、選択された映像コンテンツやオブジェクトの視点からの映像コンテンツをダウンロードする。

【0020】

図３は、実施形態における情報処理装置１０が接続されたＨＭＤ７０の一例を示す図である。図３に示す例では、情報処理装置１０は、マイクロＵＳＢ端子等を用いてＨＭＤ７０に接続される。ＨＭＤ７０は、情報処理装置１０から、マイクロＵＳＢ端子等を用いて取得した映像コンテンツを表示部に表示する。

【0021】

ＨＭＤ７０を装着したユーザは、この映像コンテンツを視聴することで、ＶＲを体験することができる。なお、ＨＭＤ７０は、上述したように、情報処理装置１０から映像コンテンツを取得して表示してもよいし、情報処理装置１０に表示される映像コンテンツを視聴できるようにしてもよい。

【0022】

これにより、サーバ装置５０は、ＶＲにおいて、オブジェクトの様々な動きに対応しつつ、多数のオブジェクトの視点からのコンテンツを生成することを容易にすることができる。また、情報処理装置１０は、所定のアプリケーションを用いることにより、サーバ装置５０において生成されたコンテンツをユーザに取得することができる。なお、ＶＲの体験とは、図３に示すようなＨＭＤ７０を装着してＶＲを体験する以外にも、情報処理装置１０等のディスプレイに映像コンテンツを表示し、ユーザがそのディスプレイを見ることでＶＲを体験することも含む。

【0023】

以下で説明する実施形態に係る情報処理装置１０は、携帯端末を一例に挙げている。また、実施形態に係る各種プログラムは、例えばサーバ装置や携帯端末等で実行される。

【0024】

＜ハードウェア構成＞
次に、コンテンツ販売システム１内の各装置のハードウェアについて説明する。以下、サーバ装置５０、携帯端末１０、ＨＭＤ７０の順に説明する。

【0025】

≪サーバ装置５０≫
まず、サーバ装置（情報処理装置）５０のハードウェア構成について説明する。図４は、実施形態におけるサーバ装置５０のハードウェア構成の一例を示す図である。図４に示すように、サーバ装置５０は、制御部５１、通信インターフェース５３、記憶部５４、表示部５７、及び入力部５８を有し、各部はバスライン５９を介して接続される。

【0026】

制御部５１は、ＣＰＵ、ＲＯＭ、ＲＡＭ５２等を含む。制御部５１は、記憶部５４に記憶される制御プログラム５５等を実行することにより、一般的な情報処理装置としての機能に加え、例えば映像コンテンツの生成に関する処理を実現するように構成される。

【0027】

また、ＲＡＭ５２は、各種情報を一時的に保持したり、ＣＰＵが各種処理を実行する際のワークエリアとして使用されたりする。

【0028】

通信インターフェース５３は、ネットワークＮを介した撮像装置６０、携帯端末１０、及び課金サーバ（不図示）等との通信を制御する。

【0029】

記憶部５４は、例えばＨＤＤ等からなり、一般的な情報処理装置としての機能を実現するためのアプリケーション及びデータ（図示省略）を記憶することに加え、制御プログラム５５を記憶する。また、記憶部５４は、情報記憶部５６を有している。

【0030】

制御プログラム５５は、撮像データに基づき、三次元仮想空間を生成したり、各プレイヤの動きを動作解析したり、三次元仮想空間や動作解析結果に基づいて、各プレイヤの動きを再現するＣＧの映像コンテンツを生成したりするプログラムである。制御プログラム５５は、コンピュータに読み取り可能な記録媒体に保存され、この記録媒体から読み出されて、記憶部５４に記憶されてもよい。

【0031】

情報記憶部５６は、例えば撮像データを記憶したり、三次元仮想空間や、動作解析処理で生成される中間データ等を記憶したり、三次元仮想空間や動作解析結果に基づくＣＧの映像コンテンツを記憶したりする。

【0032】

表示部５７は、管理者に対して、映像コンテンツ等を表示する。入力部５８は、管理者からの入力を受け付けたり、管理者からの指示を受け付けたりする。また、サーバ装置５０は、表示部５７と入力部５８とを必ずしも設ける必要はなく、表示部５７及び入力部５８は、外部からサーバ装置５０に接続されるようにしてもよい。

【0033】

≪携帯端末１０≫
まず、実施形態における携帯端末１０の外観構成について説明する。図５は、実施形態における携帯端末１０の外観構成の一例を示す携帯端末正面図である。

【0034】

図５に示すように、携帯端末１０は、矩形の薄形筐体１２を備え、その薄形筐体１２の一方の面は、タッチパネル１４が多くの部分を占めるように構成されている。該タッチパネル１４が搭載されている面（正面）には、スピーカ１６、マイクロフォン１８およびハードボタン２０が設けられている。また、携帯端末１０の側面や底面には、ハードキー２２、及び音声出力端子２４（図６参照）などの外部インターフェースが設けられる。さらに、携帯端末１０の背面には、カメラ２６（図６参照）が設けられている。

【0035】

図６は、実施形態における携帯端末１０のハードウェア構成を概略的に示すブロック図である。携帯端末１０は、図５に示す各構成要素に加えて、移動体通信用アンテナ３０、移動体通信部３２、無線ＬＡＮ通信用アンテナ３４、無線ＬＡＮ通信部３６、記憶部３８、主制御部４０、６軸センサ２３を少なくとも有し、さらに、スピーカ１６、カメラ２６や音声出力端子２４を含む外部インターフェース４２などを有する。

【0036】

タッチパネル１４は、表示装置および入力装置の両方の機能を備え、表示機能を担うディスプレイ（表示画面）１４Ａと、入力機能を担うタッチセンサ１４Ｂとで構成される。ディスプレイ１４Ａは、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどの一般的な表示デバイスにより構成される。タッチセンサ１４Ｂは、ディスプレイ１４Ａの上面に配置された接触操作を検知するための素子およびその上に積層された透明な操作面を備えて構成される。タッチセンサ１４Ｂの接触検知方式としては、静電容量式、抵抗膜式（感圧式）、電磁誘導式など既知の方式のうちの任意の方式を採用することができる。

【0037】

タッチパネル１４は、主制御部４０による記憶部３８に記憶されているプログラム４４の実行により生成される映像コンテンツを表示する。入力装置としてのタッチパネル１４は、操作面に対して接触する接触物（遊技者の指やタッチペンなどを含む。以下、「指」である場合を代表例として説明する）の動作を検知することで、操作入力を受け付け、その接触位置の情報を主制御部４０に与える。指の動作は、接触点の位置または領域を示す座標情報として検知され、座標情報は、例えば、タッチパネル１４の短辺方向および長辺方向の二軸上の座標値として表される。

【0038】

携帯端末１０は、移動体通信用アンテナ３０や無線ＬＡＮ通信用アンテナ３４を通じてネットワーク（インターネット）Ｎに接続され、サーバ装置５０との間でデータ通信をすることが可能である。サーバ装置５０は、携帯端末１０において選択されたプレイヤなどのダウンロード要求を、ネットワークＮを介して受信する。

【0039】

６軸センサ２３は、携帯端末１０の加速度及び角速度を計測可能である。６軸センサ２３によりセンシングされた所定のデータに対して、映像コンテンツ内のプレイヤ視点の変更や、プレイヤ自体の変更などの処理を割り当ててもよい。これにより、携帯端末１０を移動させるだけで、映像コンテンツに関する操作が可能になる。

【0040】

≪ＨＭＤ７０≫
次に、実施形態におけるＨＭＤ７０のハードウェアについて説明する。図７は、実施形態におけるＨＭＤ７０のハードウェア構成を概略的に示すブロック図である。図７に示すＨＭＤ７０は、通信部７２、表示部７４、記憶部７６、操作部７８、及び制御部８０を有する。

【0041】

通信部７２は、携帯端末１０とデータ通信を行う。例えば、通信部７２は、マイクロＵＳＢ端子を用いてデータ通信を行ったり、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信機能を用いてデータ通信を行ったりする。例えば、通信部７２は、携帯端末１０から映像コンテンツ等を受信する。

【0042】

表示部７４は、携帯端末１０から受信した映像コンテンツ等を表示する。映像コンテンツは、２次元映像、又は３次元映像である。表示部７４は、ＨＭＤ７０が携帯端末１０に表示される映像を視聴するタイプの場合は、ＨＭＤ７０に設けられなくてもよい。

【0043】

記憶部７６は、例えばＲＡＭやＲＯＭやＨＤＤなどであり、映像コンテンツを記憶する。操作部７８は、音量調節ボタンや電源ボタン等の各種ボタンを含み、各種ボタンの押下に基づきＨＭＤ７０を操作する。

【0044】

制御部８０は、例えばＣＰＵやＲＡＭなどであり、上述したＨＭＤ７０の各部を制御する。

【0045】

＜機能的構成＞
次に、コンテンツ販売システム１内のサーバ装置５０、携帯端末１０の機能について説明する。

【0046】

≪サーバ装置５０≫
図８は、実施形態におけるサーバ装置５０の機能構成の一例を示す図である。図８に示す例では、サーバ装置５０は、第１送信部１０２、第１受信部１０４、生成部１０６、及び第１記憶部１０８を有する。第１記憶部１０８以外の各部は、例えば制御プログラム５５が制御部５１により実行されることで機能する。

【0047】

第１送信部１０２は、例えば通信インターフェース５３や制御部５１等により実現されうる。第１送信部１０２は、ダウンロード要求を出した各携帯端末１０に、要求された映像コンテンツ等を送信する。

【0048】

第１受信部１０４は、例えば通信インターフェース５３や制御部５１等により実現されうる。第１受信部１０４は、各携帯端末１０から、映像コンテンツやプレイヤを識別する情報とともにダウンロード要求を受信する。また、第１受信部１０４は、撮像装置６０から各撮像データを受信する。

【0049】

生成部１０６は、例えば制御部５１等により実現されうる。生成部１０６は、各プレイヤの動きが撮像された各撮像データに基づいて、各プレイヤの動きを再現する映像コンテンツや、プレイヤの動きの一部を示す部分コンテンツ等を生成する。以下、映像コンテンツや部分コンテンツ等を含めてコンテンツとも称する。生成部１０６は、コンテンツを生成するため、動作解析部１１０、仮想空間生成部１１２、コンテンツ生成部１１４、要求取得部１１６、及び分類部１１８を有する。

【0050】

動作解析部１１０は、例えば複数の撮像装置６０から撮像された各撮像データに対し、モーションキャプチャ技術を用いて、撮像データ内の少なくとも１のプレイヤの動きを動作解析する。このモーションキャプチャ技術は、公知の技術を用いればよく、例えばマーカーレスタイプの技術が好ましい。動作解析技術を適用することにより、撮像データ内の各プレイヤの動きが再現可能になる。これにより、三次元仮想空間内をどのように動いたかを、プレイヤごとに求めることができる。

【0051】

なお、動作解析部１１０により出力される動作解析結果は、動作解析したプレイヤの動きを再現するためのプレイヤの動き情報を含む。また、動作解析部１１０に含まれる推定部（不図示）は、プレイヤの動きに基づいて、プレイヤの顔の位置、向き、及び角度からプレイヤの視点座標、及びその視点からの視線方向を推定する（図１２参照）。推定部は、プレイヤの動き情報に合わせて、視点座標及び視線方向を含む視線方向情報を対応付けておくとよい。

【0052】

仮想空間生成部１１２は、各撮像データに基づいて、各プレイヤやフィールドの仮想オブジェクトを含む三次元仮想空間を生成する。例えば、仮想空間生成部１１２は、各撮像装置６０の設置位置や設置角度に基づいて、撮像データ内のどのオブジェクトがどの座標位置にあるかを、例えば三次元画像解析を用いて算出し、オブジェクトに対応する仮想オブジェクトを、その座標位置に配置する。例えば、仮想空間生成部１１２は、三次元仮想空間に配置される、各種仮想オブジェクトのポリゴンデータを保持しておくとよい。

【0053】

また、仮想空間生成部１１２は、フィールドが既知であれば、事前に三次元仮想空間を生成しておき、各撮像データに基づいて風景やプレイヤ等に基づく仮想オブジェクトを配置し、最終的な三次元仮想空間を生成してもよい。

【0054】

コンテンツ生成部１１４は、三次元仮想空間及び動作解析結果に基づいて、動的オブジェクトである少なくとも１のプレイヤの動きをＣＧにより再現する映像コンテンツを生成する。例えば、コンテンツ生成部１１４は、三次元仮想空間のフィールド内を移動する各プレイヤの仮想オブジェクト（キャラクタ）に対して、動作解析により解析された各プレイヤの実際の動きを与え、その動きに応じたキャラクタの視点からの視線方向に三次元仮想空間を眺めた映像をＣＧにより生成することで、各プレイヤの視点からの映像コンテンツをそれぞれ生成する。プレイヤの視点からの映像コンテンツとは、そのプレイヤの視点からの視線方向に描画される３次元仮想空間内の映像を表す。これにより、サーバ装置５０は、フィールド内の各プレイヤの視点からの映像コンテンツを提供することが可能になる。

【0055】

また、コンテンツ生成部１１４は、三次元仮想空間に対して、プレイヤが決定されると、そのプレイヤの視線方向情報に基づいて、このプレイヤの視点からの映像をその都度生成してもよい。コンテンツ生成部１１４は、必要に応じて、事前に各プレイヤの視点からの映像コンテンツを生成したり、三次元仮想空間に対し、その都度所定のプレイヤの視点を与え、このプレイヤの視点からの映像コンテンツを生成したりする。

【0056】

なお、コンテンツ生成部１１４は、映像コンテンツについて、各プレイヤに対応する各キャラクタを生成し、このキャラクタが、対応するプレイヤの動きを再現するように映像コンテンツを生成するとよい。コンテンツ生成部１１４は、プレイヤの写真等を用いてよりリアルなキャラクタにすることで、より現実味を増した映像コンテンツを生成することができる。

【0057】

コンテンツ生成部１１４は、１つのイベント（例えばスポーツの１試合）内で生成した映像コンテンツに対し、１つの識別情報（イベントＩＤ）を付与し、イベントごとに映像コンテンツの識別を可能にしておく。また、コンテンツ生成部１１４は、プレイヤにも識別情報（プレイヤＩＤ）を付与し、このプレイヤの視点からの映像コンテンツを、プレイヤの識別情報に対応付けておく。これにより、イベントや、プレイヤごとに携帯端末１０からダウンロード要求を受けることが可能になる。コンテンツ生成部１１４は、生成された映像コンテンツを第１記憶部１０８に記憶する。

【0058】

また、第１記憶部１０８は、三次元仮想空間、静的な仮想オブジェクト、及び動的な仮想オブジェクト及びその動き情報を含む仮想空間データを、イベントＩＤに対応付けて記憶してもよい。このとき、仮想空間データに基づき、プレイヤの視点からの映像コンテンツを生成可能にするため、プレイヤＩＤには、プレイヤの視線方向情報が対応付けられる。

【0059】

要求取得部１１６は、携帯端末１０から送信される要求を受け付ける。携帯端末１０の要求とは、例えば、イベントＩＤや、プレイヤＩＤなどを伴うダウンロード要求などである。

【0060】

要求取得部１１６は、ダウンロード要求を受けると、ダウンロード要求に含まれるイベントＩＤ及び／又はプレイヤＩＤを特定し、記憶部１０８から該当する映像コンテンツを取得する。要求取得部１１６は、取得した映像コンテンツを、第１送信部１０２を介して携帯端末１０に送信する。

【0061】

また、要求取得部１１６は、イベントＩＤに対応する仮想空間データを第１記憶部１０８から取得し、また、プレイヤＩＤに対応するプレイヤの視線方向情報を第１記憶部１０８から取得してもよい。このとき、要求取得部１１６は、コンテンツ生成部１１４において生成されるプレイヤＩＤに対応するプレイヤの視点からの映像コンテンツを、その都度第１送信部１０２を介して携帯端末１０に送信する。

【0062】

分類部１１８は、映像コンテンツ内のプレイヤの一部の動きを示す部分コンテンツを、動きに応じて複数のカテゴリに分類する。例えば、イベントがサッカーの試合の場合、分類部１１８は、ドリブルについて相手にボールを取られずにディフェンダーを抜いた場合、成功動作と判定し、相手にボールを取られた場合、失敗動作と判定する。

【0063】

具体的には、分類部１１８は、失敗動作及び成功動作の部分コンテンツを自動で検出するようにしてもよいし、管理者が映像コンテンツを見ながら、成功動作又は失敗動作の部分コンテンツを検出するようにしてもよい。分類部１１８は、これらの動作を自動で検出する場合、プレイヤが移動しつつボールがプレイヤから所定距離以内にあれば、それはドリブルと判定し、このドリブル中に相手にボールが渡った場合、失敗動作と判定する。また、分類部１１８は、ドリブル後に味方にボールが渡ったり、シュートをしたりしていれば成功動作と判定する。

【0064】

シュートについて、分類部１１８は、相手方ゴール枠付近にボールが移動すれば、シュートと判定してもよい。なお、味方のプレイヤ及び相手のプレイヤについては、ユニフォームの色などで識別することができる。分類部１１８は、分類された部分コンテンツを映像コンテンツから切り出して、第１記憶部１０８に記憶してもよいし、映像コンテンツ内のプレイヤの一部の動きに対し、メタデータ等を用いてカテゴリを付与してもよい。

【0065】

要求取得部１１６は、カテゴリの識別情報をダウンロード要求とともに受けた場合、このカテゴリに対応する１又は複数の部分コンテンツを第１記憶部１０８から取得したり、映像コンテンツから取得したりする。要求取得部１１６は、取得した１又は複数の部分コンテンツを、このダウンロード要求を送信した携帯端末１０に、第１送信部１０２を介して送信する。

【0066】

第１記憶部１０８は、例えば記憶部５４から実現されうる。第１記憶部１０８は、動作解析されたＣＧによる映像コンテンツや、カテゴリに分類された部分コンテンツや、仮想空間データや、視線方向情報等を必要に応じて記憶する。

【0067】

図９は、コンテンツ情報の一例を示す図である。図９に示す例において、コンテンツ情報は、イベントＩＤ、仮想空間データ、プレイヤＩＤ、視線方向情報が対応付けられている。図９に示すコンテンツ情報は、後述するように、ユーザ操作に基づき、ＶＲ体験中のプレイヤの視線方向や動き方向が変更される際に用いられるデータ構造を示す。

【0068】

図９に示す例では、イベントＩＤ「Ｇ０００１」に対し、仮想空間データ「Ｃ０００１」と、プレイヤＩＤ「ＰＡ００１」〜「ＰＡ０２２」とが対応付けられ、各プレイヤＩＤに、それぞれ視線方向情報が対応付けられる。視線方向情報は、プレイヤの顔や頭の動きに合わせた視点座標の軌跡データと、その視点における視線方向のベクトルデータとを含む。

【0069】

なお、図９に示すコンテンツ情報は、携帯端末１０側で、ＶＲ体験中のプレイヤの視線方向や動き方向が変更される場合に好適である。

【0070】

例えば、サーバ装置５０は、ユーザの操作に基づき、ＶＲ体験中のプレイヤの視線方向や動き方向の変更可能性が有る場合、仮想空間データと、特定のプレイヤの視線方向情報とを携帯端末１０に送信する。これにより、携帯端末１０は、自身の装置において、視線方向情報に基づいて視線方向を変更したり、プレイヤキャラクタの動き方向を変更したりして、変更後の映像コンテンツをＣＧにより生成することができる。

【0071】

また、サーバ装置５０と、携帯端末１０とのリアルタイムの双方向通信により、ＶＲ体験中のプレイヤの視線方向や動き方向を変更することもできる。例えば、携帯端末１０は、視線方向や動き方向の変更を示す変更情報をサーバ装置５０に送信し、サーバ装置５０は、その変更情報に基づいて、視線方向や動き方向の変更後の映像コンテンツを生成する。サーバ装置５０は、変更後の映像コンテンツをその都度携帯端末１０に送信し、携帯端末１１０は、受信した映像コンテンツを表示する。これにより、プレイヤキャラクタの視線方向や動き方向を変更することができる。

【0072】

また、携帯端末１０側で、視聴だけが許容される場合、図９に示すコンテンツ情報は、イベントＩＤごとに各プレイヤＩＤを対応付け、そのプレイヤＩＤに、予め生成されたプレイヤの視点からの映像コンテンツを対応付けるデータ構造でもよい。このデータ構造によれば、ユーザは、イベントＩＤを選択すれば、各プレイヤの視点からの映像コンテンツをまとめて取得することができる。また、ユーザは、イベントＩＤとプレイヤＩＤとを選択すれば、そのイベントの特定のプレイヤの視点からの映像コンテンツを取得することができる。例えば、イベントがサッカーの試合である場合、ユーザは、イベントＩＤとしてワールドカップの決勝の試合を選択したり、プレイヤＩＤとしてユーザの好きな選手を選択したりし、好きな選手の視点からその試合を体験することができるようになる。

【0073】

図１０は、カテゴリごとに分類された部分コンテンツの一例を示す図である。図１０に示す例では、プレイヤＩＤ毎に、各カテゴリの部分コンテンツが対応付けられている。例えば、プレイヤＩＤ「ＰＡ００１」は、カテゴリ１として「１０：１０〜１０：３５」、「３４：２３〜３４：３０」などの部分コンテンツが対応付けられ、カテゴリ２として「５：４３〜５：５５」、「６：３２〜６：４９」などの部分コンテンツが対応付けられている。なお、「１０：１０〜１０：３５」等の表記は、映像コンテンツ内の１０分１０秒から１０分３５秒までの視線方向情報、又は部分コンテンツであることを示す。

【0074】

これにより、ユーザは、カテゴリを指定すれば、各プレイヤのそのカテゴリでの部分コンテンツを取得することができる。また、ユーザは、カテゴリとプレイヤＩＤとを選択すれば、そのカテゴリでの特定のプレイヤの部分コンテンツを取得することができる。例えば、イベントがサッカーの試合で、カテゴリがドリブル成功及びドリブル失敗である場合、ユーザは、好きな選手のドリブル成功の部分コンテンツのみを選択し、好きな選手のドリブル成功の世界観を体験することができるようになる。

【0075】

≪携帯端末１０≫
図１１は、実施形態における携帯端末１０の機能構成の一例を示す図である。図１１に示す例では、携帯端末１０は、第２送信部２０２、第２受信部２０４、コンテンツ制御部２０６、及び第２記憶部２０８を有する。第２記憶部２０８以外の各部は、例えばプログラム４４が主制御部４０により実行されることで機能する。

【0076】

第２送信部２０２は、例えば主制御部４０、移動体通信部３２、無線ＬＡＮ通信部３６等により実現されうる。第２送信部２０２は、ユーザ操作に基づくダウンロード要求等をサーバ装置５０に送信する。

【0077】

第２受信部２０４は、例えば主制御部４０、移動体通信部３２、無線ＬＡＮ通信部３６等により実現されうる。第２受信部２０４は、サーバ装置５０から、ダウンロード要求した映像コンテンツ等を受信する。

【0078】

コンテンツ制御部２０６は、例えば主制御部４０等により実現されうる。コンテンツ制御部２０６は、第２受信部２０４により受信された、各プレイヤの動きを再現するＣＧによる映像コンテンツを取得し、再生などの制御を行う。コンテンツ制御部２０６は、映像コンテンツを制御するため、受付部２１０、取得部２１２、表示制御部２１４、課金部２１６、変更部２１８、及び報知部２２０を有する。

【0079】

受付部２１０は、表示画面に表示されたユーザのボタン操作などにより、ユーザによるプレイヤの選択を受け付ける。また、受付部２１０は、イベントの選択や、カテゴリの選択や、部分コンテンツの選択や、表示指示などのユーザ操作を受け付けてもよい。受付部２１０は、受け付けた各種選択を示す情報を含むダウンロード要求を、第２送信部２０２を介してサーバ装置５０に送信する。なお、受付部２１０は、接続されたＨＭＤ７０からのユーザ操作を受け付けてもよい。

【0080】

取得部２１２は、ダウンロード要求がされた映像コンテンツ又は部分コンテンツを、第２受信部２０４を介して取得したり、第２記憶部２０８から取得したりする。映像コンテンツは、１又は複数のプレイヤの動きを複数の撮像装置６０が撮像した各撮像データに基づき各プレイヤの動作解析が行われた映像コンテンツであり、各プレイヤの動きをＣＧにより再現し、ユーザにより選択されたプレイヤの視点からの映像コンテンツである。

【0081】

表示制御部２１４は、例えば受付部２１０が受け付けたユーザからの表示を示す操作により、取得部２１２により取得された映像コンテンツ又は部分コンテンツの表示を制御する。表示制御部２１４は、表示制御として、ＨＭＤ７０のタイプに応じて、映像コンテンツや部分コンテンツをＨＭＤ７０に送信したり、タッチパネル１４に映像コンテンツを表示したりする。

【0082】

課金部２１６は、ユーザ操作に基づき課金処理を行う。例えば、プログラム４４により実行されるアプリケーション内で、ユーザが、所定のプレイヤを選択し、所定金額を支払うための課金処理を行ったとする。このとき、課金部２１６は、ユーザＩＤなどや、選択されたプレイヤＩＤ等を含む課金要求を、第２送信部２０２を介して課金サーバ（不図示）に送信する。

【0083】

課金サーバは、携帯端末１０等からの課金要求に応じて、アプリケーション実行中に課金処理を行うサーバである。課金サーバは、事前にユーザＩＤに関連付けて銀行口座やクレジット番号などの情報を対応づけておくとよい。

【0084】

このとき、受付部２１０は、課金部２１６において課金処理が行われた場合に、イベントの選択や、プレイヤの選択等を受け付け可能にしてもよい。これにより、ユーザは、お金を支払うことで、自分が体験したいプレイヤ等を選択することができる。

【0085】

変更部２１８は、ユーザ操作に基づき、選択されたプレイヤの動き方向又は視線方向を示す第１方向を変更する。ユーザ操作とは、例えば、ＨＭＤ７０を装着した状態で、頭を動かしたりする操作、又は外付けのコントローラを用いた操作のことをいう。頭の動きは、携帯端末１０の６軸センサ２３が検知する。この場合、携帯端末１０は、第１方向を変更可能にするため、サーバ装置５０から仮想空間データと、特定のプレイヤの視線方向情報とを取得したり、又はストリーミング等によりその都度特定のプレイヤの視点からの映像コンテンツを取得したりすればよい。

【0086】

例えば、ＶＲ体験中のプレイヤ（選択されたプレイヤ）の視線方向が変更される場合、６軸センサ２３により右方向に頭が動いたことが検知されれば、変更部２１８は、ＶＲ体験中のプレイヤの視線方向を右方向に移動させる。より具体的には、変更部２１８は、仮想空間データが取得されている場合、仮想空間データに基づくＶＲ体験中のプレイヤの視線方向を右方向に移動させ、移動後の視線方向に描画される三次元仮想空間内の映像を表示させればよい。

【0087】

また、変更部２１８は、ストリーミング等により映像コンテンツを取得している場合、視線方向の変更量を示す変更情報を、第２送信部２０２を介してサーバ装置５０に送信し、サーバ装置５０から視線変更後の映像コンテンツを取得することで、移動後の視線方向に描画される三次元仮想空間内の映像を表示させればよい。

【0088】

また、ＶＲ体験中のプレイヤの動き方向が変更される場合、６軸センサ２３により右方向に頭が動いたことが検知されれば、変更部２１８は、ＶＲ体験中のプレイヤキャラクタを右方向に移動させる。変更部２１８は、方向の移動量について、頭の動き量に応じて変更してもよい。例えば、頭が大きく動かされるほど、移動量が大きくなってもよい。動き方向の移動後の映像コンテンツの生成処理は、視線方向の移動の際の処理と同様である。

【0089】

なお、ＶＲ体験中のプレイヤキャラクタの動き方向が変更される場合、ＶＲ体験中のプレイヤの実際の動きを示す第２方向と異なる方向に動くことがありうるので、その場合、実際の動きに戻ることができるようにしておくとよい。例えば、変更部２１８は、所定操作（例えば頭を二回上下に振るなど）が行われた場合には、実際のプレイヤの動きに戻るようにすればよい。これにより、第１方向と第２方向とが乖離したままイベントが進行することを防止することができる。

【0090】

また、変更部２１８は、動き方向を変更するモードと、視線方向を変更するモードとを所定操作（例えば頭を三回上下に振るなど）により切り替えるようにしてもよい。これにより、ユーザは、視線を変えたり、動き自体を変えたり、ＶＲの体験の幅を広げることができる。

【0091】

報知部２２０は、表示制御中の映像コンテンツ又は部分コンテンツに基づくプレイヤの実際の動き方向又は視線方向を示す第２方向と、変更部２１８により変更される第１方向との差異をユーザに報知する。報知の仕方としては、例えば、第１方向及び／又は第２方向を矢印で表し、両矢印を区別可能にしたり、画面内の四方に第２方向を示す領域を設け、当該領域を所定色にすることで、第２方向を示し、色の濃淡を用いて第２方向と第１方向との角度の違いを表したりしてもよい。また、報知部２２０は、第１方向と第２方向との差異を、音声や、その他の表示の仕方で報知するようにしてもよい。また、報知部２２０内に評価部を設け、この評価部が、両方向の差異に基づく評価を行ってもよい。例えば、評価部は、この差異が小さいほど良い評価を与えたり、この差異が所定差以内である時間が長いほど良い評価を与えたりする。報知部２２０は、評価結果をユーザに報知する。報知の仕方は特に問わない。これにより、例えば、ユーザは、体験中のプレイヤの状況に応じた動きを習得することができる。

【0092】

これにより、ユーザは、その場その場で、自分が意図した動き方向又は視線方向と、実際のプレイヤの動き方向又は視線方向とを比べることができる。その結果、例えば、有名スポーツ選手のその時の判断力を知ることができ、スポーツ教育に活用することができる。

【0093】

また、報知部２２０は、例えば相手と対戦するスポーツの映像コンテンツが表示制御される場合、相手のプレイヤの死角を表示可能にしてもよい。例えば、報知部２２０は、１又は複数の相手のプレイヤのキャラクタの視野を三次元仮想空間内で推定し、相手プレイヤの視野が重ならない領域を死角と判定すればよい。これにより、例えばサッカーをＶＲで体験する場合、攻撃中のユーザは、どこにパスを出すべきか又はどこにドリブル突破すべきかを把握することができる。その結果、スポーツ教育のバリエーションを増やすことができる。

【0094】

第２記憶部２０８は、第２受信部２０４により受信された映像コンテンツ、部分コンテンツ、仮想空間データ等を記憶する。

【0095】

携帯端末１０は、自装置内に、仮想空間データや、各プレイヤの視線方向情報を保持していれば、コンテンツ制御部２０６により、ＶＲ体験中にＶＲを体験するプレイヤの視点を切り替えることができる。例えば、コンテンツ制御部２０６は、視点を切り替えるために設定された操作が行われた場合、視点切替画面等を表示し、ユーザが視聴したいプレイヤの視点を選択させればよい。コンテンツ制御部２０６は、選択されたプレイヤの視線方向情報を取得し、その視線方向情報を用いて、初めから、又は切替操作が行われた時点から、そのプレイヤの視点からの映像を表示するように制御する。これにより、三次元仮想空間データが有るので、視線方向情報を取得するだけで、プレイヤの視点切替を容易に行うことができる。

【0096】

以上の機能をコンテンツ配信システム１の各装置が有することで、ＶＲにおいて、オブジェクトの様々な動きに対応しつつ、多数のオブジェクトの視点からのコンテンツを容易に生成することができる。また、コンテンツ配信システム１は、上述した方法で生成されたコンテンツをユーザに提供することができる。

【0097】

＜視線方向及び視野＞
次に、ＣＧにより生成されるプレイヤキャラクタの視線方向及び視野について説明する。図１２は、プレイヤキャラクタの視線方向及び視野を説明するための図である。図１２（Ａ）は、三次元仮想空間内の鉛直方向の上から下を見た場合のプレイヤキャラクタの頭Ｈ、視線方向ＥＬ１、視野θ１を示す。このキャラクタの視線方向ＥＬ１は、眼を結ぶ線分の中央から、この線分の垂直方向とする。

【0098】

また、水平方向の視野角θ１については、Ｙ方向に対し、視線方向ＥＬ１から左右それぞれ６０度とし、合計１２０度とする。ただし、この視野角θ１は、あくまでも一例であり、適切な値が設定されればよい。

【0099】

図１２（Ｂ）は、三次元仮想空間内の水平方向の左から右（Ｙ方向の−側から＋側）を見た場合のプレイヤキャラクタの頭Ｈ、視線方向ＥＬ２、視野角θ２を示す。このキャラクタの視線方向ＥＬ２は、頭の頂点Ｔから下点Ｂを結ぶ線分の眼の位置から、この線分の垂直方向とする。なお、図１２（Ａ）に示す視線方向ＥＬ１と、図１２（Ｂ）に示す視線方向ＥＬ２とは、同一の方向を表す。よって、プレイヤキャラクタの視線方向は、プレイヤキャラクタの頭の位置等により推定することができる。また、視点座標は、例えば、視線方向ＥＬ１と顔との接点座標とする。

【0100】

また、鉛直方向の視野角θ２については、Ｚ方向に対し、視線方向ＥＬ２から上６０度、下７０度とし、合計１３０度とする。ただし、この視野角θ２は、あくまでも一例であり、適切な値が設定されればよい。

【0101】

なお、視線方向については、図１２に示す方法で推定するようにしたが、実際の撮像データから黒目の動きを検出することができれば、実際の黒目の動きから視線方向を推定してもよい。これにより、プレイヤになりきってＶＲを体験することができる。

【0102】

＜表示画面例＞
次に、イベントとしてサッカーの試合、オブジェクトとしてサッカー選手を例に挙げて、本発明を適用する場合の表示画面例について説明する。

【0103】

図１３は、実施形態における表示画面Ａの一例を示す図である。図１３に示す画面Ａは、ユーザが選択したプレイヤが、ディフェンスをしている場合の画面例を示す。図１３に示すように、ユーザは、実際のサッカーの試合を体験するＶＲにて、ディフェンスをしているプレイヤ目線で試合を楽しむことができる。

【0104】

図１３に示す例では、プレイヤキャラクタＰ１１が現在ボールＢ１を蹴っており、プレイヤキャラクタＰ１２〜Ｐ１４が、プレイヤキャラクタのＰ１１の味方を表す。また、プレイヤキャラクタＰ２１は、ユーザが体験しているプレイヤの味方を表す。

【0105】

図１４は、実施形態における表示画面Ｂの一例を示す図である。図１４に示す画面Ｂは、ユーザが選択したプレイヤが、オフェンスをしている（例えばドリブルをしている）場合の画面例を示す。図１４に示すように、ユーザは、実際のサッカーの試合を体験するＶＲにて、オフェンスをしているプレイヤ目線で試合を楽しむことができる。

【0106】

図１５は、実施形態における表示画面Ｃの一例を示す図である。図１５に示す画面Ｃは、図１４に示す画面Ｂから、例えばユーザが頭を動かすことで、視線方向が変更された画面例を示す。図１５に示すように、ユーザは、視線方向を右方向に動かすよう操作することで、視線方向が全体的に右方向に向いたシーンを視聴することができる。

【0107】

また、図１５に示す画面Ｃでは、ＶＲ体験中の視線方向（第１方向）を示す矢印Ａ１が画面Ｃ上に表示される。このとき、実際のプレイヤの視線方向（第２方向）を示す矢印Ａ２も画面Ｃ上に表示される。これにより、ユーザは、この時の自分の判断と、体験しているプレイヤの判断とを比べることができる。なお、矢印Ａ１は、必ずしも表示されなくてもよい。

【0108】

図１６は、実施形態における表示画面Ｄの一例を示す図である。図１６に示す画面Ｄは、図１５に示す画面Ｃと比べて、第１方向と第２方向との差異の報知の仕方が異なる。図１６に示す画面Ｄは、画面Ｄ内の四方に配置された各領域Ｂ１〜Ｂ４が、第２方向を知らせるための領域である。ユーザは、左方向の領域Ｂ１の色が変更されることで、プレイヤの実際の視線方向は左方向であったと知ることができる。なお、領域Ｂ１の色が濃くなるほど、第１方向と第２方向との角度の差が大きくなることを示す。

【0109】

図１７は、実施形態における表示画面Ｅの一例を示す図である。図１７に示す画面Ｅは、図１５に示す画面Ｃと比べて、第１方向と第２方向との差異の報知が消去され、死角領域Ｄ２が表示されている。図１７に示す画面Ｅは、ユーザが体験しているプレイヤキャラクタの相手となる各キャラクタＰ２３〜Ｐ２５の死角領域Ｄ２が表示される。死角領域Ｄ２は、図１８で説明するように、相手キャラクタの視野を示す情報に基づいて算出できる。これにより、ユーザは、この時点で、死角領域Ｄ２についてはパスやドリブル突破がしやすい領域であることを把握することができる。なお、死角領域が表示される場合でも、上述した報知処理がなされてもよい。

【0110】

図１８は、死角領域Ｄ２を説明するための図である。図１８に示す例では、三次元仮想空間のサッカーフィールドを上面から表している。領域ＡＲ２は、図１７における画面Ｅで表示されている領域である。領域ＡＲ２内で、相手のキャラクタＰ２３〜Ｐ２５の視野に入らない領域が死角領域Ｄ２である。この死角領域Ｄ２が、図１７に示す画面Ｅにおいて表示されている。なお、図１８に示す上面図が、図１７に示す画面に重畳され、所定のユーザ操作により、この上面図の表示と非表示とが切り替えられるように実装されてもよい。

【0111】

以上の図１３〜１７に示す画像は、表示制御部２１４により表示制御される画面である。また、図１５〜１６で説明した視線変更は、ユーザ操作に基づき、変更部２１８により変更される。また、図１５〜１６で説明した第１方向と第２方向との差異の報知は、報知部２２０により実行される。また、図１７で説明した死角領域Ｄ２は、報知部２２０により報知される。死角領域Ｄ２の検出は、コンテンツ制御部２０６やサーバ装置５０のコンテンツ生成部１１４等が行えばよい。

【0112】

なお、図１３〜１７に示すプレイヤキャラクタは一例であって、実際のプレイヤの顔やユニフォームをプレイヤキャラクタに用いることで、臨場感と現実味とが溢れるＶＲを実現することができる。

【0113】

＜動作＞
次に、実施形態におけるコンテンツ配信システム１の各装置の動作について説明する。以下、サーバ装置５０におけるコンテンツ生成処理、及びコンテンツ配信処理、並びに、携帯端末１０におけるコンテンツ表示処理、視線変更処理、及びプレイヤ切替処理の順で説明する。

【0114】

≪コンテンツ生成処理≫
図１９は、実施形態におけるコンテンツ生成処理の一例を示すフローチャートである。図１９に示すステップＳ１０２で、第１受信部１０４は、各撮像装置６０から、１又は複数のプレイヤが動いている様子を撮像した各撮像データを受信する。各撮像装置６０は、様々な角度から各プレイヤを撮像する。

【0115】

ステップＳ１０４で、動作解析部１１０は、第２受信部１０４から各撮像データを取得すると、少なくとも１のプレイヤの動きに対し、公知のモーションキャプチャ技術を用いて動作解析を行う。モーションキャプチャ技術は、マーカーレス方式が好ましい。

【0116】

ステップＳ１０６で、仮想空間生成部１１２は、第２受信部１０４から各撮像データを取得すると、各プレイヤやフィールドを示す仮想オブジェクトを含む三次元仮想空間を生成する。

【0117】

ステップＳ１０８で、コンテンツ生成部１１４は、三次元仮想空間及び動作解析の結果に基づいて、動作解析されたプレイヤの動きをＣＧにより再現する映像コンテンツを生成する。

【0118】

このとき、分類部１１８は、コンテンツ内のプレイヤの一部の動きを示す部分コンテンツを生成し、部分コンテンツをこの動きに応じて複数のカテゴリに分類してもよい。

【0119】

ステップＳ１１０で、コンテンツ生成部１１４は、生成された映像コンテンツ及び／又は部分コンテンツを第１記憶部１０８に記憶する。

【0120】

これにより、ＶＲにおいて、ＣＧを用いることにより、オブジェクトの様々な動きに対応しつつ、多数のオブジェクトの視点からのコンテンツを容易に生成することができる。

【0121】

≪コンテンツ配信処理≫
図２０は、実施形態におけるコンテンツ配信処理の一例を示すフローチャートである。図２０に示すステップＳ２０２で、要求取得部１１６は、各携帯端末１０からのダウンロード要求を、第１受信部１０４を介して取得する。

【0122】

ステップＳ２０４で、要求取得部１１６は、ダウンロード要求に含まれるコンテンツＩＤ及び／又はプレイヤＩＤを基に、これらのＩＤに対応する映像コンテンツを取得する。また、ダウンロード要求にカテゴリを示す情報が含まれる場合、要求取得部１１６は、部分コンテンツを取得してもよい。

【0123】

ステップＳ２０６で、要求取得部１１６は、取得した映像コンテンツ又は部分コンテンツを、ダウンロード要求を送信した携帯端末１０に配信する。これにより、サーバ装置５０は、ダウンロード要求に応じて様々なコンテンツを配信することができる。また、要求取得部１１６は、仮想空間データと、プレイヤＩＤに対応するプレイヤの視線方向情報とを取得し、これらが配信されるようにしてもよい。これにより、携帯端末１０側で、ＶＲ体験中のプレイヤの視線方向や動き方向の変更が可能になる。

【0124】

≪コンテンツ表示処理≫
図２１は、実施形態におけるコンテンツ表示処理の一例を示すフローチャートである。図２１に示すステップＳ３０２で、受付部２１０は、ユーザ操作に基づくイベントの選択を受け付ける。例えば、ユーザは、アプリケーション画面から、複数のイベントの中から所定のイベントを選択して、受付部２１０は、この選択を受け付ける。また、受付部２１０は、課金処理が行われた場合に、イベントの受付処理を可能にしてもよい。

【0125】

ステップＳ３０４で、受付部２１０は、ユーザ操作に基づくプレイヤの選択を受け付ける。例えば、ユーザは、アプリケーション画面から、イベントに参加したプレイヤの中から、所定のプレイヤを選択して、受付部２１０は、この選択を受け付ける。また、受付部２１０は、課金処理が行われた場合に、プレイヤの受付処理を可能にしてもよい。

【0126】

なお、イベントが１つである場合は、ステップＳ３０２を省略してもよく、プレイヤが１人の場合は、ステップＳ３０４を省略してもよい。受付部２１０は、受け付けたイベントのＩＤ及び／又はプレイヤのＩＤを含むダウンロード要求を、第２送信部２０２を介してサーバ装置５０に送信する。また、受付部２１０は、カテゴリの選択を受け付けた場合は、このカテゴリを示す情報をダウンロード要求に含める。

【0127】

ステップＳ３０６で、取得部２１２は、ダウンロード要求に対応するコンテンツを取得する。取得されるコンテンツは、仮想空間データ及び視線方向情報と、映像コンテンツと、部分コンテンツとのうち、少なくとも１つを含む。

【0128】

ステップＳ３０８で、表示制御部２１４は、取得されたコンテンツを表示するよう制御する。例えば、表示制御部２１４は、コンテンツをＨＭＤ７０に送信することで映像コンテンツが表示されるようにしたり、タッチパネル１４に映像コンテンツを表示したりすることで、ＨＭＤ７０で視聴できるようにする。これにより、ユーザに対し、自身が選択したイベント内でのプレイヤになりきってＶＲを体験させることができる。

【0129】

≪視線変更処理≫
図２２は、実施形態における表示制御処理の一例を示すフローチャートである。図２２に示す処理は、図２１に示すステップＳ３０８の表示制御処理内に含まれる処理である。

【0130】

図２２に示すステップＳ４０２で、変更部２１８は、映像コンテンツ表示中に、ＶＲ体験中のプレイヤの視線変更をするための所定の操作を示す信号を受け付けたか否かを判定する。所定の操作とは、頭を所定方向（例えば、上方向、下方向、前方向、後方向、左方向、右方向の少なくとも１方向）に動かすことである。所定の操作を示す信号が受け付けられれば（ステップＳ４０２−ＹＥＳ）、処理はステップＳ４０４に進み、所定の操作を示す信号が受け付けられていなければ（ステップＳ４０２−ＮＯ）、処理はステップＳ４０２に戻る。

【0131】

ステップＳ４０４で、変更部２１８は、受付部２１０から所定の操作を示す信号を受け付けると、ＶＲ体験中のプレイヤの視線方向を変更する。例えば、頭が左に動けば、視線方向が左に変更され、頭が右に動けば、視線方向は右に変更される。視線変更後の映像の生成については、上述したように携帯端末１０側で処理する場合と、サーバ装置５０が処理する場合と２通りがあり、いずれの方法が用いられてもよい。

【0132】

ステップＳ４０６で、報知部２２０は、変更部２１８により変更される視線方向（第１方向）と、体験中のプレイヤの実際の視線方向（第２方向）との差異を報知する。報知の方法は様々であり、上述した方法のいずれか１つが適用されればよい。複数の報知方法は、ユーザにより選択されてもよい。

【0133】

ステップＳ４０８で、表示制御部２１４は、表示が終了したか否かを判定する。コンテンツの表示が終了すれば（ステップＳ４０８−ＹＥＳ）、表示制御処理は終了し、コンテンツの表示が終了していなければ（ステップＳ４０８−ＮＯ）、処理はステップＳ４０２に戻る。これにより、ユーザは、単にＶＲを視聴するだけでなく、自分も仮想空間内のイベントに参加することができ、さらに、実際のプレイヤの視線方向との差異を比べることができる。

【0134】

なお、図２２で説明した視線方向は、プレイヤの動きに置き換えてもよい。これにより、ユーザ自身がイベントに参加し、自分の意志でプレイヤを操作しているようなＶＲの体験をさせることができる。

【0135】

しかし、この場合、ユーザが移動させたプレイヤの動きと、実際のプレイヤの動きとの差異が生じると、実際のイベントの内容とはかけ離れることになるので、いずれかのタイミングで、実際のプレイヤの動きに戻るようにすればよい。例えば、所定時間経過すると、ユーザが移動させたプレイヤの動きと、実際のプレイヤの動きとの差異が生じる時点に戻り、あとは、実際のプレイヤの動きでＶＲが視聴されるようにしてもよい。

【0136】

≪プレイヤ切替処理≫
図２３は、実施形態におけるプレイヤ切替処理の一例を示すフローチャートである。図２３に示す処理は、図２１に示すステップＳ３０８の表示制御中に行われる処理として説明する。

【0137】

図２３に示すステップＳ５０２で、受付部２１０は、プレイヤの切替指示が有ったか否かを判定する。プレイヤの切替指示として予め設定した所定の操作をユーザが行った場合、受付部２１０は、プレイヤの切替指示と判断する。切替指示が有れば（ステップＳ５０２−ＹＥＳ）、処理はステップＳ５０４に進み、切替指示がなければ（ステップＳ５０２−ＮＯ）、処理はステップＳ５０２に戻る。

【0138】

ステップＳ５０４で、表示制御部２１４は、受付部２１０から切替指示が通知されると、映像コンテンツの表示を一時停止する。

【0139】

ステップＳ５０６で、コンテンツ制御部２０６は、アプリケーション画面を通じて、どのプレイヤに切り替えるかをユーザに提示する。例えば、コンテンツ制御部２０６は、表示中のプレイヤキャラクタを切替候補にするとよい。受付部２１０は、ユーザに選択されたプレイヤのＩＤを特定する。

【0140】

ステップＳ５０８で、取得部２１２は、プレイヤＩＤに対応するコンテンツを第２記憶部２０８又はサーバ装置５０から取得する。このとき、第２記憶部２０８に、プレイヤＩＤに対応する映像コンテンツがない場合、取得部２１２は、エラーを返すようにする。また、サーバ装置５０から課金処理により、この映像コンテンツが取得される場合は、課金画面が表示されるようにすればよい。また、取得部２１２は、仮想空間データや、切替後のプレイヤＩＤの視線方向情報が第２記憶部２０８等にあれば、仮想空間データと、視線方向情報とに基づいて、プレイヤ切替後の映像コンテンツを生成し、この映像コンテンツを取得する。

【0141】

ステップＳ５１０で、表示制御部２１４は、取得されたコンテンツを表示するよう制御する。これにより、ユーザは、ＶＲを視聴中に、体験するプレイヤを切り替えることができる。なお、表示制御部２１４は、以前に表示していたコンテンツの視聴時間の所定時間前から、切替後のコンテンツを表示するように制御してもよい。これは、視聴中にプレイヤを切り替えるということは、その時の体験中のプレイヤを他のプレイヤから見てみたいというユーザの要求があり、その要求に応えるためである。

【0142】

なお、図１９〜２３で説明した処理のフローに含まれる各処理ステップは、処理内容に矛盾が生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。

【0143】

以上より、実施形態におけるコンテンツ配信システム１によれば、ＶＲにおいて、オブジェクトの様々な動きに対応しつつ、多数のオブジェクトの視点からのコンテンツを容易に生成することができる。また、コンテンツ配信システム１は、上述した方法で生成されたコンテンツをユーザに提供することができる。

【0144】

また、撮像されるイベントをスポーツにすることで、本実施形態をスポーツ教育に用いることができる。例えば、子供たちに、有名な選手の視点からの世界観を体験させたり、コーチによる選手の動きの解説を入れたりすることで、そのスポーツに対するプレイを向上させることが可能になる。

【0145】

また、上記実施形態において、第１のコンテンツ提供モデルとして、ユーザは、プログラム４４を無償でダウンロードし、プログラム４４によるアプリケーションを用いて、取得したい映像コンテンツや部分コンテンツに課金することで、そのコンテンツをダウンロードすることができるようにしてもよい。

【0146】

また、上記実施形態において、上記モデルに限らず、第２のコンテンツ提供モデルとして、月額のリース契約により、所定のイベントに対する仮想空間データ、及び各プレイヤの視線方向情報を提供することも考えられる。

【0147】

［変形例］
以上、本願の開示する技術の実施形態について説明したが、本願の開示する技術は、上記例に限定されるものではない。

【0148】

報知部２２０による報知処理について、この処理を行う場合は、映像コンテンツは、必ずしもＣＧにより生成される必要はない。例えば、特開２００６−２１１５３１号公報で開示されている自由視点映像生成技術を用いた実映像でのＶＲの映像コンテンツにおいて、上述した報知処理を適用することができる。例えば、自由視点映像生成技術を用いた実映像でのＶＲにおいて、プレイヤの操作により視線移動等が行える場合、ユーザにより移動される視線方向と、実際の視線方向との差異を報知するようにすることができる。

【0149】

また、報知処理について、携帯端末１０が、サーバ装置５０から、各プレイヤの視点からの映像コンテンツを取得する場合でも実行可能である。この場合、映像として、プレイヤキャラクタの視点からの映像が表示されるため、報知部２２０は、ユーザ操作に基づく視線方向や動き方向を示す第１方向を報知するようにすればよい。すなわち、報知部２２０は、第１方向又は第２方向を映像に表示するだけでも、両方向の違いを表現することが可能である。

【0150】

また、上述した実施形態において、コンテンツは、ライブ映像や、スポーツ映像を含み、スポーツ映像は、サッカーに限らず、野球、テニス、ボクシング等の試合でもよい。

【0151】

なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

【符号の説明】

【0152】

１０ 情報処理装置
５０ サーバ装置（情報処理装置）
７０ ＨＭＤ
１０６ 生成部
１１０ 動作解析部
１１２ コンテンツ生成部
１１４ 要求取得部
１１６ 分類部
２０６ コンテンツ制御部
２１０ 受付部
２１２ 取得部
２１４ 表示制御部
２１６ 課金部
２１８ 変更部
２２０ 報知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】