特許 6566209 プログラム及びアイウエア

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6566209

(24)【登録日】2019年8月9日

(45)【発行日】2019年8月28日

(54)【発明の名称】プログラム及びアイウエア

(51)【国際特許分類】

   G06T 19/00 20110101AFI20190819BHJP

   G09G 5/00 20060101ALI20190819BHJP

   G09G 5/36 20060101ALI20190819BHJP

   G09G 5/38 20060101ALI20190819BHJP

   H04N 5/64 20060101ALI20190819BHJP

   A63F 13/25 20140101ALN20190819BHJP

   A63F 13/52 20140101ALN20190819BHJP

【ＦＩ】

   G06T19/00 600

   G09G5/00 550C

   G09G5/36 520P

   G09G5/38 A

   G09G5/00 510H

   G09G5/00 X

   H04N5/64 511A

   !A63F13/25

   !A63F13/52

【請求項の数】6

【全頁数】22

(21)【出願番号】特願2016-36218(P2016-36218)

(22)【出願日】2016年2月26日

(65)【公開番号】特開2017-151917(P2017-151917A)

(43)【公開日】2017年8月31日

【審査請求日】2018年9月19日

(73)【特許権者】

【識別番号】000132471

【氏名又は名称】株式会社セガゲームス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100080953

【弁理士】

【氏名又は名称】田中 克郎

(72)【発明者】

【氏名】豊田 卓也

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２０１５−１６６８１６（ＪＰ，Ａ）

【文献】 国際公開第２０１５／０３３４４６（ＷＯ，Ａ１）

【文献】 特開２００３−１３４５１０（ＪＰ，Ａ）

【文献】 特開２０１４−０５４３０３（ＪＰ，Ａ）

【文献】 特開２０１３−１６７９４１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｇ０９Ｇ ５／３８

Ｈ０４Ｎ ５／６４

Ａ６３Ｆ １３／００ − １３／９８

Ａ６３Ｂ ６９／００ − ６９／４０

(57)【特許請求の範囲】

【請求項1】

所定のイベントが各撮像装置により撮像された各撮像データであって、前記所定のイベントにおける１又は複数のプレイヤの動きを含む各撮像データに基づき生成された三次元仮想空間を含む映像コンテンツ、及び当該映像コンテンツ内の少なくとも一のプレイヤの動作解析結果に基づく動的オブジェクトの選択を受け付ける受付ステップと、
選択された前記映像コンテンツ及び前記動的オブジェクトに基づいて、当該映像コンテンツ及び当該動的オブジェクトを取得する取得ステップと、
前記映像コンテンツに含まれる前記三次元仮想空間と、利用者の視点に基づく実空間とを対応付ける対応付けステップと、
対応付けられた前記三次元仮想空間における前記動的オブジェクトを、前記実空間に重畳して表示するよう制御する表示制御ステップと、
をコンピュータに実行させるプログラム。

【請求項2】

前記実空間において重畳される前記動的オブジェクトの位置を調整する調整ステップ
を前記コンピュータにさらに実行させる請求項１に記載のプログラム。

【請求項3】

ユーザ操作を受け付ける受付ステップを前記コンピュータにさらに実行させ、
前記調整ステップは、
前記ユーザ操作に基づき、前記実空間において重畳される前記動的オブジェクトの鉛直方向及び／又は水平方向の位置を調整する、請求項２に記載のプログラム。

【請求項4】

前記取得ステップは、
前記動的オブジェクト及び前記三次元仮想空間内の静的オブジェクトを含む映像コンテンツを取得し、
前記表示制御ステップは、
前記対応付けられた前記三次元仮想空間における前記映像コンテンツを、前記実空間に重畳して表示するよう制御する、請求項１乃至３いずれか一項に記載のプログラム。

【請求項5】

所定のイベントを撮像した複数の撮像装置から送信された各撮像データであって、前記所定のイベントにおける１又は複数のプレイヤの動きを含む各撮像データを受信する受信ステップと、
前記各撮像データに基づいて、三次元仮想空間を生成する第１生成ステップと、
前記各撮像データに基づいて、少なくとも１の前記プレイヤの動作解析を行う解析ステップと、
前記三次元仮想空間における、前記動作解析の結果に基づく動的オブジェクトを含む映像コンテンツを生成する第２生成ステップと、
外部機器により選択された映像コンテンツ及び前記動的オブジェクトを前記外部機器に送信する送信ステップと、
をコンピュータに実行させるプログラム。

【請求項6】

アイウエアであって、
所定のイベントが各撮像装置により撮像された各撮像データであって、前記所定のイベントにおける１又は複数のプレイヤの動きを含む各撮像データに基づき生成された三次元仮想空間を含む映像コンテンツ、及び当該映像コンテンツ内の少なくとも一のプレイヤの動作解析結果に基づく動的オブジェクトを記憶する記憶部と、
前記記憶部に記憶された前記映像コンテンツ及び前記動的オブジェクトの選択を受け付ける操作部と、
前記操作部により選択された前記映像コンテンツに含まれる前記三次元仮想空間と利用者の視点に基づく実空間とを対応付け、対応付けられた前記三次元仮想空間における前記動的オブジェクトを、前記実空間に重畳して表示するよう制御する制御部と、
を備えるアイウエア。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム及びアイウエアに関する。

【背景技術】

【0002】

近年、現実の環境から視覚や聴覚、触覚などの知覚に与えられる情報を、コンピュータによる処理で追加、変化等させる拡張現実（以下、ＡＲ（Augmented Reality）とも称する。）が盛んに研究されている。このＡＲにおいて、拡張現実映像を提供するために、フィルムカメラからの映像フィードに、コンピュータ生成されたオブジェクトを混合又は映像フィードと合成する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１５−５２１４１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、混合又は合成対象のオブジェクトを映像フィードに重畳するが、撮像された移動物体について、その動きを含む移動物体を拡張現実世界に合成する技術がなかった。

【0005】

そこで、本発明は、撮像された移動物体について、その動きを含む移動物体を拡張現実世界に合成することを目的の一つとする。

【課題を解決するための手段】

【0006】

本発明に係るプログラムは、コンピュータに、１又は複数のプレイヤの動きを含む各撮像データに基づき生成された三次元仮想空間における、少なくとも一のプレイヤの動作解析結果に基づく動的オブジェクトを取得する取得ステップと、前記三次元仮想空間と、利用者の視点に基づく実空間とを対応付ける対応付けステップと、対応付けられた前記三次元仮想空間における前記動的オブジェクトを、前記実空間に重畳して表示するよう制御する表示制御ステップと、を実行させる。

【発明の効果】

【0007】

本発明によれば、撮像された移動物体について、その動きを含む移動物体を拡張現実世界に合成することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態におけるコンテンツ販売システムの一例を示す概念図である。

【図2】実施形態における撮像装置による撮像の様子の一例を説明するための図である。

【図3】実施形態におけるアイウエアの一例を示す図である。

【図4】実施形態におけるサーバ装置のハードウェア構成の一例を示す図である。

【図5】実施形態におけるアイウエアのハードウェア構成の一例を示すブロック図である。

【図6】実施形態におけるサーバ装置の機能構成の一例を示す図である。

【図7A】コンテンツ情報の一例を示す図である。

【図7B】仮想空間データのデータ構造の一例を示す図である。

【図8】実施形態におけるアイウエアの機能構成の一例を示す図である。

【図9】三次元仮想空間と実空間とのマッピングの一例を説明するための図である。

【図10】空き地の一例を示す図である。

【図11】動的オブジェクトの初期状態が表示された一例を示す図である。

【図12】動的オブジェクトの動作開始直後が表示された一例を示す図である。

【図13】動的オブジェクトの動作開始数秒後が表示された一例を示す図である。

【図14】他のＡＲの表示例を示す図である。

【図15】実施形態におけるコンテンツ生成処理の一例を示すフローチャートである。

【図16】実施形態におけるコンテンツ表示処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形（各実施例を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

【0010】

［実施形態］
以下、本発明の実施形態におけるコンテンツ配信システムを、図面を用いて説明する。

【0011】

＜コンテンツ配信システムの概要＞
図１は、実施形態におけるコンテンツ配信システム１の一例を示す概念図である。図１に示す例において、コンテンツ配信システム１は、例えばコンテンツを配信する会社等により提供されるサーバ装置（情報処理装置）１０と、各ユーザが装着するアイウエア３０Ａ、３０Ｂと、１又は複数のオブジェクトを撮像する撮像装置６０Ａ、６０Ｂ、６０Ｃと、がネットワークＮを介して接続される。以下、撮像装置を１つ１つ区別する必要がない場合は、符号６０を用いる。同様に、アイウエアを１つ１つ区別する必要が合ない場合は、符号３０を用いる。

【0012】

オブジェクトは、例えばプレイヤや動物などの動く移動物体を含む。プレイヤは、スポーツをしている１又は複数の人や音楽ライブをしている人などを含む。

【0013】

また、アイウエア３０は、頭部装着型のウエアラブル端末であればよく、例えばヘッドマウントディスプレイ等でもよい。アイウエア３０を装着したユーザ（利用者）は、ＡＲ（拡張現実）を体験することができる。なお、ネットワークＮには、その他、コンテンツを購入する際に用いる決済サーバなどが接続されてもよい。

【0014】

図２は、実施形態における撮像装置６０による撮像の様子の一例を説明するための図である。図２に示す例では、陸上のフィールドＦ１内で選手（プレイヤ）Ｐ１が短距離を走っている。このように、撮像装置６０は、所定のフィールド内で１又は複数の移動体を撮像するものであり、例えば、スポーツをしている１又は複数のプレイヤの動きを様々な角度から撮像する。スポーツは、プレイヤが乗り物に乗って行うモータースポーツ等も含む。

【0015】

撮像装置６０は、プレイヤやモーターの動作解析を容易にするため、高性能の撮像装置、例えば８Ｋカメラなどが望ましい。また、撮像装置６０の設置台数は、図２に示す例では８台であるが、フィールドＦ１の大きさに応じて適切な台数が設置されればよい。以下、動作解析対象として、プレイヤを例に挙げて説明する。

【0016】

撮像装置６０により撮像された各撮像データは、直接的に又はパーソナルコンピュータなどの処理装置を介して間接的に、サーバ装置１０に送信される。サーバ装置１０は、各撮像データに基づき、各プレイヤを表す動的オブジェクトを含む三次元仮想空間を生成し、また、撮像データを画像処理すること、又はモーションキャプチャなどの技術を用いることで、各プレイヤを表す各動的オブジェクトの動作解析を行う。動的オブジェクトは、例えば三次元仮想空間内を動作する二次元オブジェクト又は三次元オブジェクトである。

【0017】

なお、サーバ装置１０は、フィールドＦ１が既知であれば、事前に三次元仮想空間を生成しておき、各撮像データに基づいて、プレイヤ等に基づく動的オブジェクトや、風景や置物等に基づく静的オブジェクトを配置し、必要最低限のオブジェクトを配置した三次元仮想空間を生成してもよい。例えば、サーバ装置１０は、プレイヤを表す動的オブジェクトだけが、３つの軸だけで表される三次元仮想空間内を動くように処理してもよい。

【0018】

また、これらの処理の一部または全ては、サーバ装置１０ではなく、撮像装置６０に接続された前述のパーソナルコンピュータなどの処理装置で行い、生成されたオブジェクトや三次元仮想空間をサーバ装置１０に送信して記憶させるようにしてもよい。

【0019】

モーションキャプチャは、マーカーレス方式の公知の技術を用いるとよい。例えば、Ｃａｐｔｕｒｙ Ｓｔｕｄｉｏ社のモーションキャプチャや、Ｏｒｇａｎｉｃ Ｍｏｔｉｏｎ社のモーションキャプチャなどの技術が適用可能である。これにより、オブジェクトに対してカメラを設ける必要がなくなり、オブジェクトに負担をかけずに済む。

【0020】

サーバ装置１０は、１又は複数の動的オブジェクトについて、上述した動作解析を行うことにより、三次元仮想空間内において、プレイヤの動きを再現する動的オブジェクトを含む映像コンテンツを生成する。この映像コンテンツは、動的オブジェクト以外にも置物等の静的オブジェクトを含んでもよく、コンピュータグラフィックス（以下、ＣＧとも称する。）を用いて生成されてもよい。

【0021】

ＣＧについて、各プレイヤやフィールドの一部又は全部をモデリングした仮想オブジェクトを含む三次元仮想空間に基づき、ＣＧによる映像コンテンツを生成する方が、実映像の合成による複雑な映像コンテンツを生成するよりも、オブジェクトの様々な動きや視点変更にも柔軟に対応することができる。また、サーバ装置１０は、ＣＧを用いることで、自身の処理負荷を軽減することができる。サーバ装置１０は、このようにして生成された映像コンテンツを複数記憶しておいてもよい。

【0022】

アイウエア３０は、所定のアプリケーションを用いてサーバ装置１０にアクセスし、ユーザ操作に基づいて、動的オブジェクトや映像コンテンツを選択し、選択された動的オブジェクトや映像コンテンツをダウンロードする。アイウエア３０は、ダウンロードされた動的オブジェクトや映像コンテンツを、現実世界の空間（以下、実空間とも称す。）における現実世界の像に重畳して表示する。

【0023】

図３は、実施形態におけるアイウエア３０の一例を示す図である。図３に示す例では、アイウエア３０は、例えばＧｏｏｇｌｅＧｌａｓｓ（登録商標）ようなＡＲを重畳可能なグラスである。アイウエア３０は、プリズムディスプレイなどの表示部３５により、動的オブジェクトを実空間に重畳して表示することができる。また、アイウエア３０は、後述する通信部３１、記憶部３２、操作部３３、制御部３４、撮像部３６、及びセンサ部３７を含む。

【0024】

アイウエア３０を装着したユーザは、サーバ装置１０から配信された動的オブジェクトや映像コンテンツを視聴することで、ＡＲを体験することができる。このとき、三次元仮想空間と、実空間とを対応付け（マッピング）することで、ユーザ視点からの動的オブジェクトの動きをユーザに体験させることができる。例えば、ユーザは、陸上短距離の世界記録保持者と競争したり、著名なサッカー選手の動きをフィールド上で体験したり、サッカーススタジアムで行われた試合について、同スタジアムの様々な席での観戦を体験したりすることができる。

【0025】

サーバ装置１０は、ＡＲにおいて用いられる動的オブジェクトを、動作解析の結果を用いて生成することができる。また、アイウエア３０は、所定のアプリケーションを用いることにより、サーバ装置１０において生成された動的オブジェクトを取得することができる。

【0026】

＜ハードウェア構成＞
次に、コンテンツ配信システム１内の各装置のハードウェアについて説明する。以下、サーバ装置１０、アイウエア３０の順に説明する。

【0027】

≪サーバ装置１０≫
まず、サーバ装置（情報処理装置）１０のハードウェア構成について説明する。図４は、実施形態におけるサーバ装置１０のハードウェア構成の一例を示す図である。図４に示すように、サーバ装置１０は、制御部１１、通信インターフェース１３、記憶部１４、表示部１７、及び入力部１８を有し、各部はバスライン１９を介して接続される。

【0028】

制御部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ１２等を含む。制御部１１は、記憶部１４に記憶される制御プログラム１５等を実行することにより、一般的な情報処理装置としての機能に加え、例えば映像コンテンツの生成に関する処理を実現するように構成される。

【0029】

また、ＲＡＭ１２は、各種情報を一時的に保持したり、ＣＰＵが各種処理を実行する際のワークエリアとして使用されたりする。

【0030】

通信インターフェース１３は、ネットワークＮを介した撮像装置６０、アイウエア３０、及び課金サーバ（不図示）等との通信を制御する。

【0031】

記憶部１４は、例えばＨＤＤ等からなり、一般的な情報処理装置としての機能を実現するためのアプリケーション及びデータ（図示省略）を記憶することに加え、制御プログラム１５を記憶する。また、記憶部１４は、情報記憶部１６を有している。

【0032】

制御プログラム１５は、撮像データに基づき、三次元仮想空間を生成したり、各プレイヤの動きを動作解析したり、三次元仮想空間や動作解析結果に基づいて、各プレイヤの動きを再現する映像コンテンツを生成したりするプログラムである。制御プログラム１５は、コンピュータに読み取り可能な記録媒体に保存され、この記録媒体から読み出されて、記憶部１４に記憶されてもよい。

【0033】

情報記憶部１６は、例えば撮像データを記憶したり、三次元仮想空間や、動作解析処理で生成される中間データ等を記憶したり、三次元仮想空間や動作解析結果に基づく映像コンテンツを記憶したりする。

【0034】

表示部１７は、管理者に対して、三次元仮想空間における動的オブジェクトや映像コンテンツ等を表示する。入力部１８は、管理者からの入力を受け付けたり、管理者からの指示を受け付けたりする。また、サーバ装置１０は、表示部１７と入力部１８とを必ずしも設ける必要はなく、表示部１７及び入力部１８は、外部からサーバ装置１０に接続されるようにしてもよい。

【0035】

≪アイウエア３０≫
次に、実施形態におけるアイウエア３０のハードウェアについて説明する。図５は、実施形態におけるアイウエア３０のハードウェア構成の一例を示すブロック図である。図５に示すアイウエア３０は、通信部３１、記憶部３２、操作部３３、制御部３４、及び表示部３５、撮像部３６、センサ部３７を有する。

【0036】

通信部３１は、サーバ装置１０とデータ通信を行う。例えば、通信部３１は、ネットワークＮを介してデータ通信を行ったり、マイクロＵＳＢ端子を用いてデータ通信を行ったり、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信機能を用いてデータ通信を行ったりする。例えば、通信部３１は、サーバ装置１０から三次元仮想空間における動的オブジェクトや映像コンテンツ等を受信する。

【0037】

記憶部３２は、例えばＲＡＭやＲＯＭやＨＤＤなどであり、サーバ装置１０から配信された動的オブジェクト又は映像コンテンツを記憶する。

【0038】

操作部３３は、動的オブジェクトの位置調整ボタンや電源ボタン等の各種ボタンを含み、各種ボタンの押下に基づきアイウエア３０を操作する。また、操作部３３は、ボタンだけではなく、タッチやスライドなどを検知し、その操作に応じてアイウエア３０を操作してもよい。

【0039】

制御部３４は、例えばＣＰＵやＲＡＭなどであり、上述したＡＲが表示されるよう制御する。また、制御部３４は、動的オブジェクトの位置を調整したり、センサ部３７による信号に基づいてＡＲに関する表示制御を行ったりする。

【0040】

表示部３５は、アイウエア３０から受信した動的オブジェクトや映像コンテンツ等を表示する。映像コンテンツは、２次元映像又は３次元映像である。また、表示部３５について、例えば所定サイズのプリズムの中にハーフミラーが埋め込まれ、アイウエア３０に設けられたプロジェクタから照射された動的オブジェクト又は映像コンテンツがハーフミラーにより反射され、ユーザの網膜に動的オブジェクト又は映像コンテンツの像が形成される。

【0041】

また、表示部３５は、アイウエア３０に設けられる少なくとも１つのレンズに、三次元仮想空間における動的オブジェクトや映像コンテンツを表示することで、実空間上の像と、動的オブジェクトや映像コンテンツの像とが重畳されるようにしてもよい。表示部３５は、ＡＲの像が表示されるものであればよく、表示の方法は問わない。

【0042】

撮像部３６は、例えばカメラであり、実空間上の像を撮像する。例えば、通信部３１が、撮像画像をサーバ装置１０に送信し、サーバ装置１０が、撮像画像に動的オブジェクトを重畳してＡＲ画像を生成してもよい。これにより、リアルタイムに取得する画像に動的オブジェクトを重畳したＡＲ画像を提供することができる。

【0043】

センサ部３７は、アイウエア３０の加速度及び角速度を計測可能である。センサ部３７は、例えば３軸の加速度センサ及び３軸の角速度センサを含む６軸センサであり、６軸センサによりセンシングされた所定のデータに応じて、ユーザの動きに応じた動的オブジェクトや映像コンテンツの表示が可能になる。

【0044】

また、センサ部３７によりセンシングされた所定の信号に応じて、ＡＲの表示に関する操作を行うことができる。これにより、アイウエア３０を移動させるだけで、動的オブジェクトや映像コンテンツに関する操作が可能になる。

【0045】

＜機能的構成＞
次に、コンテンツ配信システム１内のサーバ装置１０及びアイウエア３０の機能について説明する。

【0046】

≪サーバ装置１０≫
図６は、実施形態におけるサーバ装置１０の機能構成の一例を示す図である。図６に示す例では、サーバ装置１０は、第１送信部１０２、第１受信部１０４、生成部１０６、及び第１記憶部１０８を有する。生成部１０６は、例えば制御プログラム１５が制御部１１により実行されることで機能する。

【0047】

第１送信部１０２は、例えば通信インターフェース１３や制御部１１等により実現されうる。第１送信部１０２は、ダウンロード要求を出したアイウエア３０に、要求された映像コンテンツ等を送信する。

【0048】

第１受信部１０４は、例えば通信インターフェース１３や制御部１１等により実現されうる。第１受信部１０４は、アイウエア３０から、映像コンテンツやプレイヤを識別する情報とともにダウンロード要求を受信する。また、第１受信部１０４は、撮像装置６０から各撮像データを受信する。

【0049】

生成部１０６は、例えば制御部１１等により実現されうる。生成部１０６は、各プレイヤの動きが撮像された各撮像データに基づいて、各プレイヤの動きを再現する動的オブジェクトや、動的オブジェクト及び静的オブジェクトを含む全体的な映像コンテンツ等を生成する。なお、動的オブジェクトは、映像コンテンツから抽出可能であり、例えば、抽出した動的コンテンツ以外のオブジェクトやフィールド等が透明に設定されればよい。生成部１０６は、映像コンテンツを生成するため、動作解析部１１０、仮想空間生成部１１２、コンテンツ生成部１１４を有する。

【0050】

動作解析部１１０は、例えば複数の撮像装置６０から撮像された各撮像データに対し、モーションキャプチャ技術を用いて、撮像データ内の少なくとも１のプレイヤの動きを動作解析する。このモーションキャプチャ技術は、公知の技術を用いればよく、例えばマーカーレスタイプの技術が好ましい。動作解析技術を適用することにより、撮像データ内の各プレイヤの動きが再現可能になる。これにより、三次元仮想空間内をどのように動いたかを、プレイヤごとに求めることができる。

【0051】

なお、動作解析部１１０により出力される動作解析結果は、動作解析したプレイヤの動きを再現するためのプレイヤの動き情報を含む。

【0052】

仮想空間生成部１１２は、各撮像データに基づいて、各プレイヤやフィールドの仮想オブジェクトを含む三次元仮想空間を生成する。仮想オブジェクトは、例えば、プレイヤなどの動きを有する動的オブジェクトと、置物などの動きを有しない静的オブジェクトとを含む。

【0053】

例えば、仮想空間生成部１１２は、各撮像装置６０の設置位置や設置角度に基づいて、撮像データ内のどのオブジェクトがどの座標位置にあるかを、例えば三次元画像解析を用いて算出し、オブジェクトに対応する仮想オブジェクトを、その座標位置に配置する。例えば、仮想空間生成部１１２は、仮想オブジェクトをＣＧにより生成する場合、三次元仮想空間に配置される、各種仮想オブジェクトのポリゴンデータを保持しておくとよい。

【0054】

また、仮想空間生成部１１２は、フィールドが既知であれば、事前に三次元仮想空間を生成しておき、各撮像データに基づいて風景やプレイヤ等に基づく仮想オブジェクトを配置し、最終的な三次元仮想空間を生成してもよい。また、仮想空間生成部１１２は、各プレイヤに対応する動的オブジェクトのみを三次元仮想空間に配置してもよい。

【0055】

コンテンツ生成部１１４は、三次元仮想空間及び動作解析結果に基づいて、少なくとも１のプレイヤの動きを再現する動的オブジェクトを生成する。例えば、コンテンツ生成部１１４は、三次元仮想空間のフィールド内を移動する各プレイヤの仮想オブジェクトに対して、動作解析により解析された各プレイヤの実際の動きを与え、動的オブジェクトを生成する。

【0056】

また、コンテンツ生成部１１４は、全体的な映像コンテンツから、一の動的オブジェクトを特定し、その動的オブジェクトのみを抽出してもよい。この場合、抽出された動的オブジェクト以外の仮想オブジェクトが、透明又は非表示に設定されればよい。これにより、サーバ装置１０は、三次元仮想空間における動的オブジェクトや映像コンテンツを外部機器に提供することが可能になる。

【0057】

また、コンテンツ生成部１１４は、映像コンテンツについて、各プレイヤに対応する各キャラクタをＣＧにより生成し、このキャラクタが、対応するプレイヤの動きを再現するように映像コンテンツを生成してもよい。コンテンツ生成部１１４は、プレイヤの写真等を用いてよりリアルなキャラクタにすることで、より現実味を増した映像コンテンツを生成することができる。

【0058】

コンテンツ生成部１１４は、１つのイベント（例えばスポーツの１試合）内で生成した映像コンテンツに対し、１つの識別情報（コンテンツＩＤ）を付与し、イベントごとに映像コンテンツの識別を可能にしておく。また、コンテンツ生成部１１４は、プレイヤにも識別情報（プレイヤＩＤ）を付与し、このプレイヤに対する動的オブジェクトを三次元仮想空間内から抽出可能にしておく。これにより、イベントや、プレイヤごとにアイウエア３０からダウンロード要求を受けることが可能になる。コンテンツ生成部１１４は、生成された映像コンテンツを第１記憶部１０８に記憶する。

【0059】

第１記憶部１０８は、例えば記憶部１４から実現されうる。第１記憶部１０８は、コンテンツ情報を記憶する。コンテンツ情報は、例えば、動作解析されたプレイヤを表す動的オブジェクトや、撮像画像内の静的オブジェクト等を含む仮想空間データ（映像コンテンツ）やプレイヤＩＤ等を含む。

【0060】

第１記憶部１０８は、三次元仮想空間、静的な仮想オブジェクト（静的オブジェクト）、及び動的な仮想オブジェクト（動的オブジェクト）を含む仮想空間データを、コンテンツＩＤに対応付けて記憶してもよい。

【0061】

図７Ａは、コンテンツ情報の一例を示す図である。図７に示す例において、コンテンツ情報は、コンテンツＩＤに仮想空間データが対応付けられている。図７Ａに示すコンテンツ情報は、コンテンツＩＤにより仮想空間データが特定される。

【0062】

図７Ｂは、仮想空間データのデータ構造の一例を示す図である。図７Ｂに示す例において、仮想空間データにおいて、動的オブジェクトを識別するプレイヤＩＤに、動きデータやオブジェクトデータなどが関連付けられる。また、仮想空間データにおいて、静的オブジェクトを識別するＩＤに、オブジェクトデータや座標等が関連付けられる。動きデータは、動作解析により求められた動的オブジェクトの移動軌跡や移動姿勢等である。オブジェクトデータは、例えばポリゴンデータ等の表示データである。座標は、三次元仮想空間上における、そのオブジェクトが配置される座標である。例えば、仮想空間データにおいて、プレイヤＩＤを特定することで、その仮想空間データ内の動的オブジェクトが抽出可能である。

【0063】

図７Ａ及びＢに示す例では、コンテンツＩＤ「Ｇ０００１」に対し、仮想空間データ「Ｃ０００１」が対応付けられ、仮想空間データ「Ｃ０００１」内に、プレイヤＩＤ「ＰＡ００１」〜「ＰＡ０２２」のデータが対応付けられている。例えば、コンテンツＩＤによりワールドカップの決勝が特定され、プレイヤＩＤにより所定の選手が特定されると、この決勝の試合に基づく仮想空間データから、プレイヤＩＤに対応する動的オブジェクトが抽出される。この動的オブジェクトは、三次元仮想空間内を動く選手を表す。

【0064】

他の例として、コンテンツＩＤにより、オリンピックの男子１００ｍ決勝が特定され、プレイヤＩＤにより、この１００ｍ決勝を走った所定選手が特定されると、この１００ｍ決勝に基づく仮想空間データから、プレイヤＩＤに対応する動的オブジェクトが抽出される。この動的オブジェクトは、三次元仮想空間内における所定選手の動きを表す。

【0065】

なお、サーバ装置１０は、アイウエア３０側のユーザの操作に基づき、ＡＲ体験中のユーザの視点位置や視線方向の変更可能性が有る場合、仮想空間データをアイウエア３０に送信してもよい。これにより、アイウエア３０は、三次元仮想空間と実空間とをマッピングした上で、自身の装置の動きに応じて、視線方向を変更したり、視点位置を変更したりして、変更後の視点位置又は視線方向から見た動的オブジェクトを、例えばＣＧにより生成することができる。

【0066】

また、サーバ装置１０と、アイウエア３０とのリアルタイムの双方向通信により、ＡＲ体験中のユーザの視点位置や視線方向を変更することもできる。例えば、サーバ装置１０において三次元仮想空間と実空間とをマッピングした上で、アイウエア３０は、視点位置や視線方向の変更を示す変更情報をサーバ装置１０に送信する。サーバ装置１０は、その変更情報に基づいて、三次元仮想空間内の視点位置や視線方向を変更し、変更後の視点位置や視線方向から見える動的オブジェクトや映像コンテンツを生成する。

【0067】

サーバ装置１０は、変更後の動的オブジェクトや映像コンテンツをその都度アイウエア３０に送信し、アイウエア３０は、受信した動的オブジェクトや映像コンテンツを表示する。これにより、ユーザ視点に基づく動的オブジェクトの表示を変更することができ、動的オブジェクトの動きと、ユーザの動きとを比較したりすることができる。

【0068】

≪アイウエア３０≫
図８は、実施形態におけるアイウエア３０の機能構成の一例を示す図である。図８に示す例では、アイウエア３０は、第２送信部３０２、第２受信部３０４、ＡＲ制御部３０６、及び第２記憶部３０８を有する。ＡＲ制御部３０６は、例えばＡＲを制御するプログラムが制御部３４により実行されることで機能する。

【0069】

第２送信部３０２は、例えば制御部３４、通信部３１等により実現されうる。第２送信部３０２は、ユーザ操作に基づくダウンロード要求等をサーバ装置１０に送信する。

【0070】

第２受信部３０４は、例えば制御部３４、通信部３１等により実現されうる。第２受信部３０４は、サーバ装置１０から、ダウンロード要求した動的オブジェクトや映像コンテンツ等を受信する。

【0071】

ＡＲ制御部３０６は、例えば制御部３４等により実現されうる。ＡＲ制御部３０６は、第２受信部３０４により受信された、各プレイヤの動きを再現する動的オブジェクトや映像コンテンツを取得し、再生などの制御を行う。ＡＲ制御部３０６は、動的オブジェクトや映像コンテンツを制御するため、取得部３１０、対応付け部３１２、表示制御部３１４、検知部３１６、調整部３１８、及び受付部３２０を有する。

【0072】

取得部３１０は、１又は複数のプレイヤの動きを含む各撮像データに基づき生成された三次元仮想空間における、少なくとも一のプレイヤの動作解析結果に基づく動的オブジェクトを取得する。例えば、取得部３１０は、三次元仮想空間内において、動作解析されたプレイヤの動きを再現する動的オブジェクトを第２記憶部３０８又は第２受信部３０４から取得する。

【0073】

対応付け部３１２は、三次元仮想空間と、利用者の視点に基づく実空間とを対応付ける。例えば、対応付け部３１２は、ユーザの所定操作が行われると、アイウエア３０に関する実空間内の所定位置を原点とし、この原点を、三次元仮想空間内の動的オブジェクトの基準位置に対応付ける。さらに、対応付け部３１２は、実空間において予め設定された３つの軸に対し、三次元仮想空間における３つの軸をそれぞれ対応付ける。なお、対応付け部３１２は、実空間の３つの軸と、三次元仮想空間の３つの軸とを予め対応付けしておくことで、実空間上の所定位置と、三次元仮想空間上の基準位置とを対応付けるだけでもよい。対応付け部３１２は、対応付けの際に用いた基準をマッピング基準とし、表示制御部３１４に通知する。例えば、マッピング基準は、実空間上の移動距離及び移動方向に対応する、仮想空間上における移動距離及び移動方向を設定しておく。

【0074】

例えば、アイウエア３０に関する実空間内の所定位置は、アイウエア３０における表示部１７の位置（ユーザの視点位置（例えば緯度、経度、高さ））であり、動的オブジェクトの基準位置とは、三次元仮想空間内に配置された初期位置に関する位置である。基準位置は、例えば初期位置から所定方向に所定距離離れた位置である。基準位置の高さ方向の座標値は、例えば平均身長程度の値に設定しておけばよい。

【0075】

また、３つの軸は、例えば、鉛直方向の軸、水平方向の横軸、及び水平方向の縦軸である。実空間における３つの軸は、センサ部３７、例えば加速度センサや地磁気センサなどにより検知された信号に基づく軸を用いてもよい。

【0076】

表示制御部３１４は、対応付け部３１２により実空間に対応付けられた三次元仮想空間のマッピング基準に従って、三次元仮想空間における動的オブジェクトを、実空間に重畳して表示するよう制御する。例えば、表示制御部３１４は、対応付けられた三次元仮想空間内の基準位置を、ユーザの視点位置とし、この視点位置から見える動的オブジェクトを実空間上に重畳するよう表示制御する。

【0077】

次に、表示制御部３１４は、ユーザの所定操作があると、三次元仮想空間内において動的オブジェクトの動きを開始し、三次元仮想空間内の基準位置から見える動的オブジェクトの動きを、実空間に重畳して表示するよう制御する。

【0078】

具体例としては、表示制御部３１４は、三次元仮想空間と実空間との対応付け（マッピング）が完了すると、実空間において、ユーザ視点位置から左の位置にスポーツ選手が表示されるように制御する。例えば、プロジェクタによりスポーツ選手の初期状態をプリズムディスプレイに対して投影する。

【0079】

次に、表示制御部３１４は、再生開始の操作に基づく再生指示を受けると、スポーツ選手の動きの再現を三次元仮想空間内で開始する。これにより、ユーザは、自身の視野内で実空間上に重畳されるスポーツ選手の動きを見ることができる。

【0080】

また、検知部３１６は、センサ部３７により水平方向及び鉛直方向のどちらに動いたかを検知する。例えば、検知部３１６は、現在のユーザの視点位置及び視線方向を示す情報を表示制御部３１４に通知する。表示制御部３１４は、通知された情報からユーザの現在の視点位置及び視線方向を求め、マッピング基準に基づき、三次元仮想空間における視点位置及び視線方向を特定する。表示制御部３１４は、三次元仮想空間内において特定した視点位置及び視線方向から見える動的オブジェクトを、実空間上に重畳して表示するよう制御する。

【0081】

これにより、例えば陸上選手を動的オブジェクトとした場合、ユーザが静止状態であれば、動的オブジェクトは、動的オブジェクトが三次元仮想空間内を走った分だけ、実空間のユーザとの距離が離れていくように表示される。他方、ユーザが動的オブジェクトとともに走れば、移動する自身の位置から相対的に見える動的オブジェクトが表示される。

【0082】

より具体的には、実施形態におけるＡＲを視聴させることで、ユーザは、陸上の１００ｍの世界記録保持者と疑似的に競争したり、有名なサッカー選手と１対１で疑似的に勝負したり、有名な野球のピッチャーの投げる球の軌道を確認したりすることができる。

【0083】

また、ユーザは、水平方向及び鉛直方向における動的オブジェクトの初期の配置位置を変更したい場合、ユーザ自身が移動することで、動的オブジェクトの表示位置を変更することができる。これは、検知部３１６によりユーザの移動を検知することで、動的オブジェクトを生成する際に用いられる三次元仮想空間内の視点位置を変更することが可能になる。

【0084】

調整部３１８は、実空間に重畳された動的オブジェクトの位置を調整する。つまり、調整部３１８は、三次元仮想空間内の基準位置を調整する。例えば、事前にユーザの身長データがアイウエア３０に登録されている場合、この身長データに基づき、動的オブジェクトの足が地面の表面にくるように、鉛直方向における動的オブジェクトの基準位置が調整部３１８により調整される。

【0085】

受付部３２０は、ハードボタンや、ＡＲを用いて表示されるボタンに対するユーザ操作を受け付ける。例えば、受付部３２０は、アイウエア３００に、物理的又は仮想的に上ボタン、下ボタンが設けられる場合、このボタン操作を受け付ける。受付部３２０は、上ボタンが操作されていれば、上を示す信号を調整部３１８に通知し、下ボタンが操作されていれば、下を示す信号を調整部３１８に通知する。

【0086】

また、調整部３１８は、ユーザ操作に基づき、実空間に重畳された動的オブジェクトの鉛直方向及び／又は水平方向の位置を調整する。つまり、調整部３１８は、対応付け部３１２により対応付けられた三次元仮想空間における動的オブジェクトの鉛直方向及び／又は水平方向の基準位置を調整する。

【0087】

例えば、調整部３１８は、受付部３２０から上を示す信号を取得すると、実空間に重畳される動的オブジェクトが上にいくように、三次元仮想空間内の基準位置が鉛直方向における下に行くよう調整する。また、受付部３２０から下を示す信号を取得すると、実空間に重畳される動的オブジェクトが下にいくように、三次元仮想空間内の基準位置が鉛直方向における上に行くよう調整する。調整部３１８は、１回のボタンの押下に応じて、動的オブジェクトの移動量を決めておくとよい。これにより、ユーザは、重畳された動的オブジェクトの初期位置を容易に調整することができる。

【0088】

また、取得部３１０は、動的オブジェクト、及び三次元仮想空間内の静的オブジェクトを含む映像コンテンツを取得してもよい。この場合、表示制御部３１４は、対応付け部３１２により対応付けられた三次元仮想空間における映像コンテンツを、実空間に重畳して表示するよう制御する。例えば、表示制御部３１４は、動的オブジェクトだけではなく、フィールドや観客等についても実空間上に重畳して表示させることができる。これにより、撮像が行われた場所で、ユーザがＡＲを視聴する場合、プレイヤの動きだけではなく、撮像がされた時のフィールド内又は外の雰囲気についても体験することができるようになる。

【0089】

以上の機能をコンテンツ配信システム１の各装置が有することで、撮像された移動物体について、その動きを含む移動物体を拡張現実世界に合成することができる。また、コンテンツ配信システム１は、上述した方法で生成されたコンテンツをユーザに提供することができる。

【0090】

＜マッピング＞
次に、三次元仮想空間と実空間とのマッピングについて説明する。図９は、三次元仮想空間と実空間とのマッピングの一例を説明するための図である。

【0091】

図９（Ａ）は、三次元仮想空間の座標系を示す。ｘ１ｘ２の軸は水平方向の横軸であり、ｙ１ｙ２の軸は水平方向の縦軸であり、ｚ１ｚ２方向は鉛直方向の軸である。座標ａ（ｘａ，ｙａ，ｚａ）は、プレイヤＰ１に対応する動的オブジェクトの初期の配置位置を示す。また、座標ｂ（ｘｂ，ｙｂ，ｚｂ）は、動的オブジェクトのマッピングの際の基準位置を示す。基準位置は、ユーザが動的オブジェクトを実空間上で見るのに適した位置を示す。なお、座標ｂは、座標ａに設定されていてもよく、ユーザごとに動的オブジェクトの初期の基準位置が設定されるようにしてもよい。

【0092】

図９（Ｂ）は、実空間の座標系を示す。Ｘ１Ｘ２の軸は水平方向の横軸であり、Ｙ１Ｙ２の軸は水平方向の縦軸であり、Ｚ１Ｚ２方向は鉛直方向の軸である。実空間においては、ユーザの頭Ｈ内の視点位置が原点（Ｘ０，Ｙ０，Ｚ０）となるように設定されている。

【0093】

このとき、ユーザが、アイウエア３０に対してマッピングの操作を行った時、対応付け部３１２は、三次元仮想空間における座標ｂと、実空間における原点とを対応付ける。また、対応付け部３１２は、各空間の３つの軸についても対応付けておく。これにより、ＡＲにおいて、ユーザは、座標ｂの位置から、プレイヤＰ１に対応する動的オブジェクトＭ１を見ることができる。

【0094】

＜ＡＲの表示例＞
次に、上述したアイウエア３０を用いてユーザが見ることができるＡＲについて例を用いて説明する。図１０〜１３を用いて、１００ｍの世界記録保持者とユーザとを競争させる例について説明する。

【0095】

図１０は、空き地の一例を示す図である。図１０に示す空き地は、アイウエア３０を装着したユーザが、レンズ越しに見ることができる実空間の風景Ｒ１０を示す。このとき、ユーザは、ＡＲを見るため、アイウエア３０に設けられた対応付けボタンを押したとする。

【0096】

受付部３２０は、このボタン押下を検知し、対応付け部３１２に対応付けの指示を出す。対応付け部３１２は、対応付けの指示に基づき、三次元仮想空間と実空間との対応付けを行う。このとき、図９において説明したように、対応付け部３１２は、実空間におけるユーザの視点位置の座標（原点）が、三次元仮想空間における基準位置の座標ｂになるように対応付ける。対応付けが終わると、マッピング基準が表示制御部３１４に通知され、動的オブジェクトＭ１の初期状態が表示制御部３１４により表示される。

【0097】

図１１は、動的オブジェクトＭ１の初期状態が表示された一例を示す図である。図１１に示す例では、動的オブジェクトＭ１の初期状態は、クラウチングスタートの状態とする。図１１に示す拡張現実ＡＲ１０は、実空間の風景に初期状態の動的オブジェクトＭ１が重畳表示される。

【0098】

このとき、ユーザは、動的オブジェクトＭ１と同じレーンを走りたければ、ユーザがＸ１方向に移動し、動的オブジェクトＭ１をＸ２方向に移動させる。動的オブジェクトＭ１に対する初期の基準位置が決まると、ユーザは動作開始ボタンを押す。

【0099】

受付部３２０は、この動作開始ボタンの押下を検知し、表示制御部３１４に動作開始の指示を出す。表示制御部３１４は、動作開始の指示に基づき、三次元仮想空間上における動的オブジェクトＭ１の動作を開始する。なお、操作開始の指示については、センサ部３７において所定の動きを検知したときに、動作開始指示を表示制御部３１４に通知し、表示制御部３１４は、動的オブジェクトＭ１の動作を開始してもよい。

【0100】

図１２は、動的オブジェクトＭ１の動作開始直後が表示された一例を示す図である。図１２に示す拡張現実ＡＲ１２は、実空間の風景に、動作開始直後の動的オブジェクトＭ１が重畳表示される。このとき、世界記録保持者とともにユーザ自身も走り始めるとする。この場合、ユーザの移動距離及び移動方向がセンサ部３７により検知されて、表示制御部３１４は、マッピング基準にしたがって、実空間における移動距離及び移動方向を、三次元仮想空間の移動距離及び移動方向に変換し、三次元仮想空間におけるユーザの視点位置を変更する。

【0101】

図１３は、動的オブジェクトＭ１の動作開始数秒後が表示された一例を示す図である。図１３に示す拡張現実ＡＲ１４は、実空間の風景に、動作開始数秒後の動的オブジェクトＭ１が重畳表示される。図１３に示すように、ユーザと世界記録保持者との距離が、図１２に示す距離に比べて、より一層離されている。これにより、ユーザは、世界記録保持者の隣で走っている感覚を体験することができ、また、世界記録保持者のスピードを体験することができる。さらに、世界記録保持者を表す動的オブジェクトＭ１は、動作解析結果に基づく動作を行うため、本物と同様の走り方を再現することができる。

【0102】

図１４は、他のＡＲの表示例を示す図である。図１４に示す例では、或るサッカースタジアムで行われたサッカーの試合を、ユーザはアイウエア３０を装着することで、同スタジアムで別の日に疑似観戦することができる。

【0103】

例えば、サーバ装置１０は、サッカーの試合について、上述した仮想空間データを生成する。また、同スタジアムのスタンドには、所定区画ごとに位置情報が関連付けられており、サーバ装置１０は、この位置情報に対応付けて、三次元仮想空間上に配置された同スタンドの同所定区画に位置する基準位置を保持しておく。アイウエア３０は、位置情報を、所定区画ごと設けられた二次元バーコードやＧＰＳ等から取得し、この位置情報に対応する基準位置を取得する。これにより、ユーザの視点位置を三次元仮想空間上の同スタンドの同位置の基準位置に合わせることができる。

【0104】

次に、三次元仮想空間の軸と実空間の軸との対応付けについては、アイウエア３０を装着したユーザにスタジアム内の所定位置を見させ、このときに対応付けボタンを押させることで対応付けを行ってもよい。また、スタンドの所定区画内にアイウエア３０をセットする台が設けられ、ユーザは、アイウエア３０をこの台にセットし、対応付けボタンを押すことで対応付けを行ってもよい。これにより、三次元仮想空間の軸と実空間の軸とを合わせることができ、マッピング基準を生成することができる。

【0105】

図１４に示す例では、スタジアム内に誰もいない場合であっても、同スタジアムで行われた過去の試合内容を示す映像コンテンツＡＲ２０を表示することで、同試合が行われた時に現地で観戦していたかのような体験をユーザにさせることができる。また、映像コンテンツＡＲ２０は、ユーザが同スタジアムにいるため、サッカープレイヤの動的オブジェクトや、観客などの動的オブジェクトだけを含んでもよい。

【0106】

以上の図１１〜１４に示す画像は、表示制御部３１４により表示制御されるＡＲの一例である。また、その他のＡＲの例としては、スキーの大回転などでトッププレイヤとユーザとを競争させたり、モータースポーツにおけるトップ選手のコーナーリングなどをユーザに体験させたりすることができる。

【0107】

＜動作＞
次に、実施形態におけるコンテンツ配信システム１の各装置の動作について説明する。まず、サーバ装置１０におけるコンテンツ生成処理について説明する。

【0108】

≪コンテンツ生成処理≫
図１５は、実施形態におけるコンテンツ生成処理の一例を示すフローチャートである。図１５に示すステップＳ１０２で、第１受信部１０４は、各撮像装置６０から、１又は複数のプレイヤが動いている様子を撮像した各撮像データを受信する。各撮像装置６０は、様々な角度から各プレイヤを撮像する。

【0109】

ステップＳ１０４で、動作解析部１１０は、第１受信部１０４から各撮像データを取得すると、少なくとも１のプレイヤの動きに対し、公知のモーションキャプチャ技術を用いて動作解析を行う。モーションキャプチャ技術は、マーカーレス方式が好ましい。

【0110】

ステップＳ１０６で、仮想空間生成部１１２は、第１受信部１０４から各撮像データを取得すると、各プレイヤやフィールドを示す仮想オブジェクトを含む三次元仮想空間を生成する。

【0111】

ステップＳ１０８で、コンテンツ生成部１１４は、三次元仮想空間及び動作解析の結果に基づいて、動作解析されたプレイヤの動きを再現する三次元仮想空間上の動的オブジェクトを生成する。また、コンテンツ生成部１１４は、複数の動的オブジェクトを含む全体の映像コンテンツを生成してもよい。

【0112】

ステップＳ１１０で、コンテンツ生成部１１４は、生成された動的オブジェクト及び／又は映像コンテンツを第１記憶部１０８に記憶する。

【0113】

これにより、ＡＲにおいて、実空間への重畳対象である動的オブジェクトであって、動作解析技術を用いて動作を再現可能にした動的オブジェクトを生成することができる。

【0114】

≪コンテンツ表示処理≫
図１６は、実施形態におけるコンテンツ表示処理の一例を示すフローチャートである。図１６に示す処理は、アイウエア３０が、サーバ装置１０から所望の動的オブジェクトを既に受信し、第２記憶部３０８に記憶していることを前提とする。

【0115】

図１６に示すステップＳ２０２で、取得部３１０は、１又は複数のプレイヤの動きを含む各撮像データに基づき生成された三次元仮想空間における、少なくとも一のプレイヤの動作解析結果に基づく動的オブジェクトを取得する。取得部３１０は、例えば、第２記憶部３０８から、三次元仮想空間上で動作する動的オブジェクトを取得する。

【0116】

ステップＳ２０４で、対応付け部３１２は、ユーザの所定操作に基づいて、三次元仮想空間と、ユーザの視点に基づく実空間とを対応付ける。例えば、対応付け部３１２は、実空間におけるユーザの視点位置と、三次元仮想空間上の動的オブジェクトの基準位置とを対応付け、さらに、実空間の軸と、三次元仮想空間の軸とを対応付ける。

【0117】

ステップＳ２０６で、表示制御部３１４は、三次元仮想空間上における基準位置から見た動的オブジェクトの像を、実空間上に表示されるよう制御する（第１表示制御）。

【0118】

ステップＳ２０８で、受付部３２０は、調整操作があるか否かを判定する。例えば、受付部３２０は、上ボタン又は下ボタンがユーザにより押された場合に、この押下を検知し、調整操作ありと判定する。調整操作があれば（ステップＳ２０８−ＹＥＳ）、処理はステップＳ２１０に進み、調整操作がなければ（ステップＳ２０８−ＮＯ）、処理はステップＳ２１２に進む。

【0119】

ステップＳ２１０で、調整部３１８は、三次元仮想空間上における動的オブジェクトの基準位置を調整する。例えば、上ボタンが押下されれば、調整部３１８は、動的オブジェクトをＺ１方向に所定距離移動させ、下ボタンが押下されれば、調整部３１８は、動的オブジェクトをＺ２方向に所定距離移動させる。

【0120】

ステップＳ２１２で、受付部３２０は、開始操作があるか否かを判定する。例えば、受付部３２０は、動作開始ボタンが押された場合に、この押下を検知し、開始操作ありと判定する。開始操作があれば（ステップＳ２１２−ＹＥＳ）、処理はステップＳ２１４に進み、開始操作がなければ（ステップＳ２１２−ＮＯ）、処理はステップＳ２１６に進む。

【0121】

ステップＳ２１４に進み、表示制御部３１４は、仮想空間上における動的オブジェクトの動作を開始させる（第２表示制御）。これにより、ユーザは、実空間上に重畳される、三次元仮想空間上を動く動的オブジェクトを見ることができる。

【0122】

このとき、ユーザが移動する場合は、ユーザの視点位置が変更される。移動量については、センサ部３７において検出可能である。表示制御部３１４は、センサ部３７によるセンサ信号及びマッピング基準に基づいて、三次元仮想空間上における基準位置（ユーザの視点位置）を移動させ、移動後の基準位置から見える動的オブジェクトの動作を実空間上に重畳する。

【0123】

ステップＳ２１６で、ＡＲ制御部３０６は、終了指示があるか否かを判定する。例えば、ＡＲ制御部３０６は、終了ボタンの押下を検知したときに、終了指示ありと判定したり、動的オブジェクトの動作が終了してから所定時間後に、終了指示ありと判定したりする。終了指示があれば（ステップＳ２１６−ＹＥＳ）、コンテンツ表示処理は終了し、終了指示がなければ（ステップＳ２１６−ＮＯ）、処理はステップＳ２１４に戻る。これにより、ユーザは、ユーザ視点に基づく動的オブジェクトの動きに関する体験を行うことができる。

【0124】

なお、図１５〜１６で説明した処理のフローに含まれる各処理ステップは、処理内容に矛盾が生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。

【0125】

以上より、実施形態におけるコンテンツ配信システム１によれば、ＡＲにおいて、ユーザが、ユーザ視点に基づく動的オブジェクトの動きに関する体験を行うことができる。

【0126】

また、撮像されるイベントをスポーツにすることで、実施形態をスポーツ教育に用いることができる。例えば、子供たちに、有名選手と競技を競わせたり、有名選手との動きの差を体験させたりすることで、そのスポーツに対するプレイを向上させることが可能になる。

【0127】

また、上記実施形態において、第１のコンテンツ提供モデルとして、ユーザは、アイウエア３０において視聴を可能にするプログラムを無償でダウンロードし、プログラムによるアプリケーションを用いて、視聴したい動的オブジェクトや映像コンテンツに課金することで、その動的オブジェクトや映像コンテンツをダウンロードすることができるようにしてもよい。

【0128】

また、上記実施形態において、上記モデルに限らず、第２のコンテンツ提供モデルとして、月額のリース契約により、所定のイベントに対する仮想空間データを提供することも考えられる。

【0129】

以上、本願の開示する技術の実施形態について説明したが、本願の開示する技術は、上記例に限定されるものではない。

【0130】

また、上述した実施形態において、コンテンツは、ライブ映像や、スポーツ映像を含み、スポーツ映像は、サッカーや陸上に限らず、野球、テニス、ボクシング等の試合でもよい。

【0131】

また、センサ部３７は、ユーザ自身の動きを特定し、この動きを示す動き情報を記憶部３２に記憶することで、この動き情報に基づいて、過去のユーザの動きをＡＲ表示することができる。さらに、ＡＲ制御部３０６は、ＧＰＳ等により取得した位置と、経過時間情報とを、動き情報とともに記憶部２３に記憶しておくことで、例えば所定コースのランニングにおいて、ユーザは、ＡＲ表示される動的オブジェクト、及びユーザの過去の動きを含むオブジェクト（キャラクタ）と競争することができるようになる。

【0132】

なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

【符号の説明】

【0133】

１０ サーバ装置（情報処理装置）
３０ アイウエア
１０６ 生成部
１１０ 動作解析部
１１２ コンテンツ生成部
３０６ ＡＲ制御部
３１０ 取得部
３１２ 対応付け部
３１４ 表示制御部
３１６ 検知部
３１８ 調整部
３２０ 受付部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】