ホーム > 特許ランキング > 日本電信電話株式会社
特許7586300配信制御システム、配信制御装置、配信制御方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】配信制御システム、配信制御装置、配信制御方法、及びプログラム
(51)【国際特許分類】
H04N 21/234 20110101AFI20241112BHJP
G06T 17/00 20060101ALI20241112BHJP
【ＦＩ】
H04N21/234
G06T17/00
【請求項の数】
7
(21)【出願番号】P 2023517012
(86)(22)【出願日】2021-04-30
(86)【国際出願番号】 JP2021017244
(87)【国際公開番号】W WO2022230186
(87)【国際公開日】2022-11-03
【審査請求日】2023-08-01
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110004381
【氏名又は名称】弁理士法人ＩＴＯＨ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100124844
【弁理士】
【氏名又は名称】石原 隆治
(72)【発明者】
【氏名】趙 笑添
(72)【発明者】
【氏名】奥山 隆文
(72)【発明者】
【氏名】北田 裕之
【審査官】山▲崎▼ 雄介
(56)【参考文献】
【文献】国際公開第２０２０／１３７８７６（ＷＯ，Ａ１）
【文献】国際公開第２０２０／１１６１５４（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１０；７／１４－７／１７３；
７／２０－７／５６；
２１／００－２１／８５８
Ｇ０６Ｔ １１／００－１１／４０；
１５／００－１７／００；
１７／１０－１７／３０
(57)【特許請求の範囲】
【請求項1】
立体映像コンテンツを構成する立体データが表す対象物に対して、前記対象物を中心とする複数の仮想視点を配置する配置部と、前記仮想視点毎に、前記対象物に関して前記仮想視点からは視認できない部分のデータ量を削減した立体データである一面立体データを作成する第１の作成部と、
前記対象物が配置される仮想空間上におけるユーザの位置と視界に応じて、前記仮想視点毎の一面立体データのうちの１つの仮想視点の一面立体データを前記ユーザの端末に配信する配信部と、
を有する配信制御システム。
【請求項2】
前記第１の作成部は、前記仮想視点からは視認できない部分を表すポリゴンメッシュに対してジオメトリー簡素化処理を行うことで、前記部分のデータ量を削減した立体データである一面立体データを作成する、請求項１に記載の配信制御システム。
【請求項3】
前記仮想視点からは視認できない部分は、前記仮想視点から前記対象物を見たときに、前記対象物の背面に相当する部分である、請求項１又は２に記載の配信制御システム。
【請求項4】
前記仮想視点と、前記仮想視点から前記対象物を見たときに同一の体感品質を得られる範囲とを対応付けた対応表を作成する第２の作成部を有し、前記配信部は、
前記視界の中に前記対象物の少なくとも一部の部分が含まれる場合に、前記対応表を参照して、前記位置が含まれる範囲に対応する仮想視点の一面立体データを特定し、
特定した一面立体データを前記端末に配信する、請求項１乃至３の何れか一項に記載の配信制御システム。
【請求項5】
立体映像コンテンツを構成する立体データが表す対象物に対して、前記対象物を中心とする複数の仮想視点を配置する配置部と、前記仮想視点毎に、前記対象物に関して前記仮想視点からは視認できない部分のデータ量を削減した立体データである一面立体データを作成する第１の作成部と、
前記対象物が配置される仮想空間上におけるユーザの位置と視界に応じて、前記仮想視点毎の一面立体データのうちの１つの仮想視点の一面立体データを前記ユーザの端末に配信する配信部と、
を有する配信制御装置。
【請求項6】
立体映像コンテンツを構成する立体データが表す対象物に対して、前記対象物を中心とする複数の仮想視点を配置する配置手順と、前記仮想視点毎に、前記対象物に関して前記仮想視点からは視認できない部分のデータ量を削減した立体データである一面立体データを作成する第１の作成手順と、
前記対象物が配置される仮想空間上におけるユーザの位置と視界に応じて、前記仮想視点毎の一面立体データのうちの１つの仮想視点の一面立体データを前記ユーザの端末に配信する配信手順と、
をコンピュータが実行する配信制御方法。
【請求項7】
コンピュータを、請求項１乃至４の何れか一項に記載の配信制御システムとして機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、配信制御システム、配信制御装置、配信制御方法、及びプログラムに関する。
【背景技術】
【0002】
ボリュメトリックビデオやホログラム等に代表される６自由度（６ＤｏＦ：six degrees of freedom）を持つ立体映像コンテンツが知られている。このようなコンテンツを通信ネットワークにより高品質に配信するためには、高いデータ圧縮技術や通信ネットワーク／システムの負荷分散技術等の利用といったこと以外に、コンテンツ自体の配信を制御する仕組みが必要である。特に、クライアントとなるＸＲ（ＶＲ／ＡＲ／ＭＲ／ＳＲ等）デバイスの視界情報や仮想空間におけるユーザの位置情報等に応じて、コンテンツの配信を動的に制御する仕組みが重要である。
【0003】
ボリュメトリックビデオはポリゴンメッシュ（以下、単に「メッシュ」ともいう。）とテクスチャとで構成されたアニメーションデータであり、クライアント側で仮想環境と合わせてレンダリングすることで、ディスプレイ上に表示され、視聴ができる。
【0004】
ボリュメトリックビデオ配信技術として、非特許文献１～３に記載されている技術が知られている。非特許文献１では、クライアントであるＡＲ／ＶＲデバイスで検出されたユーザの頭の動きに基づいて、ボリュメトリックビデオのレンダリングをサーバ側で行い、２Ｄデータとして当該クライアントに送信する手法が提案されている。また、非特許文献２では、リアルタイムで生成されたボリュメトリックビデオをクライアントに配信し、クライアント側でレンダリングする手法が提案されている。更に、非特許文献３では、通信ネットワークの帯域に応じてボリュメトリックビデオのＬｅｖｅｌ Ｏｆ Ｄｅｔａｉｌを動的に変更させることで、再生に必要なデータ量を削減する手法が提案されている。
【先行技術文献】
【非特許文献】
【0005】
【文献】Serhan Gul, Dimitri Podborski, Thomas Buchholz, Thomas Schierl and Cornelius Hellge, "Low-latency cloud-based volumetric video streaming using head motion prediction", NOSSDAV '20: Proceedings of the 30th ACM Workshop on Network and Operating Systems Support for Digital Audio and Video, June 2020, Pages 27-33
【文献】Sergio Orts-Escolano, Christoph Rhemann, Sean Fanello, Wayne Chang, Adarsh Kowdle, Yury Degtyarev, et al. "Holoportation: Virtual 3D teleportation in real-time", UIST '16: Proceedings of the 29th Annual Symposium on User Interface Software and Technology, October 2016, Pages 741-754
【文献】Holostream/Arctrus, インターネット＜ＵＲＬ：https://arcturus.studio/holostream＞
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、ボリュメトリックビデオはデータ量が大きく、その配信に必要な通信ネットワークの帯域が大きいため、効率的に配信する手法が求められている。
【0007】
しかしながら、上記の非特許文献１で提案されている手法では、各ユーザのレンダリングをサーバ側で行う必要があるため、サーバの負荷が大きい。また、ユーザ数が増えた場合にはサーバリソースの分割によって、各ユーザが視聴する映像品質の劣化が発生し得る。更に、クライアントからサーバに対して位置情報を高頻度に低遅延で送信する必要があり、例えば、ＶＲ酔いが発生し始めるＭｏｔｉｏｎ ｔｏ Ｐｈｏｔｏｎ遅延を２０ｍｓ以下に抑えることは通信ネットワークとサーバの両方で負担が大きい。
【0008】
一方で、上記の非特許文献２で提案されている手法では、通信帯域に４Ｇｂｐｓ必要であるが、４Ｇｂｐｓの通信帯域をユーザが常に安定して確保することは難しい。また、通信ネットワークの負荷が大きいため、同一の通信ネットワークを使用する他のユーザの使用可能帯域が狭まり、他のユーザの体感品質を落としてしまう。
【0009】
更に、上記の非特許文献３で提案されている手法では、通信ネットワークの使用可能帯域が狭いときには、視聴中のボリュメトリックビデオでユーザから見える範囲の３Ｄデータ（つまり、ユーザに対して前面に相当する３Ｄデータ）も含めて画質とＬｅｖｅｌ Ｏｆ Ｄｅｔａｉｌを落としてしまうため、大幅な体感品質の低下をもたらす。
【0010】
本発明の一実施形態は、上記の点に鑑みてなされたもので、ユーザの体感品質を維持しつつ、立体映像コンテンツの配信に要するデータ量を削減することを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するため、一実施形態に係る配信システムは、立体映像コンテンツを構成する立体データが表す対象物に対して、前記対象物を中心とする複数の仮想視点を配置する配置部と、前記仮想視点毎に、前記対象物に関して前記仮想視点からは視認できない部分のデータ量を削減した一面立体データを作成する第１の作成部と、前記対象物が配置される仮想空間上におけるユーザの位置と視界に応じて、前記仮想視点毎の一面立体データのうちの１つの仮想視点の一面立体データを前記ユーザの端末に配信する配信部と、を有する。
【発明の効果】
【0012】
ユーザの体感品質を維持しつつ、立体映像コンテンツの配信に要するデータ量を削減することができる。
【図面の簡単な説明】
【0013】
【図1】本実施形態に係る配信制御システムの全体構成の一例を示す図である。
【図2】本実施形態に係る一面３Ｄデータ作成処理の一例を示すフローチャートである。
【図3】仮想視点の配置例を示す図である。
【図4】本実施形態に係る対応表作成処理の一例を示すフローチャートである。
【図5】視聴角度範囲の一例を示す図である。
【図6】視聴角度範囲対応表の一例を示す図である。
【図7】本実施形態に係る配信処理の一例を示すフローチャートである。
【図8】仮想視点の特定例を示す図である。
【図9】コンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明の一実施形態について説明する。本実施形態では、立体映像コンテンツの一例としてボリュメトリックビデオを対象に、ユーザの体感品質を維持しつつ、その配信に要するデータ量を削減することができる配信制御システム１について説明する。ここで、ボリュメトリックビデオとは、メッシュとテクスチャとで表される３Ｄデータ（３次元データ又は立体データともいう。）で構成されたアニメーションデータのことである。すなわち、例えば、時刻ｔのフレームの３Ｄデータをｄｔとすれば、ボリュメトリックビデオは｛ｄｔ｜ｔ∈［ｔｓ，ｔｅ］｝と表される。ｔｓはボリュメトリックビデオの開始時刻、ｔｅは終了時刻である。
【0015】
なお、以下で説明する実施形態は、ボリュメトリックビデオに限られず、例えば、ホログラム等といった６自由度を持つ立体映像コンテンツに対しても同様に適用することができる。
【0016】
【0017】
図１に示すように、本実施形態に係る配信制御システム１には、配信制御サーバ１０と、コンテンツサーバ２０と、クライアント３０と、サービスサイトサーバ４０とが含まれる。また、配信制御サーバ１０とクライアント３０は、インターネット等の通信ネットワークＮを介して通信可能に接続される。同様に、クライアント３０とサービスサイトサーバ４０は、通信ネットワークＮを介して通信可能に接続される。
【0018】
なお、配信制御サーバ１０とコンテンツサーバ２０は同一のローカルネットワーク内に存在し、当該ローカルネットワーク内で通信可能に接続されているものとするが、これに限られず、例えば、通信ネットワークＮを介して通信可能に接続されてもよい。
【0019】
配信制御サーバ１０は、与えられたボリュメトリックビデオを構成する３Ｄデータから複数の一面３Ｄデータを作成し、これら複数の一面３Ｄデータをコンテンツサーバ２０に保存する。ここで、一面３Ｄデータとは、ボリュメトリックビデオを構成する３Ｄデータが表す対象物を或る１つの視点から見たときの３次元データであり、ユーザの体感品質を維持しつつ元の３Ｄデータよりもデータ量を削減したものである。なお、対象物とは、ボリュメトリックビデオの被写体のことであり、例えば、人、動植物、構造物、建物、機械、天体、自然現象等といったメッシュとテクスチャで表現可能な任意の対象のことを意味する。
【0020】
また、配信制御サーバ１０は、クライアント３０からの視聴要求に応じて、ユーザの視点や空間位置、視界（視線方向及び視野範囲）等から適切な一面３Ｄデータを決定し、この一面３Ｄデータをクライアント３０に配信する。なお、ユーザの視点、空間位置とは、対象物が配置されている仮想空間内におけるユーザの位置のことである。
【0021】
コンテンツサーバ２０は、複数の一面３Ｄデータを保存する。また、コンテンツサーバ２０は、配信制御サーバ１０からのデータ要求に応じて、このデータ要求に対応する一面３Ｄデータを配信制御サーバ１０に返信する。
【0022】
クライアント３０は、ボリュメトリックビデオを視聴するユーザが利用する各種端末（例えば、ＸＲ（ＶＲ／ＡＲ／ＭＲ／ＳＲ等）デバイス等）であり、配信制御サーバ１０から配信された一面３Ｄデータをレンダリングし、ボリュメトリックビデオを再生する。なお、ＸＲデバイスには、ＨＭＤ（Head Mount Display）の他、ＸＲデバイスとして機能するアプリケーションプログラムが搭載されたスマーフォンやタブレット端末、ウェアラブルデバイス等が含まれる。
【0023】
ユーザがボリュメトリックビデオを視聴する際には、例えば、以下のような手順が行われる。まず、ユーザは、クライアント３０でサービスサイトサーバ４０にアクセスし、当該ユーザが視聴可能なコンテンツ（ボリュメトリックビデオ）の一覧を取得する。次に、ユーザは、この一覧の中から自身が視聴を所望するボリュメトリックビデオを選択し、選択したボリュメトリックビデオへのリンクを得る。そして、クライアント３０が当該リンクにアクセスすることで、視聴要求が配信制御サーバ１０に送信され、この要求に対して一面３Ｄデータが返信されることでボリュメトリックビデオの再生が開始される。
【0024】
また、クライアント３０は、適宜、ユーザの視点や空間位置、視界等といった情報（以下、ユーザの視点又は空間位置と視界とを表す情報を「ユーザ視点情報」ともいう。）を配信制御サーバ１０に送信する。これにより、ユーザの視点や空間位置、視界等に応じた一面３Ｄデータが配信制御サーバ１０から返信され、クライアント３０で再生されることになる。
【0025】
サービスサイトサーバ４０は、ユーザが視聴可能なコンテンツ（ボリュメトリックビデオ）の一覧を提示し、この一覧の中から選択されたコンテンツへのリンクをクライアント３０に提供する。
【0026】
ここで、本実施形態に係る配信制御サーバ１０は、一面３Ｄデータ作成部１０１と、対応表作成部１０２と、配信制御部１０３と、配信部１０４とを有する。これら各部は、例えば、配信制御サーバ１０にインストールされた１以上のプログラムが、ＣＰＵ（Central Processing Unit）等のプロセッサに実行させる処理により実現される。
【0027】
また、本実施形態に係る配信制御サーバ１０は、対応表記憶部１０５を有する。対応表記憶部１０５は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の補助記憶装置により実現される。
【0028】
一面３Ｄデータ作成部１０１は、配信制御サーバ１０に与えられたボリュメトリックビデオを構成する３Ｄデータから複数の一面３Ｄデータを作成する。より具体的には、一面３Ｄデータ作成部１０１は、ボリュメトリックビデオを構成する３Ｄデータが表す対象物を中心に複数の仮想視点を等間隔（又は非等間隔）に配置した上で、仮想視点毎に、当該仮想視点から当該対象物を見たときに、当該対象物の背面に相当するメッシュに対してジオメトリー簡素化（Ｌｅｖｅｌ Ｏｆ Ｄｅｔａｉｌ低下処理）を行うことで、一面３Ｄデータを作成する。このように、仮想視点毎に、３Ｄデータが表す対象物の背面（つまり、その仮想視点から見えない部分）のメッシュに対してジオメトリー簡素化を行うことで、仮想視点毎の一面３Ｄデータを作成する。
【0029】
そして、一面３Ｄデータ作成部１０１は、作成した複数の一面３Ｄデータをコンテンツサーバ２０に保存する。
【0030】
対応表作成部１０２は、複数の一面３Ｄデータを作成する際に配置された各仮想視点と、その仮想視点の視聴角度範囲とを対応付けた対応表（以下、「視聴角度範囲対応表」ともいう。）を作成する。視聴角度範囲とは、対象物を見た際に、当該仮想視点で対象物を見た場合と同一の体感品質を得られる範囲のことである。言い換えれば、当該仮想視点と同様に、ジオメトリー簡素化された対象物の背面が見えない範囲のことである。
【0031】
配信制御部１０３は、クライアント３０からユーザ視点情報を受信すると、視聴角度範囲対応表を参照して、このユーザ視点情報から適切な一面３Ｄデータを決定する。より具体的には、配信制御部１０３は、ユーザ視点情報に含まれる視点又は空間位置で視界内に対象物の少なくとも一部の部分を捉えた場合に、当該視点又は空間位置が含まれる視聴角度範囲に対応する仮想視点を特定し、特定した仮想視点に対応する一面３Ｄデータを適切なものとして決定する。
【0032】
配信部１０４は、配信制御部１０３によって決定された一面３Ｄデータをクライアント３０に送信する。
【0033】
対応表記憶部１０５は、対応表作成部１０２によって作成された視聴角度範囲対応表を記憶する。
【0034】
また、本実施形態に係るコンテンツサーバ２０は、一面３Ｄデータ記憶部２０１を有する。一面３Ｄデータ記憶部２０１は、例えば、ＨＤＤやＳＳＤ等の補助記憶装置により実現される。
【0035】
一面３Ｄデータ記憶部２０１は、一面３Ｄデータ作成部１０１によって作成された各一面３Ｄデータを記憶する。
【0036】
なお、図１に示す配信制御システム１の構成は一例であって、他の構成であってもよい。例えば、配信制御サーバ１０とコンテンツサーバ２０が一体のサーバで構成されていてもよい。
【0037】
＜各種処理の詳細＞
以下、複数の一面３Ｄデータを作成するための一面３Ｄデータ作成処理と、視聴角度範囲対応表を作成するための対応表作成処理と、適切な一面３Ｄデータをクライアント３０に配信するための配信処理との各処理について説明する。なお、一面３Ｄデータ作成処理と対応表作成処理は、配信処理よりも前に実行される事前処理である。
以下、複数の一面３Ｄデータを作成するための一面３Ｄデータ作成処理と、視聴角度範囲対応表を作成するための対応表作成処理と、適切な一面３Ｄデータをクライアント３０に配信するための配信処理との各処理について説明する。なお、一面３Ｄデータ作成処理と対応表作成処理は、配信処理よりも前に実行される事前処理である。
【0038】
≪一面３Ｄデータ作成処理≫
まず、一面３Ｄデータ作成処理について、図２を参照しながら説明する。図２は、本実施形態に係る一面３Ｄデータ作成処理の一例を示すフローチャートである。なお、以下では、ボリュメトリックビデオが配信制御サーバ１０に与えられているものとする。
まず、一面３Ｄデータ作成処理について、図２を参照しながら説明する。図２は、本実施形態に係る一面３Ｄデータ作成処理の一例を示すフローチャートである。なお、以下では、ボリュメトリックビデオが配信制御サーバ１０に与えられているものとする。
【0039】
一面３Ｄデータ作成部１０１は、ボリュメトリックビデオを構成する３Ｄデータの中から１フレーム分の３Ｄデータを取得する（ステップＳ１０１）。以下では、一面３Ｄデータ作成部１０１は、時刻ｔのフレームの３Ｄデータｄｔを取得したものとする。なお、ｔの初期値はｔ＝ｔｓとすればよい。
【0040】
なお、３Ｄデータはメッシュとテクスチャとで構成されるが、以下ではテクスチャに対しては特に処理を行わないため、上記のステップＳ１０１では、３Ｄデータのメッシュのみを取得してもよい。
【0041】
次に、一面３Ｄデータ作成部１０１は、上記のステップＳ１０２で取得した３Ｄデータｄｔが表す対象物を中心にＮ個の仮想視点を配置する（ステップＳ１０２）。ただし、各仮想視点の視線方向は対象物であるものとする。例えば、一面３Ｄデータ作成部１０１は、当該対象物を中心とする所定の半径の円の円周上に、等間隔（又は非等間隔でもよい。）に当該対象物を視線方向とするＮ個の仮想視点を配置する。なお、Ｎは予め決められた２以上の整数である。
【0042】
【0043】
なお、円の円周上に仮想視点を配置することは一例であって、これに限られず、例えば、対象物を中心とする多角形の辺上や頂点上に仮想視点を配置してもよい。また、図３に示す例では、簡単のため、対象物Ｏの中心を原点とするｘｙｚ空間のｘｙ平面上に仮想視点Ｖ１～Ｖ８を配置したが、これに限られず、例えば、当該原点を中心とする球面上（又は多面体上）に仮想視点を配置してもよい。
【0044】
次に、一面３Ｄデータ作成部１０１は、上記のステップＳ１０２で配置したＮ個の仮想視点の中から１つの仮想視点を選択する（ステップＳ１０３）。
【0045】
次に、一面３Ｄデータ作成部１０１は、上記のステップＳ１０３で選択した仮想視点から当該対象物を見たときに、当該対象物の背面に相当するメッシュに対してジオメトリー簡素化（Ｌｅｖｅｌ Ｏｆ Ｄｅｔａｉｌ低下処理）を行う（ステップＳ１０４）。言い換えれば、一面３Ｄデータ作成部１０１は、当該対象物を構成する各メッシュの中で、当該仮想視点からは視認できない（見えない）部分のメッシュに対してジオメトリー簡素化処理を行う。これにより、当該仮想視点から対象物を見た場合には元の３Ｄデータｄｔと同等の体感品質が得られ、かつ、元の３Ｄデータｄｔよりもデータ量が削減された一面３Ｄデータが作成される。
【0046】
次に、一面３Ｄデータ作成部１０１は、Ｎ個すべての仮想視点を選択したか否かを判定する（ステップＳ１０５）。
【0047】
上記のステップＳ１０５で未だ選択していない仮想視点があると判定された場合、一面３Ｄデータ作成部１０１は、上記のステップＳ１０３に戻り、未だ選択していない仮想視点の中から１つの仮想視点を選択し、ステップＳ１０４以降の処理を実行する。
【0048】
一方で、上記のステップＳ１０５でＮ個すべての仮想視点を選択したと判定された場合、一面３Ｄデータ作成部１０１は、与えられたボリュメトリックビデオに次のフレームがあるか否かを判定する（ステップＳ１０６）。
【0049】
上記のステップＳ１０６で次のフレームがあると判定された場合、一面３Ｄデータ作成部１０１は、上記のステップＳ１０１に戻り、次のフレームの３Ｄデータを取得し、ステップＳ１０２以降の処理を実行する。すなわち、この場合、一面３Ｄデータ作成部１０１は、ｔ←ｔ＋１として、上記のステップＳ１０１に戻り、次の時刻ｔのフレームの３Ｄデータｄｔを取得する。
【0050】
一方で、上記のステップＳ１０６で次のフレームがないと判定された場合（つまり、時刻ｔ＝ｔｅである場合）、一面３Ｄデータ作成部１０１は、上記のステップＳ１０４で作成された各一面３Ｄデータを、コンテンツサーバ２０の一面３Ｄデータ記憶部２０１に保存する（ステップＳ１０７）。これにより、例えば、時刻ｔにおける視点Ｖｉ（ただし、ｉ∈［１，Ｎ］）に対応する一面３Ｄデータをｄｔｉとすれば、一面３Ｄデータの集合｛ｄｔｉ｜ｔ∈［ｔｓ，ｔｅ］，ｉ∈［１，Ｎ］｝が一面３Ｄデータ記憶部２０１に保存されることになる。
【0051】
なお、本実施形態では、仮想視点の配置数Ｎは全フレームで共通としたが、フレーム毎に異なっていてもよい。また、本実施形態では、上記のステップＳ１０２～ステップＳ１０５をフレーム毎に繰り返し実行したが、例えば、或る時間幅（時間幅がｔｅ－ｔｓである場合も含む）において、フレーム間で３Ｄデータｄｔが同一である場合は、当該時間幅に含まれる１つのフレームの３Ｄデータｄｔに関してのみ上記のステップＳ１０２～ステップＳ１０５を実行してもよい。
【0052】
≪対応表作成処理≫
次に、対応表作成処理について、図４を参照しながら説明する。図４は、本実施形態に係る対応表作成処理の一例を示すフローチャートである。以下では、３Ｄデータｄｔ（ただし、ｔ∈［ｔｓ，ｔｅ］）に関する視聴角度範囲対応表を作成する場合について説明する。なお、以下では、ｄ＝ｄｔと表す。
次に、対応表作成処理について、図４を参照しながら説明する。図４は、本実施形態に係る対応表作成処理の一例を示すフローチャートである。以下では、３Ｄデータｄｔ（ただし、ｔ∈［ｔｓ，ｔｅ］）に関する視聴角度範囲対応表を作成する場合について説明する。なお、以下では、ｄ＝ｄｔと表す。
【0053】
対応表作成部１０２は、図２のステップＳ１０２と同様に、３Ｄデータｄが表す対象物を中心にＮ個の仮想視点を配置する（ステップＳ２０１）。なお、仮想視点の配置数、配置方法（等間隔又は非等間隔、円周上に配置又は多角形上に配置等）は図２のステップＳ１０２と同様とする。
【0054】
次に、対応表作成部１０２は、上記のステップＳ２０１で配置したＮ個の仮想視点の中から１つの仮想視点を選択する（ステップＳ２０２）。
【0055】
次に、対応表作成部１０２は、上記のステップＳ２０２で選択した仮想視点と、それに隣接する仮想視点（以下、「隣接仮想視点」という。）との境界角度を算出する（ステップＳ２０３）。境界角度とは、当該仮想視点の視線と、当該仮想視点と隣接仮想視点の境界との間の角度のことである。
【0056】
ここで、一例として、図３に示す仮想視点の配置に対して、仮想視点Ｖ２の境界角度を算出する場合について説明する。図５に示すように、仮想視点Ｖ２は、対象物Ｏに対して角度θ２の位置にあるものとする。なお、図５に示す例では、対象物Ｏの中心を原点とするｘｙ平面上におけるｘ軸の正の方向を角度の基準としている。
【0057】
このとき、仮想視点Ｖ２の隣接仮想視点はＶ１とＶ３であり、仮想視点Ｖ２の視線と隣接仮想視点Ｖ１の視線との間の角度をφ２１、仮想視点Ｖ２の視線と隣接仮想視点Ｖ３の視線との間の角度をφ２２とする。そして、角度φ２１を２分する線を隣接仮想視点Ｖ１との境界、角度φ２２を２分する線を隣接仮想視点Ｖ３との境界として、これらの境界までの角度を境界角度とする。
【0058】
すなわち、隣接仮想視点Ｖ１との境界角度をθ２１、隣接仮想視点Ｖ３との境界角度をθ２２とすれば、θ２１＝φ２１／２、θ２２＝φ２２／２となる。
【0059】
なお、他の仮想視点Ｖｉ（ｉ＝１，３，・・・，８）の境界角度θｉ１及びθｉ２に関しても同様に算出することができる。
【0060】
次に、対応表作成部１０２は、Ｎ個すべての仮想視点を選択したか否かを判定する（ステップＳ２０４）。
【0061】
上記のステップＳ２０４で未だ選択していない仮想視点があると判定された場合、対応表作成部１０２は、上記のステップＳ２０２に戻り、未だ選択していない仮想視点の中から１つの仮想視点を選択し、ステップＳ２０３以降の処理を実行する。
【0062】
一方で、上記のステップＳ２０４でＮ個すべての仮想視点を選択したと判定された場合、対応表作成部１０２は、上記のステップＳ２０３で算出した境界角度から各仮想視点の視聴角度範囲を算出することで視聴角度範囲対応表を作成し、作成した視聴角度範囲対応表を対応表記憶部１０５に保存する（ステップＳ２０５）。仮想視点Ｖｉ（ただし、ｉ∈［１，Ｎ］）は対象物に対して角度θｉの位置にあり、仮想視点Ｖｉの境界角度をθｉ１，θｉ２とすれば、仮想視点Ｖｉの視聴角度範囲はθｉ－θｉ１≦θｉ＜θｉ＋θｉ２と算出される。これにより、仮想視点Ｖｉと視聴角度範囲θｉ－θｉ１≦θｉ＜θｉ＋θｉ２とを対応付けることで視聴角度範囲対応表が作成される。このように作成された視聴角度範囲対応表の一例を図６に示す。
【0063】
なお、本実施形態では、時刻ｔ∈［ｔｓ，ｔｅ］の３Ｄデータｄｔで共通の視聴角度範囲対応表を作成したが、例えば、フレームによって仮想視点の配置数が異なる場合等には、仮想視点の配置数毎に視聴角度範囲対応表を作成してもよい。
【0064】
≪配信処理≫
次に、配信処理について、図７を参照しながら説明する。図７は、本実施形態に係る配信処理の一例を示すフローチャートである。以下のステップＳ３０１～ステップＳ３０３はユーザ視点情報を受信する毎に実行され、ステップＳ３０４～ステップＳ３０５はフレーム間隔毎に実行される。ただし、以下では、ユーザの視界内に対象物の少なくとも一部の部分が含まれているものとする。
次に、配信処理について、図７を参照しながら説明する。図７は、本実施形態に係る配信処理の一例を示すフローチャートである。以下のステップＳ３０１～ステップＳ３０３はユーザ視点情報を受信する毎に実行され、ステップＳ３０４～ステップＳ３０５はフレーム間隔毎に実行される。ただし、以下では、ユーザの視界内に対象物の少なくとも一部の部分が含まれているものとする。
【0065】
配信制御部１０３は、クライアント３０から受信したユーザ視点情報に含まれる視点又は空間位置を用いて、対象物に対するユーザ位置を算出する（ステップＳ３０１）。ここで、ユーザ位置は、対象物に対する視点又は空間位置の角度である。なお、角度の基準は、図４のステップＳ２０３で対象物に対する仮想視点の位置を決定したときと同様とする。
【0066】
次に、配信制御部１０３は、対応表記憶部１０５に記憶されている視聴角度範囲対応表を参照して、上記のステップＳ３０１で算出したユーザ位置から仮想視点を特定する（ステップＳ３０２）。すなわち、配信制御部１０３は、各仮想視点のうち、ユーザ位置が含まれる視聴角度範囲に対応する仮想視点を特定する。
【0067】
例えば、図８に示すように、或るユーザＡのユーザ位置をθＡとして、θ２－θ２１≦θＡ＜θ２＋θ２２であったとする。この場合、上記のステップＳ３０２では仮想視点Ｖ２が特定される。
【0068】
また、例えば、図８に示すように、或るユーザＢのユーザ位置をθＢとして、θ３－θ３１≦θＢ＜θ３＋θ３２であったとする。この場合、上記のステップＳ３０２では仮想視点Ｖ３が特定される。
【0069】
なお、図８に示す例のユーザＡは視線方向に対象物Ｏが存在するケースであり、ユーザＢは視線方向には対象物Ｏは存在しないものの視界内に対象物Ｏの少なくとも一部の部分が含まれているケースである。
【0070】
次に、配信制御部１０３は、上記のステップＳ３０２で特定した仮想視点に対応する一面３Ｄデータを配信対象に決定する（ステップＳ３０３）。すなわち、例えば、上記のステップＳ３０２で特定した仮想視点がＶｉである場合、配信制御部１０３は、一面３Ｄデータ｛ｄｔｉ｝を配信対象に決定する。
【0071】
配信部１０４は、上記のステップＳ３０３で決定した配信対象の一面３Ｄデータのうち、該当の時刻のフレームの一面３Ｄデータをコンテンツサーバ２０から取得する（ステップＳ３０４）。
【0072】
そして、配信部１０４は、上記のステップＳ３０４で取得した一面３Ｄデータをクライアント３０に配信する（ステップＳ３０５）。これにより、クライアント３０側で当該一面３Ｄデータがレンダリングされ、ディスプレイ上に対象物が表示される。
【0073】
＜ハードウェア構成＞
最後に、本実施形態に係る配信制御サーバ１０及びコンテンツサーバ２０のハードウェア構成について説明する。本実施形態に係る配信制御サーバ１０及びコンテンツサーバ２０は、例えば、図９に示すコンピュータ５００のハードウェア構成により実現される。なお、クライアント３０及びサービスサイトサーバ４０も同様のハードウェア構成で実現されていてもよい。
最後に、本実施形態に係る配信制御サーバ１０及びコンテンツサーバ２０のハードウェア構成について説明する。本実施形態に係る配信制御サーバ１０及びコンテンツサーバ２０は、例えば、図９に示すコンピュータ５００のハードウェア構成により実現される。なお、クライアント３０及びサービスサイトサーバ４０も同様のハードウェア構成で実現されていてもよい。
【0074】
図９に示すコンピュータ５００は、入力装置５０１と、表示装置５０２と、外部Ｉ／Ｆ５０３と、通信Ｉ／Ｆ５０４と、プロセッサ５０５と、メモリ装置５０６とを有する。これらの各ハードウェアは、それぞれがバス５０７により通信可能に接続される。
【0075】
入力装置５０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置５０２は、例えば、ディスプレイ等である。なお、コンピュータ５００は、入力装置５０１及び表示装置５０２のうちの少なくとも一方を有していなくてもよい。
【0076】
外部Ｉ／Ｆ５０３は、記録媒体５０３ａ等の外部装置とのインタフェースである。なお、記録媒体５０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。
【0077】
通信Ｉ／Ｆ５０４は、他の装置や機器、システム等との間でデータ通信を行うためのインタフェースである。プロセッサ５０５は、例えば、ＣＰＵ等の各種演算装置である。メモリ装置５０６は、例えば、ＨＤＤやＳＳＤ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。
【0078】
本実施形態に係る配信制御サーバ１０及びコンテンツサーバ２０は、図９に示すコンピュータ５００のハードウェア構成を有することにより、上述した各種処理を実現することができる。なお、図９に示すコンピュータ５００のハードウェア構成は一例であって、コンピュータ５００は、他のハードウェア構成を有していてもよい。例えば、コンピュータ５００は、複数のプロセッサ５０５を有していてもよいし、複数のメモリ装置５０６を有していてもよい。
【0079】
＜まとめ＞
以上のように、本実施形態に係る配信制御システム１は、立体映像コンテンツを構成する３Ｄデータが表す対象物に対して複数の仮想視点を配置した上で、これらの仮想視点毎に、当該仮想視点から視認できない部分のポリゴンメッシュのジオメトリーを簡素化する。これにより、仮想視点毎に、元の３Ｄデータよりもデータ量を削減した一面３Ｄデータが作成される。
以上のように、本実施形態に係る配信制御システム１は、立体映像コンテンツを構成する３Ｄデータが表す対象物に対して複数の仮想視点を配置した上で、これらの仮想視点毎に、当該仮想視点から視認できない部分のポリゴンメッシュのジオメトリーを簡素化する。これにより、仮想視点毎に、元の３Ｄデータよりもデータ量を削減した一面３Ｄデータが作成される。
【0080】
したがって、クライアント３０におけるユーザの位置や視界に応じて、適切な一面３Ｄデータを配信することで、ユーザの体感品質は維持したまま立体映像コンテンツの配信に要するデータ量を削減することが可能となる。また、これに加えて、クライアント３０側のレンダリング負荷も削減されるため、クライアント３０側の処理負荷の軽減も実現することが可能となる。
【0081】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
【符号の説明】
【0082】
１ 配信制御システム
１０ 配信制御サーバ
２０ コンテンツサーバ
３０ クライアント
４０ サービスサイトサーバ
５０ 通信ネットワーク
１０１ 一面３Ｄデータ作成部
１０２ 対応表作成部
１０３ 配信制御部
１０４ 配信部
１０５ 対応表記憶部
２０１ 一面３Ｄデータ記憶部
５００ コンピュータ
５０１ 入力装置
５０２ 表示装置
５０３ 外部Ｉ／Ｆ
５０３ａ 記録媒体
５０４ 通信Ｉ／Ｆ
５０５ プロセッサ
５０６ メモリ装置
５０７ バス
１０ 配信制御サーバ
２０ コンテンツサーバ
３０ クライアント
４０ サービスサイトサーバ
５０ 通信ネットワーク
１０１ 一面３Ｄデータ作成部
１０２ 対応表作成部
１０３ 配信制御部
１０４ 配信部
１０５ 対応表記憶部
２０１ 一面３Ｄデータ記憶部
５００ コンピュータ
５０１ 入力装置
５０２ 表示装置
５０３ 外部Ｉ／Ｆ
５０３ａ 記録媒体
５０４ 通信Ｉ／Ｆ
５０５ プロセッサ
５０６ メモリ装置
５０７ バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】