特開 2023-85913 動画配信システム、動画配信装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023085913

(43)【公開日】2023-06-21

(54)【発明の名称】動画配信システム、動画配信装置、方法、及びプログラム

(51)【国際特許分類】

   H04N 21/2668 20110101AFI20230614BHJP

   H04N 7/18 20060101ALI20230614BHJP

【ＦＩ】

H04N21/2668

H04N7/18 V

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021200231

(22)【出願日】2021-12-09

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ２０２１年１月２１日にｈｔｔｐｓ：／／ｗｗｗ．ｎｔｔｄｏｃｏｍｏ．ｃｏ．ｊｐ／ｉｎｆｏ／ｎｅｗｓ＿ｒｅｌｅａｓｅ／２０２１／０１／２１＿０１．ｈｔｍｌにて公開 ２０２１年２月４日にｈｔｔｐｓ：／／ｄｏｃｏｍｏ－ｏｐｅｎｈｏｕｓｅ－２０２１．ｊｐ／ｐｒｅ／にて公開 ２０２０年１２月１４日にｈｔｔｐｓ：／／ｗｗｗ．ｎｔｔｄｏｃｏｍｏ．ｃｏ．ｊｐ／ｉｎｆｏ／ｎｅｗｓ＿ｒｅｌｅａｓｅ／２０２０／１２／１４＿００．ｈｔｍｌにて公開

(71)【出願人】

【識別番号】000102717

【氏名又は名称】ＮＴＴテクノクロス株式会社

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】川崎 洋平

(72)【発明者】

【氏名】藤田 邦彦

(72)【発明者】

【氏名】的場 直人

【テーマコード（参考）】

5C054

5C164

【Ｆターム（参考）】

5C054CC05

5C054DA09

5C054EJ00

5C054FD02

5C054FE11

5C054HA00

5C164FA06

5C164MC04S

5C164PA33

5C164PA38

5C164SA25S

5C164SB02S

5C164SB21S

5C164SC05P

(57)【要約】

【課題】興味領域のパノラマ動画を作成すること。
【解決手段】一実施形態に係る動画配信システムは、１以上のカメラの各々で撮影された１以上の撮影画像を用いて、予め決められた興味領域を表す動画を構成するフレーム画像を作成する第１の作成部と、前記フレーム画像を所定の解像度に変換した全体画像を作成する第２の作成部と、前記全体画像をユーザ端末に配信する配信部と、を有する。
【選択図】図１２

【特許請求の範囲】

【請求項1】

１以上のカメラの各々で撮影された１以上の撮影画像を用いて、予め決められた興味領域を表す動画を構成するフレーム画像を作成する第１の作成部と、
前記フレーム画像を所定の解像度に変換した全体画像を作成する第２の作成部と、
前記全体画像をユーザ端末に配信する配信部と、
を有する動画配信システム。

【請求項2】

前記動画はパノラマ動画であり、
前記興味領域は、正距円筒図法で表現された３６０°×１８０°パノラマ動画の領域の中で垂直角度０°より大きくかつ１８０°未満、水平角度が０°より大きくかつ３６０°未満の領域である、請求項１に記載の動画配信システム。

【請求項3】

前記興味領域は、
垂直角度が３０°～１５０°、水平角度が６０°～３００°の範囲の領域である、請求項２に記載の動画配信システム。

【請求項4】

前記第１の作成部は、
前記興味領域と前記興味領域以外の領域とのいずれか一方又は両方に所定のコンテンツを埋め込んだ動画を構成するフレーム画像を作成する、請求項１乃至３の何れか一項に記載の動画配信システム。

【請求項5】

前記フレーム画像に対して予め設定された複数の部分領域の各々を表す複数の部分領域画像であって、かつ、前記解像度の複数の部分領域画像を作成する第３の作成部を有し、
前記配信部は、
前記複数の部分領域画像の中で、前記動画が再生される際の前記ユーザ端末の表示範囲に応じた部分領域画像を前記ユーザ端末に更に配信する、請求項１乃至４の何れか一項に記載の動画配信システム。

【請求項6】

１以上のカメラの各々で撮影された１以上の撮影画像を用いて、予め決められた興味領域を表す動画を構成するフレーム画像を作成する第１の作成部と、
前記フレーム画像を所定の解像度に変換した全体画像を作成する第２の作成部と、
前記全体画像をユーザ端末に配信する配信部と、
を有する動画配信装置。

【請求項7】

１以上のカメラの各々で撮影された１以上の撮影画像を用いて、予め決められた興味領域を表す動画を構成するフレーム画像を作成する第１の作成手順と、
前記フレーム画像を所定の解像度に変換した全体画像を作成する第２の作成手順と、
前記全体画像をユーザ端末に配信する配信手順と、
をコンピュータが実行する方法。

【請求項8】

１以上のカメラの各々で撮影された１以上の撮影画像を用いて、予め決められた興味領域を表す動画を構成するフレーム画像を作成する第１の作成手順と、
前記フレーム画像を所定の解像度に変換した全体画像を作成する第２の作成手順と、
前記全体画像をユーザ端末に配信する配信手順と、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画配信システム、動画配信装置、方法、及びプログラムに関する。

【背景技術】

【0002】

近年、上下左右の全方位３６０度を視聴可能な映像が知られており、このような映像はパノラマ映像（又は、「パノラマ動画」や「３６０度パノラマ映像」、「ＶＲ（Virtual Reality）映像」、「ＶＲ動画」、「３Ｄ動画」等とも称される。）と呼ばれている。一方で、パノラマ映像ではない通常の動画は、パノラマ動画との対比で「２Ｄ動画」等とも呼ばれる。

【0003】

また、例えば、動画配信サーバがパノラマ動画をクライアント端末にストリーミング配信等することで、当該クライアント端末でパノラマ動画を視聴することも行われている。しかしながら、パノラマ動画は一般にデータサイズが大きい場合が多く、パノラマ動画の配信に時間が掛かり、パノラマ動画がクライアント端末に表示されるまでに時間を要することがあった。

【0004】

これに対して、クライアント端末に表示される範囲（以下、「視野範囲」ともいう。）を通常の画質で配信し、クライアント端末に表示されない範囲は低画質で配信する技術が知られている（例えば、非特許文献１）。この技術を用いることで、ストリーミング配信等によりパノラマ動画を視聴する際に、ユーザの視聴品質の低下を抑制しつつ、パノラマ動画の配信に要する時間を削減することが可能となる。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】越智 大介、岩城 進之介、「リアルタイム全天球映像配信システム (特集 ドワンゴ×NTT R&Dコラボレーション)」、NTT技術ジャーナル 27(4)、51-54、2015-04

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、スポーツやコンサート、演劇等といったパノラマ動画で良く視聴されるコンテンツでは必ずしも３６０°×１８０°のパノラマ動画が要求されるものではない。例えば、一般に、コンサートや演劇等のコンテンツでは、視聴者は舞台やその周辺領域に興味があり、客席後方の領域には興味はないものと考えられる。このため、視聴者の興味がない領域は除き、興味がある領域のパノラマ動画を作成することで、ユーザの視聴品質を低下させずに、パノラマ動画のデータサイズを削減したり、より高画質化したりすることが可能になる。

【0007】

本発明の一実施形態は、上記の点に鑑みてなされたもので、興味領域のパノラマ動画を作成することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、一実施形態に係る動画配信システムは、１以上のカメラの各々で撮影された１以上の撮影画像を用いて、予め決められた興味領域を表す動画を構成するフレーム画像を作成する第１の作成部と、前記フレーム画像を所定の解像度に変換した全体画像を作成する第２の作成部と、前記全体画像をユーザ端末に配信する配信部と、を有する。

【発明の効果】

【0009】

興味領域のパノラマ動画を作成することができる。

【図面の簡単な説明】

【0010】

【図1】部分領域タイル及び全体縮小タイルの一例を説明するための図である。

【図2】第一の実施形態に係る動画配信システムの全体構成の一例を示す図である。

【図3】ＶＲ視聴モードと２Ｄ視聴モードの一例を説明するための図である。

【図4】第一の実施形態に係る動画配信システムの機能構成の一例を示す図である。

【図5】第一の実施形態に係る動画配信処理の一例を示すシーケンス図である。

【図6】パノラマ動画用全体縮小タイルとサムネイルタイルの合成の一例を説明するための図（その１）である。

【図7】パノラマ動画用全体縮小タイルとサムネイルタイルの合成の一例を説明するための図（その２）である。

【図8】第一の実施形態に係るモード切替処理の一例を示すシーケンス図である。

【図9】ＶＲ視聴モードから２Ｄ視聴モードへの切り替えの一例を説明するための図（その１）である。

【図10】ＶＲ視聴モードから２Ｄ視聴モードへの切り替えの一例を説明するための図（その２）である。

【図11】２Ｄ視聴モードからＶＲ視聴モードへの切り替えの一例を説明するための図である。

【図12】ＲＯＩパノラマ動画の一例を説明するための図である。

【図13】第二の実施形態に係る動画配信処理の一例を示すシーケンス図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態として、第一の実施形態と第二の実施形態について説明する。

【0012】

［第一の実施形態］
まず、第一の実施形態について説明する。本実施形態では、パノラマ動画と２Ｄ動画を切り替えながら視聴可能な動画配信システム１について説明する。

【0013】

＜パノラマ動画の配信方法＞
本実施形態の前提となる技術として、非特許文献１に記載されているパノラマ動画の配信方法について説明する。この非特許文献１に記載されている技術では、クライアント端末に表示される視野範囲を通常の画質で配信し、それ以外の範囲は低画質で配信する。

【0014】

例えば、図１に示すように、全天周投影球で表現されるパノラマ動画では、全天周投影球の中心を観測位置として、この観測位置にある疑似的なカメラ装置が所定の画角で撮影した範囲が視野範囲となる。また、全天周投影球で表現されるパノラマ動画は、垂直角度θが０～π、水平角度φが０～２πの正距円筒図法で表現することができる。このとき、非特許文献１に記載されている技術では、正距円筒図法で表現されたパノラマ動画（より正確には、そのパノラマ動画のフレーム画像）の視野範囲を含む部分領域を「部分領域タイル」、当該パノラマ動画全体を圧縮した画像を「全体縮小タイル」としてクライアント端末に配信する。この技術を用いることで、パノラマ動画の配信に要する時間を削減させることができると共に、視野範囲では高画質な動画が視聴可能であり、かつ、視野範囲を移動させた場合であっても動画が途切れることなく視聴可能とさせることができる。なお、ここでは圧縮とは画像サイズの縮小を意味する。

【0015】

なお、上記では「視野範囲」との用語を用いたが、これは、例えば、「視認範囲」や「表示範囲」、「視聴範囲」等と呼ばれてもよい。

【0016】

＜動画配信システム１の全体構成＞
本実施形態に係る動画配信システム１の全体構成を図２に示す。図２に示すように、本実施形態に係る動画配信システム１には、動画配信サーバ１０と、１以上のクライアント端末２０と、１以上のパノラマ動画用カメラ３０と、１以上の２Ｄ動画用カメラ４０とが含まれる。また、動画配信サーバ１０と各クライアント端末２０は、例えば、インターネット等の通信ネットワークＮ１を介して通信可能に接続される。更に、動画配信サーバ１０と各パノラマ動画用カメラ３０及び各２Ｄ動画用カメラ４０は、例えば、ＬＡＮ（Local Area Network）等の通信ネットワークＮ２を介して通信可能に接続される。

【0017】

動画配信サーバ１０は、クライアント端末２０からの要求に応じて、パノラマ動画や２Ｄ動画をストリーミング配信するコンピュータ又はコンピュータシステムである。このとき、動画配信サーバ１０は、パノラマ動画と２Ｄ動画を切り替えながら視聴可能なようにクライアント端末２０に配信する。

【0018】

クライアント端末２０は、パノラマ動画や２Ｄ画像を視聴可能な各種端末である。クライアント端末２０としては、例えば、スマートフォン、タブレット端末、ヘッドマウントディスプレイ、ウェアラブルデバイス、ＰＣ（パーソナルコンピュータ）等を用いることができる。ユーザは、クライアント端末２０を用いて、パノラマ動画と２Ｄ動画を切り替えながら視聴することができる。

【0019】

なお、ユーザは、クライアント端末２０を操作等することで、パノラマ動画中における視野範囲を移動又は変更することができる。このような操作としては、例えば、クライアント端末２０が備えるタッチパネルに対するスワイプ操作やフリック操作、視野範囲の移動ボタンの押下操作であってもよいし、マウス等のポインティングデバイスを用いた視野範囲の移動ボタンの押下操作等であってもよい。また、上下左右の全方位３６０度の向きを検出可能なセンサをクライアント端末２０が備えている場合には、クライアント端末２０の向きを変更することで、視野範囲の移動又は変更を行うことができてもよい。

【0020】

パノラマ動画用カメラ３０は、パノラマ動画を作成するための撮影画像（以下、パノラマ動画用撮影画像ともいう。）を生成するカメラ等の撮影装置である。パノラマ動画用カメラ３０は、通常のカメラであってもよいし、魚眼レンズ等の広視野角レンズを備えたカメラであってもよいし、パノラマ動画撮影用の専用カメラ（例えば、魚眼レンズ等の広視野角レンズを複数備えたカメラ等）であってもよい。

【0021】

２Ｄ動画用カメラ４０は、２Ｄ動画を作成するための撮影画像（以下、２Ｄ動画用撮影画像ともいう。）を生成するカメラ等の撮影装置である。

【0022】

なお、図１に示す動画配信システム１の全体構成は一例であって、他の構成であってもよい。例えば、クライアント端末２０に音や音声等も配信する場合には、マイク等の集音装置が動画配信システム１に含まれていてもよい。

【0023】

また、パノラマ動画や２Ｄ動画をストリーミング配信ではなく、オンデマンド配信する場合には、パノラマ動画や２Ｄ動画を保持する記憶装置等が動画配信システム１に含まれていてもよい。以下では、主に、スポーツやコンサート、演劇等のライブコンテンツをストリーミング配信する場合を想定して説明するが、以下の説明は、当該コンテンツを録画し、オンデマンド配信する場合にも同様に適用可能である。

【0024】

＜視聴モード＞
ここで、クライアント端末２０にはユーザがパノラマ動画を視聴するための「ＶＲ視聴モード」と２Ｄ動画を視聴するための「２Ｄ視聴モード」とが存在する。なお、「ＶＲ視聴モード」は、例えば、「パノラマ視聴モード」や「３Ｄ視聴モード」等と呼ばれてもよい。

【0025】

図３に示すように、ＶＲ視聴モードでは、クライアント端末２０にはＶＲ視聴画面１０００が表示される。このＶＲ視聴画面１０００には、部分領域タイル（又は全体縮小タイル）からパノラマ動画１００１が表示されると共に、そのパノラマ動画１００１上に２Ｄ動画のサムネイル動画１００２～１００３が表示される。そして、２Ｄ動画のサムネイル動画１００２又は１００３がユーザにより選択された場合、ＶＲ視聴モードから２Ｄ視聴モードに遷移する。

【0026】

図３に示すように、２Ｄ視聴モードでは、クライアント端末２０には２Ｄ視聴画面２０００が表示される。この２Ｄ視聴画面２０００には、ユーザにより選択された２Ｄ動画２００１が表示されると共に、パノラマ動画のサムネイル動画２００２と、現在表示されている２Ｄ動画２００１とは異なる他の２Ｄ動画のサムネイル動画２００３とが表示される。そして、パノラマ動画のサムネイル動画２００２がユーザにより選択された場合は２Ｄ視聴モードからＶＲ視聴モードに遷移し、他の２Ｄ動画のサムネイル動画２００３が選択された場合は２Ｄ視聴モードのまま当該他の２Ｄ動画が表示する。なお、２Ｄ動画２００１、サムネイル動画２００２及び２００３は、全体縮小タイルが表すパノラマ動画上に表示される。

【0027】

このように、本実施形態に係るクライアント端末２０では、ＶＲ視聴モード中に２Ｄ動画のサムネイル動画を表示すると共に、２Ｄ視聴モード中にパノラマ動画及び他の２Ｄ動画のサムネイル動画を表示し、いずれかのサムネイル動画がユーザにより選択された場合にはそのサムネイル動画に対応する動画（パノラマ動画又は２Ｄ動画）を表示する。これにより、ユーザは、パノラマ動画と２Ｄ動画を容易に切り替えて視聴することが可能となる。なお、サムネイル動画は、例えば、「補助動画」や「補助映像」等と呼ばれてもよい。

【0028】

したがって、例えば、あるスポーツ中継で試合会場全体を見渡せるパノラマ動画と、ある選手の視点動画や試合会場に固定的に設置されたカメラの動画等である２Ｄ動画とが提供されるような場合に、ユーザは、パノラマ動画と２Ｄ動画とを切り替えながら試合観戦を行うことが可能となる。

【0029】

なお、図３に示す例では、ＶＲ視聴画面１０００及び２Ｄ視聴画面２０００中のサムネイル動画が２つであるが、これは一例であって、サムネイル動画の個数は任意の個数とすることが可能である。また、サムネイル動画の個数はユーザが設定することができてもよいし、ＶＲ視聴画面１０００と２Ｄ視聴画面２０００でサムネイル動画の個数が異なっていてもよい。

【0030】

更に、図３に示す例では、ＶＲ視聴画面１０００及び２Ｄ視聴画面２０００において、サムネイル動画が下部に表示されているが、これは一例であって、上部、左部、又は右部に表示されていてもよい。また、上部、下部、左部、右部の２つ以上の部分にサムネイル動画が分散して表示されていてもよい。ただし、上下方向よりも左右方向の方が広範囲を視認可能であるという人の視野特性によれば、下部又は上部（特に、下部）にサムネイル動画を表示することが好ましい。

【0031】

加えて、ＶＲ視聴画面１０００及び２Ｄ視聴画面２０００において、サムネイル動画は常時表示されている必要はない。例えば、通常はサムネイル動画が非表示となっており、何等かのユーザ操作が検知されたり、新たなサムネイル動画が追加配信されたりしたタイミングでサムネイル動画が表示されてもよい。また、一度表示されたサムネイル動画は、例えば、一定時間の間、ユーザ操作が検知されなかった場合に再度非表示となってもよい。

【0032】

以下では、主に、ユーザがある１つのパノラマ動画を視聴可能である場合を想定するが、ユーザが複数のパノラマ動画を視聴可能であってもよい。例えば、第１のパノラマ動画と第２のパノラマ動画とが視聴可能である場合、第１のパノラマ動画を視聴するための第１のＶＲ視聴モードと、第２のパノラマ動画を視聴するための第２のＶＲ視聴モードとが存在し、ユーザは、第１のＶＲ視聴モードと第２のＶＲ視聴モードと２Ｄ視聴モードとを相互に切り替えることができてもよい。この場合、第１のＶＲ視聴モードでは第２のパノラマ動画のサムネイル動画も表示され、同様に第２のＶＲ視聴モードでは第１のパノラマ動画のサムネイル動画も表示される。

【0033】

＜動画配信システム１の機能構成＞
本実施形態に係る動画配信システム１の機能構成を図４に示す。

【0034】

≪動画配信サーバ１０≫
図４に示すように、本実施形態に係る動画配信サーバ１０は、機能部として、パノラマ動画作成部１０１と、パノラマ動画用タイル作成部１０２と、２Ｄ動画作成部１０３と、２Ｄ動画用タイル作成部１０４と、合成部１０５と、配信部１０６とを有する。これら各機能部は、例えば、動画配信サーバ１０にインストールされた１以上のプログラムが、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサに実行させる処理により実現される。

【0035】

パノラマ動画作成部１０１は、パノラマ動画用カメラ３０から取得した各パノラマ動画用撮影画像を用いてパノラマ動画を作成する。すなわち、パノラマ動画作成部１０１は、フレーム時間幅ごとに、各パノラマ動画用撮影画像をデコードした上で、スティッチングと呼ばれる既知の画像処理技術により各パノラマ動画用撮影画像を繋ぎ合わせることでパノラマ動画を作成する。なお、フレーム時間幅とは撮影画像の生成間隔のことであり、フレームレートの逆数である。

【0036】

パノラマ動画用タイル作成部１０２は、パノラマ動画作成部１０１により作成されたパノラマ動画を用いて、全体縮小タイルと、部分領域タイルと、２Ｄ視聴モード中にパノラマ動画のサムネイル動画を表示させるためのサムネイルタイル（以下、パノラマ動画用サムネイルタイルともいう。）とを作成する。

【0037】

ここで、全体縮小タイルとは、正距円筒図法で表現されたパノラマ動画（より正確には、パノラマ動画のフレーム画像）全体を所定の解像度（つまり、所定の幅及び高さ）に圧縮した画像のことである。ただし、非特許文献１に記載されている全体縮小タイルとは異なり、本実施形態では、全体縮小タイルにはパノラマ動画用領域とサムネイル用領域とが存在し、正距円筒図法で表現されたパノラマ動画を所定の解像度で圧縮した画像はパノラマ動画用領域に該当するものとする。なお、全体縮小タイルに有効領域が定義されている場合には、有効領域をパノラマ動画用領域、それ以外の非有効領域をサムネイル用領域としてもよい。また、以下では、画像の解像度を圧縮することを「縮小」との用語で統一するが、例えば、全体縮小タイルはパノラマ動画全体を所定の解像度に変換した画像ということもできるため、「縮小」の代わりに「変換」との用語が用いられてもよい。

【0038】

また、部分領域タイルとは、全体縮小タイルと同一解像度の画像であって、当該パノラマ動画（より正確には、そのフレーム画像）の一部の部分領域を表す画像である。なお、パノラマ動画の各フレーム画像に対して、そのフレーム画像全体を覆うように部分領域タイルが作成される。

【0039】

例えば、パノラマ動画の各フレーム画像の解像度を１１５２０×６４８０（ｐｉｘｅｌ）、部分領域タイルの解像度を１９２０×１０８０（ｐｉｘｅｌ）として、水平方向に９６０（ｐｉｘｅｌ）ずつ、垂直方向に５４０（ｐｉｘｅｌ）ずつオーバーラップさせながら部分領域タイルを作成する場合、パノラマ動画の各フレーム画像に対して、１１×１１＝１２１個の部分領域タイルが作成される。なお、これは一例であって、各フレーム画像に対して、どの解像度の部分領域タイルをどの程度オーバーラップさせて作成されるかは適宜設定することが可能である。一般に、よりオーバーラップさせて部分領域タイルを作成する方がより高い視聴品質をユーザに提供することが可能であるが、それに伴い多くの計算資源やメモリ等が必要になる。

【0040】

また、パノラマ動画用サムネイルタイルとは、部分領域タイルをサムネイル用の所定の解像度に圧縮した画像のことである。

【0041】

２Ｄ動画作成部１０３は、２Ｄ動画用カメラ４０から取得した各２Ｄ動画用撮影画像を用いて各２Ｄ動画（より正確には、それらのフレーム画像）をそれぞれ作成する。すなわち、２Ｄ動画作成部１０３は、フレーム時間幅ごとに、各２Ｄ動画用撮影画像をデコードすることで、各２Ｄ動画をそれぞれ作成する。

【0042】

２Ｄ動画用タイル作成部１０４は、２Ｄ動画作成部１０３により作成された２Ｄ動画を用いて、当該２Ｄ動画を表示させるための２Ｄ動画タイルと、ＶＲ視聴モード又は２Ｄ視聴モード中に当該２Ｄ動画のサムネイル動画を表示させるためのサムネイルタイル（以下、２Ｄ動画用サムネイルタイルともいう。）とを作成する。

【0043】

ここで、２Ｄ動画タイルとは、部分領域タイル以下の解像度の画像である。２Ｄ動画タイルは各２Ｄ動画に対して作成される。２Ｄ動画用サムネイルタイルとは、パノラマ動画用サムネイルタイルと同一解像度の画像であって、２Ｄ動画タイルをサムネイル用の所定の解像度に圧縮した画像のことである。

【0044】

合成部１０５は、クライアント端末２０がＶＲ視聴モードである場合には各２Ｄ動画の２Ｄ動画用サムネイルタイルを全体縮小タイルのサムネイル用領域に合成する。また、合成部１０５は、クライアント端末２０が２Ｄ視聴モードである場合には現在視聴中の２Ｄ動画以外の他の２Ｄ動画の２Ｄ動画用サムネイルタイルとパノラマ動画用サムネイルタイルとを全体縮小タイルのサムネイル用領域に合成する。

【0045】

配信部１０６は、クライアント端末２０がＶＲ視聴モードである場合には全体縮小タイルと、当該クライアント端末２０の視野範囲に応じた部分領域タイルとを配信する。また、配信部１０６は、クライアント端末２０が２Ｄ視聴モードである場合には全体縮小タイルと、ユーザにより選択された２Ｄ動画（つまり、ユーザが現在視聴中の２Ｄ動画）の２Ｄ動画タイルとを配信する。

【0046】

≪クライアント端末２０≫
図４に示すように、本実施形態に係るクライアント端末２０は、機能部として、動画視聴部２０１を有する。当該機能部は、例えば、クライアント端末２０にインストールされた１以上のプログラムが、ＣＰＵやＧＰＵ等のプロセッサに実行させる処理により実現される。

【0047】

動画視聴部２０１は、現在の視聴モードに応じて、パノラマ動画又は２Ｄ動画とサムネイル動画とを表示するための配信要求を動画配信サーバ１０に送信する。ここで、当該配信要求には、例えば、現在の視聴モードを示す情報と、視野範囲の中心座標又は当該中心座標を特定するための情報とが含まれる。視野範囲の中心座標を特定するための情報としては、例えば、視野範囲の各頂点の座標や対角頂点の座標等が挙げられる。

【0048】

また、動画視聴部２０１は、動画配信サーバ１０から配信されたタイル（全体縮小タイルと部分領域タイル又は２Ｄ動画タイル）によりパノラマ動画又は２Ｄ動画とサムネイル動画とを表示する。

【0049】

＜動画配信処理＞
本実施形態に係る動画配信処理のシーケンス図を図５に示す。ここで、以下のステップＳ１０１～ステップＳ１０２はパノラマ動画用撮影画像のフレーム時間幅ごとに繰り返し実行され、ステップＳ１０３～ステップＳ１０４は２Ｄ動画用撮影画像のフレーム時間幅ごとに繰り返し実行される。以下では、あるフレーム時刻ｔのステップＳ１０１～ステップＳ１０４について説明する。なお、フレーム時刻ｔとは、撮影開始時刻をｔ_０、フレーム時間幅をΔｔとすればｔ＝ｔ_０＋Δｔ，ｔ_０＋２Δｔ，ｔ_０＋３Δｔ，・・・と表される時刻のことである。

【0050】

動画配信サーバ１０のパノラマ動画作成部１０１は、フレーム時刻ｔの各パノラマ動画用撮影画像を用いてパノラマ動画（より正確には、そのフレーム画像）を作成する（ステップＳ１０１）。

【0051】

次に、動画配信サーバ１０のパノラマ動画用タイル作成部１０２は、上記のステップＳ１０１で作成されたパノラマ動画を用いて、フレーム時刻ｔの全体縮小タイルと部分領域タイルとパノラマ動画用サムネイルタイルとを作成する（ステップＳ１０２）。

【0052】

動画配信サーバ１０の２Ｄ動画作成部１０３は、フレーム時刻ｔの各２Ｄ動画用撮影画像を用いて、各２Ｄ動画（より正確には、それらのフレーム画像）をそれぞれ作成する（ステップＳ１０３）。

【0053】

次に、動画配信サーバ１０の２Ｄ動画用タイル作成部１０４は、上記のステップＳ１０３で作成された各２Ｄ動画を用いて、フレーム時刻ｔの２Ｄ動画タイルと２Ｄ動画用サムネイルタイルとをそれぞれ作成する（ステップＳ１０４）。なお、例えば、２Ｄ動画用カメラ４０がＭ台存在し、これらＭ台の２Ｄ動画用カメラ４０の各々から２Ｄ動画用撮影画像が得られた場合、Ｍ個の２Ｄ動画タイルとＭ個の２Ｄ動画用サムネイルタイルとが作成される。

【0054】

続いて、クライアント端末２０の視聴モードがＶＲ視聴モードである場合はステップＳ１０５～ステップＳ１０８が実行され、２Ｄ視聴モードである場合はステップＳ１０９～ステップＳ１１２が実行される。以下のステップＳ１０５～ステップＳ１０８及びステップＳ１０９～ステップＳ１１２は、視聴モードが切り替わらない間、例えば、ｎを予め設定した１以上の整数として、ｎ×フレーム時間幅ごとに繰り返し実行される。

【0055】

・ＶＲ視聴モードである場合
クライアント端末２０の動画視聴部２０１は、ＶＲ視聴モード配信要求を動画配信サーバ１０に送信する（ステップＳ１０５）。ここで、ＶＲ視聴モード配信要求には、タイルの配信を要求するｎ個以上のフレーム時刻を表す情報が含まれる。ただし、このｎ個以上のフレーム時刻を表す情報は必須ではなく、ＶＲ視聴モード配信要求に含まれていなくてもよい。

【0056】

動画配信サーバ１０の合成部１０５は、該当のフレーム時刻（つまり、タイルの配信を要求するフレーム時刻）の各２Ｄ動画用サムネイルタイルをそのフレーム時刻の全体縮小タイルに合成する（ステップＳ１０６）。なお、例えば、ユーザが複数のパノラマ動画を視聴可能な場合には、合成部１０５は、更に、全体縮小タイルに対応するパノラマ動画以外のパノラマ動画のパノラマ動画用サムネイルタイルを当該全体縮小タイルに合成する。

【0057】

ここで、一例として、２Ｄ動画用カメラ４０が２台存在し、あるフレーム時刻で２つの２Ｄ動画用サムネイルタイルが作成された場合の合成例を図６に示す。図６に示すように、この場合、全体縮小タイルのサムネイル用領域に各２Ｄ動画用サムネイルタイルを埋め込むことで合成する。

【0058】

次に、動画配信サーバ１０の配信部１０６は、上記のステップＳ１０６における合成後の全体縮小タイルと、それと同一フレーム時刻の部分領域タイルとをクライアント端末２０に送信する（ステップＳ１０７）。このとき、配信部１０６は、ＶＲ視聴モード配信要求に含まれる視野範囲の中心座標又は当該中心座標を特定するための情報を用いて、当該視野範囲が含まれる部分領域タイルを特定した上で、この特定した部分領域タイルをクライアント端末２０に送信する。なお、全体縮小タイルと部分領域タイルはエンコードされた上で、このエンコード後のデータがクライアント端末２０に送信される。

【0059】

そして、クライアント端末２０の動画視聴部２０１は、動画配信サーバ１０から送信された全体縮小タイルと部分領域タイルを用いて、ＶＲ視聴モードでパノラマ動画を再生する（ステップＳ１０８）。すなわち、動画視聴部２０１は、動画配信サーバ１０から受信したデータをデコードした上で、部分領域タイルをパノラマ動画として表示すると共に、全体縮小タイルに含まれる２Ｄ動画用サムネイルをサムネイル動画として当該パノラマ動画上に表示する。これにより、クライアント端末２０には、図３に示したようなＶＲ視聴画面１０００が表示される。

【0060】

・２Ｄ視聴モードである場合
クライアント端末２０の動画視聴部２０１は、２Ｄ視聴モード配信要求を動画配信サーバ１０に送信する（ステップＳ１０９）。ここで、２Ｄ視聴モード配信要求には、現在視聴中の２Ｄ動画を示す情報と、タイルの配信を要求するｎ個以上のフレーム時刻を表す情報とが含まれる。ただし、このｎ個以上のフレーム時刻を表す情報は必須ではなく、２Ｄ視聴モード配信要求に含まれていなくてもよい。

【0061】

動画配信サーバ１０の合成部１０５は、該当のフレーム時刻（つまり、タイルの配信を要求するフレーム時刻）の各２Ｄ動画用サムネイルタイルのうち現在視聴中の２Ｄ動画以外の２Ｄ動画用サムネイルタイルと、そのフレーム時刻のパノラマ動画用サムネイルタイルとをそのフレーム時刻の全体縮小タイルに合成する（ステップＳ１１０）。ここで、一例として、２Ｄ動画用カメラ４０が２台存在し、あるフレーム時刻で２つの２Ｄ動画用サムネイルタイルが作成されたが、ユーザがある１台の２Ｄ動画用カメラ４０の２Ｄ動画を視聴中である場合の合成例を図７に示す。図７に示すように、この場合、全体縮小タイルのサムネイル用領域にユーザが視聴していない２Ｄ動画（図７に示す例では「２Ｄ動画１」）の２Ｄ動画用サムネイルタイルと、パノラマ動画用サムネイルタイルとを埋め込むことで合成する。ただし、このとき、合成部１０５は、２Ｄ視聴モード配信要求に含まれる視野範囲の中心座標又は当該中心座標を特定するための情報を用いて、当該視野範囲が含まれる部分領域タイルを特定した上で、この特定した部分領域タイルに対応するパノラマ動画用サムネイルタイルを全体縮小タイルに埋め込む。

【0062】

ただし、上記のステップＳ１１０において、パノラマ動画用サムネイルを全体縮小タイルに合成しなくてもよい。この場合、パノラマ動画用領域の画像がパノラマ動画のサムネイル動画に使用されてもよいし、ユーザの視野範囲が含まれる部分領域タイルをクライアント端末２０に送信することで当該部分領域タイルがパノラマ動画のサムネイル動画に使用されてもよい。

【0063】

なお、図６及び図７に示す例ではいずれもサムネイル用領域が全体縮小タイルの下端に存在するが、これは一例であって、サムネイル用領域は全体縮小タイルの上端に存在してもよいし、左端や右端に存在してもよい。また、上端と下端の両方や左端と右端の両方等といったようにサムネイル用領域が複数存在してもよい。特に、サムネイルの個数が多い場合にはサムネイル用領域を複数設定してもよい。

【0064】

次に、動画配信サーバ１０の配信部１０６は、上記のステップＳ１０５における合成後の全体縮小タイルと、それと同一フレーム時刻の２Ｄ動画タイルとをクライアント端末２０に送信する（ステップＳ１１１）。このとき、配信部１０６は、２Ｄ視聴モード配信要求に含まれる現在視聴中の２Ｄ動画を示す情報からユーザが現在視聴中の２Ｄ動画を特定した上で、この特定した２Ｄ動画の２Ｄ動画タイルをクライアント端末２０に送信する。なお、全体縮小タイルと２Ｄ動画タイルはエンコードされた上で、このエンコード後のデータがクライアント端末２０に送信される。

【0065】

そして、クライアント端末２０の動画視聴部２０１は、動画配信サーバ１０から送信された全体縮小タイルと２Ｄ動画タイルを用いて、２Ｄ視聴モードで２Ｄ動画を再生する（ステップＳ１１２）。すなわち、動画視聴部２０１は、動画配信サーバ１０から受信したデータをデコードした上で、２Ｄ動画タイルを２Ｄ動画として表示すると共に、全体縮小タイルに含まれる２Ｄ動画用サムネイルタイル及びパノラマ動画用サムネイルタイルをサムネイル動画として表示する。これにより、クライアント端末２０には、図３に示したような２Ｄ視聴画面２０００が表示される。なお、このとき、２Ｄ動画タイルの解像度が部分領域タイルの解像度よりも低い場合（つまり、例えば、図３に示す２Ｄ動画２００１のように、パノラマ動画１００１よりも解像度が低い場合）、背景として、全体縮小タイルに含まれるパノラマ動画用領域の画像が表示されてもよい。

【0066】

＜モード切替処理＞
本実施形態に係るモード切替処理のシーケンス図を図８に示す。以下、クライアント端末２０のユーザはＶＲ視聴モード又は２Ｄ視聴モードのいずれかの視聴モードでパノラマ動画又は２Ｄ動画を視聴しているものとする。

【0067】

クライアント端末の動画視聴部２０１は、ユーザによるモード切替操作を受け付ける（ステップＳ２０１）。モード切替操作とは視聴モードをＶＲ視聴モードから２Ｄ視聴モード又は２Ｄ視聴モードからＶＲ視聴モードに切り替えるための操作であり、本実施形態では、ＶＲ視聴モード中における２Ｄ動画のサムネイル動画の選択操作と２Ｄ視聴モード中におけるパノラマ動画のサムネイル動画の選択操作であるものとする。ただし、これら以外にも視聴モードを切り替え可能な任意の操作をモード切替操作としてもよい。

【0068】

続いて、ＶＲ視聴モードから２Ｄ視聴モードへのモード切替操作が受け付けられた場合はステップＳ２０２～ステップＳ２０６が実行され、２Ｄ視聴モードからＶＲ視聴モードへのモード切替操作が受け付けられた場合はステップＳ２０７～ステップＳ２１１が実行される。

【0069】

・ＶＲ視聴モードから２Ｄ視聴モードへの切り替え
クライアント端末２０の動画視聴部２０１は、２Ｄ視聴モード配信要求を動画配信サーバ１０に送信する（ステップＳ２０２）。ここで、２Ｄ視聴モード配信要求には、モード切替操作で選択された２Ｄ動画を示す情報も含まれているものとする。

【0070】

次に、クライアント端末２０の動画視聴部２０１は、モード切替操作で選択されたサムネイル動画の２Ｄ動画が表示されるまでの待機画面を表示する（ステップＳ２０３）。

【0071】

動画配信サーバ１０の合成部１０５は、図５のステップＳ１１０と同様に、該当のフレーム時刻の各２Ｄ動画用サムネイルタイルのうちモード切替操作で選択された２Ｄ動画以外の２Ｄ動画用サムネイルタイルと、そのフレーム時刻のパノラマ動画用サムネイルタイルとをそのフレーム時刻の全体縮小タイルに合成する（ステップＳ２０４）。

【0072】

次に、動画配信サーバ１０の配信部１０６は、図５のステップＳ１１１と同様に、上記のステップＳ２０４における合成後の全体縮小タイルと、それと同一フレーム時刻の２Ｄ動画タイルとをクライアント端末２０に送信する（ステップＳ２０５）。このとき、配信部１０６は、２Ｄ視聴モード配信要求に含まれるモード切替操作で選択された２Ｄ動画を示す情報からユーザが選択した２Ｄ動画を特定した上で、この特定した２Ｄ動画の２Ｄ動画タイルをクライアント端末２０に送信する。なお、全体縮小タイルと２Ｄ動画タイルはエンコードされた上で、このエンコード後のデータがクライアント端末２０に送信される。

【0073】

そして、クライアント端末２０の動画視聴部２０１は、図５のステップＳ１１２と同様に、動画配信サーバ１０から送信された全体縮小タイルと２Ｄ動画タイルを用いて、２Ｄ視聴モードで２Ｄ動画を再生する（ステップＳ２０６）。これにより、待機画面から２Ｄ視聴画面に表示が遷移する。

【0074】

ここで、ＶＲ視聴モードから２Ｄ視聴モードへ切り替える際のクライアント端末２０の画面遷移の一例を図９に示す。図９に示すように、ＶＲ視聴画面１０００にはパノラマ動画１００１とサムネイル動画１００２及び１００３とが表示されており、例えば、ユーザがサムネイル動画１００２を選択すると、上記のステップＳ２０３で待機画面１５００が表示される。この待機画面１５００では、低画質な２Ｄ動画１５０１と待機インジケータ１５０２とが表示される。なお、低画質な２Ｄ動画１５０１の背景として、全体縮小タイルに含まれるパノラマ動画用領域の画像が表示されてもよい。ここで、２Ｄ動画１５０１は、ユーザにより選択されたサムネイル動画１００２に対応する２Ｄ動画用サムネイルタイルを２Ｄ動画タイルと同一の解像度に拡大したものである。そして、動画配信サーバ１０から全体縮小タイルと２Ｄ動画タイルを受信すると、２Ｄ視聴画面２０００が表示される。この２Ｄ視聴画面２０００には、ユーザにより選択されたサムネイル動画１００２に対応する２Ｄ動画２００１が表示される。このように、ユーザにより選択された２Ｄ動画が表示されるまでの間、この２Ｄ動画の低画質な２Ｄ動画をサムネイルタイルから表示する。これにより、モード切替に伴うユーザの視聴品質の低下を抑止することができる。

【0075】

また、ＶＲ視聴モードから２Ｄ視聴モードへ切り替わる際のクライアント端末２０の画面遷移の他の例を図１０に示す。図１０に示すように、上記のステップＳ２０３で待機画面１６００を表示してもよい。この待機画面１６００では待機インジケータと２Ｄ動画を読み込み中である旨の文字列とをエリア１６０１上に表示する。これにより、図９と比較するとユーザの視聴品質は低下するが、簡易に実装することが可能となる。なお、待機インジケータと２Ｄ動画を読み込み中である旨の文字列の両方を表示するのではなく、いずれか一方のみを表示してもよい。

【0076】

・２Ｄ視聴モードからＶＲ視聴モードへの切り替え
クライアント端末２０の動画視聴部２０１は、ＶＲ視聴モード配信要求を動画配信サーバ１０に送信する（ステップＳ２０７）。

【0077】

次に、クライアント端末２０の動画視聴部２０１は、モード切替操作で選択されたサムネイル動画のパノラマ動画が表示されるまでの待機画面を表示する（ステップＳ２０８）。

【0078】

動画配信サーバ１０の合成部１０５は、図５のステップＳ１０６と同様に、該当のフレーム時刻の各２Ｄ動画用サムネイルタイルをそのフレーム時刻の全体縮小タイルに合成する（ステップＳ２０９）。

【0079】

次に、動画配信サーバ１０の配信部１０６は、図５のステップＳ１０７と同様に、上記のステップＳ２０９における合成後の全体縮小タイルと、それと同一フレーム時刻の部分領域タイルとをクライアント端末２０に送信する（ステップＳ２１０）。このとき、配信部１０６は、ＶＲ視聴モード配信要求に含まれる視野範囲の中心座標又は当該中心座標を特定するための情報を用いて、当該視野範囲が含まれる部分領域タイルを特定した上で、この特定した部分領域タイルをクライアント端末２０に送信する。なお、全体縮小タイルと部分領域タイルはエンコードされた上で、このエンコード後のデータがクライアント端末２０に送信される。

【0080】

そして、クライアント端末２０の動画視聴部２０１は、図５のステップＳ１０８と同様に、動画配信サーバ１０から送信された全体縮小タイルと部分領域タイルを用いて、ＶＲ視聴モードでパノラマ動画を再生する（ステップＳ２１１）。これにより、待機画面からＶＲ視聴画面に表示が遷移する。

【0081】

ここで、２Ｄ視聴モードからＶＲ視聴モードへ切り替える際のクライアント端末２０の画面遷移の一例を図１１に示す。図１１に示すように、２Ｄ視聴画面２０００には２Ｄ動画２００１と、パノラマ動画のサムネイル動画２００２と、現在視聴中の２Ｄ動画とは異なる他の２Ｄ動画のサムネイル動画２００３とが表示されており、例えば、ユーザがサムネイル動画２００２を選択すると、上記のステップＳ２０８で待機画面１７００が表示される。この待機画面１７００では、低画質なパノラマ動画上に待機インジケータ１７０１が表示される。ここで、低画質なパノラマ動画は、全体縮小タイルにより表示されるパノラマ動画である。そして、動画配信サーバ１０から全体縮小タイルと部分領域タイルを受信すると、ＶＲ視聴画面１０００が表示される。このように、部分領域タイルによるパノラマ動画が表示されるまでの間、低画質なパノラマ動画を全体縮小タイルから表示する。これにより、モード切替に伴うユーザの視聴品質の低下を抑止することができる。

【0082】

なお、図８ではＶＲ視聴モードから２Ｄ視聴モード又は２Ｄ視聴モードからＶＲ視聴モードに切り替える場合について説明したが、例えば、２Ｄ視聴画面において、現在視聴中の２Ｄ動画とは異なる他の２Ｄ動画のサムネイル動画が選択された場合も同様に待機画面が表示されてもよい。すなわち、この場合は２Ｄ視聴モードのままであり、視聴モードの切り替えは発生しないが、ユーザにより選択された新たな２Ｄ動画の２Ｄ動画タイルを動画配信サーバ１０から受信する必要があるため、この新たな２Ｄ動画の配信要求を行ってから、当該新たな２Ｄ動画の２Ｄ動画タイルを受信して表示するまでの間、上記のステップＳ２０６又はステップＳ２０８と同様の待機画面が表示されてもよい。

【0083】

［第二の実施形態］
次に、第二の実施形態について説明する。第一の実施形態では、垂直角度θが０～π、水平角度φが０～２πの正距円筒図法で表現されたパノラマ動画を配信対象として、このパノラマ動画から全体縮小タイルと部分領域タイルとを作成したが、本実施形態では、その代わりに、パノラマ動画の中で興味領域（ＲＯＩ：Region of Interest）と呼ばれる領域を配信対象として、その興味領域から全体縮小タイルと部分領域タイルとを作成する場合について説明する。これは、一般に、３６０°×１８０°のパノラマ動画の中で視聴者が興味を持つのは被写体が映っている一部の領域等であることが多いためである。以下では、興味領域を表すパノラマ動画を「ＲＯＩパノラマ動画」という。

【0084】

なお、第二の実施形態では、主に、第一の実施形態との相違点について説明し、第一の実施形態と同一又は同様の構成要素についてはその説明を省略する。

【0085】

＜ＲＯＩパノラマ動画＞
図１２に示すように、ＲＯＩパノラマ動画（より正確には、そのフレーム画像）は、３６０°×１８０°の仮想的なパノラマ動画（より正確には、そのフレーム画像）の一部の領域と考えることができる。図１２は、ＲＯＩパノラマ動画は、３６０°×１８０°の仮想的なパノラマ動画の中の２４０°×１２０°の領域（つまり、正距円筒図法で表現した場合に、仮想的なパノラマ動画に対して垂直角度が３０°～１５０°、水平角度が６０°～３００°の範囲の領域）である例を示している。

【0086】

以下では、３６０°×１８０°の仮想的なパノラマ動画（以下、仮想パノラマ動画ともいう。）の解像度をＲＯＩＦＵＬＬＥＱＷＩＤＴＨ×ＲＯＩＦＵＬＬＥＱＨＥＩＧＨＴ（ｐｉｘｅｌ）、ＲＯＩパノラマ動画の解像度をＲＥＳＯＬＵＴＩＯＮＷＩＤＴＨ×ＲＥＳＯＬＵＴＩＯＮＨＥＩＧＨＴ（ｐｉｘｅｌ）、部分領域タイルの解像度をＶＩＥＷＷＩＤＴＨ×ＶＩＥＷＨＥＩＧＨＴ（ｐｉｘｅｌ）とする。また、仮想パノラマ動画の左上の頂点座標に対するＲＯＩパノラマ動画の左上の頂点座標のオフセットをＲＯＩＬＥＦＴＩＮＦＵＬＬＥＱ及びＲＯＩＴＯＰＩＮＦＵＬＬＥＱとする。ＲＯＩＬＥＦＴＩＮＦＵＬＬＥＱは仮想パノラマ動画の左上の頂点座標の水平成分値に対するＲＯＩパノラマ動画の左上の頂点座標の水平成分値のオフセットであり、ＲＯＩＴＯＰＩＮＦＵＬＬＥＱは仮想パノラマ動画の左上の頂点座標の垂直成分値に対するＲＯＩパノラマ動画の左上の頂点座標の垂直成分値のオフセットである。ただし、座標は水平右方向及び垂直下方向をそれぞれ正の方向とする。

【0087】

このとき、動画配信サーバ１０は、全体縮小タイルを送信する際にはＲＯＩパノラマ動画の幅及び高さ、仮想的なパノラマ動画におけるＲＯＩパノラマ動画の左端の座標及び上端の座標をそれぞれ表す４つのパラメータ（ＲＯＩＦＵＬＬＥＱＷＩＤＴＨ、ＲＯＩＦＵＬＬＥＱＨＥＩＧＨＴ、ＲＯＩＬＥＦＴＩＮＦＵＬＬＥＱ、及びＲＯＩＴＯＰＩＮＦＵＬＬＥＱ）も送信する。ただし、ＲＯＩパノラマ動画でなく通常の３６０°×１８０°のパノラマ動画の全体縮小タイルを送信する際には、上記の４つのパラメータにはデフォルト値を設定した上で送信する。ここで、ＲＯＩＦＵＬＬＥＱＷＩＤＴＨ及びＲＯＩＦＵＬＬＥＱＨＥＩＧＨＴのデフォルト値は解像度の最大値、ＲＯＩＬＥＦＴＩＮＦＵＬＬＥＱ及びＲＯＩＴＯＰＩＮＦＵＬＬＥＱのデフォルト値は０とする。

【0088】

より具体的には、通常の３６０°×１８０°のパノラマ動画の全体縮小タイルを送信する際には、ＲＯＩＦＵＬＬＥＱＷＩＤＴＨ＝解像度の幅の最大値、ＲＯＩＦＵＬＬＥＱＨＥＩＧＨＴ＝解像度の高さの最大値、ＲＯＩＬＥＦＴＩＮＦＵＬＬＥＱ＝０、ＲＯＩＴＯＰＩＮＦＵＬＬＥＱ＝０と設定して送信する。一方で、ＲＯＩパノラマ動画の全体縮小タイルを送信する際には、ＲＯＩＦＵＬＬＥＱＷＩＤＴＨ＝解像度の幅の最大値、ＲＯＩＦＵＬＬＥＱＨＥＩＧＨＴ＝解像度の高さの最大値、ＲＯＩＬＥＦＴＩＮＦＵＬＬＥＱ＝ＲＯＩパノラマ動画の全体縮小タイルの左端の座標、ＲＯＩＴＯＰＩＮＦＵＬＬＥＱ＝ＲＯＩパノラマ動画の全体縮小タイルの上端の座標と設定して送信する。

【0089】

これにより、クライアント端末２０の動画視聴部２０１を実現するプログラムがＲＯＩパノラマ動画の再生に対応していれば、後方互換が実現される。

【0090】

なお、ＲＯＩパノラマ動画のＲＥＳＯＬＵＴＩＯＮＷＩＤＴＨ及びＲＯＩＦＵＬＬＥＱＨＥＩＧＨＴを送信する代わりに、例えば、ＲＯＩＦＵＬＬＥＱＷＩＤＴＨとＶＩＥＷＷＩＤＴＨの比、ＲＥＳＯＬＵＴＩＯＮＨＥＩＧＨＴはＲＯＩＦＵＬＬＥＱＨＥＩＧＨＴとＶＩＥＷＨＥＩＧＨＴの比を送信してもよい。これは、どの解像度の部分領域タイルをどの程度オーバーラップさせて作成されるかは予め設定されるため、ＲＥＳＯＬＵＴＩＯＮＷＩＤＴＨはＲＯＩＦＵＬＬＥＱＷＩＤＴＨとＶＩＥＷＷＩＤＴＨの比、ＲＯＩＦＵＬＬＥＱＨＥＩＧＨＴはＲＯＩＦＵＬＬＥＱＨＥＩＧＨＴとＶＩＥＷＨＥＩＧＨＴの比でそれぞれ表現可能なためである。また、この比は、例えば、仮想的なパノラマ動画に対するＲＯＩパノラマ動画の「縮小率」等と呼ばれてもよい。

【0091】

＜動画配信処理＞
本実施形態に係る動画配信処理のシーケンス図を図１３に示す。ここで、以下のステップＳ３０１～ステップＳ３０２はパノラマ動画用撮影画像のフレーム時間幅ごとに繰り返し実行され、ステップＳ３０３～ステップＳ３０４は２Ｄ動画用撮影画像のフレーム時間幅ごとに繰り返し実行される。以下では、あるフレーム時刻ｔのステップＳ３０１～ステップＳ３０４について説明する。

【0092】

動画配信サーバ１０のパノラマ動画作成部１０１は、フレーム時刻ｔの各パノラマ動画用撮影画像を用いてＲＯＩパノラマ動画（より正確には、そのフレーム画像）を作成する（ステップＳ３０１）。ここで、興味領域とする部分は任意に決定することが可能であるが、例えば、３６０°×１８０°のパノラマ動画の中で２４０°×１２０°の領域を興味領域として、２４０°×１２０°のＲＯＩパノラマ動画を作成することが考えられる。これは、上下部分（０°～３０°及び１５０°～１８０°）や後方部分（０°～６０°及び３００°～３６０°）は一般的にユーザにより視聴されることは少ないためである。ただし、これは一例であって、３６０°×１８０°の中の任意の領域を興味領域として、その興味領域を表すＲＯＩパノラマ動画を作成することが可能である。

【0093】

次に、動画配信サーバ１０のパノラマ動画用タイル作成部１０２は、上記のステップＳ３０１で作成されたＲＯＩパノラマ動画を用いて、フレーム時刻ｔの全体縮小タイルと部分領域タイルとパノラマ動画用サムネイルタイルとを作成する（ステップＳ３０２）。ここで、この全体縮小タイルは、正距円筒図法で表現されたＲＯＩパノラマ動画（より正確には、パノラマ動画のフレーム画像）全体を所定の解像度に圧縮した画像のことである。なお、それ以外は第一の実施形態と同様であり、全体縮小タイルにはパノラマ動画用領域とサムネイル用領域とが存在する。

【0094】

また、部分領域タイルは全体縮小タイルと同一解像度の画像であって、ＲＯＩパノラマ動画（より正確には、そのフレーム画像）の一部の部分領域を表す画像である。なお、ＲＯＩパノラマ動画の一部の部分領域であること以外は第一の実施形態と同様である。

【0095】

続くステップＳ３０３～ステップＳ３０４及びそれ以降の処理は第一の実施形態と同様である。

【0096】

このように、本実施形態に係る動画配信サーバ１０は、３６０°×１８０°のパノラマ動画の代わりにＲＯＩパノラマ動画を作成した上で、このＲＯＩパノラマ動画から全体縮小タイルと部分領域タイルを作成する。これにより、３６０°×１８０°のパノラマ動画よりもＲＯＩパノラマ動画を高画質で作成することが可能となるため、全体縮小タイルも高画質となり、ユーザの視聴品質をより高めることが可能となる。

【0097】

また、例えば、３６０°×１８０°のパノラマ動画と同一又は同程度の画質のＲＯＩパノラマ動画を作成する場合には、全体縮小タイルのデータサイズを削減させることができると共に、パノラマ動画用カメラ３０の台数を削減させることが可能となり、カメラの導入又は設置コスト等を削減することができる。

【0098】

なお、本実施形態では、第一の実施形態を前提としてＲＯＩパノラマ動画を作成したが、必ずしも第一の実施形態を前提としなくてもよい。すなわち、本実施形態は、２Ｄ動画の存在を前提とせずに、パノラマ動画を配信及び視聴する場合にも適用することが可能である。

【0099】

［変形例］
以下、上記の各実施形態の変形例について説明する。

【0100】

・変形例１
図１３のステップＳ３０１でＲＯＩパノラマ動画を作成する際に、パノラマ動画作成部１０１は、興味領域以外の領域に何等かのコンテンツ（例えば、ＣＧ（コンピュータグラフィックス）、アーティストやチームのロゴ等）を埋め込んでもよい。具体的には、３６０°×１８０°のパノラマ動画の中で２４０°×１２０°の領域を興味領域とする場合、パノラマ動画作成部１０１は、３６０°×１８０°のパノラマ動画の中で当該興味領域以外の領域に何等かのコンテンツを埋め込んでもよい。これにより、ユーザが興味領域以外の領域を視聴した際に何も表示されないといった事態が防止され、ユーザの視聴品質の低下が抑止されると考えられる。

【0101】

・変形例２
上記の変形例１では興味領域以外の領域に何等かのコンテンツを埋め込んだが、興味領域以外ではなく、興味領域内に何等かのコンテンツを埋め込んでもよい。具体的には、３６０°×１８０°のパノラマ動画の中で２４０°×１２０°の領域を興味領域とする場合、当該興味領域内に何等かのコンテンツの埋め込んでもよい。また、このとき、特に、興味領域のうち、部分領域タイルとなる部分領域内に当該コンテンツを埋め込んでもよい。

【0102】

なお、変形例２と変形例１を組み合わせて、興味領域とそれ以外の領域との両方の領域に何等かのコンテンツを埋め込んでもよい。

【0103】

・変形例３
ＶＲ視聴モード中には部分領域タイルがクライアント端末２０に配信されるものとしたが、例えば、通信帯域に十分な余裕があり、またクライアント端末２０側のハードウェア資源にも十分な余裕があり、かつ、全体縮小タイルによりパノラマ動画を再生した場合であっても十分な画質が見込めるときには、部分領域タイルをクライアント端末２０に配信しなくてもよい。すなわち、全体縮小タイルの解像度が部分領域タイルの解像度よりも高解像度であってもよい。このように、全体縮小タイルの解像度（特に、それに含まれるパノラマ動画用領域の解像度）を、部分領域タイルの解像度と同じにしたり、それよりも高解像度にしたり、適宜、変更することができてもよい。

【0104】

・変形例４
サムネイル動画を選択した際に再生される動画は、２Ｄ動画用カメラ４０で撮影された動画であるものとしたが、これに限られず、例えば、アニメーションやＣＧ等の実写以外であってもよいし、その内容としても広告であってもよいし、パノラマ動画に関連するコンテンツ（例えば、スポーツのルール解説動画等）であってもよい。

【0105】

・変形例５
本実施形態ではクライアント端末２０がＶＲ視聴モードであるか２Ｄ視聴モードであるかで異なる全体縮小タイルの合成を行ったが、ユーザが視聴可能なパノラマ動画が１つである場合には、図６に示すような全体縮小タイルを、ＶＲ視聴モードと２Ｄ視聴モードで共通の全体縮小タイルとして作成されてもよい。これは、パノラマ動画のサムネイル動画を表示する際には、パノラマ動画用領域の画像を使用すればよいためである。

【0106】

・変形例６
本実施形態ではパノラマ動画用サムネイルタイルをユーザの視野範囲に対応するものとしたが、必ずしもユーザの視野範囲に対応するものでなくてもよい。例えば、ユーザ以外の仮想的なエージェントの視野範囲に対応するパノラマ動画用サムネイルタイルが作成さてもよい。

【0107】

・変形例７
本実施形態では、サムネイル動画を複数表示する場合には、全てが２Ｄ動画のサムネイル動画であるか又は１つがパノラマ動画のサムネイル動画で残りが２Ｄ動画のサムネイル動画であるものとしたが、これに限られず、例えば、複数のサムネイル動画の全てがパノラマ動画のサムネイル動画であってもよい。

【0108】

本発明は、具体的に開示された上記の各実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

【符号の説明】

【0109】

１ 動画配信システム
１０ 動画配信サーバ
２０ クライアント端末
３０ パノラマ動画用カメラ
４０ ２Ｄ動画用カメラ
１０１ パノラマ動画作成部
１０２ パノラマ動画用タイル作成部
１０３ ２Ｄ動画作成部
１０４ ２Ｄ動画用タイル作成部
１０５ 合成部
１０６ 配信部
Ｎ１ 通信ネットワーク
Ｎ２ 通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】