特許 6688367 動画配信装置、端末、動画配信システム、動画配信方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6688367

(24)【登録日】2020年4月7日

(45)【発行日】2020年4月28日

(54)【発明の名称】動画配信装置、端末、動画配信システム、動画配信方法、及びプログラム

(51)【国際特許分類】

   H04N 21/2662 20110101AFI20200421BHJP

   H04N 21/234 20110101ALI20200421BHJP

   H04N 21/218 20110101ALI20200421BHJP

   H04N 21/44 20110101ALI20200421BHJP

【ＦＩ】

   H04N21/2662

   H04N21/234

   H04N21/218

   H04N21/44

【請求項の数】9

【全頁数】13

(21)【出願番号】特願2018-212404(P2018-212404)

(22)【出願日】2018年11月12日

【審査請求日】2018年11月12日

(73)【特許権者】

【識別番号】000102717

【氏名又は名称】ＮＴＴテクノクロス株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】川崎 洋平

(72)【発明者】

【氏名】能登 肇

【審査官】 川中 龍太

(56)【参考文献】

【文献】 特開２０１８−０２６６７０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／０１６０１６０（ＵＳ，Ａ１）

【文献】 欧州特許出願公開第０３３６７６２６（ＥＰ，Ａ１）

【文献】 特開２００２−３１２７７８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／０２７０４６８（ＵＳ，Ａ１）

【文献】 特表２０１８−５２５８５２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００ − ２１／８５８

(57)【特許請求の範囲】

【請求項1】

パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置であって、
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第１の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第２の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記第１の高画質データ又は前記第２の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、
前記作成手段が作成した前記第１の高画質データ又は前記第２の高画質データと前記低画質データとを前記端末に配信する配信手段と、
を有することを特徴とする動画配信装置。

【請求項2】

前記作成手段は、
前記判定手段により前記第２の高画質データを前記端末に配信すると判定された場合、前記第２の高画質データを前記画像サイズに圧縮した第３の高画質データを作成し、
前記配信手段は、
前記第３の高画質データと前記低画質データとを前記端末に配信する、ことを特徴とする請求項１に記載の動画配信装置。

【請求項3】

前記判定手段は、
前記パノラマ動画のフレーム画像を正距円筒図法で表現した場合に、前記範囲の中心座標の垂直角度が第１の閾値未満かつ第２の閾値より大であるとき、前記第１の高画質データを前記端末に配信すると判定し、前記中心座標の垂直角度が第１の閾値以上又は前記第２の閾値以下であるとき、前記第２の高画質データを前記端末に配信すると判定する、ことを特徴とする請求項１又は２に記載の動画配信装置。

【請求項4】

前記作成手段は、
前記判定手段により前記第２の高画質データを前記端末に配信すると判定された場合に、前記中心座標の垂直角度が第１の閾値以上であるときは、全天周投影球で表現した場合に北極の近傍を含む第２の高画質データを作成し、前記中心座標の垂直角度が第２の閾値以下であるときは、全天周投影球で表現した場合に南極の近傍を含む第２の高画質データを作成する、ことを特徴とする請求項３に記載の動画配信装置。

【請求項5】

パノラマ動画を配信する動画配信装置とネットワークを介して接続される端末であって、
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第１の高画質データ、又は、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第２の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを前記動画配信装置から受信する受信手段と、
前記受信手段が受信した前記第１の高画質データ又は前記第２の高画質データと前記低画質データとに基づいて、前記パノラマ動画を再生する再生手段と、
を有することを特徴とする端末。

【請求項6】

パノラマ動画を再生する端末であって、
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第１の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第２の高画質データとのうちのいずれを前記端末に表示するかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記第１の高画質データ又は前記第２の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、
前記作成手段が作成した前記第１の高画質データ又は前記第２の高画質データと前記低画質データとを表示する表示手段と、
を有することを特徴とする端末。

【請求項7】

パノラマ動画を再生する端末と、該端末とネットワークを介して接続される動画配信装置とが含まれる動画配信システムであって、
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第１の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第２の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記第１の高画質データ又は前記第２の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、
前記作成手段が作成した前記第１の高画質データ又は前記第２の高画質データと前記低画質データとを前記端末に配信する配信手段と、
を有することを特徴とする動画配信システム。

【請求項8】

パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置が、
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第１の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第２の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手順と、
前記判定手順による判定結果に応じて、前記第１の高画質データ又は前記第２の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手順と、
前記作成手順が作成した前記第１の高画質データ又は前記第２の高画質データと前記低画質データとを前記端末に配信する配信手順と、
を実行することを特徴とする動画配信方法。

【請求項9】

コンピュータを、請求項１乃至４の何れか一項に記載の動画配信装置における各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画配信装置、端末、動画配信システム、動画配信方法、及びプログラムに関する。

【背景技術】

【0002】

近年、上下左右の全方位３６０度の動画を撮影可能なカメラ装置が知られており、このようなカメラ装置で撮影された動画はパノラマ動画（又は、「パノラマ映像」や「３６０度パノラマ動画」等とも称される。）として視聴可能である。

【0003】

また、例えば、動画配信サーバがパノラマ動画を端末にストリーミング配信等することで、当該端末でパノラマ動画を視聴することも行われている。しかしながら、パノラマ動画は一般にデータサイズが大きい場合が多く、パノラマ動画の配信に時間が掛かり、端末にパノラマ動画が表示されるまでに時間を要することがあった。

【0004】

これに対して、端末に表示される範囲（以降、「視野範囲」とも表す。）を通常の画質で配信し、端末に表示されない範囲は低画質で配信する技術が知られている（非特許文献１参照）。

【0005】

例えば、図１に示すように、全天周投影球で表現されるパノラマ動画では、全天周投影球の中心を観測位置として、この観測位置にある疑似的なカメラ装置が所定の画角で撮影した範囲が視野範囲となる。また、全天周投影球で表現されるパノラマ動画は、垂直角度θが０〜π、水平角度φが０〜２πの正距円筒図法で表現することができる。このとき、非特許文献１に記載されている技術では、正距円筒図法で表現されたパノラマ動画の視野範囲を含む部分領域データを「部分領域タイル」、パノラマ動画全体を圧縮したデータを「全体縮小タイル」として端末に配信する。この技術を用いることで、パノラマ動画の配信に要する時間を削減させることができると共に、視野範囲では高画質な動画が視聴可能であり、かつ、視野範囲を移動させた場合であっても動画が途切れることなく視聴可能とさせることができる。なお、本明細書では、圧縮とは、画像サイズの縮小を意味するものとする。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】越智 大介、岩城 進之介、「リアルタイム全天球映像配信システム (特集 ドワンゴ×NTT R&Dコラボレーション)」、NTT技術ジャーナル 27(4)、51-54、2015-04

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、非特許文献１に記載された技術では、部分領域タイルの垂直角度θによっては全天周投影球上で部分領域タイルに対応する領域（以降、全天周投影球上の領域を「実効領域」とも表す。）が小さくなる場合がある。例えば、図２に示すように、部分領域タイルの上辺の垂直角度θがπである場合、部分領域タイルの実効領域は、全天周投影球の球面上で１つの頂点が北極点となる三画形状の領域となる。

【0008】

このため、例えば、図２に示すように、北極方向へ視野範囲を移動させた場合、部分領域タイルに対応する実効領域が視野範囲よりも小さくなり、視野範囲で高画質な動画を視聴できなくなる場合があった。

【0009】

本発明の実施の形態は、上記の点に鑑みてなされたもので、パノラマ動画におけるユーザの視野範囲に応じた高画質領域を配信することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するため、本発明の実施の形態は、パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置であって、前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第１の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第２の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、前記判定手段による判定結果に応じて、前記第１の高画質データ又は前記第２の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、前記作成手段が作成した前記第１の高画質データ又は前記第２の高画質データと前記低画質データとを前記端末に配信する配信手段と、を有することを特徴とする。

【発明の効果】

【0011】

パノラマ動画におけるユーザの視野範囲に応じた高画質領域を配信することができる。

【図面の簡単な説明】

【0012】

【図1】従来技術の一例を説明するための図である。

【図2】課題を説明するための図である。

【図3】本実施形態に係るパノラマ動画配信システムの全体構成の一例を示す図である。

【図4】天頂タイルの一例を説明するための図である。

【図5】本実施形態に係るパノラマ動画配信システムの機能構成の一例を示す図である。

【図6】本実施形態に係るパノラマ動画配信処理の一例を示すシーケンス図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態（以降、「本実施形態」とも表す。）について、図面を参照しながら詳細に説明する。本実施形態では、正距円筒図法で表現されたパノラマ動画におけるユーザの視野範囲の位置（垂直角度θの値）に応じて、部分領域タイル又は全天周投影球の極付近をカバーするタイル（後述する天頂タイル）のいずれか配信するパノラマ動画配信システム１について説明する。

【0014】

ここで、部分領域タイル及び天頂タイルは、いずれも全体縮小タイルと比べて高画質なタイルであるものとする。したがって、部分領域タイル及び天頂タイルを「高画質タイル」、全体縮小タイルを「低画質タイル」とも称する。また、タイルとは、正距円筒図法で表現されたパノラマ動画における矩形領域のことである。ただし、タイルは必ずしも矩形でなくても良く、例えば、三角形や円形等の任意の形状の領域であっても良い。

【0015】

また、パノラマ動画とは、全天周投影球で表現される画像（又は、この画像を正距円筒図法で表現した画像）をフレーム画像とする動画のことである。本実施形態では、パノラマ動画の各フレーム画像は、正距円筒図法で表現されているものとする。この場合、パノラマ動画は、視聴の際のレンダリング時に、正距円筒図法で表現されているフレーム画像が全天周投影球上のテキスチャとしてマッピングされ、全天周投影球で表現される。

【0016】

なお、パノラマ動画には音声が含まれていても良いし、音声は含まれていなくても良い。また、パノラマ動画としては実写を想定するが、必ずしも実写である必要はなく、例えば、ＣＧ（コンピュータグラフィックス）やアニメーション等であっても良い。

【0017】

＜全体構成＞
まず、本実施形態に係るパノラマ動画配信システム１の全体構成について、図３を参照しながら説明する。図３は、本実施形態に係るパノラマ動画配信システム１の全体構成の一例を示す図である。

【0018】

図３に示すように、本実施形態に係るパノラマ動画配信システム１には、パノラマ動画配信サーバ１０と、１以上の端末２０とが含まれる。また、パノラマ動画配信サーバ１０と、端末２０とは、例えばインターネット等のネットワークＮを介して通信可能に接続されている。

【0019】

パノラマ動画配信サーバ１０は、端末２０からの要求に応じて、パノラマ動画をストリーミング配信するコンピュータ又はコンピュータシステムである。このとき、パノラマ動画配信サーバ１０は、当該端末２０に表示される視野範囲の位置（垂直角度θの値）に応じて、部分領域タイル又は後述する天頂タイルと、全体縮小タイルとを当該端末２０に配信する。なお、本実施形態では、パノラマ動画において、端末２０に表示される範囲を「視野範囲」と表現するが、視野範囲は、例えば「視認範囲」や「表示範囲」、「視聴範囲」等と称されても良い。

【0020】

ここで、部分領域タイルとは、パノラマ動画（より正確には、当該パノラマ動画のフレーム画像）において、視野範囲を含む部分領域のデータである。また、天頂タイルとは、後述するように、パノラマ動画（より正確には、当該パノラマ動画のフレーム画像）において、視野範囲を含み、かつ、全天周投影球で天頂タイルに対応する実効領域が極付近（つまり、極の近傍）も含む部分領域のことである。更に、全体縮小タイルとは、パノラマ動画（より正確には、当該パノラマ動画のフレーム画像）全体を圧縮したデータである。

【0021】

端末２０は、パノラマ動画を視聴可能なスマートフォンやタブレット端末、ヘッドマウントディスプレイ、ウェアラブルデバイス、ＰＣ（パーソナルコンピュータ）等である。ユーザは、端末２０を用いて、パノラマ動画配信サーバ１０から配信されたパノラマ動画を視聴することができる。

【0022】

ここで、ユーザは、端末２０を操作等することで、パノラマ動画中における視野範囲を移動又は変更することができる。このような操作としては、例えば、端末２０のディスプレイに対するスワイプ操作やフリック操作、視野範囲の移動ボタンの押下操作等であっても良いし、マウス等のポインティングデバイスを用いた視野範囲の移動ボタンの押下操作等であっても良い。また、上下左右の全方位３６０度の向きを検出可能なセンサを端末２０が備えている場合には、当該端末２０の向きを変更することで、視野範囲の移動又は変更を行うことができても良い。

【0023】

なお、図１に示すパノラマ動画配信システム１の構成は一例であって、他の構成であっても良い。例えば、端末２０に対してパノラマ動画をライブ配信する場合には、上下左右の全方位３６０度の動画を撮影可能なカメラ装置や音を収集するマイク等がパノラマ動画配信システム１に含まれていても良い。また、例えば、端末２０に対してパノラマ動画をオンデマンド配信する場合には、パノラマ動画を保持する記憶装置等がパノラマ動画配信システム１に含まれていても良い。

【0024】

＜天頂タイル＞
次に、天頂タイルについて、図４を参照しながら説明する。図４は、天頂タイルの一例を説明するための図である。以降では、視野範囲の位置は、当該視野範囲の中心座標で表されるものとする。なお、中心座標は、水平角度φと垂直角度θとの組（φ，θ）で表される。

【0025】

図４（ａ）に示すように、視野範囲の中心座標の垂直角度θがπに近い場合（言い換えれば、中心座標の垂直角度θが第１の閾値Ｔｈ_１以上の場合）、パノラマ動画配信サーバ１０は、当該視野範囲を含み、かつ、４頂点が（０，π），（０，θ_１），（２π，θ_１），（２π，π）で表される天頂タイル（以降では、この天頂タイルを「第１の天頂タイル」とも表す。）を配信する。この第１の天頂タイルの実効領域は、北極点の付近を含むものとなる。

【0026】

ここで、θ_１は、第１の天頂タイルの高さ（垂直角度方向の幅）を決定するためのパラメータである。このθ_１は、予め決められた値であっても良いし、ユーザが設定することができても良い。なお、視野範囲が第１の天頂タイルに含まれる必要があるため、π−θ_１が視野範囲の高さ（垂直角度方向の幅）より大きくなるようにθ_１が決定される必要がある。また、同様の理由から第１の閾値Ｔｈ_１は、θ_１に応じて決定される。例えば、ε_１をパラメータ、視野範囲の高さをｈとして、第１の閾値Ｔｈ_１＝θ_１＋ｈ×１／２＋ε_１等と決定される。

【0027】

図４（ｂ）に示すように、視野範囲の中心座標の垂直角度θが０に近い場合（言い換えれば、中心座標の垂直角度θが第２の閾値Ｔｈ_２以下の場合）、パノラマ動画配信サーバ１０は、当該視野範囲を含み、かつ、４頂点が（０，θ_２），（０，０），（２π，０），（２π，θ_２）で表される天頂タイル（以降では、この天頂タイルを「第２の天頂タイル」とも表す。）を配信する。この第２の天頂タイルの実効領域は、南極点の付近を含むものとなる。

【0028】

ここで、θ_２は、第２の天頂タイルの高さを決定するためのパラメータである。このθ_２は、予め決められた値であっても良いし、ユーザが設定することができても良い。なお、視野範囲が第２の天頂タイルに含まれる必要があるため、θ_２が視野範囲の高さより大きくなるようにθ_２が決定される必要がある。また、同様の理由から第２の閾値Ｔｈ_２は、θ_２に応じて決定される。例えば、ε_２をパラメータ、視野範囲の高さをｈとして、第２の閾値Ｔｈ_２＝θ_２−ｈ×１／２−ε_２等と決定される。

【0029】

なお、上記のパラメータθ_１及びθ_２の関係について、π−θ_１≠θ_２であっても良いし、π−θ_１＝θ_２であっても良い。π−θ_１≠θ_２である場合は第１の天頂タイルの高さと第２の天頂タイルの高さとが異なる一方で、π−θ_１＝θ_２である場合は第１の天頂タイルの高さと第２の天頂タイルの高さとが同じになる。

【0030】

以上のように、本実施形態に係るパノラマ動画配信サーバ１０は、視野範囲の位置が垂直角度θ＝πに近くなった場合又は視野範囲の位置が垂直角度θ＝０に近くなった場合、部分領域タイルの代わりに、天頂タイルを端末２０に配信する。これにより、全天周投影球での実効領域を大きくすることができる。

【0031】

また、上記では、視野範囲の位置が垂直角度θ＝πに近くなった場合又は視野範囲の位置が垂直角度θ＝０に近くなった場合に天頂タイルを端末２０に配信するものとしたが、これ以外にも、例えば、ユーザの視野範囲の履歴（視野範囲の中心座標の履歴）等を用いて視野範囲の位置が垂直角度θ＝π又はθ＝０に近くなることを予測した上で、この予測結果に応じて天頂タイルを端末２０に配信するようにしても良い。

【0032】

なお、正距円筒図法で表現されたパノラマ動画は、極に近い程（つまり、垂直角度θがπ／２から離れる程）、所定の単位領域当たりの情報量が減少する。このため、天頂タイルは部分領域タイルと同等程度のデータサイズで配信することが可能である。

【0033】

＜機能構成＞
次に、本実施形態に係るパノラマ動画配信システム１の機能構成について、図５を参照しながら説明する。図５は、本実施形態に係るパノラマ動画配信システム１の機能構成の一例を示す図である。

【0034】

図５に示すように、本実施形態に係るパノラマ動画配信システム１のパノラマ動画配信サーバ１０は、機能部として、動画配信処理部１０１を有する。当該機能部は、パノラマ動画配信サーバ１０にインストールされた１以上のプログラムがＣＰＵ（Central Processing Unit）等に実行させる処理により実現される。

【0035】

動画配信処理部１０１は、端末２０からの要求に応じて、パノラマ動画（すなわち、パノラマ動画の各フレーム画像の部分領域タイル又は天頂タイルと全体縮小タイル）を当該端末２０に配信する処理を実行する。ここで、動画配信処理部１０１には、判定部１１１と、タイル作成部１１２と、配信部１１３とが含まれる。

【0036】

判定部１１１は、高画質タイルとして部分領域タイル又は天頂タイルのいずれを配信するかを判定する。ここで、判定部１１１は、視野範囲の中心座標の垂直角度θと、所定の閾値（第１の閾値Ｔｈ_１及び第２の閾値Ｔｈ_２）とを比較判定することで、部分領域タイル又は天頂タイルのいずれを配信するかを判定する。

【0037】

タイル作成部１１２は、判定部１１１の判定結果に応じて、高画質タイルと低画質タイルとを作成する。すなわち、タイル作成部１１２は、高画質タイルとして部分領域タイルを配信すると判定部１１１が判定した場合、部分領域タイルと全体縮小タイルとを作成する。一方で、タイル作成部１１２は、高画質タイルとして天頂タイルを配信すると判定部１１１が判定した場合、天頂タイルと全体縮小タイルとを作成する。

【0038】

なお、例えば、端末２０に対してパノラマ動画をライブ配信する場合には、タイル作成部１１２は、カメラ装置等から受信したパノラマ動画を用いて、高画質タイルと低画質タイルとを作成する。一方で、例えば、端末２０に対してパノラマ動画をオンデマンド配信する場合には、タイル作成部１１２は、所定の記憶装置等に予め保持されているパノラマ動画を用いて、高画質タイルと低画質タイルとを作成する。

【0039】

配信部１１３は、タイル作成部１１２が作成した高画質タイル及び低画質タイルを端末２０に配信する。

【0040】

また、図５に示すように、本実施形態に係るパノラマ動画配信システム１の端末２０は、機能部として、動画視聴処理部２０１を有する。当該機能部は、端末２０にインストールされた１以上のプログラムがＣＰＵに実行させる処理により実現される。

【0041】

動画視聴処理部２０１は、パノラマ動画を表示するためのタイル配信要求をパノラマ動画配信サーバ１０に送信する。ここで、タイル配信要求には、例えば、視野範囲の中心座標又は当該中心座標を特定するための情報が含まれる。視野範囲の中心座標を特定するための情報としては、例えば、視野範囲の各頂点の座標等が挙げられる。

【0042】

また、動画視聴処理部２０１は、パノラマ動画配信サーバ１０から配信されたタイル（高画質タイル及び低画質タイル）によりパノラマ動画を表示する。これにより、端末２０には、パノラマ動画配信サーバ１０からストリーミング配信されたパノラマ動画が表示される。

【0043】

＜パノラマ動画配信処理＞
次に、パノラマ動画配信サーバ１０がパノラマ動画を端末２０に配信する処理（パノラマ動画配信処理）について、図６を参照しながら説明する。図６は、本実施形態に係るパノラマ動画配信処理の一例を示すシーケンス図である。以降のステップＳ１０１〜ステップＳ１０７は、例えば、パノラマ動画のフレーム画像の或るまとまり（例えば、１秒乃至数秒間のフレーム画像群）毎に繰り返し実行される。

【0044】

まず、端末２０の動画視聴処理部２０１は、タイル配信要求をパノラマ動画配信サーバ１０に送信する（ステップＳ１０１）。ここで、タイル配信要求には、例えば、視野範囲の中心座標又は当該中心座標を特定するための情報が含まれる。

【0045】

パノラマ動画配信サーバ１０の動画配信処理部１０１は、判定部１１１により、高画質タイルとして部分領域タイル又は天頂タイルのいずれを配信するかを判定する（ステップＳ１０２）。すなわち、判定部１１１は、視野範囲の中心座標の垂直角度θと、所定の閾値（第１の閾値Ｔｈ_１及び第２の閾値Ｔｈ_２）とを比較判定することで、部分領域タイル又は天頂タイルのいずれを配信するかを判定する。

【0046】

ここで、中心座標の垂直角度θが第１の閾値Ｔｈ_１未満かつ第２の閾値Ｔｈ_２より大である場合、判定部１１１は、高画質タイルとして部分領域タイルを配信すると判定する。一方で、中心座標の垂直角度θが第１の閾値Ｔｈ_１以上又は第２の閾値Ｔｈ_２以下であると場合、判定部１１１は、高画質タイルとして天頂タイルを配信すると判定する。

【0047】

なお、ユーザは、天頂タイルの使用有無を設定することができても良い。天頂タイルの使用有無が「使用無」に設定されている場合には、上記のステップＳ１０２の判定を行わずに、以降のステップＳ１０３のみを実行すれば良い。

【0048】

ステップＳ１０２で高画質タイルとして部分領域タイルを配信すると判定された場合、パノラマ動画配信サーバ１０の動画配信処理部１０１は、タイル作成部１１２により、高画質タイルとして部分領域タイルを作成する（ステップＳ１０３）。すなわち、タイル作成部１１２は、視野範囲を含み、かつ、所定の画像サイズの部分領域タイルを作成する。所定の画像サイズとしては、例えば、ＨＤサイズ（１２８０×７２０）やフルＨＤサイズ（１９２０×１０８０）等が挙げられる。部分領域タイルの画像サイズとしてどのような画像サイズを利用するかは、例えば、ユーザにより予め設定される。

【0049】

一方で、ステップＳ１０２で高画質タイルとして天頂タイルを配信すると判定された場合、パノラマ動画配信サーバ１０の動画配信処理部１０１は、タイル作成部１１２により、高画質タイルとして天頂タイルを作成する（ステップＳ１０４）。すなわち、タイル作成部１１２は、視野範囲を含み、かつ、所定の４頂点で特定される天頂タイルを作成する。

【0050】

ここで、中心座標の垂直角度θが第１の閾値Ｔｈ_１以上である場合、タイル作成部１１２は、４頂点｛（０，π），（０，θ_１），（２π，θ_１），（２π，π）｝で特定される第１の天頂タイルを作成する。一方で、中心座標の垂直角度θが第２の閾値Ｔｈ_２以下である場合、タイル作成部１１２は、４頂点｛（０，θ_２），（０，０），（２π，０），（２π，θ_２）｝で特定される第２の天頂タイルを作成する。

【0051】

なお、タイル作成部１１２は、第１の天頂タイル又は第２の天頂タイルを、上記のステップＳ１０３で作成される部分領域タイルと同じ画像サイズに圧縮しても良い。

【0052】

ステップＳ１０３又はステップＳ１０４に続いて、パノラマ動画配信サーバ１０の動画配信処理部１０１は、タイル作成部１１２により、低画質タイルとして全体縮小タイルを作成する（ステップＳ１０５）。すなわち、タイル作成部１１２は、パノラマ動画のフレーム画像を、上記のステップＳ１０３で作成される部分領域タイルと同じ画像サイズに圧縮した全体縮小タイルを作成する。

【0053】

例えば、パノラマ動画のフレーム画像が４Ｋサイズ（３８４０×２１６０）、部分領域タイルがＨＤサイズである場合、タイル作成部１１２は、当該フレーム画像をＨＤサイズに圧縮することで全体縮小タイルを作成する。

【0054】

なお、上記のステップＳ１０３〜ステップＳ１０５では、フレーム画像群に含まれる各フレーム画像から部分領域タイル又は天頂タイルと全体縮小タイルとがそれぞれ作成される。

【0055】

次に、パノラマ動画配信サーバ１０の動画配信処理部１０１は、配信部１１３により、高画質タイル（部分領域タイル又は天頂タイル）と低画質タイル（全体縮小タイル）とを端末２０に配信する（ステップＳ１０６）。

【0056】

端末２０の動画視聴処理部２０１は、パノラマ動画配信サーバ１０から配信されたパノラマ動画（高画質タイル及び低画質タイル）を表示（再生）する（ステップＳ１０７）。このとき、動画視聴処理部２０１は、全体縮小タイルを元の画像サイズ（すなわち、元のフレーム画像のサイズ）に伸張した上でパノラマ動画を再生する。例えば、パノラマ動画のフレーム画像が４Ｋサイズである場合、動画配信処理部１０１は、全体縮小タイルを４Ｋサイズに伸張する。これにより、端末２０のユーザはパノラマ動画を視聴することができる。なお、圧縮及び伸張が行われることにより、全体縮小タイルは、部分領域タイル及び天頂タイルよりも低画質で表示されることになる。

【0057】

＜まとめ＞
以上のように、本実施形態に係るパノラマ動画配信システム１は、端末２０からの要求に応じて、視野範囲を含む高画質タイルと、視野範囲外の低画質タイルとをパノラマ動画配信サーバ１０が配信する。これにより、本実施形態に係るパノラマ動画配信システム１では、例えば、端末２０のユーザが視野範囲を高画質タイル外に移動させたような場合であっても、低画質タイルによりパノラマ動画の再生を継続させることができるようになる。

【0058】

また、本実施形態に係るパノラマ動画配信システム１は、全天周投影球上の視野範囲の位置が極（北極点又は南極点）に近い場合には、高画質タイルとして、部分領域タイルの代わりに天頂タイルを配信する。これにより、本実施形態に係るパノラマ動画配信システム１では、全天周投影球上で視野範囲が極に近い場合であっても、高画質タイルがカバーする実効領域の範囲を広く確保することができる。このため、例えば、天頂タイル内でユーザが視野範囲を移動させたような場合に、高画質なパノラマ動画なユーザに提供することができるようになる。

【0059】

なお、本実施形態に係るパノラマ動画配信システム１では、全天周投影球上の視野範囲の位置が極に近い場合には、高画質タイルとして、部分領域タイルの代わりに天頂タイルを配信する場合について説明したが、これに限られず、例えば、端末２０に配信する部分領域タイルのアスペクト比を変更（例えば、極に近いほど部分領域タイルの横のサイズを大きくする等）するようにしても良い。

【0060】

また、本実施形態に係るパノラマ動画配信システム１では、パノラマ動画配信サーバ１０が端末２０に対して、ネットワークＮを介してパノラマ動画を配信する場合（つまり、パノラマ動画がネットワーク配信される場合）について説明したが、これに限られない。すなわち、本実施形態は、例えば、パノラマ動画配信サーバ１０の機能を端末２０が有しており、端末２０がローカルストレージ内のパノラマ動画（例えば、端末２０のＨＤＤ等に格納されているパノラマ動画）を再生する場合についても同様に適用することができる。これにより、端末２０がパノラマ動画を再生する際における処理負荷等を軽減させることができるようになる。

【0061】

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

【符号の説明】

【0062】

１ パノラマ動画配信システム
１０ パノラマ動画配信サーバ
２０ 端末
１０１ 動画配信処理部
１１１ 判定部
１１２ タイル作成部
１１３ 配信部
２０１ 動画視聴処理部

【要約】

【課題】パノラマ動画におけるユーザの視野範囲に応じた高画質領域を配信すること。
【解決手段】パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置であって、前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第１の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第２の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、前記判定手段による判定結果に応じて、前記第１の高画質データ又は前記第２の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、前記作成手段が作成した前記第１の高画質データ又は前記第２の高画質データと前記低画質データとを前記端末に配信する配信手段と、を有することを特徴とする。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】