特開 2023-118163 映像配信システム、エッジサーバ及び映像配信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023118163

(43)【公開日】2023-08-25

(54)【発明の名称】映像配信システム、エッジサーバ及び映像配信方法

(51)【国際特許分類】

   H04N 21/2662 20110101AFI20230818BHJP

   H04N 21/2343 20110101ALI20230818BHJP

   H04N 21/462 20110101ALI20230818BHJP

   H04N 21/442 20110101ALI20230818BHJP

   H04L 67/131 20220101ALI20230818BHJP

【ＦＩ】

H04N21/2662

H04N21/2343

H04N21/462

H04N21/442

H04L67/131

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022020944

(22)【出願日】2022-02-15

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100160495

【弁理士】

【氏名又は名称】畑 雅明

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】椎名 亮太

(72)【発明者】

【氏名】藤原 稔久

(72)【発明者】

【氏名】福井 達也

(72)【発明者】

【氏名】小野 央也

(72)【発明者】

【氏名】谷口 友宏

(72)【発明者】

【氏名】藤橋 卓也

(72)【発明者】

【氏名】岡本 翼

(72)【発明者】

【氏名】猿渡 俊介

(72)【発明者】

【氏名】渡邊 尚

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA06

5C164GA03

5C164PA31

5C164SA11S

5C164SB02P

5C164SC03P

5C164TB03S

5C164TB04S

5C164UB41P

5C164UC21P

5C164YA12

(57)【要約】

【課題】本開示は、配信されたＶＲ映像に対するユーザの体感品質を維持しながら、ＶＲ映像配信の低遅延化を目的とする。
【解決手段】本開示は、映像ソースからの映像をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像に加工し、圧縮符号化するサーバと、前記サーバからの圧縮符号化された前記ＶＲ映像を、ユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像を配信するエッジサーバと、前記エッジサーバに前記ユーザの前記視聴状況を送信し、前記エッジサーバからの前記トランスコーディングされたＶＲ映像を受信するユーザ装置と、を備える映像配信システムである。
【選択図】図１

【特許請求の範囲】

【請求項1】

映像ソースからの映像をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像に加工し、圧縮符号化するサーバと、
前記サーバからの圧縮符号化された前記ＶＲ映像を、ユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像を配信するエッジサーバと、
前記エッジサーバに前記ユーザの前記視聴状況を送信し、前記エッジサーバからの前記トランスコーディングされたＶＲ映像を受信するユーザ装置と、
を備える映像配信システム。

【請求項2】

前記サーバは、圧縮符号化したＶＲ映像をさらにタイルに分割し、
前記エッジサーバは、前記サーバからのタイルに分割された前記ＶＲ映像をユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像を前記ユーザ装置に配信し、
前記ユーザ装置は、ユーザのＶＲ映像に対する視線情報に基づき抽出された高優先度のタイル番号を前記視聴状況として前記エッジサーバに送信する
ことを特徴とする請求項１に記載の映像配信システム。

【請求項3】

前記エッジサーバは、前記サーバからの圧縮符号化された前記ＶＲ映像を、タイルに分割し、ユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像を前記ユーザ装置に配信し、
前記ユーザ装置は、ユーザのＶＲ映像に対する視線情報に基づき抽出された高優先度のタイル番号を前記視聴状況として前記エッジサーバに送信する
ことを特徴とする請求項１に記載の映像配信システム。

【請求項4】

前記エッジサーバは、ユーザの視聴状況に応じて高優先度の多いタイルを高品質符号化し、高優先度の少ないタイルを低品質符号化するようトランスコーディングし、トランスコーディングしたＶＲ映像をユニキャスト配信する
ことを特徴とする請求項２又は３に記載の映像配信システム。

【請求項5】

前記エッジサーバは、ユーザの視聴状況に応じて高優先度の多いタイルを高品質符号化し、高優先度の少ないタイルを低品質符号化するようトランスコーディングし、トランスコーディングしたＶＲ映像をマルチキャスト配信する
ことを特徴とする請求項２又は３に記載の映像配信システム。

【請求項6】

前記エッジサーバは、ユーザの視聴状況に応じて高優先度の多いタイルを高品質符号化し、高優先度の少ないタイルを低品質符号化するようトランスコーディングし、トランスコーディングしたＶＲ映像をブロードキャスト配信する
ことを特徴とする請求項２又は３に記載の映像配信システム。

【請求項7】

前記エッジサーバは、ユーザの視聴状況に応じて高優先度のより多いタイルをより高品質符号化し、高優先度のより少ないタイルをより低品質符号化するよう３以上のレベルに分類してトランスコーディングし、いずれかのレベルで二分し、トランスコーディングしたＶＲ映像のうち、より高品質符号化したタイルをマルチキャスト配信し、他のタイルをユニキャスト配信する
ことを特徴とする請求項２又は３に記載の映像配信システム。

【請求項8】

前記エッジサーバは、ユーザの視聴状況に応じて高優先度のより多いタイルをより高品質符号化し、高優先度のより少ないタイルをより低品質符号化するよう３以上のレベルに分類してトランスコーディングし、いずれかのレベルで三分し、トランスコーディングしたＶＲ映像のうち、より高品質符号化したタイルをマルチキャスト配信し、トランスコーディングしたＶＲ映像のうち、より低品質符号化したタイルをブロードキャスト配信し、トランスコーディングしたＶＲ映像のうち、残りの中品質符号化したタイルをユニキャスト配信する
ことを特徴とする請求項２又は３に記載の映像配信システム。

【請求項9】

前記エッジサーバは、前記ユーザ装置から受信した高優先度のタイル番号に対応するタイルについてはより高品質符号化し、高優先度のタイル番号を送信したユーザ装置にユニキャスト配信する
ことを特徴とする請求項７又は８に記載の映像配信システム。

【請求項10】

圧縮符号化されたＶＲ映像を、ユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像を配信するエッジサーバ。

【請求項11】

圧縮符号化されたＶＲ映像を、ユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像を配信する映像配信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ＶＲ映像のユーザの体感品質を維持しながら、映像配信の低遅延化を実現する技術に関する。

【背景技術】

【0002】

近年では、ネットワークを通じて離れた場所にいながら、共同作業や遠隔作業を行うニーズが増えてきた。共同作業や遠隔作業を行う上で、ユーザに、よりリアルな体感を与え、高い没入感を得るためには、従来のような２次元映像に加えて、ＶＲへの対応が求められている。ＶＲに対応したシステムでは、ネットワークを通じて複数ユーザが同時に同一のＶＲ空間を共有する。各ユーザは有線／無線ＶＲヘッドセットを通じてＶＲ空間のうち、一部を視聴する。

【0003】

ＶＲ映像を配信する方法として、サーバとユーザ装置間の許容帯域に応じてＶＲ映像を符号化する技術が提案されている（例えば、非特許文献１参照。）。ＶＲ映像を複数の品質段階に分けて、品質段階に応じて圧縮符号化し、サーバとユーザ装置間の許容帯域に合わせた圧縮符号化したＶＲ映像を配信するものである。

【0004】

ＶＲ映像を配信する方法として、同一コンテンツを配信する場合に、パノラマ映像をタイル分割して配信する技術が提案されている（例えば、非特許文献２参照。）。複数ユーザの過去の視聴データから新たなユーザが視聴しそうな領域を予測し、予測に基づき、視聴しそうなタイルを高品質に圧縮符号化し、視聴しなさそうなタイルを低品質に圧縮符号化して配信するものである。

【0005】

ＶＲ映像をタイル分割して配信する技術には、タイル分割した映像を、ユーザの視線情報を活用して、ユーザの視聴領域を高品質に圧縮符号化し、それ以外を低品質に圧縮符号化して配信する技術も提案されている（例えば、非特許文献３参照。）。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Ｇ． Ｈｅ， Ｊ． Ｈｕ， Ｈ． Ｊｉａｎｇ ａｎｄ Ｙ． Ｌｉ， “Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｂａｓｅｄ ｏｎ Ｕｓｅｒ′ｓ Ｖｉｅｗ ｆｏｒ Ｒｅａｌ－Ｔｉｍｅ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ａｐｐｌｉｃａｔｉｏｎｓ，“ ｉｎ ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｌｅｔｔｅｒｓ， ｖｏｌ． ２２， ｎｏ． １， ｐｐ． ２５－２８， Ｊａｎ． ２０１８．

【非特許文献2】進藤他、”ヘッドマウントディスプレイ情報を利用した３６０度映像伝送に関する初期的検討．“ 第８０回全国大会講演論文集， ２０１８， ｐｐ． ８３－８４．

【非特許文献3】Ｌｕｎｇａｒｏ， Ｐｉｅｔｒｏ， ｅｔ ａｌ． ”Ｇａｚｅ－ａｗａｒｅ ｓｔｒｅａｍｉｎｇ ｓｏｌｕｔｉｏｎｓ ｆｏｒ ｔｈｅ ｎｅｘｔ ｇｅｎｅｒａｔｉｏｎ ｏｆ ｍｏｂｉｌｅ ＶＲ ｅｘｐｅｒｉｅｎｃｅｓ，“ ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ， ｖｏｌ． ２４， ｎｏ． ４， ｐｐ－１５３５－１５４４， ２０１８．

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、ＶＲ映像は年々高解像度化しており、非特許文献１～３の技術を適用したとしても、ネットワークトラヒックの増大につながっている。そのため、ＶＲ映像配信の遅延が増大し、配信されたＶＲ映像に対するユーザの体感品質の劣化となっている。

【0008】

そこで、前記課題を解決するために、本開示は、配信されたＶＲ映像に対するユーザの体感品質を維持しながら、ＶＲ映像配信の低遅延化を目的とする。

【課題を解決するための手段】

【0009】

前記課題を解決するために、本開示の映像配信システムでは、映像ソースからの映像を配信するために、サーバ及びエッジサーバの階層化アーキテクチャを適用することとした。

【0010】

具体的には、本開示は、
映像ソースからの映像をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像に加工し、圧縮符号化するサーバと、
前記サーバからの圧縮符号化された前記ＶＲ映像を、ユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像を配信するエッジサーバと、
前記エッジサーバに前記ユーザの前記視聴状況を送信し、前記エッジサーバからの前記トランスコーディングされたＶＲ映像を受信するユーザ装置と、
を備える映像配信システム
である。

【0011】

また、本開示は、
前記サーバは、圧縮符号化したＶＲ映像をさらにタイルに分割し、
前記エッジサーバは、前記サーバからのタイルに分割された前記ＶＲ映像をユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像を前記ユーザ装置に配信し、
前記ユーザ装置は、ユーザのＶＲ映像に対する視線情報に基づき抽出された高優先度のタイル番号を前記視聴状況として前記エッジサーバに送信する
ことを特徴とする。

【0012】

また、本開示は、
前記エッジサーバは、前記サーバからの圧縮符号化された前記ＶＲ映像を、タイルに分割し、ユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像を前記ユーザ装置に配信し、
前記ユーザ装置は、ユーザのＶＲ映像に対する視線情報に基づき抽出された高優先度のタイル番号を前記視聴状況として前記エッジサーバに送信する
ことを特徴とする。

【0013】

また、本開示は、
前記エッジサーバは、ユーザの視聴状況に応じて高優先度の多いタイルを高品質符号化し、高優先度の少ないタイルを低品質符号化するようトランスコーディングし、トランスコーディングしたＶＲ映像をユニキャスト配信する
ことを特徴とする。

【0014】

また、本開示は、
前記エッジサーバは、ユーザの視聴状況に応じて高優先度の多いタイルを高品質符号化し、高優先度の少ないタイルを低品質符号化するようトランスコーディングし、トランスコーディングしたＶＲ映像をマルチキャスト配信する
ことを特徴とする。

【0015】

また、本開示は、
前記エッジサーバは、ユーザの視聴状況に応じて高優先度の多いタイルを高品質符号化し、高優先度の少ないタイルを低品質符号化するようトランスコーディングし、トランスコーディングしたＶＲ映像をブロードキャスト配信する
ことを特徴とする。

【0016】

また、本開示は、
前記エッジサーバは、ユーザの視聴状況に応じて高優先度のより多いタイルをより高品質符号化し、高優先度のより少ないタイルをより低品質符号化するよう３以上のレベルに分類してトランスコーディングし、いずれかのレベルで二分し、トランスコーディングしたＶＲ映像のうち、より高品質符号化したタイルをマルチキャスト配信し、他のタイルをユニキャスト配信する
ことを特徴とする。

【0017】

また、本開示は、
前記エッジサーバは、ユーザの視聴状況に応じて高優先度のより多いタイルをより高品質符号化し、高優先度のより少ないタイルをより低品質符号化するよう３以上のレベルに分類してトランスコーディングし、いずれかのレベルで三分し、トランスコーディングしたＶＲ映像のうち、より高品質符号化したタイルをマルチキャスト配信し、トランスコーディングしたＶＲ映像のうち、より低品質符号化したタイルをブロードキャスト配信し、トランスコーディングしたＶＲ映像のうち、残りの中品質符号化したタイルをユニキャスト配信する
ことを特徴とする。

【0018】

また、本開示は、
前記エッジサーバは、前記ユーザ装置から受信した高優先度のタイル番号に対応するタイルについてはより高品質符号化し、高優先度のタイル番号を送信したユーザ装置にユニキャスト配信する
ことを特徴とする。

【0019】

また、本開示は、
圧縮符号化されたＶＲ映像を、ユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像を配信するエッジサーバ
である。

【0020】

また、本開示は、
圧縮符号化されたＶＲ映像を、ユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像を配信する映像配信方法
である。

【0021】

なお、上記各開示の発明は、可能な限り組み合わせることができる。

【発明の効果】

【0022】

このように、本開示は、配信されたＶＲ映像に対するユーザの体感品質を維持しながら、映像配信の低遅延化を実現することができる。

【図面の簡単な説明】

【0023】

【図1】本開示の映像配信システムの構成を示す図である。

【図2】本開示の映像配信システムのタイル構造を説明する図である。

【図3】本開示の映像配信システムのタイル構造を説明する図である。

【図4】本開示の映像配信システムの構成を示す図である。

【図5】本開示の映像配信システムの構成を示す図である。

【図6】本開示の映像配信システムの構成を示す図である。

【図7】本開示の映像配信システムの構成を示す図である。

【図8】本開示の映像配信システムの構成を示す図である。

【図9】本開示の映像配信システムの構成を示す図である。

【図10】本開示の映像配信システムの構成を示す図である。

【発明を実施するための形態】

【0024】

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

【0025】

（実施形態１）
本実施形態の映像配信システムを図１に示す。本実施形態の映像配信システムは、映像ソース１１、サーバ１２、通信ネットワーク１３、エッジサーバ１４及びユーザ装置１５を備える。

【0026】

サーバ１２は、映像ソース１１からの映像をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像に加工する。具体的には、複数の映像を繋ぎ合わせるスティッチング処理及び球面マッピング処理を行う。さらに、ＶＲ映像を圧縮符号化し、通信ネットワーク１３を介して、圧縮符号化したＶＲ映像をエッジサーバ１４に配信する。

【0027】

エッジサーバ１４は、サーバ１２からの圧縮符号化されたＶＲ映像を、ユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像をユーザ装置１５に配信する。サーバ１２とエッジサーバ１４との間は、通信ネットワーク１３で接続されている。トランスコーディングとは、映像の圧縮信号を異なる他の形式に変換することをいう。

【0028】

ユーザ装置１５は、エッジサーバ１４にユーザの視聴状況を送信し、エッジサーバ１４からのトランスコーディングされたＶＲ映像を受信する。ユーザは、ユーザ装置１５を介してＶＲ映像を視聴する。

【0029】

本実施形態の映像配信システムでは、ＶＲ映像の配信に、映像ソース１１とユーザ装置１５との間に、サーバ１２及びエッジサーバ１４を設ける階層化アーキテクチャを適用することにより、映像ソース１１とサーバ１２との間のデータ量を削減できるため、映像配信の低遅延化を実現することができる。また、エッジサーバ１４を経由してもユーザの体感品質を維持することができる。

【0030】

（実施形態２）
ユーザの視聴状況に応じてトランスコーディングするために、映像をタイルに分割する。３６０度映像をタイルに分割する方法を図２に示す。３６０度映像（図２（１））に対して、行で分割してもよいし（図２（２））、列で分割してもよいし（図２（３））、行列のブロックに分割してもよいし（図２（４））、これらの混合でもよい（図２（５））。タイル分割領域はすべて均等でなくてもよい。例えば、配信するＶＲ映像に応じて、領域の大きさを変えてもよい。視聴領域が限定される場合は、その領域を小さくしてもよい。

【0031】

以後の実施形態では、４×４行列のブロックに分割したタイル配列の例で説明する。図３に４×４行列のブロックに分割したタイル配列の例を示す。タイルには、ｔ０からｔ１１のタイル番号が割り当てられている、

【0032】

本実施形態の映像配信システムを図４に示す。本実施形態の映像配信システムは、映像ソース１１、サーバ１２、通信ネットワーク１３、エッジサーバ１４及びユーザ装置１５を備える。

【0033】

サーバ１２は、映像ソース１１からの映像をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像に加工し、圧縮符号化する。その後、圧縮符号化したＶＲ映像を図３のようなタイルに分割する。さらに、通信ネットワーク１３を介して、タイルに分割したＶＲ映像をエッジサーバ１４に配信する。図４の例では、ＶＲ映像を例えば１２ｂｐｐ（ｂｉｔ ｐｅｒ ｐｉｘｅｌ）に圧縮符号化を行っている。１２ｂｐｐに圧縮符号化したＶＲ映像をタイルに分割し、通信ネットワーク１３を介して、エッジサーバ１４に配信する。

【0034】

エッジサーバ１４は、サーバ１２からのタイルに分割されたＶＲ映像をユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像をユーザ装置に配信する。

【0035】

ユーザ装置１５は、ユーザのＶＲ映像に対する視線情報に基づき抽出された高優先度のタイル番号を視聴状況としてエッジサーバ１４に送信する。例えば、視線検出装置（不図示）が、ＶＲ映像のタイルのうちで、ユーザが視線を向けているタイルのタイル番号を高優先度のタイル番号として抽出し、ユーザ装置１５が、抽出された高優先度のタイル番号を視聴状況としてエッジサーバ１４に送信する。

【0036】

エッジサーバ１４は、ユーザ装置１５からの高優先度のタイル番号を受信し、高優先度の多いタイルと高優先度の少ないタイルにレベル分けし、トランスコーディングする。図４の例では、高優先度の多いタイルは１２ｂｐｐの高品質符号化とし、高優先度の少ないタイルは５ｂｐｐの低品質符号化として、ユーザ装置１５に配信する。低ｂｐｐの符号化したＶＲ映像はデータ量が小さくなるため、映像配信を低遅延で行うことができる。

【0037】

高優先度が多いか少ないかは相対的関係であり、高優先度の数に応じてレベルを二分する趣旨である。高品質か低品質かは相対的な関係であり、高優先度の多いタイルを高優先度の少ないタイルよりも高品質符号化する趣旨である。

【0038】

図４では、符号化ビット数を１２ｂｐｐと５ｂｐｐとしているが、この値は例示である。また、２段階のレベルとしているが、３以上にレベル分けしてもよい。

【0039】

本実施形態の映像配信システムでは、ユーザの視聴状況に応じてトランスコーディングするため、体感品質を維持しながら、低遅延の映像配信を可能とすることができる。

【0040】

（実施形態３）
本実施形態の映像配信システムを図５に示す。本実施形態の映像配信システムは、映像ソース１１、サーバ１２、通信ネットワーク１３、エッジサーバ１４及びユーザ装置１５を備える。

【0041】

タイルに分割するのがサーバ１２ではなく、エッジサーバ１４である点が実施形態２との違いである。

【0042】

サーバ１２は、映像ソース１１からの映像をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像に加工し、圧縮符号化する。さらに、通信ネットワーク１３を介して、圧縮符号化したＶＲ映像をエッジサーバ１４に配信する。図５の例では、ＶＲ映像を例えば１２ｂｐｐの圧縮符号化を行っている。

【0043】

エッジサーバ１４は、サーバ１２からの圧縮符号化されたＶＲ映像をタイルに分割し、分割されたＶＲ映像をユーザの視聴状況に応じてトランスコーディングし、トランスコーディングしたＶＲ映像をユーザ装置に配信する。

【0044】

ユーザ装置１５は、ユーザのＶＲ映像に対する視線情報に基づき抽出された高優先度のタイル番号を視聴状況としてエッジサーバ１４に送信する。例えば、視線検出装置（不図示）が、ＶＲ映像のタイルのうちで、ユーザが視線を向けているタイルのタイル番号を高優先度のタイル番号として抽出し、ユーザ装置１５が、抽出された高優先度のタイル番号を視聴状況としてエッジサーバ１４に送信する。

【0045】

エッジサーバ１４は、ユーザ装置１５からの高優先度のタイル番号を受信し、高優先度の多いタイルと高優先度の少ないタイルにレベル分けし、トランスコーディングする。図５の例では、高優先度の多いタイルは１２ｂｐｐの高品質符号化とし、高優先度の少ないタイルは５ｂｐｐの低品質符号化として、ユーザ装置１５に配信する。低ｂｐｐの符号化したＶＲ映像はデータ量が小さくなるため、映像配信を低遅延で行うことができる。

【0046】

高優先度が多いか少ないかは相対的関係であり、高優先度の数に応じてレベルを二分する趣旨である。高品質か低品質かは相対的な関係であり、高優先度の多いタイルを高優先度の少ないタイルよりも高品質符号化する趣旨である。

【0047】

図５では、符号化ビット数を１２ｂｐｐと５ｂｐｐとしているが、この値は例示である。また、２段階のレベルとしているが、３以上にレベル分けしてもよい。

【0048】

本実施形態の映像配信システムでは、ユーザの視聴状況に応じてトランスコーディングするため、体感品質を維持しながら、低遅延の映像配信を可能とすることができる。

【0049】

（実施形態４）
本実施形態の映像配信システムを図６、図７及び図８に示す。本実施形態の映像配信システムは、実施形態２又は実施形態３の中でエッジサーバ１４及びユーザ装置１５に的を絞って、エッジサーバ１４のトランスコーディング方法及び配信方法を説明する。

【0050】

ユーザ装置１５は、ユーザの視線情報に基づき抽出された高優先度のタイル番号を視聴状況としてエッジサーバ１４に送信する。エッジサーバ１４は、タイルごとに高優先度の数でレベル分けし、高優先度の多いタイルを高品質符号化し、高優先度の少ないタイルを低品質符号化するトランスコーディングを行う。高優先度のレベル分けを決める数は、予め設定してもよいし、任意に変更してもよい。

【0051】

図６、図７及び図８の例では、高優先度の多いタイルと高優先度の少ないタイルの２つのレベルに分け、高優先度の多いタイルを高品質符号化し、高優先度の少ないタイルを低品質符号化するようトランスコーディングしている。例として、２つのユーザ装置１５からの「高優先度のタイル番号」の和集合をとっている。例えば、高優先度のタイル番号ｔ０、ｔ１、ｔ４、ｔ５と高優先度のタイル番号ｔ５、ｔ６、ｔ９、ｔ１０の和集合はｔ０、ｔ１、ｔ４、ｔ５、ｔ６、ｔ９、ｔ１０である。つまり、いずれかのユーザ装置１５が高優先度としたタイルを１２ｂｐｐで高品質符号化し、いずれのユーザ装置１５も高優先度としなかったタイルを５ｂｐｐで低品質符号化するトランスコーディングを行う。

【0052】

図６、図７及び図８の例では、符号化ビット数を１２ｂｐｐと５ｂｐｐとしているが、この値は例示である。また、２段階のレベルとしているが、３以上にレベル分けしてもよい。

【0053】

図６の例では、エッジサーバ１４は、トランスコーディングした共通のＶＲ映像を各ユーザ装置１５にユニキャスト配信する。ユニキャスト配信で高信頼な映像配信ができる。

【0054】

従って、本実施形態の映像配信システムでは、ユーザの視聴状況に応じてトランスコーディングし、ユニキャスト配信することにより、高信頼で低遅延な映像配信を可能とすることができる。

【0055】

図７の例では、エッジサーバ１４は、トランスコーディングした共通のＶＲ映像を各ユーザ装置１５にマルチキャスト配信する。マルチキャスト配信ではデータ量が少なく、低遅延な映像配信が可能となる。

【0056】

従って、本実施形態の映像配信システムでは、ユーザの視聴状況に応じてトランスコーディングし、マルチキャスト配信することにより、高信頼でより低遅延な映像配信を可能とすることができる。

【0057】

図８の例では、エッジサーバ１４は、トランスコーディングした共通のＶＲ映像を各ユーザ装置１５にブロードキャスト配信する。ブロードキャスト配信では、データ量が少なく、また、双方向のネゴシエーションがない分、遅延が小さい。

【0058】

従って、本実施形態の映像配信システムでは、ユーザの視聴状況に応じてトランスコーディングし、ブロードキャスト配信することにより、さらに低遅延な映像配信を可能とすることができる。

【0059】

（実施形態５）
本実施形態の映像配信システムを図９及び図１０に示す。本実施形態の映像配信システムは、実施形態２又は実施形態３の中でエッジサーバ１４及びユーザ装置１５に的を絞って、エッジサーバ１４のトランスコーディング方法及び配信方法を説明する。

【0060】

ユーザ装置１５は、ユーザの視線情報に基づき抽出された高優先度のタイル番号を視聴状況としてエッジサーバ１４に送信する。エッジサーバ１４は、タイルごとに高優先度の数でレベル分けし、高優先度のより多いタイルをより高品質符号化し、高優先度のより少ないタイルをより低品質符号化するよう３以上のレベルに分類してトランスコーディングを行う。高優先度のレベル分けを決める数は、予め設定してもよいし、任意に変更してもよい。

【0061】

高優先度が多いか少ないかは相対的関係であり、高優先度の数に応じて３以上のレベルに分類する趣旨である。高品質か低品質かは相対的な関係であり、高優先度の多いタイルを高優先度の少ないタイルよりも高品質符号化する趣旨である。例えば、高優先度の数に応じて３レベルに分類する場合、高優先度の数が中位のタイルを中品質符号化し、高優先度の数のより多いタイルを高優先度の数が中位のタイルよりもより高品質符号化し、高優先度の数のより少ないタイルを高優先度の数が中位のタイルよりもより低品質符号化する。

【0062】

なお、エッジサーバ１４は、ユーザ装置１５から受信した高優先度のタイル番号に対応するタイルについては、高優先度の多いタイルと同じように、より高品質符号化するトランスコーディングも行ってもよい。

【0063】

図９及び図１０の例では、高優先度のより多いタイル、高優先度の数が中位のタイル、高優先度のより少ないタイルの３つのレベルに分け、高優先度のより多いタイルを１２ｂｐｐで高品質符号化し、高優先度の数が中位のタイルを５ｂｐｐで中品質符号化し、高優先度のより少ないタイルを３ｂｐｐで低品質符号化するようトランスコーディングしている。例として、２つのユーザ装置１５からの「高優先度のタイル番号」の積集合と和集合をとっている。例えば、高優先度のタイル番号ｔ０、ｔ１、ｔ４、ｔ５と高優先度のタイル番号ｔ５、ｔ６、ｔ９、ｔ１０の積集合はｔ５であり、高優先度のタイル番号ｔ０、ｔ１、ｔ４、ｔ５と高優先度のタイル番号ｔ５、ｔ６、ｔ９、ｔ１０の和集合はｔ０、ｔ１、ｔ４、ｔ５、ｔ６、ｔ９、ｔ１０である。つまり、いずれのユーザ装置１５が高優先度としたタイルを１２ｂｐｐで高品質符号化し、いずれかのユーザ装置１５が高優先度としたタイルを５ｂｐｐで中品質符号化し、いずれのユーザ装置１５も高優先度としなかったタイルを３ｂｐｐで低品質符号化するトランスコーディングを行う。

【0064】

また、エッジサーバ１４は、ユーザ装置１５から受信した高優先度のタイル番号ｔ０、ｔ１、ｔ４、ｔ６、ｔ９、ｔ１０に対応するタイルについては１２ｂｐｐで高品質符号化するトランスコーディングも行う。

【0065】

図９及び図１０の例では、符号化ビット数を１２ｂｐｐ、５ｂｐｐ及び３ｂｐｐの３段階のレベルとしているが、４以上にレベル分けしてもよい。

【0066】

図９の例では、エッジサーバ１４は、トランスコーディングしたＶＲ映像のうち、高品質符号化したタイルと中品質符号化したタイル及び低品質符号化したタイルとに二分し、高品質符号化したタイルをユーザ装置１５にマルチキャスト配信し、他のタイル、即ち、中品質符号化したタイル及び低品質符号化したタイルをユーザ装置１５にユニキャスト配信している。ユニキャスト配信では高信頼な映像配信が可能となる。マルチキャスト配信ではデータ量が少なく、低遅延な映像配信が可能となる。

【0067】

また、エッジサーバ１４は、ユーザ装置１５から受信した高優先度のタイル番号ｔ０、ｔ１、ｔ４、ｔ６、ｔ９、ｔ１０に対応するタイルについては１２ｂｐｐで高品質符号化するトランスコーディングも行って、高優先度のタイル番号を送信したユーザ装置１５にユニキャスト配信してもよい。

【0068】

従って、本実施形態の映像配信システムでは、ユーザの視聴状況に応じてトランスコーディングし、マルチキャスト配信及びユニキャスト配信を組み合わせることにより、高信頼で低遅延な映像配信を可能とすることができる。

【0069】

図１０の例では、エッジサーバ１４は、トランスコーディングしたＶＲ映像のうち、高品質符号化したタイル、中品質符号化したタイル及び低品質符号化したタイルに三分し、高品質符号化したタイルをユーザ装置１５にマルチキャスト配信し、中品質符号化したタイルをユーザ装置１５にユニキャスト配信し、低品質符号化したタイルをユーザ装置１５にブロードキャスト配信している。ユニキャスト配信では高信頼な映像配信が可能となる。マルチキャスト配信ではデータ量が少なく、低遅延な映像配信が可能となる。ブロードキャスト配信では、データ量が少なく、また、双方向のネゴシエーションがない分、遅延が小さい。

【0070】

また、エッジサーバ１４は、ユーザ装置１５から受信した高優先度のタイル番号ｔ０、ｔ１、ｔ４、ｔ６、ｔ９、ｔ１０に対応するタイルについては１２ｂｐｐで高品質符号化するトランスコーディングも行って、高優先度のタイル番号を送信したユーザ装置１５にユニキャスト配信してもよい。

【0071】

従って、本実施形態の映像配信システムでは、ユーザの視聴状況に応じてトランスコーディングし、マルチキャスト配信、ユニキャスト配信及びブロードキャスト配信を組み合わせることにより、高信頼で低遅延な映像配信を可能とすることができる。

【0072】

以上説明したように、本開示によれば、配信されたＶＲ映像に対するユーザの体感品質を維持しながら、映像配信の低遅延化を実現することができる。

【0073】

本開示のエッジサーバはコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、通信ネットワークを通して提供することも可能である。

【符号の説明】

【0074】

１１：映像ソース
１２：サーバ
１３：通信ネットワーク
１４：エッジサーバ
１５：ユーザ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】