特開 2023-180615 映像配信システム、エッジサーバ及び映像配信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023180615

(43)【公開日】2023-12-21

(54)【発明の名称】映像配信システム、エッジサーバ及び映像配信方法

(51)【国際特許分類】

   H04N 21/4728 20110101AFI20231214BHJP

   H04N 21/2662 20110101ALI20231214BHJP

   H04N 21/6377 20110101ALI20231214BHJP

【ＦＩ】

H04N21/4728

H04N21/2662

H04N21/6377

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022094060

(22)【出願日】2022-06-10

【新規性喪失の例外の表示】新規性喪失の例外適用申請有り

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】100119677

【弁理士】

【氏名又は名称】岡田 賢治

(74)【代理人】

【識別番号】100160495

【弁理士】

【氏名又は名称】畑 雅明

(74)【代理人】

【識別番号】100115794

【弁理士】

【氏名又は名称】今下 勝博

(72)【発明者】

【氏名】椎名 亮太

(72)【発明者】

【氏名】藤原 稔久

(72)【発明者】

【氏名】福井 達也

(72)【発明者】

【氏名】小野 央也

(72)【発明者】

【氏名】谷口 友宏

(72)【発明者】

【氏名】藤橋 卓也

(72)【発明者】

【氏名】岡本 翼

(72)【発明者】

【氏名】猿渡 俊介

(72)【発明者】

【氏名】渡邊 尚

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA06

5C164GA03

5C164SA11S

5C164SB41S

5C164SC03P

5C164TB35

5C164UB82

5C164UD44P

5C164YA07

5C164YA12

(57)【要約】

【課題】本開示は、配信されたＶＲ映像に対するユーザの体感品質を維持しながら、ＶＲ映像配信の低遅延化を目的とする。
【解決手段】本開示は、映像ソースからの映像をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像に加工し、複数の品質で圧縮符号化して送信するサーバと、前記サーバから受信した複数の品質で圧縮符号化されたＶＲ映像の中から、ユーザの視聴状況に応じて選択した品質で圧縮符号化されたＶＲ映像を配信するエッジサーバと、前記エッジサーバに前記ユーザの視聴状況を送信し、前記エッジサーバからの選択された品質で圧縮符号化されたＶＲ映像を受信するユーザ装置と、を備える映像配信システムである。
【選択図】図１

【特許請求の範囲】

【請求項1】

映像ソースからの映像をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像に加工し、複数の品質で圧縮符号化して送信するサーバと、
前記サーバから受信した複数の品質で圧縮符号化されたＶＲ映像の中から、ユーザの視聴状況に応じて選択した品質で圧縮符号化されたＶＲ映像を配信するエッジサーバと、
前記エッジサーバに前記ユーザの視聴状況を送信し、前記エッジサーバからの選択された品質で圧縮符号化されたＶＲ映像を受信するユーザ装置と、
を備える映像配信システム。

【請求項2】

前記サーバは、複数の品質で圧縮符号化したＶＲ映像をさらにタイルに分割して前記エッジサーバに送信し、
前記エッジサーバは、前記サーバから受信した複数の品質で圧縮符号化され、タイルに分割されたＶＲ映像の中から、ユーザの視聴状況に応じてタイルごとに選択した品質のＶＲ映像を前記ユーザ装置に配信し、
前記ユーザ装置は、ユーザのＶＲ映像に対する視線情報に基づき抽出された高優先度のタイル番号を前記ユーザの視聴状況として前記エッジサーバに送信する
ことを特徴とする請求項１に記載の映像配信システム。

【請求項3】

前記エッジサーバは、前記サーバからの複数の品質で圧縮符号化されたＶＲ映像をタイルに分割し、ユーザの視聴状況に応じてタイルごとに選択した品質のＶＲ映像を前記ユーザ装置に配信し、
前記ユーザ装置は、ユーザのＶＲ映像に対する視線情報に基づき抽出された高優先度のタイル番号を前記ユーザの視聴状況として前記エッジサーバに送信する
ことを特徴とする請求項１に記載の映像配信システム。

【請求項4】

前記エッジサーバは、複数のユーザ装置からのユーザの視聴状況に応じて、高優先度の多いタイルについて高品質で圧縮符号化されたＶＲ映像を選択し、高優先度の少ないタイルについて低品質で圧縮符号化されたＶＲ映像を選択し、選択した品質のＶＲ映像を前記複数のユーザ装置にユニキャスト配信する
ことを特徴とする請求項２又は３に記載の映像配信システム。

【請求項5】

前記エッジサーバは、複数のユーザ装置からのユーザの視聴状況に応じて、高優先度の多いタイルについて高品質で圧縮符号化されたＶＲ映像を選択し、高優先度の少ないタイルについて低品質で圧縮符号化されたＶＲ映像を選択し、選択した品質のＶＲ映像を前記複数のユーザ装置にマルチキャスト配信する
ことを特徴とする請求項２又は３に記載の映像配信システム。

【請求項6】

前記エッジサーバは、複数のユーザ装置からのユーザの視聴状況に応じて、高優先度の多いタイルについて高品質で圧縮符号化されたＶＲ映像を選択し、高優先度の少ないタイルについて低品質で圧縮符号化されたＶＲ映像を選択し、選択した品質のＶＲ映像を前記複数のユーザ装置にブロードキャスト配信する
ことを特徴とする請求項２又は３に記載の映像配信システム。

【請求項7】

前記エッジサーバは、複数のユーザ装置からのユーザの視聴状況に応じて、高優先度のより多いタイルについてより高品質で圧縮符号化されたＶＲ映像を選択し、高優先度のより少ないタイルについてより低品質で圧縮符号化されたＶＲ映像を選択するよう３以上のレベルに分類し、いずれかのレベルで二分し、各ユーザ装置に、より高品質で圧縮符号化されたＶＲ映像のタイルをマルチキャスト配信し、他のＶＲ映像のタイルをユニキャスト配信する
ことを特徴とする請求項２又は３に記載の映像配信システム。

【請求項8】

前記エッジサーバは、前記ユーザ装置から受信した高優先度のタイル番号に対応するタイルについてはより高品質で圧縮符号化されたＶＲ映像のタイルを選択し、高優先度のタイル番号を送信したユーザ装置にユニキャスト配信する
ことを特徴とする請求項７に記載の映像配信システム。

【請求項9】

前記エッジサーバは、複数のユーザ装置からのユーザの視聴状況に応じて、高優先度のより多いタイルについてより高品質で圧縮符号化されたＶＲ映像のタイルを選択し、高優先度のより少ないタイルについてより低品質で圧縮符号化されたＶＲ映像のタイルを選択するよう３以上のレベルに分類し、いずれかのレベルで三分し、各ユーザ装置に、より高品質で圧縮符号化されたＶＲ映像のタイルをマルチキャスト配信し、より低品質で圧縮符号化されたＶＲ映像のタイルをブロードキャスト配信し、残りの中品質で圧縮符号化されたＶＲ映像のタイルをユニキャスト配信する
ことを特徴とする請求項２又は３に記載の映像配信システム。

【請求項10】

前記エッジサーバは、前記ユーザ装置から受信した高優先度のタイル番号に対応するタイルについてはより高品質で圧縮符号化されたＶＲ映像のタイルを選択し、高優先度のタイル番号を送信したユーザ装置にユニキャスト配信する
ことを特徴とする請求項９に記載の映像配信システム。

【請求項11】

複数の品質で圧縮符号化されたＶＲ映像の中から、ユーザの視聴状況に応じて選択した品質で圧縮符号化されたＶＲ映像を配信するエッジサーバ。

【請求項12】

複数の品質で圧縮符号化されたＶＲ映像の中から、ユーザの視聴状況に応じて選択した品質で圧縮符号化されたＶＲ映像を配信する映像配信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ＶＲ映像のユーザの体感品質を維持しながら、映像配信の低遅延化を実現する技術に関する。

【背景技術】

【0002】

近年では、ネットワークを通じて離れた場所にいながら、共同作業や遠隔作業を行うニーズが増えてきた。共同作業や遠隔作業を行う上で、ユーザに、よりリアルな体感を与え、高い没入感を得るためには、従来のような２次元映像に加えて、ＶＲへの対応が求められている。ＶＲに対応したシステムでは、ネットワークを通じて複数ユーザが同時に同一のＶＲ空間を共有する。各ユーザは有線／無線ＶＲヘッドセットを通じてＶＲ空間のうち、一部を視聴する。

【0003】

ＶＲ映像を配信する方法として、サーバとユーザ装置間の許容帯域に応じてＶＲ映像を符号化する技術が提案されている（例えば、非特許文献１参照。）。ＶＲ映像を複数の品質段階に分けて、品質段階に応じて圧縮符号化し、サーバとユーザ装置間の許容帯域に合わせた圧縮符号化したＶＲ映像を配信するものである。

【0004】

ＶＲ映像をタイル分割して配信する技術には、タイル分割した映像を、ユーザの視線情報を活用して、ユーザの視聴領域を高品質に圧縮符号化し、それ以外を低品質に圧縮符号化して配信する技術も提案されている（例えば、非特許文献２参照。）。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Ｇ． Ｈｅ， Ｊ． Ｈｕ， Ｈ． Ｊｉａｎｇ ａｎｄ Ｙ． Ｌｉ， “Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｂａｓｅｄ ｏｎ Ｕｓｅｒ′ｓ Ｖｉｅｗ ｆｏｒ Ｒｅａｌ－Ｔｉｍｅ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ａｐｐｌｉｃａｔｉｏｎｓ，“ ｉｎ ＩＥＥＥ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｌｅｔｔｅｒｓ， ｖｏｌ． ２２， ｎｏ． １， ｐｐ． ２５－２８， Ｊａｎ． ２０１８．

【非特許文献2】Ｌｕｎｇａｒｏ， Ｐｉｅｔｒｏ， ｅｔ ａｌ． ”Ｇａｚｅ－ａｗａｒｅ ｓｔｒｅａｍｉｎｇ ｓｏｌｕｔｉｏｎｓ ｆｏｒ ｔｈｅ ｎｅｘｔ ｇｅｎｅｒａｔｉｏｎ ｏｆ ｍｏｂｉｌｅ ＶＲ ｅｘｐｅｒｉｅｎｃｅｓ，“ ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ， ｖｏｌ． ２４， ｎｏ． ４， ｐｐ－１５３５－１５４４， ２０１８．

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、ＶＲ映像は年々高解像度化しており、非特許文献１～３の技術を適用したとしても、ネットワークトラヒックの増大につながっている。そのため、ＶＲ映像配信の遅延が増大し、配信されたＶＲ映像に対するユーザの体感品質の劣化となっている。

【0007】

そこで、前記課題を解決するために、本開示は、配信されたＶＲ映像に対するユーザの体感品質を維持しながら、ＶＲ映像配信の低遅延化を目的とする。

【課題を解決するための手段】

【0008】

前記課題を解決するために、本開示の映像配信システムでは、映像ソースからの映像を配信するために、サーバ及びエッジサーバの階層化アーキテクチャを適用することとした。

【0009】

具体的には、本開示は、
映像ソースからの映像をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像に加工し、複数の品質で圧縮符号化して送信するサーバと、
前記サーバから受信した複数の品質で圧縮符号化されたＶＲ映像の中から、ユーザの視聴状況に応じて選択した品質で圧縮符号化されたＶＲ映像を配信するエッジサーバと、
前記エッジサーバに前記ユーザの視聴状況を送信し、前記エッジサーバからの選択された品質で圧縮符号化されたＶＲ映像を受信するユーザ装置と、
を備える映像配信システム
である。

【0010】

また、本開示は、
前記サーバは、複数の品質で圧縮符号化したＶＲ映像をさらにタイルに分割して前記エッジサーバに送信し、
前記エッジサーバは、前記サーバから受信した複数の品質で圧縮符号化され、タイルに分割されたＶＲ映像の中から、ユーザの視聴状況に応じてタイルごとに選択した品質のＶＲ映像を前記ユーザ装置に配信し、
前記ユーザ装置は、ユーザのＶＲ映像に対する視線情報に基づき抽出された高優先度のタイル番号を前記ユーザの視聴状況として前記エッジサーバに送信する
ことを特徴とする。

【0011】

また、本開示は、
前記エッジサーバは、前記サーバからの複数の品質で圧縮符号化されたＶＲ映像をタイルに分割し、ユーザの視聴状況に応じてタイルごとに選択した品質のＶＲ映像を前記ユーザ装置に配信し、
前記ユーザ装置は、ユーザのＶＲ映像に対する視線情報に基づき抽出された高優先度のタイル番号を前記ユーザの視聴状況として前記エッジサーバに送信する
ことを特徴とする。

【0012】

また、本開示は、
前記エッジサーバは、複数のユーザ装置からのユーザの視聴状況に応じて、高優先度の多いタイルについて高品質で圧縮符号化されたＶＲ映像を選択し、高優先度の少ないタイルについて低品質で圧縮符号化されたＶＲ映像を選択し、選択した品質のＶＲ映像を前記複数のユーザ装置にユニキャスト配信する
ことを特徴とする。

【0013】

また、本開示は、
前記エッジサーバは、複数のユーザ装置からのユーザの視聴状況に応じて、高優先度の多いタイルについて高品質で圧縮符号化されたＶＲ映像を選択し、高優先度の少ないタイルについて低品質で圧縮符号化されたＶＲ映像を選択し、選択した品質のＶＲ映像を前記複数のユーザ装置にマルチキャスト配信する
ことを特徴とする。

【0014】

また、本開示は、
前記エッジサーバは、複数のユーザ装置からのユーザの視聴状況に応じて、高優先度の多いタイルについて高品質で圧縮符号化されたＶＲ映像を選択し、高優先度の少ないタイルについて低品質で圧縮符号化されたＶＲ映像を選択し、選択した品質のＶＲ映像を前記複数のユーザ装置にブロードキャスト配信する
ことを特徴とする。

【0015】

また、本開示は、
前記エッジサーバは、複数のユーザ装置からのユーザの視聴状況に応じて、高優先度のより多いタイルについてより高品質で圧縮符号化されたＶＲ映像を選択し、高優先度のより少ないタイルについてより低品質で圧縮符号化されたＶＲ映像を選択するよう３以上のレベルに分類し、いずれかのレベルで二分し、各ユーザ装置に、より高品質で圧縮符号化されたＶＲ映像のタイルをマルチキャスト配信し、他のＶＲ映像のタイルをユニキャスト配信する
ことを特徴とする。

【0016】

また、本開示は、
前記エッジサーバは、前記ユーザ装置から受信した高優先度のタイル番号に対応するタイルについてはより高品質で圧縮符号化されたＶＲ映像のタイルを選択し、高優先度のタイル番号を送信したユーザ装置にユニキャスト配信する
ことを特徴とする。

【0017】

また、本開示は、
前記エッジサーバは、複数のユーザ装置からのユーザの視聴状況に応じて、高優先度のより多いタイルについてより高品質で圧縮符号化されたＶＲ映像のタイルを選択し、高優先度のより少ないタイルについてより低品質で圧縮符号化されたＶＲ映像のタイルを選択するよう３以上のレベルに分類し、いずれかのレベルで三分し、各ユーザ装置に、より高品質で圧縮符号化されたＶＲ映像のタイルをマルチキャスト配信し、より低品質で圧縮符号化されたＶＲ映像のタイルをブロードキャスト配信し、残りの中品質で圧縮符号化されたＶＲ映像のタイルをユニキャスト配信する
ことを特徴とする。

【0018】

また、本開示は、
前記エッジサーバは、前記ユーザ装置から受信した高優先度のタイル番号に対応するタイルについてはより高品質で圧縮符号化されたＶＲ映像のタイルを選択し、高優先度のタイル番号を送信したユーザ装置にユニキャスト配信する
ことを特徴とする。

【0019】

また、本開示は、
複数の品質で圧縮符号化されたＶＲ映像の中から、ユーザの視聴状況に応じて選択した品質で圧縮符号化されたＶＲ映像を配信するエッジサーバ
である。

【0020】

また、本開示は、
複数の品質で圧縮符号化されたＶＲ映像の中から、ユーザの視聴状況に応じて選択した品質で圧縮符号化されたＶＲ映像を配信する映像配信方法
である。

【0021】

なお、上記各開示の発明は、可能な限り組み合わせることができる。

【発明の効果】

【0022】

このように、本開示は、配信されたＶＲ映像に対するユーザの体感品質を維持しながら、映像配信の低遅延化を実現することができる。

【図面の簡単な説明】

【0023】

【図1】本開示の映像配信システムの構成を示す図である。

【図2】本開示の映像配信システムのタイル構造を説明する図である。

【図3】本開示の映像配信システムのタイル構造を説明する図である。

【図4】本開示の映像配信システムの構成を示す図である。

【図5】本開示の映像配信システムの構成を示す図である。

【図6】本開示の映像配信システムの構成を示す図である。

【図7】本開示の映像配信システムの構成を示す図である。

【図8】本開示の映像配信システムの構成を示す図である。

【図9】本開示の映像配信システムの構成を示す図である。

【図10】本開示の映像配信システムの構成を示す図である。

【図11】本開示の映像配信システムの構成を示す図である。

【図12】本開示の映像配信システムの構成を示す図である。

【発明を実施するための形態】

【0024】

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

【0025】

（実施形態１）
本実施形態の映像配信システムを図１に示す。本実施形態の映像配信システムは、映像ソース１１、サーバ１２、通信ネットワーク１３、エッジサーバ１４及びユーザ装置１５を備える。図１を使用して映像配信方法を説明する。

【0026】

サーバ１２は、映像ソース１１からの映像をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像に加工する。具体的には、複数の映像を繋ぎ合わせるスティッチング処理及び球面マッピング処理を行う。さらに、ＶＲ映像を複数の品質で圧縮符号化し、通信ネットワーク１３を介して、圧縮符号化した全ての品質のＶＲ映像をエッジサーバ１４に配信する。

【0027】

エッジサーバ１４は、サーバ１２からの複数の品質で圧縮符号化されたＶＲ映像の中から、ユーザの視聴状況に応じて選択した品質で圧縮符号化されたＶＲ映像をユーザ装置１５に配信する。サーバ１２とエッジサーバ１４との間は、通信ネットワーク１３で接続されている。

【0028】

ユーザ装置１５は、エッジサーバ１４にユーザの視聴状況を送信し、選択された品質で圧縮符号化されたＶＲ映像をエッジサーバ１４から受信する。ユーザは、ユーザ装置１５を介してＶＲ映像を視聴する。

【0029】

本実施形態の映像配信システムでは、ＶＲ映像の配信に、映像ソース１１とユーザ装置１５との間に、サーバ１２及びエッジサーバ１４を設ける階層化アーキテクチャを適用することにより、映像ソース１１とサーバ１２との間のデータ量を削減できるため、映像配信の低遅延化を実現することができる。また、エッジサーバ１４を経由してもユーザの体感品質を維持することができる。

【0030】

（実施形態２）
ユーザの視聴状況に応じて低遅延の映像配信を可能とするために、映像をタイルに分割する。３６０度映像をタイルに分割する方法を図２に示す。３６０度映像（図２（１））に対して、行で分割してもよいし（図２（２））、列で分割してもよいし（図２（３））、行列のブロックに分割してもよいし（図２（４））、これらの混合でもよい（図２（５））。タイル分割領域はすべて均等でなくてもよい。例えば、配信するＶＲ映像に応じて、領域の大きさを変えてもよい。視聴領域が限定される場合は、その領域を小さくしてもよい。

【0031】

以後の実施形態では、４×４行列のブロックに分割したタイル配列の例で説明する。図３に４×４行列のブロックに分割したタイル配列の例を示す。タイルには、ｔ０からｔ１１のタイル番号が割り当てられている、

【0032】

本実施形態の映像配信システムを図４に示す。本実施形態の映像配信システムは、映像ソース１１、サーバ１２、通信ネットワーク１３、エッジサーバ１４及びユーザ装置１５を備える。

【0033】

サーバ１２は、映像ソース１１からの映像をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像に加工し、複数の品質で圧縮符号化する。その後、複数の品質で圧縮符号化したＶＲ映像を図３のようなタイルに分割する。さらに、通信ネットワーク１３を介して、タイルに分割した全ての品質のＶＲ映像をエッジサーバ１４に送信する。図４の例では、ＶＲ映像を例えば５段階の品質で圧縮符号化を行っている。「５」が最も高品質で、「１」が最も低品質としている。以下の実施形態でも同様である。

【0034】

エッジサーバ１４は、サーバ１２から受信した複数の品質で圧縮符号化され、タイルに分割されたＶＲ映像の中から、ユーザの視聴状況に応じてタイルごとに選択した品質で圧縮符号化されたＶＲ映像をユーザ装置１５に配信する。

【0035】

ユーザ装置１５は、ユーザのＶＲ映像に対する視線情報に基づき抽出された高優先度のタイル番号を視聴状況としてエッジサーバ１４に送信する。例えば、視線検出装置（不図示）が、ＶＲ映像のタイルのうちで、ユーザが視線を向けているタイルのタイル番号を高優先度のタイル番号として抽出し、ユーザ装置１５が、抽出された高優先度のタイル番号を視聴状況としてエッジサーバ１４に送信する。

【0036】

図４の例では、エッジサーバ１４は、ユーザ装置１５からの高優先度のタイル番号ｔ０、ｔ１、ｔ４、ｔ５又はｔ６、ｔ７、ｔ１０、ｔ１１を受信し、高優先度のタイル番号に相当するタイルには「５」の高品質のＶＲ映像を選択し、それ以外のタイルには「２」の低品質のＶＲ映像を選択して、それぞれのユーザ装置１５に配信する。ユーザ装置１５は、タイルごとに選択した品質で圧縮符号化されたＶＲ映像を受信する。低品質で符号化されたＶＲ映像はデータ量が小さくなるため、映像配信を低遅延で行うことができる。

【0037】

高優先度に対応する品質が選択されたタイルは「５」の高品質のＶＲ映像を選択し、低優先度に対応する品質が選択されたタイルは「２」の低品質のＶＲ映像を選択しているが、高品質か低品質かは相対的な関係である、高優先度のタイルを高優先度でないタイルよりも高品質で圧縮符号化されたＶＲ映像を選択する趣旨である。

【0038】

図４では、ＶＲ映像の品質を５段階としているが、この値は例示である。また、高優先度の数の多少を高優先度の有無の２段階のレベルとしているが、３以上にレベル分けしてもよい。

【0039】

本実施形態の映像配信システムでは、ユーザの視聴状況に応じてタイルごとに複数の品質の中から選択した品質で圧縮符号化されたＶＲ映像を配信するため、体感品質を維持しながら、低遅延の映像配信を可能とすることができる。

【0040】

（実施形態３）
本実施形態の映像配信システムを図５に示す。本実施形態の映像配信システムは、映像ソース１１、サーバ１２、通信ネットワーク１３、エッジサーバ１４及びユーザ装置１５を備える。

【0041】

タイルに分割するのがサーバ１２ではなく、エッジサーバ１４である点が実施形態２との違いである。

【0042】

サーバ１２は、映像ソース１１からの映像をＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像に加工し、複数の品質で圧縮符号化する。さらに、通信ネットワーク１３を介して、複数の品質で圧縮符号化した全ての品質のＶＲ映像をエッジサーバ１４に送信する。図５の例では、ＶＲ映像を例えば５段階の品質で圧縮符号化を行っている。

【0043】

エッジサーバ１４は、サーバ１２からの複数の品質で圧縮符号化されたＶＲ映像をタイルに分割し、分割したＶＲ映像をユーザの視聴状況に応じてタイルごとに選択した品質で圧縮符号化されたＶＲ映像をユーザ装置１５に配信する。

【0044】

ユーザ装置１５は、エッジサーバ１４は、ユーザ装置１５からの高優先度のタイル番号ｔ０、ｔ１、ｔ４、ｔ５又はｔ６、ｔ７、ｔ１０、ｔ１１を受信し、高優先度のタイル番号に相当するタイルには「５」の高品質のＶＲ映像を選択し、それ以外のタイルには「２」の低品質のＶＲ映像を選択して、それぞれのユーザ装置１５に配信する。ユーザ装置１５は、タイルごとに選択した品質で圧縮符号化されたＶＲ映像を受信する。低品質で符号化されたＶＲ映像はデータ量が小さくなるため、映像配信を低遅延で行うことができる。

【0045】

図５の例では、エッジサーバ１４は、ユーザ装置１５からの高優先度のタイル番号ｔ０、ｔ１、ｔ４、ｔ５又はｔ６、ｔ７、ｔ１０、ｔ１１を受信し、高優先度のタイル番号に想到するタイルには「５」の高品質のＶＲ映像を選択し、それ以外のタイルには低品質のＶＲ映像を選択して、それぞれのユーザ装置１５に配信する。低品質符号化したＶＲ映像はデータ量が小さくなるため、映像配信を低遅延で行うことができる。

【0046】

高優先度に対応する品質が選択されたタイルは「５」の高品質のＶＲ映像を選択し、低優先度に対応する品質が選択されたタイルは「２」の低品質のＶＲ映像を選択しているが、高品質か低品質かは相対的な関係である、高優先度のタイルを高優先度でないタイルよりも高品質で圧縮符号化されたＶＲ映像を選択する趣旨である。

【0047】

図５では、ＶＲ映像の品質を５段階としているが、この値は例示である。また、高優先度の数の多少を高優先度の有無の２段階のレベルとしているが、３以上にレベル分けしてもよい。

【0048】

本実施形態の映像配信システムでは、ユーザの視聴状況に応じてタイルごとに複数の品質の中から選択した品質で圧縮符号化されたＶＲ映像を配信するため、体感品質を維持しながら、低遅延の映像配信を可能とすることができる。

【0049】

（実施形態４）
本実施形態の映像配信システムを図６、図７及び図８に示す。本実施形態の映像配信システムは、実施形態２又は実施形態３の中でエッジサーバ１４及びユーザ装置１５に的を絞って、エッジサーバ１４の複数の品質からなるＶＲ映像のタイルの選択及び配信を説明する。

【0050】

複数のユーザ装置１５は、ユーザの視線情報に基づき抽出された高優先度のタイル番号を視聴状況としてエッジサーバ１４に送信する。エッジサーバ１４は、タイルごとに高優先度の数でレベル分けし、高優先度の多いタイルについて高品質で圧縮符号化されたＶＲ映像を選択し、高優先度の少ないタイルについて低品質で圧縮符号化されたＶＲ映像を選択する。高優先度のレベル分けを決める数は、予め設定してもよいし、任意に変更してもよい。

【0051】

図６、図７及び図８の例では、高優先度の多いタイルと高優先度の少ないタイルの２つのレベルに分け、高優先度の多いタイルについて段階「５」の高品質で圧縮符号化されたＶＲ映像を選択し、高優先度の少ないタイルについて段階「２」の低品質で圧縮符号化されたＶＲ映像を選択する。例として、２つのユーザ装置１５からの「高優先度のタイル番号」の和集合をとっている。例えば、高優先度のタイル番号ｔ０、ｔ１、ｔ４、ｔ５と高優先度のタイル番号ｔ４、ｔ５、ｔ８、ｔ９の和集合はｔ０、ｔ１、ｔ４、ｔ５、ｔ８、ｔ９である。つまり、いずれかのユーザ装置１５が高優先度としたタイルについて、段階「５」の高品質で圧縮符号化されたＶＲ映像を選択し、いずれのユーザ装置１５も高優先度としなかったタイルについて、段階「２」の低品質で圧縮符号化されたＶＲ映像を選択する。

【0052】

図６、図７及び図８の例では、ＶＲ映像の品質を５段階としているが、この値は例示である。また、高優先度の数の多少を高優先度の有無の２段階のレベルとしているが、３以上にレベル分けしてもよい。

【0053】

図６の例では、エッジサーバ１４は、共通して選択した品質のタイルからなるＶＲ映像を各ユーザ装置１５にユニキャスト配信する。ユニキャスト配信で高信頼な映像配信ができる。

【0054】

従って、本実施形態の映像配信システムでは、ユーザの視聴状況に応じて選択した品質のＶＲ映像をユニキャスト配信することにより、高信頼で低遅延な映像配信を可能とすることができる。

【0055】

図７の例では、エッジサーバ１４は、共通して選択した品質のタイルからなるＶＲ映像を各ユーザ装置１５にマルチキャスト配信する。マルチキャスト配信ではデータ量が少なく、低遅延な映像配信が可能となる。

【0056】

従って、本実施形態の映像配信システムでは、ユーザの視聴状況に応じて選択した品質のＶＲ映像をマルチキャスト配信することにより、高信頼でより低遅延な映像配信を可能とすることができる。

【0057】

図８の例では、エッジサーバ１４は、共通して選択した品質のタイルからなるＶＲ映像を各ユーザ装置１５にブロードキャスト配信する。ブロードキャスト配信では、データ量が少なく、また、双方向のネゴシエーションがない分、遅延が小さい。

【0058】

従って、本実施形態の映像配信システムでは、ユーザの視聴状況に応じて選択した品質のＶＲ映像をブロードキャスト配信することにより、さらに低遅延な映像配信を可能とすることができる。

【0059】

（実施形態５）
本実施形態の映像配信システムを図９から図１２に示す。本実施形態の映像配信システムは、実施形態２又は実施形態３の中でエッジサーバ１４及びユーザ装置１５に的を絞って、エッジサーバ１４の複数の品質からならＶＲ映像のタイルの選択及び配信を説明する。

【0060】

ユーザ装置１５は、ユーザの視線情報に基づき抽出された高優先度のタイル番号を視聴状況としてエッジサーバ１４に送信する。エッジサーバ１４は、タイルごとに高優先度の数でレベル分けし、高優先度のより多いタイルについて、より高品質で圧縮符号化されたＶＲ映像を選択し、高優先度のより少ないタイルについて、より低品質で圧縮符号化されたＶＲ映像を選択するよう３以上のレベルに分類する。高優先度のレベル分けを決める数は、予め設定してもよいし、任意に変更してもよい。

【0061】

高優先度が多いか少ないかは相対的関係であり、高優先度の数に応じて３以上のレベルに分類する趣旨である。高品質か低品質かは相対的な関係であり、高優先度の多いタイルについて、高優先度の少ないタイルよりも高品質で圧縮符号化されたＶＲ映像を選択する趣旨である。例えば、高優先度の数に応じて３レベルに分類する場合、高優先度の数が中位のタイルについて、中品質で圧縮符号化されたＶＲ映像を選択し、高優先度の数のより多いタイルについて、高優先度の数が中位のタイルよりもより高品質で圧縮符号化されたＶＲ映像を選択し、高優先度の数のより少ないタイルについて、高優先度の数が中位のタイルよりもより低品質で圧縮符号化されたＶＲ映像を選択する。

【0062】

なお、エッジサーバ１４は、ユーザ装置１５から受信した高優先度のタイル番号に対応するタイルについては、高優先度の多いタイルと同じように、より高品質で圧縮符号化されたＶＲ映像を、その高優先度のタイル番号を送信したユーザ装置１５用に選択してもよい。

【0063】

図９及び図１０の例では、高優先度のより多いタイル、高優先度の数が中位のタイル、高優先度のより少ないタイルの３つのレベルに分け、高優先度の数がより多いタイルについて段階「５」で圧縮符号化されたＶＲ映像を選択し、高優先度の数が中位のタイルについて段階「３」の中品質で圧縮符号化されたＶＲ映像を選択し、高優先度の数がより少ないタイルについて段階「２」の低品質で圧縮符号化されたＶＲ映像を選択する。例として、２つのユーザ装置１５からの「高優先度のタイル番号」の積集合と和集合をとっている。例えば、高優先度のタイル番号ｔ０、ｔ１、ｔ４、ｔ５と高優先度のタイル番号ｔ５、ｔ６、ｔ９、ｔ１０の積集合はｔ５であり、高優先度のタイル番号ｔ０、ｔ１、ｔ４、ｔ５と高優先度のタイル番号ｔ５、ｔ６、ｔ９、ｔ１０の和集合はｔ０、ｔ１、ｔ４、ｔ５、ｔ６、ｔ９、ｔ１０である。つまり、いずれのユーザ装置１５も高優先度としたタイルｔ５のタイルについて段階「５」の高品質で圧縮符号化されたＶＲ映像を選択し、いずれかのユーザ装置１５が高優先度としたｔ０、ｔ１、ｔ４、ｔ６、ｔ９、ｔ１０のタイルについて、段階「３」の中品質で圧縮符号化されたＶＲ映像を選択し、いずれのユーザ装置１５も高優先度としなかった残りのタイルについて段階「２」の低品質で圧縮符号化されたＶＲ映像を選択する。

【0064】

また、図１１に示すように、エッジサーバ１４は、ユーザ装置１５から受信した高優先度のタイル番号ｔ０、ｔ１、ｔ４に対応するタイルについては、その高優先度のタイル番号を送信したユーザ装置用に高品質で圧縮符号化されたＶＲ映像を選択し、タイル番号ｔ６、ｔ９、ｔ１０に対応するタイルについては、その高優先度のタイル番号を送信したユーザ装置用に高品質で圧縮符号化されたＶＲ映像を選択してもよい。

【0065】

図９から図１２の例では、圧縮符号化の品質を「１」から「５」の５段階のレベルとしているが、３以上の段階にレベル分けしてもよい。

【0066】

図９の例では、エッジサーバ１４は、選択したＶＲ映像のタイルのうち、高品質で圧縮符号化されたＶＲ映像のタイルと中品質で圧縮符号化されたＶＲ映像のタイル及び低品質で圧縮符号化されたＶＲ映像のタイルとに二分し、高品質で圧縮符号化されたＶＲ映像のタイルをユーザ装置１５にマルチキャスト配信し、他のタイル、即ち、中品質で圧縮符号化されたＶＲ映像のタイル及び低品質で圧縮符号化されたＶＲ映像のタイルをユーザ装置１５にユニキャスト配信している。ユニキャスト配信では高信頼な映像配信が可能となる。マルチキャスト配信ではデータ量が少なく、低遅延な映像配信が可能となる。

【0067】

また、図１１に示すように、エッジサーバ１４は、ユーザ装置１５から受信した高優先度のタイル番号ｔ０、ｔ１、ｔ４に対応するＶＲ映像のタイルについては、高品質で圧縮符号化されたＶＲ映像を選択し、その高優先度のタイル番号を送信したユーザ装置１５にユニキャスト配信してもよい。同様に、ユーザ装置１５から受信した高優先度のタイル番号ｔ６、ｔ９、ｔ１０に対応するＶＲ映像のタイルについては、高品質で圧縮符号化されたＶＲ映像を選択し、その高優先度のタイル番号を送信したユーザ装置１５にユニキャスト配信してもよい。

【0068】

従って、本実施形態の映像配信システムでは、ユーザの視聴状況に応じて選択した品質のＶＲ映像の配信に、マルチキャスト配信及びユニキャスト配信を組み合わせることにより、高信頼で低遅延な映像配信を可能とすることができる。

【0069】

図１０の例では、エッジサーバ１４は、選択したＶＲ映像のタイルのうち、高品質で圧縮符号化されたＶＲ映像のタイル、中品質で圧縮符号化されたＶＲ映像のタイル及び低品質で圧縮符号化されたＶＲ映像のタイルに三分し、高品質で圧縮符号化されたＶＲ映像のタイルをユーザ装置１５にマルチキャスト配信し、中品質で圧縮符号化されたＶＲ映像のタイルをユーザ装置１５にユニキャスト配信し、低品質で圧縮符号化されたＶＲ映像のタイルをユーザ装置１５にブロードキャスト配信している。ユニキャスト配信では高信頼な映像配信が可能となる。マルチキャスト配信ではデータ量が少なく、低遅延な映像配信が可能となる。ブロードキャスト配信では、データ量が少なく、また、双方向のネゴシエーションがない分、遅延が小さい。

【0070】

また、図１２に示すように、エッジサーバ１４は、ユーザ装置１５から受信した高優先度のタイル番号ｔ０、ｔ１、ｔ４に対応するＶＲ映像のタイルについては、高品質で圧縮符号化されたＶＲ映像を選択し、その高優先度のタイル番号を送信したユーザ装置１５にユニキャスト配信してもよい。同様に、ユーザ装置１５から受信した高優先度のタイル番号ｔ６、ｔ９、ｔ１０に対応するＶＲ映像のタイルについては、高品質で圧縮符号化されたＶＲ映像を選択し、その高優先度のタイル番号を送信したユーザ装置１５にユニキャスト配信してもよい。

【0071】

従って、本実施形態の映像配信システムでは、ユーザの視聴状況に応じて各種品質で圧縮符号化したＶＲ映像をタイルごとに選択し、マルチキャスト配信、ユニキャスト配信及びブロードキャスト配信を組み合わせることにより、高信頼で低遅延な映像配信を可能とすることができる。

【0072】

以上説明したように、本開示によれば、配信されたＶＲ映像に対するユーザの体感品質を維持しながら、映像配信の低遅延化を実現することができる。

【0073】

本開示のエッジサーバはコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、通信ネットワークを通して提供することも可能である。

【符号の説明】

【0074】

１１：映像ソース
１２：サーバ
１３：通信ネットワーク
１４：エッジサーバ
１５：ユーザ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】