(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-04
(45)【発行日】2024-09-12
(54)【発明の名称】空間的不均等ストリーミング
(51)【国際特許分類】
H04N 21/84 20110101AFI20240905BHJP
H04N 21/235 20110101ALI20240905BHJP
H04N 21/258 20110101ALI20240905BHJP
H04N 19/597 20140101ALI20240905BHJP
H04N 19/46 20140101ALI20240905BHJP
【FI】
H04N21/84
H04N21/235
H04N21/258
H04N19/597
H04N19/46
【外国語出願】
(21)【出願番号】P 2022162692
(22)【出願日】2022-10-07
(62)【分割の表示】P 2021024317の分割
【原出願日】2017-10-11
【審査請求日】2022-11-07
(32)【優先日】2016-10-12
(33)【優先権主張国・地域又は機関】EP
(32)【優先日】2017-07-08
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】591037214
【氏名又は名称】フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
(74)【代理人】
【識別番号】100079577
【氏名又は名称】岡田 全啓
(72)【発明者】
【氏名】スクーピン ローベルト
(72)【発明者】
【氏名】ヘルゲ コルネリウス
(72)【発明者】
【氏名】シーアル トーマス
(72)【発明者】
【氏名】サンチェス デ ラ フエンテ ヤーゴ
(72)【発明者】
【氏名】ウィーガント トーマス
(72)【発明者】
【氏名】ポドボルスキー ディミトリ
【審査官】醍醐 一貴
(56)【参考文献】
【文献】国際公開第2017/200804(WO,A1)
【文献】国際公開第2015/197815(WO,A1)
【文献】特表2015-526006(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
H04N 21/00-21/858
H04L 67/00-67/75
(57)【特許請求の範囲】
【請求項1】
ビデオが符号化されたビデオビットストリームを復号化するためのデコーダであって、前記ビデオは空間シーンを示し、前記ビデオビットストリームには、前記空間シーンが前記ビデオの画像上
にマッピングされて前記ビデオが符号化されていて、前記デコーダは、前記ビデオビットストリー
ムから前記ビデオの推奨ビューセクション領域のサイズおよび位置のシグナリングを導出するように構成されたマイクロプロセッサ、電子回路、またはコンピュータのうちの少なくとも1つを備え、
前記推奨ビューセクション領域は前記空間シーンからのビューポートセクションを形成し、
前記シグナリングは、前記サイズ
および位置の
複数回のインスタンス化を示し、前記シグナリングは前記サイズおよび位置の前記複数回のインスタンス化をユーザの行動の統計によって得られた頻度ランクに従ってランク付けし
て示し、
前記ビデオビットストリームには全方向または球面ビデオが符号化され、前記ビデオビットストリー
ムは、ビューポートを前記推奨ビューセクション領域に時空間的に続くように位置づけることができるように前記シグナリングを提供
し、
前記ビデオビットストリームには、前記ビデオが空間的に細分されているタイルの単位で、前記ビデオが符号化されている、
デコーダ。
【請求項2】
前記シグナリングは、異なるビューセクションの動作制御方法間で前記サイズおよび位置を区別して示す、請求項
1に記載のデコーダ。
【請求項3】
前記シグナリングは、頭の動き、目の動き、およびタブレットの動きによるビューセクション制御のうちの少なくとも2つで前記サイズおよび位置を区別して示す、請求項
1に記載のデコーダ。
【請求項4】
前記シグナリングまたは前記サイズおよび位置の情報をレンダラまたはビューポートコントロールまたはストリーミング装置に転送するように構成される、請求項
1に記載のデコーダ。
【発明の詳細な説明】
【技術分野】
【0001】
本願発明は、仮想現実(VR)ストリーミングで発生するような、空間的に不均等なストリーミングに関する。
【背景技術】
【0002】
VRストリーミングは通常、非常に高解像度のビデオの送信を伴う。ヒトの中心窩の解像力は1度あたり約60ピクセルである。360°×180°の全球の透過を考慮すれば、約22k×11kピクセルの解像度を送信することになるであろう。そのような高解像度を送信することは非常に高い帯域幅要求をもたらすので、別の解決策は90°×90°のFoVを有するヘッドマウントディスプレイ(HMD)に示されるビューポートのみを送信することである。この場合、ビデオは約6K×6Kピクセルになる。ビデオ全体を最高の解像度で送信することとビューポートのみを送信することとの間のトレードオフは、ビューポートを高解像度で、いくつかの隣接データ(または球状ビデオの残り)を低解像度または低品質で送信することである。
【0003】
DASHシナリオでは、前述の混合解像度または混合品質ビデオがDASHクライアントによって制御されるように全方向ビデオ(別名球形ビデオ)を提供することができる。DASHクライアントは、コンテンツがどのように提供されているかを説明する情報を知る必要があるだけである。
【0004】
一例は、ビデオの異なる部分に対する異なる品質および歪みなどの非対称特性を有する異なる投影を用いて異なる表現を提供することであり得る。各表現は所与のビューポートに対応し、そのビューポートは他のコンテンツよりも高い品質/解像度で符号化される。方向情報(コンテンツがより高い品質/解像度で符号化されているビューポートの方向)を知っていると、DASHクライアントは、いつでもユーザの視線方向と一致するように1つまたは他の表現を動的に選択することができる。
【0005】
全方向ビデオに対してそのような非対称特性を選択するためのDASHクライアントに対するより柔軟な選択肢は、ビデオがいくつかの空間領域に分割され、各領域が異なる解像度または品質で利用可能であるときであろう。1つの選択肢は、グリッドに基づいてそれを矩形領域(別名タイル)に分割できることであるが、他の選択肢も考えられる。そのような場合、DASHクライアントは、異なる領域が提供される異なる品質についていくつかのシグナリングを必要とし、かつ、ユーザに表示されるビューポートが他の表示されていないコンテンツよりも高品質になるように、さまざまな品質でさまざまな領域をダウンロードできる。
【0006】
上記のいずれの場合も、ユーザの操作が発生してビューポートが変更されると、DASHクライアントはユーザの動きに反応して新しいビューポートに合った方法でコンテンツをダウンロードするのにしばらく時間を要するであろう。ユーザが移動してからDASHクライアントが新しいビューポートに一致するようにその要求を調整するまでの間に、ユーザは高品質と低品質のいくつかの領域を同時にビューポートに見るであろう。許容可能な品質/解像度の違いはコンテンツに依存するが、ユーザが目にする品質はいずれにしても低下する。
【0007】
従って、適応ストリーミングによってストリーミングされた空間シーンコンテンツの部分的な提示に関して、ユーザにとっての軽減、より効率的なレンダリング、またはさらには視覚的品質を向上させるという概念を手元に持つことが好ましい。
【発明の概要】
【発明が解決しようとする課題】
【0008】
従って、本願発明の目的は、空間シーンコンテンツを空間的に等しくない方法でストリーミングしてユーザの視覚品質を向上させる、またはストリーミング検索サイトにおける処理の複雑さもしくは必要な帯域幅を減少させるための概念を提供すること、またはさらなるアプリケーションシナリオへの適用性を拡大する方法で空間シーンコンテンツをストリーミングするための概念を提供することである。
【0009】
この目的は、係属中の独立請求項の主題によって達成される。
【課題を解決するための手段】
【0010】
本願発明の第1の態様は、選択されかつ検索されたメディアセグメントおよび/またはサーバから取得されたシグナリングが、時間的に変化する空間シーンの異なる部分が選択され検索されたメディアセグメントに符号化される品質に適合すべき所定の関係についてのヒントを有する検索装置を提供する場合、空間的に等しくない方法でビデオなどの時間的に変化する空間シーンに関連するストリーミングメディアコンテンツが、ストリーミング受信サイトにおいて匹敵する帯域幅消費における可視品質および/または計算の複雑さに関して改善され得るという発見に基づく。さもなければ、検索装置は、選択されたメディアセグメントに異なる品質で符号化された部分の並置が、ユーザが経験する全体的な可視品質に及ぼす悪影響について、事前に知ることができないかも知れない。メディアセグメントに含まれる情報および/または例えばマニフェストファイル(メディアプレゼンテーション記述)内のようなサーバから取得された信号化、またはSANDメッセージのようなサーバからクライアントへの追加のストリーミング関連制御メッセージにより、検索デバイスはサーバで提供されるメディアセグメントの中から適切に選択を行うことができる。このようにして、ユーザに提示される時間的に変化する空間的シーンのこの空間的セクション上への利用可能な帯域幅の不適切な分布のためにそうでなければ起こり得るので、ビデオコンテンツのバーチャルリアリティストリーミングまたは部分ストリーミングは、品質劣化に対してよりロバストにされ得る。
【0011】
本発明のさらなる態様は、第1の部分で第1の品質を使用し、第2の部分で第2のより低い品質を使用する、または第2の部分を非ストリーミングのままにしておくなどの空間的に不均等な方法でのビデオなどの時間的に変化する空間シーンに関するメディアコンテンツのストリーミングが、メディアセグメントに含まれる情報および/またはサーバから取得される信号化に応じて第1の部分のサイズおよび/または位置を決定することによって、可視品質が改善されてもよく、および/またはストリーミング検索側での帯域幅消費および/または計算の複雑さの点で複雑さが軽減されてもよいという発見に基づく。例えば、時間的に変化する空間シーンが、タイルベースのストリーミングのためにタイルベースの方法でサーバに提供されると仮定する。すなわち、メディアセグメントは、時間的に変化する空間シーンのスペクトルの時間的部分を表し、その各々は、空間シーンが細分(sub-divided)されるタイルの分布の対応するタイル内の空間シーンの時間セグメントであると仮定する。そのような場合、空間シーンにわたってすなわちタイルの粒度で利用可能な帯域幅および/または計算能力をどのように分配するかを決定するのは、検索装置(クライアント)次第である。検索装置は、メディアセグメントの選択を、後続する空間シーンの第1の部分は、空間シーンの時間的に変化するビューセクションをそれぞれ追跡し、例えば現在の帯域幅で実現可能な最高品質および/または計算能力条件であり得る所定の品質で選択され検索されたメディアセグメントに符号化される程度まで実行する。空間シーンの空間的に隣接する第2の部分は、例えば、選択され検索されたメディアセグメントに符号化されなくてもよく、または所定の品質に対して低減されたさらなる品質でそこに符号化されてもよい。そのような状況では、ビューセクションの向きに関係なく、その
集合が時間的に変化するビューセクションを完全にカバーする、隣接するタイルの数/合計を計算することは、計算上複雑な問題であり、あるいは実行不可能である。空間シーンを個々のタイルにマッピングするように選択された投影に依存して、タイル当たりの角度シーン適用範囲はこのシーンおよび個々のタイルが相互に重なり得るという事実により変化し得、ビューセクションの向きに関係なく、空間的にビューセクションをカバーするのに十分な隣接タイルの数の計算でさえ、より困難になる。従って、そのような状況では、前述の情報は、タイルの数Nまたはタイルの数としてそれぞれ第1の部分のサイズを示すことができる。この手段によって、装置は、所定の品質でそこに符号化されたN個のタイルの同じ場所に配置された集合体を有するそれらのメディアセグメントを選択することによって時間的に変化するビューセクションを追跡することができる。これらN個のタイルの集合がビューセクションを十分にカバーするという事実は、Nを示す情報によって保証され得る。別の例は、メディアセグメントに含まれる情報および/またはサーバから取得される信号化であり、それはビューセクション自体のサイズに対する第1の部分のサイズを示す。例えば、この情報は、時間的に変化するビューセクションの動きを考慮するために、実際のビューセクションの周りに何らかの形で「安全ゾーン」またはプリフェッチゾーンを設定することができる。時間的に変化するビューセクションが空間シーンを横切って移動する速度が大きいほど、安全ゾーンは大きくなる。従って、前述の情報は、インクリメンタル方式またはスケーリング方式など、時間的に変化するビューセクションのサイズに対する方法で第1の部分のサイズを示すことができる。そのような情報に従って第1の部分のサイズを設定する検索装置は、そうでなければ空間シーンの未検索部分または低品質部分がビューセクションに見えるために起こり得る品質劣化を回避することができるであろう。ここでは、このシーンがタイルベースの方法で提供されるのか、他の方法で提供されるのかは無関係である。
【0012】
本出願の直前の局面に関連して、ビデオビットストリームがビデオを復号化するための復号化能力がフォーカスされるべきであるビデオの中にフォーカス領域のサイズのシグナリングを提供される場合、その中に符号化されたビデオを有するビデオビットストリームはより高い品質で復号可能にされ得る。この手段によって、ビットストリームからビデオを復号するデコーダは、ビデオビットストリームで信号化された焦点領域のサイズを有する部分にビデオの復号にその復号能力を集中させる、または制限さえすることができ、例えば、このように復号化された部分は、利用可能な復号化能力によって復号化可能であり、ビデオの必要な部分を空間的にカバーすることが分かる。例えば、このように信号化された焦点領域のサイズは、ビデオを復号する際の復号待ち時間を考慮に入れてビューセクションのサイズおよびこのビューセクションの動きをカバーするために十分に大きくなるように選択され得る。あるいは、換言すれば、ビデオビットストリームに含まれるビデオの推奨される好ましいビューセクション領域の信号化は、デコーダがこの領域を好ましい方法で扱うことを可能にし、それによってデコーダがそれに応じて復号電力を集中させることができる。エリア固有の復号化パワーフォーカシングを実行することとは無関係に、エリア信号化は、どのメディアセグメント上にダウンロードするか、すなわちどこに配置するか、およびどのようにして品質の向上した部分の寸法を決めるかを選択する段階に転送され得る。
【0013】
本出願の第1および第2の態様は、本出願の第3の態様に密接に関連しており、膨大な数の検索装置がサーバからメディアコンテンツをストリーミングするという事実を利用し、その後、第1の部分のサイズ、またはサイズおよび/もしくは位置を設定すること、および/もしくは第1および第2の品質の間の所定の関係を適切に設定することを可能にする前述の種類の情報を適切に設定するために用いられ得るような情報を獲得するようにする。このように、本出願のこの態様によれば、検索デバイス(クライアント)は、瞬間的大きさ(momentaneous measurement)、または第1の部分の空間位置および/または動きを測定する統計値、瞬間的大きさ、または選択されたメディアセグメントに符号化されて
いる限り、およびビューセクションに見える限りにおいて、時間的に変化する空間シーンの品質を測定する統計値、および選択されたメディアセグメントに符号化され、かつビューセクションに見える限りにおいて、第1の部分の品質または時間的に変化する空間シーンの品質を測定する瞬間的大きさまたは統計値の1つを集めたログメッセージを送る。瞬間的大きさおよび/または統計値には、それぞれの瞬間的大きさまたは統計値が得られた時間に関する時間情報を提供することができる。ログメッセージは、メディアセグメントが提供されるサーバに送信されてもよいし、受信したログメッセージを評価する他の装置に送信されて、それに基づいて、第1の部分のサイズ、またはサイズおよび/もしくは位置を設定するために使用される前述の情報の現在の設定を更新するようにしてもよく、および/もしくは、それに基づいて所定の関係を導出するようにしてもよい。
【0014】
本出願のさらなる態様によれば、ビデオなどの時間的に変化する空間シーンに関連するストリーミングメディアコンテンツ、特にタイルベースの方法でのストリーミングメディアコンテンツは、時間的に変化する空間シーンがタイルベースのストリーミングのために提供される少なくとも1つのバージョンと少なくとも1つのバージョンのそれぞれに対して時間的に変化する空間シーンのそれぞれのバージョンをタイルベースのストリーミングから恩恵を受けるための要件の恩恵の表示とを含むメディアプレゼンテーション記述を提供することによって無用なストリーミング試行の回避に関してより効果的になる。この手段によって、検索装置は、少なくとも1つのバージョンの有益な要件を、検索装置自体またはタイルベースのストリーミングに関して検索装置と対話する他の装置の装置能力と一致させることができる。例えば、利益を得る要件は、復号能力要件に関連し得る。すなわち、ストリーミング/検索されたメディアコンテンツを復号するための復号能力が、時間的に変化する空間シーンのビューセクションをカバーするのに必要なすべてのメディアセグメントを復号するのに十分ではない場合、メディアコンテンツをストリーミングし提示しようとすることは、時間、帯域幅、計算能力の面で、無駄であり、それに応じて、いずれにせよそれを試していないことがより効果的である。例えば、あるタイルに関するメディアセグメントは、他のタイルに関するメディアセグメントとは別に、ビデオストリームなどのメディアストリームを形成する場合、復号能力要件は、例えば、それぞれのバージョンに必要ないくつかのデコーダインスタンス化を示すことができる。復号化能力要件は、例えば、所定の復号化プロファイルおよび/またはレベルに適合するために必要とされる復号器インスタンス化の特定の部分などのさらなる情報にも関連し得、またはユーザがそれを介してシーンを見るのに十分な速さでビューポート/セクションを移動するユーザ入力装置の特定の最小能力を示し得る。シーンの内容によっては、動きの能力が低いと、ユーザがシーンの興味深い部分を見るのに十分ではない場合がある。
【0015】
本願発明のさらなる態様は、時間的に変化する空間シーンに関するメディアコンテンツのストリーミングの拡張に関する。特に、この態様による概念は、空間シーンが実際には時間的に変化するだけでなく、例えばビューおよび位置、ビュー深度または他の何らかの物理的パラメータを示唆する少なくとも1つのさらなるパラメータに関しても変化し得ることである。検索装置は、ビューポート方向および少なくとも1つのさらなるパラメータに応じて、メディアセグメントのアドレスを計算することによってこのコンテキストにおける適応ストリーミングを使用することができ、メディアセグメントは時間的に変化する空間シーンおよび少なくとも1つのパラメータを記述し、サーバから計算されたアドレスを使用してメディアセグメントを検索する。
【0016】
従属請求項の主題である本件出願の上に概説した態様およびそれらの有利な実施形態は、個々にまたはすべて一緒に組合わせることができる。
【0017】
本件出願の好ましい実施形態は、図面に関して以下に説明される。
【図面の簡単な説明】
【0018】
【
図1】
図1は、以下の図に示される実施形態が有利に使用され得る場所に関する例として、仮想現実アプリケーションのためのクライアントおよびサーバのシステムを示す概略図を示す図である。
【
図2】
図2は、サーバ10がユーザに提示されるメディアコンテンツ内の許容可能または耐えられる品質変動に関する情報を有する装置を提供する本件出願の一実施形態によるクライアント装置の可能な動作モードを説明するためのメディアセグメント選択プロセスの概略図と共にクライアント装置のブロック図を示す図である。
【
図3】
図3は、
図2の変形例を示す図であり、品質が向上した部分は、ビューポートのビューセクションを追跡している部分に関するものではなく、サーバからクライアントにシグナリングされるメディアシーンコンテンツの関心領域に関するものである。
【
図4】
図4は、サーバが、品質が向上した部分のサイズまたはサイズおよび/または位置、あるいはメディアシーンの実際に検索されたセクションのサイズまたはサイズおよび/または位置を設定する方法に関する情報を提供する実施例によるメディアセグメント選択プロセスの概略図と共にクライアント装置のブロック図を示す図である。
【
図5】
図5は、サーバによって送信される情報が、ビューポートの予想される動きに応じてスケーリングするのではなく、部分64のサイズを直接示すという点で
図5の変形形態を示す図である。
【
図6】
図6は、検索されたセクションが所定の品質を有し、そのサイズがサーバから生じる情報によって決定される、
図4の変形を示す図である。
【
図7a】
図7aは、ビューポートのサイズの対応する拡大によって、所定の品質で検索された部分のサイズを大きくする
図4-
図6による情報74がどのように変換されるかを示す概略図である。
【
図7b】
図7bは、ビューポートのサイズの対応する拡大によって、所定の品質で検索された部分のサイズを大きくする
図4~
図6による情報74がどのように変換されるかを示す概略図である。
【
図7c】
図7cは、ビューポートのサイズの対応する拡大によって、所定の品質で検索された部分のサイズを大きくする
図4-
図6による情報74がどのように変換されるかを示す概略図である。
【
図8a】
図8aは、クライアント装置は、ログメッセージをサーバまたは特定の評価部に送信してこれらのログメッセージを評価し、例えば、
図2ないし
図7cに関して説明した情報の種類に対して適切な設定を導出する実施形態を示す概略図である。
【
図8b】
図8bは、タイル上への360シーンのタイルベースの立方体投影、およびいくつかのタイルがビューポートの例示的な位置によってどのように覆われるかの例を示す概略図であり、小さな丸はビューポート内の等角分布の位置を示し、ハッチングされたタイルはダウンロードされたセグメント内でハッチングのないタイルよりも高い解像度でエンコードされる。
【
図8c】
図8cは、クライアントの異なるバッファのバッファ占有率(垂直軸)がどのようにして発生する可能性があるかについて時間軸(水平)に沿って示す図の概略図を示す図であり、ここで、
図8cは、特定のタイルを符号化する表現をバッファリングするために使用されるバッファを仮定する。
【
図8d】
図8dは、クライアントの異なるバッファのバッファ占有率(垂直軸)がどのようにして発生する可能性があるかについて時間軸(水平)に沿って示す図の概略図を示す図であり、ここで、
図8dは、不均一な品質ですなわち、それぞれのバッファに特有のある方向に向かって増加した符号化されたシーンを有する全方向表現をバッファリングするために使用されるバッファを仮定する。
【
図8e】
図8eは、球形またはビュープレーンの意味での均一性に関して異なるビューポート28内の異なるピクセル密度の大きさ(measurement)の三次元図を示す図である。
【
図8f】
図8fは、球形またはビュープレーンの意味での均一性に関して異なるビューポート28内の異なるピクセル密度の大きさの三次元図を示す図である。
【
図9】
図9は、サーバがタイルベースのストリーミングを提供する特定のバージョンがクライアントデバイスにとって許容可能であるかどうかを評価するために、デバイスがサーバから生じる情報を検査するとき、クライアント装置のブロック図およびメディアセグメント選択プロセスの概略図を示す図である。
【
図10】
図10は、メディアシーンの時間的な依存性だけでなく別の非時間的パラメータ、すなわちここでは例示的にシーン中心位置の依存性を可能にする実施形態によるサーバによって提供される複数のメディアセグメントを示す概略図を示す図である。
【
図11】
図11は、この情報を利用することができるビデオデコーダの例と共に、ビットストリームに符号化されたビデオ内のフォーカス領域のサイズを生じるまたは制御する情報を含むビデオビットストリームを示す概略図を示す図である。
【発明を実施するための形態】
【0019】
本件出願の様々な態様に関する本件出願の実施形態の説明の理解を容易にするために、
図1は、本件出願の以下に説明される実施形態が適用され有利に使用され得る環境の例を示す。特に、
図1は、適応ストリーミングを介して対話するクライアント10とサーバ20とから構成されるシステムを示す。例えば、HTTP上の動的適応ストリーミング(DASH)をクライアント10とサーバ20との間の通信22に使用することができる。しかしながら、後に概説される実施形態は、DASHの使用に限定されると解釈されるべきではなく、同様に、メディアプレゼンテーション記述(MPD)のような用語は、DASHとは異なるように定義されたマニフェストファイルもカバーするように広義であると理解されるべきである。
【0020】
図1は、仮想現実アプリケーションを実施するように構成されたシステムを示す。すなわち、システムは、ヘッドアップディスプレイ24を装着しているユーザに、すなわちヘッドアップディスプレイ24の内部ディスプレイ26を介して、セクション28はヘッドアップディスプレイ24の慣性センサなどの内部方位センサ32によって例示的に測定されたヘッドアップディスプレイ24の方位に対応する時間的に変化する空間シーン30からビューセクション28を提示するように構成される。すなわち、ユーザに提示されるセクション28は、その空間位置がヘッドアップディスプレイ24の向きに対応する、空間シーン30のセクションを形成する。
図1の場合、時間的に変化する空間シーン30は、全方向ビデオまたは球面ビデオとして描かれているが、
図1の説明およびその後に説明される実施形態は、他の例にも同様に容易に移行可能であり、例えば、セクション28の空間位置を有するビデオからのセクションを提示することは、顔のアクセスまたは目のアクセスと仮想または実際のプロジェクタの壁などとの交差によって決定される。さらに、センサ32およびディスプレイ26は、例えば、それぞれ遠隔制御装置および対応するテレビジョンなどの異なる装置によって構成されてもよく、あるいはタブレットまたは携帯電話などのモバイル装置などのハンドヘルド装置の一部であってもよい。最後に、後述する実施形態のいくつかは、ユーザに提示される領域28が時間的に変化する空間シーン30を提示する際のむらで常に全体的に時間的に変化する空間シーン30を覆うシナリオ、例えば、空間的シーンにわたる品質の不均等な分布に関するシナリオにも適用され得る点に留意すべきである。
【0021】
サーバ20、クライアント10、およびサーバ20で空間コンテンツ30が提供される方法に関するさらなる詳細は、
図1に示されており、以下に説明される。しかしながら、これらの詳細もまた、後に説明される実施形態を限定するものとして扱われるべきではなく、むしろ、後に説明される実施形態のうちのいずれかを実施する方法の例として役立つべきである。
【0022】
特に、
図1に示すように、サーバ20は、記憶装置34と、適切にプログラムされたコンピュータ、特定用途向け集積回路などのコントローラ36とを含むことができる。記憶装置34は、時間的に変化する空間シーン30を表すメディアセグメントを記憶している。特定の例は、
図1の図に関して以下により詳細に概説される。コントローラ36は、要求されたメディアセグメント、メディアプレゼンテーション記述をクライアント10に再送信することによってクライアント10によって送信された要求に応答し、それ自体でさらなる情報をクライアント10に送信することができる。これに関する詳細もまた以下に記載される。コントローラ36は、要求されたメディアセグメントを記憶装置34から取出すことができる。この記憶装置内には、サーバ20からクライアント10に送信された他の信号に、メディアプレゼンテーション記述またはその一部などの他の情報も記憶され得る。
【0023】
図1に示すように、サーバ20は、クライアント10でメディアデータストリームを形成するように、後者からの要求に応答してサーバ20からクライアント10に送信されるメディアセグメントを修正するストリーム修正部38を任意でさらに含んでもよく、例え
ば、このようにしてクライアント10によって検索されたメディアセグメントは実際にはいくつかのメディアストリームから集約されるが、1つの単一のメディアストリームは1つの関連デコーダによって復号化可能である。しかしながら、そのようなストリーム修正部38の存在は任意である。
【0024】
図1のクライアント10は、例示的に、クライアント装置またはコントローラ40、あるいはそれ以上のデコーダ42および再投影機(reprojector:リプロジェクタとも称す)44を含むように描かれている。クライアント装置40は、適切にプログラムされたコンピュータ、マイクロプロセッサ、FPGAなどのプログラムされたハードウェア装置、または特定用途向け集積回路などであり得る。クライアント装置40は、サーバ20で提供される複数の46のメディアセグメントの中からサーバ20から検索されるべきセグメントを選択することを引き受ける。この目的のために、クライアント装置40は最初にサーバ20からマニフェストまたはメディアプレゼンテーション記述を検索する。同様に、クライアント装置40は、空間シーン30のある必要とされる空間部分に対応する複数46の中からメディアセグメントのアドレスを計算するための計算規則を取得する。このように選択されたメディアセグメントは、それぞれの要求をサーバ20に送信することによってクライアント装置40によってサーバ20から検索される。これらの要求は計算されたアドレスを含む。
【0025】
このようにしてクライアント装置40によって検索されたメディアセグメントは、後者によって復号のために1つ以上のデコーダ42に転送される。
図1の例では、このようにして検索され復号されたメディアセグメントは、各時間的時間単位について、時間的に変化する空間シーン30のうちの単に空間的セクション48を表すが、既に上述したように、これは他の態様に従って異なることがあり、例えば、提示されるビューセクション28は常にシーン全体をカバーする。リプロジェクタ44は、選択され検索されデコードされたメディアセグメントの検索されデコードされたシーンコンテンツからユーザに表示されるようにビューセクション28を任意に再投影し切出すことができる。この目的のために、
図1に示すように、クライアント装置40は、例えば、センサ32からのユーザ方位データに応答してビューセクション28の空間位置を連続的に追跡し更新し、例えば、シーンセクション28のこの現在の空間位置、ならびに領域形成ビューセクション28にマッピングされるように、検索および復号されたメディアコンテンツに適用される再投影マッピングについて、リプロジェクタ44に通知する。リプロジェクタ44は、それに応じて、例えば、ディスプレイ26に表示される画素の規則的なグリッドにマッピングと補間を適用することができる。
【0026】
図1は、空間シーン30をタイル50にマッピングするために立方体マッピングが使用された場合を示している。したがって、タイルは、球の形態を有するシーン30が投影された立方体の長方形の小領域として描かれている。リプロジェクタ44はこの投影を反転させる。しかしながら、他の例も同様に適用され得る。しかしながら、他の例も同様に適用され得る。例えば、立方体投影の代わりに、切頭ピラミッドまたは切頭なしのピラミッドへの投影を使用することができる。さらに、
図1のタイルは、空間シーン30のカバレッジに関して重複しないように描かれているが、タイルへの細分化(subdivision)は、相互のタイル重複を含み得る。そして以下により詳細に概説されるように、シーン30をタイル50に空間的に細分し、各タイルが以下にさらに説明されるように1つの表現を形成することもまた必須ではない。
【0027】
従って、
図1に示すように、空間シーン30全体が空間的にタイル50に細分化される。
図1の例では、立方体の6つの面のそれぞれが4つのタイルに細分化される。説明のために、タイルが列挙されている。各タイル50について、サーバ20は
図1に示すようにビデオ52を提供する。より正確には、サーバ20は、タイル50ごとに複数のビデオ5
2を提供することさえあり、これらのビデオは品質Q#が異なる。さらに、ビデオ52は時間的セグメント54に時間的に細分化される。すべてのタイルT#のすべてのビデオ52の時間セグメント54は、サーバ20の記憶装置34に記憶されている複数の46のメディアセグメントのうちの1つのメディアセグメントを形成するか、またはその中の1つに符号化される。
【0028】
図1に示されたタイルベースのストリーミングの例でさえも、そこから多くの変形が可能である例を形成するにすぎないことを再度強調しておく。例えば、
図1は、より高い品質でのシーン30の表現に関するメディアセグメントは、品質Q1でシーン30をその中に符号化したメディアセグメントが属するタイルと一致するタイルに関連することを示唆しているように思われる。この一致は必ずしも必要ではなく、異なる品質のタイルは、シーン30の異なる投影のタイルにさえ対応し得る。さらに、これまで議論されていないが、
図1に示される異なる品質レベルに対応するメディアセグメントは、空間解像度および/または信号対雑音比および/または時間解像度などが異なることがあり得る。
【0029】
最後に、装置40によってサーバ20から個々に検索されることができるメディアセグメントがシーン30が空間的に細分化されるタイル50に関するタイルベースのストリーミング概念とは異なり、サーバ20において提供されるメディアセグメントは代替的に例えば、各々は、シーン30を、空間的に変化するサンプリング解像度で空間的に完全な方法でその中に符号化しているが、シーン30内の異なる空間位置で最大のサンプリング解像度を有する。例えば、それは、切頭先端が互いに異なる方向に配向されるであろう切頭ピラミッド上へのシーン30の投影に関する一連のセグメント54をサーバ20に提供することによって達成され得、それによって異なる配向の解像度ピークをもたらす。
【0030】
さらに、必要に応じてストリーム修正部38を提示することに関して、クライアント10とサーバ20が本明細書で説明される信号を交換するネットワーク装置内で、同じものがクライアント10の一部であり得るか、またはそれらの間に配置され得る。
【0031】
サーバ20およびクライアント10のシステムをかなり一般的に説明した後、本件出願の第1の態様による実施形態に関するクライアント装置40の機能をより詳細に説明する。この目的のために、装置40をより詳細に示す
図2を参照する。既に上述したように、装置40は時間的に変化する空間シーン30に関するメディアコンテンツをストリーミングするためのものである。
図1に関して説明したように、装置40は、ストリーミングされたメディアコンテンツが空間的にシーン全体に連続的に関連するように構成されてもよいし、単にそのセクション28に限定されてもよいように構成されてもよい。いずれにせよ、装置40は、サーバ20上で利用可能な複数46のメディアセグメントから適切なメディアセグメント58を選択するための選択部56と、HTTPリクエストのようなそれぞれのリクエストによってサーバ20から選択されたメディアセグメントを検索するための検索部60とを含む。上述のように、選択部56は、メディアプレゼンテーション記述を使用して、選択されたメディアセグメント58を検索する際にこれらのアドレスを使用して検索部60で選択されたメディアセグメントのアドレスを計算することができる。例えば、メディアプレゼンテーション記述に示されるアドレスを計算するための計算規則は、品質パラメータQ、タイルT、およびいくつかの時間セグメントtに依存し得る。アドレスは、例えばURLであり得る。
【0032】
また上述したように、選択部56は、選択されたメディアセグメントが時間的に変化する空間シーンの少なくとも1つの空間セクションを有し、その中に符号化されるように選択を実行するように構成される。空間セクションは、完全にシーンを空間的に連続的にカバーしてもよい。
図2は、61において、装置40がシーン30の空間セクション62をオーバーラップしてビューセクション28を囲むように適合させる例示的な場合を示す。
しかしながら、これは既に上述したように、必ずしもそうであるとは限らず、空間部分は連続的にシーン30全体を覆ってもよい。
【0033】
さらに、選択部56は、選択されたメディアセグメントが空間的に等しくない品質の態様法で内部に符号化されたセクション62を有するように選択を実行する。より正確には、
図2にハッチングで示されている、空間セクション62の第1の部分64は、所定の品質で選択されたメディアセグメントに符号化されている。この品質は、例えば、サーバ20によって提供される最高品質であり得るか、または「良い」品質であり得る。装置42は、例えば、時間的に変化するビューセクション28を空間的にたどるように、第1の部分64を動かす、または適合させる。例えば、選択部56は、ビューセクション28の現在位置を継承するそれらのタイルの現在の時間的セグメント54を選択する。その際、選択部56は、オプションで、以下のさらなる実施形態に関して説明するように、第1の部分64を構成するタイルの数を一定に保つことができる。いずれにせよ、セクション62の第2の部分66は、低品質などの別の品質で選択されたメディアセグメント58に符号化される。例えば、選択部56は、部分64のタイルに空間的に隣接し且つより低い品質に属する現在のタイルの時間セグメントに対応するメディアセグメントを選択する。例えば、選択部56は、現在の時間セグメントに対応する時間間隔が終了する前に部分64および重複部分66を離れるようにビューセクション28があまりにも速く移動する可能性のある機会に対処するために部分66に対応するメディアセグメントを主に選択し、かつ、選択部56は、部分64を新たに空間的に配置することができるであろう。この状況では、それにもかかわらず、部分66内に突き出ているセクション28の部分は、すなわち品質が低下した状態でユーザに提示される可能性がある。
【0034】
高品質の部分64内のシーンコンテンツと共にユーザに低減された品質のシーンコンテンツをユーザに事前に提示することによって、どのような品質の劣化が生じ得るのかについて装置40が評価することは不可能である。特に、これら2つの性質の間の移行が生じ、これはユーザにはっきりと見える可能性がある。少なくとも、そのような遷移は、セクション28内の現在のシーン内容に応じて可視的であり得る。ユーザの視野内のそのような遷移の悪影響の重大さは、サーバ20によって提供されるようなシーンコンテンツの特徴であり、装置40によって予測されないことがある。
【0035】
従って、
図2の実施形態によれば、装置40は、部分64の品質と部分66の品質との間で満たされるべき所定の関係を導出する導出部66を含む。導出部66は、メディアセグメント58内のトランスポートボックス内などのメディアセグメント内に含まれ得る、および/またはメディアプレゼンテーション記述内などのサーバ20から取得された信号化またはSANDメッセージ等のサーバ20から送信される独自の信号に含まれ得る情報からこの所定の関係を導出する。情報68がどのように見えるかに関する例が、以下に提示される。情報68に基づいて導出部66によって導出された所定の関係70は、選択を適切に実行するために選択部56によって使用される。例えば、部分64および66の品質の完全に独立した選択と比較した部分64および66の品質の選択における制限は、部分62に関するメディアコンテンツを部分64および66上に取出すために利用可能な帯域幅の分布に影響を及ぼす。いずれにせよ、選択部56は、部分64および66が最終的に検索されたメディアセグメントに符号化される品質が所定の関係を満たすようにメディアセグメントを選択する。所定の関係がどのように見えるかについての例もまた以下に示される。
【0036】
検索部60によって選択され最終的に検索されたメディアセグメントは、最終的に復号のために1つまたは複数のデコーダ42に転送される。
【0037】
第1の例によれば、例えば、情報68によって具現化されるシグナリングメカニズムは
、提供されるビデオコンテンツに対してどの品質の組合わせが許容可能であるかをDASHクライアントであり得る装置40に示す情報68を含む。例えば、情報68は、異なる領域64および66が最大の品質(または解像度)の差と混在し得ることをユーザまたは装置40に示す品質ペアのリストであり得る。装置40は、サーバ10で提供される最高品質レベルなどの特定の品質レベルを部分64に必然的に使用し、部分66が例えば、部分68の品質レベルのリストの形式で含む情報68から選択されたメディアセグメントに符号化できる品質レベルを導出するように構成され得る。
【0038】
情報68は、部分68の品質と部分64の品質との間の差の尺度についての許容値を示すことができる。品質の差の「尺度」として、メディアセグメント58の品質指標が使用されてもよく、これにより、メディアプレゼンテーション記述において同じものが区別され、かつ、これにより、そのアドレスがメディアプレゼンテーション記述に記述された計算規則を使用して計算される。MPEG-DASHでは、品質を示す対応する属性は、例えば@qualityRankingになる。装置40は、選択を実行する際に部分64および66を選択されたメディアセグメントに符号化することができる選択可能な品質レベルペアにおける制限を考慮することができる。
【0039】
しかしながら、この差の尺度の代わりに、通常、ビットレートは品質が上がるにつれて単調に増加することを仮定すれば、品質の差は、例えばビットレート差、すなわち部分64および66が対応するメディアセグメントにそれぞれ符号化されるビットレートの許容できる差で測定することもできる。情報68は、部分64および66が選択されたメディアセグメントに符号化される品質について許容される対のオプションを示すことができる。情報68は、部分64および66が選択されたメディアセグメントに符号化される品質について許容される対のオプションを示すことができる。あるいは、情報68は、符号化部分66の許容品質を単に示し、それにより、メイン部分64が、例えば可能なまたは利用可能な最高品質などの何らかのデフォルト品質を使用して符号化されると仮定して、許容品質または耐久品質差を間接的に示す。例えば、情報68は、許容可能な表現IDのリストであり得るか、または部分66に関するメディアセグメントに関して最小ビットレートレベルを示し得る。
【0040】
しかしながら、代わりに、より緩やかな品質差が望まれることもあり、その場合、品質対の代わりに、品質グループ(2つ以上の品質)が示されることがあり、ここで、セクション28までの距離、すなわちビューポートに依存して、品質差が増加する。すなわち、情報68は、ビューセクション28までの距離に応じた方法で、部分64と66の品質の間の差の尺度についての許容できる値を示すことができる。これは、ビューセクションまでのそれぞれの距離と、それぞれの距離を超えた品質の差を測定するための対応する許容値との対のリストによって行われ得る。それぞれの距離以下では、品質差はより小さくなければならない。すなわち、各対は、対応する距離よりも部分28内の対応する距離よりも遠い部分66内の部分が、このリスト項目の対応する許容値を超える部分64の品質への品質差を有する可能性があることを対応する距離について示す。
【0041】
許容可能値は、ビューセクション28までの距離が増すにつれて増加してもよい。今説明した品質の違いの受入れは、これらの異なる品質がユーザに表示される時間に左右される。例えば、品質差が大きいコンテンツは、200マイクロ秒の間だけ表示されるのであれば許容できるかも知れないが、品質差が小さいコンテンツは、500マイクロ秒の間表示されるのであれば許容可能かも知れない。従って、さらなる例によれば、情報68は、例えば、上述の品質の組合せに加えて、または許容される品質の差に加えて、組合せ/品質の差が許容され得る時間間隔も含み得る。換言すれば、情報68は、部分66が部分64と同時にビューセクション28内に示され得る最大許容時間間隔の表示とともに、部分66と64の品質間の許容できるまたは最大許容差を示し得る。
【0042】
既に述べたように、品質の違いの受入れはコンテンツ自体によって異なる。例えば、異なるタイル50の空間的位置は、容認に影響を与える。低周波信号を含む一様な背景領域における品質差は、前景オブジェクトにおける品質差より許容可能であると予想される。さらに、時間的な位置も、内容の変化による受入率に影響を与える。従って、別の例によれば、情報68を形成する信号は、例えばDASHの表現または期間ごとなど、間欠的に装置40に送信される。すなわち、情報68によって示される所定の関係は断続的に更新されてもよい。追加的に及び/又は代替的に、情報68によって実現されるシグナリングメカニズムは空間的に変わり得る。すなわち、情報68は、DASH内のSRDパラメータなどによって空間的に依存するようにすることができる。すなわち、シーン30の異なる空間領域に関する情報68によって、異なる所定の関係を示すことができる。
【0043】
装置40の実施形態は、
図2に関して説明したように、装置40がビデオコンテンツ30の検索された部分62内のプリフェッチされた部分66による品質劣化を可能な限り低く、セクション28による位置の変化に適応するように、セクション62および部分64の位置を変化させることができるようになる前にセクション28において一時的に見ることができることを望んでいるという事実に関する。すなわち、
図2において、情報68によってそれらの可能な組合せが関係する限りその質が制限されている部分64および66は、部分62の異なる部分であり、両方の部分64および66の間の遷移は移動ビューセクション28を追跡または走行するために連続的にシフトまたは適応される。
図3に示す代替実施形態によれば、装置40は、部分64および66の品質の可能な組合せを制御するために情報68を使用するが、
図3の実施形態によれば、例えばメディアプレゼンテーション記述において定義された方法で、すなわちビューセクション28の位置から独立した方法で定義された方法で互いに区別または区別される部分として定義される。部分64および66の位置ならびにそれらの間の遷移は一定でもよいし、時間的に変化してもよい。 時間的に変動する場合、変動はシーン30の内容の変化によるものである。例えば、部分64は、より高い品質の支出が価値がある関心領域に対応し、一方、部分66は、例えば、低帯域幅条件による品質低下が部分64に対する品質低下を考慮する前に考慮されるべき部分である。
【0044】
以下において、装置40の有利な実施のためのさらなる実施形態が説明される。特に、
図4は、構造的に
図2-
図3に対応する方法で装置40を示す。
図2および
図3では、操作モードが本願発明の第2の態様に対応するように変更されている。
【0045】
すなわち、装置40は、選択部56、検索部60および導出部66を備える。選択部56は、サーバ20によって提供された複数46のメディアセグメント58から選択し、検索部60は、サーバから選択されたメディアセグメントを検索する。
図4は、装置40が
図2-
図3に関して図示されたように動作すると仮定している。すなわち、選択部56は、選択されたメディアセグメント58は、この空間部分が時間的にその空間位置を変化させるビュー部分28に続くようにして符号化されたシーン30の空間部分62を有するように選択を実行する。しかしながら、本願の同じ態様に対応する変形は、
図5に関して後で説明され、各時刻tに対して、選択され検索されたメディアセグメント58は、全体のシーンまたはそれに符号化された一定の空間セクション62を有する。
【0046】
いずれにせよ、
図2および
図3に関する説明と同様に、選択部56は、メディアセグメント58を選択し、セクション62内の第1の部分64が選択され検索されたメディアセグメント58に所定の品質で符号化される一方、第1の部分64に空間的に隣接するセクション62の第2の部分66が部分64の所定の品質と比較して低い品質で選択されたメディアセグメントに符号化される。第1の部分64は、符号化されていない部分72によって囲まれている間に部分62を完全に覆っているように、選択部56がビューポート2
8の位置を追跡する移動テンプレートに関するメディアセグメントに選択および検索を制限し、メディアセグメントが所定の品質で完全にセクション62に符号化されている変形例が
図6に示されている。いずれにせよ、選択部56は、第1の部分64が時間的に空間位置が変化するビューセクション28に追従するように選択を実行する。
【0047】
そのような状況では、どのくらいの大きさのセクション62または部分64があるべきかに関してクライアント40が予測することも容易ではない。シーンの内容に応じて、大部分のユーザは、シーン30を横切ってビューセクション28を移動させることにおいて同様に行動することができ、従って、ビューセクション28がシーン30を横切って移動すると推定される速度のビューセクション28の間隔にも同じことが当てはまる。従って、
図4ないし
図6の実施形態に従って、情報74は、装置40が情報74に依存して、第1の部分64のサイズ、またはサイズおよび/もしくは位置、またはセクション62のサイズ、またはサイズおよび/もしくは位置をそれぞれ設定することを支援するように、サーバ20によって装置40に提供される。サーバ20から装置40に情報74を送信する可能性に関しては、
図2および
図3に関して上述したのと同じことが当てはまる。すなわち、情報は、そのイベントボックス内などのメディアセグメント58内に含まれてもよく、またはメディアプレゼンテーション記述内の送信、またはSANDメッセージなどのサーバ40から装置40に送信される独自のメッセージがこの目的のために使用されてもよい。
【0048】
すなわち、
図4-
図6の実施形態によれば、選択部56は、サーバ20から生じる情報74に応じて第1の部分64のサイズを設定するように構成される。
図4-
図6に示す実施形態では、サイズはタイル50の単位で設定されているが、
図1に関して既に上述したように、状況を空間的に変化する品質でシーン30をサーバ20で提供する別の概念を使用する場合は状況がわずかに異なり得る。
【0049】
一例によれば、情報70は、例えば、ビューセクション28のビューポートの所与の移動速度についての確率を含むことができる。情報74は、既に上述したように、例えばDASHクライアントであり得るクライアント装置40に利用可能にされるメディアプレゼンテーション記述内に生じ得るか、またはイベントボックス、すなわち、DASHの場合のEMSGまたはSANDメッセージ等の情報74を伝達するためにいくつかの帯域内メカニズムが使用され得る。情報74は、ISOファイルフォーマットまたはMPEG-2TSなどのMPEG-DASHを超えるトランスポートフォーマットなどの任意のコンテナフォーマットに含めることもできる。それはまた、後述するようにSEIメッセージ内のようなビデオビットストリーム内で伝達され得る。換言すれば、情報74は、視界セクション28の空間速度の尺度についての所定の値を示し得る。このようにして、情報74は部分64のサイズをスケーリングの形で、またはビューセクション28のサイズに対する増分の形で示す。すなわち、情報74は、セクション28のサイズをカバーするのに必要な部分64についてのある「基本サイズ」から始まり、この「基本サイズ」を増分的にまたはスケーリングすることによって適切に増加させる。例えば、前述のビューセクション28の移動速度は、例えば、可能な任意の空間方向に沿ったビューセクション28の周囲の最も遠い位置を決定するように、この時間間隔の後、現在のビューセクション28の位置の周囲をスケーリングするために使用され得る。例えば、メディアセグメント58の時間的長さに対応する時間的セグメント54の持続時間のような部分64の空間的位置を調整する際の待ち時間を決定する。この持続時間が全方向であるビューポート28の現在位置の周囲に加わる速度時間は、そのような最悪の場合の周囲になり得、移動しないビューポート28を想定する部分64のある最小拡大に対する部分64の拡大を決定するために使用され得る。
【0050】
情報74は、ユーザ行動の統計の評価にも関連し得る。後で、そのような評価プロセス
を実行するのに適した実施形態が説明される。例えば、情報74は、ある割合のユーザに関する最大速度を示すことができる。例えば、情報74は、90%のユーザが0.2rad/sより遅い速度で移動し、98%のユーザが0.5rad/sより低い速度で移動することを示すことができる。情報74またはそれを搬送するメッセージは、確率-速度ペアが定義されるように、または一定割合のユーザ、例えば常に99%のユーザに対して最高速度を知らせるメッセージが定義されるように定義することができる。移動速度シグナリング74は、方向情報、すなわち、2Dおける角度または3Dにおける2Dプラス深さおよびライトフィールドアプリケーションとしても知られるものをさらに含むことができる。情報74は、異なる移動方向に対する異なる確率-速度対を示すであろう。
【0051】
換言すれば、情報74は、例えばメディアセグメントの時間的長さなどの所与の期間に適用することができる。それは、軌跡ベースの(Xパーセンタイル、平均ユーザパス)または速度ベースのペア(Xパーセンタイル、速度)または距離ベースのペア(Xパーセンタイル、口径/直径/推奨)、または面積ベースのペア(Xパーセンタイル、推奨される優先領域)またはパス、速度、距離、または優先領域の1つの最大境界値を含む。情報を百分位数に関連付ける代わりに、ほとんどのユーザが一定の速度で移動し、次に多くのユーザがさらに速い速度で移動するというように、単純な頻度ランク付けを行うことができる。追加的または代替的に、情報74は、ビューセクション28の速度を示すように制限されないが、表示に従うユーザの割合などの表示または表示がユーザの視聴速度/表示セクションが最も頻繁に記録されたものと一致するかどうかの表示、および表示の一時的持続性の有無にかかわらずの統計的有意性についての表示の有無にかかわらず、ビューセクション28を追跡するように求められる部分62および/または64をそれぞれ指示するために見るべき好ましい領域を同様に示し得る。情報74は、メディアセグメントの時間長内、またはより詳細には時間セグメント54の時間的長さなど、ある期間内のビューセクション28の移動距離の尺度などのビューセクション28の速度の別の尺度を示すことができる。あるいは、情報74は、ビューセクション28が移動し得る特定の移動方向を区別するように示され得る。これは、特定の方向へのビューセクション28の速度または速度の表示、ならびに特定の移動方向に関するビューセクション28の移動距離の標識の両方に関係する。さらに、部分64の拡張は、全方向的にまたは異なる移動方向を区別する方法で直接的に、情報74によって示され得る。さらに、情報74は、移動ビューセクション28における統計的な振る舞いを説明するためにこれらの値が十分であるユーザのパーセンテージと共にこれらの値を示すという点で、今概説した例のすべてが修正され得る。この点に関して、ビュー速度、すなわちビュー速度セクション28はかなりのものとすることができ、例えばユーザの頭部の速度値に限定されないことに留意されたい。むしろ、ビューセクション28は、例えば、ユーザの眼球運動に応じて移動させることができ、その場合、ビュー速度はかなり大きくなり得る。ビューセクション28はまた、タブレットなどの動きによるなど、他の入力装置の動きに従って動かすこともできる。ユーザがセクション28を移動させることを可能にするこれらすべての「入力可能性」は、異なる予想されるビューセクション28の速度をもたらすので、情報74は、ビューセクション28の移動を制御するための異なる概念を区別するように設計され得る。すなわち、情報74は、ビューセクション28の移動を制御する異なる方法に対して異なるサイズを示すように部分64のサイズを示すかまたは示されることができ、装置40は正しいビューセクション制御のために情報74によって示されるサイズを使用するであろう。すなわち、ビューセクション28は、ユーザによって制御される、すなわち、装置40は、ビューセクション28が頭の動き、眼球の動き、タブレットの動きなどのいずれによって制御されているかを確認し、そのようなビュー部分制御に対応する情報74の部分に従ってサイズを設定する方法についての知識を得る。
【0052】
一般に、移動速度は、コンテンツ、期間、表現、セグメント、SRD位置ごと、ピクセルごと、タイルごと、たとえば任意の時間的または空間的粒度などでシグナリングするこ
とができる。概説したように、移動速度は頭の動きおよび/または目の動きでも区別することができる。さらに、ユーザの移動確率に関する情報74は、高解像度プリフェッチ、すなわち、ユーザのビューポートの外側のビデオ領域、または球形の範囲に関する推奨事項として伝えられてもよい。
【0053】
図7aから
図7cは、それぞれ部分64または部分62のサイズおよび/またはその位置を修正するために装置40によって使用される方法で、情報74に関して説明されたオプションのいくつかを簡単に要約する。
図7aに示す選択肢によれば、装置40は、信号速度vと個々のメディアセグメント50aに符号化された時間セグメントの時間長に対応する期間に対応することができる時間長Δtとの積に対応する距離だけセクション28の円周を拡大する。追加的に及び/又は代替的に、部分62及び/又は64の現在位置は、速度が大きいほど、セクション28の現在位置から、又は信号62及び/又は64の現在の位置から情報74により示されたように信号速度若しくは運動方向へのより遠い位置に配置することができる。速度および方向は、情報74による最近の開発または推奨される好ましい領域の表示の変化を調査または推定することから導出され得る。全方向にv×Δtを適用する代わりに、速度は、異なる空間方向に対して異なる情報74によって示されてもよい。
図7dに示された代替案は、情報74がビューセクション28の円周を拡大する距離を示し得ることを示し、この距離は
図7bのパラメータsによって示される。また、方向によって変化する断面の拡大が適用されてもよい。
図7cは、セクション28の周囲の拡大が、例えばセクション28の元の面積と比較した拡大セクションの面積の比の形のような、面積の増加による情報74によって示され得ることを示す。いずれにせよ、拡大後の領域28の円周は、
図7aないし7cにおいて76で示される。
図7a-
図7cの拡大図は、部分64が拡大部分76内の全領域を少なくともその所定の量で覆うように部分64の寸法を寸法設定または設定するために選択部56によって使用され得る。明らかに、より大きなセクション76、より多くのタイルの数は、例えば、部分64内にある。さらなる代替案によれば、セクション74は、部分64を構成するタイルの数の形などで部分64のサイズを直接示すことができる。
【0054】
部分64のサイズをシグナリングする後者の可能性は
図5に示される。
図5の実施形態は、
図4の実施形態が
図6の実施形態によって修正されたのと同じ方法で修正することができ、すなわち、セクション62の全領域を部分64の品質でセグメント58によってサーバ20から取出すことができる。
【0055】
いずれにせよ、
図5の最後で、情報74は異なる大きさのビューセクション28の間、すなわちビューセクション28によって見られる異なる視野の間を区別する。情報74は、装置40が現在目指しているビューセクション28のサイズに応じて部分64のサイズを単に示す。これにより、装置40のような装置が部分64の大きさを計算するかそうでなければ部分64の大きさを推測する問題に対処する必要なしに、
図4、6および
図7に関して説明したように、セクション28のいかなる移動にもかかわらず、部分64がビューセクション28を覆うことで十分であるように、異なる視野または異なる大きさのビューセクション28を有する装置によってサーバ20のサービスを使用できる。
図1の説明から明らかになるように、例えば、どの一定数のタイルが、ある大きさのビューセクション28、すなわち、空間的位置決め30についてのビューセクション28の方向に関係なく、ある大きさの視野を完全に覆うのに十分であるかについて評価することはほとんど容易である。ここで、情報74はこの状況を軽減し、装置40は情報74内で装置40に適用されるビューセクション28のサイズに使用されるべき部分64のサイズの値を単純に調べることができる。すなわち、
図5の実施形態によれば、DASHクライアント、またはイベントボックスまたはSANDメッセージなどのいくつかの曲がったメカニズムに利用可能にされたメディアプレゼンテーション記述は、球形の範囲またはそれぞれ表現の集合またはタイルの集合の視野に関する情報74を含むことができる。一例は、
図1に示す
ようにM個の表現を有するタイル張りのオファリングであり得る。情報74は、例えば
図1に示すように6×4タイルにタイル状に並べられた立方体表現の中から、所与の端部装置の視野をカバーするためにダウンロードする推奨数n <M(表現と呼ばれる)を示すことができ、12枚のタイルで90°×90°の視野をカバーするのに十分であると考えられる。端部装置の視野が必ずしもタイルの境界と完全に揃っているとは限らないため、この推奨は、装置40単独では自明に生成することはできない。装置40は、例えば少なくともN個のタイル、すなわちN個のタイルに関するメディアセグメント58をダウンロードすることによって情報74を使用することができる。情報を利用する別の方法は、端部装置の現在のビュー中心に最も近いセクション62内のN個のタイルの品質を強調すること、すなわちセクション62の部分64を構成するためにN個のタイルを使用することである。
【0056】
図8aに関して、本願発明のさらなる態様に関する実施形態が説明される。ここで、
図8aは、
図1ないし
図7に関して上述した可能性のいずれかに従って互いに通信するクライアント装置10およびサーバ20を示す。すなわち、装置10は、
図2-
図7に関して説明した実施形態のいずれかに従って具現化することができる。あるいは、
図1に関して上述したように、これらの詳細事項がなくても単に動作することができる。しかしながら、好ましくは、装置10は、
図2-
図7に関して上述した実施形態のいずれかまたはそれらの組合せに従って具体化され、さらに、
図8aに関して今説明された動作モードを継承する。特に、装置10は、
図2-
図8に関して上述したように内部的に構成されており、すなわち、装置40は、選択部56、検索部60、およびオプションで導出部66を含む。選択部56は、不均等なストリーミングを目的とする選択、すなわち、品質が空間的に変化するようにおよび/またはエンコードされていない部分があるように、メディアコンテンツが選択され検索されたメディアセグメントに符号化されるようにメディアセグメントを選択する選択を行う。しかしながら、これに加えて、装置40は、例えばログインしたログメッセージをサーバ20や評価装置82に送出するログメッセージ送信機80を構成している。
第1の部分64の空間位置および/または移動を測定する瞬間的大きさまたは統計値
選択されたメディアセグメントに符号化され、ビューセクション28に見える限りにおいて、時間的に変化する空間シーンの品質を測定する瞬間的大きさまたは統計値および/または
選択されたメディアセグメントに符号化され、ビューセクション28に見える限りにおいて、第1の部分の品質または時間的に変化する空間シーン30の品質を測定する瞬間的大きさまたは統計値
【0057】
動機は以下の通り。
【0058】
前述のように、最も興味深い地域やスピードと確率のペアなどの統計を導出できるようにするには、ユーザからの報告メカニズムが必要である。ISO/IEC 23009-1の附属書Dに定義されているものに追加のDASHメトリクスが必要である。
【0059】
DASHクライアントはメトリクスサーバ(DASHサーバまたは別のものと同じにすることも可能)にFoVの観点で端末装置の特性を返送するDASHメトリクスとしてのクライアントのFoVが1つの指標となるであろう。
【0060】
1つのメトリックはViewportListである。DASHクライアントは、各クライアントが時間内に監視していたビューポートをメトリックサーバ(DASHサーバまたは別のサーバと同じにすることも可能)に返送する。そのようなメッセージのインスタンス化は次のようになる。
【0061】
ビューポート(関心領域)メッセージに関しては、潜在的に所与の粒度(非常に小さい動きの報告を回避するかしないかを問わず)または所与の周期性を用いて、ビューポート変更が発生するたびに報告するようにDASHクライアントに依頼することができる。そのようなメッセージは、属性@reportViewPortPeriodicityまたは要素または記述子としてMPDに含めることができる。SANDメッセージやその他の方法で、帯域外で示されることもある。
【0062】
ビューポートはタイルの粒度で通知することもできる。
【0063】
追加的または代替的に、ログメッセージは、シーン中心からの現在のユーザ距離および/または現在のビュー深度など、
図10に関して以下で論じるパラメータのうちのいずれかなど、ユーザ入力に応じて変化する他の現在のシーン関連パラメータについて報告することができる。
【0064】
もう1つのメトリックはViewportSpeedListである。DASHクライアントは、移動が発生したときに特定のビューポートについて移動速度を表示する。
【0065】
このメッセージは、クライアントがビューポート移動を実行した場合にのみ送信される。ただし、サーバは、前の場合と同様に、メッセージが移動が大きい場合にのみ送信されるように指示することができる。そのような設定は、@ minViewportDifferenceForReportingのように、ピクセル単位のサイズや、角度、またはメッセージを送信するために変更する必要がある大きさを示すことができる。
【0066】
上記のように非対称品質が提供されるVR-DASHサービスにおいてもう1つの重要なことは、ユーザがビューポートの非対称表現または不均等な品質/解像度表現のセットから他のビューポートについてより適切な別の表現または表現のセットにユーザがどれだけ速く切り替えるかを評価することである。そのような測定基準では、サーバは、QoEに影響を及ぼす関連要因を理解するのに役立つ統計を導出することができる。そのようなメトリックは次のようになる。
【0067】
あるいは、前述の期間を平均値として与えることもできる。
【0068】
他のDASHメトリクスに関して、これらのメトリクスのすべてに、測定が実行された時刻を追加で含めることができる。
【0069】
場合によっては、不均等な品質のコンテンツがダウンロードされ、品質の悪い(または品質の良いものと品質の悪いものが混在した)コンテンツが十分長い時間表示されると(わずか2、3秒かも知れない)、ユーザが不満を感じてセッションを終了することがある。セッションを終了することを条件に、ユーザは直近のX時間区間に表示された品質のメッセージを送信することができる。
【0070】
あるいは、最大品質の違い、またはビューポートのmax_qualityとmin_qualityを報告することもできる。
【0071】
図8aに関する上記の説明から明らかになったように、タイルベースのDASHストリーミングサービス事業者が(例えば、解像度比、ビットレートおよびセグメント期間に関して)有意義な方法でそのサービスを設定および最適化するためには、サービス事業者が、クライアント報告メカニズムを必要とする統計を導出することができる場合に有利であり、その例は上述されている。非特許文献1([A1])の附属書Dに加えて、上で定義されたものに対する追加のDASHメトリクスが以下に示される。
【0072】
図1に示すように、立方体投影のビデオを使用したタイルベースのストリーミングサービスを想像されたい。クライアント側での再構成は
図8bに示されており、ここで、小さ
い円198は、クライアントのビューポート28内で、水平方向および垂直方向に等角的に分布したビュー方向の二次元分布の、個々のタイル50によって覆われる画像領域への投影を示す。ハッチングを付したタイルは高解像度タイルを示し、従って高解像度部分64を形成し、一方、ハッチングなしで示したタイル50は低解像度タイルを示し、従って低解像度部分66を形成する。セグメント選択およびダウンロードの最後の更新以降にビューポート28が変更されたときに部分的に低解像度のタイルがユーザに提示され、これにより、ダウンロード可能なセグメント58にコード化されたタイル50の投影面またはピクセルアレイがあるキューブ上に各タイルの解像度が決定されることを見ることができる。
【0073】
上記の説明はどちらかといえば一般的に、ビューポートでビデオがユーザに提示される品質を示すフィードバックまたはログメッセージを示しているが、以下では、これに関して適用可能なより具体的かつ有利な測定基準について概説する。ここで説明されている測定基準は、クライアント側から報告され、有効ビューポート解決と呼ばれることがある。クライアントのビューポートでの有効な解像度をサービスオペレータに示すことが想定されている。報告された有効ビューポート解像度が、ユーザが低解像度タイルの解像度に向けた解像度のみを提示されたことを示す場合、サービスオペレータは、それに応じてタイリング構成、解像度比またはセグメント長を変更してより高い有効ビューポート解像度を達成することができる。
【0074】
一実施形態は、セグメント58にコード化されたタイル50のピクセルアレイが存在する投影図面で測定された、ビューポート28内の平均ピクセル数であろう。測定(measurement)は、ビューポート28のカバーされた視野(FoV)に関連して、水平方向204および垂直方向206を区別し得るか、またはそれらに対して特定され得る。以下の表は、概略的なビューポート品質測定を知られるよ
うにログメッセージに含まれ得る適切な構文およびセマンティックスのための可能な例を示す。
【0075】
水平方向と垂直方向への分解は、代わりに平均ピクセル数にスカラー値を使用することで中断できる。ログメッセージの受信者、すなわち評価部82にも報告され得るビューポート28の開口またはサイズの指示と共に、平均カウントはビューポート内のピクセル密度を示す。
【0076】
メトリックに対して考慮されるFoVを実際にユーザに提示されるビューポートのFoVより小さくすることは有利であり、それによって周辺視野にのみ使用され、したがって主観的品質認識に影響を及ぼさないビューポートの境界に向かう領域を除外する。この代替案は、ビューポート28のそのような中央部分にあるピクセルを囲む破線202によって示されている。ビューポート28の全体的なFoVに関して報告されたメトリックについて考慮されたFoV202を報告することはまた、ログメッセージ受信者82に示され得る。次の表は、前の例の対応する拡張を示している。
【0077】
さらなる実施形態によれば、平均画素密度は、EffectiveFoVResolutionH/Vを含む例に関してこれまで説明した例の場合に有効なように投影面内で空間的に均一な方法で品質を平均することによって測定されるのではないが、この平均化を、ピクセル、すなわち投影面にわたって不均一に重み付けする。平均化は、球状に一様な方法で実行されてもよい。一例として、平均化は、円198がそうであるように分布したサンプル点に関して一様に実行されてもよい。換言すれば、局所投影面距離の増加と共に二次的に減少し、視点と接続する線に対する投影の局所傾斜の正弦に従って増加する重みによって局所密度を重み付けすることによって平均化を実行することができる。メッセージは、オプションの(フラグ制御)ステップを含み、例えば均一球サンプリンググリッドを使用することによって、利用可能な投影のいくつかの固有のオーバーサンプリング(Equirectangular Projectionなど)を調整することができる。いくつかの投射は大きなオーバーサンプリングの問題を持たず、オーバーサンプリングのコンピューティング除去を強制することは不必要な複雑さの問題につながり得る。これはEquirectangular Projectionに限定されてはならない。レポート作成では、水平方向と垂直方向の解像度を区別する必要はないが、それらを組合わせることは可能である。以下に一実施形態を示す。
【0078】
平均化に等角均一性を適用すると、
図8eでは、視点306を中心とする球304上の水平および垂直に分布する点302が、視点28内にある限り、タイルの投影面308、ここでは立方体に投影されていることを示し、これにより、点302の投影面198の投影面上への局所密度に応じて、ピクセル密度の局所ウェイトを設定するように、投影面内に列および行単位で配列されたピクセル308のピクセル密度の平均化が実行される。全く同様のアプローチが
図8fに描かれている。ここで、点302はビュー方向312に垂直なビューポート平面内に等間隔に、すなわち縦横に均等に分布され、投影面308への投影は点198を定義し、その局所密度は、局所密度画素密度308(ビューポート28内の高解像度タイルおよび低解像度タイルのために変化する)が平均に寄与する重みを制御する。最新の表などの上記の例では、
図8eに示されたものの代わりに
図8fの代替物を使用することができる。
【0079】
以下では、
図8aに例示的に示されているように複数のメディアバッファ300を有するDASHクライアント10(
図1参照)、すなわちダウンロードされたセグメント58を1つ以上のデコーダ58によるその後の復号に転送するDASHクライアント10に関するさらなる種類のログメッセージに関する実施形態について説明する。セグメント58のバッファ上への分配は異なる方法で行うことができる。例えば、360ビデオの特定の領域が互いに別々にダウンロードされるように、またはダウンロード後に別々のバッファにバッファリングされるように配信を行うことができる。以下の例は、
図1に示すように#1~#24のインデックスを付けられたどのタイルT(対数が25の合計を有する)が#1~#Mの品質(1が最高、Mが最低)のどの品質Qにおいて個々にダウンロード可能な表現R#1~#Pに符号化されるかを示すことによって異なる分布、およびこれらのP表現Rをどのようにして(オプションで)MPD内の#1~#Sのインデックスを付けた適応
セットAにグループ化することができるか、P表現Rのセグメント58をどのようにして#1~#Nのインデックスを付けたバッファに分配することができるかを示す。
【0080】
ここでは、表現がサーバで提供され、ダウンロードのためにMPDに告知され、それらの各々は1つのタイル50、すなわちシーンの1つのセクションに関係する。1つのタイル50に関する表現であるが、このタイル50を異なる品質で符号化することは、グループ化は任意であるが正確にはこのグループ化はバッファへの関連付けに使用される適応セットにおいて要約されるであろう。従って、この例によれば、タイル50ごとに、換言すればビューポート(ビューセクション)符号化ごとに、1つのバッファが存在することになる。
別の表現セットと分布は次のようになる。
【0081】
この例によれば、各表現は全領域をカバーすることになるが、高品質の領域は一方の半球に焦点を合わせ、他方、より低い品質は他方の半球に使用される。この方法で使われる正確な品質が異なる、つまり高品質の半球の位置が等しい表現は、1つの適応セットにまとめられ、この特性に従って、ここでは例として6つのバッファに分配される。
【0082】
従って、以下の説明では、アダプテーションセットなどに関連付けられた、異なるビューポート符号化、タイルなどのビデオサブ領域などによるバッファへのそのような分配が適用されると仮定する。
図8cは、2つの別々のバッファ、例えば、最後の、しかし最も小さい表に示されているような、タイルベースのストリーミングシナリオにおけるタイル1およびタイル2に対する経時的なバッファ満杯度レベルを示す。クライアントがそのすべてのバッファの満杯レベルを報告することを可能にすることは、サービスオペレータが彼のサービス設定の経験の質(QoE)の影響を理解するために他のストリーミングパラメータとデータを相関させることを可能にする。
【0083】
そこからの利点は、クライアント側の複数のメディアバッファのバッファ満杯がメトリックと共に報告され、識別されてバッファのタイプに関連付けられることができることである。関連タイプは、例えば
・Tile(タイル)
・Viewport(ビューポート)
・Region(領域)
・AdaptationSet(アダプテーションセット)
・Representation(表現)
・Low quality version of the whole content(コンテンツ全体の低品質版)
【0084】
本願発明の一実施形態が表1に与えられており、表1には識別および関連付けと共に各バッファに対するバッファレベルステータスイベントを報告するためのメトリックが定義
されている。
表1:バッファレベルのリスト
【0085】
ビューポート依存エンコーディングを使用するさらなる実施形態は以下の通りである。
【0086】
ビューポートに依存するストリーミングのシナリオでは、DASHクライアントは特定の視聴方向(ビューポート)に関連するいくつかのメディアセグメントをダウンロードしてプリバッファする。プリバッファコンテンツの量が多すぎてクライアントがその表示方向を変更した場合、ビューポートの変更後に再生されるプリバッファコンテンツの部分は表示されず、それぞれのメディアバッファはパージされる。このシナリオは
図8dに描かれている。
【0087】
別の実施形態は、同じコンテンツの複数の表現(品質/ビットレート)、および場合によってはビデオコンテンツが符号化される空間的に均一な品質を有する従来のビデオストリーミングシナリオに関する。
その場合、分布は次のようになる:
【0088】
すなわち、ここでは、各表現は、例えばパノラマ360シーンではないかもしれないが異なる品質、すなわち空間的に均一な品質であるシーン全体をカバーし、これらの表現はバッファ上に個別に分配されるであろう。最後の3つの表に示されたすべての例は、サーバで提供される表現のセグメント58がバッファに分配される方法を限定しないものとして扱われるべきである。異なる方法が存在し、その規則は、表現へのセグメント58のメンバーシップ、適応セットへのセグメント58のメンバーシップ、それぞれのセグメントが属する表現へのシーンの空間的に不均等なコーディングの局所的に向上した品質の方向、方向付けに基づき得て、シーンがそれぞれのセグメントにエンコードされる品質は、以下のように属する。
【0089】
クライアントは、表現ごとにバッファを維持し、利用可能なスループットが上昇したときに、再生前に残りの低品質/ビットレートメディアバッファを消去し、既存の低品質/ビットレートバッファ内の期間の高品質メディアセグメントをダウンロードすることを決定できる。タイルおよびビューポート依存エンコーディングに基づくストリーミングのために同様の実施形態を構築することができる。
【0090】
サーバ側で利益なしにコストを導入し、クライアント側で品質を低下させるので、サービス運営者は、提示されずにダウンロードされたデータ量とデータの種類を理解することに興味があるかもしれない。従って、本願発明は、「メディアダウンロード」および「メディアプレゼンテーション」という2つのイベントを容易に解釈できるように相関させる報告メトリックを提供することである。本願発明は、各メディアセグメントのダウンロードおよび再生状態についての冗長に報告された情報が分析されることを回避し、パージイベントのみの効率的な報告を可能にする。本願発明はまた、上記のようなバッファの同定およびタイプへの関連付けを含む。本願発明の一実施形態を表2に示す。
表2:削除イベントの一覧
【0091】
図9は、どのようにして装置40を有利に実施するかのさらなる実施形態を示している。
図9の装置40は、
図1-
図8に関して上述した例のいずれにも対応することができる。すなわち、それはおそらく
図8aに関して上述したようにロックメッセンジャーを含んでもよいが、
図5ないし
図7cに関してしかし有する必要はなく上述したように
図2および
図3または情報74に関して上述したように情報68を有する必要はなく、使用してもよい。
図9に関しては、しかしながら、
図2ないし8の説明と異なり、タイルベースのストリーミングアプローチが実際に適用されると仮定されている。すなわち、シーンコンテンツ30は、
図2ないし
図8に関して上記の選択肢として説明したタイルベースの方法でサーバ20に提供される。
【0092】
装置40の内部構造は
図9に示されたものと異なっていてもよいが、装置40は
図2ないし
図8に関して既に上で議論した選択部56および検索部60、さらにオプションで導出部66を備えるように例示的に示されている。しかしながら、さらに、装置40はメディアプレゼンテーション記述アナライザ90および適合部92を含む。MPD分析部90は、サーバ20から取得されたメディアプレゼンテーション記述から、時間的に変化する空間シーン30がタイルベースのストリーミングのために提供される少なくとも1つのバージョンを導出し、かつ少なくとも1つのバージョンのそれぞれに対して時間的に変化する空間シーンのそれぞれのバージョンをタイルベースのストリーミングから恩恵を受けるための恩恵を受ける要件の表示を導出するためのものである。「バージョン」の意味は以下の説明から明らかになるであろう。特に、適合部92は、このようにして得られた利益要件を、1つまたは複数のデコーダ42の復号能力、デコーダ42の数などの、装置40または装置40と対話する別の装置の能力と一致させる。
図9の概念の基礎となる背景または考えは以下の通りである。タイルベースのアプローチでは、一定の大きさのビューセクション28を仮定すると、一定の数のタイルがセクション62に含まれている必要があることを想像されたい。さらに、あるタイルに属するメディアセグメントは、別のタイルに属するメディアセグメントの復号化とは別に、別個の復号化インスタンス化によって復号化されるべき1つのメディアストリームまたはビデオストリームを形成すると仮定することができる。従って、対応するメディアセグメントがセレクタ56によって選択される
セクション62内のある数のタイルの移動集約は、例えば対応する数の形のそれぞれの復号化資源の存在、すなわち、対応する数のデコーダ42などのある復号化能力を必要とする。そのような数のデコーダが存在しない場合、サーバ20によって提供されるサービスはクライアントにとって有用ではないのかもしれない。従って、サーバ20によって提供されるMPDは、「恩恵を受ける要件」、すなわち提供されるサービスを使用するのに必要なデコーダの数を示すことができる。しかしながら、サーバ20は、異なるバージョンに対してMPDを提供してもよい。すなわち、異なるバージョンのための異なるMPDがサーバ20によって利用可能であり得るか、またはサーバ20によって提供されるMPDは、内部で、サービスが使用され得る異なるバージョン間を区別するように構成され得る。例えば、バージョンは、視野、すなわち視野セクション28のサイズにおいて異なり得る。異なるサイズの視野は、セクション62内のタイルの数が異なることで明らかになり、したがって、たとえば、これらのバージョンでは異なる数のデコーダが必要になる可能性があるという点で、利点要件が異なる場合がある。他の例も考えられる。例えば、視野が異なるバージョンは同じ複数のメディアセグメント46を含み得るが、別の例によれば、サーバ20においてシーン30がタイルストリーミング用に提供される異なるバージョンは、対応するバージョンに従って含まれる複数46のメディアセグメントさえも異なり得る。例えば、1つのバージョンによるタイル分割は、他のバージョンによるシーンのタイルハイフン分割と比較して粗いので、例えば、より少ない数のデコーダを必要とする。
【0093】
適合部92は、恩恵を受ける要件と一致し、したがって対応するバージョンを選択するか、またはすべてのバージョンを完全に拒否する。
【0094】
しかしながら、有益な要件はさらに、1つまたは複数のデコーダ42が対処できなければならないプロファイル/レベルに関係し得る。例えば、DASH MPDはプロファイルを示すことを可能にする複数の位置を含む。典型的なプロファイルは、属性、MPDに存在する可能性がある要素、および各表現に対して提供されるストリームのビデオまたはオーディオプロファイルを記述する。
【0095】
恩恵を受ける要件のさらなる例は、例えば、ビューポート28をシーン全体に移動させるためのクライアント側の能力に関するものである。有益な要件は、提供されたシーンコンテンツを本当に楽しむことができるようにするためにユーザがビューポートを移動するために利用可能であるべき必要なビューポート速度を示すことができる。適合部は、例えば、この要件が満たされているかどうか、例えばHMD26のような差込まれたユーザ入力装置であるかどうかをチェックするであろう。あるいは、ビューポートを移動させるための異なる種類の入力装置が方向の意味での典型的な移動速度に関連付けられていると仮定すると、一連の「十分な種類の入力装置」を有益な要件として示すことができる。
【0096】
球面ビデオのタイルストリーミングサービスでは、例えば品質の数、タイルの数等、動的に設定することができる設定パラメータが多すぎる。タイルが別々のデコーダによってデコードされる必要がある独立したビットストリームである場合、タイルの数が多すぎると、少ないデコーダを有するハードウェアデバイスがすべてのビットストリームを同時にデコードすることは不可能であり得る。可能性はこれを自由度として残して、DASH装置がすべての可能な表現を解析して、すべての表現または装置のFoVをカバーする所与の数を復号するのに必要なデコーダの数を数えることであり、そのDASHクライアントがコンテンツを消費できるか否かを導くことである。但し、相互運用性と機能のネゴシエーションのより賢い解決策は、プロファイルがサポートされている場合は提供されたVRコンテンツが消費される可能性があるというクライアントへの約束として使用される一種のプロファイルにマッピングされるMPDでシグナリングを使用することである。そのようなシグナリングは、urn :: dash-mpeg :: vr :: 2016のようなURNの形式で行われるべきであり、それはMPDレベルまたは適応セットのいずれかでパックされることができ
る。このプロファイリングは、X profileのN個のデコーダでコンテンツを消費するのに十分であることを意味する。プロファイルに応じて、DASHクライアントはMPDまたはMPD(アダプテーションセット)の一部を無視または受入れることができる。さらに、XlinkやMPDチェーニングなど、選択に関するシグナリングがほとんど利用できないなど、すべての情報が含まれていないメカニズムもいくつか存在する。このような状況では、DASHクライアントは、コンテンツを消費できるかどうかを導出できない。XlinkまたはMPD Chainingまたは同様のメカニズムを実行することが理にかなっているかどうかにかかわらず、DASHクライアントができるように、そのようなurn(または同様のもの)を使用して、デコーダの数および各デコーダのプロファイル/レベルに関してデコード機能を公開することが必要である。シグナリングはまた、X個のプロファイル/レベルを有するN個のデコーダ、またはY個のプロファイル/レベルを有するZ個のデコーダのような異なる動作点を意味し得る。
【0097】
図10はさらに、
図1-
図9に関して提示された上記の実施形態および説明のいずれかを示し、クライアント、装置40、サーバなどに対する
図1-9の実施形態は、時間的に変動する空間シーンが時間的に変動するだけでなく、他のパラメータにも依存する程度まで、提供されるサービスが拡張される範囲まで拡張され得る。例えば、
図10は、サーバ上にもたらされる利用可能な複数のメディアセグメントがビューセンター100の異なる位置に対するシーンコンテンツ30を記述する
図1の変形例を示す。
図10に示す概略図では、シーン中心は単に1つの方向Xに沿って変化するように描かれているが、ビュー中心が2次元または3次元などの2つ以上の空間方向に沿って変化し得ることは明らかである。これは、例えば、ある仮想環境におけるユーザ位置におけるユーザの変化に対応する。仮想環境内のユーザの位置に応じて、利用可能なビューが変わり、それに応じてシーン30が変わる。従って、タイルおよび時間的セグメント、ならびに異なる品質に細分されたシーン30を記述するメディアセグメントに加えて、さらなるメディアセグメントは、シーンセンター100の異なる位置に対するシーン30の異なるコンテンツを記述する。装置40または選択部56はそれぞれ、ビューセクション位置およびパラメータXなどの少なくとも1つのパラメータに応じて、選択プロセス内で検索されることになる複数46のうちのメディアセグメントのアドレスを計算し、その後、これらのメディアセグメントは、計算されたアドレスを使用してサーバから取得される。この目的のために、メディアプレゼンテーション記述は、時間tと同様にタイルインデックス、品質インデックス、シーン中心位置に依存する機能を記述してもよく、それぞれのメディアセグメントの対応するアドレスをもたらす。従って、
図10の実施形態によれば、メディアプレゼンテーション記述は、
図1ないし
図9に関して上述したパラメータに加えて、1つ以上の追加パラメータに依存するそのような計算規則を含むであろう。パラメータXは、それぞれのシーン表現がサーバ20内の複数の46内の対応するメディアセグメントによって符号化されるレベルのいずれかに量子化され得る。
【0098】
代替として、Xは、ビュー深度、すなわち半径方向におけるシーン中心100からの距離を定義するパラメータであり得る。ビュー中心部分Xが異なる異なるバージョンでシーンを提供することは、ユーザがシーンを「歩く」ことを可能にする一方で、ビューの深さが異なる異なるバージョンでシーンを提供することは、ユーザがシーンを前後に「放射状にズーム」することを可能にする。
【0099】
従って、複数の非同心円ビューポートの場合、MPDは現在のビューポートの位置に関するさらなるシグナリングを使用することができる。シグナリングは、セグメント、表現または期間レベルなどで行うことができる。
【0100】
非同心球:ユーザが移動するためには、異なる球の空間的関係がMPD内でシグナリングされるべきである。これは、球の直径に関して任意の単位で座標(x、y、z)を用い
て行われ得る。また、球の直径は球ごとに表示する必要がある。球は、中心にいるユーザにコンテンツが問題ないような追加のスペースを加えたものとして使用するには「十分に十分」なものである。ユーザがその示された直径を超えて移動する場合は、別の球を使用して内容を表示する必要がある。
【0101】
ビューポートの例示的なシグナリングは、空間内の所定の中心点に対して行われ得る。各ビューポートはその中心点を基準にして示される。 MPEG - DASHでは、これは例えばAdaptationSet要素において示され得る。
【0102】
最後に、
図11は、参照番号74に関して上述したものなどのまたはそれに類似の情報が、ビデオ112が符号化されるビデオビットストリーム110に存在し得ることを示す。そのようなビデオ110を復号するデコーダ114は、情報74を使用して、ビデオ110を復号するための復号電力が焦点を合わせられるべきビデオ112内の焦点領域116のサイズを決定し得る。情報74は、例えば、ビデオビットストリーム110のSEIメッセージ内で伝達され得る。例えば、フォーカスエリアを排他的にデコードすることができ、あるいはデコーダ114は、例えば左上のピクチャコーナーではなくフォーカスエリアでビデオの各ピクチャのデコードを開始するように構成することができ、および/またはデコーダ114はフォーカス領域116をデコードしたときのビデオの各ピクチャのデコードを中止できる。追加または代替として、情報74は、どの空間セクションをカバーするか、または向上したもしくは所定の品質でカバーするためにどのセグメントをダウンロードまたはストリーミングするかを決定するために後続のレンダラまたはビューポートコントロールまたはクライアントのストリーミング装置またはセグメントセレクタに転送されるために単にデータストリームに存在し得る。情報74は、例えば、上で概説したように、ビューセクション62またはセクション66をこのセクションと一致するように、または覆うように、または追跡するように配置するための推奨として推奨される好ましいエリアを示す。クライアントのセグメントセレクタによって使用される可能性がある。
図4-
図7cに関する説明に関してそうであったように、情報74は、タイルの数のように、領域116の寸法を絶対的に設定することができ、または動く領域116の速度を設定することができ、ビデオの興味深いコンテンツを時空間的に追跡するために、例えばユーザ入力などに従って移動させ、それによって速度の指示の増加と共に増加するようにエリア116をスケーリングする。
【0103】
いくつかの態様が装置の文脈で説明されてきたが、これらの態様が対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様はまた、対応する装置の対応するブロックまたは項目または特徴の説明を表す。方法ステップのいくつかまたはすべては、例えばマイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって(または使用して)実行されてもよい。いくつかの実施形態では、そのような装置によって1つまたは複数の最も重要な方法ステップを実行することができる。
【0104】
ストリーミング信号、MPDまたは上述した信号のうちの任意の他のものなどの上記で発生する信号は、デジタル記憶媒体に記憶でき、または無線伝送媒体またはインターネットなどの有線伝送媒体などの伝送媒体で伝送できる。
【0105】
特定の実施要件に応じて、本発明の実施形態はハードウェアまたはソフトウェアで実施することができる。電子的に読取り可能な制御信号が記憶されているデジタル記憶媒体、例えばフロッピーディスク(登録商標)、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROMまたはFLASHメモリを使用して実施することができる。それらは、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する(または協働することができる)。従って、デジタル記憶媒体はコンピュータ可読であり得る。
【0106】
本発明によるいくつかの実施形態は、本明細書に記載の方法のうちの1つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読取り可能な制御信号を有するデータキャリアを含む。
【0107】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作するときに方法のうちの1つを実行するように動作可能である。プログラムコードは、例えば機械可読キャリアに格納することができる。
【0108】
他の実施形態は、機械可読キャリアに格納された、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを含む。
【0109】
換言すれば、本願発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0110】
従って、本願発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを記録したデータ担体(またはデジタル記憶媒体、またはコンピュータ可読媒体)である。データ担体、デジタル記憶媒体、または記録された媒体は通常、有形および/または非一時的である。
【0111】
従って、本願発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である
。データストリームまたは一連の信号は、例えばインターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
【0112】
さらなる実施形態は、本明細書に記載の方法のうちの1つを実行するように構成または適合された処理手段、例えばコンピュータ、またはプログラマブルロジックデバイスを含む。
【0113】
さらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。
【0114】
本願発明によるさらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを(例えば、電子的または光学的に)受信機に転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイル機器、メモリ機器などであり得る。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含み得る。
【0115】
いくつかの実施形態では、プログラマブルロジックデバイス(例えばフィールドプログラマブルゲートアレイ)を使用して、本明細書に記載の方法の機能の一部または全部を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの1つを実行するためにマイクロプロセッサと協働し得る。一般に、方法は、任意のハードウェア装置によって実行されることが好ましい。
【0116】
本明細書に記載の装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実施することができる。
【0117】
本明細書に記載の装置、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェアで実施することができる。
【0118】
本明細書に記載の方法は、ハードウェア装置を使用して、またはコンピュータを使用して、あるいはハードウェア装置とコンピュータとの組合わせを使用して実行することができる。
【0119】
本明細書に記載の方法、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび/またはソフトウェアによって実行することができる。
【0120】
上述の実施形態は、本願発明の原理を説明するための例示にすぎない。本明細書に記載された構成および詳細の修正および変形は、他の当業者にとって明らかであろうことが理解される。したがって、差し迫った特許請求の範囲によってのみ限定され、本明細書の実施形態の説明および説明のために提示された具体的な詳細によっては限定されないことが意図されている。
【先行技術文献】
【非特許文献】
【0121】
【文献】[A1] ISO/IEC 23009-1:2014, Information technology -- Dynamic adaptive streaming over HTTP (DASH) -- Part 1: Media presentation description and segment formats