特許 7436599 空間的不均等ストリーミング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】空間的不均等ストリーミング

(51)【国際特許分類】

   H04N 21/438 20110101AFI20240214BHJP

   H04N 21/442 20110101ALI20240214BHJP

   H04N 19/46 20140101ALI20240214BHJP

   H04N 19/597 20140101ALI20240214BHJP

【ＦＩ】

H04N21/438

H04N21/442

H04N19/46

H04N19/597

【請求項の数】 12

【外国語出願】

(21)【出願番号】P 2022162685

(22)【出願日】2022-10-07

(62)【分割の表示】P 2021024317の分割

【原出願日】2017-10-11

(65)【公開番号】P2023012468

(43)【公開日】2023-01-25

【審査請求日】2022-11-07

(31)【優先権主張番号】16193601.8

(32)【優先日】2016-10-12

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】17180403.2

(32)【優先日】2017-07-08

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】591037214

【氏名又は名称】フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ

(74)【代理人】

【識別番号】100079577

【弁理士】

【氏名又は名称】岡田 全啓

(72)【発明者】

【氏名】スクーピン ローベルト

(72)【発明者】

【氏名】ヘルゲ コルネリウス

(72)【発明者】

【氏名】シーアル トーマス

(72)【発明者】

【氏名】サンチェス デ ラ フエンテ ヤーゴ

(72)【発明者】

【氏名】ウィーガント トーマス

(72)【発明者】

【氏名】ポドボルスキー ディミトリ

【審査官】醍醐 一貴

(56)【参考文献】

【文献】特表２０１５－５２６００６（ＪＰ，Ａ）

【文献】特表２０１９－５１９９８１（ＪＰ，Ａ）

【文献】国際公開第２０１５／１９７８１５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

Ｈ０４Ｎ ２１／００－２１／８５８

Ｈ０４Ｌ ６７／００－６７／７５

(57)【特許請求の範囲】

【請求項1】

ビデオをビデオビットストリームに符号化するためのエンコーダであって、
前記ビデオの推奨ビューセクション領域のサイズおよび／または位置のシグナリングならびに前記シグナリングの時間持続性の表示を前記ビデオビットストリームに提供し、
前記シグナリングが前記サイズおよび／または位置を異なるビューセクションの動作制御方法間で区別して示すように、前記シグナリングを提供するように構成される、
エンコーダ。

【請求項2】

前記シグナリングが前記サイズおよび／または位置を、頭の動き、目の動き、およびタブレットの動きによるビューセクション制御のうちの少なくとも２つで区別して示すように、前記シグナリングを提供するように構成される、請求項１に記載のエンコーダ。

【請求項3】

前記シグナリングが前記サイズおよび／または位置を、ユーザの行動の統計によって得られた頻度ランクに従ってランク付けして複数回示すように、前記シグナリングを提供するように構成される、請求項１に記載のエンコーダ。

【請求項4】

前記シグナリングを、前記ビデオビットストリームのＳＥＩメッセージに挿入するように構成される、請求項１に記載のエンコーダ。

【請求項5】

ビデオが符号化されたビデオビットストリームを復号化するためのデコーダであって、
前記デコーダは、前記ビデオの推奨ビューセクション領域のサイズおよび／または位置のシグナリングならびに前記シグナリングの時間持続性の表示を前記ビデオビットストリームから導出するように構成され、
前記シグナリングは前記サイズおよび／または位置を、異なるビューセクションの動作制御方法間で区別して示す、
デコーダ。

【請求項6】

前記シグナリングは前記サイズおよび／または位置を、頭の動き、目の動き、およびタブレットの動きによるビューセクション制御のうちの少なくとも２つで区別して示す、請求項５に記載のデコーダ。

【請求項7】

前記シグナリングは前記サイズおよび／または位置を、ユーザの行動の統計によって得られた頻度ランクに従ってランク付けして複数回示す、請求項５に記載のデコーダ。

【請求項8】

前記シグナリングまたは前記サイズおよび／または位置の情報をレンダラまたはビューポートコントロールまたはストリーミング装置に転送するように構成される、請求項５に記載のデコーダ。

【請求項9】

前記シグナリングを前記ビデオビットストリームのＳＥＩメッセージから導出するように構成される、請求項５に記載のデコーダ。

【請求項10】

前記ビデオビットストリームには全方向または球面ビデオが符号化され、前記デコーダは前記ビデオビットストリームのＳＥＩメッセージから前記シグナリングを、前記推奨ビューセクション領域に時空間的に続くようにビューポートを位置づけることの推奨として導出するように構成される、請求項５に記載のデコーダ。

【請求項11】

ビデオが符号化されたビデオビットストリームを復号化する方法であって、前記復号化は、前記ビデオビットストリームから、前記ビデオの推奨優先ビューセクション領域のサイズおよび／または位置のシグナリング並びに前記シグナリングの時間持続性の表示を導出するように構成され、前記シグナリングは前記サイズおよび／または位置を、異なるビューセクションの動作制御方法間で区別して示す、方法。

【請求項12】

プログラムがコンピュータ上で実行されると請求項１１に記載の方法を実行するためのプログラムコードを有する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、仮想現実（ＶＲ）ストリーミングで発生するような、空間的に不均等なストリーミングに関する。

【背景技術】

【0002】

ＶＲストリーミングは通常、非常に高解像度のビデオの送信を伴う。ヒトの中心窩の解像力は１度あたり約６０ピクセルである。３６０°×１８０°の全球の透過を考慮すれば、約２２ｋ×１１ｋピクセルの解像度を送信することになるであろう。そのような高解像度を送信することは非常に高い帯域幅要求をもたらすので、別の解決策は９０°×９０°のＦｏＶを有するヘッドマウントディスプレイ（ＨＭＤ）に示されるビューポートのみを送信することである。この場合、ビデオは約６Ｋ×６Ｋピクセルになる。ビデオ全体を最高の解像度で送信することとビューポートのみを送信することとの間のトレードオフは、ビューポートを高解像度で、いくつかの隣接データ（または球状ビデオの残り）を低解像度または低品質で送信することである。

【0003】

ＤＡＳＨシナリオでは、前述の混合解像度または混合品質ビデオがＤＡＳＨクライアントによって制御されるように全方向ビデオ（別名球形ビデオ）を提供することができる。ＤＡＳＨクライアントは、コンテンツがどのように提供されているかを説明する情報を知る必要があるだけである。

【0004】

一例は、ビデオの異なる部分に対する異なる品質および歪みなどの非対称特性を有する異なる投影を用いて異なる表現を提供することであり得る。各表現は所与のビューポートに対応し、そのビューポートは他のコンテンツよりも高い品質／解像度で符号化される。方向情報（コンテンツがより高い品質／解像度で符号化されているビューポートの方向）を知っていると、ＤＡＳＨクライアントは、いつでもユーザの視線方向と一致するように１つまたは他の表現を動的に選択することができる。

【0005】

全方向ビデオに対してそのような非対称特性を選択するためのＤＡＳＨクライアントに対するより柔軟な選択肢は、ビデオがいくつかの空間領域に分割され、各領域が異なる解像度または品質で利用可能であるときであろう。１つの選択肢は、グリッドに基づいてそれを矩形領域（別名タイル）に分割できることであるが、他の選択肢も考えられる。そのような場合、ＤＡＳＨクライアントは、異なる領域が提供される異なる品質についていくつかのシグナリングを必要とし、かつ、ユーザに表示されるビューポートが他の表示されていないコンテンツよりも高品質になるように、さまざまな品質でさまざまな領域をダウンロードできる。

【0006】

上記のいずれの場合も、ユーザの操作が発生してビューポートが変更されると、ＤＡＳＨクライアントはユーザの動きに反応して新しいビューポートに合った方法でコンテンツをダウンロードするのにしばらく時間を要するであろう。ユーザが移動してからＤＡＳＨクライアントが新しいビューポートに一致するようにその要求を調整するまでの間に、ユーザは高品質と低品質のいくつかの領域を同時にビューポートに見るであろう。許容可能な品質／解像度の違いはコンテンツに依存するが、ユーザが目にする品質はいずれにしても低下する。

【0007】

従って、適応ストリーミングによってストリーミングされた空間シーンコンテンツの部分的な提示に関して、ユーザにとっての軽減、より効率的なレンダリング、またはさらには視覚的品質を向上させるという概念を手元に持つことが好ましい。

【発明の概要】

【発明が解決しようとする課題】

【0008】

従って、本願発明の目的は、空間シーンコンテンツを空間的に等しくない方法でストリーミングしてユーザの視覚品質を向上させる、またはストリーミング検索サイトにおける処理の複雑さもしくは必要な帯域幅を減少させるための概念を提供すること、またはさらなるアプリケーションシナリオへの適用性を拡大する方法で空間シーンコンテンツをストリーミングするための概念を提供することである。

【0009】

この目的は、係属中の独立請求項の主題によって達成される。

【課題を解決するための手段】

【0010】

本願発明の第１の態様は、選択されかつ検索されたメディアセグメントおよび／またはサーバから取得されたシグナリングが、時間的に変化する空間シーンの異なる部分が選択され検索されたメディアセグメントに符号化される品質に適合すべき所定の関係についてのヒントを有する検索装置を提供する場合、空間的に等しくない方法でビデオなどの時間的に変化する空間シーンに関連するストリーミングメディアコンテンツが、ストリーミング受信サイトにおいて匹敵する帯域幅消費における可視品質および／または計算の複雑さに関して改善され得るという発見に基づく。さもなければ、検索装置は、選択されたメディアセグメントに異なる品質で符号化された部分の並置が、ユーザが経験する全体的な可視品質に及ぼす悪影響について、事前に知ることができないかも知れない。メディアセグメントに含まれる情報および／または例えばマニフェストファイル（メディアプレゼンテーション記述）内のようなサーバから取得された信号化、またはＳＡＮＤメッセージのようなサーバからクライアントへの追加のストリーミング関連制御メッセージにより、検索デバイスはサーバで提供されるメディアセグメントの中から適切に選択を行うことができる。このようにして、ユーザに提示される時間的に変化する空間的シーンのこの空間的セクション上への利用可能な帯域幅の不適切な分布のためにそうでなければ起こり得るので、ビデオコンテンツのバーチャルリアリティストリーミングまたは部分ストリーミングは、品質劣化に対してよりロバストにされ得る。

【0011】

本発明のさらなる態様は、第１の部分で第１の品質を使用し、第２の部分で第２のより低い品質を使用する、または第２の部分を非ストリーミングのままにしておくなどの空間的に不均等な方法でのビデオなどの時間的に変化する空間シーンに関するメディアコンテンツのストリーミングが、メディアセグメントに含まれる情報および／またはサーバから取得される信号化に応じて第１の部分のサイズおよび／または位置を決定することによって、可視品質が改善されてもよく、および／またはストリーミング検索側での帯域幅消費および／または計算の複雑さの点で複雑さが軽減されてもよいという発見に基づく。例えば、時間的に変化する空間シーンが、タイルベースのストリーミングのためにタイルベースの方法でサーバに提供されると仮定する。すなわち、メディアセグメントは、時間的に変化する空間シーンのスペクトルの時間的部分を表し、その各々は、空間シーンが細分（sub-divided）されるタイルの分布の対応するタイル内の空間シーンの時間セグメントであると仮定する。そのような場合、空間シーンにわたってすなわちタイルの粒度で利用可能な帯域幅および／または計算能力をどのように分配するかを決定するのは、検索装置（クライアント）次第である。検索装置は、メディアセグメントの選択を、後続する空間シーンの第１の部分は、空間シーンの時間的に変化するビューセクションをそれぞれ追跡し、例えば現在の帯域幅で実現可能な最高品質および／または計算能力条件であり得る所定の品質で選択され検索されたメディアセグメントに符号化される程度まで実行する。空間シーンの空間的に隣接する第２の部分は、例えば、選択され検索されたメディアセグメントに符号化されなくてもよく、または所定の品質に対して低減されたさらなる品質でそこに符号化されてもよい。そのような状況では、ビューセクションの向きに関係なく、その
集合が時間的に変化するビューセクションを完全にカバーする、隣接するタイルの数／合計を計算することは、計算上複雑な問題であり、あるいは実行不可能である。空間シーンを個々のタイルにマッピングするように選択された投影に依存して、タイル当たりの角度シーン適用範囲はこのシーンおよび個々のタイルが相互に重なり得るという事実により変化し得、ビューセクションの向きに関係なく、空間的にビューセクションをカバーするのに十分な隣接タイルの数の計算でさえ、より困難になる。従って、そのような状況では、前述の情報は、タイルの数Ｎまたはタイルの数としてそれぞれ第１の部分のサイズを示すことができる。この手段によって、装置は、所定の品質でそこに符号化されたＮ個のタイルの同じ場所に配置された集合体を有するそれらのメディアセグメントを選択することによって時間的に変化するビューセクションを追跡することができる。これらＮ個のタイルの集合がビューセクションを十分にカバーするという事実は、Ｎを示す情報によって保証され得る。別の例は、メディアセグメントに含まれる情報および／またはサーバから取得される信号化であり、それはビューセクション自体のサイズに対する第１の部分のサイズを示す。例えば、この情報は、時間的に変化するビューセクションの動きを考慮するために、実際のビューセクションの周りに何らかの形で「安全ゾーン」またはプリフェッチゾーンを設定することができる。時間的に変化するビューセクションが空間シーンを横切って移動する速度が大きいほど、安全ゾーンは大きくなる。従って、前述の情報は、インクリメンタル方式またはスケーリング方式など、時間的に変化するビューセクションのサイズに対する方法で第１の部分のサイズを示すことができる。そのような情報に従って第１の部分のサイズを設定する検索装置は、そうでなければ空間シーンの未検索部分または低品質部分がビューセクションに見えるために起こり得る品質劣化を回避することができるであろう。ここでは、このシーンがタイルベースの方法で提供されるのか、他の方法で提供されるのかは無関係である。

【0012】

本出願の直前の局面に関連して、ビデオビットストリームがビデオを復号化するための復号化能力がフォーカスされるべきであるビデオの中にフォーカス領域のサイズのシグナリングを提供される場合、その中に符号化されたビデオを有するビデオビットストリームはより高い品質で復号可能にされ得る。この手段によって、ビットストリームからビデオを復号するデコーダは、ビデオビットストリームで信号化された焦点領域のサイズを有する部分にビデオの復号にその復号能力を集中させる、または制限さえすることができ、例えば、このように復号化された部分は、利用可能な復号化能力によって復号化可能であり、ビデオの必要な部分を空間的にカバーすることが分かる。例えば、このように信号化された焦点領域のサイズは、ビデオを復号する際の復号待ち時間を考慮に入れてビューセクションのサイズおよびこのビューセクションの動きをカバーするために十分に大きくなるように選択され得る。あるいは、換言すれば、ビデオビットストリームに含まれるビデオの推奨される好ましいビューセクション領域の信号化は、デコーダがこの領域を好ましい方法で扱うことを可能にし、それによってデコーダがそれに応じて復号電力を集中させることができる。エリア固有の復号化パワーフォーカシングを実行することとは無関係に、エリア信号化は、どのメディアセグメント上にダウンロードするか、すなわちどこに配置するか、およびどのようにして品質の向上した部分の寸法を決めるかを選択する段階に転送され得る。

【0013】

本出願の第１および第２の態様は、本出願の第３の態様に密接に関連しており、膨大な数の検索装置がサーバからメディアコンテンツをストリーミングするという事実を利用し、その後、第１の部分のサイズ、またはサイズおよび／もしくは位置を設定すること、および／もしくは第１および第２の品質の間の所定の関係を適切に設定することを可能にする前述の種類の情報を適切に設定するために用いられ得るような情報を獲得するようにする。このように、本出願のこの態様によれば、検索デバイス（クライアント）は、瞬間的大きさ（momentaneous measurement）、または第１の部分の空間位置および／または動きを測定する統計値、瞬間的大きさ、または選択されたメディアセグメントに符号化されて
いる限り、およびビューセクションに見える限りにおいて、時間的に変化する空間シーンの品質を測定する統計値、および選択されたメディアセグメントに符号化され、かつビューセクションに見える限りにおいて、第１の部分の品質または時間的に変化する空間シーンの品質を測定する瞬間的大きさまたは統計値の１つを集めたログメッセージを送る。瞬間的大きさおよび／または統計値には、それぞれの瞬間的大きさまたは統計値が得られた時間に関する時間情報を提供することができる。ログメッセージは、メディアセグメントが提供されるサーバに送信されてもよいし、受信したログメッセージを評価する他の装置に送信されて、それに基づいて、第１の部分のサイズ、またはサイズおよび／もしくは位置を設定するために使用される前述の情報の現在の設定を更新するようにしてもよく、および／もしくは、それに基づいて所定の関係を導出するようにしてもよい。

【0014】

本出願のさらなる態様によれば、ビデオなどの時間的に変化する空間シーンに関連するストリーミングメディアコンテンツ、特にタイルベースの方法でのストリーミングメディアコンテンツは、時間的に変化する空間シーンがタイルベースのストリーミングのために提供される少なくとも１つのバージョンと少なくとも１つのバージョンのそれぞれに対して時間的に変化する空間シーンのそれぞれのバージョンをタイルベースのストリーミングから恩恵を受けるための要件の恩恵の表示とを含むメディアプレゼンテーション記述を提供することによって無用なストリーミング試行の回避に関してより効果的になる。この手段によって、検索装置は、少なくとも１つのバージョンの有益な要件を、検索装置自体またはタイルベースのストリーミングに関して検索装置と対話する他の装置の装置能力と一致させることができる。例えば、利益を得る要件は、復号能力要件に関連し得る。すなわち、ストリーミング／検索されたメディアコンテンツを復号するための復号能力が、時間的に変化する空間シーンのビューセクションをカバーするのに必要なすべてのメディアセグメントを復号するのに十分ではない場合、メディアコンテンツをストリーミングし提示しようとすることは、時間、帯域幅、計算能力の面で、無駄であり、それに応じて、いずれにせよそれを試していないことがより効果的である。例えば、あるタイルに関するメディアセグメントは、他のタイルに関するメディアセグメントとは別に、ビデオストリームなどのメディアストリームを形成する場合、復号能力要件は、例えば、それぞれのバージョンに必要ないくつかのデコーダインスタンス化を示すことができる。復号化能力要件は、例えば、所定の復号化プロファイルおよび／またはレベルに適合するために必要とされる復号器インスタンス化の特定の部分などのさらなる情報にも関連し得、またはユーザがそれを介してシーンを見るのに十分な速さでビューポート／セクションを移動するユーザ入力装置の特定の最小能力を示し得る。シーンの内容によっては、動きの能力が低いと、ユーザがシーンの興味深い部分を見るのに十分ではない場合がある。

【0015】

本願発明のさらなる態様は、時間的に変化する空間シーンに関するメディアコンテンツのストリーミングの拡張に関する。特に、この態様による概念は、空間シーンが実際には時間的に変化するだけでなく、例えばビューおよび位置、ビュー深度または他の何らかの物理的パラメータを示唆する少なくとも１つのさらなるパラメータに関しても変化し得ることである。検索装置は、ビューポート方向および少なくとも１つのさらなるパラメータに応じて、メディアセグメントのアドレスを計算することによってこのコンテキストにおける適応ストリーミングを使用することができ、メディアセグメントは時間的に変化する空間シーンおよび少なくとも１つのパラメータを記述し、サーバから計算されたアドレスを使用してメディアセグメントを検索する。

【0016】

従属請求項の主題である本件出願の上に概説した態様およびそれらの有利な実施形態は、個々にまたはすべて一緒に組合わせることができる。

【0017】

本件出願の好ましい実施形態は、図面に関して以下に説明される。

【図面の簡単な説明】

【0018】

【図1】図１は、以下の図に示される実施形態が有利に使用され得る場所に関する例として、仮想現実アプリケーションのためのクライアントおよびサーバのシステムを示す概略図を示す図である。

【図2】図２は、サーバ１０がユーザに提示されるメディアコンテンツ内の許容可能または耐えられる品質変動に関する情報を有する装置を提供する本件出願の一実施形態によるクライアント装置の可能な動作モードを説明するためのメディアセグメント選択プロセスの概略図と共にクライアント装置のブロック図を示す図である。

【図3】図３は、図２の変形例を示す図であり、品質が向上した部分は、ビューポートのビューセクションを追跡している部分に関するものではなく、サーバからクライアントにシグナリングされるメディアシーンコンテンツの関心領域に関するものである。

【図4】図４は、サーバが、品質が向上した部分のサイズまたはサイズおよび／または位置、あるいはメディアシーンの実際に検索されたセクションのサイズまたはサイズおよび／または位置を設定する方法に関する情報を提供する実施例によるメディアセグメント選択プロセスの概略図と共にクライアント装置のブロック図を示す図である。

【図5】図５は、サーバによって送信される情報が、ビューポートの予想される動きに応じてスケーリングするのではなく、部分６４のサイズを直接示すという点で図５の変形形態を示す図である。

【図6】図６は、検索されたセクションが所定の品質を有し、そのサイズがサーバから生じる情報によって決定される、図４の変形を示す図である。

【図7a】図７ａは、ビューポートのサイズの対応する拡大によって、所定の品質で検索された部分のサイズを大きくする図４－図６による情報７４がどのように変換されるかを示す概略図である。

【図7b】図７ｂは、ビューポートのサイズの対応する拡大によって、所定の品質で検索された部分のサイズを大きくする図４～図６による情報７４がどのように変換されるかを示す概略図である。

【図7c】図７ｃは、ビューポートのサイズの対応する拡大によって、所定の品質で検索された部分のサイズを大きくする図４－図６による情報７４がどのように変換されるかを示す概略図である。

【図8a】図８ａは、クライアント装置は、ログメッセージをサーバまたは特定の評価部に送信してこれらのログメッセージを評価し、例えば、図２ないし図７ｃに関して説明した情報の種類に対して適切な設定を導出する実施形態を示す概略図である。

【図8b】図８ｂは、タイル上への３６０シーンのタイルベースの立方体投影、およびいくつかのタイルがビューポートの例示的な位置によってどのように覆われるかの例を示す概略図であり、小さな丸はビューポート内の等角分布の位置を示し、ハッチングされたタイルはダウンロードされたセグメント内でハッチングのないタイルよりも高い解像度でエンコードされる。

【図8c】図８ｃは、クライアントの異なるバッファのバッファ占有率（垂直軸）がどのようにして発生する可能性があるかについて時間軸（水平）に沿って示す図の概略図を示す図であり、ここで、図８ｃは、特定のタイルを符号化する表現をバッファリングするために使用されるバッファを仮定する。

【図8d】図８ｄは、クライアントの異なるバッファのバッファ占有率（垂直軸）がどのようにして発生する可能性があるかについて時間軸（水平）に沿って示す図の概略図を示す図であり、ここで、図８ｄは、不均一な品質ですなわち、それぞれのバッファに特有のある方向に向かって増加した符号化されたシーンを有する全方向表現をバッファリングするために使用されるバッファを仮定する。

【図8e】図８ｅは、球形またはビュープレーンの意味での均一性に関して異なるビューポート２８内の異なるピクセル密度の大きさ（measurement）の三次元図を示す図である。

【図8f】図８ｆは、球形またはビュープレーンの意味での均一性に関して異なるビューポート２８内の異なるピクセル密度の大きさの三次元図を示す図である。

【図9】図９は、サーバがタイルベースのストリーミングを提供する特定のバージョンがクライアントデバイスにとって許容可能であるかどうかを評価するために、デバイスがサーバから生じる情報を検査するとき、クライアント装置のブロック図およびメディアセグメント選択プロセスの概略図を示す図である。

【図10】図１０は、メディアシーンの時間的な依存性だけでなく別の非時間的パラメータ、すなわちここでは例示的にシーン中心位置の依存性を可能にする実施形態によるサーバによって提供される複数のメディアセグメントを示す概略図を示す図である。

【図11】図１１は、この情報を利用することができるビデオデコーダの例と共に、ビットストリームに符号化されたビデオ内のフォーカス領域のサイズを生じるまたは制御する情報を含むビデオビットストリームを示す概略図を示す図である。

【発明を実施するための形態】

【0019】

本件出願の様々な態様に関する本件出願の実施形態の説明の理解を容易にするために、
図１は、本件出願の以下に説明される実施形態が適用され有利に使用され得る環境の例を示す。特に、図１は、適応ストリーミングを介して対話するクライアント１０とサーバ２０とから構成されるシステムを示す。例えば、ＨＴＴＰ上の動的適応ストリーミング（ＤＡＳＨ）をクライアント１０とサーバ２０との間の通信２２に使用することができる。しかしながら、後に概説される実施形態は、ＤＡＳＨの使用に限定されると解釈されるべきではなく、同様に、メディアプレゼンテーション記述（ＭＰＤ）のような用語は、ＤＡＳＨとは異なるように定義されたマニフェストファイルもカバーするように広義であると理解されるべきである。

【0020】

図１は、仮想現実アプリケーションを実施するように構成されたシステムを示す。すなわち、システムは、ヘッドアップディスプレイ２４を装着しているユーザに、すなわちヘッドアップディスプレイ２４の内部ディスプレイ２６を介して、セクション２８はヘッドアップディスプレイ２４の慣性センサなどの内部方位センサ３２によって例示的に測定されたヘッドアップディスプレイ２４の方位に対応する時間的に変化する空間シーン３０からビューセクション２８を提示するように構成される。すなわち、ユーザに提示されるセクション２８は、その空間位置がヘッドアップディスプレイ２４の向きに対応する、空間シーン３０のセクションを形成する。図１の場合、時間的に変化する空間シーン３０は、全方向ビデオまたは球面ビデオとして描かれているが、図１の説明およびその後に説明される実施形態は、他の例にも同様に容易に移行可能であり、例えば、セクション２８の空間位置を有するビデオからのセクションを提示することは、顔のアクセスまたは目のアクセスと仮想または実際のプロジェクタの壁などとの交差によって決定される。さらに、センサ３２およびディスプレイ２６は、例えば、それぞれ遠隔制御装置および対応するテレビジョンなどの異なる装置によって構成されてもよく、あるいはタブレットまたは携帯電話などのモバイル装置などのハンドヘルド装置の一部であってもよい。最後に、後述する実施形態のいくつかは、ユーザに提示される領域２８が時間的に変化する空間シーン３０を提示する際のむらで常に全体的に時間的に変化する空間シーン３０を覆うシナリオ、例えば、空間的シーンにわたる品質の不均等な分布に関するシナリオにも適用され得る点に留意すべきである。

【0021】

サーバ２０、クライアント１０、およびサーバ２０で空間コンテンツ３０が提供される方法に関するさらなる詳細は、図１に示されており、以下に説明される。しかしながら、これらの詳細もまた、後に説明される実施形態を限定するものとして扱われるべきではなく、むしろ、後に説明される実施形態のうちのいずれかを実施する方法の例として役立つべきである。

【0022】

特に、図１に示すように、サーバ２０は、記憶装置３４と、適切にプログラムされたコンピュータ、特定用途向け集積回路などのコントローラ３６とを含むことができる。記憶装置３４は、時間的に変化する空間シーン３０を表すメディアセグメントを記憶している。特定の例は、図１の図に関して以下により詳細に概説される。コントローラ３６は、要求されたメディアセグメント、メディアプレゼンテーション記述をクライアント１０に再送信することによってクライアント１０によって送信された要求に応答し、それ自体でさらなる情報をクライアント１０に送信することができる。これに関する詳細もまた以下に記載される。コントローラ３６は、要求されたメディアセグメントを記憶装置３４から取出すことができる。この記憶装置内には、サーバ２０からクライアント１０に送信された他の信号に、メディアプレゼンテーション記述またはその一部などの他の情報も記憶され得る。

【0023】

図１に示すように、サーバ２０は、クライアント１０でメディアデータストリームを形成するように、後者からの要求に応答してサーバ２０からクライアント１０に送信されるメディアセグメントを修正するストリーム修正部３８を任意でさらに含んでもよく、例え
ば、このようにしてクライアント１０によって検索されたメディアセグメントは実際にはいくつかのメディアストリームから集約されるが、１つの単一のメディアストリームは１つの関連デコーダによって復号化可能である。しかしながら、そのようなストリーム修正部３８の存在は任意である。

【0024】

図１のクライアント１０は、例示的に、クライアント装置またはコントローラ４０、あるいはそれ以上のデコーダ４２および再投影機（reprojector：リプロジェクタとも称す）４４を含むように描かれている。クライアント装置４０は、適切にプログラムされたコンピュータ、マイクロプロセッサ、ＦＰＧＡなどのプログラムされたハードウェア装置、または特定用途向け集積回路などであり得る。クライアント装置４０は、サーバ２０で提供される複数の４６のメディアセグメントの中からサーバ２０から検索されるべきセグメントを選択することを引き受ける。この目的のために、クライアント装置４０は最初にサーバ２０からマニフェストまたはメディアプレゼンテーション記述を検索する。同様に、クライアント装置４０は、空間シーン３０のある必要とされる空間部分に対応する複数４６の中からメディアセグメントのアドレスを計算するための計算規則を取得する。このように選択されたメディアセグメントは、それぞれの要求をサーバ２０に送信することによってクライアント装置４０によってサーバ２０から検索される。これらの要求は計算されたアドレスを含む。

【0025】

このようにしてクライアント装置４０によって検索されたメディアセグメントは、後者によって復号のために１つ以上のデコーダ４２に転送される。図１の例では、このようにして検索され復号されたメディアセグメントは、各時間的時間単位について、時間的に変化する空間シーン３０のうちの単に空間的セクション４８を表すが、既に上述したように、これは他の態様に従って異なることがあり、例えば、提示されるビューセクション２８は常にシーン全体をカバーする。リプロジェクタ４４は、選択され検索されデコードされたメディアセグメントの検索されデコードされたシーンコンテンツからユーザに表示されるようにビューセクション２８を任意に再投影し切出すことができる。この目的のために、図１に示すように、クライアント装置４０は、例えば、センサ３２からのユーザ方位データに応答してビューセクション２８の空間位置を連続的に追跡し更新し、例えば、シーンセクション２８のこの現在の空間位置、ならびに領域形成ビューセクション２８にマッピングされるように、検索および復号されたメディアコンテンツに適用される再投影マッピングについて、リプロジェクタ４４に通知する。リプロジェクタ４４は、それに応じて、例えば、ディスプレイ２６に表示される画素の規則的なグリッドにマッピングと補間を適用することができる。

【0026】

図１は、空間シーン３０をタイル５０にマッピングするために立方体マッピングが使用された場合を示している。したがって、タイルは、球の形態を有するシーン３０が投影された立方体の長方形の小領域として描かれている。リプロジェクタ４４はこの投影を反転させる。しかしながら、他の例も同様に適用され得る。しかしながら、他の例も同様に適用され得る。例えば、立方体投影の代わりに、切頭ピラミッドまたは切頭なしのピラミッドへの投影を使用することができる。さらに、図１のタイルは、空間シーン３０のカバレッジに関して重複しないように描かれているが、タイルへの細分化（subdivision）は、相互のタイル重複を含み得る。そして以下により詳細に概説されるように、シーン３０をタイル５０に空間的に細分し、各タイルが以下にさらに説明されるように１つの表現を形成することもまた必須ではない。

【0027】

従って、図１に示すように、空間シーン３０全体が空間的にタイル５０に細分化される。図１の例では、立方体の６つの面のそれぞれが４つのタイルに細分化される。説明のために、タイルが列挙されている。各タイル５０について、サーバ２０は図１に示すようにビデオ５２を提供する。より正確には、サーバ２０は、タイル５０ごとに複数のビデオ５
２を提供することさえあり、これらのビデオは品質Ｑ＃が異なる。さらに、ビデオ５２は時間的セグメント５４に時間的に細分化される。すべてのタイルＴ＃のすべてのビデオ５２の時間セグメント５４は、サーバ２０の記憶装置３４に記憶されている複数の４６のメディアセグメントのうちの１つのメディアセグメントを形成するか、またはその中の１つに符号化される。

【0028】

図１に示されたタイルベースのストリーミングの例でさえも、そこから多くの変形が可能である例を形成するにすぎないことを再度強調しておく。例えば、図１は、より高い品質でのシーン３０の表現に関するメディアセグメントは、品質Ｑ１でシーン３０をその中に符号化したメディアセグメントが属するタイルと一致するタイルに関連することを示唆しているように思われる。この一致は必ずしも必要ではなく、異なる品質のタイルは、シーン３０の異なる投影のタイルにさえ対応し得る。さらに、これまで議論されていないが、図１に示される異なる品質レベルに対応するメディアセグメントは、空間解像度および／または信号対雑音比および／または時間解像度などが異なることがあり得る。

【0029】

最後に、装置４０によってサーバ２０から個々に検索されることができるメディアセグメントがシーン３０が空間的に細分化されるタイル５０に関するタイルベースのストリーミング概念とは異なり、サーバ２０において提供されるメディアセグメントは代替的に例えば、各々は、シーン３０を、空間的に変化するサンプリング解像度で空間的に完全な方法でその中に符号化しているが、シーン３０内の異なる空間位置で最大のサンプリング解像度を有する。例えば、それは、切頭先端が互いに異なる方向に配向されるであろう切頭ピラミッド上へのシーン３０の投影に関する一連のセグメント５４をサーバ２０に提供することによって達成され得、それによって異なる配向の解像度ピークをもたらす。

【0030】

さらに、必要に応じてストリーム修正部３８を提示することに関して、クライアント１０とサーバ２０が本明細書で説明される信号を交換するネットワーク装置内で、同じものがクライアント１０の一部であり得るか、またはそれらの間に配置され得る。

【0031】

サーバ２０およびクライアント１０のシステムをかなり一般的に説明した後、本件出願の第１の態様による実施形態に関するクライアント装置４０の機能をより詳細に説明する。この目的のために、装置４０をより詳細に示す図２を参照する。既に上述したように、装置４０は時間的に変化する空間シーン３０に関するメディアコンテンツをストリーミングするためのものである。図１に関して説明したように、装置４０は、ストリーミングされたメディアコンテンツが空間的にシーン全体に連続的に関連するように構成されてもよいし、単にそのセクション２８に限定されてもよいように構成されてもよい。いずれにせよ、装置４０は、サーバ２０上で利用可能な複数４６のメディアセグメントから適切なメディアセグメント５８を選択するための選択部５６と、ＨＴＴＰリクエストのようなそれぞれのリクエストによってサーバ２０から選択されたメディアセグメントを検索するための検索部６０とを含む。上述のように、選択部５６は、メディアプレゼンテーション記述を使用して、選択されたメディアセグメント５８を検索する際にこれらのアドレスを使用して検索部６０で選択されたメディアセグメントのアドレスを計算することができる。例えば、メディアプレゼンテーション記述に示されるアドレスを計算するための計算規則は、品質パラメータＱ、タイルＴ、およびいくつかの時間セグメントｔに依存し得る。アドレスは、例えばＵＲＬであり得る。

【0032】

また上述したように、選択部５６は、選択されたメディアセグメントが時間的に変化する空間シーンの少なくとも１つの空間セクションを有し、その中に符号化されるように選択を実行するように構成される。空間セクションは、完全にシーンを空間的に連続的にカバーしてもよい。図２は、６１において、装置４０がシーン３０の空間セクション６２をオーバーラップしてビューセクション２８を囲むように適合させる例示的な場合を示す。
しかしながら、これは既に上述したように、必ずしもそうであるとは限らず、空間部分は連続的にシーン３０全体を覆ってもよい。

【0033】

さらに、選択部５６は、選択されたメディアセグメントが空間的に等しくない品質の態様法で内部に符号化されたセクション６２を有するように選択を実行する。より正確には、図２にハッチングで示されている、空間セクション６２の第１の部分６４は、所定の品質で選択されたメディアセグメントに符号化されている。この品質は、例えば、サーバ２０によって提供される最高品質であり得るか、または「良い」品質であり得る。装置４２は、例えば、時間的に変化するビューセクション２８を空間的にたどるように、第１の部分６４を動かす、または適合させる。例えば、選択部５６は、ビューセクション２８の現在位置を継承するそれらのタイルの現在の時間的セグメント５４を選択する。その際、選択部５６は、オプションで、以下のさらなる実施形態に関して説明するように、第１の部分６４を構成するタイルの数を一定に保つことができる。いずれにせよ、セクション６２の第２の部分６６は、低品質などの別の品質で選択されたメディアセグメント５８に符号化される。例えば、選択部５６は、部分６４のタイルに空間的に隣接し且つより低い品質に属する現在のタイルの時間セグメントに対応するメディアセグメントを選択する。例えば、選択部５６は、現在の時間セグメントに対応する時間間隔が終了する前に部分６４および重複部分６６を離れるようにビューセクション２８があまりにも速く移動する可能性のある機会に対処するために部分６６に対応するメディアセグメントを主に選択し、かつ、選択部５６は、部分６４を新たに空間的に配置することができるであろう。この状況では、それにもかかわらず、部分６６内に突き出ているセクション２８の部分は、すなわち品質が低下した状態でユーザに提示される可能性がある。

【0034】

高品質の部分６４内のシーンコンテンツと共にユーザに低減された品質のシーンコンテンツをユーザに事前に提示することによって、どのような品質の劣化が生じ得るのかについて装置４０が評価することは不可能である。特に、これら２つの性質の間の移行が生じ、これはユーザにはっきりと見える可能性がある。少なくとも、そのような遷移は、セクション２８内の現在のシーン内容に応じて可視的であり得る。ユーザの視野内のそのような遷移の悪影響の重大さは、サーバ２０によって提供されるようなシーンコンテンツの特徴であり、装置４０によって予測されないことがある。

【0035】

従って、図２の実施形態によれば、装置４０は、部分６４の品質と部分６６の品質との間で満たされるべき所定の関係を導出する導出部６６を含む。導出部６６は、メディアセグメント５８内のトランスポートボックス内などのメディアセグメント内に含まれ得る、および／またはメディアプレゼンテーション記述内などのサーバ２０から取得された信号化またはＳＡＮＤメッセージ等のサーバ２０から送信される独自の信号に含まれ得る情報からこの所定の関係を導出する。情報６８がどのように見えるかに関する例が、以下に提示される。情報６８に基づいて導出部６６によって導出された所定の関係７０は、選択を適切に実行するために選択部５６によって使用される。例えば、部分６４および６６の品質の完全に独立した選択と比較した部分６４および６６の品質の選択における制限は、部分６２に関するメディアコンテンツを部分６４および６６上に取出すために利用可能な帯域幅の分布に影響を及ぼす。いずれにせよ、選択部５６は、部分６４および６６が最終的に検索されたメディアセグメントに符号化される品質が所定の関係を満たすようにメディアセグメントを選択する。所定の関係がどのように見えるかについての例もまた以下に示される。

【0036】

検索部６０によって選択され最終的に検索されたメディアセグメントは、最終的に復号のために１つまたは複数のデコーダ４２に転送される。

【0037】

第１の例によれば、例えば、情報６８によって具現化されるシグナリングメカニズムは
、提供されるビデオコンテンツに対してどの品質の組合わせが許容可能であるかをＤＡＳＨクライアントであり得る装置４０に示す情報６８を含む。例えば、情報６８は、異なる領域６４および６６が最大の品質（または解像度）の差と混在し得ることをユーザまたは装置４０に示す品質ペアのリストであり得る。装置４０は、サーバ１０で提供される最高品質レベルなどの特定の品質レベルを部分６４に必然的に使用し、部分６６が例えば、部分６８の品質レベルのリストの形式で含む情報６８から選択されたメディアセグメントに符号化できる品質レベルを導出するように構成され得る。

【0038】

情報６８は、部分６８の品質と部分６４の品質との間の差の尺度についての許容値を示すことができる。品質の差の「尺度」として、メディアセグメント５８の品質指標が使用されてもよく、これにより、メディアプレゼンテーション記述において同じものが区別され、かつ、これにより、そのアドレスがメディアプレゼンテーション記述に記述された計算規則を使用して計算される。ＭＰＥＧ－ＤＡＳＨでは、品質を示す対応する属性は、例えば@qualityRankingになる。装置４０は、選択を実行する際に部分６４および６６を選択されたメディアセグメントに符号化することができる選択可能な品質レベルペアにおける制限を考慮することができる。

【0039】

しかしながら、この差の尺度の代わりに、通常、ビットレートは品質が上がるにつれて単調に増加することを仮定すれば、品質の差は、例えばビットレート差、すなわち部分６４および６６が対応するメディアセグメントにそれぞれ符号化されるビットレートの許容できる差で測定することもできる。情報６８は、部分６４および６６が選択されたメディアセグメントに符号化される品質について許容される対のオプションを示すことができる。情報６８は、部分６４および６６が選択されたメディアセグメントに符号化される品質について許容される対のオプションを示すことができる。あるいは、情報６８は、符号化部分６６の許容品質を単に示し、それにより、メイン部分６４が、例えば可能なまたは利用可能な最高品質などの何らかのデフォルト品質を使用して符号化されると仮定して、許容品質または耐久品質差を間接的に示す。例えば、情報６８は、許容可能な表現ＩＤのリストであり得るか、または部分６６に関するメディアセグメントに関して最小ビットレートレベルを示し得る。

【0040】

しかしながら、代わりに、より緩やかな品質差が望まれることもあり、その場合、品質対の代わりに、品質グループ（２つ以上の品質）が示されることがあり、ここで、セクション２８までの距離、すなわちビューポートに依存して、品質差が増加する。すなわち、情報６８は、ビューセクション２８までの距離に応じた方法で、部分６４と６６の品質の間の差の尺度についての許容できる値を示すことができる。これは、ビューセクションまでのそれぞれの距離と、それぞれの距離を超えた品質の差を測定するための対応する許容値との対のリストによって行われ得る。それぞれの距離以下では、品質差はより小さくなければならない。すなわち、各対は、対応する距離よりも部分２８内の対応する距離よりも遠い部分６６内の部分が、このリスト項目の対応する許容値を超える部分６４の品質への品質差を有する可能性があることを対応する距離について示す。

【0041】

許容可能値は、ビューセクション２８までの距離が増すにつれて増加してもよい。今説明した品質の違いの受入れは、これらの異なるひんしつ品質がユーザに表示される時間に左右される。例えば、品質差が大きいコンテンツは、２００マイクロ秒の間だけ表示されるのであれば許容できるかも知れないが、品質差が小さいコンテンツは、５００マイクロ秒の間表示されるのであれば許容可能かも知れない。従って、さらなる例によれば、情報６８は、例えば、上述の品質の組合せに加えて、または許容される品質の差に加えて、組合せ／品質の差が許容され得る時間間隔も含み得る。換言すれば、情報６８は、部分６６が部分６４と同時にビューセクション２８内に示され得る最大許容時間間隔の表示とともに、部分６６と６４の品質間の許容できるまたは最大許容差を示し得る。

【0042】

既に述べたように、品質の違いの受入れはコンテンツ自体によって異なる。例えば、異なるタイル５０の空間的位置は、容認に影響を与える。低周波信号を含む一様な背景領域における品質差は、前景オブジェクトにおける品質差より許容可能であると予想される。さらに、時間的な位置も、内容の変化による受入率に影響を与える。従って、別の例によれば、情報６８を形成する信号は、例えばＤＡＳＨの表現または期間ごとなど、間欠的に装置４０に送信される。すなわち、情報６８によって示される所定の関係は断続的に更新されてもよい。追加的に及び／又は代替的に、情報６８によって実現されるシグナリングメカニズムは空間的に変わり得る。すなわち、情報６８は、ＤＡＳＨ内のＳＲＤパラメータなどによって空間的に依存するようにすることができる。すなわち、シーン３０の異なる空間領域に関する情報６８によって、異なる所定の関係を示すことができる。

【0043】

装置４０の実施形態は、図２に関して説明したように、装置４０がビデオコンテンツ３０の検索された部分６２内のプリフェッチされた部分６６による品質劣化を可能な限り低く、セクション２８による位置の変化に適応するように、セクション６２および部分６４の位置を変化させることができるようになる前にセクション２８において一時的に見ることができることを望んでいるという事実に関する。すなわち、図２において、情報６８によってそれらの可能な組合せが関係する限りその質が制限されている部分６４および６６は、部分６２の異なる部分であり、両方の部分６４および６６の間の遷移は移動ビューセクション２８を追跡または走行するために連続的にシフトまたは適応される。図３に示す代替実施形態によれば、装置４０は、部分６４および６６の品質の可能な組合せを制御するために情報６８を使用するが、図３の実施形態によれば、例えばメディアプレゼンテーション記述において定義された方法で、すなわちビューセクション２８の位置から独立した方法で定義された方法で互いに区別または区別される部分として定義される。部分６４および６６の位置ならびにそれらの間の遷移は一定でもよいし、時間的に変化してもよい。 時間的に変動する場合、変動はシーン３０の内容の変化によるものである。例えば、部分６４は、より高い品質の支出が価値がある関心領域に対応し、一方、部分６６は、例えば、低帯域幅条件による品質低下が部分６４に対する品質低下を考慮する前に考慮されるべき部分である。

【0044】

以下において、装置４０の有利な実施のためのさらなる実施形態が説明される。特に、図４は、構造的に図２－図３に対応する方法で装置４０を示す。図２および図３では、操作モードが本願発明の第２の態様に対応するように変更されている。

【0045】

すなわち、装置４０は、選択部５６、検索部６０および導出部６６を備える。選択部５６は、サーバ２０によって提供された複数４６のメディアセグメント５８から選択し、検索部６０は、サーバから選択されたメディアセグメントを検索する。図４は、装置４０が図２－図３に関して図示されたように動作すると仮定している。すなわち、選択部５６は、選択されたメディアセグメント５８は、この空間部分が時間的にその空間位置を変化させるビュー部分２８に続くようにして符号化されたシーン３０の空間部分６２を有するように選択を実行する。しかしながら、本願の同じ態様に対応する変形は、図５に関して後で説明され、各時刻ｔに対して、選択され検索されたメディアセグメント５８は、全体のシーンまたはそれに符号化された一定の空間セクション６２を有する。

【0046】

いずれにせよ、図２および図３に関する説明と同様に、選択部５６は、メディアセグメント５８を選択し、セクション６２内の第１の部分６４が選択され検索されたメディアセグメント５８に所定の品質で符号化される一方、第１の部分６４に空間的に隣接するセクション６２の第２の部分６６が部分６４の所定の品質と比較して低い品質で選択されたメディアセグメントに符号化される。第１の部分６４は、符号化されていない部分７２によって囲まれている間に部分６２を完全に覆っているように、選択部５６がビューポート２
８の位置を追跡する移動テンプレートに関するメディアセグメントに選択および検索を制限し、メディアセグメントが所定の品質で完全にセクション６２に符号化されている変形例が図６に示されている。いずれにせよ、選択部５６は、第１の部分６４が時間的に空間位置が変化するビューセクション２８に追従するように選択を実行する。

【0047】

そのような状況では、どのくらいの大きさのセクション６２または部分６４があるべきかに関してクライアント４０が予測することも容易ではない。シーンの内容に応じて、大部分のユーザは、シーン３０を横切ってビューセクション２８を移動させることにおいて同様に行動することができ、従って、ビューセクション２８がシーン３０を横切って移動すると推定される速度のビューセクション２８の間隔にも同じことが当てはまる。従って、図４ないし図６の実施形態に従って、情報７４は、装置４０が情報７４に依存して、第１の部分６４のサイズ、またはサイズおよび／もしくは位置、またはセクション６２のサイズ、またはサイズおよび／もしくは位置をそれぞれ設定することを支援するように、サーバ２０によって装置４０に提供される。サーバ２０から装置４０に情報７４を送信する可能性に関しては、図２および図３に関して上述したのと同じことが当てはまる。すなわち、情報は、そのイベントボックス内などのメディアセグメント５８内に含まれてもよく、またはメディアプレゼンテーション記述内の送信、またはＳＡＮＤメッセージなどのサーバ４０から装置４０に送信される独自のメッセージがこの目的のために使用されてもよい。

【0048】

すなわち、図４－図６の実施形態によれば、選択部５６は、サーバ２０から生じる情報７４に応じて第１の部分６４のサイズを設定するように構成される。図４－図６に示す実施形態では、サイズはタイル５０の単位で設定されているが、図１に関して既に上述したように、状況を空間的に変化する品質でシーン３０をサーバ２０で提供する別の概念を使用する場合は状況がわずかに異なり得る。

【0049】

一例によれば、情報７０は、例えば、ビューセクション２８のビューポートの所与の移動速度についての確率を含むことができる。情報７４は、既に上述したように、例えばＤＡＳＨクライアントであり得るクライアント装置４０に利用可能にされるメディアプレゼンテーション記述内に生じ得るか、またはイベントボックス、すなわち、ＤＡＳＨの場合のＥＭＳＧまたはＳＡＮＤメッセージ等の情報７４を伝達するためにいくつかの帯域内メカニズムが使用され得る。情報７４は、ＩＳＯファイルフォーマットまたはＭＰＥＧ－２ＴＳなどのＭＰＥＧ－ＤＡＳＨを超えるトランスポートフォーマットなどの任意のコンテナフォーマットに含めることもできる。それはまた、後述するようにＳＥＩメッセージ内のようなビデオビットストリーム内で伝達され得る。換言すれば、情報７４は、視界セクション２８の空間速度の尺度についての所定の値を示し得る。このようにして、情報７４は部分６４のサイズをスケーリングの形で、またはビューセクション２８のサイズに対する増分の形で示す。すなわち、情報７４は、セクション２８のサイズをカバーするのに必要な部分６４についてのある「基本サイズ」から始まり、この「基本サイズ」を増分的にまたはスケーリングすることによって適切に増加させる。例えば、前述のビューセクション２８の移動速度は、例えば、可能な任意の空間方向に沿ったビューセクション２８の周囲の最も遠い位置を決定するように、この時間間隔の後、現在のビューセクション２８の位置の周囲をスケーリングするために使用され得る。例えば、メディアセグメント５８の時間的長さに対応する時間的セグメント５４の持続時間のような部分６４の空間的位置を調整する際の待ち時間を決定する。この持続時間が全方向であるビューポート２８の現在位置の周囲に加わる速度時間は、そのような最悪の場合の周囲になり得、移動しないビューポート２８を想定する部分６４のある最小拡大に対する部分６４の拡大を決定するために使用され得る。

【0050】

情報７４は、ユーザ行動の統計の評価にも関連し得る。後で、そのような評価プロセス
を実行するのに適した実施形態が説明される。例えば、情報７４は、ある割合のユーザに関する最大速度を示すことができる。例えば、情報７４は、９０％のユーザが０．２ｒａｄ／ｓより遅い速度で移動し、９８％のユーザが０．５ｒａｄ／ｓより低い速度で移動することを示すことができる。情報７４またはそれを搬送するメッセージは、確率－速度ペアが定義されるように、または一定割合のユーザ、例えば常に９９％のユーザに対して最高速度を知らせるメッセージが定義されるように定義することができる。移動速度シグナリング７４は、方向情報、すなわち、２Ｄおける角度または３Ｄにおける２Ｄプラス深さおよびライトフィールドアプリケーションとしても知られるものをさらに含むことができる。情報７４は、異なる移動方向に対する異なる確率－速度対を示すであろう。

【0051】

換言すれば、情報７４は、例えばメディアセグメントの時間的長さなどの所与の期間に適用することができる。それは、軌跡ベースの（Ｘパーセンタイル、平均ユーザパス）または速度ベースのペア（Ｘパーセンタイル、速度）または距離ベースのペア（Ｘパーセンタイル、口径／直径／推奨）、または面積ベースのペア（Ｘパーセンタイル、推奨される優先領域）またはパス、速度、距離、または優先領域の１つの最大境界値を含む。情報を百分位数に関連付ける代わりに、ほとんどのユーザが一定の速度で移動し、次に多くのユーザがさらに速い速度で移動するというように、単純な頻度ランク付けを行うことができる。追加的または代替的に、情報７４は、ビューセクション２８の速度を示すように制限されないが、表示に従うユーザの割合などの表示または表示がユーザの視聴速度／表示セクションが最も頻繁に記録されたものと一致するかどうかの表示、および表示の一時的持続性の有無にかかわらずの統計的有意性についての表示の有無にかかわらず、ビューセクション２８を追跡するように求められる部分６２および／または６４をそれぞれ指示するために見るべき好ましい領域を同様に示し得る。情報７４は、メディアセグメントの時間長内、またはより詳細には時間セグメント５４の時間的長さなど、ある期間内のビューセクション２８の移動距離の尺度などのビューセクション２８の速度の別の尺度を示すことができる。あるいは、情報７４は、ビューセクション２８が移動し得る特定の移動方向を区別するように示され得る。これは、特定の方向へのビューセクション２８の速度または速度の表示、ならびに特定の移動方向に関するビューセクション２８の移動距離の標識の両方に関係する。さらに、部分６４の拡張は、全方向的にまたは異なる移動方向を区別する方法で直接的に、情報７４によって示され得る。さらに、情報７４は、移動ビューセクション２８における統計的な振る舞いを説明するためにこれらの値が十分であるユーザのパーセンテージと共にこれらの値を示すという点で、今概説した例のすべてが修正され得る。この点に関して、ビュー速度、すなわちビュー速度セクション２８はかなりのものとすることができ、例えばユーザの頭部の速度値に限定されないことに留意されたい。むしろ、ビューセクション２８は、例えば、ユーザの眼球運動に応じて移動させることができ、その場合、ビュー速度はかなり大きくなり得る。ビューセクション２８はまた、タブレットなどの動きによるなど、他の入力装置の動きに従って動かすこともできる。ユーザがセクション２８を移動させることを可能にするこれらすべての「入力可能性」は、異なる予想されるビューセクション２８の速度をもたらすので、情報７４は、ビューセクション２８の移動を制御するための異なる概念を区別するように設計され得る。すなわち、情報７４は、ビューセクション２８の移動を制御する異なる方法に対して異なるサイズを示すように部分６４のサイズを示すかまたは示されることができ、装置４０は正しいビューセクション制御のために情報７４によって示されるサイズを使用するであろう。すなわち、ビューセクション２８は、ユーザによって制御される、すなわち、装置４０は、ビューセクション２８が頭の動き、眼球の動き、タブレットの動きなどのいずれによって制御されているかを確認し、そのようなビュー部分制御に対応する情報７４の部分に従ってサイズを設定する方法についての知識を得る。

【0052】

一般に、移動速度は、コンテンツ、期間、表現、セグメント、ＳＲＤ位置ごと、ピクセルごと、タイルごと、たとえば任意の時間的または空間的粒度などでシグナリングするこ
とができる。概説したように、移動速度は頭の動きおよび／または目の動きでも区別することができる。さらに、ユーザの移動確率に関する情報７４は、高解像度プリフェッチ、すなわち、ユーザのビューポートの外側のビデオ領域、または球形の範囲に関する推奨事項として伝えられてもよい。

【0053】

図７ａから図７ｃは、それぞれ部分６４または部分６２のサイズおよび／またはその位置を修正するために装置４０によって使用される方法で、情報７４に関して説明されたオプションのいくつかを簡単に要約する。図７ａに示す選択肢によれば、装置４０は、信号速度ｖと個々のメディアセグメント５０ａに符号化された時間セグメントの時間長に対応する期間に対応することができる時間長Δｔとの積に対応する距離だけセクション２８の円周を拡大する。追加的に及び／又は代替的に、部分６２及び／又は６４の現在位置は、速度が大きいほど、セクション２８の現在位置から、又は信号６２及び／又は６４の現在の位置から情報７４により示されたように信号速度若しくは運動方向へのより遠い位置に配置することができる。速度および方向は、情報７４による最近の開発または推奨される好ましい領域の表示の変化を調査または推定することから導出され得る。全方向にｖ×Δｔを適用する代わりに、速度は、異なる空間方向に対して異なる情報７４によって示されてもよい。図７ｄに示された代替案は、情報７４がビューセクション２８の円周を拡大する距離を示し得ることを示し、この距離は図７ｂのパラメータｓによって示される。また、方向によって変化する断面の拡大が適用されてもよい。図７ｃは、セクション２８の周囲の拡大が、例えばセクション２８の元の面積と比較した拡大セクションの面積の比の形のような、面積の増加による情報７４によって示され得ることを示す。いずれにせよ、拡大後の領域２８の円周は、図７ａないし７ｃにおいて７６で示される。図７ａ－図７ｃの拡大図は、部分６４が拡大部分７６内の全領域を少なくともその所定の量で覆うように部分６４の寸法を寸法設定または設定するために選択部５６によって使用され得る。明らかに、より大きなセクション７６、より多くのタイルの数は、例えば、部分６４内にある。さらなる代替案によれば、セクション７４は、部分６４を構成するタイルの数の形などで部分６４のサイズを直接示すことができる。

【0054】

部分６４のサイズをシグナリングする後者の可能性は図５に示される。図５の実施形態は、図４の実施形態が図６の実施形態によって修正されたのと同じ方法で修正することができ、すなわち、セクション６２の全領域を部分６４の品質でセグメント５８によってサーバ２０から取出すことができる。

【0055】

いずれにせよ、図５の最後で、情報７４は異なる大きさのビューセクション２８の間、すなわちビューセクション２８によって見られる異なる視野の間を区別する。情報７４は、装置４０が現在目指しているビューセクション２８のサイズに応じて部分６４のサイズを単に示す。これにより、装置４０のような装置が部分６４の大きさを計算するかそうでなければ部分６４の大きさを推測する問題に対処する必要なしに、図４、６および図７に関して説明したように、セクション２８のいかなる移動にもかかわらず、部分６４がビューセクション２８を覆うことで十分であるように、異なる視野または異なる大きさのビューセクション２８を有する装置によってサーバ２０のサービスを使用できる。図１の説明から明らかになるように、例えば、どの一定数のタイルが、ある大きさのビューセクション２８、すなわち、空間的位置決め３０についてのビューセクション２８の方向に関係なく、ある大きさの視野を完全に覆うのに十分であるかについて評価することはほとんど容易である。ここで、情報７４はこの状況を軽減し、装置４０は情報７４内で装置４０に適用されるビューセクション２８のサイズに使用されるべき部分６４のサイズの値を単純に調べることができる。すなわち、図５の実施形態によれば、ＤＡＳＨクライアント、またはイベントボックスまたはＳＡＮＤメッセージなどのいくつかの曲がったメカニズムに利用可能にされたメディアプレゼンテーション記述は、球形の範囲またはそれぞれ表現の集合またはタイルの集合の視野に関する情報７４を含むことができる。一例は、図１に示す
ようにＭ個の表現を有するタイル張りのオファリングであり得る。情報７４は、例えば図１に示すように６×４タイルにタイル状に並べられた立方体表現の中から、所与の端部装置の視野をカバーするためにダウンロードする推奨数ｎ ＜Ｍ（表現と呼ばれる）を示すことができ、１２枚のタイルで９０°×９０°の視野をカバーするのに十分であると考えられる。端部装置の視野が必ずしもタイルの境界と完全に揃っているとは限らないため、この推奨は、装置４０単独では自明に生成することはできない。装置４０は、例えば少なくともＮ個のタイル、すなわちＮ個のタイルに関するメディアセグメント５８をダウンロードすることによって情報７４を使用することができる。情報を利用する別の方法は、端部装置の現在のビュー中心に最も近いセクション６２内のＮ個のタイルの品質を強調すること、すなわちセクション６２の部分６４を構成するためにＮ個のタイルを使用することである。

【0056】

図８ａに関して、本願発明のさらなる態様に関する実施形態が説明される。ここで、図８ａは、図１ないし図７に関して上述した可能性のいずれかに従って互いに通信するクライアント装置１０およびサーバ２０を示す。すなわち、装置１０は、図２－図７に関して説明した実施形態のいずれかに従って具現化することができる。あるいは、図１に関して上述したように、これらの詳細事項がなくても単に動作することができる。しかしながら、好ましくは、装置１０は、図２－図７に関して上述した実施形態のいずれかまたはそれらの組合せに従って具体化され、さらに、図８ａに関して今説明された動作モードを継承する。特に、装置１０は、図２－図８に関して上述したように内部的に構成されており、すなわち、装置４０は、選択部５６、検索部６０、およびオプションで導出部６６を含む。選択部５６は、不均等なストリーミングを目的とする選択、すなわち、品質が空間的に変化するようにおよび／またはエンコードされていない部分があるように、メディアコンテンツが選択され検索されたメディアセグメントに符号化されるようにメディアセグメントを選択する選択を行う。しかしながら、これに加えて、装置４０は、例えばログインしたログメッセージをサーバ２０や評価装置８２に送出するログメッセージ送信機８０を構成している。

第１の部分６４の空間位置および／または移動を測定する瞬間的大きさまたは統計値
選択されたメディアセグメントに符号化され、ビューセクション２８に見える限りにおいて、時間的に変化する空間シーンの品質を測定する瞬間的大きさまたは統計値および／または

選択されたメディアセグメントに符号化され、ビューセクション２８に見える限りにおいて、第１の部分の品質または時間的に変化する空間シーン３０の品質を測定する瞬間的大きさまたは統計値

【0057】

動機は以下の通り。

【0058】

前述のように、最も興味深い地域やスピードと確率のペアなどの統計を導出できるようにするには、ユーザからの報告メカニズムが必要である。ＩＳＯ／ＩＥＣ ２３００９－１の附属書Ｄに定義されているものに追加のＤＡＳＨメトリクスが必要である。

【0059】

ＤＡＳＨクライアントはメトリクスサーバ（ＤＡＳＨサーバまたは別のものと同じにすることも可能）にＦｏＶの観点で端末装置の特性を返送するＤＡＳＨメトリクスとしてのクライアントのＦｏＶが１つの指標となるであろう。

【0060】

１つのメトリックはＶｉｅｗｐｏｒｔＬｉｓｔである。ＤＡＳＨクライアントは、各クライアントが時間内に監視していたビューポートをメトリックサーバ（ＤＡＳＨサーバまたは別のサーバと同じにすることも可能）に返送する。そのようなメッセージのインスタンス化は次のようになる。

【0061】

ビューポート（関心領域）メッセージに関しては、潜在的に所与の粒度（非常に小さい動きの報告を回避するかしないかを問わず）または所与の周期性を用いて、ビューポート変更が発生するたびに報告するようにＤＡＳＨクライアントに依頼することができる。そのようなメッセージは、属性@reportViewPortPeriodicityまたは要素または記述子としてＭＰＤに含めることができる。ＳＡＮＤメッセージやその他の方法で、帯域外で示されることもある。

【0062】

ビューポートはタイルの粒度で通知することもできる。

【0063】

追加的または代替的に、ログメッセージは、シーン中心からの現在のユーザ距離および／または現在のビュー深度など、図１０に関して以下で論じるパラメータのうちのいずれかなど、ユーザ入力に応じて変化する他の現在のシーン関連パラメータについて報告することができる。

【0064】

もう１つのメトリックはViewportSpeedListである。ＤＡＳＨクライアントは、移動が発生したときに特定のビューポートについて移動速度を表示する。

【0065】

このメッセージは、クライアントがビューポート移動を実行した場合にのみ送信される。ただし、サーバは、前の場合と同様に、メッセージが移動が大きい場合にのみ送信されるように指示することができる。そのような設定は、@ minViewportDifferenceForReportingのように、ピクセル単位のサイズや、角度、またはメッセージを送信するために変更する必要がある大きさを示すことができる。

【0066】

上記のように非対称品質が提供されるＶＲ－ＤＡＳＨサービスにおいてもう１つの重要なことは、ユーザがビューポートの非対称表現または不均等な品質／解像度表現のセットから他のビューポートについてより適切な別の表現または表現のセットにユーザがどれだけ速く切り替えるかを評価することである。そのような測定基準では、サーバは、ＱｏＥに影響を及ぼす関連要因を理解するのに役立つ統計を導出することができる。そのようなメトリックは次のようになる。

【0067】

あるいは、前述の期間を平均値として与えることもできる。

【0068】

他のＤＡＳＨメトリクスに関して、これらのメトリクスのすべてに、測定が実行された時刻を追加で含めることができる。

【0069】

場合によっては、不均等な品質のコンテンツがダウンロードされ、品質の悪い（または品質の良いものと品質の悪いものが混在した）コンテンツが十分長い時間表示されると（わずか２、３秒かも知れない）、ユーザが不満を感じてセッションを終了することがある。セッションを終了することを条件に、ユーザは直近のＸ時間区間に表示された品質のメッセージを送信することができる。

【0070】

あるいは、最大品質の違い、またはビューポートのmax＿qualityとmin＿qualityを報告することもできる。

【0071】

図８ａに関する上記の説明から明らかになったように、タイルベースのＤＡＳＨストリーミングサービス事業者が（例えば、解像度比、ビットレートおよびセグメント期間に関して）有意義な方法でそのサービスを設定および最適化するためには、サービス事業者が、クライアント報告メカニズムを必要とする統計を導出することができる場合に有利であり、その例は上述されている。非特許文献１（［Ａ１］）の附属書Ｄに加えて、上で定義されたものに対する追加のＤＡＳＨメトリクスが以下に示される。

【0072】

図１に示すように、立方体投影のビデオを使用したタイルベースのストリーミングサービスを想像されたい。クライアント側での再構成は図８ｂに示されており、ここで、小さ
い円１９８は、クライアントのビューポート２８内で、水平方向および垂直方向に等角的に分布したビュー方向の二次元分布の、個々のタイル５０によって覆われる画像領域への投影を示す。ハッチングを付したタイルは高解像度タイルを示し、従って高解像度部分６４を形成し、一方、ハッチングなしで示したタイル５０は低解像度タイルを示し、従って低解像度部分６６を形成する。セグメント選択およびダウンロードの最後の更新以降にビューポート２８が変更されたときに部分的に低解像度のタイルがユーザに提示され、これにより、ダウンロード可能なセグメント５８にコード化されたタイル５０の投影面またはピクセルアレイがあるキューブ上に各タイルの解像度が決定されることを見ることができる。

【0073】

上記の説明はどちらかといえば一般的に、ビューポートでビデオがユーザに提示される品質を示すフィードバックまたはログメッセージを示しているが、以下では、これに関して適用可能なより具体的かつ有利な測定基準について概説する。ここで説明されている測定基準は、クライアント側から報告され、有効ビューポート解決と呼ばれることがある。クライアントのビューポートでの有効な解像度をサービスオペレータに示すことが想定されている。報告された有効ビューポート解像度が、ユーザが低解像度タイルの解像度に向けた解像度のみを提示されたことを示す場合、サービスオペレータは、それに応じてタイリング構成、解像度比またはセグメント長を変更してより高い有効ビューポート解像度を達成することができる。

【0074】

一実施形態は、セグメント５８にコード化されたタイル５０のピクセルアレイが存在する投影図面で測定された、ビューポート２８内の平均ピクセル数であろう。測定（measurement）は、ビューポート２８のカバーされた視野（ＦｏＶ）に関連して、水平方向２０４および垂直方向２０６を区別し得るか、またはそれらに対して特定され得る。以下の表は、概略的なビューポート品質測定を知られるよういにログメッセージに含まれ得る適切な構文およびセマンティックスのための可能な例を示す。

【0075】

水平方向と垂直方向への分解は、代わりに平均ピクセル数にスカラー値を使用することで中断できる。ログメッセージの受信者、すなわち評価部８２にも報告され得るビューポート２８の開口またはサイズの指示と共に、平均カウントはビューポート内のピクセル密度を示す。

【0076】

メトリックに対して考慮されるＦｏＶを実際にユーザに提示されるビューポートのＦｏＶより小さくすることは有利であり、それによって周辺視野にのみ使用され、したがって主観的品質認識に影響を及ぼさないビューポートの境界に向かう領域を除外する。この代替案は、ビューポート２８のそのような中央部分にあるピクセルを囲む破線２０２によって示されている。ビューポート２８の全体的なＦｏＶに関して報告されたメトリックについて考慮されたＦｏＶ２０２を報告することはまた、ログメッセージ受信者８２に示され得る。次の表は、前の例の対応する拡張を示している。

【0077】

さらなる実施形態によれば、平均画素密度は、EffectiveFoVResolutionH/Vを含む例に関してこれまで説明した例の場合に有効なように投影面内で空間的に均一な方法で品質を平均することによって測定されるのではないが、この平均化を、ピクセル、すなわち投影面にわたって不均一に重み付けする。平均化は、球状に一様な方法で実行されてもよい。一例として、平均化は、円１９８がそうであるように分布したサンプル点に関して一様に実行されてもよい。換言すれば、局所投影面距離の増加と共に二次的に減少し、視点と接続する線に対する投影の局所傾斜の正弦に従って増加する重みによって局所密度を重み付けすることによって平均化を実行することができる。メッセージは、オプションの（フラグ制御）ステップを含み、例えば均一球サンプリンググリッドを使用することによって、利用可能な投影のいくつかの固有のオーバーサンプリング（Equirectangular Projectionなど）を調整することができる。いくつかの投射は大きなオーバーサンプリングの問題を持たず、オーバーサンプリングのコンピューティング除去を強制することは不必要な複雑さの問題につながり得る。これはEquirectangular Projectionに限定されてはならない。レポート作成では、水平方向と垂直方向の解像度を区別する必要はないが、それらを組合わせることは可能である。以下に一実施形態を示す。

【0078】

平均化に等角均一性を適用すると、図８ｅでは、視点３０６を中心とする球３０４上の水平および垂直に分布する点３０２が、視点２８内にある限り、タイルの投影面３０８、ここでは立方体に投影されていることを示し、これにより、点３０２の投影面１９８の投影面上への局所密度に応じて、ピクセル密度の局所ウェイトを設定するように、投影面内に列および行単位で配列されたピクセル３０８のピクセル密度の平均化が実行される。全く同様のアプローチが図８ｆに描かれている。ここで、点３０２はビュー方向３１２に垂直なビューポート平面内に等間隔に、すなわち縦横に均等に分布され、投影面３０８への投影は点１９８を定義し、その局所密度は、局所密度画素密度３０８（ビューポート２８内の高解像度タイルおよび低解像度タイルのために変化する）が平均に寄与する重みを制御する。最新の表などの上記の例では、図８ｅに示されたものの代わりに図８ｆの代替物を使用することができる。

【0079】

以下では、図８ａに例示的に示されているように複数のメディアバッファ３００を有するＤＡＳＨクライアント１０（図１参照）、すなわちダウンロードされたセグメント５８を１つ以上のデコーダ５８によるその後の復号に転送するＤＡＳＨクライアント１０に関するさらなる種類のログメッセージに関する実施形態について説明する。セグメント５８のバッファ上への分配は異なる方法で行うことができる。例えば、３６０ビデオの特定の領域が互いに別々にダウンロードされるように、またはダウンロード後に別々のバッファにバッファリングされるように配信を行うことができる。以下の例は、図１に示すように＃１～＃２４のインデックスを付けられたどのタイルＴ（対数が２５の合計を有する）が＃1～＃Mの品質（1が最高、Mが最低）のどの品質Ｑにおいて個々にダウンロード可能な表現Ｒ＃１～＃Ｐに符号化されるかを示すことによって異なる分布、およびこれらのＰ表現Ｒをどのようにして（オプションで）ＭＰＤ内の＃１～＃Ｓのインデックスを付けた適応
セットＡにグループ化することができるか、Ｐ表現Ｒのセグメント５８をどのようにして＃１～＃Ｎのインデックスを付けたバッファに分配することができるかを示す。

【0080】

ここでは、表現がサーバで提供され、ダウンロードのためにＭＰＤに告知され、それらの各々は１つのタイル５０、すなわちシーンの１つのセクションに関係する。１つのタイル５０に関する表現であるが、このタイル５０を異なる品質で符号化することは、グループ化は任意であるが正確にはこのグループ化はバッファへの関連付けに使用される適応セットにおいて要約されるであろう。従って、この例によれば、タイル５０ごとに、換言すればビューポート（ビューセクション）符号化ごとに、１つのバッファが存在することになる。

別の表現セットと分布は次のようになる。

【0081】

この例によれば、各表現は全領域をカバーすることになるが、高品質の領域は一方の半球に焦点を合わせ、他方、より低い品質は他方の半球に使用される。この方法で使われる正確な品質が異なる、つまり高品質の半球の位置が等しい表現は、１つの適応セットにまとめられ、この特性に従って、ここでは例として６つのバッファに分配される。

【0082】

従って、以下の説明では、アダプテーションセットなどに関連付けられた、異なるビューポート符号化、タイルなどのビデオサブ領域などによるバッファへのそのような分配が適用されると仮定する。図８ｃは、２つの別々のバッファ、例えば、最後の、しかし最も小さい表に示されているような、タイルベースのストリーミングシナリオにおけるタイル１およびタイル２に対する経時的なバッファ満杯度レベルを示す。クライアントがそのすべてのバッファの満杯レベルを報告することを可能にすることは、サービスオペレータが彼のサービス設定の経験の質（ＱｏＥ）の影響を理解するために他のストリーミングパラメータとデータを相関させることを可能にする。

【0083】

そこからの利点は、クライアント側の複数のメディアバッファのバッファ満杯がメトリックと共に報告され、識別されてバッファのタイプに関連付けられることができることである。関連タイプは、例えば
・Tile（タイル）
・Viewport（ビューポート）
・Region（領域）
・AdaptationSet（アダプテーションセット）
・Representation（表現）
・Low quality version of the whole content（コンテンツ全体の低品質版）

【0084】

本願発明の一実施形態が表１に与えられており、表１には識別および関連付けと共に各バッファに対するバッファレベルステータスイベントを報告するためのメトリックが定義
されている。

表１：バッファレベルのリスト

【0085】

ビューポート依存エンコーディングを使用するさらなる実施形態は以下の通りである。

【0086】

ビューポートに依存するストリーミングのシナリオでは、ＤＡＳＨクライアントは特定の視聴方向（ビューポート）に関連するいくつかのメディアセグメントをダウンロードしてプリバッファする。プリバッファコンテンツの量が多すぎてクライアントがその表示方向を変更した場合、ビューポートの変更後に再生されるプリバッファコンテンツの部分は表示されず、それぞれのメディアバッファはパージされる。このシナリオは図８ｄに描かれている。

【0087】

別の実施形態は、同じコンテンツの複数の表現（品質／ビットレート）、および場合によってはビデオコンテンツが符号化される空間的に均一な品質を有する従来のビデオストリーミングシナリオに関する。
その場合、分布は次のようになる：

【0088】

すなわち、ここでは、各表現は、例えばパノラマ３６０シーンではないかもしれないが異なる品質、すなわち空間的に均一な品質であるシーン全体をカバーし、これらの表現はバッファ上に個別に分配されるであろう。最後の３つの表に示されたすべての例は、サーバで提供される表現のセグメント５８がバッファに分配される方法を限定しないものとして扱われるべきである。異なる方法が存在し、その規則は、表現へのセグメント５８のメンバーシップ、適応セットへのセグメント５８のメンバーシップ、それぞれのセグメントが属する表現へのシーンの空間的に不均等なコーディングの局所的に向上した品質の方向、方向付けに基づき得て、シーンがそれぞれのセグメントにエンコードされる品質は、以下のように属する。

【0089】

クライアントは、表現ごとにバッファを維持し、利用可能なスループットが上昇したときに、再生前に残りの低品質／ビットレートメディアバッファを消去し、既存の低品質／ビットレートバッファ内の期間の高品質メディアセグメントをダウンロードすることを決定できる。タイルおよびビューポート依存エンコーディングに基づくストリーミングのために同様の実施形態を構築することができる。

【0090】

サーバ側で利益なしにコストを導入し、クライアント側で品質を低下させるので、サービス運営者は、提示されずにダウンロードされたデータ量とデータの種類を理解することに興味があるかもしれない。従って、本願発明は、「メディアダウンロード」および「メディアプレゼンテーション」という２つのイベントを容易に解釈できるように相関させる報告メトリックを提供することである。本願発明は、各メディアセグメントのダウンロードおよび再生状態についての冗長に報告された情報が分析されることを回避し、パージイベントのみの効率的な報告を可能にする。本願発明はまた、上記のようなバッファの同定およびタイプへの関連付けを含む。本願発明の一実施形態を表２に示す。

表2：削除イベントの一覧

【0091】

図９は、どのようにして装置４０を有利に実施するかのさらなる実施形態を示している。図９の装置４０は、図１－図８に関して上述した例のいずれにも対応することができる。すなわち、それはおそらく図８ａに関して上述したようにロックメッセンジャーを含んでもよいが、図５ないし図７ｃに関してしかし有する必要はなく上述したように図２および図３または情報７４に関して上述したように情報６８を有する必要はなく、使用してもよい。図９に関しては、しかしながら、図２ないし８の説明と異なり、タイルベースのストリーミングアプローチが実際に適用されると仮定されている。すなわち、シーンコンテンツ３０は、図２ないし図８に関して上記の選択肢として説明したタイルベースの方法でサーバ２０に提供される。

【0092】

装置４０の内部構造は図９に示されたものと異なっていてもよいが、装置４０は図２ないし図８に関して既に上で議論した選択部５６および検索部６０、さらにオプションで導出部６６を備えるように例示的に示されている。しかしながら、さらに、装置４０はメディアプレゼンテーション記述アナライザ９０および適合部９２を含む。ＭＰＤ分析部９０は、サーバ２０から取得されたメディアプレゼンテーション記述から、時間的に変化する空間シーン３０がタイルベースのストリーミングのために提供される少なくとも１つのバージョンを導出し、かつ少なくとも１つのバージョンのそれぞれに対して時間的に変化する空間シーンのそれぞれのバージョンをタイルベースのストリーミングから恩恵を受けるための恩恵を受ける要件の表示を導出するためのものである。「バージョン」の意味は以下の説明から明らかになるであろう。特に、適合部９２は、このようにして得られた利益要件を、１つまたは複数のデコーダ４２の復号能力、デコーダ４２の数などの、装置４０または装置４０と対話する別の装置の能力と一致させる。図９の概念の基礎となる背景または考えは以下の通りである。タイルベースのアプローチでは、一定の大きさのビューセクション２８を仮定すると、一定の数のタイルがセクション６２に含まれている必要があることを想像されたい。さらに、あるタイルに属するメディアセグメントは、別のタイルに属するメディアセグメントの復号化とは別に、別個の復号化インスタンス化によって復号化されるべき１つのメディアストリームまたはビデオストリームを形成すると仮定することができる。従って、対応するメディアセグメントがセレクタ５６によって選択される
セクション６２内のある数のタイルの移動集約は、例えば対応する数の形のそれぞれの復号化資源の存在、すなわち、対応する数のデコーダ４２などのある復号化能力を必要とする。そのような数のデコーダが存在しない場合、サーバ２０によって提供されるサービスはクライアントにとって有用ではないのかもしれない。従って、サーバ２０によって提供されるＭＰＤは、「恩恵を受ける要件」、すなわち提供されるサービスを使用するのに必要なデコーダの数を示すことができる。しかしながら、サーバ２０は、異なるバージョンに対してＭＰＤを提供してもよい。すなわち、異なるバージョンのための異なるＭＰＤがサーバ２０によって利用可能であり得るか、またはサーバ２０によって提供されるＭＰＤは、内部で、サービスが使用され得る異なるバージョン間を区別するように構成され得る。例えば、バージョンは、視野、すなわち視野セクション２８のサイズにおいて異なり得る。異なるサイズの視野は、セクション６２内のタイルの数が異なることで明らかになり、したがって、たとえば、これらのバージョンでは異なる数のデコーダが必要になる可能性があるという点で、利点要件が異なる場合がある。他の例も考えられる。例えば、視野が異なるバージョンは同じ複数のメディアセグメント４６を含み得るが、別の例によれば、サーバ２０においてシーン３０がタイルストリーミング用に提供される異なるバージョンは、対応するバージョンに従って含まれる複数４６のメディアセグメントさえも異なり得る。例えば、１つのバージョンによるタイル分割は、他のバージョンによるシーンのタイルハイフン分割と比較して粗いので、例えば、より少ない数のデコーダを必要とする。

【0093】

適合部９２は、恩恵を受ける要件と一致し、したがって対応するバージョンを選択するか、またはすべてのバージョンを完全に拒否する。

【0094】

しかしながら、有益な要件はさらに、１つまたは複数のデコーダ４２が対処できなければならないプロファイル／レベルに関係し得る。例えば、ＤＡＳＨ ＭＰＤはプロファイルを示すことを可能にする複数の位置を含む。典型的なプロファイルは、属性、ＭＰＤに存在する可能性がある要素、および各表現に対して提供されるストリームのビデオまたはオーディオプロファイルを記述する。

【0095】

恩恵を受ける要件のさらなる例は、例えば、ビューポート２８をシーン全体に移動させるためのクライアント側の能力に関するものである。有益な要件は、提供されたシーンコンテンツを本当に楽しむことができるようにするためにユーザがビューポートを移動するために利用可能であるべき必要なビューポート速度を示すことができる。適合部は、例えば、この要件が満たされているかどうか、例えばＨＭＤ２６のような差込まれたユーザ入力装置であるかどうかをチェックするであろう。あるいは、ビューポートを移動させるための異なる種類の入力装置が方向の意味での典型的な移動速度に関連付けられていると仮定すると、一連の「十分な種類の入力装置」を有益な要件として示すことができる。

【0096】

球面ビデオのタイルストリーミングサービスでは、例えば品質の数、タイルの数等、動的に設定することができる設定パラメータが多すぎる。タイルが別々のデコーダによってデコードされる必要がある独立したビットストリームである場合、タイルの数が多すぎると、少ないデコーダを有するハードウェアデバイスがすべてのビットストリームを同時にデコードすることは不可能であり得る。可能性はこれを自由度として残して、ＤＡＳＨ装置がすべての可能な表現を解析して、すべての表現または装置のＦｏＶをカバーする所与の数を復号するのに必要なデコーダの数を数えることであり、そのＤＡＳＨクライアントがコンテンツを消費できるか否かを導くことである。但し、相互運用性と機能のネゴシエーションのより賢い解決策は、プロファイルがサポートされている場合は提供されたＶＲコンテンツが消費される可能性があるというクライアントへの約束として使用される一種のプロファイルにマッピングされるＭＰＤでシグナリングを使用することである。そのようなシグナリングは、urn :: dash-mpeg :: vr :: 2016のようなＵＲＮの形式で行われるべきであり、それはＭＰＤレベルまたは適応セットのいずれかでパックされることができ
る。このプロファイリングは、X profileのＮ個のデコーダでコンテンツを消費するのに十分であることを意味する。プロファイルに応じて、ＤＡＳＨクライアントはＭＰＤまたはＭＰＤ（アダプテーションセット）の一部を無視または受入れることができる。さらに、ＸｌｉｎｋやＭＰＤチェーニングなど、選択に関するシグナリングがほとんど利用できないなど、すべての情報が含まれていないメカニズムもいくつか存在する。このような状況では、ＤＡＳＨクライアントは、コンテンツを消費できるかどうかを導出できない。ＸｌｉｎｋまたはＭＰＤ Ｃｈａｉｎｉｎｇまたは同様のメカニズムを実行することが理にかなっているかどうかにかかわらず、ＤＡＳＨクライアントができるように、そのようなｕｒｎ（または同様のもの）を使用して、デコーダの数および各デコーダのプロファイル/レベルに関してデコード機能を公開することが必要である。シグナリングはまた、Ｘ個のプロファイル／レベルを有するＮ個のデコーダ、またはＹ個のプロファイル／レベルを有するＺ個のデコーダのような異なる動作点を意味し得る。

【0097】

図１０はさらに、図１－図９に関して提示された上記の実施形態および説明のいずれかを示し、クライアント、装置４０、サーバなどに対する図１－９の実施形態は、時間的に変動する空間シーンが時間的に変動するだけでなく、他のパラメータにも依存する程度まで、提供されるサービスが拡張される範囲まで拡張され得る。例えば、図１０は、サーバ上にもたらされる利用可能な複数のメディアセグメントがビューセンター１００の異なる位置に対するシーンコンテンツ３０を記述する図１の変形例を示す。図１０に示す概略図では、シーン中心は単に１つの方向Ｘに沿って変化するように描かれているが、ビュー中心が２次元または３次元などの２つ以上の空間方向に沿って変化し得ることは明らかである。これは、例えば、ある仮想環境におけるユーザ位置におけるユーザの変化に対応する。仮想環境内のユーザの位置に応じて、利用可能なビューが変わり、それに応じてシーン３０が変わる。従って、タイルおよび時間的セグメント、ならびに異なる品質に細分されたシーン３０を記述するメディアセグメントに加えて、さらなるメディアセグメントは、シーンセンター１００の異なる位置に対するシーン３０の異なるコンテンツを記述する。装置４０または選択部５６はそれぞれ、ビューセクション位置およびパラメータＸなどの少なくとも１つのパラメータに応じて、選択プロセス内で検索されることになる複数４６のうちのメディアセグメントのアドレスを計算し、その後、これらのメディアセグメントは、計算されたアドレスを使用してサーバから取得される。この目的のために、メディアプレゼンテーション記述は、時間ｔと同様にタイルインデックス、品質インデックス、シーン中心位置に依存する機能を記述してもよく、それぞれのメディアセグメントの対応するアドレスをもたらす。従って、図１０の実施形態によれば、メディアプレゼンテーション記述は、図１ないし図９に関して上述したパラメータに加えて、１つ以上の追加パラメータに依存するそのような計算規則を含むであろう。パラメータＸは、それぞれのシーン表現がサーバ２０内の複数の４６内の対応するメディアセグメントによって符号化されるレベルのいずれかに量子化され得る。

【0098】

代替として、Ｘは、ビュー深度、すなわち半径方向におけるシーン中心１００からの距離を定義するパラメータであり得る。ビュー中心部分Ｘが異なる異なるバージョンでシーンを提供することは、ユーザがシーンを「歩く」ことを可能にする一方で、ビューの深さが異なる異なるバージョンでシーンを提供することは、ユーザがシーンを前後に「放射状にズーム」することを可能にする。

【0099】

従って、複数の非同心円ビューポートの場合、ＭＰＤは現在のビューポートの位置に関するさらなるシグナリングを使用することができる。シグナリングは、セグメント、表現または期間レベルなどで行うことができる。

【0100】

非同心球：ユーザが移動するためには、異なる球の空間的関係がＭＰＤ内でシグナリングされるべきである。これは、球の直径に関して任意の単位で座標（ｘ、ｙ、ｚ）を用い
て行われ得る。また、球の直径は球ごとに表示する必要がある。球は、中心にいるユーザにコンテンツが問題ないような追加のスペースを加えたものとして使用するには「十分に十分」なものである。ユーザがその示された直径を超えて移動する場合は、別の球を使用して内容を表示する必要がある。

【0101】

ビューポートの例示的なシグナリングは、空間内の所定の中心点に対して行われ得る。各ビューポートはその中心点を基準にして示される。 ＭＰＥＧ － ＤＡＳＨでは、これは例えばAdaptationSet要素において示され得る。

【0102】

最後に、図１１は、参照番号７４に関して上述したものなどのまたはそれに類似の情報が、ビデオ１１２が符号化されるビデオビットストリーム１１０に存在し得ることを示す。そのようなビデオ１１０を復号するデコーダ１１４は、情報７４を使用して、ビデオ１１０を復号するための復号電力が焦点を合わせられるべきビデオ１１２内の焦点領域１１６のサイズを決定し得る。情報７４は、例えば、ビデオビットストリーム１１０のＳＥＩメッセージ内で伝達され得る。例えば、フォーカスエリアを排他的にデコードすることができ、あるいはデコーダ１１４は、例えば左上のピクチャコーナーではなくフォーカスエリアでビデオの各ピクチャのデコードを開始するように構成することができ、および／またはデコーダ１１４はフォーカス領域１１６をデコードしたときのビデオの各ピクチャのデコードを中止できる。追加または代替として、情報７４は、どの空間セクションをカバーするか、または向上したもしくは所定の品質でカバーするためにどのセグメントをダウンロードまたはストリーミングするかを決定するために後続のレンダラまたはビューポートコントロールまたはクライアントのストリーミング装置またはセグメントセレクタに転送されるために単にデータストリームに存在し得る。情報７４は、例えば、上で概説したように、ビューセクション６２またはセクション６６をこのセクションと一致するように、または覆うように、または追跡するように配置するための推奨として推奨される好ましいエリアを示す。クライアントのセグメントセレクタによって使用される可能性がある。
図４－図７ｃに関する説明に関してそうであったように、情報７４は、タイルの数のように、領域１１６の寸法を絶対的に設定することができ、または動く領域１１６の速度を設定することができ、ビデオの興味深いコンテンツを時空間的に追跡するために、例えばユーザ入力などに従って移動させ、それによって速度の指示の増加と共に増加するようにエリア１１６をスケーリングする。

【0103】

いくつかの態様が装置の文脈で説明されてきたが、これらの態様が対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様はまた、対応する装置の対応するブロックまたは項目または特徴の説明を表す。方法ステップのいくつかまたはすべては、例えばマイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（または使用して）実行されてもよい。いくつかの実施形態では、そのような装置によって１つまたは複数の最も重要な方法ステップを実行することができる。

【0104】

ストリーミング信号、ＭＰＤまたは上述した信号のうちの任意の他のものなどの上記で発生する信号は、デジタル記憶媒体に記憶でき、または無線伝送媒体またはインターネットなどの有線伝送媒体などの伝送媒体で伝送できる。

【0105】

特定の実施要件に応じて、本発明の実施形態はハードウェアまたはソフトウェアで実施することができる。電子的に読取り可能な制御信号が記憶されているデジタル記憶媒体、例えばフロッピーディスク（登録商標）、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを使用して実施することができる。それらは、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）。従って、デジタル記憶媒体はコンピュータ可読であり得る。

【0106】

本発明によるいくつかの実施形態は、本明細書に記載の方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読取り可能な制御信号を有するデータキャリアを含む。

【0107】

一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作するときに方法のうちの１つを実行するように動作可能である。プログラムコードは、例えば機械可読キャリアに格納することができる。

【0108】

他の実施形態は、機械可読キャリアに格納された、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを含む。

【0109】

換言すれば、本願発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0110】

従って、本願発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを記録したデータ担体（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データ担体、デジタル記憶媒体、または記録された媒体は通常、有形および／または非一時的である。

【0111】

従って、本願発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である
。データストリームまたは一連の信号は、例えばインターネットなどのデータ通信接続を介して転送されるように構成されてもよい。

【0112】

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するように構成または適合された処理手段、例えばコンピュータ、またはプログラマブルロジックデバイスを含む。

【0113】

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。

【0114】

本願発明によるさらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムを（例えば、電子的または光学的に）受信機に転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイル機器、メモリ機器などであり得る。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含み得る。

【0115】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ）を使用して、本明細書に記載の方法の機能の一部または全部を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法のうちの１つを実行するためにマイクロプロセッサと協働し得る。一般に、方法は、任意のハードウェア装置によって実行されることが好ましい。

【0116】

本明細書に記載の装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実施することができる。

【0117】

本明細書に記載の装置、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアで実施することができる。

【0118】

本明細書に記載の方法は、ハードウェア装置を使用して、またはコンピュータを使用して、あるいはハードウェア装置とコンピュータとの組合わせを使用して実行することができる。

【0119】

本明細書に記載の方法、または本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアによって実行することができる。

【0120】

上述の実施形態は、本願発明の原理を説明するための例示にすぎない。本明細書に記載された構成および詳細の修正および変形は、他の当業者にとって明らかであろうことが理解される。したがって、差し迫った特許請求の範囲によってのみ限定され、本明細書の実施形態の説明および説明のために提示された具体的な詳細によっては限定されないことが意図されている。

【先行技術文献】

【非特許文献】

【0121】

【文献】[A1] ISO/IEC 23009-1:2014, Information technology -- Dynamic adaptive streaming over HTTP (DASH) -- Part 1: Media presentation description and segment formats

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7a】

【図7b】

【図7c】

【図8a】

【図8b】

【図8c】

【図8d】

【図8e】

【図8f】

【図9】

【図10】

【図11】