特表2024-539002没入型メディア用のストリーミングシーン優先順位付け部
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-28
(54)【発明の名称】没入型メディア用のストリーミングシーン優先順位付け部
(51)【国際特許分類】
H04N 21/236 20110101AFI20241018BHJP
H04N 21/238 20110101ALI20241018BHJP
【ＦＩ】
H04N21/236
H04N21/238
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024522107
(86)(22)【出願日】2023-05-02
(85)【翻訳文提出日】2024-04-11
(86)【国際出願番号】 US2023066479
(87)【国際公開番号】W WO2023220535
(87)【国際公開日】2023-11-16
(31)【優先権主張番号】63/341,191
(32)【優先日】2022-05-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/342,526
(32)【優先日】2022-05-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/342,532
(32)【優先日】2022-05-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/344,907
(32)【優先日】2022-05-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/354,071
(32)【優先日】2022-06-21
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/355,768
(32)【優先日】2022-06-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/416,390
(32)【優先日】2022-10-14
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/416,395
(32)【優先日】2022-10-14
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/422,175
(32)【優先日】2022-11-03
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/428,698
(32)【優先日】2022-11-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/137,849
(32)【優先日】2023-04-21
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】ポール・スペンサー・ドーキンス
(72)【発明者】
【氏名】アリアンヌ・ハインズ
(72)【発明者】
【氏名】ステファン・ヴェンガー
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164FA06
5C164MA02S
5C164MB44S
5C164SB01P
5C164SB26P
5C164SB41S
5C164YA02
(57)【要約】
本開示の態様は、没入型メディア処理のための方法および装置を提供する。いくつかの例では、メディア処理の方法は、光照射野ベースのディスプレイで再生するためのシーンベースの没入型メディアを受信するステップを含む。シーンベースの没入型メディアは複数のシーンを含む。方法は、シーンベースの没入型メディアの複数のシーンにそれぞれ優先度の値を割り当てるステップ、および優先度の値に従って複数のシーンをエンドデバイスにストリーミングするための順序を決定するステップを含む。いくつかの例では、メディア処理の方法は、光照射野ベースのディスプレイで再生するためのシーンベースの没入型メディアを受信するステップを含む。シーンベースの没入型メディアのシーンは、第１の順序の複数のアセットを含む。方法は、複数のアセットをエンドデバイスにストリーミングするための第２の順序を決定するステップを含み、第２の順序は第１の順序とは異なる。
【特許請求の範囲】
【請求項1】
没入型メディア処理の方法であって、ネットワークデバイスにより、光照射野ベースのディスプレイで再生するためのシーンベースの没入型メディアを受信するステップであって、前記シーンベースの没入型メディアは没入型メディアの複数のシーンを含む、ステップと、
前記シーンベースの没入型メディアの前記複数のシーンにそれぞれ優先度の値を割り当てるステップと、
前記優先度の値に従って前記複数のシーンをエンドデバイスにストリーミングするための順序を決定するステップと
を含む、方法。
【請求項2】
前記順序を決定する前記ステップは、前記優先度の値に従って前記複数のシーンを再度順位付けするステップと、
前記再度順位付けされた複数のシーンを前記エンドデバイスに送信するステップと
をさらに含む、請求項１に記載の方法。
【請求項3】
前記順序を決定する前記ステップは、優先度認識ネットワークデバイスにより、前記複数のシーンの中の未送信であるシーンのサブセットから、最も高い優先度の値を有する最も高い優先度のシーンを選択するステップと、
前記最も高い優先度のシーンを前記エンドデバイスに送信するステップと
をさらに含む、請求項１に記載の方法。
【請求項4】
前記優先度の値を割り当てる前記ステップは、前記シーンをレンダリングする必要性の尤度に基づいてシーンに対する優先度の値を決定するステップ
をさらに含む、請求項１に記載の方法。
【請求項5】
利用可能なネットワーク帯域幅が制限されていると判定するステップと、前記複数のシーンの中の未送信であるシーンのサブセットから、最も高い優先度の値を有する最も高い優先度のシーンを選択するステップと、
前記利用可能なネットワーク帯域幅が制限されていることに応じて、前記最も高い優先度のシーンを送信するステップと
をさらに含む、請求項１に記載の方法。
【請求項6】
利用可能なネットワーク帯域幅が制限されていると判定するステップと、前記優先度の値に基づいて、次にレンダリングするために必要とされる可能性が低い前記複数のシーンのサブセットを特定するステップと、
前記利用可能なネットワーク帯域幅が制限されることに応じて、前記複数のシーンの前記サブセットをストリーミングから控えるステップと
をさらに含む、請求項１に記載の方法。
【請求項7】
前記優先度の値を割り当てる前記ステップは、第１のシーンと第２のシーンとの間の関係に応じて、前記第２のシーンの第２の優先度の値に基づいて前記第１のシーンに第１の優先度の値を割り当てるステップ
をさらに含む、請求項１に記載の方法。
【請求項8】
前記エンドデバイスからフィードバック信号を受信するステップと、前記フィードバック信号に基づいて、前記複数のシーンのうちの少なくとも１つのシーンの優先度の値を調整するステップと
をさらに含む、請求項１に記載の方法。
【請求項9】
現在のシーンが第１のシーンに関連している第２のシーンであることを示す前記フィードバック信号に応じて、前記第１のシーンに最高の優先度を割り当てるステップをさらに含む、請求項８に記載の方法。
【請求項10】
前記フィードバック信号が、前記エンドデバイスによって決定される優先度の調整を示す、請求項８に記載の方法。
【請求項11】
没入型メディア処理の方法であって、光照射野ベースのディスプレイを有するエンドデバイスにより、前記光照射野ベースのディスプレイによる再生のためのシーンベースの没入型メディアのメディアプレゼンテーション記述（ＭＰＤ）を受信するステップであって、前記シーンベースの没入型メディアは没入型メディアの複数のシーンを含み、前記ＭＰＤは前記複数のシーンを前記エンドデバイスに順番にストリーミングすることを示す、ステップと、
帯域幅利用可能性を検出するステップと、
前記帯域幅利用可能性に基づいて少なくとも１つのシーンの順序の変更を決定するステップと、
前記少なくとも１つのシーンの前記順序の変更を示すフィードバック信号を送信するステップと
を含む、方法。
【請求項12】
前記フィードバック信号は、レンダリングする次のシーンを示す、請求項１１に記載の方法。
【請求項13】
前記フィードバック信号は、前記少なくとも１つのシーンの優先度の値の調整を示す、請求項１１に記載の方法。
【請求項14】
前記フィードバック信号が現在のシーンを示す、請求項１１に記載の方法。
【請求項15】
没入型メディア処理の方法であって、ネットワークデバイスにより、光照射野ベースのディスプレイで再生するためのシーンベースの没入型メディアを受信するステップであって、前記シーンベースの没入型メディアのシーンは、第１の順序の複数のアセットを含む、ステップと、
前記複数のアセットをエンドデバイスにストリーミングするための第２の順序を決定するステップであって、前記第２の順序は前記第１の順序とは異なる、ステップと
を含む、方法。
【請求項16】
前記複数のアセットの１つまたは複数の属性に従って前記シーンの前記複数のアセットにそれぞれ優先度の値を割り当てるステップと、前記優先度の値に従って前記複数のアセットをストリーミングするための前記第２の順序を決定するステップと
を含む、請求項１５に記載の方法。
【請求項17】
前記アセットのサイズに従って前記シーンのアセットに優先度の値を割り当てるステップを含む、請求項１６に記載の方法。
【請求項18】
前記シーンのデフォルトのエントリ位置に関連付けられた前記アセットの可視性に従って前記シーンのアセットに優先度の値を割り当てるステップを含む、請求項１６に記載の方法。
【請求項19】
前記複数のアセットの第１の属性に基づいて前記複数のアセットに第１の優先度の値のセットを割り当てるステップであって、前記第１の優先度の値のセットは、第１の優先順位付け方式で前記複数のアセットを順序付けるために使用される、ステップと、前記複数のアセットの第２の属性に基づいて前記複数のアセットに第２の優先度の値のセットを割り当てるステップであって、前記第２の優先度の値のセットは、第２の優先順位付け方式で前記複数のアセットを順序付けるために使用される、ステップと、
前記エンドデバイスの情報に従って前記第１の優先順位付け方式および前記第２の優先順位付け方式から前記エンドデバイスの優先順位付け方式を選択するステップと、
前記選択された優先順位付け方式に従ってストリーミングのために前記複数のアセットを順序付けるステップと
を含む、請求項１６に記載の方法。
【請求項20】
第１のアセットが第２のアセットよりも計算の複雑度が高いことに応じて、前記第１のアセットに第１の優先度の値を割り当て、前記第２のアセットに第２の優先度の値を割り当てるステップであって、前記第１の優先度の値は前記第２の優先度の値よりも高い、ステップを含む、請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、２０２３年４月２１日に出願された米国仮特許出願第１８／１３７，８４９号「ＳＴＲＥＡＭＩＮＧ ＳＣＥＮＥ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ」に対する優先権の利益を主張するものであり、それは、２０２２年５月１２日に出願された米国仮特許出願第６３／３４１，１９１号「ＳＴＲＥＡＭＩＮＧ ＳＣＥＮＥ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ ＨＯＬＯＧＲＡＰＨＩＣ ＭＥＤＩＡ」、２０２２年５月１６日に出願された米国仮特許出願第６３／３４２，５３２号「ＳＴＲＥＡＭＩＮＧ ＳＣＥＮＥ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ ＡＮＤ／ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ」、２０２２年５月１６日に出願された米国仮特許出願第６３／３４２，５２６号「ＳＴＲＥＡＭＩＮＧ ＡＳＳＥＴ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ ＡＮＤ／ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ ＢＡＳＥＤ ＯＮ ＡＳＳＥＴ ＳＩＺＥ」、２０２２年５月２３日に出願された米国仮特許出願第６３／３４４，９０７号「ＳＴＲＥＡＭＩＮＧ ＡＳＳＥＴ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ，ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ ＢＡＳＥＤ ＯＮ ＡＳＳＥＴ ＶＩＳＩＢＩＬＩＴＹ」、２０２２年６月２１日に出願された米国仮特許出願第６３／３５４，０７１号「ＰＲＩＯＲＩＴＩＺＩＮＧ ＳＴＲＥＡＭＩＮＧ ＡＳＳＥＴＳ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ ＡＮＤ／ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ ＢＡＳＥＤ ＯＮ ＭＵＬＴＩＰＬＥ ＰＯＬＩＩＣＩＥＳ」、２０２２年６月２７日に出願された米国仮特許出願第６３／３５５，７６８号「ＳＣＥＮＥ ＡＮＡＬＹＺＥＲ ＦＯＲ ＰＲＩＯＲＩＴＩＺＡＴＩＯＮ ＯＦ ＡＳＳＥＴ ＲＥＮＤＥＲＩＮＧ ＢＡＳＥＤ ＯＮ ＡＳＳＥＴ ＶＩＳＩＢＩＬＩＴＹ ＩＮ ＳＣＥＮＥ ＤＥＦＡＵＬＴ ＶＩＥＷＰＯＲＴ」、２０２２年１０月１４日に出願された米国仮特許出願第６３／４１６，３９０号「ＳＴＲＥＡＭＩＮＧ ＡＳＳＥＴ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ ＢＡＳＥＤ ＯＮ ＤＩＳＴＡＮＣＥ ＷＩＴＨＩＮ ＦＩＥＬＤ ＯＦ ＶＩＥＷ」、２０２２年１０月１４日に出願された米国仮特許出願第６３／４１６，３９５号「ＳＴＲＥＡＭＩＮＧ ＡＳＳＥＴ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ ＢＡＳＥＤ ＯＮ ＡＳＳＥＴ ＣＯＭＰＬＥＸＩＴＹ」、２０２２年１１月３日に出願された米国仮特許出願第６３／４２２，１７５号「ＳＴＲＥＡＭＩＮＧ ＡＳＳＥＴ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ，ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ ＢＡＳＥＤ ＯＮ ＭＵＬＴＩＰＬＥ ＭＥＴＡＤＡＴＡ ＡＴＴＲＩＢＵＴＥＳ」、および２０２２年１１月２９日に出願された米国仮特許出願第６３／４２８，６９８号「ＰＲＩＯＲＩＴＩＺＡＴＩＯＮ ＯＦ ＭＥＤＩＡ ＡＤＡＰＴＡＴＩＯＮ ＢＹ ＡＴＴＡＣＨＥＤ ＣＬＩＥＮＴ ＴＹＰＥＳ」に対する優先権の利益を主張するものである。先の出願の開示全体は、参照によりその全体が本明細書に組み込まれる。
本願は、２０２３年４月２１日に出願された米国仮特許出願第１８／１３７，８４９号「ＳＴＲＥＡＭＩＮＧ ＳＣＥＮＥ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ」に対する優先権の利益を主張するものであり、それは、２０２２年５月１２日に出願された米国仮特許出願第６３／３４１，１９１号「ＳＴＲＥＡＭＩＮＧ ＳＣＥＮＥ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ ＨＯＬＯＧＲＡＰＨＩＣ ＭＥＤＩＡ」、２０２２年５月１６日に出願された米国仮特許出願第６３／３４２，５３２号「ＳＴＲＥＡＭＩＮＧ ＳＣＥＮＥ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ ＡＮＤ／ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ」、２０２２年５月１６日に出願された米国仮特許出願第６３／３４２，５２６号「ＳＴＲＥＡＭＩＮＧ ＡＳＳＥＴ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ ＡＮＤ／ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ ＢＡＳＥＤ ＯＮ ＡＳＳＥＴ ＳＩＺＥ」、２０２２年５月２３日に出願された米国仮特許出願第６３／３４４，９０７号「ＳＴＲＥＡＭＩＮＧ ＡＳＳＥＴ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ，ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ ＢＡＳＥＤ ＯＮ ＡＳＳＥＴ ＶＩＳＩＢＩＬＩＴＹ」、２０２２年６月２１日に出願された米国仮特許出願第６３／３５４，０７１号「ＰＲＩＯＲＩＴＩＺＩＮＧ ＳＴＲＥＡＭＩＮＧ ＡＳＳＥＴＳ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ ＡＮＤ／ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ ＢＡＳＥＤ ＯＮ ＭＵＬＴＩＰＬＥ ＰＯＬＩＩＣＩＥＳ」、２０２２年６月２７日に出願された米国仮特許出願第６３／３５５，７６８号「ＳＣＥＮＥ ＡＮＡＬＹＺＥＲ ＦＯＲ ＰＲＩＯＲＩＴＩＺＡＴＩＯＮ ＯＦ ＡＳＳＥＴ ＲＥＮＤＥＲＩＮＧ ＢＡＳＥＤ ＯＮ ＡＳＳＥＴ ＶＩＳＩＢＩＬＩＴＹ ＩＮ ＳＣＥＮＥ ＤＥＦＡＵＬＴ ＶＩＥＷＰＯＲＴ」、２０２２年１０月１４日に出願された米国仮特許出願第６３／４１６，３９０号「ＳＴＲＥＡＭＩＮＧ ＡＳＳＥＴ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ ＢＡＳＥＤ ＯＮ ＤＩＳＴＡＮＣＥ ＷＩＴＨＩＮ ＦＩＥＬＤ ＯＦ ＶＩＥＷ」、２０２２年１０月１４日に出願された米国仮特許出願第６３／４１６，３９５号「ＳＴＲＥＡＭＩＮＧ ＡＳＳＥＴ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ ＢＡＳＥＤ ＯＮ ＡＳＳＥＴ ＣＯＭＰＬＥＸＩＴＹ」、２０２２年１１月３日に出願された米国仮特許出願第６３／４２２，１７５号「ＳＴＲＥＡＭＩＮＧ ＡＳＳＥＴ ＰＲＩＯＲＩＴＩＺＥＲ ＦＯＲ ＬＩＧＨＴＦＩＥＬＤ，ＨＯＬＯＧＲＡＰＨＩＣ，ＯＲ ＩＭＭＥＲＳＩＶＥ ＭＥＤＩＡ ＢＡＳＥＤ ＯＮ ＭＵＬＴＩＰＬＥ ＭＥＴＡＤＡＴＡ ＡＴＴＲＩＢＵＴＥＳ」、および２０２２年１１月２９日に出願された米国仮特許出願第６３／４２８，６９８号「ＰＲＩＯＲＩＴＩＺＡＴＩＯＮ ＯＦ ＭＥＤＩＡ ＡＤＡＰＴＡＴＩＯＮ ＢＹ ＡＴＴＡＣＨＥＤ ＣＬＩＥＮＴ ＴＹＰＥＳ」に対する優先権の利益を主張するものである。先の出願の開示全体は、参照によりその全体が本明細書に組み込まれる。
【0002】
本開示は、光照射野またはホログラフィック没入型ディスプレイなどのための没入型メディアの適応型ストリーミングを含む、メディアの処理および配信に概して関する実施形態を説明する。
【背景技術】
【0003】
本明細書で提供される背景技術の説明は、本開示のコンテキストを一般的に提示することを目的とする。本発明者らの研究は、この背景技術の項に記載されている限りにおいて、および出願時に先行技術として認められない可能性がある説明の態様は、本開示に対する先行技術として明示的にも暗示的にも認められない。
【0004】
没入型メディアは、一般に、時限２次元（２Ｄ）ビデオおよび「レガシーメディア」として知られている対応するオーディオのために既存の商用ネットワークを介して配信されるものを超えるなど、任意のまたはすべての人間の感覚システム（視覚、聴覚、体性感覚、嗅覚、および場合によっては味覚）を刺激して、メディアの体験に物理的に存在するユーザの知覚を作成または強化するメディアを指す。没入型メディアとレガシーメディアの両方は、時限メディアまたは非時限メディアのいずれかとして特徴付けられ得る。
【0005】
時限メディアは、時間に従って構造化され提示されるメディアを指す。例は、期間に従って編成される、映画の特集、ニュース報道、エピソードコンテンツなどを含む。従来のビデオおよびオーディオは、一般に時限メディアであると考えられている。
【0006】
非時限メディアは、時間によって構造化されず、むしろ、論理的、空間的および／または時間的関係によって構造化されたメディアである。例は、ユーザがゲームデバイスによって作成された体験を制御するビデオゲームを含む。非時限メディアの他の例は、カメラによって撮影された静止画像写真である。非時限メディアは、例えば、ビデオゲームのシーンの連続的にループされたオーディオまたはビデオセグメントに時限メディアを組み込んでもよい。逆に、時限メディアは、例えば背景として固定静止画像を有するビデオなどの非時限メディアを組み込んでもよい。
【0007】
没入型メディア対応デバイスは、没入型メディアにアクセス、解釈、および提示する能力を備えたデバイスを指すことができる。そのようなメディアおよびデバイスは、メディアの数およびフォーマット、ならびにそのようなメディアを大規模に配信するために、すなわち、ネットワークを介してレガシービデオおよびオーディオメディアと同等の配信を達成するために必要なネットワークリソースの数およびタイプに関して異種である。対照的に、ラップトップディスプレイ、テレビ、およびモバイルハンドセットディスプレイなどのレガシーデバイスは、これらのデバイスのすべてが長方形のディスプレイスクリーンで構成され、それらのプライマリメディアフォーマットとして２Ｄ長方形のビデオまたは静止画像を消費するため、それらの能力において均一である。
【発明の概要】
【課題を解決するための手段】
【0008】
本開示の態様は、メディア処理のための方法および装置を提供する。本開示のいくつかの態様によれば、メディア処理の方法は、ネットワークデバイスにより、光照射野ベースのディスプレイで再生するためのシーンベースの没入型メディアを受信するステップを含む。シーンベースの没入型メディアは複数のシーンを含む。方法は、シーンベースの没入型メディアの複数のシーンにそれぞれ優先度の値を割り当てるステップ、および優先度の値に従って複数のシーンをエンドデバイスにストリーミングするための順序を決定するステップを含む。
【0009】
いくつかの例では、方法は、優先度の値に従って複数のシーンを再度順位付けするステップ、および再度順位付けされた複数のシーンをエンドデバイスに送信するステップを含む。
【0010】
いくつかの例では、方法は、優先度認識ネットワークデバイスにより、複数のシーンの中の未送信であるシーンのサブセットから、最も高い優先度の値を有する最も高い優先度のシーンを選択するステップ、および最も高い優先度のシーンをエンドデバイスに送信するステップを含む。
【0011】
いくつかの例では、方法は、シーンをレンダリングする必要性の尤度に基づいてシーンに対する優先度の値を決定するステップを含む。
【0012】
いくつかの例では、方法は、利用可能なネットワーク帯域幅が制限されていると判定するステップ、複数のシーンの中の未送信であるシーンのサブセットから、最も高い優先度の値を有する最も高い優先度のシーンを選択するステップ、および利用可能なネットワーク帯域幅が制限されていることに応じて、最も高い優先度のシーンを送信するステップを含む。
【0013】
いくつかの例では、方法は、利用可能なネットワーク帯域幅が制限されていると判定するステップ、優先度の値に基づいて、次にレンダリングするために必要とされる可能性が低い前記複数のシーンのサブセットを特定するステップ、および利用可能なネットワーク帯域幅が制限されることに応じて、前記複数のシーンの前記サブセットをストリーミングから控えるステップを含む。
【0014】
いくつかの例では、方法は、第１のシーンと第２のシーンとの間の関係に応じて、第２のシーンの第２の優先度の値に基づいて第１のシーンに第１の優先度の値を割り当てるステップを含む。
【0015】
いくつかの例では、方法は、エンドデバイスからフィードバック信号を受信するステップ、およびフィードバック信号に基づいて、複数のシーンの中の少なくとも１つのシーンの優先度の値を調整するステップを含む。例では、方法は、現在のシーンが第１のシーンに関連している第２のシーンであることを示すフィードバック信号に応じて、第１のシーンに最高の優先度を割り当てるステップを含む。別の例では、フィードバック信号は、エンドデバイスによって決定される優先度の調整を示す。
【0016】
本開示のいくつかの態様によれば、メディア処理の方法は、光照射野ベースのディスプレイによって再生するためのシーンベースの没入型メディアのメディアプレゼンテーション記述（ＭＰＤ）を、光照射野ベースのディスプレイを有するエンドデバイスによって受信するステップを含む。シーンベースの没入型メディアは複数のシーンを含み、ＭＰＤは複数のシーンをエンドデバイスに順番にストリーミングすることを示す。方法は、帯域幅利用可能性を検出するステップ、帯域幅利用可能性に基づいて少なくとも１つのシーンの順序変更を決定するステップ、および少なくとも１つのシーンの順序変更を示すフィードバック信号を送信するステップをさらに含む。
【0017】
いくつかの例では、フィードバック信号は、レンダリングする次のシーンを示す。いくつかの例では、フィードバック信号は、少なくとも１つのシーンの優先度の値の調整を示す。いくつかの例では、フィードバック信号は現在のシーンを示す。
【0018】
本開示のいくつかの態様によれば、メディア処理の方法は、ネットワークデバイスにより、光照射野ベースのディスプレイで再生するためのシーンベースの没入型メディアを受信するステップを含む。シーンベースの没入型メディアのシーンは、第１の順序の複数のアセットを含む。方法は、複数のアセットをエンドデバイスにストリーミングするための第２の順序を決定するステップを含み、第２の順序は第１の順序とは異なる。
【0019】
いくつかの例では、方法は、複数のアセットの１つまたは複数の属性に従ってシーンの複数のアセットにそれぞれ優先度の値を割り当てるステップ、および優先度の値に従って複数のアセットをストリーミングするための第２の順序を決定するステップを含む。
【0020】
いくつかの例では、方法は、アセットのサイズに従ってシーンのアセットに優先度の値を割り当てるステップを含む。
【0021】
いくつかの例では、方法は、シーンのデフォルトのエントリ位置に関連付けられたアセットの可視性に従ってシーンのアセットに優先度の値を割り当てるステップを含む。
【0022】
いくつかの例では、方法は、複数のアセットの第１の属性に基づいて複数のアセットに第１の優先度の値のセットを割り当てるステップを含む。第１の優先度の値のセットは、第１の優先順位付け方式で複数のアセットを順序付けるために使用される。方法は、複数のアセットの第２の属性に基づいて複数のアセットに第２の優先度の値セットを割り当てるステップをさらに含む。第２の優先度の値のセットは、第２の優先順位付け方式で複数のアセットを順序付けるために使用される。方法は、エンドデバイスの情報に従って第１の優先順位付け方式および第２の優先順位付け方式からエンドデバイスの優先順位付け方式を選択するステップ、および選択された優先順位付け方式に従って、ストリーミングのために複数のアセットを順序付けるステップをさらに含む。
【0023】
いくつかの例では、方法は、第１のアセットが第２のアセットよりも計算の複雑度が高いことに応じて、第１のアセットに第１の優先度の値を割り当て、第２のアセットに第２の優先度の値を割り当てるステップを含み、第１の優先度の値は第２の優先度の値よりも高い。
【0024】
本開示のいくつかの態様によれば、メディア処理の方法は、シーンベースの没入型メディアのシーンを視認するためのカメラに関連付けられたビューポートの位置およびサイズを決定するステップを含む。シーンは、複数のアセットを含む。方法は、各アセットについて、ビューポートの位置とサイズ、およびアセットのジオメトリに基づいて、アセットがビューポートと少なくとも部分的に交差するかどうかを判定するステップ、およびアセットがビューポートと少なくとも部分的に交差することに応じて、アセットの識別子を視認可能なアセットのリストに記憶するステップ、および視認可能なアセットのリストをシーンに関連付けられたメタデータに含めるステップをさらに含む。
【0025】
本開示のいくつかの態様によれば、メディア処理の方法は、クライアントデバイスにメディアを配信するためにクライアントデバイスの１つまたは複数のメディア要件にメディアを適応させるためにネットワークに接続されたクライアントデバイスのプロファイル情報（各タイプのタイプおよび数）を受信するステップ、およびクライアントデバイスのプロファイル情報に従ってクライアントデバイスの第１のサブセットに配信するための第１のメディア要件にメディアを適応させる第１の適応に優先順位付けするステップを含む。
【0026】
本開示の態様はまた、コンピュータによって実行されると、コンピュータにメディア処理のための方法を実行させる命令を記憶する非一時的コンピュータ可読媒体を提供する。
【0027】
以下の詳細な説明と添付の図面とから、開示されている保護対象のさらなる特徴、性質および様々な効果がより明白になる。
【図面の簡単な説明】
【0028】
【図1】いくつかの例におけるメディアフロープロセスを示す。
【図2】いくつかの例におけるメディア変換意思決定プロセスを示す。
【図3】例における、時限型の異種没入型メディアのためのフォーマットの表現を示す。
【図4】例における、非時限型の異種没入型メディアのためのストリーミング可能フォーマットの表現を示す。
【図5】いくつかの例における、自然のコンテンツからインジェストフォーマットへとメディアを合成するためのプロセスの図を示す。
【図6】いくつかの例における、合成メディア用のインジェストフォーマットを作成するプロセスの図を示す。
【図7】実施形態による、コンピュータシステムの概略図である。
【図8】いくつかの例における、クライアントエンドポイントとして様々なレガシーおよび異種没入型メディア対応ディスプレイをサポートするネットワークメディア配信システムを示す。
【図9】いくつかの例における、レガシーおよび異種の没入型メディア対応ディスプレイにサービスを提供することができる没入型メディア配信モジュールの図を示す。
【図10】いくつかの例におけるメディア適応プロセスの図を示す。
【図11】いくつかの例における、配信フォーマット作成プロセスを示す。
【図12】いくつかの例における、パケット化器プロセスシステムを示す。
【図13】いくつかの例における、インジェストフォーマットの特定の没入型メディアを特定の没入型メディアクライアントエンドポイントのためのストリーミング可能で適切な配信フォーマットに適応させるネットワークのシーケンスの図を示す。
【図14】いくつかの例におけるシーンベースのメディア処理のための仮想ネットワークおよびクライアントデバイスを有するメディアシステムの図を示す。
【図15】いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。
【図16】いくつかの例におけるシーンマニフェスト内のシーンに複雑度の値および優先度の値を追加するための図を示す。
【図17】いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。
【図18】いくつかの例における、シーンの優先度を説明するための仮想美術館の図を示す。
【図19】いくつかの例における、シーンベースの没入型メディアのシーンの図を示す。
【図20】いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。
【図21】本開示の実施形態による、プロセスを概説するフローチャートを示す。
【図22】本開示の実施形態による、プロセスを概説するフローチャートを示す。
【図23】例における、シーンのアセットへのマッピングを伴うシーンマニフェストの図を示す。
【図24】いくつかの例における、シーンのストリーミングアセットの図を示す。
【図25】いくつかの例における、シーンのアセットを再度順位付けするための図を示す。
【図26】いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。
【図27】いくつかの例における、シーンの図を示す。
【図28】いくつかの例における、シーンのアセットを再度順位付けするための図を示す。
【図29】いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。
【図30】いくつかの例における、シーンの図を示す。
【図31】いくつかの例における、シーンのアセットに優先度の値を割り当てるための図を示す。
【図32】いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。
【図33】いくつかの例における、シーンの図を示す。
【図34】いくつかの例における、シーンのアセットを再度順位付けするための図を示す。
【図35】いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。
【図36】いくつかの例における表示されたシーンの図を示す。
【図37】例における、シーンベースの没入型メディアのシーン３７０１の図を示す。
【図38】いくつかの例における、シーンのアセットを優先順位付けするための図を示す。
【図39】いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。
【図40】例における、アセットのメタデータ属性を示す図を示す。
【図41】いくつかの例における、シーンのアセットを優先順位付けするための図を示す。
【図42】本開示の実施形態による、プロセスを概説するフローチャートを示す。
【図43】本開示の実施形態による、プロセスを概説するフローチャートを示す。
【図44】いくつかの例におけるデフォルトカメラ視点のアセットのシグナリングを有する時限メディア表現の図を示す。
【図45】いくつかの例におけるデフォルトのビューポートでのアセットのシグナリングを伴う非時限メディア表現の図を示す。
【図46】シーンアナライザがデフォルトのビューポートに従ってシーンのアセットを分析するためのプロセスフローを示す。
【図47】本開示の実施形態による、プロセスを概説するフローチャートを示す。
【図48】いくつかの例における、没入型メディア配信モジュールの図を示す。
【図49】いくつかの例における、メディア適応プロセスの図を示す。
【図50】本開示の実施形態によるプロセス５０００の概要を示すフローチャートを示す。
【発明を実施するための形態】
【0029】
本開示の態様は、ビデオ、オーディオ、幾何学的（３Ｄ）オブジェクト、触覚、関連するメタデータ、またはクライアントデバイスのための他のコンテンツを含む、メディアを配信するアーキテクチャ、構造、コンポーネント、技法、システムおよび／またはネットワークを提供する。いくつかの例では、アーキテクチャ、構造、コンポーネント、技法、システムおよび／またはネットワークは、異種没入型および対話型クライアントデバイス、例えばゲームエンジンにメディアコンテンツを配信するように構成される。いくつかの例では、クライアントデバイスは、光照射野またはホログラフィック没入型ディスプレイを含むことができる。本開示のいくつかの実施形態では、光照射野またはホログラフィック没入型ディスプレイ用の没入型メディアが例として使用されているが、開示された技術は、任意の適切な没入型メディアで使用することができることに留意されたい。
【0030】
没入型メディアは、デジタルシミュレーションを介して物理世界を作成または模倣しようとする没入型技術によって定義され、それによって人間の感覚システムのいずれかまたはすべてをシミュレートして、シーンの中に物理的に存在するユーザの知覚を作成する。
【0031】
現在開発および使用されている没入型メディア技術には、仮想現実（ＶＲ）、拡張現実（ＡＲ）、混合現実（ＭＲ）、光照射野／ホログラフィックなどのいくつかの様々なタイプがある。ＶＲとは、ヘッドセットを使用してユーザをコンピュータ生成世界に置くことによってユーザの物理環境を置き換えるデジタル環境を指す。一方、ＡＲは、クリアビジョンまたはスマートフォンのいずれかを使用することによって、デジタルメディアを取得し、ユーザの周りの現実世界に重ねる。ＭＲとは、現実世界とデジタル世界とを混合し、それによって技術と物理世界とが共存できる環境を作り出すことを指す。
【0032】
ホログラフィックおよび／または光照射野技術は、いかなるヘッドセットも使用する必要なく、正確な深度感および三次元性を有する仮想環境を作成し、したがって、酔いのような副作用を回避することができる。光照射野および／またはホログラフィック技術は、いくつかの例における、各点および方向から来る光線を有する３Ｄ空間の光線を使用し得る。光照射野および／またはホログラフィック技術は、見えているすべてのものが、任意の光源から来る光によって照らされ、空間を通って移動し、光が部分的に吸収され、かつ人間の目に到達する前に別の表面に部分的に反射される物体の表面に当たるという概念に基づいている。いくつかの例では、光照射野およびホログラフィック技術は、ユーザに双眼度および連続運動視差などの３Ｄ効果を提供する光照射野を再現することができる。例えば、光照射野ディスプレイは、ホログラフィックスクリーンに光線を投影して、異なるが一貫した情報をわずかに異なる方向に示すことによって光照射野の近似を再現する投影モジュールの大規模なアレイを含み得る。別の例では、光照射野ディスプレイは、プレノプティック機能に従って光線を放射することができ、光線は、光照射野ディスプレイの前で収束して、現実の３Ｄの現実的な画像を作成する。本開示において、光照射野ベースのディスプレイとは、光照射野ディスプレイ、ホログラフィックディスプレイなど、３Ｄ空間で光線を使用するディスプレイを指す。
【0033】
いくつかの例では、光線は、５次元プレノプティック関数によって定義されてもよく、各光線は、３Ｄ空間内の３つの座標（３次元）および３Ｄ空間内の方向を特定するための２つの角度によって定義され得る。
【0034】
一般に、３６０度のビデオのコンテンツをキャプチャするには、３６０度のカメラが必要である。しかしながら、光照射野またはホログラフィックベースのディスプレイのコンテンツをキャプチャするために、いくつかの例では、マルチ深度カメラ、またはカメラのアレイを含む高額な設定が、レンダリングされるシーンの視野（ＦｏＶ）に応じて必要とされる場合がある。
【0035】
例では、従来のカメラは、所与のポジションでカメラレンズに到達する光線の２Ｄ表現をキャプチャすることができる。画像センサは、各ピクセルに到達するすべての光線の輝度および色の合計を記録する。
【0036】
いくつかの例では、光照射野ベースのディスプレイのコンテンツをキャプチャするために、光照射野カメラ（プレノプティックカメラとしても知られる）が使用され、光照射野カメラは、輝度および色だけでなく、カメラセンサに到達するすべての光線の方向もキャプチャすることができる。光照射野カメラによってキャプチャされた情報を使用して、各光線の原点の正確な表現を用いてデジタルシーンを再構成することができ、３Ｄで正確にキャプチャされたシーンをデジタル的に再構成することが可能になる。
【0037】
このような体積測定的シーンをキャプチャするために、２つの技術が開発されている。第１の手法は、カメラやカメラモジュールのアレイを使用して、各方向からの異なる光線／視野をキャプチャする。第２の技術は、異なる方向からの光線もキャプチャすることができるプレノプティックカメラ（またはプレノプティックカメラのアレイ）を使用する。
【0038】
いくつかの例では、体積測定的シーンはまた、コンピュータ生成画像（ＣＧＩ）技術を使用して合成され、次いで、カメラによってキャプチャされた体積測定的シーンをレンダリングするために使用されるのと同じ技術を使用してレンダリングされ得る。
【0039】
プレノプティックカメラによってキャプチャされるか、またはＣＧＩによって合成されるかにかかわらず、光照射野ベースのディスプレイ用のマルチメディアコンテンツがキャプチャされ、メディアサーバ（メディアサーバデバイスとも呼ばれる）に記憶される。最終的に、コンテンツは、ビジュアルシーンの各オブジェクトのジオメトリに関する明示的な情報、ならびに表面特性を記述するためのメタデータ（例えば、平滑性、粗さ、光を反射、屈折、または吸収する能力）を含む幾何学的表現に変換される。視覚的シーン内の各オブジェクトは、シーンの「アセット」と呼ばれる。このデータクライアントデバイスに伝送するためには、データが圧縮された後でさえ、大量の帯域幅が必要である。したがって、帯域幅が制限されている状況では、クライアントデバイスはバッファリングまたは中断を経験する可能性があり、その経験は不快なものとなる。
【0040】
いくつかの例では、ＣＤＮおよびエッジネットワーク要素の使用は、クライアントデバイスのシーンの要求とクライアントデバイスへのシーン（シーンの各視覚的オブジェクトを含み、その集合はシーンの「アセット」と呼ばれる）の配信との間の遅延を低減することができる。さらに、単純にデコードされ、ユーザに提示される一連の直線フレームバッファに配置されるビデオとは対照的に、没入型メディアシーンは、計算集約的であり、シーンを完全に構築するためにかなりのリソースを必要とする可能性があるリアルタイムレンダラ（Ｕｎｉｔｙ ＴｅｃｈｎｏｌｏｇｉｅｓのＵｎｉｔｙ ＥｎｇｉｎｅやＥｐｉｃ ＧａｍｅのＵｎｒｅａｌ Ｅｎｇｉｎｅなどのゲームエンジンを搭載したレンダラと同様）によってレンダリングされる必要があるオブジェクトおよびリッチメタデータで構成される。そのようなシーンベースのメディアの場合、クラウド／エッジネットワーク要素の使用を使用して、クライアントデバイスによるレンダリングの計算負荷を、ネットワークの１つまたは複数のサーバデバイスなどのより強力な計算エンジンにオフロードすることができる。
【0041】
光照射野ベースのホログラフィックディスプレイのためのマルチメディアコンテンツは、キャプチャされてメディアサーバに記憶される。マルチメディアコンテンツは、現実世界または合成コンテンツであり得る。マルチメディアコンテンツのデータをクライアントのエンドデバイス（クライアントデバイスまたはエンドデバイスとも呼ばれる）に伝送するためには、データが圧縮された後でさえ、大量の帯域幅が必要である。したがって、帯域幅が制限されている状況では、クライアントデバイスはバッファリングまたは中断を経験する可能性があり、その経験は不快なものとなり得る。
【0042】
没入型メディアは、一般に、任意のまたはすべての人間の感覚システム（視覚、聴覚、体性感覚、嗅覚、および場合によっては味覚）を刺激して、メディアの体験に物理的に存在するユーザの知覚を作成または強化する、すなわち、時限２次元（２Ｄ）ビデオおよび「レガシーメディア」として知られている対応するオーディオのために既存の商用ネットワークを介して配信されるものを超えるメディアを指す。いくつかの例では、没入型メディアは、動力学および物理法則のデジタルシミュレーションを介して物理世界を作成または模倣しようとするメディアを指し、それにより、現実世界または仮想世界を描写するシーン内に物理的に存在するというユーザによる知覚を作成するように、任意またはすべての人間の感覚システムを刺激する。没入型メディアとレガシーメディアの両方は、時限メディアまたは非時限メディアのいずれかとして特徴付けられ得る。
【0043】
時限メディアは、時間に従って構造化され提示されるメディアを指す。例としては、映画の特集、ニュース報道、エピソードコンテンツが挙げられ、これらはすべて、期間に従って編成される。従来のビデオおよびオーディオは、一般に時限メディアであると考えられている。
【0044】
非時限メディアは、時間によって構造化されず、むしろ、論理的、空間的および／または時間的関係によって構造化されたメディアである。例は、ユーザがゲームデバイスによって作成された体験を制御するビデオゲームを含む。非時限メディアの他の例は、カメラによって撮影された静止画像写真である。非時限メディアは、例えば、ビデオゲームのシーンの連続的にループされたオーディオまたはビデオセグメントに時限メディアを組み込んでもよい。逆に、時限メディアは、例えば背景として固定静止画像を有するビデオなどの非時限メディアを組み込んでもよい。
【0045】
没入型メディア対応デバイスは、没入型メディアにアクセスし、解釈し、提示するのに十分なリソースおよび能力を備えたデバイスを指すことができる。そのようなメディアおよびデバイスは、メディアの数およびフォーマット、ならびにそのようなメディアを大規模に配信するために、すなわち、ネットワークを介してレガシービデオおよびオーディオメディアと同等の配信を達成するために必要なネットワークリソースの数およびタイプに関して異種である。同様に、メディアは、このようなメディアを大規模に配信するのに必要なネットワークリソースの量および種類の点で異質である。「大規模に」とは、ネットワークを介したレガシーのビデオおよびオーディオメディアの配信と同等の配信を達成するサービスプロバイダによるメディアの配信、例えば、Ｎｅｔｆｌｉｘ、Ｈｕｌｕ、Ｃｏｍｃａｓｔのサブスクリプション、およびＳｐｅｃｔｒｕｍのサブスクリプションを指すことがある。
【0046】
概して、ラップトップディスプレイ、テレビ、およびモバイルハンドセットディスプレイなどのレガシーデバイスは、これらのデバイスのすべてが長方形のディスプレイスクリーンで構成され、それらのプライマリメディアフォーマットとして２Ｄ長方形のビデオまたは静止画像を消費するため、それらの能力において均一である。同様に、レガシーデバイスでサポートされるオーディオフォーマットの数は、比較的少ないセットに制限される。
【0047】
「フレームベース」メディアという用語は、視覚メディアが画像の１つまたは複数の連続した矩形フレームで構成されるという特性を指す。対照的に、「シーンベース」メディアは、各シーンがシーンの視覚的特性を集合的に記述する個々のアセットを指す「シーン」によって編成された視覚的メディアを指す。
【0048】
フレームベースの視覚メディアとシーンベースの視覚メディアとの比較例は、森を示す視覚メディアを使用して記述することができる。フレームベースの表現では、森林は、カメラ付きの携帯電話などのカメラデバイスを使用してキャプチャされる。ユーザは、カメラデバイスが森林に焦点を合わせることを可能にすることができ、カメラデバイスによってキャプチャされるフレームベースのメディアは、ユーザによって開始されるカメラデバイスの任意の動きを含む、カメラデバイスに提供されるカメラビューポートを通してユーザが見るものと同じである。結果として得られる森林のフレームベースの表現は、通常３０フレーム／秒または６０フレーム／秒の標準レートでカメラデバイスによって記録される一連の２Ｄ画像である。各画像は、各ピクセルに記憶された情報が次のピクセルと一致するピクセルの集合である。
【0049】
対照的に、森林のシーンベースの表現は、森林の各オブジェクトを記述する個々のアセットと、アセットまたはアセットがどのようにレンダリングされるかを記述する無数のメタデータを提示する人間可読シーングラフ記述とから構成される。例えば、シーンベースの表現は、「木」と呼ばれる個々のオブジェクトを含むことができ、各木は、「幹」、「枝」、および「葉」と呼ばれるより小さなアセットの集合で構成される。各々の木の幹は、メッシュ（木の幹メッシュ）によって個別にさらに記述することができ、それは木の幹の完全な３Ｄジオメトリと、木の幹の色および放射特性をキャプチャするために木の幹メッシュに適用されるテクスチャとを記述する。さらに、木の幹は、その滑らかさもしくは粗さまたは光を反射する能力に関して木の幹の表面を記述する追加の情報を伴うことができる。対応する人間可読シーングラフ記述は、森林のシーンにフォーカスされた仮想カメラのビューポートに対して木の幹を配置する場所に関する情報を提供することができる。さらに、人間可読記述は、生成する分岐の数、および「分岐」と呼ばれる単一の分岐アセットからシーンのどこにそれらを配置するかに関する情報を含むことができる。同様に、説明は、いくつの葉を生成するか、および枝および木の幹に対する葉の位置を含むことができる。さらに、変換行列は、葉が均一に見えないように葉をどのようにスケーリングまたは回転させるかに関する情報を提供することができる。全体として、シーンを構成する個々のアセットは、各アセットに記憶される情報のタイプと量が異なる。各アセットは通常、それ自体のファイルに記憶されるが、多くの場合、アセットは、作成するように設計されたオブジェクトの複数のインスタンス、例えばツリーごとのブランチおよびリーフを作成するために使用される。
【0050】
いくつかの例では、シーングラフの人間可読部分は、シーンの中のそれらのポジションに対するアセットの関係を記述するだけでなく、例えば様々なタイプの光源を用いて、または表面特性（オブジェクトが金属対つや消し表面を有することを示すために）または他の材料（多孔質または滑らかなテクスチャ）を用いてオブジェクトをレンダリングする方法に関する命令も記述するためにメタデータに富む。グラフの人間可読部分に記憶されることが多い他の情報は、例えば、単一のエンティティ、例えば、枝と葉を有する木の幹としてレンダリングまたは処理されるアセットのグループを形成するための、アセットと他のアセットとの関係である。
【0051】
人間可読コンポーネントを有するシーングラフの例は、オブジェクトを記述するための人間可読表記法であるＪａｖｅ Ｓｃｒｉｐｔ Ｏｂｅｊｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）においてノードツリーコンポーネントが提供されるｇｌＴＦ ２．０を含む。人間可読コンポーネントを有するシーングラフの別の例は、ＯＣＳファイルが別の人間可読表記形式であるＸＭＬを使用して生成されるＩｍｍｅｒｓｉｖｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｍｅｄｉａ Ｆｏｒｍａｔである。
【0052】
シーンベースのメディアとフレームベースのメディアとの間のさらに別の違いは、フレームベースのメディアでは、シーンに対して作成されるビューは、ユーザがカメラを介してキャプチャした、すなわちメディアが作成されたときのビューと同一であることである。フレームベースのメディアがクライアントによって提示されるとき、提示されるメディアのビューは、例えばビデオを記録するために使用されたカメラによってメディアにキャプチャされたビューと同じである。しかしながら、シーンベースのメディアでは、ユーザが様々な仮想カメラ、例えば、シンレンズカメラ対パノラマカメラを使用してシーンを見るための複数の方法があり得る。いくつかの例では、視認者が見ることができるシーンの視覚情報は、視認者の視野角および位置に応じて変化し得る。
【0053】
シーンベースのメディアをサポートするクライアントデバイスは、様々なシーンベースのメディアフォーマットを取り込むクライアントデバイスの全能力を特徴付けるために、その能力およびサポートされる機能が集合的に上限（ｕｐｐｅｒ ｂｏｕｎｄまたはｕｐｐｅｒ ｌｉｍｉｔ）を含むレンダラおよびまたはリソース（例えば、ＧＰＵ、ＣＰＵ、ローカルメディアキャッシュストレージ）を装備することができる。例えば、モバイルハンドセットクライアントデバイスは、特にリアルタイムアプリケーションのサポートのために、モバイルハンドセットクライアントデバイスがレンダリングすることができる幾何学的アセットの複雑度、例えば幾何学的アセットを記述するポリゴンの数が制限され得る。このような制限は、モバイルクライアントがバッテリによって電力を供給されるという事実に基づいて確立することができ、したがって、リアルタイムレンダリングを実行するために利用可能な計算リソースの量も同様に制限される。そのようなシナリオでは、クライアントデバイスは、クライアントが指定された上限以下のポリゴンカウントで幾何学的アセットにアクセスすることをクライアントデバイスが好むことをネットワークに通知することが望ましい場合がある。さらに、クライアントからネットワークに伝達される情報は、明確に定義された属性の語彙集を活用する明確に定義されたプロトコルを使用して最良に伝達され得る。
【0054】
同様に、メディア配信ネットワークは、様々な機能を有する様々なクライアントへの様々なフォーマットでの没入型メディアの配信を容易にする計算リソースを有することができる。そのようなネットワークでは、ネットワークが、明確に定義されたプロファイルプロトコル、例えば、明確に定義されたプロトコルを介して通信される属性の語彙集に従ってクライアント固有の能力を知らされることが望ましい場合がある。そのような属性の語彙集は、ネットワークがその異種クライアントにメディアをどのようにサービスするかについての優先順位をより良好に確立することができるように、リアルタイムでメディアをレンダリングするために必要なメディアまたは最小計算リソースを記述するための情報を含むことができる。さらに、クライアントが提供するプロファイル情報がクライアントのドメインにわたって収集される集中データストアは、どのタイプのアセットで、どのフォーマットで需要が高いかの要約を提供するのに役立つ。どのタイプのアセットがより高い需要とより低い需要とにあるかに関する情報を所与のものとすることにより、最適化されたネットワークは、より高い需要にあるアセットの要求に応答するタスクを優先順位付けすることができる。
【0055】
いくつかの例では、ネットワークを介したメディアの配信は、入力またはネットワーク「取り込み」メディアフォーマットから配信メディアフォーマットにメディアを再フォーマットするメディア配信システムおよびアーキテクチャを採用することができる。例では、配信メディアフォーマットは、ターゲットクライアントデバイスおよびそのアプリケーションによって取り込まれるのに適しているだけでなく、ネットワークを介して「ストリーミング」されるのにも役立つ。いくつかの例では、ネットワークによるメディアの取り込みのとたんに実行される２つのプロセス、すなわち、１）メディアをフォーマットＡから、ターゲットクライアントデバイスによって取り込まれるのに適したフォーマットＢに変換するプロセス、すなわち、特定のメディアフォーマットを取り込むクライアントデバイスの能力に基づいて変換するプロセス、および２）ストリーミングされるメディアを準備するプロセスが存在し得る。
【0056】
いくつかの例では、メディアの「ストリーミング」とは、広義には、メディアを断片化および／またはパケット化することを指し、処理されたメディアが、メディアの時間的または空間的構造のいずれかまたは両方に従って、論理的に編成およびシーケンス化された連続した小さいサイズの「チャンク」でネットワークを介して配信することができるようにする。いくつかの例では、「トランスコーディング」と呼ばれることもある、フォーマットＡからフォーマットＢへのメディアの「変換」は、ターゲットクライアントデバイスにメディアを配信する前に、通常はネットワークまたはサービスプロバイダによって実行されるプロセスであってもよい。このようなトランスコーディングは、フォーマットＢが、ともかくもターゲットクライアントデバイスによって取り込まれ得る好ましいフォーマットもしくは唯一のフォーマットである、または商用ネットワークなどの制約されたリソースを介した配信により適しているという事前の知識に基づいて、フォーマットＡからフォーマットＢにメディアを変換することで構成されていてもよい。メディアの変換の一例は、シーンベースの表現からフレームベースの表現へのメディアの変換である。いくつかの例では、メディアを変換するステップと、ストリーミングされるメディアを準備するステップの両方が、メディアがネットワークからターゲットクライアントデバイスによって受信および処理され得る前に必要である。クライアントが好むフォーマットに関するそのような事前の知識は、様々なクライアントデバイスにわたって好まれるシーンベースのメディアの特性を要約する合意された属性の語彙集を利用するプロファイルプロトコルの使用を介して取得することができる。
【0057】
いくつかの例では、ネットワークによって、すなわちメディアをターゲットクライアントデバイスに配信する前に、取り込まれたメディアに作用する上記の１つまたは２つのステップのプロセスにより、「配信メディアフォーマット」または単に「配信フォーマット」と呼ばれるメディアのフォーマットが得られる。概して、これらのステップは、所与のメディアデータオブジェクトに対していやしくも実行される場合、ターゲットクライアントデバイスがそのようなメディアの変換およびストリーミングを複数回トリガする複数の機会のために変換およびまたはストリーミングされたメディアオブジェクトを必要とすることを示す情報に、ネットワークがアクセスできる場合、１回だけ実行され得る。すなわち、メディアの変換およびストリーミングのためのデータの処理および転送は、一般に、潜在的にかなりの量のネットワークおよび／または計算リソースの消費を必要とするレイテンシの発生源とみなされる。したがって、クライアントデバイスが特定のメディアデータオブジェクトを既にキャッシュに記憶しているか、またはクライアントデバイスに対してローカルに記憶している可能性があることを示す情報にアクセスできないネットワーク設計は、このような情報にアクセスできるネットワークに比べて最適に機能しない。
【0058】
いくつかの例では、レガシープレゼンテーションデバイスの場合、配信フォーマットは、プレゼンテーションを作成するためにクライアントデバイス（例えば、クライアントプレゼンテーションデバイス）によって最終的に使用される「プレゼンテーションフォーマット」と同等または十分に同等であり得る。例えば、プレゼンテーションメディアフォーマットは、そのプロパティ（解像度、フレームレート、ビット深度、色域など、…）がクライアントプレゼンテーションデバイスの能力に密接に調整されたメディアフォーマットである。配信フォーマット対プレゼンテーションフォーマットの一部の例は、ネットワークによって解像度（３８４０ピクセル列×２１６０ピクセル行）の超高解像度（ＵＨＤ）クライアントデバイスに配信される高解像度（ＨＤ）ビデオ信号（１９２０ピクセル列×１０８０ピクセル行）を含む。例えば、ＵＨＤクライアントデバイスは、「超解像」と呼ばれる処理をＨＤ配信フォーマットに施して、ビデオ信号の解像度をＨＤからＵＨＤに向上させ得る。したがって、ＵＨＤクライアントデバイスによって提示される最終的な信号フォーマットは、この例ではＵＨＤ信号である「プレゼンテーションフォーマット」であるが、ＨＤ信号は配信フォーマットを含む。本例では、ＨＤ信号配信フォーマットは、両方の信号が直線ビデオフォーマットであることから、ＵＨＤ信号プレゼンテーションフォーマットに非常に類似しており、ＨＤフォーマットをＵＨＤフォーマットに変換するプロセスは、比較的簡単であり、ほとんどのレガシークライアントデバイス上で実行するのが容易なプロセスである。
【0059】
いくつかの例では、ターゲットクライアントデバイスにとっての好ましいプレゼンテーションフォーマットは、ネットワークによって受信されたインジェストフォーマットとは大きく異なる場合がある。それにもかかわらず、ターゲットクライアントデバイスは、メディアをインジェストフォーマットからターゲットクライアントデバイスによるプレゼンテーションに適した必要なプレゼンテーションフォーマットに変換するのに十分な計算、ストレージ、および帯域幅リソースにアクセスし得る。このシナリオでは、ネットワークは、取り込まれたメディアを再フォーマットするステップ、例えばメディアをフォーマットＡからフォーマットＢに「トランスコーディング」するステップをバイパスすることができ、これは単に、クライアントデバイスが、ネットワークがそうする必要なしにすべてのメディア変換を実行するのに十分なリソースにアクセスすることができるからである。しかしながら、ネットワークは、依然として、メディアをターゲットクライアントデバイスにストリーミングできるように、インジェストメディアを断片化およびパッケージ化するステップを行う場合がある。
【0060】
いくつかの例では、ネットワークによって受信された取り込まれたメディアが、ターゲットクライアントデバイスの好みのプレゼンテーションフォーマットと大きく異なり、ターゲットクライアントデバイスが、メディアを好みのプレゼンテーションフォーマットに変換するのに十分な計算リソース、ストレージリソース、および／または帯域幅リソースにアクセスできないことである。そのようなシナリオでは、ネットワークは、インジェストフォーマットから、ターゲットクライアントデバイスに代わってターゲットクライアントデバイスの好ましいプレゼンテーションフォーマットと同等またはほぼ同等のフォーマットへの変換の一部または全部を実行することによってターゲットクライアントデバイスを支援し得る。いくつかのアーキテクチャ設計では、ターゲットクライアントデバイスに代わってネットワークによって提供されるそのような支援は、「分割レンダリング」またはメディアの「適応」と呼ばれる。
【0061】
図１は、いくつかの例におけるメディアフロープロセス１００（プロセス１００とも称される）を示す。メディアフロープロセス１００は、ネットワーククラウド（またはエッジデバイス）１０４で実行することができる第１のステップと、クライアントデバイス１０８で実行することができる第２のステップとを含む。いくつかの例では、インジェストメディアフォーマットＡのメディアは、ステップ１０１でコンテンツプロバイダからネットワークによって受信される。ネットワークプロセスステップであるステップ１０２は、メディアをフォーマットＢにフォーマットすることによって、およびまたはクライアントデバイス１０８にストリーミングされるメディアを準備することによって、クライアントデバイス１０８に配信するためにメディアを準備することができる。ステップ１０３において、メディアは、例えばＴＣＰまたはＵＤＰなどのネットワークプロトコルを使用して、ネットワーク接続を介してネットワーククラウド１０４からクライアントデバイス１０８にストリーミングされる。いくつかの例では、メディア１０５として描かれたそのようなストリーミング可能メディアは、メディアストア１１０にストリーミングされ得る。クライアントデバイス１０８は、フェッチ機構１１１（例えば、ＩＳＯ／ＩＥＣ ２３００９ Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）を介してメディアストア１１０にアクセスする。クライアントデバイス１０８は、ネットワークから配信メディアを受信またはフェッチし、１０６によって示されるようにレンダリングプロセスを介してプレゼンテーションのためにメディアを準備することができる。レンダリングプロセス１０６の出力は、１０７によって示されるように、さらに別の潜在的に異なるフォーマットＣのプレゼンテーションメディアである。
【0062】
図２は、例えばネットワーク内の１つまたは複数のデバイスによって、ネットワーク（ネットワーククラウドとも呼ばれる）内の取り込まれたメディアを処理するためのネットワーク論理フローを示すメディア変換意思決定プロセス２００（プロセス２００とも呼ばれる）を示す。２０１において、メディアは、コンテンツプロバイダからネットワーククラウドによって取り込まれる。まだ知られていない場合、２０２において、ターゲットクライアントデバイスの属性が取得される。意思決定ステップ２０３は、必要に応じて、ネットワークがメディアの変換を支援すべきかどうかを決定する。取り込まれたメディアは、意思決定ステップ２０３がネットワークが変換を支援すべきであると判定した場合に、メディアをフォーマットＡからフォーマットＢに変換して、変換されたメディア２０５を生成するプロセスステップ２０４によって変換されることにより変換される。２０６において、変換されたまたはその元の形態のいずれかのメディアは、ストリーミングされるように準備される。２０７において、準備されたメディアは、ゲームエンジンターゲットクライアントデバイスなどのターゲットクライアントデバイス、または図１のメディアストア１１０に適切にストリーミングされる。
【0063】
図２の論理に対する重要な態様は、自動化プロセスによって実行され得る意思決定プロセス２０３である。意思決定ステップは、メディアがその元の取り込まれたフォーマットＡでストリーミングされ得るかどうか、またはターゲットクライアントデバイスによるメディアのプレゼンテーションを容易にするためにメディアが異なるフォーマットＢに変換されなければならないかどうかを判定できる。
【0064】
いくつかの例では、意思決定プロセスステップ２０３は、最適な選択を行うため、すなわち、メディアをターゲットクライアントデバイスにストリーミングする前にインジェストメディアの変換が必要であるかどうか、またはメディアをターゲットクライアントデバイスに直接その元のインジェストフォーマットＡでストリーミングし得るかどうかを判定するために、意思決定プロセスステップ２０３を支援するように、インジェストメディアの態様または特徴を記述する情報へのアクセスを必要とする場合がある。
【0065】
本開示の態様によれば、シーンベースの没入型メディアのストリーミングは、ストリーミングフレームベースのメディアとは異なり得る。例えば、フレームベースのメディアのストリーミングは、ビデオのフレームのストリーミングと同等となり得、各フレームは、シーン全体の完全なピクチャまたはクライアントデバイスによってプレゼンテーションされるオブジェクト全体の完全なピクチャをキャプチャする。フレームのシーケンスは、それらの圧縮形式からクライアントデバイスによって再構成され、視認者にプレゼンテーションされると、没入型プレゼンテーション全体またはプレゼンテーションの一部を含むビデオシーケンスを作成する。フレームベースメディアのストリーミングの場合、フレームがネットワークからクライアントデバイスにストリーミングされる順序は、所定の仕様（汎用オーディオビジュアルサービスのためのＩＴＵ－Ｔ勧告Ｈ．２６４アドバンストビデオコーディングなど）と一致し得る。
【0066】
しかしながら、シーンは、それ自体が互いに独立していてもよい個々のアセットから構成され得るので、メディアのシーンベースのストリーミングは、フレームベースのストリーミングとは異なる。所与のシーンベースのアセットは、特定のシーン内で、または一連のシーンにわたって複数回使用することができる。クライアントデバイス、または任意の所与のレンダラが、特定のアセットの正しいプレゼンテーションを作成するのに必要な時間の長さは、アセットのサイズ、レンダリングを実行する計算リソースの利用可能性、およびアセットの全体的な複雑度を記述する他の属性を含むがこれらに限定されない多くの要因に依存し得る。シーンベースのストリーミングをサポートするクライアントデバイスは、シーン内の各アセットのレンダリングの一部または全部が、シーンのプレゼンテーションのいずれかが開始できる前に完了することを必要とする場合がある。したがって、アセットがネットワークからクライアントデバイスにストリーミングされる順序は、全体的な能力に影響を及ぼす可能性がある。
【0067】
本開示の態様によると、フォーマットＡから別のフォーマットへのメディアの変換が、完全にネットワークによって、完全にクライアントデバイスによって、または例えば分割レンダリングのためにネットワークとクライアントの両者の間で、共同で行われ得る上記の各シナリオを考えると、クライアントデバイスとネットワークの両方が、変換作業を特徴付けるための完全な情報を有するように、メディアフォーマットを記述する属性の語彙集が必要とされる場合がある。さらに、例えば、利用可能な計算リソース、利用可能なストレージリソース、および帯域幅へのアクセスに関して、クライアントデバイスの能力の属性を提供する語彙集も同様に必要とされ得る。さらに、ネットワークがメディアをクライアントデバイスに配信するために分割レンダリングステップを用いることができるかどうか、またはいつ用いることができるかを、ネットワークおよびクライアントデバイスが共同で、または単独で決定することができるように、インジェストフォーマットの計算、ストレージ、または帯域幅の複雑度のレベルを特徴付ける機構が必要になり得る。さらに、クライアントデバイスがメディアのプレゼンテーションを完了するために必要とする特定のメディアオブジェクトの変換およびまたはストリーミングを回避できる場合、ネットワークは、クライアントデバイスがメディアのプレゼンテーションを完了するために必要とし得る（例えば、クライアントデバイスに以前にストリーミングされた）メディアオブジェクトへのアクセスまたは利用可能性をクライアントデバイスが有すると仮定して、変換およびインジェストメディアのストリーミングのステップをスキップすることができる。いくつかの例では、フォーマットＡから別のフォーマットへの変換が、クライアントデバイスによって、またはクライアントデバイスに代わって実行される必要なステップであると判定された場合、シーン内の個々のアセットの変換プロセスを順序付けるための優先順位付け方式を実行することができ、インテリジェントで効率的なネットワークアーキテクチャに利益をもたらすことができる。
【0068】
クライアントデバイスがその最大限の能力で実行する能力を促進するために、シーンベースのアセットがネットワークからクライアントデバイスにストリーミングされる順序に関して、ネットワークがクライアントデバイスのパフォーマンスを向上させるためにそのような順序を決定できるように、ネットワークが十分な情報を備えることが望ましい場合がある。例えば、特定のプレゼンテーションにおいて複数回使用されるアセットの反復的な変換および／またはストリーミングステップを回避するのに十分な情報を有するこのようなネットワークは、そのように設計されていないネットワークよりも最適に実行することができる。同様に、クライアントへのアセットの配信を「インテリジェントに」順序付けることができるネットワークは、クライアントデバイスがその十分な潜在力で実行する能力、すなわち、エンドユーザにとってより楽しむことができる体験を作り出すことを促進することができる。さらに、クライアントデバイスとネットワーク（例えば、ネットワークのサーバデバイス）との間のインターフェースは、１つまたは複数の通信チャネルを使用して実装されてもよく、クライアントデバイスの動作状態の特性、クライアントデバイスにおける、またはクライアントデバイスに対してローカルなリソースの利用可能性、ストリーミングされるメディアのタイプ、および使用される、または多数のシーンにわたるアセットの周波数に関する本質的な情報が伝達される。したがって、異種クライアントへのシーンベースのメディアのストリーミングを実装するネットワークアーキテクチャは、計算および記憶リソースにアクセスするクライアントデバイスの能力に関連する現在の条件を含む、各シーンの処理に関連する情報をネットワークサーバプロセスに提供および更新することができるクライアントインターフェースへのアクセスを必要とする場合がある。そのようなクライアントインターフェースはまた、クライアントデバイス上で実行される他のプロセス、特に没入型体験をエンドユーザに配信するクライアントデバイスの能力に代わって本質的な役割を果たすことができるゲームエンジンと密接に対話することができる。ゲームエンジンが果たすことができる本質的な役割の例は、対話型体験の配信を可能にするためのアプリケーションプログラムインターフェース（ＡＰＩ）を提供することを含む。クライアントデバイスに代わってゲームエンジンによって提供され得る別の役割は、クライアントデバイスの能力と一致する視覚体験を提供するためにクライアントデバイスによって必要とされる正確な視覚信号のレンダリングである。
【0069】
本開示で使用されるいくつかの用語の定義が、以下の段落で提示される。
【0070】
シーングラフ：ベクトルベースのグラフィックス編集アプリケーションおよび最新のコンピュータゲームによって通常使用される一般的なデータ構造であって、グラフィックシーンの論理的かつ多くの場合（必ずしもそうとは限らないが）空間的な表現を構成し、グラフ構造におけるノードおよび頂点の集合である。
【0071】
シーン：コンピュータグラフィックスの文脈では、シーンは、オブジェクト（例えば、３Ｄアセット）、オブジェクト属性、ならびに、特定の設定を記述する視覚的、音響的、および物理ベースの特性を含む他のメタデータの集合であり、その設定内のオブジェクトの相互作用に関して、空間または時間のいずれかによって境界が定められる。
【0072】
ノード：ビジュアル、オーディオ、触覚、嗅覚、味覚、または関連する処理情報の論理的、または空間的、または時間的な表現に関連する情報で構成されるシーングラフの基本要素。各ノードには、最大で１つの出力エッジ、０以上の入力エッジ、および少なくとも１つのエッジ（入力または出力のいずれか）が接続されているものとする。
【0073】
ベース層：アセットの公称表現であり、通常、アセットをレンダリングするのに必要な計算リソースもしくは時間、またはネットワークを介してアセットを送信する時間を最小化するように定式化される。
【0074】
強化層：アセットのベース層表現に適用される場合、ベース層でサポートされない機能または能力を含むようにベース層を拡張する情報のセット。
【0075】
属性：基準形式またはより複雑な形式（例えば、別のノードに関して）のいずれかでそのノードの特定の特性または特徴を記述するために使用されるノードに関連付けられたメタデータ。
【0076】
バインディングＬＵＴ：ＩＳＯ／ＩＥＣ ２３０９０ Ｐａｒｔ ２８のＩＭＳからのメタデータを、特定のシーングラフフォーマットの特徴または機能を記述するために使用されるメタデータまたは他の機構、例えば、ＩＴＭＦ、ｇｌＴＦ、ユニバーサルシーン記述と関連付ける論理構造。
【0077】
コンテナ：シーングラフおよびシーンのレンダリングに必要なすべてのメディアリソースを含むすべての自然シーン、すべての合成シーン、または合成シーンと自然シーンとの混合を表すための情報を記憶し、かつ交換するための直列化フォーマット。
【0078】
シリアライゼーション：データ構造またはオブジェクト状態を、（例えば、ファイルまたはメモリバッファに）記憶することができ、または（例えば、ネットワーク接続リンクを介して）送信することができ、後で（場合によっては異なるコンピュータ環境で）再構成することができるフォーマットに変換するプロセス。結果として得られた一連のビットがシリアライゼーションフォーマットに従って再度読み取りされると、これを使用して、元のオブジェクトと意味的に同一のクローンを作成することができる。
【0079】
レンダラ：音響物理学、光物理学、視覚知覚、音声知覚、数学、およびソフトウェア開発に関連する学問分野の選択的混合に基づく（典型的にはソフトウェアベースの）アプリケーションまたはプロセスであり、入力シーングラフおよびアセットコンテナが与えられると、ターゲットのデバイスでのプレゼンテーションに適した、またはシーングラフ内のレンダリング対象ノードの属性によって指定された所望のプロパティに適応した、典型的なビジュアル信号および／またはオーディオ信号を発する。視覚ベースのメディアアセットの場合、レンダラは、ターゲットのディスプレイに適した、または（例えば、別のコンテナに再パッケージ化された、すなわち、グラフィックスパイプラインでの一連のレンダリングプロセスにおいて使用される）中間アセットとしてのストレージに適したビジュアル信号を発することができ、オーディオベースのメディアアセットの場合、レンダラは、マルチチャネルラウドスピーカおよび／またはバイノーラル化されたヘッドフォンでのプレゼンテーションのために、または別の（出力）コンテナに再パッケージ化するために、オーディオ信号を発することができる。レンダラの一般的な例は、ゲームエンジンのＵｎｉｔｙおよびＵｎｒｅａｌ Ｅｎｇｉｎｅのリアルタイムレンダリング機能を含む。
【0080】
評価：出力を抽象的結果から具体的結果に移行させる（例えば、ウェブページのためのドキュメントオブジェクトモデルの評価に類似する）結果を生成する。
【0081】
スクリプト言語：シーングラフノードに加えられる動的な入力および可変の状態変化を処理するために、実行時にレンダラによって実行され得るインタプリタ型プログラミング言語であり、この変化は、空間的および時間的なオブジェクトのトポロジ（物理的な力、制約、逆運動学、変形、衝突を含む）のレンダリングおよび評価ならびにエネルギーの伝播および輸送（光、音）に影響を及ぼす。
【0082】
シェーダ：コンピュータプログラムの一種で、元々はシェーディング（画像内の適切なレベルの明暗および色の生成）に使用されていたが、現在では、コンピュータグラフィックスの特殊効果の様々な分野で様々な特殊機能を実行し、またはシェーディングとは無関係のビデオ後処理を行い、またはグラフィックスとはまったく関係のない機能さえも実行する。
【0083】
パス追跡：シーンの照明が現実に忠実になるように３次元のシーンをレンダリングするコンピュータグラフィックス方法。
【0084】
時限メディア：時間によって順序付けられたメディアであって、例えば、特定のクロックに従った開始時刻および終了時刻を有する。
【0085】
非時限メディア：例えば、ユーザが行った行動に従って実現される対話型体験のように、空間的、論理的、または時間的関係によって編成されたメディア。
【0086】
ニューラルネットワークモデル：元の信号によって明示的には提示されなかったビジュアル信号の新しいビューの補間を含むことができる改善された視覚出力に到達するために、ビジュアル信号に適用される、明確に定義された数学的演算で使用される重み（すなわち、数値）を定義するパラメータおよびテンソル（例えば、行列）の集合。
【0087】
変換：１つのメディアフォーマットまたはタイプを別のメディアフォーマットまたはタイプにそれぞれ変換するプロセスを指す。
【0088】
適応：メディアをビットレートの複数の表現に変換（ｔｒａｎｓｌａｔｉｏｎおよびまたはｃｏｎｖｅｒｔｉｎｇ）することを指す。
【0089】
フレームベースのメディア：関連するオーディオの有無にかかわらない、２Ｄビデオ。
【0090】
シーンベースのメディア：オーディオ、ビジュアル、触覚、および他の主要なタイプのメディア、ならびにシーングラフを使用して論理的および空間的に編成されたメディア関連情報。
【0091】
過去１０年間に、ヘッドマウントディスプレイ、拡張現実眼鏡、ハンドヘルドコントローラ、マルチビューディスプレイ、触覚手袋、およびゲーム機を含む、いくつかの没入型メディア対応デバイスが消費者市場に導入されてきた。同様に、ホログラフィックディスプレイおよび他の形態の立体ディスプレイも、今後３～５年以内に消費者市場に出現する準備が整っている。これらのデバイスの即時の、または差し迫った利用可能性にもかかわらず、商用ネットワークを介した没入型メディアの配信のための一貫したエンドツーエンドエコシステムは、いくつかの理由で実現されていない。
【0092】
商用ネットワークを介した没入型メディアの配信のための一貫したエンドツーエンドエコシステムを実現することに対する障害の１つは、没入型ディスプレイのこのような配信ネットワークのエンドポイントとして機能するクライアントデバイスがすべて非常に多様であることである。これらの中には、特定の没入型メディアフォーマットをサポートするものもあれば、サポートしないものもある。これらの中には、レガシーなラスタベースのフォーマットから没入型体験を作り出すことができるものもあれば、そうでないものもある。レガシーメディアの配信のためにだけ設計されたネットワークとは異なり、多様なディスプレイクライアントをサポートしなければならないネットワークは、このようなネットワークが適応プロセスを用いて、メディアを各ターゲットディスプレイおよび対応するアプリケーションに適したフォーマットに変換可能となる前に、各クライアントの能力の詳細および配信されるメディアのフォーマットに関するかなりの量の情報を必要とする。このようなネットワークは、少なくとも、入力メディアソースをターゲットディスプレイおよびアプリケーションに適したフォーマットに意義深く適応させる方法をネットワークが確認するために、各ターゲットディスプレイの特性と取り込まれたメディアの複雑度とを記述する情報にアクセスする必要がある。同様に、効率のために最適化されたネットワークは、そのようなネットワークに接続されたクライアントデバイスによってサポートされるメディアのタイプおよびそれらの対応する属性のデータベースを維持することを望む場合がある。
【0093】
同様に、異種のクライアントデバイスをサポートする理想的なネットワークは、入力メディアフォーマットから特定のターゲットのフォーマットに適応されたアセットのうちの一部が、同様の表示ターゲットのセットにわたって再利用され得るという事実を活用する。すなわち、ターゲットディスプレイに適したフォーマットに変換されると、一部のアセットは、同様の適応要件を有するいくつかのこのようなディスプレイにわたって再利用され得る。したがって、このような理想的なネットワークは、適応されたアセットを比較的不変である、すなわち、レガシーネットワークで使用されているコンテンツ配信ネットワーク（ＣＤＮ）の使用と同様である領域に記憶するために、キャッシング機構を用いることになる。
【0094】
さらに、没入型メディアは、シーン記述としても知られるシーングラフによって記述される「シーン」、例えば「シーンベースのメディア」に編成されてもよい。シーングラフの範囲は、プレゼンテーションの一部である特定の設定を含むビジュアル、オーディオ、および他の形態の没入型アセットを記述することであり、例えば、映画などのプレゼンテーションの一部である建物内の特定の場所で行われる俳優およびイベントである。単一のプレゼンテーションを含むすべてのシーンのリストは、シーンのマニフェスト（シーンマニフェストとも呼ばれる）に定式化され得る。
【0095】
このような手法のさらなる利点は、このようなコンテンツを配信しなければならない前に準備されるコンテンツの場合、プレゼンテーション全体で使用されるアセットのすべてと、プレゼンテーション内の様々なシーンにわたって各アセットが使用される頻度とを特定する「素材表」を作成することができることである。理想的なネットワークは、特定のプレゼンテーションのアセット要件を満たすために使用され得るキャッシュされたリソースの存在に関する知識を有するべきである。同様に、一連のシーンを提示しているクライアントが、複数のシーンにわたって使用される任意の所与のアセットの頻度に関する知識を有することを望む場合がある。例えば、メディアアセット（オブジェクトとしても知られる）が、クライアントによって処理されている、または処理されるであろう複数のシーンにわたって複数回参照される場合、クライアントは、その特定のアセットを必要とする最後のシーンがクライアントによって提示されるまで、アセットをそのキャッシングリソースから破棄することを回避すべきである。
【0096】
さらに、所与のシーンまたはシーンの集合の「素材表」を生成することができるそのようなプロセスはまた、１つのフォーマットから別のフォーマットへのシーンの適応を容易にするために、例えばＩＳＯ／ＩＥＣ ２３０９０ Ｐａｒｔ ２８のＩＭＳからの標準化されたメタデータで、シーンに注釈を付けることができる。
【0097】
最後に、これらに限定されるものではないが、Ｏｃｕｌｕｓ Ｒｉｆｔ、Ｓａｍｓｕｎｇ Ｇｅａｒ ＶＲ、Ｍａｇｉｃ Ｌｅａｐゴーグル、すべてのＬｏｏｋｉｎｇ Ｇｌａｓｓ Ｆａｃｔｏｒｙディスプレイ、Ｌｉｇｈｔ Ｆｉｅｌｄ ＬａｂによるＳｏｌｉｄＬｉｇｈｔ、Ａｖａｌｏｎ Ｈｏｌｏｇｒａｐｈｉｃディスプレイ、およびＤｉｍｅｎｃｏディスプレイを含む多くの新興の先進撮像ディスプレイは、それぞれのディスプレイがディスプレイにレンダリングおよび提示されるコンテンツを取り込むことができる機構としてゲームエンジンを利用する。現在、この前述のディスプレイのセットにわたって採用されている最も人気のあるゲームエンジンには、Ｅｐｉｃ ＧａｍｅによるＵｎｒｅａｌ Ｅｎｇｉｎｅ、およびＵｎｉｔｙ ＴｅｃｈｎｏｌｏｇｉｅｓによるＵｎｉｔｙが含まれる。すなわち、高度な画像化ディスプレイは、現在、ディスプレイがそのような高度な画像化ディスプレイによってレンダリングおよび提示されるメディアを取得することができる機構としてこれらのゲームエンジンの一方または両方を採用して設計および出荷されている。Ｕｎｒｅａｌ ＥｎｇｉｎｅとＵｎｉｔｙはどちらも、フレームベースのメディアではなくシーンベースのメディアを取り込むように最適化されている。しかしながら、既存のメディア配信エコシステムは、フレームベースのメディアのみをストリーミングすることができる。現在のメディア配信エコシステムには、メディアを「大規模に」、例えばフレームベースのメディアが配信されるのと同じ規模で配信することができるように、出現しつつある先進的な画像化ディスプレイへのシーンベースのコンテンツの配信を可能にするための標準（デジュールまたはデファクト）および最良の慣行を含む大きな「ギャップ」が存在する。
【0098】
いくつかの例では、ゲームエンジンが利用されてシーンベースのメディアを取り込むクライアントデバイスに代わって、ネットワークサーバプロセスに応答し、複合ネットワークおよび没入型クライアントアーキテクチャに関与する機構またはプロセスを使用することができる。そのような「スマートクライアント」機構は、メディアの配信が効率的に実行され、ネットワーク全体を構成する様々なコンポーネントの能力の制約の中で、没入型異種インタラクティブクライアントデバイスにシーンベースのメディアをストリーミングするように設計されたネットワークに特に適切である。「スマートクライアント」は、特定のクライアントデバイスに関連付けられ、シーンベースのメディアのプレゼンテーションをレンダリングおよび作成するためのクライアントデバイスのリソースの利用可能性を含む、その関連付けられたクライアントデバイスの現在の状態に関する情報に対するネットワークの要求に応答する。「スマートクライアント」は、ゲームエンジンが採用されるクライアントデバイスとネットワーク自体との間の「仲介者」としての役割も果たす。
【0099】
開示された主題の残りの部分は、一般性を失うことなく、特定のクライアントデバイスの代わりに応答することができるスマートクライアントが、１つまたは複数の他のアプリケーション（すなわち、ゲームエンジンアプリケーションではない）がアクティブであるクライアントデバイスの代わりに応答することもできることを想定していることに留意されたい。すなわち、クライアントデバイスの代わりに応答するという問題は、１つまたは複数の他のアプリケーションがアクティブであるクライアントデバイスの代わりに応答するという問題と同等である。
【0100】
さらに、「メディアオブジェクト」および「メディアアセット」という用語は、交換可能に使用される場合があり、どちらもメディアの特定のフォーマットの特定のインスタンスを指すことに留意されたい。クライアントデバイスまたはクライアント（いずれの資格もなし）という用語は、メディアのプレゼンテーションが最終的に実行されるデバイスおよびその構成要素を指す。「ゲームエンジン」という用語は、ＵｎｉｔｙもしくはＵｎｒｅａｌ Ｅｎｇｉｎｅ、または配信ネットワークアーキテクチャにおいて役割を果たす任意のゲームエンジンを指す。
【0101】
いくつかの例では、意思決定プロセスをサポートするために使用することができる十分な情報を取得するために没入型メディアシーンを分析する機構またはプロセスは、ネットワークまたはクライアントデバイスによって使用することができる。機構またはプロセスは、ネットワークまたはクライアントによって採用されるときに、フォーマットＡからフォーマットＢへのメディアオブジェクト（またはメディアアセット）の変換が完全にネットワークによって実行されるべきか、完全にクライアントによって実行されるべきか、または両方の混合を介して（どのアセットがクライアントまたはネットワークによって変換されるべきかを示すと共に）実行されるべきかに関して示し得る。そのような「没入型メディアデータ複雑度アナライザ」（いくつかの例では、メディアアナライザとも呼ばれる）は、自動化されたコンテキストにおいてクライアントデバイスまたはネットワークデバイスのいずれかによって使用され得る。
【0102】
図１に戻って参照すると、メディアフロープロセス１００は、ネットワーク１０４を介するメディアの流れ、またはゲームエンジンが使用されるクライアントデバイス１０８への配信を示す。図１において、インジェストメディアフォーマットＡの処理は、クラウドまたはエッジデバイス１０４における処理によって実行される。１０１で、メディアは、コンテンツプロバイダから取得される（図示せず）。プロセスステップ１０２は、取り込まれたメディアの任意の必要な変換または調整を行い、メディアの潜在的な代替表現を配信フォーマットＢとしてを作成する。メディアフォーマットＡおよびＢは、特定のメディアフォーマット仕様の同じシンタックスに従う表現であってもなくてもよいが、フォーマットＢは、ＴＣＰまたはＵＤＰなどのネットワークプロトコルを介したメディアの配信を容易にする方式に調整される可能性が高い。そのような「ストリーミング可能な」メディアは、クライアントデバイス１０８にストリーミングされるメディアとしてネットワーク接続１０５を介してストリーミングされるように示されている。クライアントデバイス１０８は、１０６として描かれた一部のレンダリング機能にアクセスすることができる。そのようなレンダリング機能１０６は、クライアントデバイス１０８およびクライアントデバイスにおいて動作しているゲームエンジンの種類に応じて、初歩的であってもよく、または同様に洗練されていてもよい。レンダリングプロセス１０６は、第３のフォーマット仕様、例えばフォーマットＣに従って表現されてもされなくてもよいプレゼンテーションメディアを作成する。いくつかの例では、ゲームエンジンを使用するクライアントデバイスでは、レンダリングプロセス１０６は通常、ゲームエンジンによって提供される機能である。
【0103】
図２を参照すると、メディア変換意思決定プロセス２００は、クライアントデバイスにメディアを配信する前にネットワークがメディアを変換する必要があるかどうかを判定するために採用され得る。図２において、フォーマットＡで表される取り込まれたメディア２０１は、コンテンツプロバイダ（図示せず）によってネットワークに提供される。プロセスステップ２０２は、ターゲットのクライアント（図示せず）の処理能力を記述する属性を取得する。意思決定プロセスステップ２０３を用いて、メディアがクライアントにストリーミングされる前に、ネットワークまたはクライアントが、取り込まれたメディア２０１に含まれるメディアアセットのいずれかについて何らかのフォーマット変換、例えば、フォーマットＡからフォーマットＢへの特定のメディアオブジェクトの変換などを行うべきかどうかを判定する。メディアアセットのうちのいずれかがネットワークによって変換される必要がある場合、ネットワークは、プロセスステップ２０４を用いて、メディアオブジェクトをフォーマットＡからフォーマットＢに変換する。変換されたメディア２０５は、プロセスステップ２０４からの出力である。変換されたメディアは、ゲームエンジンのクライアント（図示せず）にストリーミングされるメディアを準備するために、準備プロセス２０６にマージされる。プロセスステップ２０７は、例えば、準備されたメディアをゲームエンジンクライアントにストリーミングする。
【0104】
図３は、例において時限式である異種没入型メディアのためのストリーミング可能フォーマット３００の表現を示し、図４は、例において非時限式である異種没入型メディアのためのストリーミング可能フォーマット４００の表現を示す。図３の場合、図３は時限メディアのシーン３０１を参照する。図４の場合、図４は非時限メディアのシーン４０１を参照する。どちらの場合も、シーンは、様々なシーン表現またはシーン記述によって具現化されてもよい。
【0105】
例えば、いくつかの没入型メディア設計では、シーンはシーングラフによって、または多平面画像（ＭＰＩ）として、または多球面画像（ＭＳＩ）として具現化されてもよい。ＭＰＩおよびＭＳＩ技術の両方は、自然なコンテンツ、すなわち１つまたは複数のカメラから同時にキャプチャされた現実世界の画像についてディスプレイに依存しないシーン表現の作成を支援する技術の例である。一方、シーングラフ技術は、自然画像とコンピュータ生成画像の両方を合成表現の形式で表現するために使用され得るが、そのような表現は、コンテンツが１つまたは複数のカメラによって自然シーンとしてキャプチャされる場合に作成するために特に計算集約的である。すなわち、自然にキャプチャされたコンテンツのシーングラフ表現は、作成するのに時間と計算集約的であり、ターゲットの没入型クライアントディスプレイの視錐台を満たすのに十分かつ適切な数のビューを補間するために後で使用できる合成表現を作成するために、写真測量または深層学習またはその両方の技術を用いた自然画像の複雑な解析を必要とする。結果として、そのような合成表現は、リアルタイム配信を必要とするユースケースを考慮するためにリアルタイムで実際に作成することができないため、自然なコンテンツを表現するための候補として考慮するには現在実用的ではない。いくつかの例では、コンピュータ生成画像の最良の候補表現は、３Ｄモデリングプロセスおよびツールを使用してコンピュータ生成画像が作成されるので、合成モデルを有するシーングラフの使用を用いることである。
【0106】
自然コンテンツとコンピュータ生成コンテンツの両方の最適表現におけるこのような２分法は、自然にキャプチャされたコンテンツの最適なインジェストフォーマットが、リアルタイム配信アプリケーションに必須ではないコンピュータ生成コンテンツまたは自然コンテンツの最適なインジェストフォーマットとは異なることを示唆している。したがって、開示された主題は、物理的なカメラの使用によって自然に作成されるか、コンピュータによって作成されるかにかかわらず、視覚的没入型メディアの複数のインジェストフォーマットをサポートするのに十分に堅牢であることを目標としている。
【0107】
以下は、コンピュータ生成技術を使用して作成された視覚的没入型メディア、または自然にキャプチャされたコンテンツを表現するのに適したフォーマットとして、シーングラフを具体化する例示的な技術であり、そのために深層学習または写真測量技術が採用されて、自然なシーンの対応する合成表現を作成するものであり、すなわち、リアルタイム配信アプリケーションには必須ではない。
【0108】
１．ＯＴＯＹ社のＯＲＢＸ（登録商標）
ＯＴＯＹ社のＯＲＢＸは、光線追跡可能、レガシー（フレームベース）、立体および他の種類の、合成またはベクトルベースのビジュアルフォーマットを含む、時限または非時限の任意の種類のビジュアルメディアをサポートすることが可能ないくつかのシーングラフ技術のうちの１つである。態様によれば、ＯＲＢＸは、メッシュ、点群、およびテクスチャのための自由に利用可能なおよび／またはオープンソース形式のネイティブサポートを提供するので、ＯＲＢＸは他のシーングラフから独特である。ＯＲＢＸは、シーングラフで動作する複数のベンダ技術にわたる交換を容易にすることを目的として意図的に設計されたシーングラフである。さらに、ＯＲＢＸは、豊富な素材システム、オープンシェーダ言語のサポート、堅牢なカメラシステム、およびＬｕａスクリプトのサポートを与える。ＯＲＢＸはまた、没入型デジタル体験アライアンス（ＩＤＥＡ）によって使用料無料の条件でライセンスのために公開された没入型技術メディアフォーマットの基礎でもある。メディアのリアルタイム配信の状況では、自然なシーンのＯＲＢＸ表現を作成および配信する能力は、カメラによってキャプチャされたデータの複雑な分析および同じデータの合成表現への合成を実行するための計算リソースの利用可能性の関数である。今日まで、リアルタイム配信のための十分な計算の利用可能性は実際的ではないが、それにもかかわらず不可能ではない。
ＯＴＯＹ社のＯＲＢＸは、光線追跡可能、レガシー（フレームベース）、立体および他の種類の、合成またはベクトルベースのビジュアルフォーマットを含む、時限または非時限の任意の種類のビジュアルメディアをサポートすることが可能ないくつかのシーングラフ技術のうちの１つである。態様によれば、ＯＲＢＸは、メッシュ、点群、およびテクスチャのための自由に利用可能なおよび／またはオープンソース形式のネイティブサポートを提供するので、ＯＲＢＸは他のシーングラフから独特である。ＯＲＢＸは、シーングラフで動作する複数のベンダ技術にわたる交換を容易にすることを目的として意図的に設計されたシーングラフである。さらに、ＯＲＢＸは、豊富な素材システム、オープンシェーダ言語のサポート、堅牢なカメラシステム、およびＬｕａスクリプトのサポートを与える。ＯＲＢＸはまた、没入型デジタル体験アライアンス（ＩＤＥＡ）によって使用料無料の条件でライセンスのために公開された没入型技術メディアフォーマットの基礎でもある。メディアのリアルタイム配信の状況では、自然なシーンのＯＲＢＸ表現を作成および配信する能力は、カメラによってキャプチャされたデータの複雑な分析および同じデータの合成表現への合成を実行するための計算リソースの利用可能性の関数である。今日まで、リアルタイム配信のための十分な計算の利用可能性は実際的ではないが、それにもかかわらず不可能ではない。
【0109】
２．Ｐｉｘａｒ社によるユニバーサルシーン記述
Ｐｉｘａｒ社によるユニバーサルシーン記述（ＵＳＤ）は、ビジュアルエフェクト（ＶＦＸ）およびプロフェッショナルコンテンツ制作コミュニティにおいて使用され得る他のシーングラフである。ＵＳＤは、Ｎｖｉｄｉａ社のＧＰＵを用いた３Ｄモデル作成およびレンダリングのための開発者向けツールのセットであるＮｖｉｄｉａ社のＯｍｎｉｖｅｒｓｅプラットフォームに統合されている。ＵＳＤのサブセットは、ＵＳＤＺとしてＡｐｐｌｅ社およびＰｉｘａｒ社によって公開された。ＵＳＤＺは、Ａｐｐｌｅ社のＡＲＫｉｔによってサポートされている。
Ｐｉｘａｒ社によるユニバーサルシーン記述（ＵＳＤ）は、ビジュアルエフェクト（ＶＦＸ）およびプロフェッショナルコンテンツ制作コミュニティにおいて使用され得る他のシーングラフである。ＵＳＤは、Ｎｖｉｄｉａ社のＧＰＵを用いた３Ｄモデル作成およびレンダリングのための開発者向けツールのセットであるＮｖｉｄｉａ社のＯｍｎｉｖｅｒｓｅプラットフォームに統合されている。ＵＳＤのサブセットは、ＵＳＤＺとしてＡｐｐｌｅ社およびＰｉｘａｒ社によって公開された。ＵＳＤＺは、Ａｐｐｌｅ社のＡＲＫｉｔによってサポートされている。
【0110】
３．Ｋｈｒｏｎｏｓ社のｇｌＴＦ２．０
ｇｌＴＦ２．０は、Ｋｈｒｏｎｏｓ ３Ｄ Ｇｒｏｕｐによって書かれたグラフィックス言語伝送フォーマット仕様の最新バージョンである。このフォーマットは、「ｐｎｇ」および「ｊｐｅｇ」画像フォーマットを含む、一般にシーン内の静的（非時限）オブジェクトをサポートすることができる単純なシーングラフフォーマットをサポートする。ｇｌＴＦ２．０は、単純なアニメーションをサポートし、ｇｌＴＦプリミティブを使用して記述された基本形状、すなわち幾何学的オブジェクトの並進、回転、およびスケーリングをサポートする。ｇｌＴＦ２．０は時限メディアをサポートしておらず、したがって、ビデオもオーディオもサポートしてはいない。
ｇｌＴＦ２．０は、Ｋｈｒｏｎｏｓ ３Ｄ Ｇｒｏｕｐによって書かれたグラフィックス言語伝送フォーマット仕様の最新バージョンである。このフォーマットは、「ｐｎｇ」および「ｊｐｅｇ」画像フォーマットを含む、一般にシーン内の静的（非時限）オブジェクトをサポートすることができる単純なシーングラフフォーマットをサポートする。ｇｌＴＦ２．０は、単純なアニメーションをサポートし、ｇｌＴＦプリミティブを使用して記述された基本形状、すなわち幾何学的オブジェクトの並進、回転、およびスケーリングをサポートする。ｇｌＴＦ２．０は時限メディアをサポートしておらず、したがって、ビデオもオーディオもサポートしてはいない。
【0111】
４．ＩＳＯ／ＩＥＣ ２３０９０ Ｐａｒｔ １４ Ｓｃｅｎｅ Ｄｅｓｃｒｉｐｔｉｏｎは、時限メディア、例えばビデオおよびオーディオのサポートを追加するｇｌＴＦ２．０の拡張である。
没入型ビジュアルメディアの上記のシーン表現は、例えば提供されているにすぎず、入力没入型メディアソースをクライアントエンドポイントデバイスの特定の特性に適したフォーマットに適応させるプロセスを指定するその能力において開示された主題を限定しないことに留意されたい。
没入型ビジュアルメディアの上記のシーン表現は、例えば提供されているにすぎず、入力没入型メディアソースをクライアントエンドポイントデバイスの特定の特性に適したフォーマットに適応させるプロセスを指定するその能力において開示された主題を限定しないことに留意されたい。
【0112】
さらに、上記の例示的なメディア表現のいずれかまたはすべては、錐台の特定の寸法に基づいて特定のディスプレイの視錐台を満たすために特定のビューの選択を可能にするかまたは容易にするニューラルネットワークモデルを訓練して作成するために、深層学習技術を現在用いているか、または用いることができる。特定のディスプレイの視錐台のために選択されたビューは、シーン表現において明示的に提供される既存のビューから、例えば、ＭＳＩまたはＭＰＩ技術から補間されてもよく、またはこれらのレンダリングエンジンのための特定の仮想カメラ位置、フィルタ、または仮想カメラの記述に基づいてレンダリングエンジンから直接レンダリングされてもよい。
【0113】
したがって、開示された主題は、自然に（例えば、１つまたは複数のカメラを用いて）キャプチャされるか、またはコンピュータ生成技術を使用して作成されるメディアのリアルタイムまたは「オンデマンド」（例えば、非リアルタイム）配信の両方の要件を十分に満たすことができる、比較的小さいがよく知られている没入型メディアインジェストフォーマットのセットがあることを考慮するのに十分に堅牢である。
【0114】
ニューラルネットワークモデルまたはネットワークベースのレンダリングエンジンのいずれかの使用による没入型メディアインジェストフォーマットからのビューの補間は、モバイルネットワーク用の５Ｇおよび固定ネットワーク用の光ファイバケーブルなどの高度なネットワーク技術が展開されるにつれてさらに容易になる。すなわち、これらの高度なネットワーク技術は、そのような高度なネットワークインフラストラクチャがますます大量のビジュアル情報の伝送および配信をサポートすることができるようになるので、商用ネットワークの容量および能力を増加させる。マルチアクセスエッジコンピューティング（ＭＥＣ）、ソフトウェア定義ネットワーク（ＳＤＮ）、およびネットワーク機能仮想化（ＮＦＶ）などのネットワークインフラ管理技術は、商用ネットワークサービスプロバイダが、特定のネットワークリソースに対する需要の変化に適応するように、例えば、ネットワークスループット、ネットワーク速度、往復レイテンシ、および計算リソースに対する需要の動的な増減に応答するように、それらのネットワークインフラを柔軟に構成することを可能にする。さらに、動的ネットワーク要件に適応するこの固有の能力は、同様に、異種クライアントエンドポイントのための潜在的に異種のビジュアルメディアフォーマットを有する様々な没入型メディアアプリケーションをサポートするために、没入型メディアインジェストフォーマットを適切な配信フォーマットに適応させるネットワークの能力を容易にする。
【0115】
没入型メディアアプリケーション自体はまた、ゲームの状態でリアルタイム更新に応答するために著しく低いネットワークレイテンシを必要とするゲームアプリケーション、ネットワークのアップリンク部分およびダウンリンク部分の両方に対して対称的なスループット要件を有するテレプレゼンスアプリケーション、およびデータを消費しているクライアントのエンドポイントのディスプレイのタイプに応じてダウンリンクリソースに対する需要が増加する可能性のある受動的閲覧アプリケーションを含む、ネットワークリソースに対する様々な要件を有してもよい。一般に、任意の消費者向けアプリケーションは、ストレージ、計算および電力のための様々なオンボードクライアント機能、ならびに特定のメディア表現のための同じく様々な要件を含む様々なクライアントエンドポイントによってサポートされてもよい。
【0116】
したがって、開示された主題は、十分に装備されたネットワーク、すなわち、最新のネットワークの特性の一部またはすべてを用いるネットワークが、以下の中で指定された特徴に従って複数のレガシーおよび没入型メディア対応デバイスを同時にサポートすることを可能にする。
【0117】
１．メディアの配信のためのリアルタイムおよびオンデマンドのユースケースの両方に実用的なメディアインジェストフォーマットを活用する柔軟性を提供する。
【0118】
２．レガシーおよび没入型メディア対応のクライアントエンドポイントの両方について、自然コンテンツおよびコンピュータ生成コンテンツの両方をサポートする柔軟性を提供する。
【0119】
３．時限メディアおよび非時限メディアの両方をサポートする。
【0120】
４．クライアントエンドポイントの機能および能力に基づいて、ならびにアプリケーションの要件に基づいて、ソースメディアインジェストフォーマットを適切な配信フォーマットに動的に適応させるためのプロセスを提供する。
【0121】
５．配信フォーマットがＩＰベースのネットワークにわたってストリーミング可能であることを保証する。
【0122】
６．ネットワークが、レガシーおよび没入型メディア対応デバイスおよびアプリケーションの両方を含み得る複数の異種クライアントエンドポイントに同時にサービスを提供できるようにする。
【0123】
７．シーン境界に沿った配信メディアの編成を容易にする例示的なメディア表現フレームワークを提供する。
【0124】
開示された主題によって可能にされる改善のエンドツーエンドの実施形態は、続く詳細な説明に記載された処理およびコンポーネントに従って達成される。
【0125】
図３および図４はそれぞれ、特定のクライアントエンドポイントの能力に一致するようにインジェストソースフォーマットから適応され得る例示的な包括的な配信フォーマットを採用する。上述したように、図３に示されているメディアは時限的であり、図４に示されているメディアは時限的ではない。特定の包含フォーマットは、その構造において、各層がメディアのプレゼンテーションに寄与する顕著な情報の量に基づいてそれぞれが階層化され得る多種多様なメディア属性に対応するのに十分に堅牢である。レイヤリングプロセスは、例えば、プログレッシブＪＰＥＧおよびスケーラブルビデオアーキテクチャ（例えば、ＩＳＯ／ＩＥＣ １４４９６－１０スケーラブルアドバンストビデオ符号化に規定されている）に適用され得ることに留意されたい。
【0126】
態様によれば、包含するメディアフォーマットに従ってストリーミングされるメディアは、レガシービジュアルメディアおよびオーディオメディアに限定されず、機械と相互作用して人間の視覚、音、味、触覚、および匂いを刺激する信号を生成することができる任意のタイプのメディア情報を含むことができる。
【0127】
他の態様によれば、包含するメディアフォーマットに従ってストリーミングされるメディアは、時限メディアもしくは非時限メディアの両方、または両方の混合であり得る。
【0128】
他の態様によれば、包含するメディアフォーマットは、ベース層および強化層アーキテクチャを使用することによってメディアオブジェクトの階層表現を可能にすることによってさらに流線型化可能である。一例では、別々のベース層および強化層は、各シーンのメディアオブジェクトについての多重解像度または多重モザイク化の解析技術の適用によって計算される。これは、ＩＳＯ／ＩＥＣ １０９１８－１（ＪＰＥＧ）およびＩＳＯ／ＩＥＣ １５４４４－１（ＪＰＥＧ２０００）で指定されたプログレッシブレンダリング画像フォーマットに類似しているが、ラスタベースのビジュアルフォーマットに限定されない。例では、幾何学的オブジェクトのプログレッシブな表現は、ウェーブレット解析を使用して計算されたオブジェクトの多重解像度表現であり得る。
【0129】
メディアフォーマットの階層化表現の別の例では、強化層は、ベース層によって表されるビジュアルオブジェクトの表面の材料特性を改良するなど、ベース層に異なる属性を適用する。さらに別の例では、属性は、表面を滑らかなテクスチャから多孔質のテクスチャに、またはつや消しの表面から光沢のある表面に変更するなど、ベース層オブジェクトの表面のテクスチャを改良することができる。
【0130】
階層化表現のさらに別の例では、シーン内の１つまたは複数のビジュアルオブジェクトの表面は、ランバート面からレイトレース可能な表面に変更され得る。
【0131】
階層化表現のさらに別の例では、ネットワークは、ベース層表現をクライアントに配信し、その結果、クライアントは、ベース表現の解像度または他の特性を改良するために追加の強化層の送信を待機している間に、シーンの公称プレゼンテーションを作成することができる。
【0132】
他の態様によれば、強化層における属性の解像度または精緻化情報は、既存のＭＰＥＧビデオおよびＪＰＥＧ画像標準規格において現在のようにベース層におけるオブジェクトの解像度と明示的に結合されない。
【0133】
他の態様によれば、包含するメディアフォーマットは、プレゼンテーションデバイスまたはマシンによって提示または作動され得る任意のタイプの情報メディアをサポートし、それによって異種クライアントエンドポイントへの異種メディアフォーマットのサポートを可能にする。メディアフォーマットを配信するネットワークの一実施形態では、ネットワークは、最初にクライアントの能力を判定するためにクライアントエンドポイントに問い合わせ、クライアントがメディア表現を有意に取り込むことができない場合、ネットワークは、クライアントによってサポートされていない属性の層を除去するか、またはメディアをその現在のフォーマットからクライアントエンドポイントに適したフォーマットに適応させる。このような適応の１つの例では、ネットワークは、ネットワークベースのメディア処理プロトコルを使用することによって、ボリュームのビジュアルメディアアセットを同じビジュアルアセットの２Ｄ表現に変換する。このよう適応の別の例では、ネットワークは、ニューラルネットワークプロセスを用いて、メディアを適切なフォーマットに再フォーマットするか、または任意選択で、クライアントエンドポイントによって必要とされるビューを合成することができる。
【0134】
他の態様によれば、完全なまたは部分的に完全な没入型体験（ライブストリーミングイベント、ゲーム、またはオンデマンドアセットの再生）のためのマニフェストは、プレゼンテーションを作成するためにレンダリングおよびゲームエンジンが現在取り込み得る最小量の情報であるシーンによって編成される。マニフェストは、クライアントによって要求された没入型体験の全体がレンダリングされる個々のシーンのリストを含む。各シーンには、シーンのジオメトリのストリーミング可能なバージョンに対応するシーンの中の幾何学的オブジェクトの１つまたは複数の表現が関連付けられている。シーン表現の一実施形態は、シーンの幾何学的オブジェクトの低解像度バージョンに関する。同じシーンの別の実施形態は、同じシーンの幾何学的オブジェクトにさらなる詳細を追加するか、またはモザイク化を増加させるための、シーンの低解像度表現のための強化層に関する。上述したように、各シーンは、シーンの幾何学的オブジェクトの詳細を漸進的に増加させるために２つ以上の強化層を有してもよい。
【0135】
他の態様によれば、シーン内で参照されるメディアオブジェクトの各層は、リソースがネットワーク内でアクセスされ得る場所のアドレスを指すトークン（例えば、ＵＲＩ）に関連付けられる。このようなリソースは、コンテンツがクライアントによってフェッチされ得るＣＤＮに類似している。
【0136】
他の態様によれば、幾何学的オブジェクトの表現のためのトークンは、ネットワーク内の位置またはクライアント内の位置を指すことができる。すなわち、クライアントは、そのリソースがネットワークベースのメディア処理のためにネットワークに利用可能であることをネットワークにシグナリングしてもよい。
【0137】
図３は、いくつかの例における時限メディア表現３００を示す。時限メディア表現３００は、時限メディアのための包含するメディアフォーマットの例を説明する。時限シーンマニフェスト３００Ａは、シーン情報３０１のリストを含む。シーン情報３０１は、シーン情報３０１にある処理情報およびメディアアセットの種類を別々に記述するコンポーネント３０２のリストを指す。コンポーネント３０２は、ベース層３０４および属性強化層３０５をさらに示すアセット３０３を指す。図３の例では、ベース層３０４のそれぞれは、プレゼンテーションにおけるシーンのセットにわたってアセットが使用された回数を示す数的頻度メトリックを指す。他のシーンにおいて以前に使用されたことがない一意のアセットのリストが、３０７において提供される。プロキシビジュアルアセット３０６は、再利用されたビジュアルアセットの一意の識別子などの再利用されたビジュアルアセットの情報を含み、プロキシオーディオアセット３０８は、再利用されたオーディオアセットの一意の識別子などの再利用されたオーディオアセットの情報を含む。
【0138】
図４は、いくつかの例における非時限メディア表現４００を示す。非時限メディア表現４００は、非時限メディアのための包含するメディアフォーマットの例を説明する。非時限シーンマニフェスト（図示せず）は、シーン１．０に分岐することができる、他のシーンがないシーン１．０を参照する。シーン情報４０１は、クロックに応じた開始時間および終了時間には関連付けられていない。シーン情報４０１は、シーンを構成する処理情報およびメディアアセットの種類を別々に記述するコンポーネント４０２のリストを参照する。コンポーネント４０２は、アセット４０３を参照して、アセット４０３は、ベース層４０４および属性強化層４０５、４０６をさらに参照する。図４の例では、ベース層４０４のそれぞれは、プレゼンテーションにおけるシーンのセットにわたってアセットが使用された回数を示す数的頻度の値を指す。また、シーン情報４０１は、非時限メディア用の他のシーン情報４０１を指し得る。シーン情報４０１はまた、時限メディアシーンのためのシーン情報４０７を指す。リスト４０８は、高次（例えば、親）シーンで以前に使用されたことがない特定のシーンに関連付けられた一意のアセットを識別する。
【0139】
図５は、自然コンテンツからインジェストフォーマットを合成するためのプロセス５００の図を示す。プロセス５００は、コンテンツキャプチャのための第１のサブプロセスと、自然画像のためのインジェストフォーマット合成のための第２のサブプロセスと、を含む。
【0140】
図５の例では、第１のサブプロセスでは、自然画像コンテンツ５０９をキャプチャするために、カメラユニットが使用され得る。例えば、カメラユニット５０１は、人物のシーンをキャプチャするために単一のカメラレンズを使用することができる。カメラユニット５０２は、リング状のオブジェクトの周囲に５つのカメラレンズを装着することで、５つの発散する視野のシーンをキャプチャすることができる。カメラユニット５０２の配置は、ＶＲアプリケーション用の全方向コンテンツをキャプチャするための例示的な配置である。カメラユニット５０３は、球体の内径部分に７つのカメラレンズを装着することによって、７つの視野が集束するシーンをキャプチャする。カメラユニット５０３の配置は、光照射野またはホログラフィック没入型ディスプレイのための光照射野を捕捉するための例示的な配置である。
【0141】
図５の例では、第２のサブプロセスにおいて、自然画像コンテンツ５０９が合成される。例えば、自然画像コンテンツ５０９は、例では、キャプチャニューラルネットワークモデル５０８を生成するために訓練画像５０６の集合を使用するニューラルネットワーク訓練モジュール５０５を使用することができる合成モジュール５０４への入力として提供される。訓練プロセスの代わりに一般的に使用される他のプロセスは写真測量である。モデル５０８が図５に示すプロセス５００中に作成される場合、モデル５０８は、自然なコンテンツのインジェストフォーマット５０７のアセットのうちの１つになる。いくつかの例では、シーンベースのメディアにＩＭＳメタデータで注釈を付けるために、注釈付けプロセス５１１が任意選択的に実行されてもよい。インジェストフォーマット５０７の例示的な実施形態は、ＭＰＩとＭＳＩを含む。
【0142】
図６は、合成メディア６０８、例えばコンピュータ生成画像のインジェストフォーマットを作成するプロセス６００の図を示す。図６の例では、ＬＩＤＡＲカメラ６０１はシーンの点群６０２をキャプチャする。合成コンテンツを作成するためのコンピュータ生成画像（ＣＧＩ）ツール、３Ｄモデリングツール、または他のアニメーションプロセスは、ネットワークを介して６０４ＣＧＩアセットを作成するためにコンピュータ６０３上で使用される。センサ６０５Ａを有するモーションキャプチャスーツが、行為者６０５に装着されて、行為者６０５の動きのデジタル記録をキャプチャして、アニメーション化されたモーションキャプチャ（ＭｏＣａｐ）データ６０６を生成する。データ６０２、６０４、および６０６は、合成モジュール６０７への入力として提供され、合成モジュール６０７も同様に、例えば、ニューラルネットワークおよび訓練データを使用して、ニューラルネットワークモデル（図６には示されていない）を作成することができる。いくつかの例では、合成モジュール６０７は、インジェストフォーマットの合成メディア６０８を出力する。次いで、インジェストフォーマットの合成メディア６６０８は、その出力がインジェストフォーマットのＩＭＳ注釈付き合成メディア６１０である任意選択のＩＭＳ注釈プロセス６０９に入力され得る。
【0143】
本開示における異種没入型メディアを表現し、ストリーミングおよび処理するための技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実施することができ、１つまたは複数のコンピュータ可読媒体に物理的に記憶することができる。例えば、図７は、開示された主題の特定の実施形態を実装するのに適したコンピュータシステム７００を示す。
【0144】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンクなどの機構を受けることができる任意の適切な機械コードまたはコンピュータ言語を使用してコーディングされ、１つまたは複数のコンピュータ中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）などによって直接、または解釈、マイクロコード実行などを介して、実行されることができる命令を含むコードを作成することができる。
【0145】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、モノのインターネットデバイスなどを含む様々なタイプのコンピュータまたはコンピュータのコンポーネントで実行され得る。
【0146】
コンピュータシステム７００について図７に示されるコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲または機能に関するいかなる限定も示唆することは意図されていない。また、コンポーネントの構成は、コンピュータシステム７００の例示的な実施形態に示されたコンポーネントのいずれか１つまたは組み合わせに関連するいかなる依存関係または要件も有すると解釈されるべきではない。
【0147】
コンピュータシステム７００は、特定のヒューマンインターフェース入力デバイスを含み得る。そのようなヒューマンインターフェース入力デバイスは、例えば、触知入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（図示されていない）を介した１人または複数の人間ユーザによる入力に応答し得る。ヒューマンインターフェースデバイスは、オーディオ（例えば、音声、音楽、周囲の音）、画像（例えば、走査画像、写真画像は静止画像カメラから取得する）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、必ずしも人間による意識的な入力に直接関連しない特定のメディアをキャプチャするために使用することもできる。
【0148】
入力ヒューマンインターフェースデバイスは、キーボード７０１、マウス７０２、トラックパッド７０３、タッチスクリーン７１０、データグローブ（図示せず）、ジョイスティック７０５、マイクロフォン７０６、スキャナ７０７、カメラ７０８のうちの１つまたは複数を含み得る（各々の１つのみが描写されている）。
【0149】
コンピュータシステム７００はまた、特定のヒューマンインターフェース出力デバイスを含んでもよい。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い／味を介して、１人または複数の人間のユーザの感覚を刺激し得る。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン７１０、データグローブ（図示せず）、またはジョイスティック７０５による触覚フィードバック、しかし入力デバイスとして機能しない触覚フィードバックデバイスが存在する可能性もある）、（スピーカ７０９、ヘッドフォン（描写せず）などの）オーディオ出力デバイス、（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン７１０など、各々タッチスクリーン入力機能の有無にかかわらず、各々触覚フィードバック機能の有無にかかわらず、それらのうちの幾つかは、ステレオグラフィック出力、仮想現実眼鏡（描写せず）、ホログラフィックディスプレイおよびスモークタンク（描写せず）などの手段を介して２次元視覚出力または３次元以上の出力を出力することが可能な場合がある）視覚出力デバイス、ならびにプリンタ（描写せず）を含むことができる。
【0150】
コンピュータシステム７００はまた、人間がアクセス可能なストレージデバイスと、ＣＤ／ＤＶＤなどのメディア７２１を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（７２０）、サムドライブ７２２、リムーバブルハードドライブまたはソリッドステートドライブ７２３、テープやフロッピーディスク（図示されていない）などのレガシー磁気メディア、セキュリティドングル（図示されていない）などの専用ＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイスなどを含む光メディアなどの記憶デバイスと関連付けられたメディアも含むことができる。
【0151】
当業者はまた、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語が、伝送メディア、搬送波、または他の一時的信号を包含しないことを理解すべきである。
【0152】
コンピュータシステム７００は、１つまたは複数の通信ネットワーク７５５へのインターフェース７５４を含むこともできる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両および産業用、リアルタイム、遅延耐性、などとすることができる。ネットワークの例には、Ｅｔｈｅｒｎｅｔなどのローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラネットワーク、ケーブルテレビ、衛星テレビおよび地上波テレビを含むテレビの有線または無線ワイドエリアデジタルネットワーク、ＣＡＮＢｕｓを含む車両用および産業用などが含まれる。あるネットワークには、特定の汎用データポートまたは周辺バス７４９（例えば、コンピュータシステム７００のＵＳＢポート）に一般的な仕方で取り付けられる外部ネットワークインターフェースアダプタが必要であり、その他のネットワークについては、後述のようにシステムバスに取り付けることによってコンピュータシステム７００のコアに一般的な仕方で組み込まれる（例えば、ＰＣコンピュータシステムにはＥｔｈｅｒｎｅｔインターフェース、またはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム７００は他のエンティティと通信することができる。このような通信は、単方向受信専用（例えば、テレビ放送）、単方向送信専用（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、または例えば、ローカルもしくは広域デジタルネットワークを使用する他のコンピュータシステムへの双方向であり得る。特定のプロトコルおよびプロトコルスタックは、上述したように、それらのネットワークおよびネットワークインターフェースの各々で使用され得る。
【0153】
前述のヒューマンインターフェースデバイス、人間がアクセス可能なストレージデバイス、およびネットワークインターフェースは、コンピュータシステム７００のコア７４０に取り付けられ得る。
【0154】
コア７４０は、１つまたは複数の中央処理装置（ＣＰＵ）７４１、グラフィックスプロセッシングユニット（ＧＰＵ）７４２、フィールドプログラマブルゲートエリア（ＦＰＧＡ）７４３の形態の専用プログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ７４４、グラフィックスアダプタ７５０などを含むことができる。これらのデバイスは、読み出し専用メモリ（ＲＯＭ）７４５、ランダムアクセスメモリ７４６、内部の非ユーザアクセス可能ハードドライブ、ＳＳＤなど７４７の内部大容量ストレージと共に、システムバス７４８を介して接続され得る。いくつかのコンピュータシステムでは、システムバス７４８は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つまたは複数の物理プラグの形態でアクセス可能であり得る。周辺デバイスは、コアのシステムバス７４８に直接取り付けることも、周辺バス７４９を介して取り付けることもできる。例では、スクリーン７１０は、グラフィックスアダプタ７５０に接続することができる。周辺バス用のアーキテクチャには、ＰＣＩ、ＵＳＢなどが含まれる。
【0155】
ＣＰＵ７４１、ＧＰＵ７４２、ＦＰＧＡ７４３、およびアクセラレータ７４４は、組み合わさって前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードを、ＲＯＭ７４５またはＲＡＭ７４６に記憶することができる。過渡的なデータをＲＡＭ７４６に記憶することもでき、一方永続的なデータを、例えば、内部大容量ストレージ７４７に記憶することができる。メモリデバイスのいずれかへの高速記憶および取得を、１つまたは複数のＣＰＵ７４１、ＧＰＵ７４２、大容量ストレージ７４７、ＲＯＭ７４５、ＲＡＭ７４６などと密接に関連付けることができるキャッシュメモリの使用によって可能にすることができる。
【0156】
コンピュータ可読媒体は、様々なコンピュータ実装動作を行うためのコンピュータコードを有することができる。メディアおよびコンピュータコードは、本開示の目的のために特別に設計および構築されたものとすることができ、またはコンピュータソフトウェア技術の当業者に周知の利用可能な種類のものとすることができる。
【0157】
限定ではなく、例として、アーキテクチャ７００を有するコンピュータシステム、具体的にはコア７４０は、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つまたは複数の有形のコンピュータ可読媒体において具現化されたソフトウェアを実行した結果として機能を提供することができる。このようなコンピュータ可読媒体は、上述したようなユーザアクセス可能な大容量ストレージ、ならびにコア内部大容量ストレージ７４７またはＲＯＭ ７４５などの非一時的な性質のものであるコア７４０の特定のストレージに関連付けられた媒体とすることができる。本開示の様々な実施形態を実施するソフトウェアを、そのようなデバイスに記憶し、コア７４０によって実行することができる。コンピュータ可読メディアは、特定の必要性に応じて、１つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア７４０、具体的にはコア中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ７４６に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を変更することを含む、本明細書に記載される特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、本明細書に記載される特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりに、またはソフトウェアと一緒に動作することができる、回路において配線またはそれ以外の方法で具体化された論理（例えば、アクセラレータ７４４）の結果としての機能を提供することもできる。必要に応じて、ソフトウェアへの参照は論理を包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のための論理を具現化する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。
【0158】
図８は、いくつかの例においてクライアントエンドポイントとして様々なレガシーおよび異種没入型メディア対応ディスプレイをサポートするネットワークメディア配信システム８００を示す。図８の例では、コンテンツ取得モジュール８０１は、図６または図５の例示的な実施形態を使用してメディアをキャプチャまたは作成する。インジェストフォーマットは、コンテンツ準備モジュール８０２において作成され、次いで、送信モジュール８０３を使用してネットワークメディア配信システム内の１つまたは複数のクライアントエンドポイントに送信される。ゲートウェイ８０４は、顧客宅内機器にサービスして、ネットワークの様々なクライアントエンドポイントへのネットワークアクセスを提供することができる。セットトップボックス８０５はまた、ネットワークサービスプロバイダによる集約コンテンツへのアクセスを提供するための顧客宅内機器として機能し得る。無線復調器８０６は、（例えば、モバイルハンドセットおよびディスプレイ８１３と同様に）モバイルデバイスのためのモバイルネットワークアクセスポイントとして機能し得る。１つまたは複数の実施形態では、レガシー２Ｄテレビ８０７は、ゲートウェイ８０４、セットトップボックス８０５、またはＷｉＦｉルータ８０８に直接接続されてもよい。レガシー２Ｄディスプレイ８０９を有するコンピュータラップトップは、ＷｉＦｉルータ８０８に接続されたクライアントエンドポイントであってもよい。ヘッドマウント２Ｄ（ラスタベース）ディスプレイ８１０はまた、ルータ８０８に接続されてもよい。レンチキュラー光照射野ディスプレイ８１１はゲートウェイ８０４に接続されてもよい。ディスプレイ８１１は、ローカル計算ＧＰＵ８１１Ａ、ストレージデバイス８１１Ｂ、および光線ベースのレンチキュラー光学技術を使用して複数のビューを作成するビジュアルプレゼンテーションユニット８１１Ｃから構成されてもよい。ホログラフィックディスプレイ８１２は、セットトップボックス８０５に接続されてもよく、ローカル計算ＣＰＵ８１２Ａ、ＧＰＵ８１２Ｂ、ストレージデバイス８１２Ｃ、およびフレネルパターン、波ベースのホログラフィック視覚化ユニット８１２Ｄを含んでもよい。拡張現実ヘッドセット８１４は、無線復調器８０６に接続されてもよく、ＧＰＵ８１４Ａ、ストレージデバイス８１４Ｂ、バッテリ８１４Ｃ、および立体ビジュアルプレゼンテーションコンポーネント８１４Ｄを含んでもよい。高密度光照射野ディスプレイ８１５は、ＷｉＦｉルータ８０８に接続されてもよく、複数のＧＰＵ８１５Ａ、ＣＰＵ８１５Ｂ、およびストレージデバイス８１５Ｃ、視線追跡デバイス８１５Ｄ、カメラ８１５Ｅ、ならびに高密度光線ベースの光照射野パネル８１５Ｆを含んでもよい。
【0159】
図９は、図８に前述したようにレガシーおよび異種の没入型メディア対応ディスプレイにサービスを提供することができる没入型メディア配信モジュール９００の図を示す。コンテンツは、それぞれ自然コンテンツおよびＣＧＩコンテンツについて図５および図６に具現化されるモジュール９０１において作成または取得される。次いで、コンテンツは、ネットワークインジェストフォーマット作成モジュール９０２を使用してインジェストフォーマットに変換される。モジュール９０２のいくつかの例は、それぞれ自然コンテンツおよびＣＧＩコンテンツについて図５および図６に具体化されている。いくつかの例では、メディアアナライザ９１１は、インジェストメディアに対して適切なメディア分析を実行することができ、取り込まれたメディアは、メディアアナライザ９１１からの情報を記憶するために更新することができる。例では、インジェストメディアは、メディアアナライザ９１１のオプションのＩＭＳ表記を有するシーンアナライザによってＩＭＳメタデータで注釈付けされるように更新される。インジェストメディアフォーマットは、ネットワークに送信されて、ストレージデバイス９０３に記憶される。いくつかの他の例では、ストレージデバイスは没入型メディアコンテンツ制作者のネットワーク内に存在し、二等分する破線で示すように没入型メディアネットワーク配信モジュール９００によってリモートでアクセスされてもよい。クライアントおよびアプリケーション固有の情報は、いくつかの例では、リモートストレージデバイス９０４で利用可能であり、これは、例では代替クラウドネットワークに任意選択的に遠隔に存在してもよい。
【0160】
図９に示すように、ネットワークオーケストレータ９０５は、配信ネットワークの主要なタスクを実行するための情報の主要なソースおよびシンクとして機能する。この特定の実施形態では、ネットワークオーケストレータ９０５は、ネットワークの他のコンポーネントと統一されたフォーマットで実装されてもよい。それにもかかわらず、図９のネットワークオーケストレータ９０５によって描写されたタスクは、いくつかの例では開示された主題の要素を形成する。ネットワークオーケストレータ９０５は、ソフトウェアで実装することができ、プロセスを実行するために処理回路によって実行することができる。
【0161】
本開示のいくつかの態様によれば、ネットワークオーケストレータ９０５はさらに、クライアントデバイスの特性に従ってメディア（例えば、没入型メディア）の処理および配信を容易にするために、クライアントデバイスと通信するための双方向のメッセージプロトコルを用いることができる。さらに、双方向のメッセージプロトコルは、異なる配信チャネル、すなわち、制御プレーンチャネルとデータプレーンチャネルにわたって実装されてもよい。
【0162】
ネットワークオーケストレータ９０５は、図９のクライアント９０８（クライアントデバイス９０８）とも呼ばれる）などのクライアントデバイスの特徴および属性に関する情報を受信し、さらに、クライアント９０８上で現在実行されているアプリケーションに関する要件を収集する。この情報は、デバイス９０４から取得されてもよく、または代替の実施形態では、クライアント９０８に直接問い合わせることにより取得されてもよい。いくつかの例では、ネットワークオーケストレータ９０５とクライアント９０８との間の直接通信を可能にするために双方向のメッセージプロトコルが使用される。例えば、ネットワークオーケストレータ９０５は、クライアント９０８に直接クエリを送信することができる。いくつかの例では、スマートクライアント９０８Ｅは、クライアント９０８に代わってクライアントのステータスおよびフィードバックの収集および報告に参加することができる。スマートクライアント９０８Ｅは、処理回路によって実行されてプロセスを実行することができるソフトウェアに実装することができる。
【0163】
ネットワークオーケストレータ９０５はまた、図１０に記載されているメディア適応およびフラグメンテーションモジュール９１０を開始してそれと通信する。インジェストメディアがモジュール９１０によって適応され断片化されると、メディアは、いくつかの例では、配信ストレージデバイス９０９のために準備されたメディアとして示されたメディア間ストレージデバイスに転送される。配信メディアが準備され、デバイス９０９に記憶されると、ネットワークオーケストレータ９０５は、没入型クライアント９０８が、そのネットワークインターフェース９０８Ｂを介して、配信メディアおよび対応する記述情報９０６をプッシュ要求を通じて受信するか、またはクライアント９０８自身がストレージデバイス９０９からのメディア９０６のプル要求を開始し得ることを保証する。いくつかの例では、ネットワークオーケストレータ９０５は、「プッシュ」要求を実行するために、または没入型クライアント９０８による「プル」要求を開始するために、双方向メッセージインターフェース（図９には図示せず）を用いることができる。例では、没入型クライアント９０８は、ネットワークインターフェース９０８Ｂ、ＧＰＵ（またはＣＰＵ、図示せず）９０８Ｃ、およびストレージ９０８Ｄを使用することができる。さらに、没入型クライアント９０８は、ゲームエンジン９０８Ａを使用することができる。ゲームエンジン９０８Ａは、視覚化コンポーネント９０８Ａ１および物理エンジン９０８Ａ２をさらに使用することができる。ゲームエンジン９０８Ａは、ゲームエンジンＡＰＩおよびコールバック関数９０８Ｆを介してメディアの処理をまとめて編成するためにスマートクライアント９０８Ｅと通信する。メディアの配信フォーマットは、クライアント９０８のストレージデバイス、またはストレージキャッシュ９０８Ｄに記憶される。最後に、クライアント９０８は、視覚化コンポーネント９０８Ａ１を介してメディアを視覚的に提示する。
【0164】
没入型メディアを没入型クライアント９０８にストリーミングするプロセス全体を通して、ネットワークオーケストレータ９０５は、クライアント進捗およびステータスフィードバックチャネル９０７を介してクライアントの進捗のステータスを監視することができる。ステータスの監視は、双方向通信メッセージインターフェース（図９には図示せず）によって実行され得、それはスマートクライアント９０８Ｅに実装され得る。
【0165】
図１０は、いくつかの例において、取り込まれたソースメディアが没入型クライアント９０８の要件に一致するように適切に適応され得るように、メディア適応プロセス１０００の図を示す。メディア適応およびフラグメンテーションモジュール１００１は、没入型クライアント９０８のための適切な配信フォーマットへのインジェストメディアの適応を容易にする複数のコンポーネントからなる。図１０では、メディア適応およびフラグメンテーションモジュール１００１は、ネットワーク上の現在のトラフィック負荷を追跡するために入力ネットワークステータス１００５を受信する。没入型クライアント９０８の情報は、属性および特徴記述、アプリケーション特徴および記述、ならびにアプリケーションの現在ステータス、およびクライアントの錐台のジオメトリをインジェスト没入型メディアの補間機能にマッピングするのを助けるクライアントニューラルネットワークモデル（利用可能な場合）を含むことができる。このような情報は、図９に９０８Ｅとして示されているスマートクライアントインターフェースの補助により、双方向メッセージインターフェース（図１０に図示せず）によって得ることができる。メディア適応およびフラグメンテーションモジュール１００１は、適応された出力が作成されると、それがクライアントに適応されたメディアストレージデバイス１００６に記憶されることを保証する。メディアアナライザ１００７は、メディアの配信のために、アプリアオリで、またはネットワーク自動化プロセスの一部として実行され得るプロセスとして図１０に示されている。いくつかの例では、メディアアナライザ１００７は、任意選択のＩＭＳ表記の機能を有するシーンアナライザを含む。
【0166】
いくつかの例では、ネットワークオーケストレータ１００３は、適応プロセス１００１を開始する。メディア適応およびフラグメンテーションモジュール１００１は、論理コントローラ１００１Ｆによって制御される。例では、メディア適応およびフラグメンテーションモジュール１００１は、特定のインジェストソースメディアをクライアントに適したフォーマットに適応させるために、レンダラ１００１Ｂまたはニューラルネットワークプロセッサ１００１Ｃを使用する。例では、メディア適応およびフラグメンテーションモジュール１００１は、一例ではサーバデバイスなどのクライアントインターフェースモジュール１００３からクライアント情報１００４を受信する。クライアント情報１００４は、クライアント記述および現在ステータスを含むことができ、アプリケーション記述および現在ステータスを含むことができ、クライアントニューラルネットワークモデルを含むことができる。ニューラルネットワークプロセッサ１００１Ｃは、ニューラルネットワークモデル１００１Ａを使用する。このようなニューラルネットワークプロセッサ１００１Ｃの例は、ＭＰＩおよびＭＳＩに記載されているようなディープビューニューラルネットワークモデル生成器を含む。いくつかの例では、メディアは２Ｄフォーマットであるが、クライアントは３Ｄフォーマットを必要とし、次いで、ニューラルネットワークプロセッサ１００１Ｃは、ビデオに描写されたシーンの立体表現を導出するために２Ｄビデオ信号から高相関画像を使用するプロセスを呼び出すことができる。そのようなプロセスの例は、カリフォルニア大学Ｂｅｒｋｌｅｙ校で開発された１つまたは少数の画像プロセスからのニューラル放射場であり得る。適切なレンダラ１００１Ｂの一例は、メディア適応およびフラグメンテーションモジュール１００１と直接対話するように修正されるＯＴＯＹ Ｏｃｔａｎｅレンダラ（図示せず）の修正バージョンとすることができる。メディア適応およびフラグメンテーションモジュール１００１は、いくつかの例では、インジェストメディアのフォーマットおよび没入型クライアント９０８が必要とするフォーマットに関するこれらのツールの必要性に応じて、メディア圧縮器１００１Ｄおよびメディア解凍器１００１Ｅを使用することができる。
【0167】
図１１は、いくつかの例では、配信フォーマット作成プロセス１１００を示す。適応メディアパッケージングモジュール１１０３は、クライアント適応メディアストレージデバイス１１０２に現在常駐するメディア適応モジュール１１０１（図１０のプロセス１０００として示される）からのメディアをパッケージ化する。メディアパッケージングモジュール１１０３は、メディア適応モジュール１１０１からの適応されたメディアを、堅牢な配信フォーマット１１０４、例えば、図３または図４に示す例示的なフォーマットにフォーマットする。マニフェスト情報１１０４Ａは、クライアント９０８に、受信することが期待できるシーンデータアセットのリスト１１０４Ｂ、ならびに各アセットごとの周波数が、プレゼンテーションを含むシーンのセットにわたり使用されることを記述する任意選択のメタデータを提供する。リスト１１０４Ｂは、各々が対応するメタデータを有するビジュアルアセット、オーディオアセット、および触覚アセットのリストを示す。この例示的な実施形態では、リスト１１０４Ｂの各アセットは、プレゼンテーションを構成するすべてのシーンにわたって特定のアセットが使用された回数を示す数的頻度値を含むメタデータを参照する。
【0168】
図１２は、いくつかの例におけるパケット化器プロセスシステム１２００を示す。図１２の例では、パケット化器１２０２は、適応されたメディア１２０１を、ネットワーク上のクライアントエンドポイント１２０４として示される没入型クライアント９０８へのストリーミングに適した個々のパケット１２０３にフラグメント化する。
【0169】
図１３は、いくつかの例において、インジェストフォーマットの特定の没入型メディアを特定の没入型メディアクライアントエンドポイントのためのストリーミング可能で適切な配信フォーマットに適応させるネットワークのシーケンス図１３００を示す。
【0170】
図１３に示すコンポーネントおよび通信は以下のように説明される：クライアント１３０１（いくつかの例では、クライアントエンドポイント、クライアントデバイスとも呼ばれる）は、ネットワークオーケストレータ１３０２（いくつかの例では、ネットワーク配信インターフェースとも呼ばれる）へのメディア要求１３０８を開始する。メディア要求１３０８は、ＵＲＮまたは他の標準的な命名法のいずれかによってクライアント１３０１によって要求されたメディアを識別するための情報を含む。ネットワークオーケストレータ１３０２は、クライアント１３０１がその現在利用可能なリソース（クライアントの現在の動作ステータスを特徴付けるための計算、ストレージ、バッテリ充電率、および他の情報を含む）に関する情報を提供することを要求するプロファイル要求１３０９を用いてメディア要求１３０８に応答する。プロファイル要求１３０９はまた、ニューラルネットワーク推論のためにネットワークによって使用されて正しいメディアビューを抽出または補間してクライアントのプレゼンテーションシステムの特徴に一致させられ得る１つまたは複数のニューラルネットワークモデルがクライアントにおいて利用可能である場合、そのようなモデルをクライアントが提供することを要求する。クライアント１３０１からネットワークオーケストレータ１３０２への応答１３１０は、クライアントトークン、アプリケーショントークン、および１つまたは複数のニューラルネットワークモデルトークン（そのようなニューラルネットワークモデルトークンがクライアントで利用可能な場合）を提供する。次いで、ネットワークオーケストレータ１３０２は、セッションＩＤトークン１３１１をクライアント１３０１に提供する。次いで、ネットワークオーケストレータ１３０２は、要求１３０８で識別されたメディアのＵＲＮまたは標準命名法の名前を含むインジェストメディア要求１３１２を用いてインジェストメディアサーバ１３０３を要求する。インジェストメディアサーバ１３０３は、インジェストメディアトークンを含む応答１３１３で要求１３１２に応答する。次いで、ネットワークオーケストレータ１３０２は、呼び出し１３１４において応答１３１３からのメディアトークンをクライアント１３０１に提供する。次いで、ネットワークオーケストレータ１３０２は、適応インターフェース１３０４にインジェストメディアトークン、クライアントトークン、アプリケーショントークン、およびニューラルネットワークモデルトークン１３１５を提供することによって、メディア要求１３０８の適応プロセスを開始する。適応インターフェース１３０４は、インジェストメディアアセットへのアクセスを要求する呼び出し１３１６時のインジェストメディアトークンをインジェストメディアサーバ１３０３に提供することによって、インジェストメディアへのアクセスを要求する。インジェストメディアサーバ１３０３は、適応インターフェース１３０４に対する応答１３１７において、インジェストメディアアクセストークンを有する要求１３１６に応答する。次いで、適応インターフェース１３０４は、メディア適応モジュール１３０５が、１３１３において作成されたセッションＩＤトークンに対応するクライアント、アプリケーション、およびニューラルネットワーク推論モデルのためにインジェストメディアアクセストークンに位置するインジェストメディアを適応させることを要求する。適応インターフェース１３０４からメディア適応モジュール１３０５への要求１３１８は、必要なトークンとセッションＩＤとを含む。メディア適応モジュール１３０５は、ネットワークオーケストレータ１３０２に、適応されたメディアアクセストークンおよび更新時のセッションＩＤ１３１９を提供する。ネットワークオーケストレータ１３０２は、インターフェース呼び出し１３２０において、適応されたメディアアクセストークンおよびセッションＩＤをパッケージングモジュール１３０６に提供する。パッケージングモジュール１３０６は、応答１３２１内のパッケージ化されたメディアアクセストークンおよびセッションＩＤとともに、応答メッセージ１３２１をネットワークオーケストレータ１３０２に提供する。パッケージングモジュール１３０６は、応答１３２２において、セッションＩＤのためのパッケージ化されたアセット、ＵＲＮ、およびパッケージ化されたメディアアクセストークンをパッケージ化されたメディアサーバ１３０７に提供する。クライアント１３０１は、要求１３２３を実行して、応答メッセージ１３２１で受信したパッケージ化されたメディアアクセストークンに対応するメディアアセットのストリーミングを開始する。クライアント１３０１は、他の要求を実行し、メッセージ１３２４内のステータス更新をネットワークオーケストレータ１３０２に提供する。
【0171】
図１４は、いくつかの例におけるシーンベースのメディア処理のための仮想ネットワークおよびクライアントデバイス１４１８（ゲームエンジンクライアントデバイス１４１８とも呼ばれる）を有するメディアシステム１４００の図を示す。図４において、ＭＰＥＧスマートクライアントプロセス１４０１によって示されるようなスマートクライアントは、ゲームエンジンクライアントデバイス１４１８内の他のエンティティによって、および他のエンティティのために、ならびにゲームエンジンクライアントデバイス１４１８の外部に存在するエンティティのために処理されるべきメディアを準備するための中央コーディネータとして機能することができる。いくつかの例では、スマートクライアントは、ＭＰＥＧスマートクライアントプロセス１４０１（いくつかの例ではＭＰＥＧスマートクライアント１４０１とも呼ばれる）などのプロセスを実行するために処理回路によって実行することができるソフトウェア命令として実装される。ゲームエンジン１４０５は、主に、エンドユーザが体験するプレゼンテーションを作成するためにメディアをレンダリングする役割を担う。触覚コンポーネント１４１３、視覚化コンポーネント１４１５、およびオーディオコンポーネント１４１４は、ゲームエンジン１４０５が触覚、視覚、およびオーディオメディアをそれぞれレンダリングするのを支援することができる。エッジプロセッサまたはネットワークオーケストレータデバイス１４０８は、ネットワークインターフェースプロトコル１４２０を介してＭＰＥＧスマートクライアント１４０１に情報およびシステムメディアを伝達し、それからステータス更新および他の情報を受信することができる。ネットワークインターフェースプロトコル１４２０は、複数の通信チャネルおよびプロセスにわたって分割され、複数の通信プロトコルを使用することができる。いくつかの例では、ゲームエンジン１４０５は、制御論理１４０５１、ＧＰＵインターフェース１４０５２、物理エンジン１４０５３、レンダラ１４０５４、圧縮デコーダ１４０５５、およびデバイス固有プラグイン１４０５６を含むゲームエンジンデバイスである。ＭＰＥＧスマートクライアント１４０１は、ネットワークとクライアントデバイス１４１８との間の主要なインターフェースとしても機能する。例えば、ＭＰＥＧスマートクライアント１４０１は、ゲームエンジンＡＰＩおよびコールバック関数１４１７を使用してゲームエンジン１４０５と対話することができる。例では、ＭＰＥＧスマートクライアント１４０１は、ゲームエンジン１４０５に、再構成されたメディアを処理させるために、ゲームエンジン制御論理１４０５１によって管理されるゲームエンジンＡＰＩおよびコールバック関数１４１７を呼び出す前に、１４２０で伝達されたストリーミングメディアを再構成する役割を果たすことができる。そのような例では、ＭＰＥＧスマートクライアント１４０１は、順次圧縮デコーダプロセス１４０６を利用することができるクライアントメディア再構成プロセス１４０２を利用することができる。
【0172】
いくつかの他の例では、ＭＰＥＧスマートクライアント１４０１は、ＡＰＩおよびコールバック関数１４１７を呼び出す前に、１４２０でストリーミングされたパケット化メディアの再構成を担当しないことがある。そのような例では、ゲームエンジン１４０５は、メディアを解凍および再構成することができる。さらに、そのような例では、ゲームエンジン１４０５は、圧縮デコーダ１４０５５を使用してメディアを解凍することができる。再構成されたメディアを受信すると、ゲームエンジン制御論理１４０５１は、ＧＰＵインターフェース１４０５２を使用して、レンダラープロセス１４０５４を介してメディアをレンダリングすることができる。
【0173】
いくつかの例では、レンダリングされたメディアはアニメーション化され、次いで物理エンジン１４０５３は、シーンのアニメーションにおける物理の法則をシミュレートするためにゲームエンジン制御論理１４０５１によって使用され得る。
【0174】
いくつかの例では、クライアントデバイス１４１８によるメディアの処理全体を通して、ニューラルネットワークモデル１４２１は、ＭＰＥＧスマートクライアント１４０１によって調整された動作を支援するために、ニューラルネットワークプロセッサ１４０３によって採用され得る。いくつかの例では、再構成プロセス１４０２は、ニューラルネットワークモデル１４２１およびニューラルネットワークプロセッサ１４０３を使用してメディアを完全に再構成する必要があり得る。同様に、クライアントデバイス１４１８は、メディアが再構成された後にネットワークから受信したメディアをクライアント適応メディアキャッシュ１４０４にキャッシュするか、またはメディアがレンダリングされた後に、レンダリングされたメディアをレンダリングされたクライアントメディアキャッシュ１４０７にキャッシュするように、ユーザによってユーザインターフェース１４１２を介して構成することができる。さらに、いくつかの例では、ＭＰＥＧスマートクライアント１４０１は、システム提供の視覚的／非視覚的アセットを、ユーザ提供のメディアキャッシュ１４１６からのユーザ提供の視覚的／非視覚的アセットで置き換えることができる。そのような実施形態では、ユーザインターフェース１４１２は、ユーザ提供のビジュアル／非ビジュアルアセットをユーザ提供のメディアキャッシュ１４１９（例えば、クライアントデバイス１４１８の外部）からクライアントアクセス可能なユーザ提供のメディアキャッシュ１４１６（例えば、クライアントデバイス１４１８の内部）にロードするステップを実行するようにエンドユーザを誘導することができる。いくつかの実施形態では、ＭＰＥＧスマートクライアント１４０１は、レンダリングされたアセット（潜在的な再利用または他のクライアントとの共有のため）を、レンダリングされたメディアキャッシュ１４１１に記憶するように構成することができる。
【0175】
いくつかの例では、メディアアナライザ１４１０は、ゲームｇｎｇｉｎｅ １４０５によるレンダリングのための潜在的な優先順位付けのため、および／またはＭＰＥＧスマートクライアント１４０１を介した再構成処理のために、（ネットワーク内の）クライアント適応メディア１４０９を調べて、アセットの複雑度、またはアセットが１つまたは複数のシーン（図示せず）にわたって再利用される頻度を判定することができる。そのような例では、メディアアナライザ１４１０は、１４０９に記憶されたメディアに複雑度、優先順位付け、およびアセット使用頻度の情報を記憶する。
【0176】
本開示では、プロセスが示され説明されているが、プロセスはソフトウェアモジュール内の命令として実施することができ、命令はプロセスを実行するために処理回路によって実行することができることに留意されたい。本開示では、モジュールが示され説明されているが、モジュールは命令を有するソフトウェアモジュールとして実装することができ、命令はプロセスを実行するために処理回路によって実行することができることにも留意されたい。
【0177】
いくつかの関連する例では、様々な技術が、クライアントに滑らかなシーンの流れを提供するという問題に対処することができ、これには、クライアントデバイスからのシーンの要求とクライアントデバイスにおけるシーンの外観との間の遅延を低減するためのコンテンツ配信ネットワーク（ＣＤＮ）およびエッジネットワーク要素の使用、およびレンダリングの計算負荷をより強力な計算エンジンにオフロードするためのクラウド／エッジネットワーク要素の使用が含まれる。これらの技術は、クライアントデバイスのシーンの要求とクライアントデバイスでのシーンの出現との間の遅延を短縮することができるが、それらは達成するためにＣＤＮの利用可能性に依存し、没入シーンプロバイダは、ＣＤＮおよびネットワークエッジデバイスの使用の有無にかかわらず、シーンのデータをエンドデバイスにストリーミングすることができるようになる前に、シーンを要求するためにエンドデバイスに依存することができる。
【0178】
本開示の第１の態様によれば、没入型メディアストリーミングのための優先シーンストリーミング方法を、光照射野ベースのディスプレイ（例えば、光照射野ディスプレイ、ホログラフィックディスプレイなど）のための没入型メディアストリーミングに使用することができる。いくつかの例では、シーンの優先順位はシーン間の関係によって決定される。
【0179】
いくつかの例では、動作中、メディアサーバは、光照射野ベースのディスプレイを有するエンドデバイスなどのエンドデバイスに、メディアデータをストリーミングするために適応型ストリーミングを使用することができる。例では、エンドデバイスが没入環境全体を一度に要求すると、シーンが利用可能になる順序は許容可能なユーザ体験を提供しない場合がある。
【0180】
図１５は、いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。図１５の例では、シーンベースの没入型メディアは、没入型体験のためにレンダリングされる個々のシーンのリストを含むシーンマニフェスト１５０１によって表されている。シーンマニフェスト１５０１は、メディアサーバ１５０２によってクラウド１５０３（例えば、ネットワーククラウド）を介してエンドデバイス１５０４に提供される。図１５の例では、シーンは、シーンマニフェスト１５０１内のシーン番号順に、エンドデバイス１５０４によって取得され、エンドデバイス１５０４に送信されている。例えば、シーンマニフェスト１５０１内のシーンは、シーン１、シーン２、シーン３、シーン４、シーン５などによって順序付けられる。シーンは、シーン１（１５０５によって示されている）、シーン２（１５０６によって示されている）、シーン３（１５０７によって示されている）、シーン４（１５０８によって示されている）、シーン５（１５０９によって示されている）などの順序で取得され、エンドデバイス１５０４に送信される。
【0181】
いくつかの例では、シーンマニフェスト内の各シーンは、例えばシーンのメタデータに、シーンの複雑度を示す複雑度の値およびシーンの優先度を示す優先度の値を含むことができる。
【0182】
図１６は、いくつかの例におけるシーンマニフェストのシーンに、複雑度の値および優先度の値を追加するための図を示す。図１６の例では、シーン複雑度アナライザ１６０２を使用して各シーンの複雑度を分析し、各シーンに複雑度の値を割り当て、次いでシーン優先順位付け部（１６０３）を使用して各シーンに優先度の値を割り当てる。例えば、第１のシーンマニフェスト１６０１は、没入型体験のためにレンダリングされる複数のシーンを含む。第１のシーンマニフェスト１６０１は、複数のシーンの各シーンの複雑度の値（ＳＣとして示されている）を決定するシーン複雑度アナライザ１６０２によって処理され、次いで、複数のシーンの各シーンに優先度の値（Ｐｒｉｏｒｉｔｙとして示されている）を割り当てるシーン優先順位付け部１６０３によって処理され、第２のシーンマニフェスト１６０４をもたらす。第２のシーンマニフェスト１６０４は、それぞれの複雑度の値および優先度の値を有する複数のシーンを含む。第２のシーンマニフェスト１６０４内の複数のシーンは、複雑度の値および／または優先度の値に従って再度順序付けされる。例えば、シーン５は、（１６０５によって示されるように）第１のシーンマニフェスト１６０１において第５シーンであるように順序付けられ、（１６０６によって示されるように）優先度の値に従って第２のシーンマニフェスト１６０４において第３シーンであるように再度順序付けされる。
【0183】
さらに、いくつかの例では、優先度認識メディアサーバを使用して、シーンの優先度の値に従った順序でシーンをエンドデバイスにストリーミングすることができる。
【0184】
図１７は、いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。図１７の例では、シーンベースの没入型メディアは、没入型体験のためにレンダリングされる個々のシーンのリストを含むシーンマニフェスト１７０１によって表されている。複数のシーンの各々は、分析された複雑度の値（ＳＣによって示される）および割り当てられた優先度の値（Ｐｒｉｏｒｉｔｙによって示される）を有する。シーンマニフェスト１７０１は、優先度認識メディアサーバ１７０２によって、クラウド１７０３を介してエンドデバイス１７０４に提供される。例では、シーンは、シーンマニフェスト１７０１内の優先度の値に従った順序で、エンドデバイス１７０４によって取得され、エンドデバイス１７０４に送信されている。例えば、シーンマニフェスト１７０１内のシーンは、優先度の値に従って順序付けられる。シーンは、シーン７（１７０５によって示されている）、シーン８（１７０６によって示されている）、シーン５（１７０７によって示されている）、シーン２（１７０８によって示されている）、シーン１１（１７０９によって示されている）などの順序で取得され、エンドデバイス１７０４に送信される。
【0185】
本開示の態様によれば、シーン優先順位ベースのストリーミング技術を使用して、没入環境内のすべてのシーンを同時に要求することと比較して利点を提供することができる。これは、多くの場合、エンドデバイスがシーンを「順序の乱れ」でレンダリングする必要があり得る理由があるためである。例えば、シーンは、没入環境で一般的に使用される最も有用な順序で最初に順序付けられてもよく、没入環境は、シーンを最も有用な順序とは異なるようにレンダリングする必要があり得る分岐、ループなどを含んでもよい。例では、シーンが最も有用な順序で転送されるときに許容可能なユーザ体験を潜在的に提供するのに十分な帯域幅があり、必要なシーンが既に要求されている１つまたは複数のシーンの背後でキューに入れられる場合があり得る。別の例では、帯域幅が制限されている場合、シーン優先度ベースのストリーミング技術は、ユーザ体験を向上させるためにより役立ち得る。
【0186】
シーン優先順位付け部は、シーンの優先度の値を決定するために任意の適切な技術を使用することができることに留意されたい。いくつかの例では、シーン優先順位付け部は、優先順位付けの一部としてシーン間の関係を使用することができる。
【0187】
図１８は、いくつかの例におけるシーンの優先度を例示するための仮想美術館１８０１の図を示す。仮想美術館１８０１は、１階１８０２および上階１８０３と、その１階１８０２と上階１８０３との間の階段吹き抜け１８０４とを有する。例では、没入ツアーがロビー１８０５で始まる。ロビー１８０５は、５つの出口、すなわち、仮想美術館１８０１を退出するための第１の出口、階段吹き抜け１８０４にアクセスするための第２の出口、１階展示物Ｅにアクセスするための第３の出口、１階展示物Ｄにアクセスするための第４の出口、および、１階１８０２の１階展示物Ｈにアクセスするための第５の出口を有する。例では、１階展示物Ｅ、Ｄ、およびＨは、仮想観光客がロビー１８０５を出るときにレンダリングされる可能な「次の」シーンであるため、シーン優先順位付け部は、ロビー１８０５の第１のシーンに合理的に優先順位付けし、次に階段吹き抜け１８０４の第２のシーン、次に１階展示物Ｅ、Ｄ、およびＨの第３のシーンに優先順位付けすることができる。
【0188】
いくつかの例では、シーン優先順位付け部は、同じクライアントまたは他のクライアントでの以前の体験に基づいてシーンの優先度を調整することができる。図１８を参照すると、例では、仮想美術館１８０１は、特に人気のある展示物（例えば、上階の展示物Ｉ）を上階展示室１８０８に開き、シーン優先順位付け部は、多くの仮想観光客が人気のある展示物に真っ直ぐに向かっていることを観察することができる。次いで、シーン優先順位付け部は、以前に提供された優先度を調整することができる。例えば、シーン優先順位付け部は、ロビー１８０５の第１のシーン、階段吹き抜け１８０４の第２のシーン、そして上階展示室１８０８に向かう途中の上階１８０３のシーン、例えば、上階の展示物Ｊのシーンや上階の展示物Ｉのシーンに優先順位付けすることができる。
【0189】
いくつかの例では、没入型メディアのためにメディアサーバによって提供されるコンテンツ記述は、２つの部分、すなわち、利用可能なシーンのマニフェストを記述するメディアプレゼンテーション記述（ＭＰＤ）、様々な代替案、および他の特性、ならびに様々なアセットをもつ複数のシーンを含むことができる。いくつかの例では、エンドデバイスは、最初に再生する没入型メディアのＭＰＤを取得することができる。エンドデバイスは、ＭＰＤを解析し、様々なアセット、シーンタイミング、メディアコンテンツ利用可能性、メディアタイプ、メディアコンテンツの様々な符号化代替物、サポートされる最小および最大帯域幅、ならびに他のコンテンツ特性を有する様々なシーンについて学習することができる。ＭＰＤから取得された情報を使用して、エンドデバイスは、いつ、どの利用可能な帯域幅でどのシーンをレンダリングすべきかを適切に選択することができる。エンドデバイスは、帯域幅変動を連続的に測定することができ、測定値に応じて、エンドデバイスは、より少ないまたはより多いアセットを含む代替シーンをフェッチすることによって、利用可能な帯域幅にどのように適応するかを決定する。
【0190】
いくつかの例では、シーンベースの没入型メディアのシーンの優先度の値は、サーバデバイスまたは送信者デバイスによって定義され、シーンベースの没入型メディアを再生するためのセッション中にエンドデバイスによって変更され得る。
【0191】
本開示の第２の態様によれば、光照射野ベースのディスプレイ用のシーンベースの没入型メディアのシーンの優先度の値を動的に調整することができる。いくつかの例では、優先度の値は、（クライアントデバイスとも呼ばれるエンドデバイスからのフィードバックに基づいて更新することができる。例えば、シーン優先順位付け部は、エンドデバイスからフィードバックを受信することができ、フィードバックに基づいてシーンの優先度の値を動的に変更することができる。
【0192】
図１９は、いくつかの例における没入型ゲーム１９０１などのシーンベースの没入型メディアのシーンの図を示す。シーンの関係は、シーンを結ぶ点線で示されている。例では、ゲームの人物１９０２がスポーン領域１９０３に現れ、そのとき、最も高い優先度を有するシーンがスポーン領域１９０３のシーンである。スポーン領域１９０３のシーンは、シーン１、シーン１１、およびシーン２０などの、スポーン領域１９０３に直接接続されたシーンが続くことができ、そこでゲームの人物１９０２が出発する。ゲームの人物１９０２がシーン１（１９０４によって示される）に移動すると、シーン２（１９０５によって示される）などのシーン１に直接接続されたシーンが、ここでは最も優先度が高い。ゲームの人物１９０２がシーン２に移動すると、シーン１２およびシーン５などのシーン２によって直接接続されたシーンが、ここでは最も優先度が高い。
【0193】
いくつかの例では、ゲームの人物１９０２が、まだエンドデバイスにストリーミングされていない新しいシーンに移動すると、エンドデバイスはゲームの人物の現在位置をシーン優先順位付け部に送信することができ、その結果、現在位置を優先順位付けに含めることができる。
【0194】
図２０は、いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。図２０の例では、シーンベースの没入型メディアは、没入型体験のためにレンダリングされる個々のシーンのリストを含むシーンマニフェスト２００１によって表されている。複数のシーンの各々は、分析された複雑度の値（ＳＣによって示される）および割り当てられた優先度の値（Ｐｒｉｏｒｉｔｙによって示される）を有する。シーンマニフェスト２００１は、優先度認識メディアサーバ２００２によって、クラウド２００３を介してエンドデバイス２００４に提供される。図２０の例では、シーンは、シーンマニフェスト２００１の優先度の順で、エンドデバイス２００４によって取得され、エンドデバイス２００４に送信されている。
【0195】
さらに、図１９の没入型ゲームを例にとると、エンドデバイス２００４は、ゲームの人物の現在位置２０１０をシーン優先順位付け部２０１１に送信することができる。次いで、シーン優先順位付け部２０１１は、シーンマニフェスト２００１におけるシーン優先順位への更新のための計算に現在位置情報を含めることができる。
【0196】
上述した光照射野ベースメディアの適応型ストリーミングのための技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実施することができ、１つまたは複数のコンピュータ可読媒体に物理的に記憶できることに留意されたい。
【0197】
いくつかの例では、光照射野ベースの表示のための適応型ストリーミングのための方法は、光照射野ベースの表示のための没入型メディアの複数のシーンにそれぞれの優先度の値を割り当てること、および優先度の値に基づいて複数のシーンを適応させてストリーミングすることを含む。例では、割り当てられた優先度の値に基づいて、複数のシーンが転送（例えば、ストリーミング）される。いくつかの例では、シーンの優先度の値は、シーンをレンダリングする必要性の尤度に基づいて割り当てられる。いくつかの例では、シーンの優先度の値は、エンドデバイスからのフィードバックに基づいて動的に調整される。例えば、シーンの優先度の値は、例えばゲームの人物の位置、すなわちクライアントデバイスからのフィードバックに基づいて調整することができる。
【0198】
いくつかの例では、利用可能なネットワーク帯域幅が制限されていることに応じて、最も高い優先度を有するシーンが次のシーンとしてストリーミングされるように選択される。いくつかの例では、利用可能なネットワーク帯域幅が制限されていることに応じて、方法は、必要とされる可能性が低い複数のシーンを識別すること、および識別された複数のシーンが必要とされる可能性の閾値を超えるまで、識別された複数のシーンをストリーミングから控えることを含む。
【0199】
図２１は、本開示の実施形態によるプロセス２１００の概要を示すフローチャートを示す。プロセス２１００は、ネットワークのサーバデバイスなどによって、ネットワークにおいて実行することができる。いくつかの実施形態では、プロセス２１００がソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、プロセス２１００を実行する。プロセスはＳ２１０１において始まり、Ｓ２１１０に進む。
【0200】
Ｓ２１１０において、光照射野ベースのディスプレイで再生するためのシーンベースの没入型メディアが受信される。シーンベースの没入型メディアは複数のシーンを含む。
【0201】
Ｓ２１２０では、シーンベースの没入型メディアの複数のシーンにそれぞれ優先度の値が割り当てられる。
【0202】
Ｓ２１３０で、優先度の値に従って、光照射野ベースの表示で複数のシーンをエンドデバイスにストリーミングする順序が決定される。
【0203】
いくつかの例では、複数のシーンは、シーンマニフェストに初期の順序を有し、優先度の値に従って再度順位付けされ、再度順位付けされたシーンは、エンドデバイスに送信（ストリーミング）される。
【0204】
いくつかの例では、優先度認識ネットワークデバイスは、複数のシーンの中の未送信であるシーンのサブセットから、最も高い優先度の値を有する最も高い優先度のシーンを選択し、最も高い優先度のシーンをエンドデバイスに送信することができる。
【0205】
いくつかの例では、シーンに対する優先度の値は、シーンをレンダリングする必要性の尤度に基づいて決定される。
【0206】
いくつかの例では、利用可能なネットワーク帯域幅が制限されていると判定される。複数のシーンの未送信であるシーンのサブセットから、最も高い優先度の値を有する最も高い優先度のシーンが選択される。最も高い優先度のシーンは、利用可能なネットワーク帯域幅が制限されていることに応じて送信される。
【0207】
いくつかの例では、利用可能なネットワーク帯域幅が制限されていると判定される。優先度の値に基づいて、次にレンダリングに必要とされる可能性が低い複数のシーンのサブセットが識別される。複数のシーンのサブセットは、利用可能なネットワーク帯域幅が制限されていることに応じてストリーミングを控える。
【0208】
いくつかの例では、第１のシーンと第２のシーンとの間の関係に応じて、第２の優先度の値を有する第２のシーンに基づいて、第１の優先度の値が、第１のシーンに割り当てられる。
【0209】
いくつかの例では、フィードバック信号がエンドデバイスから受信される。フィードバック信号に基づいて、複数のシーンのうち少なくともシーンの優先度の値が調整される。例では、現在のシーンが第１のシーンに関連する第２のシーンであることを示すフィードバック信号に応じて、第１のシーンに最高の優先度が割り当てられる。別の例では、フィードバック信号は、エンドデバイスによって決定される優先度の調整を示す。
【0210】
次いで、プロセス２１００はＳ２１９９に進み、終了する。
【0211】
プロセス２１００は、様々なシナリオに適切に適合させることができ、それに応じてプロセス２１００のステップを調整することができる。プロセス２１００のステップのうちの１つまたは複数を、適合、省略、繰り返し、および／または組み合わせることができる。プロセス２１００を実施するために、任意の適切な順序を使用することができる。追加のステップが追加され得る。
【0212】
図２２は、本開示の実施形態によるプロセス２２００の概要を示すフローチャートを示す。プロセス２２００は、エンドデバイス（クライアントデバイスとも呼ばれる）によって実行することができる。いくつかの実施形態では、プロセス２２００がソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、プロセス２２００を実行する。プロセスはＳ２２０１で開始し、Ｓ２２１０に進む。
【0213】
Ｓ２２１０において、光照射野ベースのディスプレイを有するエンドデバイスは、光照射野ベースのディスプレイによって再生するためのシーンベースの没入型メディアのメディアプレゼンテーション記述（ＭＰＤ）を受信する。シーンベースの没入型メディアは複数のシーンを含み、ＭＰＤは複数のシーンをエンドデバイスに順番にストリーミングすることを示す。
【0214】
Ｓ２２２０において、帯域幅の利用可能性が検出される。
【0215】
Ｓ２２３０において、少なくとも１つのシーンの順序変更が、帯域幅の利用可能性に基づいて決定される。
【0216】
Ｓ２２４０において、少なくとも１つのシーンの順序変更を示すフィードバック信号が送信される。
【0217】
いくつかの例では、フィードバック信号は、レンダリングする次のシーンを示す。
【0218】
いくつかの例では、フィードバック信号は、少なくとも１つのシーンの優先度の値の調整を示す。
【0219】
いくつかの例では、フィードバック信号は現在のシーンを示す。
【0220】
次いで、プロセス２２００はＳ２２９９に進み、終了する。
【0221】
プロセス２２００は、様々なシナリオに適切に適合させることができ、それに応じてプロセス２２００のステップを調整することができる。プロセス２２００のステップのうちの１つまたは複数を、適合、省略、繰り返し、および／または組み合わせることができる。プロセス２２００を実施するために、任意の適切な順序を使用することができる。追加のステップが追加され得る。
【0222】
本開示のいくつかの態様はまた、光照射野ベースのディスプレイのための没入型メディアストリーミングなど、没入型メディアストリーミングのための優先順位付けされたアセットストリーミング方法を提供する。
【0223】
クライアントデバイスからのクライアント要求に応じたクライアントデバイス（エンドデバイスとも呼ばれる）におけるシーンの出現は、クライアントデバイスがシーンをレンダリングできるように、シーンがクライアントデバイスに依存するアセットの利用可能性に依存し得ることに留意されたい。アセットをクライアントデバイスに転送するのに必要な時間の長さを最小限に抑えるために、いくつかの例では、アセットに優先順位付けすることができる。
【0224】
本開示の第３の態様によれば、光照射野ベースのディスプレイ（例えば、光照射野ディスプレイ、ホログラフィックディスプレイなど）用のシーンベースの没入型メディアなどのシーンベースの没入型メディアのアセットは、アセットのアセットサイズなどのアセットの属性に基づいて、優先順位付けすることができる。
【0225】
いくつかの例では、動作中、メディアサーバは、光照射野ベースのディスプレイに適応型ストリーミングを使用することができる。適応型ストリーミングは、エンドデバイスへのシーンの転送に依存し、順次、各シーンを構成するアセットの転送に依存していく。
【0226】
図２３は、例におけるシーンのアセットへのマッピングを伴うシーンマニフェスト２３０１の図を示す。シーンマニフェスト２３０１は、複数のシーン２３０３を含み、複数のシーン２３０３の各々は、アセット２３０２のセットの中の１つまたは複数のアセットに依存する。例えば、シーン２は、アセット２３０２のセットの中のアセットＢ、Ｄ、Ｅ、Ｆ、およびＧに依存する。
【0227】
いくつかの例では、エンドデバイスがシーンのアセットを要求すると、アセットは順番にエンドデバイスにストリーミングされる。
【0228】
図２４は、いくつかの例におけるシーンのストリーミングアセットの図を示す。図２４では、シーン２４０１は、アセットＡ（２４０５で示す）、アセットＢ（２４０６で示す）、アセットＣ（２４０７で示す）、およびアセットＤ（２４０８で示す）などの複数のアセットに依存している。複数のアセットは、メディアサーバ２４０２によってクラウド２４０３を介してエンドデバイス２４０４に提供される。図２４の例では、シーン２４０１の複数のアセットは、アセットＡ、アセットＢ、アセットＣ、およびアセットＤによって順序付けられている。複数のアセットは、アセットＡ、アセットＢ、アセットＣ、アセットＤの順序など、シーン２４０１のアセットの順序によって取得され、エンドデバイス１５０４に送信される。アセットがエンドデバイスで利用可能になるアセットの順序は、許容可能なユーザ体験を提供しない可能性がある。
【0229】
本開示の態様によれば、シーンのアセットがエンドデバイスにストリーミングされる前に、アセット優先順位付け部を使用してシーンに必要なアセットを分析し、アセットごとに優先度の値を割り当てることができる。
【0230】
図２５は、いくつかの例におけるシーンのアセットを再度順位付けするための図を示す。図２５の例では、シーンの中の各アセットに優先度の値を割り当てるために、アセット優先順位付け部２５０２が使用される。例えば、シーンは、アセットＡ（２５０４で示す）、アセットＢ（２５０５で示す）、アセットＣ（２５０６で示す）、およびアセットＤ（２５０７で示す）と呼ばれる４つのアセットに依存する。最初は、２５０１に示すように、４つのアセットはアセットＡ、アセットＢ、アセットＣ、およびアセットＤのアセット順になっている。アセット優先順位付け部２５０２は、第１の優先度の値（例えば、２）をアセットＡに割り当て、第２の優先度の値（例えば、４、最高の優先度の値）をアセットＢに割り当て、第３の優先度の値（例えば、１、最も低い優先度の値）をアセットＣに割り当て、第４の優先度の値（例えば、３）をアセットＤに割り当てる。４つのアセットは、２５０３に示すように、アセットＢ、アセットＤ、アセットＡ、およびアセットＣの順など、優先度の値に従って再度順位付けすることができる。
【0231】
例では、再度順位付けされたアセットは、メディアサーバによってエンドデバイスにストリーミングすることができる。
【0232】
より高い優先度を表すために本開示ではより大きな値が使用されているが、他の適切な優先度番号付け技術を使用してアセットの優先度を提示することができることに留意されたい。
【0233】
図２６は、いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。図２６の例では、シーンベースの没入型メディアのシーンは、２６０１で示すように、アセットＢ、アセットＤ、アセットＡ、およびアセットＣの上位から下位の順など、４つのアセットの優先度の値に従って再度順位付けされた４つのアセットを含む。４つのアセットは、メディアサーバ２６０２からクラウド２６０３を介してエンドデバイス２６０４に優先度の値の順に提供される。例えば、４つのアセットは、アセットＢ（２６０５で示す）、アセットＤ（２６０６で示す）、アセットＡ（２６０７で示す）、およびアセットＣ（２６０８で示す）の順に取得されてエンドデバイス２６０４に送信される。
【0234】
本開示の態様によれば、アセット優先順位付け部２５０２は、各アセットのバイト単位のサイズに基づいて、アセットに優先度の値を割り当てることができる。例では、最小のアセットに最高の優先度の値が割り当てられるため、より大きなアセットが到着するのをエンドデバイスがいまだに待っている間に、より多くのアセット（例えば、より小さいアセット）をより迅速にエンドユーザに示す順序で、一連のアセットをレンダリングすることができる。図２６を例に用いると、アセットＢはバイト数が最も少なく（サイズが最も小さく）、アセットＣはバイト数が最も多い（サイズが最も大きい）。図２４の第１のストリーミング順序と図２６の第２のストリーミング順序とを比較すると、図２４では、比較的大きなアセットが最初にストリーミングされ、比較的大きなアセットが到着するまで、エンドデバイス２４０４は何も示す必要がない可能性があるため、エンドデバイス２６０４は、エンドデバイス２４０４よりも早くアセットを示し始めることができる。
【0235】
いくつかの例では、アセット優先順位付け部によって割り当てられた優先順位付けはまた、ＭＰＤのマニフェストに含まれてもよい。いくつかの例では、シーンベースの没入型メディアのシーンにおけるアセットのアセット優先度の値は、サーバデバイスまたは送信者デバイスによって定義でき、アセット優先度の値はシーンベースの没入型メディアを再生するためのセッションの最中に、クライアントデバイスによって変更できる。
【0236】
本開示のいくつかの態様は、割り当てられたアセット優先度の値に従った、光照射野ベースのディスプレイ（例えば、光照射野ディスプレイまたはホログラフィックディスプレイ）のための動的適応型ストリーミングのための方法を提供する。アセット優先度の値を割り当てられたアセットは、アセット優先度の値に基づいて送信（ストリーミング）することができる。いくつかの例では、アセット優先度の値は、アセットのサイズに基づいてアセットに割り当てられる。いくつかの例では、アセット優先度の値は、１つまたは複数のクライアントデバイスからのフィードバックに基づいて調整される。
【0237】
本開示の第４の態様によれば、光照射野ベースのディスプレイ（例えば、光照射野ディスプレイ、ホログラフィックディスプレイなど）用のシーンベースの没入型メディアなどのシーンベースの没入型メディアのアセットは、アセットの可視性に基づいて優先順位付けすることができる。
【0238】
本開示の態様によれば、ストリームのすべてのアセットがどの時点においても等しく適切であるわけではなく、その理由は、いくつかのアセットがある時点でエンドユーザに見えない可能性があるためである。いくつかの例では、ストリーミングの隠れたアセットよりも可視のアセットを優先することで、適切なアセット（例えば、可視のアセット）がエンドデバイス（例えば、クライアントデバイス）で利用可能になるまでの遅延を減らすことができる。いくつかの例では、アセットの優先度の値は、シーンのデフォルトのエントリ位置などのカメラポジションからのアセットの可視性に従って、決定される。
【0239】
いくつかの例では、エンドユーザ（いくつかの例ではカメラとも呼ばれる）に関連付けられた仮想の人物がエントリ位置（例えば、シーンのデフォルトのエントリ位置）でシーンに入ると、シーンのいくつかのアセットが即座に見えるが、他のアセットは、エントリ位置から見るとき、またはカメラがエントリ位置に配置されているときには見えない場合がある。
【0240】
図２７は、いくつかの例におけるシーン２７０１の図を示す。カメラは、エンドユーザに対応する視認位置で仮想の人物を表現する。カメラは、デフォルトのエントリ位置２７０２でシーン２７０１に入る。シーン２７０１は、アセットＡ、アセットＢ、アセットＣ、およびアセットＤを含む。アセットＡは、２７０３で示すように、床から天井までの本棚のセットである。アセットＢは、２７０４に示すようなコンピュータデスクである。アセットＣは、２７０５に示すような会議テーブルである。アセットＤは、２７０６で示すように、別のシーンへの出入り口である。
【0241】
図２７の例では、アセットＢはアセットＡによって完全に隠されているため、アセットＢはデフォルトの位置２７０２から見えない。図２７では、アセットＢはシェーディングされて、アセットＢがデフォルトのエントリ位置２７０２でカメラから見えないことを示す。
【0242】
いくつかの例では、シーンのアセットがエンドデバイスにストリーミングされる前に、アセット優先順位付け部を使用してシーンのアセットを分析し、シーンのデフォルトのエントリ位置に関するアセットの可視性に従って各アセットの優先度の値を割り当てる。
【0243】
図２８は、いくつかの例におけるシーン（例えば、シーン２７０１）のアセットを再度順位付けするための図を示す。図２８の例では、シーンの各アセットに優先度の値を割り当てるために、アセット優先順位付け部２８０２が使用される。例えば、シーン（例えば、図２７のシーン２７０１）は、アセットＡ（２８０４で示す）、アセットＢ（２８０５で示す）、アセットＣ（２８０６で示す）、およびアセットＤ（２８０７で示す）に依存している。最初は、２８０１で示すように、４つのアセットはアセットＡ、アセットＢ、アセットＣ、アセットＤのアセット順になっている。アセット優先順位付け部２８０２は、シーンに入るためのデフォルトのエントリ位置に従ってアセットの可視性を分析する。例えば、アセットＡ、ＣおよびＤはデフォルトのエントリ位置から見え、アセットＢはデフォルトのエントリ位置から見えない。アセット優先順位付け部２８０２は、可視性に応じてアセットに優先度の値を割り当てる。例えば、アセット優先順位付け部２８０２は、アセットＡ、アセットＣ、およびアセットＤに高い優先度の値を割り当て、アセットＢに低い優先度の値を割り当てる。４つのアセットは、２８０３に示すように、アセットＡ、アセットＣ、アセットＤ、およびアセットＢの順など、優先度の値に従って再度順位付けすることができる。
【0244】
例では、再度順位付けされたアセットは、メディアサーバによってエンドデバイスにストリーミングすることができる。
【0245】
図２９は、いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。図２９の例では、シーンベースの没入型メディアのシーン（例えば、シーン２７０１）は、２９０１で示すように、アセットＡ、アセットＣ、アセットＤ、およびアセットＢの上位から下位の順など、４つのアセットの優先度の値に従って再度順位付けされた４つのアセットを含む。４つのアセットは、メディアサーバ２９０２からクラウド２９０３を介してエンドデバイス２９０４に優先度の値の順に提供される。例えば、４つのアセットは、アセットＡ（２９０５で示す）、アセットＣ（２９０６で示す）、アセットＤ（２９０７で示す）、およびアセットＢ（２９０８で示す）の順に取得されてエンドデバイス２９０４に送信される。
【0246】
本開示の態様によれば、アセット優先順位付け部２８０２は、アセットの可視性に基づいてシーンのアセットに優先度の値を割り当てることができる。例では、可視アセットに最も高い優先度の値が割り当てられているため、可視アセットは最初にストリーミングされ、レンダリングのためにエンドユーザにより迅速に到達することができる。図２４の第１のストリーミング順序と図２９の第２のストリーミング順序とを比較すると、エンドデバイス２９０４は、エンドデバイス２４０４よりも早くシーンの可視アセット示し始めることができる。
【0247】
いくつかの例では、アセット優先順位付け部２８０２は、アセットが別のアセットによってカメラビューからブロックされているかどうかに基づいて、アセットに優先度の値を割り当てることができる。優先度の値は、「最初に可視アセット、すべての可視アセットの後に非可視アセット」というポリシーに従って割り当てることができ、その結果、一連のアセットを、可視アセットのすべてをより迅速にエンドユーザに示す順序でレンダリングすることができる。
【0248】
いくつかの例では、他のアセットがこのアセットと光源との間にあるため、アセット優先順位付け部２８０２は、他のアセットがこのアセットを遮るかどうかに基づいて、アセットに優先度の値を割り当てることができる。優先度の値は、「最初に可視アセット、すべての可視アセットの後に非可視アセット」というポリシーに従って割り当てることができ、その結果、一連のアセットを、可視アセットのすべてをより迅速にエンドユーザに示す順序でレンダリングすることができる。
【0249】
図３０は、いくつかの例におけるシーン３００１の図を示す。シーン３００１は、図２７のシーン２７０１と同様である。カメラは、エンドユーザに対応する視認位置で仮想の人物を表現する。カメラは、デフォルトのエントリ位置３００２でシーン３００１に入る。シーン３００１は、アセットＡ、アセットＢ、アセットＣ、およびアセットＤを含む。アセットＡは、３００３で示すように、床から天井までの本棚のセットである。アセットＢは、３００４に示すようなコンピュータデスクである。アセットＣは、３００５に示すような会議テーブルである。アセットＤは、３００６で示すように、別のシーンへの出入り口である。アセットＢはアセットＡによって完全に隠されているため、アセットＢはデフォルトのエントリ位置３００２からは見えない。図３０では、アセットＢはシェーディングされて、アセットＢがデフォルトのエントリ位置３００２でカメラから見えないことを示す。
【0250】
図３０は、光源３００７をさらに示す。光源３００７の位置により、会議テーブル３００５および出入り口３００６は、両方とも本棚３００３の影によって遮られる（例えば、３００８から３００９の間）。したがって、アセットＣとアセットＤはカメラから見えないため、アセット優先順位付け部２８０２は、例において、アセットＣとアセットＤの優先順位を下げることができる。
【0251】
いくつかの例では、メディアサーバは、２つの部分、つまり利用可能なシーンのマニフェストを記述するメディアプレゼンテーション記述（ＭＰＤ）、様々な代替、および他の特性、ならびに様々なアセットを持つ複数のシーンのコンテンツ記述を有することができる。アセット優先順位付け部によって割り当てられた優先順位付けはまた、ＭＰＤのマニフェストに含まれてもよい。
【0252】
いくつかの例では、シーンベースの没入型メディアのシーンのアセットの優先度の値は、サーバデバイスまたは送信者デバイスによって定義され得る。アセットの優先度の値は、ＭＰＤに含まれてクライアントデバイスに提供されてもよい。例では、優先度の値は、シーンベースの没入型メディアを再生するセッション中にクライアントデバイスによって変更され得る。
【0253】
本開示のいくつかの態様は、割り当てられたアセット優先度の値に従った光照射野ベースの表示のための動的適応型ストリーミングのための方法を提供する。アセットは、割り当てられたアセット優先度の値に基づいて送信（例えば、ストリーミング）できる。いくつかの例では、アセットに割り当てられたアセット優先度の値は、アセットが１つまたは複数の他のアセットによってカメラビューからブロックされてそのため見えないことに応じて下げられる。いくつかの例では、アセットに対するアセット優先度の値は、アセットが１つまたは複数の光源から１つまたは複数の他のアセットによって遮られ、カメラには見えない場合に下げられる。いくつかの例では、優先度の値（アセット優先度の値）は、更新されたカメラポジションなどのクライアントデバイスからのフィードバックに基づいて調整される。
【0254】
本開示の第５の態様によれば、光照射野ベースのディスプレイ（例えば、光照射野ディスプレイ、ホログラフィックディスプレイなど）用のシーンベースの没入型メディアなどのシーンベースの没入型メディアのアセットは、複数のポリシーに基づいて優先順位付けすることができる。
【0255】
本開示の態様によれば、ストリームのすべてのアセットは、限定はしないがアセットのサイズの違いを含む様々な理由で、時間内の同じ瞬間にエンドデバイスに到着しない。さらに、限定はしないが、いくつかのアセットが他のアセットの背後に遮られていることを含む様々な理由で、すべてのアセットが任意の時点で等しく価値があるわけではない。様々な理由で、クライアントはアセットの優先順位付けを希望する場合がある。
【0256】
例では、クライアントのエンドデバイスは、シーンで使用されるアセットを記述する十分に詳細なマニフェストが与えられると、すべてのアセット優先順位付け自体を実行するのに十分なローカルリソースを有することができる。多くの予測可能な状況で、これは、様々な理由（例えば、利用可能なプロセッサ電力、またはアセットの優先順位付けをオフロードし、利用可能なバッテリ寿命を維持する必要性）のために、当てはまらない場合がある。本開示のいくつかの態様は、クライアントのエンドデバイスに代わってストリーミングするためのアセットに優先順位付けする方法を提供する。例えば、アセットの優先度の値は、クライアントのエンドデバイスの外部に割り当てられ、１つまたは複数の優先順位付け方式によって決定される。
【0257】
いくつかの例では、シーンのアセットがエンドデバイスにストリーミングされる前に、アセット優先順位付け部を使用してシーンに必要なアセットを分析し、アセットごとに優先順位を割り当てる。
【0258】
図３１は、いくつかの例におけるシーンのアセットに優先度の値を割り当てるための図を示す。図３１の例では、アセット優先順位付け部３１０２を使用して、シーンの各アセットに１つまたは複数の優先度の値を割り当てる。例えば、シーン（例えば、図２７のシーン２７０１）は、アセットＡ（３１０５で示す）、アセットＢ（３１０６で示す）、アセットＣ（３１０７で示す）、およびアセットＤ（３１０８で示す）に依存している。最初は、３１０１で示すように、４つのアセットはアセットＡ、アセットＢ、アセットＣ、およびアセットＤのアセット順になっている。アセット優先順位付け部３１０２は、複数のポリシーに従ってアセットに優先度の値を割り当てる。アセットは、割り当てられた優先度の値に従って再度順位付けされる。図３１では、３１０３で示すように、アセットＡ～Ｄは、アセットＡ、アセットＣ、アセットＤ、およびアセットＢの順に、割り当てられた優先度の値に従って再度順序付けされている。また、３１０３の各アセットは、今では、各アセットについて＋Ｐ１＋Ｐ２によって示される２つの優先度の値など、アセット優先順位付け部３１０２によって割り当てられた１つまたは複数の優先度の値を保持することにも留意されたい。例では、アセット優先順位付け部３１０２は、第１の優先度ポリシーに従ってシーンの各アセットにＰ１などの第１の優先度の値セットを割り当て、第２の優先度ポリシーに従ってシーンの各アセットにＰ２などの第２の優先度の値セットを割り当てることができる。アセットは、第１の優先度の値セットに従って再度順位付けすることができ、または第２の優先度の値セットに従って再度順位付けすることができる。
【0259】
いくつかの例では、アセットが優先順位付けされた後、アセットは優先度の順に要求され、ストリーミングされる。
【0260】
図３２は、いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。図３２の例では、シーンベースの没入型メディアのシーンは、３２０１で示すように、アセットＡ、アセットＣ、アセットＤ、およびアセットＢの上位から下位の順など、４つのアセットの優先度の値に従って再度順位付けされた４つのアセットを含む。４つのアセットは、メディアサーバ３２０２からクラウド３２０３を介してエンドデバイス３２０４に優先度の値の順に提供される。例えば、４つのアセットは、アセットＡ（３２０５で示す）、アセットＣ（３２０６で示す）、アセットＤ（３２０７で示す）、およびアセットＢ（３２０８で示す）の順に取得されてエンドデバイス３２０４に送信される。
【0261】
本開示の態様によれば、エンドデバイスが優先順位付けの順序でシーンのアセットを要求すると、エンドデバイスはシーンのレンダリングをより迅速に開始することができることがある。
【0262】
アセット優先順位付け部３１０２は、アセットに優先度の値を割り当てるための基礎として改善された使用体験を提供する任意のランキングの基準を使用することができることに留意されたい。
【0263】
いくつかの例では、アセット優先順位付け部３１０２は、複数の優先順位付け方式を使用し、複数の優先度の値を各アセットに割り当てることができるため、メディアサーバ３２０２は、各エンドデバイス３２０４にとって最も適切な優先順位付け方式を使用することができる。
【0264】
例では、エンドデバイス３２０４は、メディアサーバ３２０２からの比較的長いおよび／または低いビットレートネットワークパスの最後にあり、エンドデバイス３２０４は、アセットを最小ファイルサイズから最大ファイルサイズまでランク付けする優先順位付け方式の恩恵を受けることができ、その結果、エンドデバイスは、より大きなアセットが到着するのを待つことなく、より多くのアセットを迅速にレンダリングし始めることができる。別の例では、エンドデバイス３２０４は、メディアサーバ３２０２からのより短く高速なネットワーク経路の終端にあり、アセット優先順位付け部３１０２は、アセットが別のアセットによってカメラビューからブロックされているかどうかに基づいて、各アセットに別個の優先度を割り当てることができる。この優先度ポリシーは、「最初に可視アセット、すべての可視アセットの後に非可視アセット」のように単純であってもよく、メディアサーバ３２０２は、エンドデバイスがすべての可視アセットをより迅速にエンドユーザに示すことを可能にする順序で、一連のアセットを提供することができる。
【0265】
いくつかの例では、メディアサーバ３２０２は、エンドデバイス３２０４に転送される記述（例えば、ＭＰＤ）に、割り当てられたアセットの優先度の値を含めてもよい。エンドデバイス３２０４のクライアントは、２つ以上のアセットが同じクライアント割り当て優先度の値（例えば、「視認可能」／「見えない」などの少数の別個の可能な値を有する優先順位付け方式）を有する場合、タイブレーカとしての記述における割り当てられた優先度の値に依存しながら、アセット優先順位付け部３１０２によってサポートされない追加の優先順位付け方式を使用することができる。
【0266】
本開示のいくつかの態様は、割り当てられたアセット優先度の値に基づく光照射野ベースの表示のための動的適応型ストリーミングのための方法を提供する。いくつかの例では、アセットストリーミングにおけるアセットの順序は、異なるアセット優先順位付け方式を使用して割り当てられた、複数の割り当てられたアセット優先度の値のうちの１つに基づいてもよい。いくつかの例では、同じアセットのセットを、異なるアセット優先順位付け方式を使用してセットの各アセットに割り当てられた優先度の値に基づいて、異なる順序で異なるクライアントに転送することができる。いくつかの例では、アセット優先順位付けに割り当てられた優先度の値は、アセット記述と共にクライアントに転送され、アセット優先順位付けに割り当てられた優先度の値は、クライアントが、同じクライアントに割り当てられたアセット優先度の値を有するアセットを優先順位付けするためにアセット優先順位付けに割り当てられた優先度の値に依存しながら、アセット優先順位付け部によってサポートされていないアセット優先順位付け方式を使用することを可能にする。いくつかの例では、クライアントからのフィードバックに基づいて、アセット優先順位付け部によって、優先度の値を調整することができる。
【0267】
本開示の第６の態様によれば、光照射野ベースのディスプレイ（例えば、光照射野ディスプレイ、ホログラフィックディスプレイなど）用のシーンベースの没入型メディアなどのシーンベースの没入型メディアのアセットは、視野の中での距離に基づいて優先順位付けすることができる。
【0268】
本開示の態様によれば、ユーザがシーンに入ったときに一部のアセットがユーザの視野の外部にある（例えば、仮想の人物によって表されるか、または仮想カメラによって表される）可能性があるため、ストリームのすべてのアセットがどの時点においても等しく適切であるわけではない。エンドユーザにとって最もよく見えて目立つアセットがエンドデバイスに利用可能になるまでの遅延を最小限に抑えるために、ユーザがシーンに入るシーンのデフォルトのエントリ位置で、視野の内部に見えるアセットを優先順位付けすることができる。いくつかの例では、シーン内のアセットは、アセットがレンダラの仮想カメラの視野内にあるかどうか、およびユーザに提示されるビューをレンダリングするために使用される仮想カメラポジションからのアセットの距離に従って優先順位付けすることができる。
【0269】
図３３は、いくつかの例におけるシーン３３０１の図を示す。シーン３３０１は、図２７のシーン２７０１と同様である。カメラは、エンドユーザに対応する視認位置で仮想の人物を表現する。カメラは、デフォルトのエントリ位置３３０２（初期の位置とも呼ばれる）でシーン３３０１に入る。シーン３３０１は、アセットＡ、アセットＢ、アセットＣ、およびアセットＤを含む。アセットＡは、３３０３で示すように、床から天井までの本棚のセットである。アセットＢは、３３０４に示すようなコンピュータデスクである。アセットＣは、３３０５に示すような会議テーブルである。アセットＤは、３３０６で示すように、別のシーンへの出入り口である。
【0270】
仮想カメラがデフォルトのエントリ位置３３０２でシーン３３０１に入ると、いくつかのアセットはすぐに見えるが、他のアセットは見えない場合がある。仮想カメラの視野（視野とも呼ばれる）３３０７は限定されており、シーン全体は含まない。図３３の例では、アセットＡおよびアセットＢは、仮想カメラから視野３３０７の内部にあるため、仮想カメラの初期の位置３３０２から見える。アセットＡは、仮想カメラの初期の位置３３０２からアセットＢよりも遠いことに留意されたい。
【0271】
図３３では、アセットＣとアセットＤは、仮想カメラから視野３３０７の外側にあるため、仮想カメラの初期の位置３３０２からは見えない。
【0272】
いくつかの例では、シーンのアセットがエンドデバイスにストリーミングされる前に、アセット優先順位付け部を使用して、シーンに必要なアセットを分析し、シーンのデフォルトのエントリ位置に関連付けられた視野、およびシーンのデフォルトのエントリ位置までのアセットの距離に従って各アセットの優先度の値を割り当てる。
【0273】
図３４は、いくつかの例におけるシーンのアセットを再度順位付けするための図を示す。図３４の例では、シーンの各アセットに優先度の値を割り当てるために、アセット優先順位付け部３４０２が使用される。例えば、シーン（例えば、図３３のシーン３３０１）は、アセットＡ（３４０４で示す）、アセットＢ（３４０５で示す）、アセットＣ（３４０６で示す）、およびアセットＤ（３４０７で示す）に依存している。最初は、３４０１で示すように、４つのアセットはアセットＡ、アセットＢ、アセットＣ、およびアセットＤのアセット順になっている。アセット優先順位付け部３４０２は、シーンに入るためのデフォルトのエントリ位置での視野と、デフォルトのエントリ位置からの視野の中での距離とに従ってアセットを分析する。いくつかの例では、アセットの優先度の値は、アセットがカメラ視野の内部で見えるかどうかに基づいて判定できる。いくつかの例では、アセットの優先度の値は、カメラからのアセットの相対的な距離に基づくことができる。例えば、アセットＡおよびＢは視野の内部にあり、デフォルトのエントリ位置から見ることができ、アセットＣおよびＤは視野の外部にあり、デフォルトのエントリ位置から見ることができない。さらに、アセットＢはアセットＡよりもデフォルトのエントリ位置までの距離が短い。３４０３で示すように、アセットＢ、アセットＡ、アセットＣ、およびアセットＤの順など、優先度の値に従って、４つのアセットを再度順位付けすることができる。
【0274】
例では、再度順位付けされたアセットは、メディアサーバによってエンドデバイスにストリーミングすることができる。
【0275】
図３５は、いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。図３５の例では、シーンベースの没入型メディアのシーンは、３５０１で示すように、アセットＢ、アセットＡ、アセットＣ、およびアセットＤの上位から下位の順など、４つのアセットの優先度の値に従って再度順位付けされた４つのアセットを含む。４つのアセットは、メディアサーバ３５０２からクラウド３５０３を介してエンドデバイス３５０４に優先度の値の順に提供される。例えば、４つのアセットは、アセットＢ（３５０５で示す）、アセットＡ（３５０６で示す）、アセットＣ（３５０７で示す）、およびアセットＤ（３５０８で示す）の順に取得されてエンドデバイス３５０４に送信される。
【0276】
図２４の第１のストリーミング順序と図３５の第２のストリーミング順序とを比較すると、可視アセットは最初にストリーミングされ、そのため、エンドデバイス３５０４はシーンの可視アセットをエンドデバイス２４０４より速くレンダリングすることができる。
【0277】
いくつかの例では、アセット優先順位付け部３４０２は、仮想カメラの視野および仮想カメラからの距離に基づいてアセットの優先度の値を割り当てることができ、視野の内部でユーザに最も近いアセットが最初にレンダリングされる。
【0278】
いくつかの例では、視野の外部のアセット（視野とも呼ばれる）は、視野の内部のすべてのアセットが送信のためにスケジュールされるまで、エンドデバイス３５０４への送信のためにスケジュールされない場合がある。視野の外部のアセットが送信のためにスケジュールされる前に遅延があり得る。極端な場合には、ユーザがシーンを迅速に見て、別のシーンに入るためにシーンから後退すると、離れたユーザがシーンに再び入るまで、送信がスケジュールされていなかったアセットはスケジュールされない可能性がある。
【0279】
図３６は、いくつかの例における表示されたシーン３６０１の図を示す。表示されたシーン３６０１は、シーン３３０１に対応する。表示されたシーン３６０１において、本棚３６０３およびワークステーション３６０４は、デフォルトのエントリ位置からカメラに見えるシーン３６０１のアセットであるため、取得されてレンダリングされている。
【0280】
本開示のいくつかの態様は、アセットがカメラ（例えば、没入型メディア体験のためのユーザまたはプレイヤに対応する仮想カメラ）の視野（視野とも呼ばれる）の内部にあるかどうかによって決定される割り当てられたアセット優先度の値に従った光照射野ベースの表示のための動的適応型ストリーミングの方法を提供する。いくつかの例では、アセットの割り当てられたアセット優先度の値は、カメラの位置からのアセットの距離によって決定される。アセットは、アセット優先度の値に基づいて決定された順序で送信することができる。いくつかの例では、アセットのアセット優先度の値は、アセットがカメラの視野の外部にあるときに下げられる。いくつかの例では、アセットのアセット優先度の値は、アセットが視野の内部の別のアセットよりもカメラから離れている場合に下げられる。いくつかの例では、優先度の値は、１つまたは複数のクライアントデバイスからのフィードバックに基づいて調整される。
【0281】
本開示の第７の態様によれば、光照射野ベースのディスプレイ（例えば、光照射野ディスプレイ、ホログラフィックディスプレイなど）用のシーンベースの没入型メディアなどのシーンベースの没入型メディアのアセットは、アセットの複雑度に基づいて優先順位付けすることができる。
【0282】
本開示の態様によれば、シーンのすべてのアセットが等しく複雑であるわけではなく、アセットをエンドユーザのエンドデバイスにレンダリングするために、コンピューティングリソース（例えば、グラフィックス処理デバイス（ＧＰＵ））からの同じ量の計算を必要としない。シーンがエンドユーザに提示され得るまでの遅延を最小限に抑えるために、いくつかの例では、シーン記述に存在する各アセットの相対的な複雑度に基づいて、シーンを構成するアセットを、ストリーミングに優先順位付けすることができる。
【0283】
図３７は、例におけるシーンベースの没入型メディアのシーン３７０１の図を示す。シーン３７０１は、アセットＡ、アセットＢ、アセットＣ、およびアセットＤの４つのアセットを含む。図３７では、アセットＡは３７０５で示すように滑らかな外観の現代風の家であり、アセットＢは３７０６で示すように現実の人物であり、アセットＣは３７０７で示すように様式化された人間の像であり、アセットＤは３７０８で示すように非常に詳細な木のラインである。
【0284】
例では、エンドデバイスがシーン３７０１のアセットを要求する場合、例えば、メディアサーバ２４０２は、アセットＡ、アセットＢ、アセットＣ、およびアセットＤの順序など、任意の順序でアセットをエンドデバイスに提供できる。アセットがエンドデバイスで利用可能になる順序は、許容可能なユーザ体験を提供しない可能性がある。
【0285】
シーン３７０１のアセットは同じ複雑度ではなく、アセットはすべてエンドデバイスのＧＰＵに同じ計算負荷をかけるわけではないことに留意されたい。本開示では、アセットを構成するポリゴンの数を、ＧＰＵでのアセットの計算負荷を表すプロキシとして用いる。表面特性などのアセットの他の特性は、ＧＰＵに計算負荷をかける可能性があることに留意されたい。
【0286】
いくつかの例では、アセットを構成するポリゴンの数は、アセットの複雑度を測定するために使用される。シーン３７０１のアセットのうち、アセットＡは滑らかな外観の現代風の家であり、ポリゴンの数が最も少なく、アセットＣは様式化された人間の像であり、２番目に少ないポリゴン数を有し、アセットＢは現実の人物であり、２番目に多いポリゴン数を有し、アセットＤは非常に詳細な木のラインであり、最も多いポリゴン数を有する。ポリゴンの数に基づいて、シーン３７０１のアセットは、アセットＡ、アセットＣ、アセットＢ、およびアセットＤの順に、複雑度が最も低いものから複雑度が最も高いものまでランク付けできる。
【0287】
いくつかの例では、シーンのアセットがエンドデバイスにストリーミングされる前に、アセット優先順位付け部を使用してシーンに必要なアセットを分析し、アセットの相対的な複雑度に基づいて各アセットの優先度の値を割り当てる。
【0288】
図３８は、いくつかの例におけるシーンのアセットを優先順位付けするための図を示す。図３８の例では、アセット優先順位付け部３８０２を使用して、アセットの相対的な複雑度に基づいてシーンの各アセットに優先度の値を割り当てる。例えば、シーン（例えば、図３７のシーン３７０１）は、アセットＡ（３８０４で示す）、アセットＢ（３８０５で示す）、アセットＣ（３８０６で示す）、およびアセットＤ（３８０７で示す）に依存している。最初は、３８０１で示すように、４つのアセットはアセットＡ、アセットＢ、アセットＣ、およびアセットＤのアセット順になっている。アセット優先順位付け部３８０２は、各アセットのポリゴンの数に基づくなど、アセットの相対的な複雑度に従ってアセットに優先順位付け（例えば、再度順位付け）する。例えば、アセットＤは最もポリゴン数が多く、最も高い優先度の値（例えば、４）が割り当てられる。アセットＢは、２番目に多いポリゴン数を有し、２番目に高い優先度の値（例えば、３）が割り当てられる。アセットＣは２番目に少ないポリゴン数を有し、２番目に低い優先度の値（例えば、２）が割り当てられる。アセットＡは、ポリゴン数が最も少なく、優先度の値（例えば、１）が最も低い。３８０３に示すように、４つのアセットは、アセットＤ、アセットＢ、アセットＣ、およびアセットＡの順など、優先度の値に従って再度順位付けすることができる。
【0289】
上記の例では、アセットのポリゴン数を使用してアセットの複雑度を評価し、アセットの優先度の値を決定するが、エンドデバイス内のＧＰＵの計算負荷に影響を及ぼし得るアセットの他の属性を使用して複雑度を評価し、優先度の値を決定できることに留意されたい。
【0290】
例では、再度順位付けされたアセットは、メディアサーバによってエンドデバイスにストリーミングすることができる。
【0291】
図３９は、いくつかの例における、シーンベースの没入型メディアをエンドデバイスにストリーミングするための例の図を示す。図３９の例では、シーンベースの没入型メディアのシーンは、３９０１で示すように、アセットＤ、アセットＢ、アセットＣ、およびアセットＡの上位から下位の順など、４つのアセットの優先度の値に従って再度順位付けされた４つのアセットを含む。４つのアセットは、メディアサーバ３９０２からクラウド３９０３を介してエンドデバイス３９０４に優先度の値の順に提供される。例えば、４つのアセットは、アセットＤ（３９０５で示す）、アセットＢ（３９０６で示す）、アセットＣ（３９０７で示す）、およびアセットＡ（３９０８で示す）の順に取得されてエンドデバイス３９０４に送信される。
【0292】
図２４の第１のストリーミング順序と図３９の第２のストリーミング順序とを比較すると、最も複雑なアセットをレンダリングするのに必要な時間は、エンドデバイスによってレンダリングされるシーン全体の最小経過時間として作用するので、エンドデバイス３９０４は、エンドデバイス２４０４よりも速くシーンをレンダリングすることができる。いくつかの例では、エンドデバイスのＧＰＵは、マルチスレッド化されるように構成することができ、その結果、ＧＰＵは、最も複雑なアセットと並行してより複雑ではないアセットをレンダリングすることができ、最も複雑なアセットがレンダリングされている場合に、より複雑ではないアセットを利用可能にすることができる。
【0293】
本開示のいくつかの態様は、ＧＰＵの予想される計算負荷によって決定された割り当てられたアセット優先度の値に基づく光照射野ベースの表示のための動的適応型ストリーミングのための方法を提供する。いくつかの例では、ストリーミング用のアセットの順序はアセット優先度の値に基づいてもよい。いくつかの例では、アセット優先度の値は、アセットが他のアセットよりも計算複雑度が高い場合に増加する。いくつかの例では、優先度の値は、クライアントデバイスからのフィードバックに基づいて調整される。例えば、フィードバックは、クライアントデバイスにおけるＧＰＵ構成を示すことができ、または複雑度の評価のための異なる属性を示すことができる。
【0294】
本開示の第８の態様によれば、光照射野ベースのディスプレイ（例えば、光照射野ディスプレイ、ホログラフィックディスプレイなど）用のシーンベースの没入型メディアなどのシーンベースの没入型メディアのアセットは、複数のメタデータ属性に基づいて優先順位付けすることができる。
【0295】
本開示の態様によれば、シーンの各アセットは、シーンマニフェストに現れる順序で単純にアセットを取得するよりも良い体験をユーザに提供する方法でシーンをレンダリングするために、レンダラがアセットが取得される順序の優先順位付けを各々可能にする様々なメタデータ属性を有することができる。
【0296】
本開示の別の態様によれば、単一のメタデータ属性に基づく優先度の値は、優先順位付けのための最良の戦略を反映しない場合がある。いくつかの例では、複数のメタデータ属性を反映する優先度の値のセットは、単一のメタデータ属性に基づく別の優先度の値のセットよりも良好なユーザ体験を提供することができる。
【0297】
本開示の別の態様によれば、単一の優先度プレファレンスのセットに基づく優先度の値は、優先順位付けのための最良の戦略を反映しない可能性があり、その理由は、エンドデバイスが多くの様式で－２つの様式だけを挙げると、エンドデバイスとクラウドとの間の経路の特性、およびエンドデバイスのＧＰＵ計算能力－大きく異なり得るためである。より良いユーザ体験を提供するために、２つ以上のアセットメタデータ属性に基づいて、ストリーミング用のアセットに優先順位付けする技術を使用することができる。
【0298】
例として図３７のシーン３７０１を使用すると、４つのアセットの各々は複数のメタデータ属性を有し得る。
【0299】
図４０は、例におけるアセット４００１のメタデータ属性を示す図を示す。アセット４００１は、現実的な人物であるシーン３７０１のアセットＢ３７０６に対応できる。アセット４００１は、４００３で示すようなバイト単位のサイズ、４００４で示すようなポリゴン数、４００５で示すようなデフォルトカメラからの距離、４００６で示すようなデフォルトカメラ（デフォルトのエントリ位置の仮想カメラとも呼ばれる）からの可視性、ならびに４００７および４００８で示すような他のメタデータ属性などの、様々なメタデータ属性４００２を含む。
【0300】
メタデータ属性４００２は説明のためのものであり、いくつかの例では、他の適切なメタデータ属性が存在してもよく、図４０に列挙されたいくつかのメタデータ属性は、いくつかの例では存在しなくてもよいことに留意されたい。
【0301】
例では、エンドデバイスがシーン３７０１のアセットを要求する場合、例えば、メディアサーバ２４０２は、アセットＡ、アセットＢ、アセットＣ、およびアセットＤの順序など、任意の順序でアセットをエンドデバイスに提供できる。アセットがエンドデバイスで利用可能になる順序は、許容可能なユーザ体験を提供しない可能性がある。
【0302】
シーン３７０１のアセットは、エンドユーザにとってサイズ、複雑度、および即時の値ではない。これらのメタデータ属性のそれぞれは、優先順位付けの基礎として別々に使用することができるが、これらのメタデータ属性のそれぞれは、相対的なアセット優先度を決定するために他のメタデータ属性と組み合わせて使用することもできる。例えば、４００６で示されるデフォルトカメラからの可視性の第１のメタデータ属性、４００４で示される数の範囲として表されるポリゴン数の第２のメタデータ属性、および４００５で示されるフィート数として表されるデフォルトカメラからの距離である第３のメタデータ属性などの複数のメタデータ属性を含むポリシーに従って、アセットを優先順序付けすることができる。例では、シーンのアセットのうち、デフォルトカメラから見える第１のアセットに最も高い優先度（例えば、例では４）が割り当てられ、残りのアセットは第２のメタデータ属性と第３のメタデータ属性に従ってさらに処理される。例えば、残りのアセットのうち、ポリゴン数がポリゴン閾値より大きい第２のアセットが２番目に高い優先度を割り当てられ（例えば、例では３）、残りのアセットはさらに第３のメタデータ属性に従って処理される。例えば、残りのアセットの中で、デフォルトカメラとの距離が距離の閾値よりも短い第３のアセットに、３番目に高い優先度（例えば、例では２）を割り当てる。
【0303】
いくつかの例では、シーンのアセットがエンドデバイスにストリーミングされる前に、複数のメタデータ属性を含むポリシーなどの使用中の優先順位付け方式に従って、アセット優先順位付け部を使用して、シーンに必要なアセットを分析し、各アセットの優先順位を割り当てる。例えば、アセット優先順位付け部３８０２は、複数のメタデータ属性の組み合わせを有するポリシーを使用して優先順位付けを適用するために、使用することができる。アセットが優先順位付けされた後、アセットは、図３９に示すように、優先度の順序でストリーミングされる。
【0304】
複数のメタデータ属性に基づく優先順位付けの使用は、エンドデバイスがユーザ体験を向上させるのに適した方法でアセットをエンドデバイスに送信することを可能にする。例えば、エンドデバイスは、ユーザにすぐに見えるアセット（例えば、第１のメタデータ属性による）を要求し、次にレンダリングを最も計算で要求するアセット（例えば、第２のメタデータ属性による）を要求し、次に、レンダリングされたシーンでユーザに最も近いアセット（例えば、第３のメタデータ属性による）を要求することができる。
【0305】
本開示の態様によれば、すべてのエンドデバイスが同じ能力を有するわけではなく、すべてのエンドデバイスがエンドデバイスとクラウドとの間の利用可能な帯域幅などの同じ経路特性を有するわけではなく、異なるユーザにとって最良のユーザ体験は、異なる優先順位付け方式の使用からもたらされ得る。いくつかの例では、エンドデバイスは、それに応じて優先度の値を割り当てるために、優先度プレファレンス情報を、アセットピロリタイザに提供することができる。
【0306】
図４１は、いくつかの例における、シーンのアセットを優先順位付けするための図を示す。図４１の例では、エンドデバイス４１０８は、優先度プレファレンスのセット４１０９をアセット優先順位付け部４１０２に提供することができる。例えば、優先度プレファレンスのセット４１０９は、複数のメタデータ属性を含む。次いで、アセット優先順位付け部４１０２は、優先度プレファレンスのセットに基づいてシーンの各アセットに優先度の値を割り当てることができる。したがって、シーンのアセットの割り当てられた優先度の値は、エンドデバイス４１０８に最適化される。
【0307】
いくつかの例では、エンドデバイス４１０８は、エンドデバイスによって行われた測定に基づいて、優先度プレファレンスのセットを動的に調整することができる。例えば、エンドデバイス４０１８がクラウドへの利用可能な帯域幅が比較的低い場合、エンドデバイスは、バイト単位で測定されたアセットサイズ（例えば、図４０の４００３）に基づいてアセットに優先順位付けすることができ、これは、最大のアセットの転送時間が、シーンを迅速にレンダリングできる速度の下限として機能するためである。同じエンドデバイス４１０８が、クラウドからエンドデバイス４１０８への経路が豊富な帯域幅を有することを検出した場合、エンドデバイス４１０８は、異なる優先度プレファレンスのセットをアセット優先順位付け部４１０２に提供することができる。
【0308】
いくつかの例では、関連するメタデータ属性は複合属性とみなされてもよく、エンドデバイスはその優先度プレファレンスのセットに複合属性を含んでもよい。例えば、各アセットの利用可能なメタデータ属性がポリゴンの数と表面の細部のレベルの何らかの尺度とを含む場合、それらの属性は複雑度の計算尺度として一緒に考慮されてもよく、エンドデバイスはその尺度を優先度プレファレンスのセットに含めることができる。
【0309】
本開示のいくつかの態様は、割り当てられたアセット優先度の値に従った光照射野ベースの表示のための動的適応型ストリーミングのための方法を提供する。アセット優先度の値は、ストリーミングされるアセットごとに２つ以上のメタデータ属性に基づいて割り当てることができる。いくつかの例では、シーンのアセットのアセット優先度の値は、優先度プレファレンスのセットに基づいて決定される。いくつかの例では、ストリーミング用のアセットの順序はアセット優先度の値に基づく。いくつかの例では、優先度プレファレンスのセットは、エンドデバイス間で異なる。いくつかの例では、優先度プレファレンスのセットは、エンドデバイスによって提供される。いくつかの例では、優先度プレファレンスのセットは、エンドデバイスによって更新される。いくつかの例では、優先度プレファレンスのセットは、１つまたは複数の複合属性を含む。いくつかの例では、エンドデバイスによって提供される優先度プレファレンスのセットは、１つまたは複数の複合属性を含む。
【0310】
図４２は、本開示の実施形態によるプロセス４２００の概要を示すフローチャートを示す。プロセス４２００は、ネットワークのサーバデバイスなどによって、ネットワークにおいて実行することができる。いくつかの実施形態では、プロセス４２００がソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、プロセス４２００を実行する。例えば、スマートクライアントはソフトウェア命令で実装され、ソフトウェア命令は、プロセス４２００を含むスマートクライアントプロセスを実行するために、実行することができる。プロセスはＳ４２０１で開始し、Ｓ４２１０に進む。
【0311】
Ｓ４２１０において、サーバデバイスは、光照射野ベースのディスプレイで再生するためのシーンベースの没入型メディアを受信する。シーンベースの没入型メディアのシーンは、第１の順序の複数のアセットを含む。
【0312】
Ｓ４２２０において、サーバデバイスは、複数のアセットをエンドデバイスにストリーミングするための第２の順序を決定する。第２の順序は第１の順序とは異なる。
【0313】
いくつかの例では、サーバデバイスは、複数のアセットの１つまたは複数の属性に従ってシーンの複数のアセットに、それぞれ優先度の値を割り当て、優先度の値に従って、複数のアセットをストリーミングするための第２の順序を決定する。
【0314】
いくつかの例では、サーバデバイスは、複数のアセットの記述に複数のアセットの優先度の値を含め、記述をエンドデバイスに提供する。エンドデバイスは、説明における優先度の値に従って複数のアセットを要求する。
【0315】
本開示のいくつかの態様によれば、サーバデバイスは、アセットのサイズに従ってシーンのアセットに優先度の値を割り当てる。例では、サーバデバイスは、バイト単位で、第２のアセットよりも小さいサイズを有する第１のアセットに応じて、第１の優先度の値を第１のアセットに割り当て、第２の優先度の値を第２のアセットに割り当て、第１の優先度の値は第２の優先度の値よりも高い。
【0316】
本開示のいくつかの態様によれば、サーバデバイスは、シーンのデフォルトのエントリ位置と関連付けられたアセットの可視性に従って、シーンのアセットに優先度の値を割り当てる。いくつかの例では、サーバデバイスは、シーンのデフォルトのエントリ位置から見える第１のアセットに第１の優先度の値を割り当て、デフォルトのエントリ位置から見えない第２のアセットに第２の優先度の値を割り当て、第１の優先度の値は第２の優先度の値よりも高い。例では、サーバデバイスは、アセットがシーンの別のアセットによってブロックされていることに応じて、アセットに第２の優先度の値を割り当てる。別の例では、サーバデバイスは、アセットがシーンのデフォルトのエントリ位置と関連付けられた視野の外部にあることに応じて、アセットに第２の優先度の値を割り当てる。別の例では、サーバデバイスは、アセットがシーンの光源によりシーンの別のアセットの影によって遮られていることに応じて、アセットに第２の優先度の値を割り当てる。
【0317】
本開示のいくつかの態様によれば、サーバデバイスは、第１のアセットおよび第２のアセットがシーンのデフォルトのエントリ位置と関連付けられた視野の内部にあることに応じて、第１のアセットに第１の優先度の値を割り当て、第２のアセットに第２の優先度の値を割り当て、第１のアセットは第２のアセットよりもシーンのデフォルトのエントリ位置に近く、第１の優先度の値は第２の優先度の値よりも大きい。
【0318】
いくつかの例では、サーバデバイスは、複数のアセットの第１の属性に基づいて複数のアセットに第１の優先度の値のセットを割り当て、第１の優先度の値のセットは、第１の優先順位付け方式で複数のアセットを順序付けるために使用される。さらに、サーバデバイスは、複数のアセットの第２の属性に基づいて複数のアセットに第２の優先度の値のセットを割り当て、第２の優先度の値のセットは、第２の優先順位付け方式で複数のアセットを順序付けるために使用される。サーバデバイスは、エンドデバイスの情報に従って第１の優先順位付け方式および第２の優先順位付け方式からエンドデバイスの優先順位付け方式を選択し、選択された優先順位付け方式に従って、ストリーミングのために複数のアセットを順序付ける。
【0319】
いくつかの例では、サーバデバイスは、複数のアセットの記述に、複数のアセットに割り当てられた優先度の値を含める。優先度の値は、第１の優先順位付け方式で複数のアセットを順序付けるために使用される。サーバデバイスは、複数のアセットの記述をエンドデバイスに提供する。例では、エンドデバイスは、複数のアセットの要求順序に第２の優先順位付け方式を適合させ、第２の優先順位付け方式によるタイに応じて、第１の優先順位付け方式をタイブレーカとして使用する。
【0320】
いくつかの例では、サーバデバイスは、第２のアセットよりも計算の複雑度が高い第１のアセットに応じて、第１のアセットに第１の優先度の値を割り当て、第２のアセットに第２の優先度の値を割り当てる。第１の優先度の値は第２の優先度の値よりも高い。例では、より複雑度の高い計算は、第１のアセットの多数のポリゴン、および第１のアセットの表面特性のうちの少なくとも１つに基づいて決定される。
【0321】
いくつかの例では、１つまたは複数の属性は、各アセットに関連付けられたメタデータ属性であり、バイト単位のサイズ、ポリゴンの数、デフォルトのカメラからの距離、およびデフォルトのカメラからの可視性のうちの少なくとも１つを含むことができる。
【0322】
いくつかの例では、サーバデバイスは、エンドデバイスの優先度プレファレンスのセットを受信し、優先度プレファレンスのセットは、第１の属性のセットを含み、第１の属性のセットに従って第２の順序を決定する。例では、サーバデバイスは、エンドデバイスの優先度プレファレンスの更新を受信し、優先度プレファレンスの更新は、第１の属性のセットとは異なる第２の属性のセットを示す。サーバデバイスは、第２の属性のセットに従って、更新された第２の順序を決定することができる。
【0323】
いくつかの例では、サーバデバイスは、エンドデバイスからフィードバック信号を受信し、フィードバック信号に従って優先度の値および第２の順序を調整する。
【0324】
次いで、プロセス４２００はＳ４２９９に進み、終了する。
【0325】
プロセス４２００は、様々なシナリオに適切に適合させることができ、それに応じてプロセス４２００のステップを調整することができる。プロセス４２００のステップのうちの１つまたは複数を、適合、省略、繰り返し、および／または組み合わせることができる。プロセス４２００を実施するために、任意の適切な順序を使用することができる。追加のステップが追加され得る。
【0326】
図４３は、本開示の実施形態によるプロセス４３００の概要を示すフローチャートを示す。プロセス４３００は、エンドデバイス（クライアントデバイスとも呼ばれる）などの電子デバイスによって実行することができる。いくつかの実施形態では、プロセス４３００がソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、プロセス４３００を実行する。例えば、プロセス４３００はソフトウェア命令として実装され、処理回路はソフトウェア命令を実行して、スマートコントローラプロセスを実行することができる。プロセスはＳ４３０１で開始し、Ｓ４３１０に進む。
【0327】
Ｓ４３１０で、光照射野ベースのディスプレイで再生するためのシーンベースの没入型メディアの要求が電子デバイスによってネットワークに送信される。シーンベースの没入型メディアのシーンは、第１の順序の複数のアセットを含む；
【0328】
Ｓ４３２０において、複数のアセットを電子デバイスにストリーミングする順序を調整するために、電子デバイスの情報が提供される。次いで、電子デバイスの情報に従って順序が決定される。
【0329】
いくつかの例では、電子デバイスは、光照射野ベースのディスプレイで再生するためのシーンベースの没入型メディアのシーンの複数のアセットの記述を受信する。説明は、複数のアセットの優先度の値を含む。電子デバイスは、優先度の値に従って複数のアセットのうちの１つまたは複数のアセットを要求する。
【0330】
いくつかの例では、優先度の値は第１の優先順位付け方式に関連付けられる。電子デバイスは、第１の優先順位付け方式とは異なる第２の優先順位付け方式に従って、第１のアセットと第２のアセットとが同じ優先度を有すると判定する。次いで、電子デバイスは、第１の優先順位付け方式に従って、第１のアセットおよび第２のアセットの一方を他方よりも優先順位付けする。
【0331】
いくつかの例では、電子デバイスは、優先度プレファレンスのセットをネットワークに提供する。さらに、例では、電子デバイスは、ネットワークステータスの変化などの動作環境の変化を検出し、動作環境の変化に応じて、優先度プレファレンスのセットに更新を提供する。
【0332】
いくつかの例では、電子デバイスは、ネットワークステータスの変化などの動作環境の変化を検出する。次いで、電子デバイスは、動作環境の変化を示すフィードバック信号をネットワークに提供する。
【0333】
次いで、プロセス４３００はＳ４３９９に進み、終了する。
【0334】
プロセス４３００は、様々なシナリオに適切に適合させることができ、それに応じてプロセス４３００のステップを調整することができる。プロセス４３００のステップのうちの１つまたは複数を、適合、省略、繰り返し、および／または組み合わせることができる。プロセス４３００を実施するために、任意の適切な順序を使用することができる。追加のステップが追加され得る。
【0335】
本開示の第９の態様によれば、シーンアナライザは、シーンのデフォルトのビューポートにおけるアセットの可視性に基づいて、アセットレンダリングの優先順位付けに使用することができる。
【0336】
本開示の態様によれば、シーンベースのメディアをサポートするクライアントデバイスは、シーンのデフォルトカメラおよびビューポートの概念をサポートするレンダラおよび／またはゲームエンジンを装備することができる。デフォルトカメラは、レンダラがシーンの内部画像を作成するために使用できるカメラの属性を提供する。したがって、そのような内部画像は、多くの他の可能な属性の中でも、水平解像度および垂直解像度、ｘ次元およびｙ次元、ならびに被写界深度などのカメラ属性によって定義される。ビューポートは、内部画像自体およびシーンのカメラの仮想位置によって定義される。シーンへのカメラの仮想位置は、コンテンツ制作者またはユーザに、シーンのどの部分が内部画像にレンダリングされるかを正確に指定できるようにする。したがって、デフォルトカメラのビューポートで直接見えないオブジェクト、例えば、デフォルトカメラの背後にあるか、またはシーン内へのビューポートの外側にあるオブジェクトは、すなわち、ユーザがいずれにしてもそれらを見ることができないのであれば、レンダラによるレンダリングのために優先順位付けされない可能性がある。それにもかかわらず、いくつかのオブジェクトは、それらの存在およびまたはビューポートへの近接からキャストされた影が実際にビューポートの内部に存在する可能性が高いほど、デフォルトカメラのビューポートに十分に近い位置にある可能性がある。例えば、ビューポートでは見えない点光源が、同じくシーンでは見えない他のオブジェクトの背後に配置されている場合、シーンのビューポートの中に反射される光は、それらの存在が光がシーンのビューポートに移動できることをブロックするので、見えないオブジェクトによって生成される影に影響を受ける可能性がある。したがって、ビューポートによってキャプチャされたシーンの部分に光が移動できることに影響を与えるようなオブジェクトをレンダリングすることは、レンダラにとって重要であり得る。
【0337】
本開示のいくつかの態様は、クライアントによってまたはクライアントに代わってフォーマットＡからフォーマットＢへの変換のためにシーンの中の個々のアセットを順序付ける別個の意思決定プロセスを容易にするシーンアナライザのための技法を提供する。シーンアナライザは、優先度の値を計算してシーンのメタデータの中に記憶することができ、優先度の値はシーンの中の個々のアセットに対するものであり、アセットがデフォルトのカメラのビューポートによってキャプチャされたシーンの領域にあるかどうかを含むいくつかの異なるファクタに基づいて決定することができる。次いで、計算された優先度の値は、シーンを記述するメタデータに直接記憶することができ、その結果、ネットワークまたはクライアントデバイスのいずれかにおける後続のプロセスは、別のアセットの前に１つのアセットを変換する潜在的な重要性に関して、すなわち、シーンアナライザによってシーンメタデータに記憶された優先度の値によって示されるように、シグナリングされる。いくつかの例では、そのようなシーンアナライザは、シーン内にビューポートを作成するために、すなわち、特定のアセットがシーン内のカメラのビューポートの内側にあるか外側にあるかを計算するために使用されることが予想されるカメラの特徴を記述するメタデータを利用することができる。シーンアナライザは、カメラの属性、例えば、ビューポートの幅および長さ、カメラの焦点が合っているオブジェクトの被写界深度などに基づいて、ビューポートの領域を計算することができる。いくつかの例では、シーンのカメラビューポートにない第１のアセットは、デフォルトのカメラビューポートの内部にある第２のアセットが変換された後に行われる変換のために、シーンアナライザによって優先順位付けされ得る。そのような優先順位付けは、シーンアナライザによってシーンのメタデータにシグナリングおよび記憶することができる。そのようなメタデータをシーンに記憶することは、配信ネットワークの中での後続のプロセス、すなわち、優先順位付けがシーンアナライザによって計算されてシーンのメタデータに記憶された場合に、他のアセットが実行されなくてもよくなるより前に、どのアセットを変換するかを決定するための同じ計算に、利益をもたらすことができる。シーンアナライザのプロセスは、クライアントによってストリーミングされているメディアに対して先験的に、またはいくつかの例ではクライアントデバイス自体によって実行される特定のステップとして、実行することができる。
【0338】
図４４は、いくつかの例におけるデフォルトカメラ視点のアセットのシグナリングを有する時限メディア表現４４００の図を示す。時限メディア表現４４００は、シーン４４０１のリストの情報を含む時限シーンマニフェスト４４００Ａを含む。シーン４４０１の情報は、シーン４４０１の処理情報およびメディアアセットのタイプを別々に記述するコンポーネント４４０２のリストを指す。コンポーネント４４０２は、ベース層４４０４および属性強化層４４０５をさらに示すアセット４４０３を指す。シーンのデフォルトのカメラビューポートの内部に位置するアセット４４０７のリストは、各シーン４４０１に提供される。
【0339】
図４５は、いくつかの例におけるデフォルトのビューポートでのアセットのシグナリングを伴う非時限メディア表現４５００の図を示す。非時限シーンマニフェスト（図示せず）は、シーン１．０に分岐することができる、他のシーンがないシーン１．０を参照する。シーンの情報４５０１は、クロックに応じた開始時間および終了時間に関連付けられていない。シーンの情報４５０１は、シーンの処理情報およびメディアアセットのタイプを別々に記述するコンポーネント４５０２のリストを指す。コンポーネント４５０２は、アセット４５０３を参照して、アセット４５０３は、ベース層４５０４および属性強化層４５０５、４５０６をさらに参照する。また、シーンの情報４５０１は、非時限メディア用の他のシーン情報４５０１を指し得る。シーンの情報４５０１はまた、時限メディアシーンのためのシーン情報４５０７を指す。リスト４５０８は、そのジオメトリがシーンのデフォルトのカメラのビューポート内部に位置するアセットを識別する。
【0340】
図９に戻って参照すると、いくつかの例では、図９のメディアアナライザ９１１は、シーンのアセットの分析を実行することができるシーンアナライザを含む。例では、シーンアナライザは、シーンのアセットのどのアセットがデフォルトのビューポートにあるかを判定できる。例えば、インジェストメディアを更新して、どのアセットがカメラのデフォルトのビューポート内部に位置しているかに関する情報を、シーンに記憶することができる。
【0341】
図１４に戻って参照すると、いくつかの例では、図１４のメディアアナライザ１４１０は、シーンのアセットの分析を実行することができるシーンアナライザを含む。例では、シーンアナライザは、ゲームエンジン１４０５によるレンダリングのための潜在的な優先順位付けのために、および／またはＭＰＥＧスマートクライアント１４０１を介した再構成処理のために、クライアント適応メディア１４０９を検査して、どのアセットがシーンのデフォルトのカメラのビューポート（シーンに入るためのデフォルトのビューポートとも呼ばれる）に配置されているかを判定することができる。そのような実施形態では、メディアアナライザは、デフォルトのカメラのビューポートにある各シーンのアセットのリストを、クライアント適応メディア１４０９の各シーンに記憶することができる。
【0342】
図４６は、シーンアナライザがデフォルトのビューポートに従ってシーンのアセットを分析するためのプロセスフロー４６００を示す。プロセスはステップ４６０１で始まり、ここで、シーンアナライザは、ビューポートを定義するために使用されるカメラの属性に基づいて、デフォルトのビューポート（シーンが初めてレンダリングされるときのシーンへの初期のビュー）を記述するデフォルトのカメラポジションおよび特性（例えば、シーンから、または図示されていない外部のソースから）の属性を取得する。そのようなカメラの属性には、ビューポートを作成するために使用されるカメラのタイプ、ならびにビューポートによってキャプチャされるシーンの領域の寸法の長さ、幅、および奥行きが含まれる。ステップ４６０２において、シーンアナライザは、ステップ４６０１で取得された属性に基づいて、実際のデフォルトのビューポートを計算することができる。次に、ステップ４６０３において、シーンアナライザは、特定のシーンのアセットのリストの中に、調べるべきアセットがさらにあるかどうかを判定する。調べるアセットがそれ以上ない場合、プロセスはステップ４６０６に進む。ステップ４６０６において、シーンアナライザは、ジオメトリがシーンのデフォルトのビューポート内部に（全体的にまたは部分的に）あるアセットのリストを（シーンのメタデータに）書き込む。分析されたメディアは４６０７として示されている。ステップ４６０３で処理すべきアセットがさらにある場合、プロセスはステップ４６０４に進む。ステップ４６０４において、シーンアナライザは、シーンの次のアセットのジオメトリを解析し、次のアセットが現在のアセットになる。シーンの中の現在のアセットのジオメトリと位置は、ステップ４６０２で計算されたデフォルトのビューポートの領域と比較される。ステップ４６０４において、シーンアナライザは、アセットのジオメトリとシーンのその位置を調査し、アセットジオメトリの任意の部分がデフォルトのビューポートの領域に入るかどうかを判定する。アセットジオメトリの任意の部分がデフォルトのビューポートに入る場合、プロセスはステップ４６０５に進む。ステップ４６０５において、シーンアナライザは、アセット識別子をデフォルトのビューポートの内部に位置するアセットのリストに記憶する。ステップ４６０５に続いて、プロセスはステップ４６０３に戻り、シーンのアセットのリストを調べて、処理すべきアセットがさらにあるかどうかを判定する。
【0343】
本開示のいくつかの態様は、アセット優先順位付けのための方法を提供する。方法は、シーンを見るために使用されるカメラによって作成されるビューポートの位置およびサイズを計算し、シーンの各アセットのジオメトリをビューポートと比較して、アセットのジオメトリの一部がビューポートと交差するかどうかを判定できる（例えば、カメラによって作成されるビューポートの位置およびサイズ）。方法は、ジオメトリがカメラによって作成されるビューポートと部分的または全体的に交差するアセットを識別し、カメラによって作成されたビューポートの領域とジオメトリが交差する同様のアセットのリストに、アセットの識別情報を記憶する。次に、方法は、ジオメトリがカメラによって作成されたビューポートの領域と交差する類似のアセットのリストに基づいて、シーンベースのメディアプレゼンテーションにおけるシーンのアセットのレンダリングを順番付け、優先順位付けすることを含む。
【0344】
図４７は、本開示の実施形態によるプロセス４７００の概要を示すフローチャートを示す。プロセス４７００は、ネットワークのサーバデバイスなどによって、ネットワークにおいて実行することができる。いくつかの実施形態では、プロセス４７００がソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、プロセス４７００を実行する。プロセスはＳ４７０１で開始し、Ｓ４７１０に進む。
【0345】
Ｓ４７１０で、シーンベースの没入型メディアのシーンを視認するためのカメラに関連付けられたビューポートの位置およびサイズなどのビューポートの属性が決定される。シーンは、複数のアセットを含む。
【0346】
Ｓ４７２０で、各アセットについて、アセットがビューポートと少なくとも部分的に交差するかどうかは、ビューポートの位置とサイズ、アセットのジオメトリに基づいて判定される。
【0347】
Ｓ４７３０において、アセットの識別子は、アセットがビューポートと少なくとも部分的に交差することに応じて、視認可能なアセットのリストに記憶される。
【0348】
Ｓ４７４０において、視認可能なアセットのリストがシーンと関連付けられたメタデータに含まれる。
【0349】
いくつかの例では、ビューポートの位置およびサイズは、シーンを見るためのカメラのカメラ位置および特性に従って決定される。
【0350】
いくつかの例では、少なくとも第１のアセットと第２のアセットを第１のフォーマットから第２のフォーマットに変換する順序は、視認可能なアセットのリストに従って決定される。例では、視認可能なアセットのリストは、視認可能なアセットのリストにないシーンの別のアセットを変換する前に、第１のフォーマットから第２のフォーマットに変換される。
【0351】
いくつかの例では、少なくとも第１のアセットおよび第２のアセットをエンドデバイスにストリーミングするための順序は、視認可能なアセットのリストに従って決定される。例では、視認可能なアセットのリストは、視認可能なアセットのリストにないシーンの別のアセットをストリーミングする前にストリーミングされる。
【0352】
次いで、プロセス４７００はＳ４７９９に進み、終了する。
【0353】
プロセス４７００は、様々なシナリオに適切に適合させることができ、それに応じてプロセス４７００のステップを調整することができる。プロセス４７００のステップのうちの１つまたは複数を、適合、省略、繰り返し、および／または組み合わせることができる。プロセス４７００を実施するために、任意の適切な順序を使用することができる。追加のステップが追加され得る。
【0354】
本開示の第１０の態様によれば、接続されたクライアントタイプによるメディア適応の優先順位付けのための技術を使用することができる。
【0355】
本開示の態様によれば、異種なクライアントのためのメディア配信ネットワークの効率に影響を与える問題の１つは、メディアが変換される必要があるネットワークに接続された多数のクライアント（例えば、クライアントデバイス、エンドデバイス）があると仮定して、変換のためにどのメディアを優先順位付けすべきかを決定することである。
【0356】
一般性を失うことなく、変換プロセスは、両方の名称が業界で使用され得るので、「適応」プロセスとも呼ばれ得ると仮定される。その接続されたクライアントの代わりにメディア適応を実行するネットワークは、ネットワークに接続された現在のクライアントタイプに関する情報によって、そのような適応の優先順位付けを誘導する情報から利益を得る。
【0357】
本開示のいくつかの態様は、ネットワークによって実行される適応（または変換）プロセスから利益を得ることができるクライアントの数を最大化するために実行することができるメディア適応またはメディア変換プロセスの技術を提供する。開示された主題は、ネットワークに現在接続されているクライアントの数およびタイプに基づいて適応プロセスを優先順位付けするために、１つまたは複数のクライアントおよびクライアントタイプの代わりに、メディア適応の一部または全部を実行するネットワークの必要性に対処する。
【0358】
図４８は、いくつかの例における没入型メディア配信モジュール４８００の図を示す。没入型メディア配信モジュール４８００は、図９の没入型メディア配信モジュール９００と同様であるが、クライアント追跡プロセスを伴う没入型メディアネットワーク配信を示すために、４８１２によって示されるクライアント追跡プロセスが追加されている。没入型配信モジュール４８００は、図８において前述したように、レガシーおよび異種の没入型メディア対応ディスプレイにサービスを提供することができる。コンテンツは、４８０１により示されているように作成または取得され、それは自然コンテンツとＣＧＩコンテンツについてそれぞれ図５および図６にさらに具現化されている。次いで、４８０１のコンテンツは、４８０２によって示されるネットワークインジェストフォーマット作成プロセスを使用して、インジェストフォーマットに変換される。４８０２によって示されているプロセスは、同様に、自然コンテンツとＣＧＩコンテンツについてそれぞれ図５および図６でさらに具現化されている。インジェストメディアは、任意選択でＩＭＳメタデータで注釈付けされるか、またはメディアアナライザ４８１１のシーンアナライザによって複雑度の属性を決定するために分析される。インジェストメディアフォーマットは、ネットワークに送信されて、ストレージデバイス４８０３に記憶される。いくつかの例では、ストレージデバイスは、没入型メディアコンテンツ作成者のネットワークに常駐し、４８０３を２等分する破線によって示されるように、没入型メディアネットワーク配信プロセス（番号なし）によって遠隔アクセスされてもよい。クライアントおよびアプリケーション固有の情報は、いくつかの例では、リモートストレージデバイス４８０４で利用可能であり、これは、いくつかの例では代替クラウドネットワークに遠隔に存在してもよい。
【0359】
図４８に示すように、４８０５によって示されているネットワークオーケストレータは、配信ネットワークの主要なタスクを実行するための情報の主要なソースおよびシンクとして機能する。この特定の実施形態では、ネットワークオーケストレータ４８０５は、ネットワークの他のコンポーネントと統一されたフォーマットで実装されてもよい。それにもかかわらず、図４８のネットワークオーケストレータ４８０５によって描かれるタスクは、開示される主題のいくつかの要素を形成する。ネットワークオーケストレータ４８０５は、クライアントの特性に従ってメディアのすべての処理および配信を容易にするために、クライアントとの双方向メッセージプロトコルをさらに用いることができる。さらに、双方向プロトコルは、異なる配信チャネル、すなわち、制御プレーンチャネルとデータプレーンチャネルにわたって実装されてもよい。
【0360】
いくつかの例では、ネットワークオーケストレータ４８０５は、チャネル４８０７を介して、１つまたは複数のクライアントデバイス４８０８の特徴および属性に関する情報を受信し、さらに、４８０８で現在実行されているアプリケーションに関する要件を収集する。この情報は、デバイス４８０４から取得されてもよく、または代替の実施形態では、クライアントデバイス４８０８に直接問い合わせることによって取得されてもよい。クライアントデバイス４８０８へ直接問い合わせる場合、例では、双方向プロトコル（図４８には示されていない）が存在し、クライアントデバイスがネットワークオーケストレータ４８０５に直接通信することができるように動作可能であると仮定される。
【0361】
いくつかの例では、チャネル４８０７はまた、クライアントデバイス４８０８の現在の数およびタイプの記録がネットワークによって維持されるように、クライアント追跡プロセス４８１２を更新することができる。ネットワークオーケストレータ４８０５は、クライアント追跡プロセス４８１２に記憶された情報に基づいて、メディア適応およびフラグメンテーションプロセス４８１０をスケジューリングするための１つまたは複数の優先度を計算することができる。
【0362】
ネットワークオーケストレータ４８０５はまた、図１０に記載されているメディア適応およびフラグメンテーションプロセス４８１０を開始して通信する。インジェストメディアがプロセス４８１０によって適応され断片化されると、メディアは、いくつかの例では、配信ストレージデバイス４８０９のために準備されたメディアとして示されたメディア間ストレージデバイスに転送される。配信メディアが準備されてデバイス４８０９に記憶されると、ネットワークオーケストレータ４８０５は、クライアントデバイス４８０８が、そのネットワークインターフェース４８０８Ｂを介して、プッシュ要求を介して配信メディアおよび対応する記述情報４８０６を受信するか、またはクライアントデバイス４８０８自体がストレージデバイス４８０９からメディア４８０６のプル要求を開始することができるかのいずれかを確実にする。ネットワークオーケストレータ４８０５は、「プッシュ」要求を実行するために、またはクライアントデバイス４８０８による「プル」要求を開始するために、双方向メッセージインターフェース（図４８には図示せず）を用いることができる。クライアント４８０８は、いくつかの例では、ＧＰＵ（またはＣＰＵ、図示されていない）４８０８Ｃを使用することができる。メディアの配信フォーマットは、クライアントデバイス４８０８のストレージデバイスまたはストレージキャッシュ４８０８Ｄに記憶される。最後に、クライアントデバイス４８０８は、その視覚化コンポーネント４８０８Ａを介してメディアを視覚的に提示する。
【0363】
没入型メディアをクライアントデバイス４８０８にストリーミングするプロセス全体を通して、ネットワークオーケストレータ４８０５は、クライアントの進捗およびステータスフィードバックチャネル４８０７を介してクライアントの進捗のステータスを監視し得る。ステータスの監視は、双方向通信メッセージインターフェース（図４８には図示せず）によって実行されてもよい。
【0364】
図４９は、いくつかの例におけるメディア適応プロセス４９００の図を示す。メディア適応プロセスは、取り込まれたソースメディアを、クライアントデバイス９０８（図９に示す）などの１つまたは複数のクライアントデバイスの要件に適合するように適応させることができる。メディア適応プロセス４９０１は、クライアントデバイスのための適切な配信フォーマットへのインジェストメディアの適応を容易にする複数のコンポーネントによって実行することができる。
【0365】
いくつかの例では、ネットワークオーケストレータ４９０３は、適応プロセス４９０１を開始する。データベース４９１２は、いくつかの例では、ネットワークに接続されたクライアントデバイス（例えば、没入型クライアントデバイス４８０８）のタイプおよび数に関連する情報を提供することによって、ネットワークオーケストレータ４９０３が適応プロセス４９０１に優先順位付けするのを支援することができる。
【0366】
図４９では、適応プロセス４９０１は、入力ネットワークステータス４９０５を受信してネットワークの現在のトラフィック負荷を追跡する。クライアントデバイスの情報には、属性および機能の説明、アプリケーションの機能および説明、またアプリケーションの現在のステータス、およびクライアントの錐台のジオメトリをインジェスト没入型メディアの補間機能にマッピングするのを支援するクライアントニューラルネットワークモデル（利用可能な場合）が含まれる。このようなクライアントデバイスの情報は、双方向メッセージインターフェース（図４９に図示せず）によって得られてもよい。適応プロセス４９０１は、適応された出力が作成されると、クライアント適応メディアストレージデバイス４９０６に確実に記憶されるようにする。いくつかの例では、シーンアナライザ４９０７は、事前に、またはメディアの配信のためのネットワーク自動化プロセスの一部として実行され得る。
【0367】
いくつかの例では、適応プロセス４９０１は、論理コントローラ４９０１Ｆによって制御される。適応プロセス４９０１はまた、レンダラ４９０１Ｂまたはニューラルネットワークプロセッサ４９０１Ｃを用いて、特定のインジェストソースメディアをクライアントデバイスに適したフォーマットに適応させる。ニューラルネットワークプロセッサ４９０１Ｃは、４９０１Ａのニューラルネットワークモデルを用いる。このようなニューラルネットワークプロセッサ４９０１Ｃの例としては、ＭＰＩやＭＳＩに記載されているような深層ニューラルネットワークモデル生成部が挙げられる。メディアは２Ｄフォーマットである場合、クライアントは３Ｄフォーマットを必要とし、次いで、ニューラルネットワークプロセッサ４９０１Ｃは、ビデオに描写されたシーンの立体表現を導出するために２Ｄビデオ信号から高相関画像を使用するプロセスを呼び出すことができる。適切なレンダラ４９０１Ｂの例は、適応プロセス４９０１と直接対話するように修正されたＯＴＯＹ Ｏｃｔａｎｅレンダラ（図示せず）の修正バージョンであってもよい。適応プロセス４９０１は、インジェストメディアのフォーマットおよびクライアントデバイスが要求するフォーマットに関するこれらのツールの必要性に応じて、任意選択でメディア圧縮器４９０１Ｄおよびメディア伸張器４９０１Ｅを用いることができる。
【0368】
本開示のいくつかの態様は、ネットワークのクライアントデバイスのメディア要件にメディアを適応させるための優先順位付けプロセスを誘導することを含む方法を提供する。方法は、ネットワークに接続されたクライアントデバイスのプロファイル情報を収集することを含む。クライアントデバイスのメディア要件は、例ではメディアのフォーマットおよびビットレートのうちの１つまたは複数などの属性を含む。クライアントデバイスのプロファイル情報は、いくつかの例では、ネットワークに接続されたクライアントデバイスのタイプおよび数を含む。
【0369】
図５０は、本開示の実施形態によるプロセス５０００の概要を示すフローチャートを示す。プロセス５０００は、ネットワークのサーバデバイスなどによって、ネットワークにおいて実行することができる。いくつかの実施形態では、プロセス５０００がソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、プロセス５０００を実行する。プロセスはＳ５００１で開始し、Ｓ５０１０に進む。
【0370】
Ｓ５０１０では、ネットワークに接続されたクライアントデバイスのプロファイル情報を受信する。プロファイル情報は、メディアをクライアントデバイスに配信するためのクライアントデバイスの１つまたは複数のメディア要件へのメディアの適応を誘導するために、使用することができる。
【0371】
Ｓ５０２０において、クライアントデバイスの第１のサブセットに配信するための第１のメディア要件にメディアを適応させる第１の適応が、クライアントデバイスのプロファイル情報に従って優先順位付けされる。
【0372】
いくつかの例では、１つまたは複数のメディア要件におけるメディア要件は、メディアのフォーマット要件およびビットレート要件のうちの少なくとも１つを含む。
【0373】
いくつかの例では、クライアントデバイスのプロファイル情報は、クライアントデバイスのタイプ、および各々のタイプのクライアントデバイスの番号を含む。
【0374】
例では、クライアントデバイスの第１のサブセットに配信するための第１のメディア要件にメディアを適応させる第１の適応は、第１のサブセットのクライアントデバイスの第１の数が第２のサブセットのクライアントデバイスの第２の数よりも多いことに応じて、クライアントデバイスの第２のサブセットに配信するための第２のメディア要件にメディアを適応させる第２の適応よりも優先順位付けされる。
【0375】
次いで、プロセス５０００はＳ５０９９に進み、終了する。
【0376】
プロセス５０００は、様々なシナリオに適切に適合させることができ、それに応じてプロセス５０００のステップを調整することができる。プロセス５０００のステップのうちの１つまたは複数を、適合、省略、繰り返し、および／または組み合わせることができる。プロセス５０００を実施するために、任意の適切な順序を使用することができる。追加のステップが追加され得る。
【0377】
本開示はいくつかの例示的な実施形態を記載しているが、本開示の範囲内に入る変更、置換、および様々な代替の均等物が存在する。したがって、当業者は、本明細書に明示的に示されていないかまたは記載されていないが、本開示の原理を具現化し、したがって本開示の趣旨および範囲内にある多数のシステムおよび方法を考案することができることが理解されよう。
【符号の説明】
【0378】
１００ メディアフロープロセス、１０４ ネットワーククラウド、１０４ エッジデバイス、１０４ ネットワーク、１０５ ネットワーク接続、１０５ メディア、１０６ レンダリングプロセス、１０６ レンダリング機能、１０８ クライアントデバイス、１１０ メディアストア、１１１ フェッチ機構、２００ メディア変換意思決定プロセス、２００ プロセス、２０１ メディア、２０５ メディア、２０６ 準備プロセス、３００ 時限メディア表現、３００ ストリーミング可能フォーマット、３０１ シーン、３０１ シーン情報、３０２ コンポーネント、３０３ アセット、３０４ ベース層、３０５ 属性強化層、３０６ プロキシビジュアルアセット、３０８ プロキシオーディオアセット、４００ ストリーミング可能フォーマット、４００ 非時限メディア表現、４０１ シーン、４０１ シーン情報、４０２ コンポーネント、４０３ アセット、４０４ ベース層、４０５ 属性強化層、４０６ 属性強化層、４０７ シーン情報、４０８ リスト、５００ プロセス、５０１ カメラユニット、５０２ カメラユニット、５０３ カメラユニット、５０４ 合成モジュール、５０５ ニューラルネットワーク訓練モジュール、５０６ 訓練画像、５０７ インジェストフォーマット、５０８ キャプチャニューラルネットワークモデル、５０８ モデル、５０９ 自然画像コンテンツ、５１１ 注釈付けプロセス、６００ プロセス、６０１ ＬＩＤＡＲカメラ、６０２ 点群、６０２ データ、６０３ コンピュータ、６０４ ＣＧＩアセット、６０４ データ、６０５ 行為者、６０６ データ、６０７ 合成モジュール、６０８ 合成メディア、６０９ ＩＭＳ注釈プロセス、６１０ ＩＭＳ注釈付き合成メディア、７００ コンピュータシステム、７００ アーキテクチャ、７０１ キーボード、７０２ マウス、７０３ トラックパッド、７０５ ジョイスティック、７０６ マイクロフォン、７０７ スキャナ、７０８ カメラ、７０９ スピーカ、７１０ タッチスクリーン、７１０ スクリーン、７２１ メディア、７２２ サムドライブ、７２３ ソリッドステートドライブ、７４０ コア、７４１ 中央処理装置（ＣＰＵ）、７４２ グラフィックスプロセッシングユニット（ＧＰＵ）、７４３ フィールドプログラマブルゲートエリア（ＦＰＧＡ）、７４４ アクセラレータ、７４４ ハードウェアアクセラレータ、７４５ ＲＯＭ、７４６ ＲＡＭ、７４６ ランダムアクセスメモリ、７４７ コア内部大容量ストレージ、７４７ 大容量内部大容量ストレージ、７４８ システムバス、７４９ 周辺バス、７５０ グラフィックスアダプタ、７５４ インターフェース、７５５ 通信ネットワーク、８００ ネットワークメディア配信システム、８０１ コンテンツ取得モジュール、８０２ コンテンツ準備モジュール、８０３ 送信モジュール、８０４ ゲートウェイ、８０５ セットトップボックス、８０６ 無線復調器、８０７ レガシー２Ｄテレビ、８０８ ＷｉＦｉルータ、８０８ ルータ、８０９ レガシー２Ｄディスプレイ、８１０ ヘッドマウント２Ｄラスタベースディスプレイ、８１１ ディスプレイ、８１１ レンチキュラー光照射野ディスプレイ、８１２ ホログラフィックディスプレイ、８１３ ディスプレイ、８１４ 拡張現実ヘッドセット、８１５ 高密度光照射野ディスプレイ、９００ 没入型メディア配信モジュール、９００ 没入型メディアネットワーク配信モジュール、９０１ モジュール、９０２ ネットワークインジェストフォーマット作成モジュール、９０２ モジュール、９０３ ストレージデバイス、９０４ リモートストレージデバイス、９０４ デバイス、９０５ ネットワークオーケストレータ、９０６ メディア、９０６ 記述情報、９０７ ステータスフィードバックチャネル、９０８ クライアント、９０８ 没入型クライアント、９０８ クライアントデバイス、９０９ ストレージデバイス、９０９ 配信ストレージデバイス、９０９ デバイス、９１０ フラグメンテーションモジュール、９１０ モジュール、９１１ メディアアナライザ、１０００ メディア適応プロセス、１０００ プロセス、１００１ 適応モジュール、１００１ メディア適応およびフラグメンテーションモジュール、１００１ 適応プロセス、１００１ フラグメンテーションモジュール、１００３ クライアントインターフェースモジュール、１００３ ネットワークオーケストレータ、１００４ クライアント情報、１００５ 入力ネットワークステータス、１００６ メディアストレージデバイス、１００７ メディアアナライザ、１１００ 配信フォーマット作成プロセス、１１０１ メディア適応モジュール、１１０２ クライアント適応メディアストレージデバイス、１１０３ メディアパッケージングモジュール、１１０４ 配信フォーマット、１２００ パケット化器プロセスシステム、１２０１ クライアント、１２０１ メディア、１２０２ パケット化器、１２０３ パケット、１２０４ クライアントエンドポイント、１３０１ クライアント、１３０２ ネットワークオーケストレータ、１３０３ インジェストメディアサーバ、１３０４ 適応インターフェース、１３０５ メディア適応モジュール、１３０６ パッケージングモジュール、１３０７ メディアサーバ、１３０８ メディア要求、１３０８ 要求、１３０９ プロファイル要求、１３１０ 応答、１３１１ セッションＩＤトークン、１３１２ 要求、１３１２ インジェストメディア要求、１３１３ 応答、１３１４ 呼び出し、１３１５ ニューラルネットワークモデルトークン、１３１６ 呼び出し、１３１６ 要求、１３１７ 応答、１３１８ 要求、１３２０ インターフェース呼び出し、１３２１ 応答メッセージ、１３２１ 応答、１３２２ 応答、１３２３ 要求、１３２４ メッセージ、１４００ メディアシステム、１４０１ ＭＰＥＧスマートクライアントプロセス、１４０１ ＭＰＥＧスマートクライアント、１４０２ クライアントメディア再構成プロセス、１４０２ 再構成プロセス、１４０３ ニューラルネットワークプロセッサ、１４０４ クライアント適応メディアキャッシュ、１４０５ ゲームエンジン、１４０６ 順次圧縮デコーダプロセス、１４０７ クライアントメディアキャッシュ、１４０８ ネットワークオーケストレータデバイス、１４０９ クライアント適応メディア、１４１０ メディアアナライザ、１４１１ メディアキャッシュ、１４１２ ユーザインターフェース、１４１３ 触覚コンポーネント、１４１４ オーディオコンポーネント、１４１５ 視覚化コンポーネント、１４１６ メディアキャッシュ、１４１７ コールバック関数、１４１８ ゲームエンジンクライアントデバイス、１４１８ クライアントデバイス、１４１９ メディアキャッシュ、１４２０ ネットワークインターフェースプロトコル、１４２１ ニューラルネットワークモデル、１５０１ シーンマニフェスト、１５０２ メディアサーバ、１５０３ クラウド、１５０４ エンドデバイス、１６０１ 第１のシーンマニフェスト、１６０２ シーン複雑度アナライザ、１６０３ シーン優先順位付け部、１６０４ 第２のシーンマニフェスト、１７０１ シーンマニフェスト、１７０２ 優先順位認識メディアサーバ、１７０３ クラウド、１７０４ エンドデバイス、１８０１ 仮想美術館、１８０３ 上階、１８０４ 階段吹き抜け、１８０５ ロビー、１８０８ 上階展示室、１９０１ 没入ゲーム、１９０２ 人物、１９０３ スポーン領域、１９２０ 高解像度ＨＤビデオ信号、２００１ シーンマニフェスト、２００２ 優先順位認識メディアサーバ、２００３ クラウド、２００４ エンドデバイス、２０１０ 現在位置、２０１１ シーン優先順位付け部、２１００ プロセス、２２００ プロセス、２３０１ シーンマニフェスト、２３０２ アセット、２３０３ シーン、２４０１ シーン、２４０２ メディアサーバ、２４０３ クラウド、２４０４ エンドデバイス、２５０２ アセット優先順位付け部、２６０２ メディアサーバ、２６０３ クラウド、２６０４ エンドデバイス、２７０１ シーン、２７０２ エントリ位置、２７０２ 位置、２８０２ アセット優先順位付け部、２９０２ メディアサーバ、２９０３ クラウド、２９０４ エンドデバイス、３００１ シーン、３００２ エントリ位置、３００３ 本棚、３００５ 会議テーブル、３００６ 出入り口、３００７ 光源、３１０２ アセット優先順位付け部、３２０２ メディアサーバ、３２０３ クラウド、３２０４ エンドデバイス、３３０１ シーン、３３０２ エントリ位置、３３０２ 初期の位置、３３０７ 視野、３４０２ アセット優先順位付け部、３５０２ メディアサーバ、３５０３ クラウド、３５０４ エンドデバイス、３６０１ シーン、３６０３ 本棚、３６０４ ワークステーション、３７０１ シーン、３８０２ アセット優先順位付け部、３９０２ メディアサーバ、３９０３ クラウド、３９０４ エンドデバイス、４００１ アセット、４００２ メタデータ属性、４０１８ エンドデバイス、４０５５ 属性強化層、４１０２ アセット優先順位付け部、４１０８ エンドデバイス、４１０９ セット、４２００ プロセス、４３００ プロセス、４４００ 時限メディア表現、４４０１ シーン、４４０２ コンポーネント、４４０３ アセット、４４０４ ベース層、４４０５ 属性強化層、４４０７ アセット、４５００ 非時限メディア表現、４５０１ シーンの情報、４５０２ コンポーネント、４５０３ アセット、４５０４ ベース層、４５０５ 属性強化層、４５０６ 属性強化層、４５０７ シーン情報、４５０８ リスト、４６００ プロセスフロー、４７００ プロセス、４８００ 没入型配信モジュール、４８００ 没入型メディア配信モジュール、４８０３ ストレージデバイス、４８０４ リモートストレージデバイス、４８０４ デバイス、４８０５ ネットワークオーケストレータ、４８０６ メディア、４８０６ 記述情報、４８０７ チャネル、４８０７ ステータスフィードバックチャネル、４８０８ クライアントデバイス、４８０８ クライアント、４８０８ 没入型クライアントデバイス、４８０９ 配信ストレージデバイス、４８０９ デバイス、４８０９ ストレージデバイス、４８１０ フラグメンテーションプロセス、４８１０ プロセス、４８１１ メディアアナライザ、４８１２ クライアント追跡プロセス、４９００ メディア適応プロセス、４９０１ 適応プロセス、４９０１ メディア適応プロセス、４９０３ ネットワークオーケストレータ、４９０５ 入力ネットワークステータス、４９０６ クライアント適応メディアストレージデバイス、４９０７ シーンアナライザ、４９１２ データベース、５０００ プロセス、６６０８ 合成メディア、１４０５１ ゲームエンジン制御論理、１４０５１ 制御論理、１４０５２ ＧＰＵインターフェース、１４０５３ 物理エンジン、１４０５４ レンダラ、１４０５４ レンダラープロセス、１４０５５ 圧縮デコーダ、１４０５６ デバイス固有プラグイン、３００Ａ 時限シーンマニフェスト、６０５Ａ センサ、８１１Ｂ ストレージデバイス、８１１Ｃ ビジュアルプレゼンテーションユニット、８１２Ｃ ストレージデバイス、８１２Ｄ ホログラフィック視覚化ユニット、８１４Ｂ ストレージデバイス、８１４Ｃ バッテリ、８１４Ｄ 立体ビジュアルプレゼンテーションコンポーネント、８１５Ｃ ストレージデバイス、８１５Ｄ 視線追跡デバイス、８１５Ｅ カメラ、８１５Ｆ 光照射野パネル、９０８Ａ ゲームエンジン、９０８Ｂ ネットワークインターフェース、９０８Ｄ ストレージキャッシュ、９０８Ｄ ストレージ、９０８Ｅ スマートクライアント、９０８Ｆ コールバック関数、１００１Ａ ニューラルネットワークモデル、１００１Ｂ レンダラ、１００１Ｃ ニューラルネットワークプロセッサ、１００１Ｄ メディア圧縮器、１００１Ｅ メディア解凍器、１００１Ｆ 論理コントローラ、１１
０４Ａ マニフェスト情報、１１０４Ｂ リスト、４４００Ａ 時限シーンマニフェスト、４８０８Ａ 視覚化コンポーネント、４８０８Ｂ ネットワークインターフェース、４８０８Ｄ ストレージキャッシュ、４９０１Ｂ レンダラ、４９０１Ｃ ニューラルネットワークプロセッサ、４９０１Ｄ メディア圧縮器、４９０１Ｅ メディア伸張器、４９０１Ｆ 論理コントローラ
０４Ａ マニフェスト情報、１１０４Ｂ リスト、４４００Ａ 時限シーンマニフェスト、４８０８Ａ 視覚化コンポーネント、４８０８Ｂ ネットワークインターフェース、４８０８Ｄ ストレージキャッシュ、４９０１Ｂ レンダラ、４９０１Ｃ ニューラルネットワークプロセッサ、４９０１Ｄ メディア圧縮器、４９０１Ｅ メディア伸張器、４９０１Ｆ 論理コントローラ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【手続補正書】
【提出日】2024-04-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
没入型メディア処理の方法であって、ネットワークデバイスにより、光照射野ベースのディスプレイで再生するためのシーンベースの没入型メディアを受信するステップであって、前記シーンベースの没入型メディアは没入型メディアの複数のシーンを含む、ステップと、
前記シーンベースの没入型メディアの前記複数のシーンにそれぞれ優先度の値を割り当てるステップと、
前記優先度の値に従って前記複数のシーンをエンドデバイスにストリーミングするための順序を決定するステップと
を含む、方法。
【請求項2】
前記順序を決定する前記ステップは、前記優先度の値に従って前記複数のシーンを再度順位付けするステップと、
前記再度順位付けされた複数のシーンを前記エンドデバイスに送信するステップと
をさらに含む、請求項１に記載の方法。
【請求項3】
前記順序を決定する前記ステップは、優先度認識ネットワークデバイスにより、前記複数のシーンの中の未送信であるシーンのサブセットから、最も高い優先度の値を有する最も高い優先度のシーンを選択するステップと、
前記最も高い優先度のシーンを前記エンドデバイスに送信するステップと
をさらに含む、請求項１に記載の方法。
【請求項4】
前記優先度の値を割り当てる前記ステップは、前記シーンをレンダリングする必要性の尤度に基づいてシーンに対する優先度の値を決定するステップ
をさらに含む、請求項１に記載の方法。
【請求項5】
利用可能なネットワーク帯域幅が制限されていると判定するステップと、前記複数のシーンの中の未送信であるシーンのサブセットから、最も高い優先度の値を有する最も高い優先度のシーンを選択するステップと、
前記利用可能なネットワーク帯域幅が制限されていることに応じて、前記最も高い優先度のシーンを送信するステップと
をさらに含む、請求項１に記載の方法。
【請求項6】
利用可能なネットワーク帯域幅が制限されていると判定するステップと、前記優先度の値に基づいて、次にレンダリングするために必要とされる可能性が低い前記複数のシーンのサブセットを特定するステップと、
前記利用可能なネットワーク帯域幅が制限されることに応じて、前記複数のシーンの前記サブセットをストリーミングから控えるステップと
をさらに含む、請求項１に記載の方法。
【請求項7】
前記優先度の値を割り当てる前記ステップは、第１のシーンと第２のシーンとの間の関係に応じて、前記第２のシーンの第２の優先度の値に基づいて前記第１のシーンに第１の優先度の値を割り当てるステップ
をさらに含む、請求項１に記載の方法。
【請求項8】
前記エンドデバイスからフィードバック信号を受信するステップと、前記フィードバック信号に基づいて、前記複数のシーンのうちの少なくとも１つのシーンの優先度の値を調整するステップと
をさらに含む、請求項１に記載の方法。
【請求項9】
現在のシーンが第１のシーンに関連している第２のシーンであることを示す前記フィードバック信号に応じて、前記第１のシーンに最高の優先度を割り当てるステップをさらに含む、請求項８に記載の方法。
【請求項10】
前記フィードバック信号が、前記エンドデバイスによって決定される優先度の調整を示す、請求項８に記載の方法。
【請求項11】
没入型メディア処理の方法であって、光照射野ベースのディスプレイを有するエンドデバイスにより、前記光照射野ベースのディスプレイによる再生のためのシーンベースの没入型メディアのメディアプレゼンテーション記述（ＭＰＤ）を受信するステップであって、前記シーンベースの没入型メディアは没入型メディアの複数のシーンを含み、前記ＭＰＤは前記複数のシーンを前記エンドデバイスに順番にストリーミングすることを示す、ステップと、
帯域幅利用可能性を検出するステップと、
前記帯域幅利用可能性に基づいて少なくとも１つのシーンの順序の変更を決定するステップと、
前記少なくとも１つのシーンの前記順序の変更を示すフィードバック信号を送信するステップと
を含む、方法。
【請求項12】
前記フィードバック信号は、レンダリングする次のシーンを示す、請求項１１に記載の方法。
【請求項13】
前記フィードバック信号は、前記少なくとも１つのシーンの優先度の値の調整を示す、請求項１１に記載の方法。
【請求項14】
前記フィードバック信号が現在のシーンを示す、請求項１１に記載の方法。
【請求項15】
没入型メディア処理の方法であって、ネットワークデバイスにより、光照射野ベースのディスプレイで再生するためのシーンベースの没入型メディアを受信するステップであって、前記シーンベースの没入型メディアのシーンは、第１の順序の複数のアセットを含む、ステップと、
前記複数のアセットをエンドデバイスにストリーミングするための第２の順序を決定するステップであって、前記第２の順序は前記第１の順序とは異なる、ステップと
を含む、方法。
【請求項16】
前記複数のアセットの１つまたは複数の属性に従って前記シーンの前記複数のアセットにそれぞれ優先度の値を割り当てるステップと、前記優先度の値に従って前記複数のアセットをストリーミングするための前記第２の順序を決定するステップと
を含む、請求項１５に記載の方法。
【請求項17】
前記アセットのサイズに従って前記シーンのアセットに優先度の値を割り当てるステップを含む、請求項１６に記載の方法。
【請求項18】
前記シーンのデフォルトのエントリ位置に関連付けられた前記アセットの可視性に従って前記シーンのアセットに優先度の値を割り当てるステップを含む、請求項１６に記載の方法。
【請求項19】
前記複数のアセットの第１の属性に基づいて前記複数のアセットに第１の優先度の値のセットを割り当てるステップであって、前記第１の優先度の値のセットは、第１の優先順位付け方式で前記複数のアセットを順序付けるために使用される、ステップと、前記複数のアセットの第２の属性に基づいて前記複数のアセットに第２の優先度の値のセットを割り当てるステップであって、前記第２の優先度の値のセットは、第２の優先順位付け方式で前記複数のアセットを順序付けるために使用される、ステップと、
前記エンドデバイスの情報に従って前記第１の優先順位付け方式および前記第２の優先順位付け方式から前記エンドデバイスの優先順位付け方式を選択するステップと、
前記選択された優先順位付け方式に従ってストリーミングのために前記複数のアセットを順序付けるステップと
を含む、請求項１６に記載の方法。
【請求項20】
第１のアセットが第２のアセットよりも計算の複雑度が高いことに応じて、前記第１のアセットに第１の優先度の値を割り当て、前記第２のアセットに第２の優先度の値を割り当てるステップであって、前記第１の優先度の値は前記第２の優先度の値よりも高い、ステップを含む、請求項１６に記載の方法。
【請求項21】
請求項１から１０のいずれか一項に記載の方法、請求項１１から１４、または請求項１５から２０のいずれか一項に記載の方法を実行する装置。
【請求項22】
プロセッサによって実行されると、前記プロセッサに、請求項１から１０のいずれか一項に記載の方法、請求項１１から１４、または請求項１５から２０のいずれか一項に記載の方法を実行させる命令を含む、コンピュータプログラム。
【国際調査報告】