特表 2024-508491 更新可能なシーンを有する５Ｇデバイスに動的５Ｇ ＡＲ／ＭＲ体験をストリーミングする方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-27

(54)【発明の名称】更新可能なシーンを有する５Ｇデバイスに動的５Ｇ ＡＲ／ＭＲ体験をストリーミングする方法

(51)【国際特許分類】

   H04N 21/435 20110101AFI20240219BHJP

   H04L 67/131 20220101ALI20240219BHJP

【ＦＩ】

H04N21/435

H04L67/131

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023552350

(86)(22)【出願日】2022-05-11

(85)【翻訳文提出日】2023-08-29

(86)【国際出願番号】 US2022028690

(87)【国際公開番号】W WO2023080926

(87)【国際公開日】2023-05-11

(31)【優先権主張番号】63/275,358

(32)【優先日】2021-11-03

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/725,985

(32)【優先日】2022-04-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】イーラジ・ソダガー

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA06

5C164UA04S

5C164UB10P

5C164UB41S

5C164UB88S

5C164YA21

(57)【要約】

方法が提供される。本方法は、シーンを含むメディアコンテンツを選択するステップと、外部セッションループにおいて、メディアコンテンツをストリーミングするための拡張現実（AR）／複合現実（MR）セッションを作成するステップと、外部セッションループ内の内部セッションループにおいて、メディアコンテンツをレンダリングするステップと、外部セッションループにおいて、内部セッションループがメディアコンテンツをレンダリングしている間に内部セッションループに新しいシーンを提供することにより、シーンを新しいシーンで更新するステップとを含む。

【特許請求の範囲】

【請求項1】

シーンを含むメディアコンテンツを選択するステップと、
外部セッションループにおいて、前記メディアコンテンツをストリーミングするための拡張現実（AR）／複合現実（MR）セッションを作成するステップと、
前記外部セッションループ内の内部セッションループにおいて、前記メディアコンテンツをレンダリングするステップと、
前記外部セッションループにおいて、前記内部セッションループが前記メディアコンテンツをレンダリングしている間に前記内部セッションループに新しいシーンを提供することにより、前記シーンを前記新しいシーンで更新するステップと
を含む、方法。

【請求項2】

前記シーンを更新するステップが、
更新されたポーズ情報を前記内部セッションループに送信するステップ
を含む、請求項1に記載の方法。

【請求項3】

前記シーンを更新するステップが、
前記内部セッションループにおいて、前記更新されたポーズ情報に基づいて没入型メディアを要求するステップ
をさらに含む、請求項2に記載の方法。

【請求項4】

前記シーンを更新するステップが、
前記内部セッションループにおいて、前記没入型メディアを受信するステップと、
前記内部セッションループにおいて、前記没入型メディアのARコンテンツを現実世界に登録するステップと
をさらに含む、請求項3に記載の方法。

【請求項5】

前記シーンを更新するステップが、
前記内部セッションループにおいて、前記没入型メディアを復号し処理するステップ
をさらに含む、請求項4に記載の方法。

【請求項6】

前記外部セッションループにおいて、前記メディアコンテンツに基づいてメディア取得のための所要トランスポートセッションの数を決定するステップ
をさらに含む、請求項1に記載の方法。

【請求項7】

所要トランスポートセッションの前記数が、配信マニフェスト情報に基づいて決定される、請求項6に記載の方法。

【請求項8】

プログラムコードを記憶するように構成された少なくとも1つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードによって命令される通りに動作するように構成された少なくとも1つのプロセッサであって、前記プログラムコードが、
前記少なくとも1つのプロセッサに、シーンを含むメディアコンテンツを選択させるように構成された第1の選択コードと、
前記少なくとも1つのプロセッサに、外部セッションループにおいて、前記メディアコンテンツをストリーミングするための拡張現実（AR）／複合現実（MR）セッションを作成させるように構成された第1の作成コードと、
前記少なくとも1つのプロセッサに、前記外部セッションループ内の内部セッションループにおいて、前記メディアコンテンツをレンダリングさせるように構成された第1のレンダリングコードと、
前記少なくとも1つのプロセッサに、前記外部セッションループにおいて、前記内部セッションループが前記メディアコンテンツをレンダリングしている間に新しいシーンを前記内部セッションループに提供することにより、前記シーンを前記新しいシーンで更新させるように構成された第1の更新コードと
を含む、少なくとも1つのプロセッサと
を備える、デバイス。

【請求項9】

前記第1の更新コードがさらに、前記少なくとも1つのプロセッサに、更新されたポーズ情報を前記内部セッションループに送信させる、請求項8に記載のデバイス。

【請求項10】

前記第1の更新コードがさらに、前記少なくとも1つのプロセッサに、前記内部セッションループにおいて、前記更新されたポーズ情報に基づいて没入型メディアを要求させる、請求項9に記載のデバイス。

【請求項11】

前記第1の更新コードがさらに、前記少なくとも1つのプロセッサに、
前記内部セッションループにおいて、前記没入型メディアを受信させ、
前記内部セッションループにおいて、前記没入型メディアのARコンテンツを現実世界に登録させる、請求項10に記載のデバイス。

【請求項12】

前記第1の更新コードがさらに、前記少なくとも1つのプロセッサに、前記内部セッションループにおいて、前記没入型メディアを復号させ処理させる、請求項11に記載のデバイス。

【請求項13】

前記少なくとも1つのプロセッサに、前記外部セッションループにおいて、前記メディアコンテンツに基づいてメディア取得のための所要トランスポートセッションの数を決定させるように構成された第1の決定コード
をさらに含む、請求項8に記載のデバイス。

【請求項14】

所要トランスポートセッションの前記数が、配信マニフェスト情報に基づいて決定される、請求項13に記載のデバイス。

【請求項15】

命令を記憶した非一時的コンピュータ可読媒体であって、前記命令が、デバイスの1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
シーンを含むメディアコンテンツを選択することと、
外部セッションループにおいて、前記メディアコンテンツをストリーミングするための拡張現実（AR）／複合現実（MR）セッションを作成することと、
前記外部セッションループ内の内部セッションループにおいて、前記メディアコンテンツをレンダリングすることと、
前記外部セッションループにおいて、前記内部セッションループが前記メディアコンテンツをレンダリングしている間に前記内部セッションループに新しいシーンを提供することにより、前記シーンを前記新しいシーンで更新することと
を行わせる1つまたは複数の命令を含む、非一時的コンピュータ可読媒体。

【請求項16】

前記命令が、前記1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
更新されたポーズ情報を前記内部セッションループに送信することにより、前記シーンを更新すること
をさらに行わせる、請求項15に記載の非一時的コンピュータ可読媒体。

【請求項17】

前記命令が、前記1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
前記内部セッションループにおいて、前記更新されたポーズ情報に基づいて没入型メディアを要求することにより、前記シーンを更新すること
をさらに行わせる、請求項16に記載の非一時的コンピュータ可読媒体。

【請求項18】

前記命令が、前記1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
前記内部セッションループにおいて、前記没入型メディアを受信することと、
前記内部セッションループにおいて、前記没入型メディアのARコンテンツを現実世界に登録することにより、前記シーンを更新することと
をさらに行わせる、請求項17に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記命令が、前記1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
前記内部セッションループにおいて、前記没入型メディアを復号し処理することにより、前記シーンを更新すること
をさらに行わせる、請求項18に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記命令が、前記1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに、
前記外部セッションループにおいて、前記メディアコンテンツに基づいてメディア取得のための所要トランスポートセッションの数を決定すること
をさらに行わせる、請求項15に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2021年11月3日に米国特許商標庁に出願された米国仮出願第63/275,358号の優先権を主張し、その開示は参照によりその全体が本明細書に組み込まれる。

【0002】

本開示は、一般に、第5世代（5G）拡張現実（augmented reality，AR）／複合現実（mixed reality，MR）に関し、詳細には、シーンが動的に更新される5GデバイスにAR／MRコンテンツを提供するための方法および装置に関する。

【背景技術】

【0003】

第3世代パートナーシッププロジェクト（3GPP（登録商標））TS26.501は、第5世代（5G）ネットワークのためのメディアストリーミングアーキテクチャを規定している。3GPPは、拡張現実（AR）／複合現実（MR）アプリケーションのサポートに関する技術報告を開始した。3GPP TR26.998は、5Gネットワークにおけるメガネ型AR／MRデバイスのサポートを規定している。2つのデバイスクラス、すなわち、複雑なAR／MRコンテンツ（すなわち、スタンドアロンAR（STAR））を完全に復号し再生することができるデバイスと、より小さい計算リソースおよび／またはより小さい物理サイズ（すなわち、より小型の電池）を有し、計算の大部分がデバイス（エッジ依存AR（EDGAR）上ではなく5Gエッジサーバ、ネットワーク、またはクラウド上で実行される場合にのみかかるアプリケーションを実行することができるデバイスと、が考慮される。しかしながら、STARデバイスのためのコールフローは、シーン記述を更新することができない。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示の一態様によれば、方法は、シーンを含むメディアコンテンツを選択するステップと、外部セッションループにおいて、メディアコンテンツをストリーミングするための拡張現実（AR）／複合現実（MR）セッションを作成するステップと、外部セッションループ内の内部セッションループにおいて、メディアコンテンツをレンダリングするステップと、外部セッションループにおいて、内部セッションループがメディアコンテンツをレンダリングしている間に内部セッションループに新しいシーンを提供することにより、シーンを新しいシーンで更新するステップとを含むことができる。

【0005】

本開示の態様によれば、デバイスは、プログラムコードを記憶するように構成された少なくとも1つのメモリと、プログラムコードを読み取り、プログラムコードによって命令される通りに動作するように構成された少なくとも1つのプロセッサとを含むことができ、プログラムコードは、少なくとも1つのプロセッサに、シーンを含むメディアコンテンツを選択させるように構成された第1の選択コードと、少なくとも1つのプロセッサに、外部セッションループにおいて、メディアコンテンツをストリーミングするためのAR／MRセッションを作成させるように構成された第1の作成コードと、少なくとも1つのプロセッサに、外部セッションループ内の内部セッションループにおいて、メディアコンテンツをレンダリングさせるように構成された第1のレンダリングコードと、少なくとも1つのプロセッサに、外部セッションループにおいて、内部セッションループがメディアコンテンツをレンダリングしている間に内部セッションループに新しいシーンを提供することにより、シーンを新しいシーンで更新させるように構成された第1の更新コードとを含む。

【0006】

本開示の一態様によれば、非一時的コンピュータ可読媒体は命令を記憶することができ、命令は、デバイスの1つまたは複数のプロセッサによって実行されると、1つまたは複数のプロセッサに、シーンを含むメディアコンテンツを選択することと、外部セッションループにおいて、メディアコンテンツをストリーミングするためのAR／MRセッションを作成することと、外部セッションループ内の内部セッションループにおいて、メディアコンテンツをレンダリングすることと、外部セッションループにおいて、内部セッションループがメディアコンテンツをレンダリングしている間に内部セッションループに新しいシーンを提供することにより、シーンを新しいシーンで更新することとを行わせる1つまたは複数の命令を含む。

【0007】

開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】実施形態による、本明細書に記載の方法、装置、およびシステムが実装され得る環境の図である。

【図2】図1の1つまたは複数のデバイスの構成要素例のブロック図である。

【図3】実施形態による、メディアアップリンクストリーミングのためのメディアアーキテクチャの図である。

【図4】実施形態による、メディアダウンリンクストリーミングのためのメディアアーキテクチャの図である。

【図5】実施形態による、スタンドアロン拡張現実（AR）（STAR）第5世代メディアストリーミングダウンリンク（5GMSd）ダウンロードアーキテクチャの図である。

【図6A】実施形態による、STARベースの5Gダウンリンクストリーミングの動作フローの図である。

【図6B】実施形態による、STARベースの5Gダウンリンクストリーミングの動作フローの図である。

【図6C】実施形態による、STARベースの5Gダウンリンクストリーミングの動作フローの図である。

【図7】実施形態による、STARベースの5Gダウンリンクストリーミングの方法のフローチャートである。

【発明を実施するための形態】

【0009】

図1は、実施形態による、本明細書に記載の方法、装置、およびシステムが実装され得る環境100の図である。図1に示されるように、環境100は、ユーザデバイス110、プラットフォーム120、およびネットワーク130を含むことができる。環境100のデバイスは、有線接続、無線接続、または有線接続と無線接続の組合せを介して相互接続することができる。

【0010】

ユーザデバイス110は、プラットフォーム120に関連する情報を受信、生成、記憶、処理、および／または提供することができる1つまたは複数のデバイスを含む。例えば、ユーザデバイス110は、コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバなど）、携帯電話（例えば、スマートフォン、無線電話など）、ウェアラブルデバイス（例えば、スマートメガネまたはスマートウォッチ）、または同様のデバイスを含むことができる。いくつかの実装形態では、ユーザデバイス110は、プラットフォーム120から情報を受信し、かつ／または情報をプラットフォーム120に送信することができる。

【0011】

プラットフォーム120は、本明細書の他の箇所に記載されるような1つまたは複数のデバイスを含むことができる。いくつかの実装形態では、プラットフォーム120は、クラウドサーバまたはクラウドサーバ群を含むことができる。いくつかの実装形態では、プラットフォーム120は、ソフトウェアコンポーネントが特定の必要性に応じてスワップインまたはスワップアウトされ得るようにモジュール式に設計され得る。したがって、プラットフォーム120は、異なる用途向けに容易にかつ／または迅速に再構成され得る。

【0012】

いくつかの実装形態では、図示のように、プラットフォーム120は、クラウドコンピューティング環境122内でホストされ得る。特に、本明細書に記載の実装形態は、プラットフォーム120をクラウドコンピューティング環境122内でホストされるものとして説明しているが、いくつかの実装形態では、プラットフォーム120はクラウドベースでなくてもよい（すなわち、クラウドコンピューティング環境の外部で実装されてもよい）、または部分的にクラウドベースであってもよい。

【0013】

クラウドコンピューティング環境122は、プラットフォーム120をホストする環境を含む。クラウドコンピューティング環境122は、プラットフォーム120をホストする（複数の）システムおよび／または（複数の）デバイスの物理的位置および構成に関するエンドユーザ（例えば、ユーザデバイス110）の知識を必要としない計算、ソフトウェア、データアクセス、ストレージなどのサービスを提供することができる。図示のように、クラウドコンピューティング環境122は、コンピューティングリソース124の群（まとめて「コンピューティングリソース124」と称され、個別に「コンピューティングリソース124」と称される）を含むことができる。

【0014】

コンピューティングリソース124は、1つまたは複数のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、あるいは他のタイプの計算デバイスおよび／または通信デバイスを含む。いくつかの実装形態では、コンピューティングリソース124は、プラットフォーム120をホストすることができる。クラウドリソースは、コンピューティングリソース124内で実行される計算インスタンス、コンピューティングリソース124内に設けられるストレージデバイス、コンピューティングリソース124によって提供されるデータ転送デバイスなどを含むことができる。いくつかの実装形態では、コンピューティングリソース124は、有線接続、無線接続、または有線接続と無線接続の組合せを介して他のコンピューティングリソース124と通信することができる。

【0015】

図1にさらに示されるように、コンピューティングリソース124は、1つまたは複数のアプリケーション（APP）124-1、1つまたは複数の仮想マシン（VM）124-2、仮想化ストレージ（VS）124-3、1つまたは複数のハイパーバイザ（HYP）124-4などのクラウドリソースの群を含む。

【0016】

アプリケーション124-1は、ユーザデバイス110および／またはプラットフォーム120に提供され得る、またはこれらによってアクセスされ得る1つまたは複数のソフトウェアアプリケーションを含む。アプリケーション124-1は、ソフトウェアアプリケーションをユーザデバイス110にインストールし、ユーザデバイス110上で実行する必要性をなくすことができる。例えば、アプリケーション124-1は、プラットフォーム120に関連するソフトウェア、および／またはクラウドコンピューティング環境122を介して提供されることが可能な他の任意のソフトウェアを含むことができる。いくつかの実装形態では、1つのアプリケーション124-1が、仮想マシン124-2を介して、1つまたは複数の他のアプリケーション124-1に／から情報を送信／受信することができる。

【0017】

仮想マシン124-2は、物理マシンのようにプログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装を含む。仮想マシン124-2は、仮想マシン124-2による用途および任意の実マシンへの対応の度合いに応じて、システム仮想マシンかプロセス仮想マシンのどちらかとすることができる。システム仮想マシンは、完全なオペレーティングシステム（OS）の実行をサポートする完全なシステムプラットフォームを提供することができる。プロセス仮想マシンは、単一のプログラムを実行することができ、単一のプロセスをサポートすることもできる。いくつかの実装形態では、仮想マシン124-2は、ユーザ（例えば、ユーザデバイス110）の代わりに実行することができ、データ管理、同期、長時間のデータ転送など、クラウドコンピューティング環境122のインフラストラクチャを管理することもできる。

【0018】

仮想化ストレージ124-3は、コンピューティングリソース124のストレージシステムまたはストレージデバイス内で仮想化技術を使用する1もしくは複数のストレージシステムおよび／または1つもしくは複数のデバイスを含む。いくつかの実装形態では、ストレージシステムのコンテキスト内で、仮想化のタイプは、ブロック仮想化およびファイル仮想化を含むことができる。ブロック仮想化は、物理的記憶または異種構造に関係なくストレージシステムにアクセスされ得るように、物理的記憶からの論理的記憶の抽象化（または分離）を指すことができる。分離は、ストレージシステムの管理者の、管理者がエンドユーザのために記憶を管理する方法における柔軟性を可能にすることができる。ファイル仮想化は、ファイルレベルでアクセスされるデータとファイルが物理的に記憶される場所との間の依存関係をなくすことができる。これにより、ストレージ使用の最適化、サーバ統合、および／または非破壊的ファイル移動が可能になり得る。

【0019】

ハイパーバイザ124-4は、複数のオペレーティングシステム（例えば、「ゲストオペレーティングシステム」など）がコンピューティングリソース124などのホストコンピュータ上で同時に実行することを可能にするハードウェア仮想化技術を提供することができる。ハイパーバイザ124-4は、仮想オペレーティングプラットフォームをゲストオペレーティングシステムに提示することができ、ゲストオペレーティングシステムの実行を管理することもできる。様々なオペレーティングシステムの複数のインスタンスが、仮想化されたハードウェアリソースを共有することができる。

【0020】

ネットワーク130は、1つまたは複数の有線ネットワークおよび／または無線ネットワークを含む。例えば、ネットワーク130は、セルラーネットワーク（例えば、第5世代（5G）ネットワーク、ロングタームエボリューション（LTE）ネットワーク、第3世代（3G）ネットワーク、符号分割多元接続（CDMA）ネットワークなど）、公衆陸上モバイルネットワーク（PLMN）、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、メトロポリタンエリアネットワーク（MAN）、電話網（例えば、公衆交換電話網（PSTN））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワークなど、および／またはこれらもしくは他のタイプのネットワークの組合せを含むことができる。

【0021】

図1に示されるデバイスおよびネットワークの数および配置は、一例として提供される。実際には、図1に示されるものに比べて、追加のデバイスおよび／もしくはネットワーク、少ないデバイスおよび／もしくはネットワーク、異なるデバイスおよび／もしくはネットワーク、または異なる配置のデバイスおよび／もしくはネットワークがあり得る。さらに、図1に示される2つ以上のデバイスが、単一のデバイス内に実装されてもよく、または図1に示される単一のデバイスが、複数の分散型デバイスとして実装されてもよい。追加的に、または代替的に、環境100のデバイスのセット（例えば、1つまたは複数のデバイス）は、環境100のデバイスの別のセットによって実行されるものとして記載された1つまたは複数の機能を実行することができる。

【0022】

図2は、図1の1つまたは複数のデバイスの構成要素例のブロック図である。デバイス200は、ユーザデバイス110および／またはプラットフォーム120に対応することができる。図2に示されるように、デバイス200は、バス210、プロセッサ220、メモリ230、ストレージコンポーネント240、入力コンポーネント250、出力コンポーネント260、および通信インターフェース270を含むことができる。

【0023】

バス210は、デバイス200の構成要素間の通信を可能にする構成要素を含む。プロセッサ220は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアの組合せで実装される。プロセッサ220は、中央処理装置（CPU）、グラフィックス処理装置（GPU）、加速処理装置（APU）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（DSP）、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、または別のタイプの処理構成要素である。いくつかの実装形態では、プロセッサ220は、機能を実行するようにプログラムされることが可能な1つまたは複数のプロセッサを含む。メモリ230は、ランダムアクセスメモリ（RAM）、読出し専用メモリ（ROM）、ならびに／あるいはプロセッサ220が使用する情報および／または命令を記憶する別のタイプの動的もしくは静的ストレージデバイス（例えば、フラッシュメモリ、磁気メモリ、および／または光メモリ）を含む。

【0024】

ストレージコンポーネント240は、デバイス200の動作および使用に関連する情報および／またはソフトウェアを記憶する。例えば、ストレージコンポーネント240は、対応するドライブと共に、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、および／またはソリッドステートディスク）、コンパクトディスク（CD）、デジタル多用途ディスク（DVD）、フロッピーディスク、カートリッジ、磁気テープ、および／または別のタイプの非一時的コンピュータ可読媒体を含むことができる。

【0025】

入力コンポーネント250は、デバイス200がユーザ入力などにより情報を受け取ることを可能にする構成要素（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、および／またはマイクロフォン）を含む。追加的に、または代替的に、入力コンポーネント250は、情報を感知するためのセンサ（例えば、全地球測位システム（GPS）コンポーネント、加速度計、ジャイロスコープ、および／またはアクチュエータ）を含むことができる。出力コンポーネント260は、デバイス200からの出力情報を提供する構成要素（例えば、ディスプレイ、スピーカ、および／または1つもしくは複数の発光ダイオード（LED））を含む。

【0026】

通信インターフェース270は、デバイス200が有線接続、無線接続、または有線接続と無線接続の組合せなどを介して他のデバイスと通信することを可能にするトランシーバのような構成要素（例えば、トランシーバならびに／あるいは別個の受信機および送信機）を含む。通信インターフェース270は、デバイス200が別のデバイスから情報を受信し、かつ／または別のデバイスに情報を提供することを可能にし得る。例えば、通信インターフェース270は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（RF）インターフェース、ユニバーサルシリアルバス（USB）インターフェース、Wi-Fiインターフェース、セルラーネットワークインターフェースなどを含むことができる。

【0027】

デバイス200は、本明細書に記載の1つまたは複数のプロセスを実行することができる。デバイス200は、プロセッサ220がメモリ230および／またはストレージコンポーネント240などの非一時的コンピュータ可読媒体によって記憶されたソフトウェア命令を実行したことに応答して、これらのプロセスを実行することができる。コンピュータ可読媒体は、本明細書では非一時的メモリデバイスとして定義される。メモリデバイスは、単一の物理ストレージデバイス内のメモリ空間、または複数の物理ストレージデバイスにわたって広がるメモリ空間を含む。

【0028】

ソフトウェア命令は、別のコンピュータ可読媒体から、または通信インターフェース270を介して別のデバイスからメモリ230および／またはストレージコンポーネント240に読み込まれ得る。メモリ230および／またはストレージコンポーネント240に記憶されたソフトウェア命令は、実行されると、プロセッサ220に、本明細書に記載の1つまたは複数のプロセスを実行させ得る。追加的に、または代替的に、本明細書に記載の1つまたは複数のプロセスを実行するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路が使用されてもよい。したがって、本明細書に記載の実装形態は、ハードウェア回路とソフトウェアのいかなる特定の組合せにも限定されない。

【0029】

図2に示される構成要素の数および配置は、一例として提供される。実際には、デバイス200は、図2に示される構成要素に比べて、追加の構成要素、少ない構成要素、異なる構成要素、または異なる配置の構成要素を含むことができる。追加的に、または代替的に、デバイス200の構成要素のセット（例えば、1つまたは複数の構成要素）は、デバイス200の構成要素の別のセットによって実行されるものとして記載された1つまたは複数の機能を実行してもよい。

【0030】

5Gメディアストリーミング（5GMS）システムは、ダウンリンク・メディア・ストリーミング・サービスかアップリンク・メディア・ストリーミング・サービスのどちらか、またはその両方をサポートする5Gメディアストリーミングアーキテクチャ由来のアプリケーション機能、アプリケーションサーバ、およびインターフェースの集合体であってもよい。5GMSアプリケーションプロバイダは、5GMSシステムの機能と対話し、5GMSシステムの機能と対話する5GMSアウェアアプリケーションを供給するパーティを含むことができる。5GMSアウェアアプリケーションは、5GMSアプリケーションサービスのサービス論理を含み、5GMSアーキテクチャで定義されたインターフェースおよびアプリケーションプログラミングインターフェース（API）を介して他の5GMSクライアントおよびネットワーク機能と対話する、5GMSアプリケーションプロバイダによって提供されるユーザ機器（UE）内のアプリケーションを指すことができる。5GMSクライアントは、5GMSダウンリンク（5GMSd）クライアントか5GMSアップリンク（5GMSu）クライアントのどちらか、またはその両方であるUE機能を指すことができる。

【0031】

5GMSdクライアントは、少なくとも5Gメディアストリーミングプレーヤおよびダウンリンクストリーミング用のメディアセッションハンドラを含み、明確に定義されたインターフェース／APIを介してアクセスされ得るUE機能を指すことができる。5GMSuクライアントは、明確に定義されたインターフェース／APIを通じてアクセスされ得る5GMSuサービスの発信元を指すことができる。5GMSuメディアストリーマは、5GMSアプリケーションプロバイダのアプリケーションサーバ（AS）機能へのストリーミングメディアコンテンツのアップリンク配信を可能にし、メディアキャプチャおよび後続のストリーミングのための5GMSuアウェアアプリケーションとメディアセッション制御のためのメディアセッションハンドラとの両方と対話するUE機能を指すことができる。

【0032】

動的ポリシーは、メディアセッション中のアップリンクアプリケーションフローまたはダウンリンクアプリケーションフローのための動的ポリシーおよび課金制御（PCC）ルールを指すことができる。イジェストセッション（egest session）は、5GMS ASから5GMSuアプリケーションプロバイダに向かうアップリンクメディアストリーミングセッションを指すことができる。インジェストセッション（ingest session）は、メディアコンテンツを5GMSd ASにアップロードするためのセッションを指すことができる。ポリシーテンプレートは、5GMSアプリケーションプロバイダに固有の（準静的）ポリシーまたは制御機能（PCF）／ネットワーク公開機能（NEF）APIパラメータの集合を指し、結果として得られるPCCルールも指すことができる。ポリシーテンプレートIDは所望のポリシーテンプレートを識別することができ、このポリシーテンプレートは、PCFが所望のPCCルールをコンパイルすることができるように、5Gシステムに向けて適切なPCF／NEF APIを選択するために5GMSdアプリケーション機能（AF）によって使用される。メディアプレーヤエントリは、メディアプレゼンテーション（例えば、DASHのためのメディアプレゼンテーション記述（MPD）またはビデオクリップファイルへのユニフォームリソースロケータ（URL））を定義する文書または文書へのポインタを指すことができる。メディアストリーマエントリは、アップリンクメディアストリーミングセッションのエントリポイントを定義するポインタ（例えば、URLの形式）を指すことができる。プレゼンテーションエントリは、HTML5文書などのアプリケーションプレゼンテーションを定義する文書または文書へのポインタを指すことができる。

【0033】

プロビジョニングセッションは、5GMSdアウェアアプリケーションのセットに関連する5GMSd特徴を構成する5GMSdアプリケーションプロバイダによってインターフェース（M1d）で供給されるデータ構造を指すことができる。5GMSdメディアプレーヤは、メディア再生エントリに基づくメディアプレゼンテーションのプレイバックおよびレンダリングを可能にするとともに、再生、一時停止、検索、停止などのいくつかの基本的な制御を5GMSdアウェアアプリケーションに公開することを可能にするUE機能を指すことができる。サーバアクセス情報は、ストリーミングセッションの受け入れをアクティブにするのに必要とされるパラメータおよびアドレスのセット（5GMSd AFアドレスおよび5GMSd ASアドレスを含む）を指すことができる。サービスおよびコンテンツ発見は、エンドユーザが、利用可能なストリーミングサービスおよびコンテンツ提供物を発見し、アクセスのために特定のサービスまたはコンテンツアイテムを選択することを可能にする5GMSアウェアアプリケーションに、5GMSdアプリケーションプロバイダによって提供される機能および手順を指すことができる。サービスアナウンスメントは、5GMSアウェアアプリケーションが5GMSサービスのアクセス情報を直接、またはその情報への参照の形で取得することができるように、5GMSアウェアアプリケーションと5GMSアプリケーションプロバイダとの間で行われる手順を指すことができる。

【0034】

サードパーティプレーヤは、APIを使用して選択された5GMSd機能を実行し、それによってメディアコンテンツを再生するアプリケーションの一部を指すことができる。サードパーティアップリンクストリーマは、APIを使用して選択された5GMSu機能を実行し、それによってメディアコンテンツを取り込みストリーミングするアプリケーションの一部を指すことができる。

【0035】

図3は、実施形態による、メディアアップリンクストリーミングのためのメディアアーキテクチャ300の図である。5GMSuアプリケーションプロバイダ301は、アップリンクストリーミングサービスのために5GMSuを使用し得る。5GMSuアプリケーションプロバイダ301は、5GMSuで定義されたインターフェースおよびAPIを使用して5GMSuクライアント304およびネットワーク機能を利用するために、UE303上に5GMSuアウェアアプリケーション302を提供し得る。5GMSu ASは、5Gメディアアップリンクストリーミング専用のASであってもよい。5GMSuクライアント304は、5Gメディアアップリンクストリーミング専用のUE303内部機能であってもよい。

【0036】

5GMSu AF306および5GMSu AS305は、データネットワーク（DN）307の機能であってもよい。信頼できるDN内の機能は、事業者のネットワークによって信頼され得る。したがって、信頼できるDN内のAFは、すべての5Gコア機能と直接通信することができる。外部DN内の機能は、リンク320を使用してNEF308を介して5Gコア機能としか通信することができない。

【0037】

メディアアーキテクチャ300は、5GメディアアップリンクストリーミングのためにUE303の内部機能と関連ネットワーク機能とを接続することができる。したがって、メディアアーキテクチャ300は、いくつかの機能を含むことができる。例えば、UE303上の5GMSuクライアント304は、インターフェース／APIを通じてアクセスされ得る5GMSuサービスの発信元であってもよい。5GMSuクライアント304は、2つのサブ機能、すなわちメディアセッションハンドラ309およびメディアストリーマ310を含むことができる。メディアセッションハンドラ309は、メディアセッションの配信を確立、制御、およびサポートするために、5GMSu AF306と通信することができる。メディアセッションハンドラ309は、5GMSuアウェアアプリケーション302によって使用され得るAPIを公開することができる。メディアストリーマ310は、メディアコンテンツをストリーミングし、メディアのキャプチャリングおよびストリーミングのために5GMSuアウェアアプリケーション302にサービスを提供し、メディアセッション制御のためにメディアセッションハンドラ309にサービスを提供するために、5GMSu AS305と通信することができる。5GMSuアウェアアプリケーション302は、外部アプリケーションまたはコンテンツサービスプロバイダ固有の論理を実装し、メディアセッションの確立を可能にすることにより、5GMSuクライアント304を制御することができる。5GMSu AS305は5Gメディア機能をホストしてもよく、例えば、コンテンツ配信ネットワーク（CDN）として実装されてもよい。5GMSuアプリケーションプロバイダ301は、5GMSuを使用して5GMSuアウェアアプリケーション302からメディアをストリーミングする外部アプリケーションまたはコンテンツ固有のメディア機能、例えば、メディアストレージ、消費、トランスコーディングおよび再配信であってもよい。5GMSu AF306は、UE303上のメディアセッションハンドラ309および／または5GMSuアプリケーションプロバイダ301に様々な制御機能を提供することができる。5GMSu AF306は、異なるPCF311処理の要求を中継または開始してもよく、または他のネットワーク機能と対話してもよい。

【0038】

メディアアーキテクチャ300は、いくつかの異なるインターフェースを含むことができる。例えば、リンク321はM1uに関連していてもよく、M1uは、メディアアーキテクチャ300の使用をプロビジョニングし、フィードバックを得るために、5GMSu AF306によって公開される5GMSuプロビジョニングAPIであってもよい。リンク322はM2uに関連していてもよく、M2uは、5GMSu AS305によって公開され、DN307などの信頼できるDN内の5GMSu AS305がストリーミングサービス用のコンテンツを受信するように選択されたときに使用される5GMSuパブリッシュAPIであってもよい。リンク323はM3uに関連していてもよく、M3uは、DN307などの信頼できるDN内の5GMSu AS305上でのコンテンツホスティングのための情報を交換するために使用される内部APIであってもよい。リンク324はM4uに関連していてもよく、M4uは、メディアコンテンツをストリーミングするために5GMSu AS323によってメディアストリーマ310に公開されるメディアアップリンクストリーミングAPIであってもよい。リンク325はM5uに関連していてもよく、M5uは、適切なセキュリティ機構、例えば許可および認証も含む、メディアセッションの処理、制御および支援のために5GMSu AF305によってメディアセッションハンドラに公開されるメディアセッションハンドリングAPIであってもよい。リンク326はM6uに関連していてもよく、M6uは、5GMSu機能を利用するためにメディアセッションハンドラ309によって5GMSuアウェアアプリケーション302に公開されるUE303のメディアセッションハンドリングAPIであってもよい。リンク327はM7uに関連していてもよく、M7uは、メディアストリーマ310を利用するためにメディアストリーマ310によって5GMSuアウェアアプリケーション302およびメディアセッションハンドラ309に公開されるUEのメディアストリーマAPIであってもよい。リンク328はM8uに関連していてもよく、M8uは、例えば5GMSuアウェアアプリケーション302にサービスアクセス情報を提供するために、5GMSuアウェアアプリケーション302と5GMSuアプリケーションプロバイダ301との間の情報交換に使用されるアプリケーションAPIであってもよい。UE303はまた、インターフェースM6u326およびM7u327が公開されないように、自己完結的に実装されてもよい。

【0039】

図4は、実施形態による、メディアダウンリンクストリーミングのためのメディアアーキテクチャ400の図である。5GMSdアプリケーションプロバイダ401は、ダウンリンクストリーミングサービスのために5GMSdを使用してもよい。5GMSdアプリケーションプロバイダ401は、5GMSdで定義されたインターフェースおよびAPIを使用して5GMSdクライアント404およびネットワーク機能を利用するために、UE403上に5GMSdアウェアアプリケーション402を提供し得る。5GMSd ASは、5Gメディアダウンリンクストリーミング専用のASであってもよい。5GMSdクライアント404は、5Gメディアダウンリンクストリーミング専用のUE403内部機能であってもよい。

【0040】

5GMSd AF406および5GMSd AS405はDN407機能であってもよい。信頼できるDN内の機能は、事業者のネットワークによって信頼され得る。したがって、信頼できるDN内のAFは、すべての5Gコア機能と直接通信することができる。外部DN内の機能は、リンク420を使用してNEF408を介して5Gコア機能としか通信することができない。

【0041】

メディアアーキテクチャ400は、5GメディアダウンリンクストリーミングのためにUE403内部機能および関連するネットワーク機能を接続することができる。したがって、メディアアーキテクチャ400は、いくつかの機能を含むことができる。例えば、UE403上の5GMSdクライアント404は、インターフェース／APIを通じてアクセスされ得る5GMSdサービスの受信先であってもよい。5GMSdクライアント404は、2つのサブ機能、すなわちメディアセッションハンドラ409およびメディアプレーヤ410を含むことができる。メディアセッションハンドラ409は、メディアセッションの配信を確立、制御、およびサポートするために、5GMSd AF406と通信することができる。メディアセッションハンドラ409は、5GMSdアウェアアプリケーション402によって使用され得るAPIを公開することができる。メディアプレーヤ410は、メディアコンテンツをストリーミングし、メディアプレイバックのために5GMSdアウェアアプリケーション402にサービスを提供し、メディアセッション制御のためにメディアセッションハンドラ409にサービスを提供するために5GMSd AS405と通信することができる。5GMSdアウェアアプリケーション402は、外部アプリケーションまたはコンテンツサービスプロバイダ固有の論理を実装し、メディアセッションの確立を可能にすることにより、5GMSdクライアント404を制御することができる。5GMSd AS405は、5Gメディア機能をホストし得る。5GMSdアプリケーションプロバイド401は、5GMSdを使用してメディアを5GMSdアウェアアプリケーション402にストリーミングする外部アプリケーションまたはコンテンツ固有のメディア機能、例えば、メディア生成、符号化、およびフォーマッティングであってもよい。5GMSd AF406は、UE403上のメディアセッションハンドラ409および／または5GMSdアプリケーションプロバイダ401に様々な制御機能を提供することができる。5GMSd AF406は、異なるPCF411処理の要求を中継または開始してもよく、または他のネットワーク機能と対話してもよい。

【0042】

メディアアーキテクチャ400は、いくつかの異なるインターフェースを含むことができる。例えば、リンク421はM1dに関連していてもよく、M1dは、メディアアーキテクチャ400の使用をプロビジョニングし、フィードバックを得るために、5GMSd AF406によって公開される5GMSdプロビジョニングAPIであってもよい。リンク422はM2dに関連していてもよく、M2dは、5GMSd AS405によって公開され、DN407などの信頼できるDN内の5GMSd AS405がストリーミングサービス用のコンテンツを受信するように選択されたときに使用される5GMSdインジェストAPIであってもよい。リンク423はM3dに関連していてもよく、M3dは、DN407などの信頼できるDN内の5GMSd AS405上でのコンテンツホスティングのための情報を交換するために使用される内部APIであってもよい。リンク424はM4dに関連していてもよく、M4dは、メディアコンテンツをストリーミングするために5GMSd AS423によってメディアプレーヤ410に公開されるメディアダウンリンクストリーミングAPIであってもよい。リンク425はM5dに関連していてもよく、M5dは、適切なセキュリティ機構、例えば許可および認証も含む、メディアセッションの処理、制御および支援のために5GMSd AF405によってメディアセッションハンドラに公開されるメディアセッションハンドリングAPIであってもよい。リンク426はM6dに関連していてもよく、M6dは、5GMSd機能を利用するためにメディアセッションハンドラ409によって5GMSdアウェアアプリケーション402に公開されるUE403のメディアセッションハンドリングAPIであってもよい。リンク427はM7dに関連していてもよく、M7dは、メディアプレーヤ410を利用するためにメディアプレーヤ410によって5GMSdアウェアアプリケーション402およびメディアセッションハンドラ409に公開されるUEのメディアプレーヤAPIであってもよい。リンク428はM8dに関連していてもよく、M8dは、例えば5GMSdアウェアアプリケーション402にサービスアクセス情報を提供するために、5GMSdアウェアアプリケーション402と5GMSdアプリケーションプロバイダ401との間の情報交換に使用されるアプリケーションAPIであってもよい。

【0043】

図5は、実施形態による、スタンドアロン拡張現実（AR）（STAR）5GMSdダウンロードアーキテクチャ500の図である。AR STAR 5GMSdアーキテクチャ500は、複合現実（MR）にも適用され得る。アーキテクチャ500は、5G STAR UE502、5Gシステム504（すなわち、5Gサーバおよび計算）、およびAR／MRアプリケーションプロバイダ506を含む。5G STAR UE502は、ARランタイム508、ARシーンマネージャ510、メディアアクセス機能512、およびAR／MRアプリケーション514を含む。ARランタイム508は、エクステンデッドリアリティ（extended reality，XR）計算モジュール516、ポーズ補正モジュール518、および音場マッピングモジュール520を含む。ARシーンマネージャ510は、シーングラフハンドラ（SGH）521、コンポジタ522、没入型ビジュアルレンダラ（immersive visual renderer）523、および没入型オーディオレンダラ524を含む。メディアアクセス機能512は、メディアセッションハンドラ526およびメディアクライアント528を含む。メディアクライアント528は、2次元（2D）コーデック530、没入型メディアデコーダ532、シーン記述配信モジュール534、コンテンツ配信モジュール536、およびXR空間記述配信モジュール538を含む。5G STAR UE502は、5Gシステム504の5Gノード（gNb）542と通信する5Gシステム（Uu）540を含む。

【0044】

5Gシステム504は、メディアAF544およびメディアAS546を含む。AR／MRアプリケーションプロバイダ506は、AR機能548およびARシーンモジュール550を含む。メディアクライアント528は、M4インターフェース582によってメディアAS546と通信する。メディアセッションハンドラ526は、M5インターフェース586によってメディアAF544と通信する。AR／MRアプリケーション514は、M8インターフェース588によってAR／MRアプリケーションプロバイダ506と通信する。AR／MRアプリケーション514は、ユーザ入力591とARランタイム508からのARランタイムAPI590のデータとを受信することができる。ARランタイム508は、カメラ592およびセンサ593からデータを受信することができ、データをディスプレイ594およびスピーカ595に出力することができる。

【0045】

本開示の実施形態は、2つのループ、すなわち、外部ループとしてシーンおよびシーン更新をストリーミングするループと内部ループとして各シーンのメディアオブジェクトをストリーミングするループと含むコールフローを提供する。

【0046】

図6A、図6B、および図6Cは、実施形態による、STARベースの5Gダウンリンクストリーミングの動作フローの図である。図6の動作フローを実行するシステムは、STAR UE602の一部であり得る、AR／MRアプリケーション606、ARランタイム608、AR／MRシーンマネージャ610、メディアクライアント612、およびメディアセッションハンドラ614を含むことができる（さらに、メディアクライアント612およびメディアセッションハンドラ614は、メディアアクセス機能の一部であり得る）。システムは、5GMSd AF616、5GMSd AS618も含む。システムは、AR／MRアプリケーションプロバイダ620も含むことができる。アプリケーションプロバイダ620は、シーンサーバと称されることがある。

【0047】

動作630において、シーンコンテンツが5GMSd AS618によって取り込まれる。動作632において、サービス告知およびコンテンツ配信がAR／MRアプリケーション606によってトリガされる。サービスアクセス情報はメディアクライアントエントリを含む、またはサービスアクセス情報への参照は、M8dインターフェースを通じて提供される。動作634において、メディアコンテンツ／シーンが選択される。動作636において、サービスアクセス情報は、必要に応じて（すなわち、動作636は任意選択であり得る）取得または更新される。動作638において、AR／MRアプリケーション606は、シーンマネージャ610をエントリポイント（すなわち、全シーン記述）URLで初期化する。動作640において、メディアクライアント612は、エントリポイントを受信するためのトランスポートセッションを確立する。

【0048】

動作641～動作672はシーンセッションループを確立し、そこでシステムはシーンおよびシーン更新を要求しレンダリングする。

【0049】

動作641において、メディアクライアント612は、エントリポイントまたはシーン記述への更新を要求し受信する。動作642において、エントリポイントが処理される。動作644において、AR／MRシーンマネージャ610は、ARランタイム608から新しいAR／MRセッションの作成を要求する。動作646において、ARランタイム608は、新しいAR／MRセッションを作成する。動作648において、ストリーミングセッションが作成される。メディアクライアント612および／またはAR／MRシーンマネージャ610は、必要なサービス品質（QoS）情報をメディアセッションハンドラ614に提供することができる。動作650において、（複数の）ストリーミングセッションが構成される。メディアセッションハンドラ614は、いくつかの実施形態では所望のQoS情報を含む情報を5GMSd AF616と共有することができる。AR／MRアプリケーションプロバイダ620による既存のプロビジョニングに基づいて、5GMSd AF616は、プロトコルデータユニット（PDU）セッションに対するQoS変更を要求することができる。

【0050】

動作652～動作656は、各メディアストリームオブジェクトのためのメディアセッションを確立する。動作652において、配信マニフェストのためのトランスポートセッションが確立される。必要なメディアコンテンツについて、メディアクライアント612は、配信マニフェスト情報を取得するためにトランスポートセッションを確立する。動作654において、メディアクライアント612は、5GMSd AS618から配信マニフェストを要求し受信する。動作656において、メディアクライアント612は、配信マニフェストを処理する。メディアクライアント612は、例えば、メディア取得のための必要とされるトランスポートセッションの数を決定する。メディアクライアント612は、配信マニフェスト情報を使用してメディアストリームごとにメディアパイプラインを初期化するように構成される。

【0051】

動作658において、AR／MRシーンマネージャ610およびメディアクライアント612は、レンダリングおよび配信メディアパイプラインを構成する。動作660において、メディアクライアント612は、メディアコンテンツを取得するためのトランスポートセッションを確立する。

【0052】

動作662～動作672は、シーンセッションループ（すなわち、外部セッションループ）内にメディアセッションループ（すなわち、内部セッションループ）を確立する。メディアセッションループは、外部ループがセッションを確立し、メディアコンテンツに対する更新を受信している間に、メディアコンテンツをレンダリングし提示するように動作することができる。更新は、内部セッションループがコンテンツをレンダリングしている間に、外部セッションループから内部セッションループに送信され得る。

【0053】

動作662において、最新のポーズ情報（例えば、更新されたシーンまたはコンテンツ）がAR／MRシーンマネージャ610によって取得され、メディアクライアント612と共有される。動作664において、メディアクライアント612は、処理済み配信マニフェストに従って没入型メディアデータを要求する。メディアクライアント612は、ポーズ情報（例えば、ビューポート依存ストリーミング）を考慮することができる。動作666において、メディアクライアント612は、没入型データを受信し、それに応じて、現実世界へのARコンテンツの登録を含む、（複数の）メディアレンダリングパイプラインをトリガする。動作668において、メディアクライアント612は、メディアデータを復号し処理する。暗号化されたメディアデータの場合、メディアクライアント612は復号化を実行することもできる。動作670において、メディアクライアント612は、メディアデータをAR／MRシーンマネージャ610に渡す。動作672において、AR／MRシーンマネージャ610は、メディアをレンダリングし、レンダリングされたメディアをARランタイム608に渡す。ARランタイム608は、現実世界へのARコンテンツの登録やポーズ補正などのさらなる処理を実行することができる。

【0054】

AR／MRシーンは、STARデバイスへのストリーミング中に動的に更新され得る、したがって、シーンは、ストリーミングセッション中に完全に変更され得る。STARデバイスのためのシーン更新は二重ループコールフローで達成され、そこで、内部ループでは、シーンのメディアオブジェクトがストリーミングされるが、外部ループでは、シーンが更新または変更される。本明細書に開示される実施形態により、シーンが更新され変更されるときはいつでも、内部ループは中断され、前のメディアオブジェクトは、新しいシーンに関連する新しいメディアオブジェクトに置き換えられ、したがって、新しいシーンにおいてもはや関連性のないメディアオブジェクトのためにストリーミング帯域幅が浪費されない。

【0055】

図7は、実施形態による、STARベースの5Gダウンリンクストリーミングの方法のフローチャートである。動作702において、システムは、シーンを含むメディアコンテンツを選択する。動作704において、システムは、外部セッションループにおいて、メディアコンテンツをストリーミングするためのAR／MRセッションを作成する。動作706において、システムは、外部セッションループ内の内部セッションループにおいて、メディアコンテンツをレンダリングする。動作708において、システムは、外部セッションループにおいて、内部セッションループがメディアコンテンツをレンダリングしている間に内部セッションループに新しいシーンを提供することにより、シーンを新しいシーンで更新する。

【0056】

図7はプロセス700のブロック例を示すが、いくつかの実装形態では、プロセス700は、図7に示されるものに対して追加のブロック、より少ないブロック、異なるブロック、または異なる配置のブロックを含むことができる。追加的に、または代替的に、プロセス700のブロックのうちの2つ以上が並列に実行され得る。

【0057】

さらに、提案された方法は、処理回路（例えば、1つまたは複数のプロセッサ、または1つまたは複数の集積回路）によって実施されてもよい。一例では、1つまたは複数のプロセッサは、提案された方法のうちの1つまたは複数を実行するために、非一時的コンピュータ可読媒体に記憶されているプログラムを実行する。

【0058】

上述した技術は、コンピュータ可読命令を使用する、1つまたは複数のコンピュータ可読媒体に物理的に記憶されたコンピュータソフトウェアとして実装され得る。

【0059】

本開示の実施形態は、別々に使用されてもよく、任意の順序で組み合わされてもよい。さらに、実施形態（およびその方法）はそれぞれ、処理回路（例えば、1つまたは複数のプロセッサ、または1つまたは複数の集積回路）によって実施されてもよい。一例では、1つまたは複数のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。

【0060】

前述の開示は、例示および説明を提供するが、網羅的であること、または実装形態を開示された正確な形態に限定することを意図するものではない。修正形態および変形形態が上記の開示に照らして可能であり、または実装形態の実践から取得されてもよい。

【0061】

本明細書で使用される場合、構成要素という用語は、ハードウェア、ファームウェア、またはハードウェアとソフトウェアの組合せとして広く解釈されることを意図している。

【0062】

特徴の組合せが、特許請求の範囲に列挙され、かつ／または本明細書に開示されているが、これらの組合せは、可能な実装形態の開示を限定することを意図するものではない。実際、これらの特徴の多くは、特許請求の範囲に具体的に列挙されておらず、かつ／または本明細書に開示されていない方法で組み合わせることができる。下記に記載される各従属請求項は1つの請求項のみに直接従属し得るが、可能な実装形態の開示は、各従属請求項を請求項セット内の他のすべての請求項と組み合わせて含む。

【0063】

本明細書で使用される要素、行為、または指示は、そのようなものとして明示的に記載されていない限り、重要または必須であると解釈されるべきではない。また、本明細書で使用される場合、冠詞「a」および「an」は、1つまたは複数の項目を含むことを意図されており、「1つまたは複数」と交換可能に使用され得る。さらに、本明細書で使用される場合、「セット」という用語は、1つまたは複数の項目（例えば、関連項目、非関連項目、関連項目と非関連項目の組合せなど）を含むことを意図されており、「1つまたは複数」と交換可能に使用され得る。1つの項目のみが意図されている場合、「1つ」という用語または同様の言葉が使用される。また、本明細書で使用される場合、「有する（has，have，having）」などの用語は、オープンエンドの用語であることが意図されている。さらに、「に基づいて（based on）」という語句は、特に明記されない限り、「に少なくとも部分的に基づいて」を意味することが意図されている。

【符号の説明】

【0064】

100 環境
110 ユーザデバイス
120 プラットフォーム
122 クラウドコンピューティング環境
124 コンピューティングリソース
124-1 アプリケーション（APP）
124-2 仮想マシン（VM）
124-3 仮想化ストレージ（VS）
124-4 ハイパーバイザ（HYP）
130 ネットワーク
200 デバイス
210 バス
220 プロセッサ
230 メモリ
240 ストレージコンポーネント
250 入力コンポーネント
260 出力コンポーネント
270 通信インターフェース
300 メディアアーキテクチャ
301 5GMSuアプリケーションプロバイダ
302 5GMSuアウェアアプリケーション
303 ユーザ機器（UE）
304 5GMSuクライアント
305 5GMSu AS
306 5GMSu AF
307 データネットワーク（DN）
308 ネットワーク公開機能（NEF）
309 メディアセッションハンドラ
310 メディアストリーマ
311 異なるPCF
320，321，322，323，324，325，326，327，328 リンク
400 メディアアーキテクチャ
401 5GMSdアプリケーションプロバイダ
402 5GMSdアウェアアプリケーション
403 UE
404 5MSdクライアント
405 5GMSd AS
406 5GMSd AF
407 DN
408 NEF
409 メディアセッションハンドラ
410 メディアプレーヤ
411 異なるPCF
420，421，422，423，424，425，426，427，428 リンク
500 スタンドアロン拡張現実（AR）（STAR）5GMSdダウンロードアーキテクチャ
502 5G STAR UE
504 5Gシステム
506 AR／MRアプリケーションプロバイダ
508 ARランタイム
510 ARシーンマネージャ
512 メディアアクセス機能
514 AR／MRアプリケーション
516 エクステンデッドリアリティ（XR）計算モジュール
518 ポーズ補正モジュール
520 音場マッピングモジュール
521 シーングラフハンドラ
522 コンポジタ
523 没入型ビジュアルレンダラ
524 没入型オーディオレンダラ
526 メディアセッションハンドラ
528 メディアクライアント
530 2次元（2D）コーデック
532 没入型メディアデコーダ
534 シーン記述配信モジュール
536 コンテンツ配信モジュール
538 XR空間記述配信モジュール
540 5Gシステム（Uu）
542 5Gノード（gNb）
544 メディアAF
546 メディアAS
548 AR機能
550 ARシーンモジュール
582 M4インターフェース
586 M5インターフェース
588 M8インターフェース
590 ARランタイムAPI
591 ユーザ入力
592 カメラ
593 センサ
594 ディスプレイ
595 スピーカ
602 STAR UE
606 AR／MRアプリケーション
608 ARランタイム
610 AR／MRシーンマネージャ
612 メディアクライアント
614 メディアセッションハンドラ
616 5GMSd AF
618 5GMSd AS
620 AR／MRアプリケーションプロバイダ
700 プロセス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【手続補正書】

【提出日】2023-08-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

少なくとも1つのプロセッサによって実行される方法であって、
シーンを含むメディアコンテンツを選択するステップと、
外部セッションループにおいて、前記メディアコンテンツをストリーミングするための拡張現実（AR）／複合現実（MR）セッションを作成するステップと、
前記外部セッションループ内の内部セッションループにおいて、前記メディアコンテンツをレンダリングするステップと、
前記外部セッションループにおいて、前記内部セッションループが前記メディアコンテンツをレンダリングしている間に前記内部セッションループに新しいシーンを提供することにより、前記シーンを前記新しいシーンで更新するステップと
を含む、方法。

【請求項2】

前記シーンを更新するステップが、
更新されたポーズ情報を前記内部セッションループに送信するステップ
を含む、請求項1に記載の方法。

【請求項3】

前記シーンを更新するステップが、
前記内部セッションループにおいて、前記更新されたポーズ情報に基づいて没入型メディアを要求するステップ
をさらに含む、請求項2に記載の方法。

【請求項4】

前記シーンを更新するステップが、
前記内部セッションループにおいて、前記没入型メディアを受信するステップと、
前記内部セッションループにおいて、前記没入型メディアのARコンテンツを現実世界に登録するステップと
をさらに含む、請求項3に記載の方法。

【請求項5】

前記シーンを更新するステップが、
前記内部セッションループにおいて、前記没入型メディアを復号し処理するステップ
をさらに含む、請求項4に記載の方法。

【請求項6】

前記外部セッションループにおいて、前記メディアコンテンツに基づいてメディア取得のための所要トランスポートセッションの数を決定するステップ
をさらに含む、請求項1に記載の方法。

【請求項7】

所要トランスポートセッションの前記数が、配信マニフェスト情報に基づいて決定される、請求項6に記載の方法。

【請求項8】

プログラムコードを記憶するように構成された少なくとも1つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードによって命令される通りに動作するように構成された少なくとも1つのプロセッサであって、前記プログラムコードが、前記少なくとも1つのプロセッサに、請求項1から7のいずれか一項に記載の方法を実行させる、少なくとも1つのプロセッサと
を備える、デバイス。

【請求項9】

コンピュータに、請求項1から7のいずれか一項に記載の方法を実行させる、コンピュータプログラム。

【国際調査報告】