(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-25
(45)【発行日】2025-04-02
(54)【発明の名称】基地局装置、端末装置及び通信方法
(51)【国際特許分類】
H04W 28/18 20090101AFI20250326BHJP
H04W 72/11 20230101ALI20250326BHJP
H04W 56/00 20090101ALI20250326BHJP
【FI】
H04W28/18
H04W72/11
H04W56/00 130
(21)【出願番号】P 2022535263
(86)(22)【出願日】2021-06-30
(86)【国際出願番号】 JP2021024721
(87)【国際公開番号】W WO2022009745
(87)【国際公開日】2022-01-13
【審査請求日】2024-06-14
(31)【優先権主張番号】P 2020119484
(32)【優先日】2020-07-10
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】津田 信一郎
【審査官】石井 則之
(56)【参考文献】
【文献】特表2015-513829(JP,A)
【文献】国際公開第2013/038525(WO,A1)
【文献】特表2019-531632(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04B7/24-7/26
H04W4/00-99/00
(57)【特許請求の範囲】
【請求項1】
動画データを端末装置に所定の周期で送信する無線通信部と、
前記端末装置が前記動画データを受信する周期的な受信タイミングと、所定のフレームレートで前記端末装置に表示される前記動画データの表示タイミングと、の差が、所定の条件を満たす場合に、前記受信タイミングに関する設定を変更する制御部と、
を備える基地局装置。
【請求項2】
前記受信タイミングに関する前記設定は、Semi-Persistent Scheduling(SPS)設定である、請求項1に記載の基地局装置。
【請求項3】
前記制御部は、前記受信タイミングと前記表示タイミングとが揃うように前記受信タイミングをリセットすることで、前記受信タイミングに関する前記設定を変更する、請求項1に記載の基地局装置。
【請求項4】
前記制御部は、変更後の前記受信タイミングを示すオフセットを前記端末装置に通知することで、前記受信タイミングに関する前記設定を変更する、請求項1に記載の基地局装置。
【請求項5】
前記制御部は、複数の前記受信タイミングに関する前記設定が前記端末装置に設定されている場合に、複数の前記受信タイミングに関する前記設定のうち、ディアクティベートする前記設定及び新たにアクティベートする前記設定を前記端末装置に通知することで、前記受信タイミングに関する前記設定を変更する、請求項1に記載の基地局装置。
【請求項6】
前記所定の条件は、前記差が閾値以上、又は前記差の累積が閾値以上である、請求項1に記載の基地局装置。
【請求項7】
前記制御部は、前記端末装置からの要求に応じて前記受信タイミングに関する前記設定を変更する、請求項1に記載の基地局装置。
【請求項8】
前記制御部は、接続するネットワークに属するネットワークファンクションからの指示に応じて前記受信タイミングに関する前記設定を変更する、請求項1に記載の基地局装置。
【請求項9】
前記制御部は、前記動画データを取得するコンテンツサーバから前記フレームレートに関する情報を取得する、請求項1に記載の基地局装置。
【請求項10】
前記端末装置は、ユーザの視点に関する情報に基づき、前記動画データから画像を生成することで、前記フレームレートより大きい第2のフレームレートで前記動画データを表示する場合に、前記差に応じて生成する前記画像の数を調整する、請求項1に記載の基地局装置。
【請求項11】
前記制御部は、前記動画データを複数に分割した各領域を、前記領域の優先度に応じた前記受信タイミングの前記設定で送信し、
前記領域の前記優先度は、ユーザの視点に関する情報に基づいて設定される、
請求項1に記載の基地局装置。
【請求項12】
前記領域の前記優先度は、前記ユーザの視点に関する情報に基づいて設定された前記領域の解像度に応じて設定される、
請求項11に記載の基地局装置。
【請求項13】
基地局装置から動画データを所定の周期で受信する無線通信部と、
前記動画データを所定のフレームレートで表示する制御部と、
を備え、
前記無線通信部は、前記動画データを受信する周期的な受信タイミングと、前記所定のフレームレートで前記動画データを表示する表示タイミングと、の差が、所定の条件を満たす場合に、変更された前記受信タイミングの設定に基づいて前記動画データを受信する、
端末装置。
【請求項14】
動画データを端末装置に所定の周期で送信することと、
前記端末装置が前記動画データを受信する周期的な受信タイミングと、所定のフレームレートで前記端末装置に表示される前記動画データの表示タイミングと、の差が、所定の条件を満たす場合に、前記受信タイミングに関する設定を変更することと、
を含む通信方法。
【請求項15】
基地局装置から動画データを所定の周期で受信することと、
前記動画データを所定のフレームレートで表示することと、
前記動画データを受信する場合に、前記動画データを受信する周期的な受信タイミングと、前記所定のフレームレートで前記動画データを表示する表示タイミングと、の差が、所定の条件を満たす場合に、変更された前記受信タイミングの設定に基づいて前記動画データを受信することと、
を含む通信方法。
【請求項16】
ユーザに関する情報を端末装置から第1の周期で受信し、前記ユーザに関する情報に基づいて生成された動画データを第2の周期で送信する無線通信部と、
前記端末装置が前記動画データを受信する周期的な受信タイミングと、所定のフレームレートで前記端末装置に表示される前記動画データの表示タイミングと、の差が、所定の条件を満たす場合に、前記端末装置が前記ユーザに関する情報を周期的に送信する送信タイミングに関する設定を変更する制御部と、
を備える基地局装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、基地局装置、端末装置及び通信方法に関する。
【背景技術】
【0002】
セルラー移動通信の無線アクセス方式および無線ネットワーク(以下、「Long Term Evolution(LTE)」、「LTE-Advanced(LTE-A)」、「LTE-Advanced Pro(LTE-A Pro)」、「New Radio(NR)」、「New Radio Access Technology(NRAT)」、「Evolved Universal Terrestrial Radio Access(EUTRA)」、または「Further EUTRA(FEUTRA)」とも称する。)が、第三世代パートナーシッププロジェクト(3rd Generation Partnership Project: 3GPP)において検討されている。なお、以下の説明において、LTEは、LTE-A、LTE-A Pro、およびEUTRAを含み、NRは、NRAT、およびFEUTRAを含む。LTEでは基地局装置(基地局、通信装置)はeNodeB(evolved NodeB)、NRでは基地局装置(基地局、通信装置)はgNodeB、LTE及びNRでは端末装置(移動局、移動局装置、端末、通信装置)はUE(User Equipment)とも称する。LTE及びNRは、基地局装置がカバーするエリアをセル状に複数配置するセルラー通信システムである。単一の基地局装置は複数のセルを管理してもよい。
【0003】
NRは、超高速、低遅延・高信頼、多数同時接続という特徴を有する。かかる特徴を生かしたNRのユースケースの一つとして、例えば、Augmented Reality (AR)及びVirtual Reality(VR)を用いたサービスでの活用が検討されている。例えば、AR技術であれば、実空間の画像に撮像された実オブジェクトに対して、テキスト、アイコン、またはアニメーション等の様々な態様の仮想的なコンテンツを重畳してユーザに提示することが可能となる。非特許文献1や非特許文献2は、Augmented Reality (AR)及びVirtual Reality(VR)を用いたサービス(e.g., AR/VRゲーム)のユースケース及び(潜在的な)要求条件を開示する。
【先行技術文献】
【非特許文献】
【0004】
【文献】3GPP TR 22.842, V17.1.0 (2019-09) 3rd Generation Partnership Project; Technical Specification Group Services and System Aspects; Study on Network Controlled Interactive Services (Release 17)
【文献】3GPP TS 22.261 v17.0.1 (2019-10) 3rd Generation Partnership Project; Technical Specification Group Services and System Aspects ; Service requirements for next generation new services and markets (Release 17)
【発明の概要】
【発明が解決しようとする課題】
【0005】
NRは、超高速、低遅延・高信頼、多数同時接続という特徴から、4Kや8Kの動画の伝送が期待される。また、ポスト・スマートフォンとして、ウェアラブルデバイスの普及も予想される。ウェアラブルデバイスのユースケースの中には、超高速という側面だけでなく、低遅延・高信頼という側面の考慮も必要なユースケースがある。例えば、無線を介してHMD(Head Mounted Display)にVRコンテンツを表示するようなケースでは、VR酔いを起こさせないためにMotion-to-photon latencyを一定値以内に抑えることが重要となる。このように、リアルタイム性が要求される動画コンテンツを、安定して表示できるように配信することが求められる。
【0006】
そこで、本開示では、安定して表示可能な動画コンテンツ配信の実現に寄与する技術を提案する。
【0007】
なお、上記課題又は目的は、本明細書に開示される複数の実施形態が解決し得、又は達成し得る複数の課題又は目的の1つに過ぎない。
【課題を解決するための手段】
【0008】
本開示によれば、基地局装置が提供される。基地局装置は、無線通信部と、制御部と、を備える。無線通信部は、動画データを端末装置に所定の周期で送信する。制御部は、前記端末装置が前記動画データを受信する周期的な受信タイミングと、所定のフレームレートで前記端末装置に表示される前記動画データの表示タイミングと、の差が、所定の条件を満たす場合に、前記受信タイミングに関する設定を変更する。
【図面の簡単な説明】
【0009】
【
図1】本開示の実施形態に係るコンテンツ配信システムの構成例を示す図である。
【
図2】本開示の実施形態に係る情報処理装置の構成例を示す図である。
【
図3】本開示の実施形態に係る基地局装置の構成例を示す図である。
【
図4】本開示の実施形態に係る端末装置の構成例を示す図である。
【
図5】5Gのアーキテクチャの一例を示す図である。
【
図6】本開示の実施形態に係るコンテンツ配信処理の一例を示すシーケンス図である。
【
図7】本開示の実施形態に係るレンダリング処理の一例を説明するための図である。
【
図8】本開示の実施形態に係るレンダリング処理の他の例を説明するための図である。
【
図9】本開示の実施形態に係る登録処理の一例を示すシーケンス図である。
【
図10】本開示の実施形態に係るPDUセッション確立処理の一例を示すシーケンス図である。
【
図11】本開示の実施形態に係るRRC_CONNECTED遷移処理の一例を示すシーケンス図である。
【
図12】コンテンツ配信システムによる動画データの配信の一例について説明するための図である。
【
図13】本開示の実施形態に係る基地局装置によるSPSの再設定について説明するための図である。
【
図14】本開示の実施形態に係るSPS再設定処理の流れを示すフローチャートである。
【
図15】本開示の実施形態に係る基地局装置によるSPS設定例を説明するための図である。
【
図16】本開示の実施形態に係る基地局装置によるSPS設定例を説明するための図である。
【
図17】本開示の実施形態に係る基地局装置によるSPSの設定例を説明するための図である。
【
図18】本開示の実施形態に係る基地局装置によるCGの再設定について説明するための図である。
【
図19】本開示の実施形態に係る基地局装置によるCGの再設定について説明するための図である。
【
図20】本開示の実施形態に係る端末装置による表示処理の一例を説明するための図である。
【
図21】本開示の実施形態に係る端末装置による表示処理の他の例を説明するための図である。
【
図22】本開示の実施形態に係る基地局装置による動画データの割り当て処理の一例について説明するための図である。
【
図23】本開示の実施形態に係る基地局装置による動画データの割り当て処理の一例について説明するための図である。
【
図24】本開示の実施形態に係る基地局装置による動画データの割り当て処理の一例について説明するための図である。
【
図25】本開示の実施形態に係る基地局装置による動画データの割り当て処理の一例について説明するための図である。
【
図26】レンダリングに関するレンダリングサーバとAR/VRクライアントのイメージ図である。
【発明を実施するための形態】
【0010】
以下に添付図面を参照しながら、本開示の実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0011】
また、本明細書及び図面において、実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【0012】
以下に説明される1又は複数の実施形態(実施例、変形例を含む)は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
【0013】
なお、説明は以下の順序で行うものとする。
1.コンテンツ配信システムの構成例
1.1.コンテンツ配信システムの全体構成例
1.2.情報処理装置の構成例
1.3.基地局装置の構成例
1.4.端末装置の構成例
1.5.ネットワークアーキテクチャの構成例
2.コンテンツ配信システムの情報処理例
2.1.コンテンツ配信処理例
2.2.レンダリング処理例
2.3.通信処理例
3.技術的課題
4.技術的特徴
4.1.SPSの再設定
4.2.複数のSPS設定
4.3.CGの再設定
4.4.タイムワープの変更
4.5.優先度の設定
5.その他の実施形態
6.適用例
7.むすび
【0014】
<<1.コンテンツ配信システムの構成例>>
<1.1.コンテンツ配信システムの全体構成例>
図1は、本開示の実施形態に係るコンテンツ配信システム100の構成例を示す図である。コンテンツ配信システム100は、無線アクセスネットワークを介して端末装置110に動画コンテンツを配信するシステムである。ここで、無線アクセスネットワークは、E-UTRAN(Evolved Universal Terrestrial Radio Access Network)やNG-RAN(Next Generation Radio Access Network)であってもよい。
【0015】
コンテンツ配信システム100は、端末装置110と、基地局装置130と、情報処理装置150と、を備える。コンテンツ配信システム100では、基地局装置130を介して、情報処理装置150から端末装置110へと動画コンテンツが配信される。
【0016】
端末装置110及び基地局装置130は、上述した無線アクセスネットワークを介して接続される。基地局装置130及び情報処理装置150は、無線又は有線のアクセスネットワークを介して接続され得る。
【0017】
なお、図中の装置は、論理的な意味での装置と考えてもよい。つまり、同図の装置の一部が仮想マシン(VM:Virtual Machine)、コンテナ(Container)、ドッカー(Docker)などで実現され、それらが物理的に同一のハードウェア上で実装されてもよい。
【0018】
なお、LTEの基地局は、eNodeB(Evolved Node B)又はeNBと称されることがある。また、NRの基地局は、NGRAN Node(Next Generation RAN node)、gNodeB又はgNBと称されることがある。また、LTE及びNRでは、端末装置(移動局、移動局装置、又は端末ともいう。)はUE(User Equipment)と称されることがある。なお、端末装置は、通信装置の一種であり、移動局、移動局装置、又は端末とも称される。
【0019】
本実施形態において、通信装置という概念には、携帯端末等の持ち運び可能な移動体装置(端末装置)のみならず、構造物や移動体に設置される装置も含まれる。構造物や移動体そのものを通信装置とみなしてもよい。また、通信装置という概念には、端末装置のみならず、基地局装置も含まれる。通信装置は、処理装置及び情報処理装置の一種である。また、通信装置は、送信装置又は受信装置と言い換えることが可能である。
【0020】
[情報処理装置]
情報処理装置150は、端末装置110に動画コンテンツを管理するコンテンツ管理装置である。情報処理装置150は、例えばパーソナルコンピュータ、ワークステーション、或いは、ゲーム装置である。また、情報処理装置150は、クラウドサーバ(Cloud Server)、エッジサーバ(Edge Server)と総称される装置であってもよい。
【0021】
[基地局装置]
基地局装置130は、端末装置110と無線通信する無線通信装置である。基地局装置130は通信装置の一種である。また、基地局装置130は情報処理装置の一種である。
【0022】
基地局装置130は、複数の物理的又は論理的装置の集合で構成されていてもよい。例えば、本開示の実施形態において基地局装置130は、BBU(Baseband Unit)及びRU(Radio Unit)の複数の装置に区別され、これら複数の装置の集合体として解釈されてもよい。さらに又はこれに代えて、本開示の実施形態において基地局装置130は、BBU及びRUのうちいずれか又は両方であってもよい。BBUとRUとは所定のインタフェース(例えば、eCPRI)で接続されていてもよい。さらに又はこれに代えて、RUはRemote Radio Unit(RRU)又はRadio DoT(RD)と称されていてもよい。さらに又はこれに代えて、RUは後述するgNB-DUに対応していてもよい。さらに又はこれに代えてBBUは、後述するgNB-CUに対応していてもよい。さらに又はこれに代えて、RUはアンテナと一体的に形成された装置であってもよい。基地局装置130が有するアンテナ(例えば、RUと一体的に形成されたアンテナ)はAdvanced Antenna Systemを採用し、MIMO(例えば、FD-MIMO)やビームフォーミングをサポートしていてもよい。Advanced Antenna Systemは、基地局装置130が有するアンテナ(例えば、RUと一体的に形成されたアンテナ)は、例えば、64個の送信用アンテナポート及び64個の受信用アンテナポートを備えていてもよい。また、RUに搭載されるアンテナは、1つ以上のアンテナ素子から構成されるアンテナパネルであってもよく、RUは、1つ以上のアンテナパネルを搭載してもよい。例えば、RUは、水平偏波のアンテナパネルと垂直偏波のアンテナパネルの2種類のアンテナパネル、或いは、右旋円偏波のアンテナパネルと左旋円偏波のアンテナパネルの2種類のアンテナパネルを搭載してもよい。また、RUは、アンテナパネル毎に独立したビームを形成し、制御してもよい。
【0023】
また、基地局装置130は、複数が互いに接続されていてもよい。1つ又は複数の基地局装置130は無線アクセスネットワーク(Radio Access Network:RAN)に含まれていてもよい。すなわち、基地局装置130は単にRAN、RANノード、AN(Access Network)、ANノードと称されてもよい。LTEにおけるRANはEUTRAN(Enhanced Universal Terrestrial RAN)と呼ばれる。NRにおけるRANはNGRANと呼ばれる。W-CDMA(UMTS)におけるRANはUTRANと呼ばれる。LTEの基地局装置130は、eNodeB(Evolved Node B)又はeNBと称される。すなわち、EUTRANは1又は複数のeNodeB(eNB)を含む。また、NRの基地局装置130は、gNodeB又はgNBと称される。すなわち、NGRANは1又は複数のgNBを含む。さらに、EUTRANは、LTEの通信システム(EPS)におけるコアネットワーク(EPC)に接続されたgNB(en-gNB)を含んでいてもよい。同様にNGRANは5G通信システム(5GS)におけるコアネットワーク5GCに接続されたng-eNBを含んでいてもよい。さらに又はこれに代えて、基地局装置130がeNB、gNBなどである場合、3GPP Accessと称されてもよい。さらに又はこれに代えて、基地局装置130が無線アクセスポイント(Access Point)である場合、Non-3GPP Accessと称されてもよい。さらに又はこれに代えて、基地局装置130は、RRH(Remote Radio Head)と呼ばれる光張り出し装置であってもよい。さらに又はこれに代えて、基地局装置130がgNBである場合、基地局装置130は前述したgNB CU(Central Unit)とgNB DU(Distributed Unit)の組み合わせ又はこれらのうちいずれかと称されてもよい。gNB CU(Central Unit)は、UEとの通信のために、Access Stratumのうち、複数の上位レイヤ(例えば、RRC、SDAP、PDCP)をホストする。一方、gNB-DUは、Access Stratumのうち、複数の下位レイヤ(例えば、RLC、MAC、PHY)をホストする。すなわち、後述されるメッセージ・情報のうち、RRC signalling(例えば、MIB、SIB1を含む各種SIB、RRCSetup message、RRCReconfiguration message)はgNB CUで生成され、一方で後述されるDCIや各種Physical Channel(例えば、PDCCH、PBCH)はgNB-DUは生成されてもよい。又はこれに代えて、RRC signallingのうち、例えばIE:cellGroupConfigなど一部のconfigurationについてはgNB-DUで生成され、残りのconfigurationはgNB-CUで生成されてもよい。これらのconfigurationは、後述されるF1インタフェースで送受信されてもよい。基地局装置130は、他の基地局装置130と通信可能に構成されていてもよい。例えば、複数の基地局装置130がeNB同士又はeNBとen-gNBの組み合わせである場合、当該基地局装置130間はX2インタフェースで接続されてもよい。さらに又はこれに代えて、複数の基地局装置130がgNB同士又はgn-eNBとgNBの組み合わせである場合、当該装置間はXnインタフェースで接続されてもよい。さらに又はこれに代えて、複数の基地局装置130がgNB CU(Central Unit)とgNB DU(Distributed Unit)の組み合わせである場合、当該装置間は前述したF1インタフェースで接続されてもよい。後述されるメッセージ・情報(RRC signalling又はDCIに含まれる情報)は複数基地局装置130間で(例えばX2、Xn、F1インタフェースを介して)通信されてもよい。
【0024】
さらに、前述の通り、基地局装置130は、複数のセルを管理するように構成されていてもよい。基地局装置130により提供されるセルはServing cellと呼ばれる。Serving cellはPCell(Primary Cell)及びSCell(Secondary Cell)を含む。Dual Connectivity (例えば、EUTRA-EUTRA Dual Connectivity、EUTRA-NR Dual Connectivity(ENDC)、EUTRA-NR Dual Connectivity with 5GC、NR-EUTRA Dual Connectivity(NEDC)、NR-NR Dual Connectivity)がUE(例えば、端末装置110)に提供される場合、MN(Master Node)によって提供されるPCell及びゼロ又は1以上のSCell(s)はMaster Cell Groupと呼ばれる。さらに、Serving cellはPSCell(Primary Secondary Cell又はPrimary SCG Cell)を含んでもよい。すなわち、Dual ConnectivityがUEに提供される場合、SN(Secondary Node)によって提供されるPSCell及びゼロ又は1以上のSCell(s)はSecondary Cell Group(SCG)と呼ばれる。特別な設定(例えば、PUCCH on SCell)がされていない限り、物理上りリンク制御チャネル(PUCCH)はPCell及びPSCellで送信されるが、SCellでは送信されない。また、Radio Link FailureもPCell及びPSCellでは検出されるが、SCellでは検出されない(検出しなくてよい)。このようにPCell及びPSCellは、Serving Cell(s)の中で特別な役割を持つため、Special Cell(SpCell)とも呼ばれる。1つのセルには、1つのDownlink Component Carrierと1つのUplink Component Carrierが対応付けられてもよい。また、1つのセルに対応するシステム帯域幅は、複数の帯域幅部分(Bandwidth Part)に分割されてもよい。この場合、1又は複数のBandwidth Part(BWP)がUEに設定され、1つのBandwidth PartがActive BWPとして、UEに使用されてもよい。また、セル毎、コンポーネントキャリア毎又はBWPごとに、端末装置110が使用できる無線資源(例えば、周波数帯域、ヌメロロジー(サブキャリアスペーシング)、スロットフォーマット(Slot configuration))が異なっていてもよい。
【0025】
[端末装置]
端末装置110は、基地局装置130と無線通信する無線通信装置である。端末装置110は、例えば、携帯電話、スマートデバイス(スマートフォン、又はタブレット)、PDA(Personal Digital Assistant)、パーソナルコンピュータである。端末装置110は、無線を介してデータを送受信する機能を有するヘッドマウントディスプレイ(Head Mounted Display)やVRゴーグル等であってもよい。
【0026】
また、端末装置110は、他の端末装置110とサイドリンク通信が可能であってもよい。端末装置110は、サイドリンク通信を行う際、HARQ(Hybrid Automatic Repeat reQuest)等の自動再送技術を使用可能であってもよい。端末装置110は、基地局装置130とNOMA(Non Orthogonal Multiple Access)通信が可能であってもよい。なお、端末装置110は、他の端末装置110との通信(サイドリンク)においてもNOMA通信が可能であってもよい。また、端末装置110は、他の通信装置(例えば、基地局装置130、及び他の端末装置110)とLPWA(Low Power Wide Area)通信が可能であってもよい。その他、端末装置110が使用する無線通信は、ミリ波を使った無線通信であってもよい。なお、端末装置110が使用する無線通信(サイドリンク通信を含む。)は、電波を使った無線通信であってもよいし、赤外線や可視光を使った無線通信(光無線)であってもよい。
【0027】
端末装置110は、同時に複数の基地局装置または複数のセルと接続して通信を実施してもよい。例えば、1つの基地局装置が複数のセルを提供できる場合、端末装置110は、あるセルをpCellとして使用し、他のセルをsCellとして使用することでキャリアアグリゲーションを実行することができる。また、複数の基地局装置130がそれぞれ1又は複数のセルを提供できる場合、端末装置110は、一方の基地局装置(MN(例えば、MeNB又はMgNB))が管理する1又は複数のセルをpCell、又はpCellとsCell(s)として使用し、他方の基地局装置(SN(例えば、SeNB又はSgNB))が管理する1又は複数のセルをpCell(PSCell)、又はpCell(PSCell)とsCell(s)として使用することでDC(Dual Connectivity)を実現することができる。DCはMC(Multi Connectivity)と称されてもよい。
【0028】
なお、異なる基地局装置130のセル(異なるセル識別子又は同一セル識別子を持つ複数セル)を介して通信エリアをサポートしている場合に、キャリアアグリゲーション(CA:Carrier Aggregation)技術やデュアルコネクティビティ(DC:Dual Connectivity)技術、マルチコネクティビティ(MC:Multi-Connectivity)技術によって、それら複数のセルを束ねて基地局装置130と端末装置110とで通信することが可能である。或いは、異なる基地局装置130のセルを介して、協調送受信(CoMP:Coordinated Multi-Point Transmission and Reception)技術によって、端末装置110とそれら複数の基地局装置130が通信することも可能である。
【0029】
以下、コンテンツ配信システム100を構成する各装置の構成について具体的に説明する。なお、以下に示す各装置の構成はあくまで一例である。各装置の構成は、以下の構成とは異なっていてもよい。
【0030】
<1.2.情報処理装置の構成例>
図2は、本開示の実施形態に係る情報処理装置150の構成例を示す図である。情報処理装置150は、例えば動画コンテンツを管理、或いは、生成する装置である。情報処理装置150は、通信部151と、記憶部152と、制御部153と、を備える。なお、
図2に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、情報処理装置150の機能は、複数の物理的に分離された構成に分散して実装されてもよい。例えば、情報処理装置150は、複数のサーバ装置により構成されていてもよい。
【0031】
通信部151は、他の装置と通信するための通信インタフェースである。通信部151は、ネットワークインタフェースであってもよいし、機器接続インタフェースであってもよい。例えば、通信部151は、NIC(Network Interface Card)等のLAN(Local Area Network)インタフェースであってもよいし、USB(Universal Serial Bus)ホストコントローラ、USBポート等により構成されるUSBインタフェースであってもよい。また、通信部151は、有線インタフェースであってもよいし、無線インタフェースであってもよい。通信部151は、情報処理装置150の通信手段として機能する。通信部151は、制御部153の制御に従って基地局装置130と通信する。
【0032】
記憶部152は、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部152は、情報処理装置150の記憶手段として機能する。記憶部152は、例えば、動画コンテンツを記憶する。
【0033】
制御部153は、情報処理装置150の各部を制御するコントローラ(controller)である。制御部153は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサにより実現される。例えば、制御部153は、情報処理装置150内部の記憶装置に記憶されている各種プログラムを、プロセッサがRAM(Random Access Memory)等を作業領域として実行することにより実現される。なお、制御部153は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。CPU、MPU、GPU、ASIC、及びFPGAは何れもコントローラとみなすことができる。
【0034】
制御部153は、慣性計測情報取得部1531と、動画データ生成部1532と、無線リソース割り当て要求部1533と、を備える。制御部153を構成する各ブロック(慣性計測情報取得部1531~無線リソース割り当て要求部1533)はそれぞれ制御部153の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア(マイクロプログラムを含む。)で実現される1つのソフトウェアモジュールであってもよいし、半導体チップ(ダイ)上の1つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ1つのプロセッサ又は1つの集積回路であってもよい。機能ブロックの構成方法は任意である。なお、制御部153は上述の機能ブロックとは異なる機能単位で構成されていてもよい。
【0035】
慣性計測情報取得部1531は、基地局装置130を介して慣性計測情報を端末装置110から取得する。慣性計測情報は、慣性に係る情報であり、例えば、端末装置110の加速度情報や角速度情報等、端末装置110に搭載されたセンサが検出した検出結果(例えばユーザの視線の向き)の情報である。慣性計測情報は、例えば、端末装置110を使用するユーザの状態(例えば頭や視線の向き等)を示す情報である。より具体的な例示として、慣性に係る情報は、ユーザの頭部の動きとして、ヨー(yaw)方向、ピッチ(pitch)方向、及びロール(roll)方向それぞれの成分の変化量であってもよい。これらの成分が、端末装置110に搭載されたセンサ(加速度センサや、角速度センサ(ジャイロセンサ))によって検出されてもよい。
【0036】
動画データ生成部1532は、取得した慣性計測情報に基づいて動画の領域を決定し、端末装置110に配信する動画データを生成する。動画データ生成部1532は、慣性計測情報に基づき、ユーザが見ている方向の動画を配信する動画領域に決定し、動画データを生成する。
【0037】
無線リソース割り当て要求部1533は、基地局装置130に対して動画データの送信に使用する無線リソースの割り当てを要求する。
【0038】
なお、制御部153は、基地局装置130を介して、ユーザが入力した操作に係る情報を端末装置110から取得して、この操作に係る情報に基づいて動画の領域を決定し、端末装置110に配信する動画データを生成するようにしてもよい。ここで、ユーザが入力する操作は、例えば、ゲームでの操作、装置を遠隔で制御、或いは、運転するための操作等である。
【0039】
<1.3.基地局装置の構成例>
次に、基地局装置130の構成を説明する。
図3は、本開示の実施形態に係る基地局装置130の構成例を示す図である。
【0040】
基地局装置130は、通信部131と、記憶部132と、ネットワーク通信部133と、制御部134と、を備える。なお、
図3に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、基地局装置130の機能は、複数の物理的に分離された構成に分散して実装されてもよい。
【0041】
通信部131は、他の無線通信装置(例えば、端末装置110及び他の基地局装置130)と無線通信するための信号処理部である。通信部131は、制御部134の制御に従って動作する。他の無線通信装置が端末装置110の場合、通信部131は1又は複数の無線アクセス方式に対応する無線トランシーバであってもよい。例えば、通信部131は、NR及びLTEの双方に対応する。通信部131は、NRやLTEに加えて、W-CDMAやcdma2000に対応していてもよい。また、通信部131は、NOMAを使った通信に対応していてもよい。他の無線通信装置が他の基地局装置130である場合、通信部131はX2インタフェース、Xnインタフェース、又は、F1インタフェースであってもよい。
【0042】
通信部131は、受信処理部1311と、送信処理部1312と、アンテナ1314と、を備える。通信部131は、受信処理部1311、送信処理部1312、及びアンテナ1314をそれぞれ複数備えていてもよい。なお、通信部131が複数の無線アクセス方式に対応する場合、通信部131の各部は、無線アクセス方式毎に個別に構成されうる。例えば、受信処理部1311及び送信処理部1312は、LTEとNRとで個別に構成されてもよい。
【0043】
受信処理部1311は、アンテナ1314を介して受信された上りリンク信号の処理を行う。受信処理部1311は、受信信号を受信する受信部として動作する。受信処理部1311は、無線受信部1311aと、多重分離部1311bと、復調部1311cと、復号部1311dと、を備える。
【0044】
無線受信部1311aは、上りリンク信号に対して、ダウンコンバート、不要な周波数成分の除去、増幅レベルの制御、直交復調、デジタル信号への変換、ガードインターバル(サイクリックプレフィックス)の除去、高速フーリエ変換による周波数領域信号の抽出等を行う。多重分離部1311bは、無線受信部1311aから出力された信号から、PUSCH(Physical Uplink Shared Channel)、PUCCH(Physical Uplink Control Channel)等の上りリンクチャネル及び上りリンク参照信号を分離する。
【0045】
復調部1311cは、上りリンクチャネルの変調シンボルに対して、BPSK(Binary Phase Shift Keying)、QPSK(Quadrature Phase shift Keying)等の変調方式を使って受信信号の復調を行う。復調部1311cが使用する変調方式は、16QAM(Quadrature Amplitude Modulation)、64QAM、又は256QAMであってもよい。この場合、コンスタレーション上の信号点は必ずしも等距離である必要はない。コンスタレーションは、不均一コンスタレーション(NUC:Non Uniform Constellation)であってもよい。
【0046】
復号部1311dは、復調された上りリンクチャネルの符号化ビットに対して、復号処理を行う。復号された上りリンクデータ及び上りリンク制御情報は制御部134へ出力される。
【0047】
送信処理部1312は、下りリンク制御情報及び下りリンクデータの送信処理を行う。このように、送信処理部1312は、制御部134から例えば、下りリンク制御情報や下りリンクデータ等のビット系列を取得する取得部である。送信処理部1312は、符号化部1312aと、変調部1312bと、多重部1312cと、無線送信部1312dと、を備える。
【0048】
符号化部1312aは、制御部134から入力された下りリンク制御情報及び下りリンクデータを、ブロック符号化、畳み込み符号化、ターボ符号化等の符号化方式を用いて符号化を行う。なお、符号化部1312aは、ポーラ符号(Polar code)による符号化、LDPC符号(Low Density Parity Check Code)による符号化を行ってもよい。
【0049】
変調部1312bは、符号化部1312aから出力された符号化ビットをBPSK、QPSK、16QAM、64QAM、256QAM等の所定の変調方式で変調する。この場合、コンスタレーション上の信号点は必ずしも等距離である必要はない。コンスタレーションは、不均一コンスタレーションであってもよい。
【0050】
多重部1312cは、各チャネルの変調シンボルと下りリンク参照信号とを多重化し、所定のリソースエレメントに配置する。無線送信部1312dは、多重部1312cからの信号に対して、各種信号処理を行う。例えば、無線送信部1312dは、高速フーリエ変換による時間領域から周波数領域への変換、ガードインターバル(サイクリックプレフィックス)の付加、ベースバンドのデジタル信号の生成、アナログ信号への変換、直交変調、アップコンバート、余分な周波数成分の除去、電力の増幅等の処理を行う。送信処理部1312で生成された信号は、アンテナ1314から送信される。
【0051】
記憶部132は、DRAM、SRAM、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部132は、基地局装置130の記憶手段として機能する。
【0052】
ネットワーク通信部133は、ネットワーク上で上位に位置するノード(例えば、情報処理装置150)と通信するための通信インタフェースである。例えば、ネットワーク通信部133は、NIC等のLANインタフェースであってもよい。さらに又はこれに代えて、ネットワーク通信部133は、コアネットワークノードと接続するためのS1インタフェース又はNGインタフェースであってもよい。ネットワーク通信部133は、有線インタフェースであってもよいし、無線インタフェースであってもよい。ネットワーク通信部133は、基地局装置130のネットワーク通信手段として機能する。
【0053】
制御部134は、基地局装置130の各部を制御するコントローラ(controller)である。制御部134は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等のプロセッサ(ハードウェアプロセッサ)により実現される。例えば、制御部134は、基地局装置130内部の記憶装置に記憶されている各種プログラムを、プロセッサがRAM(Random Access Memory)等を作業領域として実行することにより実現される。なお、制御部134は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。CPU、MPU、ASIC、及びFPGAは何れもコントローラとみなすことができる。
【0054】
制御部134は、無線リソース割り当て設定部1341を備える。制御部134を構成するブロック(無線リソース割り当て設定部1341)は制御部134の機能を示す機能ブロックである。機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、ソフトウェア(マイクロプログラムを含む。)で実現される1つのソフトウェアモジュールであってもよいし、半導体チップ(ダイ)上の1つの回路ブロックであってもよい。勿論、機能ブロックが1つのプロセッサ又は1つの集積回路であってもよい。機能ブロックの構成方法は任意である。なお、制御部134は上述の機能ブロックとは異なる機能単位で構成されていてもよい。
【0055】
無線リソース割り当て設定部1341は、例えば、情報処理装置150からの要求に応じて無線リソースの割り当てを実行する。無線リソース割り当て設定部1341は、例えば、スケジューラーと呼称される機能であってもよい。
【0056】
<1.4.端末装置の構成例>
次に、端末装置110の構成を説明する。
図4は、本開示の実施形態に係る端末装置110の構成例を示す図である。
【0057】
端末装置110は、通信部111と、記憶部112と、慣性計測装置114と、制御部115と、表示部116を備える。なお、
図4に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、端末装置110の機能は、複数の物理的に分離された構成に分散して実装されてもよい。
【0058】
通信部111は、他の無線通信装置(例えば、基地局装置130及び他の端末装置110)と無線通信するための信号処理部である。通信部111は、制御115の制御に従って動作する。通信部111は1又は複数の無線アクセス方式に対応する無線トランシーバであってもよい。例えば、通信部41は、NR及びLTEの双方に対応する。通信部111は、NRやLTEに加えて、W-CDMAやcdma2000に対応していてもよい。また、通信部111は、NOMAを使った通信に対応していてもよい。
【0059】
通信部111は、受信処理部1111と、送信処理部1112と、ネットワーク通信部113と、アンテナ1114と、を備える。通信部111は、受信処理部1111、送信処理部1112、及びアンテナ1114をそれぞれ複数備えていてもよい。通信部111、受信処理部1111、送信処理部1112、及びアンテナ1114の構成は、基地局装置130の通信部131、受信処理部1311、送信処理部1312、及びアンテナ1314と同様である。
【0060】
記憶部112は、DRAM、SRAM、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部112は、端末装置110の記憶手段として機能する。
【0061】
ネットワーク通信部113は、ネットワークを介して接続する他の装置と通信するための通信インタフェースである。例えば、ネットワーク通信部113は、NIC等のLANインタフェースである。ネットワーク通信部113は、有線インタフェースであってもよいし、無線インタフェースであってもよい。ネットワーク通信部113は、端末装置110のネットワーク通信手段として機能する。ネットワーク通信部113は、制御部115の制御に従って、他の装置と通信する。他の装置は、例えば、ユーザが操作に係る情報を入力するコントローラである。
【0062】
慣性計測装置114は、IMU(Inertial Measurement Unit)と呼ばれ、3軸の角速度及び加速度を検出する装置である。慣性計測装置114は、例えば、加速度センサやジャイロセンサを含む。慣性計測装置114は、信頼性を向上させるために、磁界センサ、気圧センサ、温度センサ等を搭載してもよい。
【0063】
慣性計測装置114が検出した加速度情報及び角速度情報は、慣性に係る情報(慣性計測情報、ユーザに関する情報の一例)として情報処理装置150に送信される。
【0064】
或いは、慣性計測装置114が検出した加速度情報及び角速度情報に基づいて、制御部115がユーザの状態(例えば頭や視線の向き等)を算出して、ユーザの状態を情報処理装置150に送信するようにしてもよい。ユーザの状態は、例えば、ポーズ情報(Pose Information)と総称される情報である。
【0065】
制御部115は、端末装置110の各部を制御するコントローラである。制御部115は、例えば、CPU、MPU、GPU等のプロセッサにより実現される。例えば、制御部115は、端末装置110内部の記憶装置に記憶されている各種プログラムを、プロセッサがRAM等を作業領域として実行することにより実現される。なお、制御部115は、ASICやFPGA等の集積回路により実現されてもよい。CPU、MPU、GPU、ASIC、およびFPGAは何れもコントローラとみなすことができる。
【0066】
制御部115は、動画アプリ制御部1151と、表示領域特定部1152と、レンダリング部1153と、を備える。制御部115を構成する各ブロック(動画アプリ制御部1151~レンダリング部1153)はそれぞれ制御部115の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア(マイクロプログラムを含む。)で実現される1つのソフトウェアモジュールであってもよいし、半導体チップ(ダイ)上の1つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ1つのプロセッサ又は1つの集積回路であってもよい。機能ブロックの構成方法は任意である。なお、制御部45は上述の機能ブロックとは異なる機能単位で構成されていてもよい。
【0067】
動画アプリ制御部1151は、動画コンテンツの再生等を行う動画アプリを制御する制御部である。動画アプリ制御部1151は、例えばユーザからの指示に応じて動画アプリを起動する。
【0068】
表示領域特定部1152は、慣性に関する情報を用いてユーザの視点を推定し、取得した動画データから表示部116に表示する表示領域を特定する。
【0069】
レンダリング部1153は、情報処理装置150から取得した動画データに基づき、表示領域特定部1152が特定した表示領域にあわせて、各フレームで表示する画像を生成し、動画を編集する。
【0070】
表示部116は、ディスプレイ等の表示装置であり、レンダリング部1153で生成された画像等の各種情報を表示する。表示部116は、例えば、非透過型、ビデオ透過(Video See-Through)型、或いは、光学透過(Optical See-Through)型のディスプレイである。表示部116は、画像を所定のフレームレートで表示することで、レンダリング部1153が編集した動画を再生する。
【0071】
<1.5.ネットワークアーキテクチャの構成例>
ここで、本開示の実施形態に係るコンテンツ配信システム100に適用される通信システムの一例として第5世代移動体通信システム(5G)のアーキテクチャについて説明する。
図5は、5Gのアーキテクチャの一例を示す図である。5Gのアーキテクチャは、UE(User Equipment)10、RAN(Radio Access Network)/AN(Access Network)230、NGC(Next Generation Core)/5GC(5G Core)20及びDN(Data Network)240を含む。
【0072】
5GC/NGC20は、5Gコアネットワークとも呼ばれる。5GC/NGC20は、RAN/AN230を介してUE10と接続される。
【0073】
RAN230は、無線インタフェースを提供する基地局装置であり、AN230は、有線インタフェースを提供する、例えば、アクセスポイントやルータである。RAN/AN230は、gNB、或いは、ng-eNBと呼ばれる基地局装置を含む。
【0074】
5GC/NGC20は、コントロール・プレーン機能群21およびUPF(User Plane Function)220を含んで構成される。
【0075】
コントロール・プレーン機能群21は、AUSF(Authentication Server Function)201と、NEF(Network Exposure Function)202と、NRF(Network Repository Function)203と、NSSF(Network Slice Selection Function)204と、PCF(Policy Control Function)205と、SMF(Session Management Function)206と、UDM(Unified Data Management)207と、AF(Application Function)208と、AMF(Access Management Function)209と、を含む。
【0076】
UDM207は、3GPP AKA認証情報の生成、ユーザIDの処理の機能を有する。UDM207は、加入者情報を保持、管理するUDR(Unified Data Repository)と、加入者情報を処理するFE(Front End)部を含む。
【0077】
また、AMF209は、UE10のレジストレーション処理や接続管理、モビリティ管理等の機能を有する。
【0078】
SMF206は、セッション管理、UE10のIP割り当てと管理等の機能を有する。AUSF201は、認証機能を有する。NSSF204は、ネットワークスライスの選択にかかる機能を有する。NEF202は、サードパーティー、AF208やエッジコンピューティング機能に対してネットワーク機能のケイパビリティやイベントを提供する機能を有する。
【0079】
NRF203は、ネットワーク機能の発見やネットワーク機能のプロファイルを保持する機能を有する。PCF205は、ポリシー制御の機能を有する。AF208は、コアネットワークと相互に作用してサービスを提供する機能を有する。
【0080】
また、UPF(User Plane Function)220は、ユーザ・プレーン処理の機能を有する。DN240は、例えば、MNO(Mobile Network Operator)等、オペレータ独自のサービスへの接続を提供するエンティティ、インターネット接続を提供するエンティティ、或いは、サードパーティーのサービスへの接続を提供するエンティティである。
【0081】
ここで、Namfは、AMF209が提供するサービスベースドインタフェース(Service-based interface)、Nsmfは、SMF206が提供するサービスベースドインタフェースである。また、Nnefは、NEF202が提供するサービスベースドインタフェース、Npcfは、PCF205が提供するサービスベースドインタフェースである。Nudmは、UDM207が提供するサービスベースドインタフェース、Nafは、AF208が提供するサービスベースドインタフェースである。Nnrfは、NRF203が提供するサービスベースドインタフェース、Nnssfは、NSSF204が提供するサービスベースドインタフェースである。Nausfは、AUSF201が提供するサービスベースドインタフェースである。これらの各NF(Network Function)は、各サービスベースドインタフェースを介して他のNFと情報の交換を行う。
【0082】
また、N1は、UE10とAMF209間のリファレンスポイント(Reference Point)、N2は、RAN/AN230とAMF209間のリファレンスポイントである。N4は、SMF206とUPF220間のリファレンスポイントであり、これらの各NF(Network Function)間で相互に情報の交換が行われる。
【0083】
UE10の一例は、本実施形態の端末装置110である。RAN/AN230の一例が、本実施形態の基地局装置130である。
【0084】
また、情報処理装置150は、5GC/NGC20内に設置される(又は5GC/NGC20の近傍に設置される)エッジサーバ、或いは、クラウドサーバ(図示せず)であってもよいし、インターネット内に設置されたクラウドサーバであってもよい。
【0085】
或いは、情報処理装置150は、例えば、5GCを含む複数の装置で構成されてもよい。この場合、慣性計測情報取得部1531はAF208に実装され、無線リソース割り当て要求部1533はAMF209、或いは、SMF206の一機能として実装されてもよい。動画データ生成部1532は、5GC/NGC20内に設置されるエッジサーバ、或いは、クラウドサーバ(図示せず)、若しくは、インターネット内に設置されたクラウドサーバ(図示せず)に対応する。また、動画データ生成部1532をAF208に実装するようにしてもよい。
【0086】
<<2.コンテンツ配信システムの情報処理例>>
次に、コンテンツ配信システム100が実行する情報処理の一例について説明する。
<2.1.コンテンツ配信処理例>
図6は、本開示の実施形態に係るコンテンツ配信処理の一例を示すシーケンス図である。
【0087】
まず、端末装置110は、例えばユーザの指示に応じて動画アプリを起動し(ステップS101)、基地局装置130を介して、動画アプリが指定する動画コンテンツの配信を情報処理装置150にリクエストする(ステップS102)。
【0088】
端末装置110は、慣性に係る情報を計測し(ステップS103)、基地局装置130を介して情報処理装置150に計測した慣性に係る情報を送信する(ステップS104)。なお、ステップS103及びステップS104の処理は、固定、可変の周期、或いは、イベントに応じて実行される。
【0089】
情報処理装置150は、取得した慣性に係る情報に基づいて、端末装置110に送信する動画の領域を決定し(ステップS105)、決定した領域の動画データを生成する(ステップS106)。
【0090】
情報処理装置150は、基地局装置130を介して、生成した動画データを端末装置110に送信する(ステップS107)。
【0091】
端末装置110は、計測した最新の慣性に係る情報に基づいて取得した動画データの表示領域を決定する(ステップS108)。端末装置110は、取得した動画データから、決定した表示領域に合わせて、各フレームで表示する画像を生成して動画を編集した後に、表示部116に表示する(ステップS109)。
【0092】
<2.2.レンダリング処理例>
続いて、
図7を用いて、端末装置110が実行するレンダリング処理の一例について説明する。
図7は、本開示の実施形態に係るレンダリング処理の一例を説明するための図である。ここで説明するレンダリング処理は、例えば
図6のステップS109で実行される。
【0093】
図7では、端末装置110が生成する画像(以下、フレーム画像とも記載する)の表示タイミング、換言するとフレーム画像を表示するタイミングを示している。
【0094】
端末装置110は、静止画像であるフレーム画像をフレームレートに応じた周期で更新(生成)することで、表示部116に動画を表示する。
【0095】
例えば、フレームレートがK[fps]である場合、1秒間にK枚のフレーム画像#n(nは、1以上(K+1)以下の整数)が生成され表示部116に表示される。この場合、フレーム画像の更新周期は1/K秒となる。
【0096】
次に、
図8を用いて、端末装置110が実行するレンダリング処理の他の例について説明する。
図8は、本開示の実施形態に係るレンダリング処理の他の例を説明するための図である。ここで説明するレンダリング処理は、例えば
図6のステップS109で実行される。
【0097】
フレーム画像のレンダリング処理を行う場合に、タイムワープ(Timewarp)と呼ばれる技術を利用して、フレーム画像の描画が行われることがある。タイムワープは、Motion-to-photon latencyを一定値以内におさめるために、取得済みの動画データと最新の慣性に係る情報に基づいて予測される表示領域の画像を生成する技術である。このタイムワープの応用例の1つとして、レンダリング部1153は、表示部116に表示するフレームレートを、情報処理装置150から取得した動画データのフレームレートのm倍(m>1)にする。
【0098】
また、レンダリング部1153は、情報処理装置150と端末装置110との無線通信に起因した遅延環境下で、Motion-to-photon latencyを一定値以内におさめるために、各フレーム画像の描画に対してタイムワープを適用するようにしてもよい。
【0099】
ここで、VRでは、ヘッドマウントディスプレイ(HMD)で目の前に見ている画面と、自分の生身の感覚との「ずれ」によってVR酔いという現象が生じることが知られている。例えば、ユーザが振り向いて画面の景色が変わる場合において、ユーザが自身の感覚でこうなっているはずと思っている景色から、実際に目の前のHMDに表示される景色が少しだけ遅れて表示されることがある。かかる遅延は、Motion-to-photon latencyと呼ばれる。或いは、ユーザが奥行き(空間)を認識して移動したときに、移動後に見えるであろうと思っている景色から、実際に目の前のHMDに表示される景色がずれていることがある。このような遅延やずれが生じた場合に、VR酔いが起こりやすくなる。
【0100】
このVR酔いを改善する方法として、表示部に表示するフレーム画像のフレームレートを上げる方法が知られている。フレームレートを上げることで、ユーザが想定する景色と実際に表示部に表示される景色との差が小さくなり、VR酔いの発生を抑制することができる。
【0101】
さらに、上述のタイムワープを適用して、Motion-to-photon latencyを低減することでVR酔いを改善することができる。
【0102】
図7を用いて説明したレンダリング処理では、フレームレートがK[fps]であり、1/K秒ごとにフレーム画像が更新される。より具体的には、端末装置110は、情報処理装置150から取得した動画データからフレーム画像#1、#2、・・・を、1/K秒ごとに生成する。このとき、端末装置110は、都度取得した動画データを用いてフレーム画像#1、#2、・・・を生成する。
【0103】
そのため、端末装置110が、例えばVR酔いの発生を抑制するためにフレームレートを上げようとすると、動画データを取得する周期を短くする必要があり、無線通信への負荷が大きくなってしまう。
【0104】
そこで、端末装置110は、タイムワープ技術を使用して、情報処理装置150から動画データを取得する周期を変えずに、表示部116に表示するフレーム画像のフレームレートを上げる。
【0105】
図8に示すように、端末装置110は、取得した動画データD1を用いてフレーム画像#1を生成し、表示部116に表示する。また、端末装置110は、取得した動画データD1を用いてフレーム画像#1-1を生成し、表示部116に表示する。このとき、端末装置110は、最新の慣性に係る情報を用いて、動画データD1にタイムワープ処理を施してフレーム画像#1-1を生成する。端末装置110は、最新の慣性に係る情報を用いて、ユーザの視点、或いは、視点を含む視野を決定し、決定した視線方向に基づいて表示領域を決定する。この表示領域は、ビューポートとも呼ばれる。端末装置110は、決定した表示領域を動画データD1から抽出してフレーム画像#1-1を生成する。なお、この場合、慣性に係る情報は、例えば表示部116に表示するフレーム画像の表示周期より短い周期で計測され得る。
【0106】
このように、端末装置110は、1つの動画データから、異なる時刻に計測された最新の慣性に係る情報を用いて、複数のフレーム画像を生成することで、動画データの取得周期を短くすることなく、フレームレートを増加させることができる。例えば、
図8では、端末装置110は、1つの動画データD1から2つのフレーム画像#1、#1-1を生成している。これにより、端末装置110は、表示部116に表示する周期(以下、フレーム周期とも記載する)を、1つの動画データD1から1つのフレーム画像#1を生成する場合と比較して1/2に短くすることができる。
【0107】
端末装置110は、同じ動画データに慣性に係る情報の変化を反映させてフレーム周期を短くすることで、Motion-to-photon latencyを低減し、VR酔いを抑制することができる。このように、同じ動画データに慣性に係る情報の変化を反映させる手法は、上述したタイムワープ、或いは、非同期タイムワープ(ATW:Asynchronous Timewarp)と呼ばれる。このタイムワープ、或いは、非同期タイムワープを応用することで、Motion-to-photon latencyを低減し、かつ、フレーム周期を短くことができる。
【0108】
<2.3.通信処理例>
続いて、
図9~
図11を用いて、コンテンツ配信システム100で実行される通信処理の一例について説明する。
図5を用いて上述したように、コンテンツ配信システム100では、NRのネットワークアーキテクチャが適用される。
【0109】
ここで、NRのネットワークアーキテクチャでは、UE10が5GC/NGC20を介したサービスの提供を受けるために、例えば5GC/NGC20への登録(Registration)が行われる。UE10は、例えば5GC/NGC20に対応するPLMN(Public Land Mobile Network)を選択して、登録処理(Registration Procedure)を実行する。
【0110】
以下、かかる登録処理を含む、UE10が5GC/NGC20を介したサービスの提供を受けるために行われる通信処理の一例について、
図9~
図11を用いて説明する。
【0111】
(登録処理)
まず、
図9を用いて、UE10が行う登録処理について説明する。
図9は、本開示の実施形態に係る登録処理の一例を示すシーケンス図である。
【0112】
図9に示すように、RM-DEREGISTERED状態、つまり、5GC/NGC20に未登録状態のUE10は、初期登録(Initial Registration)を実行するために、RAN/AN230に登録要求(Registration Request)メッセージを送信する(ステップS301)。このとき、UE10は、登録要求メッセージにUE identityを含めて送信する。
【0113】
UE identityは、有効なEPS GUTIを持つ場合は、EPS GUTIからマッピングされる5G-GUTIである。ここで、EPS(Evolved Packet System)は、LTE(Long Term Evolution)に相当する4Gシステムを指し、EUTRANとEPCから構成される。EPS GUTI(Globally Unique Temporary Identifier)は、セキュリティの観点から、IMSI(International Mobile Subscriber Identity)やIMEI(International Mobile Equipment Identity)といった各UEに固有に割り当てられたIDの代わりに、EPS内でUEを識別するために用いられるテンポラリーなIDである。
【0114】
或いは、UE identityは、利用可能であるならば、UE10が登録を試みているPLMNによって割り当てられたPLMN固有の5G-GUTIである。
【0115】
或いは、UE identityは、利用可能であるならば、UE10が登録を試みているPLMN(Public Land Mobile Network)に対して、equivalent PLMNとして扱われるPLMMによって割り当てられたPLMN固有の5G-GUTIである。
【0116】
或いは、UE identityは、利用可能であるならば、いずれからのPLMNによって割り当てられたPLMN固有の5G-GUTIである。
【0117】
さもなければ、UE10は、登録要求メッセージにSUCI(Subscription Concealed Identifier)を含める。ここで、SUCIは、各UE10に固有に割り当てられるIDであるSUPI(Subscription Permanent Identifier)を暗号化したIDである。
【0118】
UE10は、Requested NSSAIのそれぞれのS-NSSAI(Single NSSAI)のHPLMN(Home PLMN)のS-NSSAIsとのマッピングを登録要求メッセージに含める。これにより、Requested NSSAI(Network Slice Selection Assistance Information)のS-NSSAI(s)がSubscribed S-NSSAIsに基づいて許可できるか否かが確認され得る。
【0119】
また、UE10は、Default Configured NSSAIを利用しているならば、Default Configured NSSAI Indicationを登録要求メッセージに含める。
【0120】
ここで、S-NSSAIは、スライスの型(slice type)を識別するmandatoryのSST(Slice/Service Type)と、同一のSSTの中で異なるスライスを区別するためのoptionalのSD(Slice Differentiator)の組で構成される。なお、mandatoryのSSTは、8ビットであり、optionalのSDは24ビットである。
【0121】
なお、AR、VR、MR(Mixed Reality)、SR(Substitutional Reality)、XR(X Reality、或いは、eXtended Reality)のアプリケーション向けのサービスの全て、或いは、それぞれは、このS-NSSAIで識別されるスライスとして定義されてもよい。言い換えると、AR、VR、MR、SR、XRのアプリケーション向けのサービスは、1又は複数のネットワークスライスによって実現されてもよい。すなわち、AR、VR、MR、SR、XRのアプリケーション向けのサービスには、1又は複数のS-NSSAIが関連付けられていてもよい。
【0122】
ここで、ARは、拡張現実とも呼ばれ、例えば、CG(Computer Graphics)で作られた3D映像やキャラクター等の仮想世界を現実世界に重ねて拡張する技術である。
【0123】
VRは、仮想現実とも呼ばれ、CGや360°カメラ等で撮られた全周囲映像による仮想世界を体験できる技術である。
【0124】
MRは、複合現実とも呼ばれ、現実世界と仮想世界を密接に融合させて、仮想世界をよりリアルに表現する技術である。
【0125】
SRは、代替現実とも呼ばれ、仮想世界を現実世界に置き換えて認識させる技術である。
【0126】
XRは、AR、VR、MR、SRを含め、現実世界に何らかの変化を加えた体験を作り出す技術を総称する呼称である。
【0127】
RAN/AN230は、UE10から登録要求メッセージを受信すると、AMF Selectionを実行する(ステップS302)。RAN/AN230は、もし、登録要求メッセージに5G-S-TMSI(5G S-Temporary Mobile Subscription Identifier)、若しくは、GUAMI(Globally Unique AMF Identifier)が含まれてない場合は、(R)AT(Radio Access Technology)、及び、利用可能ならば、Requested NSSAIに基づいてAMF209を選択する。或いは、RAN/AN230は、もし、登録要求メッセージに5G-S-TMSI、若しくは、GUAMIが、有効なAMF209を示していない場合、(R)AT(Radio Access Technology)、及び、利用可能ならば、Requested NSSAIに基づいてAMF209を選択する。
【0128】
RAN/AN230がNG-RANである場合には、選択されたPLMN ID、若しくは、SNPN(Standalone NonPublic Network)を識別するPLMN IDとNID(Network Identifier)の組みを含めた登録要求をAMF209に転送する(ステップS303)。
【0129】
もし、UE10がAMF209にSUCIを提供していない場合には、AMF209はIdentity Request処理を起動し、UE10にIdentity Requestメッセージを送信して、SUCIを要求する(ステップS304)。
【0130】
UE10は、ステップS304でIdentity Requestメッセージを受信した場合、SUCIを含んだIdentity Responseメッセージを応答する(ステップS305)。ここで、UE10は、HPLMNの公開鍵(Public Key)を使ってSUCIを取得し得る。
【0131】
AMF209は、SUPI、或いは、SUCIに基づいて、AUSF Selectionを実行して(ステップS306)、UE10の認証を起動する。
【0132】
AUSF201は、AMF209から認証(Authentication)の要求を受信すると、UE10の認証を実行しなくてはならない。
【0133】
AUSF201は、認証(Authentication)処理として、UDM207を選択し、UDM207から認証データを取得する。
【0134】
UE10が認証されると、AUSF201は、AMF209にセキュリティに関する情報を提供する。
【0135】
AMF209で認証が成功すると、AMF209は、NGAP(NG Application Protocol)処理を起動して、RAN/AN230にsecurity contextを提供する。
【0136】
RAN/AN230は、security contextを保持して、AMF209に応答を返す。
【0137】
RAN/AN230は、以降、UE10との間で交換するメッセージを保護するために、このsecurity contextを用いる。
【0138】
AMF209は、SUPIに基づいてUDM Selectionを実行し、UDM207を選択する(ステップS307)。
【0139】
AMF209は、Nudm_UECM_Registrationを使って、UDM207に登録される(ステップS308)。
【0140】
AMF209がUE10の契約者情報(Subscription Data)を持っていない場合には、Nudm_SDM_Getを使って(ステップS309)、Access and Mobility Subscription data、SMF Selection Subscription data等のSubscription Dataを取得する(ステップS310)。
【0141】
AMF209は、UDM207からAccess and Mobility Subscription dataを取得した後、UE contextを生成する。Access and Mobility Subscription dataは、3GPP AccessでのRRC Connection EstablishmentにNSSAIを平文で含んでよいか否かを示す情報を含む。
【0142】
AMF209は、UE10に登録許可(Registration Accept)を送信する(ステップS311)。登録許可メッセージは、5G-GUTIとRegistration Areaを含んでいる。登録許可メッセージを含むN2 messageには、Allowed NSSAIが含まれる。
【0143】
Allowed NSSAIには、契約者情報に基づいてNetwork Slice-Specific AuthenticationとAuthorizationを要求しないS-NSSAIs、若しくは、AMF209のUE contextに基づいてNetwork Slice-Specific AuthenticationとAuthorizationに成功したS-NSSAIsのみが含まれる。
【0144】
また、PLMNに登録されるUE10に対して、AMF209はequivalent PLMNsのリストを提供してもよいが、SNPNに登録されるUE10に対しては、AMF209はequivalent PLMNsのリストを提供してはいけない。
【0145】
UE10は、新たな5G-GUTIが割り当てられたことを通知するために、登録完了(Registration Complete)メッセージをAMF209に送信する(ステップS312)。
【0146】
以上の登録処理に従って、UE10は5GC/NGC20に対して登録状態、つまり、RM-REGISTERED状態となる。
【0147】
(PDUセッション確立処理)
次に、
図10を用いて、UE10が行うPDUセッション確立処理について説明する。
図10は、本開示の実施形態に係るPDUセッション確立処理の一例を示すシーケンス図である。
【0148】
AMF209に登録されているUE10は、
図10に示すように、AMF209にPDUセッション確立要求(PDU Session Establishment Request)メッセージを送信する(ステップS401)。ここで、PDUセッション確立要求メッセージは、Allowed NSSAIの内、要求するサービスに対応するS-NSSAIと、UE Requested DNN(Data Network Name)を含んでいる。UE Requested DNNは、例えば、AR、VR、MR、SR、XRのサービスへの接続を可能にするDNNである。
【0149】
PDUセッション確立要求メッセージを受信すると、AMF209はSMF Selectionを実行する(ステップS402)。ここで、PDUセッション確立要求メッセージがS-NSSAIを含んでいて、DNNを含んでいない場合には、このS-NSSAIに対するdefault DNNをDNNとして選択する。例えば、AR、VR、MR、SR、XRのアプリケーション向けのサービスの全て、或いは、それぞれが、特定のS-NSSAIで識別されるスライスとして定義されているとする。この場合、特定のS-NSSAIに対するdefault DNNは、AR、VR、MR、SR、XRのサービスへの接続を可能にするDNNとなる。
【0150】
AMF209は、選択したSMF206にAllowed NSSAIのS-NSSAIを含むNsmf_PDUSession_CreateSMContext Requestを送信する(ステップS403)。ここで、Nsmf_PDUSession_CreateSMContext Requestは、SUPI、S-NSSAI、UE Requested DNN、若しくは、DNNを含んでいる。
【0151】
もし、SUPI、DNNとS-NSSAIに対応するSession Management Subscription dataが利用可能でないならば、SMF206は、Nudm_SDM_Getを使ってUDM207からSession Management Subscription dataを取得する。また、SMF206は、Session Management Subscription dataが更新された時には通知してもらうようにNudm_SDM_Subscribeを使って登録しておく。
【0152】
Nsmf_PDUSession_CreateSMContext Requestを受信したSMF206は、PDUセッション確立要求を処理することができるならば、SM contextを生成する。そして、SMF206は、AMF209にNsmf_PDUSession_CreateSMContext Responseを応答してSM Context IDを提供する(ステップS404)。
【0153】
もし、PDUセッションの確立の間にDN-AAAサーバによる第2の認証、承諾処理を実行する必要がある場合には、SMF206は、PDU Session establishment authentication/authorization処理を起動する(ステップS405)。
【0154】
確立するPDUセッションにdynamic PCC(Policy and Charging Control)が適用される場合には、SMF206は、PCF Selectionを実行する(ステップS406)。さもなければ、SMF206は、ローカルなポリシーを適用してもよい。
【0155】
また、SMF206は、PCF205との間でSM Policy Associationを確立して、PDUセッションのためのdefault PCC Rulesを取得するために、SM Policy Association Establishment procedureを実行してもよい(ステップS407)。これにより、UPF220を選択する前にPCC Rulesを取得することができる。
【0156】
SMF206は、UPF Selectionを実行して、1つ以上のUPF220を選択する(ステップS408)。
【0157】
SMF206は、選択されたUPF220にN4セッション確立要求(N4 Session Establishment Request)メッセージを送信する(ステップS409)。
【0158】
UPF220は、N4セッション確立応答(N4 Session Establishment Response)メッセージを返信して、SMF206に応答する(ステップS410)。
【0159】
もし、PDUセッションのために複数のUPF220が選択された場合には、このN4セッション確立処理は、それぞれのUPF220に対して起動される。
【0160】
SMF206は、AMF209にNamf_Communication_N1N2MessageTransferメッセージを送信する(ステップS411)。ここで、Namf_Communication_N1N2MessageTransferメッセージは、PDU Session ID、N2 SM information、CN Tunnel Info、Allowed NSSAIのS-NSSAI、N1 SM containerを含む。ここで、N2 SM informationには、PDU Session ID、QFI(s)、QoS Profile(s)等を含む。また、PDUセッションのために複数のUPF220が使われる場合には、CN Tunnel Infoは、N3を終端するこれら複数のUPF220に関連するトンネリング情報(tunnel information)を含んでいる。
【0161】
N1 SM containerは、AMF209がUE10に供給しなければならないPDU Session Establishment Acceptを含んでいる。また、PDU Session Establishment Acceptは、Allowed NSSAIのS-NSSAIを含んでいる。
【0162】
Namf_Communication_N1N2MessageTransferメッセージは、AMF209がUE10に対してどのアクセスを使うかがわかるように、PDU Session IDを含んでいる。
【0163】
AMF209は、N2 PDUセッション要求(N2 PDU Session Request)メッセージをRAN/AN230に送信する(ステップS412)。ここで、AMF209は、N2 PDUセッション要求メッセージを介して、UE10を送り先とするPDU Session IDとPDUセッション確立許可(PDU Session Establishment Accept)を含むNAS(Non-Access-Stratum)メッセージと、SMF206から受信したN2 SM informationをRAN/AN230に送信する。
【0164】
RAN/AN230は、PDU Session IDとN1 SM containerを含むNASメッセージをUE10に転送する(ステップS413)。ここで、N1 SM containerは、PDU Session Establishment Acceptを含んでいる。
【0165】
RAN/AN230は、N2 PDUセッション応答(N2 PDU Session Response)メッセージをAMF209に応答する(ステップS414)。
【0166】
AMF209は、SM Context IDとN2 SM informationを含むNsmf_PDUSession_UpdateSMContext Requestメッセージを介して、RAN/AN230から受信したN2 SM informationをSMF206に転送する(ステップS415)。
【0167】
SMF206は、UPF220との間でN4セッション変更手順(N4 Session Modification procedure)を起動して、N4セッション変更要求(N4 Session Modification Request)メッセージをUPF220に送信する(ステップS416)。SMF206は、UPF220に転送ルールに加え、ANトンネリング情報(AN Tunnel Info)を提供する。
【0168】
UPF220は、SMF206にN4セッション変更応答(N4 Session Modification Response)メッセージを応答する(ステップS417)。PDUセッションで複数のUPF220が用いられている場合には、上記のN4セッション変更手順が行われる対象は、N3を終端する全てのUPF220となる。
【0169】
以上の処理に従って、PDUセッションが確立される。
【0170】
なお、それぞれのQoSフローに対して、QoS ProfileはQoSパラメータを含まなければならない。QoSパラメータは、例えば、5QI(5G QoS Identifier)とARP(Allocation and Retention Priority)である。
【0171】
QoSフローは、QoS Profileに応じて、“GBR(Guaranteed Bit Rate)”と“Non-GBR”のいずれかであってもよい。
【0172】
Non-GBR QoSフローに対しては、QoS ProfileはRQA(Reflective QoS Attribute)というQoSパラメータを含んでもよい。
【0173】
GBR QoSフローに対しては、アップリンクとダウンリンクのGFBR(Guaranteed Flow Bit Rate)とMFBR(Maximum Flow Bit Rate)というQoSパラメータを含まなければならない。
【0174】
5QIは、QoSフローの転送処理を制御するためのアクセスノード向けのパラメータである。例えば、スケジューリングの重み、アドミッションの閾値、キュー管理の閾値、リンク層の設定等である。
【0175】
ARPは、priority level、pre-emption capability、pre-emption vulnerabilityに関する情報を含んでいる。
【0176】
ARPのpriority levelは、QoSフローの相対的な重要度を定義するもので、最も高い重要度を1として、1から15の範囲で設定される。
【0177】
ARPのpre-emption capabilityは、QoSフローが他のより低いpriority levelを持つQoSフローに既に割り当てられているリソースを使用することができるか、否かを定義する指標である。
【0178】
ARPのpre-emption vulnerabilityは、他のより高いpriority levelを持つQoSフローを許可するために、QoSフローに割り当てられているリソースを明け渡してしまうか、否かを定義する指標である。
【0179】
ARPのpre-emption capabilityとARPのpre-emption vulnerabilityには、“enabled”、若しくは、“disabled”のいずれかを設定しなければならない。
【0180】
(RRC_CONNECTED遷移処理)
UE10とコアネットワーク(例えば、AMF209)間のシグナリングは、NASシグナリングによって行われる。このNASシグナリングを可能にするためにNASシグナリング接続が使われる。
【0181】
NASシグナリング接続は、UE10とAN(Access Network)間のANシグナリング接続と、ANとAMF209間のN2接続とで構成される。ここで、ANシグナリング接続は、例えば、RRC(Radio Resource Control)接続である。
【0182】
そこで、
図11を用いて、UE10のRRC状態をRRC_IDLEからRRC_CONNECTEDへ遷移させるRRC_CONNECTED遷移処理について説明する。
図11は、本開示の実施形態に係るRRC_CONNECTED遷移処理の一例を示すシーケンス図である。RRC_CONNECTED遷移処理は、RRC_IDLEからRRC_CONNECTEDへ遷移する場合にUE10(端末装置110の一例)によって起動される。
【0183】
まず、UE10は、RRC_IDLE、かつ、CM-IDLE状態であるとする(ステップS500)。ここで、RRC_IDLE状態は、基地局装置130との間でRRC接続が確立されていない状態である。CM-IDLE状態は、AMF209との間でN1を介したNASシグナリング接続が確立されていない状態である。
【0184】
UE10は、基地局装置130との新たな接続のために、SRB(Signalling Radio Bearer)0を介してRRC設定要求(RRCSetupRequest)メッセージを送信する(ステップS501)。
【0185】
UE10は、基地局装置130からRRC設定(RRCSetup)メッセージを受信すると(ステップS502)、RRC状態をRRC_IDLEからRRC_CONNECTEDに遷移し、CM-IDLEはそのまま維持する(ステップS503)。
【0186】
基地局装置130は、UE10からRRC設定完了(RRCSetupComplete)メッセージを受信すると(ステップS504)、RRC設定処理を完了し、UE10は、CM-CONNECTEDに遷移する(ステップS505)。
【0187】
RRC設定完了(RRCSetupComplete)メッセージに含めて送信されたUE10からの最初のNASメッセージ(INITIAL UE MESSAGE)がAMF209に送信される(ステップS506)。
【0188】
ここで、最初のNASメッセージは、例えば、登録要求(Registration Request)メッセージ(
図9のステップS301参照)、或いは、PDUセッション確立要求(PDU Session Establishment Request)メッセージ(
図10のステップS401)である。また、UE10とAMF209との間では、いくつかのNASメッセージが交換される。
【0189】
AMF209はUE context dataを準備し、初期コンテキスト設定要求(INITIAL CONTEXT SETUP REQUEST)メッセージを介して、UE context dataを基地局装置130に送信する(ステップS507)。ここで、UE context dataは、PDU session context、Security Key、UE Radio CapabilityとUE Security Capabilities等を含んでいる。
【0190】
基地局装置130は、UE10にSecurityModeCommandメッセージに送信し(ステップS508)、UE10がSRB1を介してSecurityModeCompleteメッセージを基地局装置130に送信すると(ステップS509)、基地局装置130は、AS(Access-Stratum)セキュリティ(AS security)をアクティベートする。
【0191】
SRB2とDRBs(Data Radio Bearers)を設定するために、基地局装置130は、UE10にRRC再構成(RRCReconfiguration)メッセージを送信し(ステップS510)、UE10がSRB1を介してRRC再構成完了(RRCReconfigurationComplete)メッセージを基地局装置130に送信すると(ステップS511)、RRC再構成処理を完了する。
【0192】
基地局装置130は、AMF209に初期コンテキスト設定完了(INITIAL CONTEXT SETUP RESPONSE)メッセージを送信して(ステップS512)、設定処理が完了したことを通知する。
【0193】
(SPS-Config及びConfiguredGrantConfigの設定)
AMF209は、端末装置110から特定のサービスに対応するS-NSSAI(例えば、S-NSSAI1)を含むPDUセッション確立要求メッセージ(
図10のステップS401参照)を受信した場合には、このS-NSSAI1に対応するサービスを提供するためのSMF206を選択する。ここで、特定のサービスは、例えば、AR、VR、MR、SR、XRのアプリケーション向けのサービスである。
【0194】
また、S-NSSAI1に対応するサービスを提供するために選択されたSMF206は、例えば、AR、VR、MR、SR、XRのアプリケーション向けのサービスを提供するために必要なPCF205とUPF220を選択する。
【0195】
さらに、例えば基地局装置130は、AMF209の指示に応答して、端末装置110とのダウンリンクとアップリンクに設定するSPS-Config及びConfiguredGrantConfigをそれぞれ決定してもよい。
【0196】
基地局装置130は、RRCを介してSPS-Config及びConfiguredGrantConfigを端末装置110に設定することができる。例えば、基地局装置130は、RRC再構成メッセージ(
図11のステップS508参照)にSPS-Config及びConfiguredGrantConfigを含めて送信することで端末装置110に設定する。
【0197】
SPS-Configは、ダウンリンクのセミパーシステント送信(Semi-Persistent Transmission)を設定するために用いられる。複数のSPS(Semi-Persistent Scheduling)がサービングセルの1つのBWP(Bandwidth Part)に対して設定され得る。複数のSPSは、SPS-ConfigListで設定される。
【0198】
また、基地局装置130は、上述のRRCを介したタイプ1と呼ばれる方法に加えて、タイプ2と呼ばれるCS-RNTI(Radio Network Temporary Identifier)を指定したPDCCHを介した方法でConfiguredGrantConfigを設定することもできる。
【0199】
RRCメッセージに含まれるSPS-Config information elementは、periodicity、periodicityExt、及び、SPS-ConfigIndexというフィールドを含む。
【0200】
ここで、SPS-Config information elementにperiodicityExtが含まれていない場合はperiodicityを参照し、periodicityExtが含まれている場合はperiodicityを無視する。
【0201】
TS38.331には、SPS-Configのperiodicityとして10ms、20ms、32ms、40ms、64ms、80ms、128ms、160ms、320ms、及び、640msの値が定義されている。
【0202】
また、SPS-ConfigのperiodicityExtに関しては、SCS(Subcarrier Spacing)が15kHzの場合には、1slotから640slotsの間のいずれかのスロット数がperiodicityExtとして設定できるように定義されている。また、SCSが30kHzの場合には、1slotから1280slotsの間のいずれかのスロット数がperiodicityExtとして設定できるように定義されている。SCSが60kHzの場合には、1slotから2560slotsの間のいずれかのスロット数がperiodicityExtとして設定できるように定義されている。SCSが120kHzの場合には、1slotから5120slotsの間のいずれかのスロット数がperiodicityExtとして設定できるように定義されている。
【0203】
SPSが設定されると、MAC entityは、以下の式(1)を満たすSFN(System Frame Number)内のスロット(Slot#_N)にN番目のダウンリンクの割り当てが発生するものと判断しなくてはならない。
【0204】
(numberOfSlotsPerFrame×SFN+Slot#_N)=
[(numberOfSlotsPerFrame×SFNinit+slotinit)
+N×periodicity×numberOfSlotsPerFrame/10]
modulo(1024×numberOfSlotsPerFrame)・・・(1)
【0205】
ここで、numberOfSlotsPerFrameは無線フレーム内のスロット数(例えば、SCSが15kHzの場合は10)、SFNinitとslotinitはそれぞれ、SPSが設定されて最初のPDSCH(Physical Downlink Shared Channel)の送信が行われたSFNとslot#である。
【0206】
また、時間軸上で連続して複数のスロットをSPSのリソースとして割り当てるために、さらにnumberOfSlotsPerSPSというパラメータを導入してもよい。MAC entityは、上記式(1)を満たすSFN内のスロット(Slot#_N)を先頭に連続したnumberOfSlotsPerSps分のスロットにN番目のダウンリンクの割り当てが発生するものと判断する。
【0207】
ConfiguredGrantConfig information elementは、periodicity、periodicityExt、及び、ConfiguredGrantConfigIndexというフィールドを含む。
【0208】
ここで、ConfiguredGrantConfig information elementにperiodicityExtが含まれていない場合はperiodicityを参照し、periodicityExtが含まれている場合はperiodicityを無視する。
【0209】
TS38.331には、ConfiguredGrantConfigのperiodicityとして、例えば、SCSが15kHzの場合には、2、7、n*14symbolsが定義されている。ここで、nは、1、2、4、5、8、10、16、20、32、40、64、80、128、160、320、640のいずれかの値である。
【0210】
また、ConfiguredGrantConfigのperiodicityExtに関しては、例えば、SCSが15kHzの場合には、1symbolから640symbolsの間のいずれかのシンボル数がperiodicityExtとして設定できるように定義され、periodicityExt*14symbolsの周期が設定できる。
【0211】
CG(Configured Grant)が設定されると、MAC entityは、以下の式(2)を満たすSFN(System Frame Number)のSlot#内のシンボル(Symbol#_N)にN番目のアップリンクの割り当てが発生するものと判断しなくてはならない。
【0212】
[(SFN×numberOfSlotsPerFrame×numberOfSymbolsPerSlot)
+(Slot#×numberOfSymbolsPerSlot)+Symbol#_N]=
(timeDomainOffset×numberOfSymbolsPerSlot+S+N×periodicity)
modulo(1024×numberOfSlotsPerFrame×numberOfSymbolsPerSlot)・・・(2)
【0213】
ここで、numberOfSlotsPerFrameは無線フレーム内のスロット数(例えば、SCSが15kHzの場合は10)、numberOfSymbolsPerSlot はスロット内のシンボル数(Normal CPの場合は14)である。また、timeDomainOffsetとSは、SLIV(Start and length indicator value)から得られるパラメータである。timeDomainOffsetはSFN=0におけるリソースの時間軸でのオフセット値、SはPUSCH(Physical Uplink Shared Channel)を最初に割り当てたシンボル(Symbol#)である。
【0214】
また、時間軸上で連続して複数のシンボルをCGのリソースとして割り当てるために、さらにnumberOfSymbolsPerCgというパラメータを導入してもよい。MAC entityは、上記式(2)を満たすSFN内のSlot#内のシンボル(Symbol#_N)を先頭に連続したnumberOfSymbolsPerCg分のシンボルにN番目のアップリンクの割り当てが発生するものと判断する。
【0215】
<<3.技術的課題>>
続いて、本開示の実施形態に係るコンテンツ配信システム100の技術的課題について、特に、セミパーシステント送信で動画データを送信する場合に着目して説明する。
【0216】
図12は、コンテンツ配信システムによる動画データの配信の一例について説明するための図である。
図12では、基地局装置130と端末装置110との間でSPSを介した動画データの通信が行われる。また、端末装置110は、上述したタイムワープを用いてフレームレートを2倍に上げて動画を表示するものとする。
【0217】
例えば、HMDである端末装置110が、XRのサービスを利用するために、S-NSSAI1を含むPDUセッション確立要求メッセージ(
図10のステップS401参照)をAMF209に送る。PDUセッション確立要求メッセージを受信したAMF209は、端末装置110とのダウンリンクとアップリンクにSPS-ConfigとConfiguredGrantConfigをそれぞれ設定するよう基地局装置130に指示する。
【0218】
端末装置110は、基地局装置130を介して、例えば、45fpsのフレームレートの動画データをダウンリンクのSPS(Semi-Persistent Scheduling)によって受信する。以下、情報処理装置150が送信する動画データのフレームレートを第1のフレームレートとも記載する。
【0219】
また、端末装置110は、基地局装置130を介して、慣性計測装置114が計測した慣性に係る情報をアップリンクのCG(Configured Grant)によって送信する。
【0220】
端末装置110は、受信した第1のフレームレート(45fps)の動画データにタイムワープを活用して例えば90fpsのフレームレートの動画として表示する。以下、端末装置110が表示部116に表示する動画のフレームレートを第2のフレームレートとも記載する。
【0221】
第2のフレームレート(90fps)の動画は、11.11msの周期で端末装置110のディスプレイ上に表示される。また、第1のフレームレート(45fps)の動画データの受信は、理想的には、22.22msの周期で受信できることが望ましい。ところが、SPSの周期はスロット単位(SCSが15kHzの場合には1ms)で設定されるため、最も近い周期として、例えば、22msに設定される。
【0222】
ここで、SPSの周期を設定する方法について説明する。S-NSSAI1に対応するサービスが扱う動画のフレームレートを含むフォーマットに係る情報は、例えば、UDR(Unified Data Repository)に保存されている。
【0223】
SMF206は、S-NSSAI1に対応するサービスの提供のためにPDUセッションの確立が要求されると、S-NSSAI1に対応するサービスが扱う動画のフレームレートを含むフォーマットに係る情報をUDRから取得し、NASメッセージを介してAMF209に提供する。
【0224】
AMF209は、取得した動画のフォーマットに係る情報からSPSの周期を決定し、決定した周期のSPSの設定を基地局装置130に指示する。
【0225】
また、UDRから取得したS-NSSAI1に対応するサービスが扱う動画のフレームレートを含むフォーマットに係る情報に基づいて、SMF206がSPSの周期を決定して、AMF209を介して基地局装置130にSPSの周期を提供するようにしてもよい。例えば、SMF206がAMF209を介して基地局装置130に提供するN2 SM informationに含まれるQoS Profile、或いは、QoSパラメータにこのSPSの周期を含める。
【0226】
さらに、QoS Profile、或いは、QoSパラメータには、SPSの設定を明示的に指示するための情報を含めてもよい。例えば、“sps-enabled”を設定する。
【0227】
なお、SMF206は、基地局装置130に提供するAlternative QoS ProfileにSPSの周期、さらには、SPSの設定を明示的に指示するための情報、例えば、“sps-enabled”を含めてもよい。
【0228】
或いは、S-NSSAI1に対応するサービスが扱う動画のフレームレートを含むフォーマットに係る情報は、PCF205からSMF206に提供されるPCC Rulesに含めてもよい。
【0229】
また、S-NSSAI1に対応するサービスが扱う動画のフォーマット、或いは、SPSの周期に対応するQFI(QoS Flow Identifier)と5QI(5G QoS Identifier)を定義して、SMF206は、基地局装置130にこのQFIと5QIを通知するようにしてもよい。
【0230】
QoSフローは、NASレベルでは、5GCから基地局装置130に提供されるQoS Profileと、5GCから端末装置110に提供されるQoS rule(s)によって特徴づけられる。QoS Profileは、基地局装置130が無線インタフェースでの処理の仕方を決定するために用いられる。
【0231】
QoS Profileは、QoSパラメータを含んでいて、QoSパラメータは、例えば、5QIとARPである。
【0232】
QoS rule(s)は、アップリンクのユーザ・プレーンのデータとQoSフローの対応を指示するために使われる。例えば、CGの設定は、QoS ruleに含める。
【0233】
ここで、CGの設定は、CGの周期、さらには、CGの設定を明示的に指示するための情報、例えば、“cg-enabled”である。
【0234】
ASレベルでは、DRBが無線インタフェースでのパケットの処理の仕方を決定する。基地局装置130によるQoSフローとDRBのマッピングは、QFIと関係するQoS Profileに基づいて行われる。
【0235】
上述したように、端末装置110は、22msの周期で動画データを受信し、11.11msの周期で動画(フレーム画像)を表示部116に表示する。
【0236】
図12に示す例では、端末装置110は、A点から所定の受信期間で動画データD1を受信する。端末装置110は、受信した次の表示タイミング(B1点)で受信した動画データD1から生成した第1の動画を表示する。また、端末装置110は、B1点で表示した第1の動画のタイムワープとしてB2点で、動画データD1から生成した第2の動画を表示(以下、タイムワープ表示とも記載する)する。
【0237】
端末装置110は、22msの周期で動画データを受信するとともに、11.11msの表示周期で動画を表示する。より具体的には、端末装置110は、22.22msの周期で第1の動画を表示し、22.22msの周期で第2の動画をタイムワープ表示する。
【0238】
このように、端末装置110が動画データを受信する周期(SPSの周期)と、端末装置110が第1の動画を表示する周期(第1のフレームレート)が異なる。そのため、
図12のA点のように、ある時点では動画データの受信タイミングと第1のフレームレート(45fps)の動画の表示タイミングが揃っていたとしても、受信タイミングと表示タイミングとの間に徐々にずれが生じてくる。このずれはわずかではあるが、ずれが徐々に累積することにより、表示までの遅延量がMotion-to-photon latencyの観点から無視できないほど大きくなる、或いは、逆に表示に間に合わなくなるといった問題が生じてしまう。
【0239】
・提案技術の概要
そこで、本開示では、周期的に動画データを受信し、周期的に動画を表示する端末装置110において、安定して動画を表示させることができる技術を提案する。提案技術として、基地局装置130は、端末装置110における動画データの周期的な受信タイミングと、動画の表示タイミングと、の差が、所定の条件を満たす場合に、受信タイミングに関する設定を変更する。
【0240】
<<4.技術的特徴>>
<4.1.SPSの再設定>
図13は、本開示の実施形態に係る基地局装置130によるSPSの再設定について説明するための図である。
【0241】
上述したように、端末装置110は、22msの周期で動画データを受信するとともに、端末装置110は、22.22msの周期で第1の動画を表示する。
【0242】
このように、端末装置110が動画データを受信する周期(SPSの周期)と、端末装置110が第1の動画を表示する周期が異なると受信タイミングと表示タイミングとの間にずれ(差)が生じる。
【0243】
端末装置110が動画データを受信する受信する受信タイミングと、第1の動画の表示タイミングとの差の絶対値が所定の閾値以上になった場合に、基地局装置130は、SPSの再設定を行う。基地局装置130は、現在のSPSの設定をリセットし、再度SPSの設定を行う。基地局装置130は、端末装置110が動画データを受信する受信する受信タイミングと、第1の動画の表示タイミングとが揃うように、SPS-Configを再設定する。
【0244】
端末装置110は、動画データを受信する受信する受信タイミングと、第1の動画の表示タイミングとの差の絶対値が所定の閾値以上になった場合に、再設定後のSPS-Configに基づき、変更後の受信タイミングで動画データを受信する。
【0245】
図14は、本開示の実施形態に係るSPS再設定処理の流れを示すフローチャートである。
図14では、SPS再設定処理を端末装置110が行う場合について示している。
【0246】
端末装置110は、基地局装置130からの通知(例えば、SPS-Configを含むRRC message)に基づき、SPSを設定する(ステップ601)。端末装置110は、設定したSPSの周期で基地局装置130から動画データを受信する(ステップS602)。
【0247】
端末装置110は、SPSの周期(例えば、22ms)と動画データのフレームレート(例えば第1のフレームレート。22.22ms)との差の累積時間を測定する(ステップS603)。より具体的には、端末装置110は、動画データを受信するごとに、SPSの周期と第1のフレームレートとの差(0.22ms)を累積し、動画データを受信した受信タイミングでの表示タイミングとの差を算出する。
【0248】
なお、端末装置110は、動画データを受信した時刻と、動画データを表示した時刻と、の差を算出することで、受信タイミングと表示タイミングとの差を算出してもよい。
【0249】
端末装置110は、測定した累積時間が予め設定された所定の閾値以上であるか否かを判定する(ステップS604)。累積時間が閾値未満である場合(ステップS604;No)、ステップS602に戻り、端末装置110はSPSの周期で動画データを受信する。
【0250】
一方、累積時間が閾値以上である場合(ステップS604;Yes)、端末装置110は、SPSの再設定を基地局装置130に要求する処理を起動し(ステップS605)、ステップS601に戻る。
【0251】
ステップS605で、端末装置110は、SPSの再設定(SPS-Configの再設定)の要求に、補正すべき累積時間、或いは、この補正すべき累積時間に相当するスロット数をオフセット値として含めて報告するようにしてもよい。
【0252】
基地局装置130は、端末装置110端末装置110からSPS-Configの再設定の要求を受信すると、報告された補正すべき累積時間に係る情報に基づいて、SPSを再設定する。なお、このSPS-Configの再設定の要求は、RRCメッセージを介して行われる。
【0253】
端末装置110は、動画データを受信している間、上記SPS再設定処理を実行する。
【0254】
なお、ここでは、端末装置110が、SPSの再設定を要求するとしたが、これに限定されない(すなわち、端末装置110によるSPSの再設定の要求は必須の構成要素でなくともよい)。例えば、基地局装置130が、動画データを受信した受信タイミングでの表示タイミングとの差を算出して、SPSの再設定を行うか否かを判定するようにしてもよい。この場合、基地局装置130は、例えば情報処理装置150から動画データのフレームレートに関する情報を取得する。さらに又はこれに代えて、基地局装置130は、UDRや5GC/NGC20のNFから動画データのフレームレートに関する情報を取得してもよい。さらに又はこれに代えて、基地局装置130が、本来終端しない上位レイヤの情報(すなわち、動画データのフレームレートに関する情報)をDPI(Deep Packet Inspection)等を用いて読み取ることで、取得してもよい。
【0255】
或いは、5GC/NGC20のNFが動画データを受信した受信タイミングでの表示タイミングとの差に基づき、基地局装置130に対してSPSを再設定させるようにしてもよい。ここでは、SMF206が、基地局装置130に対して、SPSを再設定するタイミングを指示する場合について説明する。
【0256】
この場合、端末装置110は、S-NSSAI1に対応するサービスを受けるために送信するPDUセッションの確立要求メッセージ(
図10のステップS401参照)に、S-NSSAI1に加えて、端末装置110が許容できるSPSの周期と動画のフレームレートの周期の差の累積時間の絶対値を含める。
【0257】
SMF206は、Nsmf_PDUSession_CreateSMContext Request(
図10のステップS401参照)を介して、AMF209からS-NSSAI1と端末装置110が許容できる累積時間を取得する。
【0258】
なお、ここでは、端末装置110が許容できる累積時間を通知するとしたが、これに限定されない。例えばSMF206が、Motion-to-photon latency等に基づいて予め決められた値を許容できる累積時間としてもよい。
【0259】
SMF206は、S-NSSAI1に対応するサービスが扱う動画のフレームレートを含むフォーマットに係る情報をUDRから取得する。
【0260】
SMF206は、動画のフレームレートに基づいてSPSの周期を決定し、許容できる累積時間に基づいてSPSを設定する期間を決定する。ここで、SPSを設定する期間は、SPSが設定されてからSPSの再設定が必要になるまで期間である。
【0261】
AMF209は、Namf_Communication_N1N2MessageTransfer(
図10のステップS411参照)のN2 SM informationを介して、SMF206からSPSの周期とSPSを設定する期間を取得する。
【0262】
AMF209は、N2 PDUセッション要求メッセージ(
図10のステップS412参照)を介して、SMF206から取得したSPSの周期とSPSを設定する期間と、オフセット値として、補正すべき累積時間に相当するスロット数を基地局装置130に通知する。
【0263】
基地局装置130は、AMF209から取得したSPSの周期とSPSを設定する期間に基づいて、端末装置110とのダウンリンクにSPSの周期を設定し、SPSを設定する期間を設定したタイマーを起動する。
【0264】
このタイマーの有効期限が切れると、基地局装置130は、SPSを開始するスロットをオフセット値に相当するスロット数分オフセットさせたSPSを再設定し、タイマーをリセットする。
【0265】
以降、端末装置110がS-NSSAI1に対応するサービスを終了するまで、このSPSの再設定処理は繰り返される。
【0266】
<4.2.複数のSPS設定>
上述した例では、基地局装置130が1つのSPSを設定する場合について説明したが、基地局装置130が、複数のSPSを設定するようにしてもよい。これにより、基地局装置130は、SPSに割り当てるリソースを増やすことができる。
【0267】
図15、
図16は、本開示の実施形態に係る基地局装置130によるSPS設定例を説明するための図である。
【0268】
図15に示すように、基地局装置130は、SPSの周期(例えば22ms)内で連続する複数のスロットに複数のSPSを設定してもよい。或いは、基地局装置130は、
図16に示すように、分散した複数のスロットに複数のSPSを設定してもよい。
【0269】
基地局装置130は、例えばSPSを設定した複数のスロットに動画データを割り当てて送信する。
【0270】
また、基地局装置130は、SPSの再設定を複数のSPSの各SPSを切り替えて実現してもよい。
【0271】
なお、
図15及び
図16では、基地局装置130は、SPS周期の先頭から複数のスロットにSPSを設定しているが、これに限定されない。基地局装置130が、SPS周期の末尾から複数のスロットにSPSを設定してもよく、或いは、SPS周期の中央に位置する複数のスロットにSPSを設定してもよい。また、
図15及び
図16では、基地局装置130がSPSを設定するリソース割り当て数を3つとしているが、これに限定されず、2つであっても4つ以上であってもよい。
【0272】
また、基地局装置130は、PDCCHを周期的にモニタリングするために端末装置110に間欠受信、DRX(Discontinuous Reception)を設定する。アイドルモード(Idle mode)の端末装置110が行う処理の1つは、基地局装置130からページングを通知するPDCCHをモニタリングすることである。そこで、アイドルモードでは待ち受け時の消費電力を抑えるために、周期的にPDCCHをモニタリングするためのDRXが設定される。
【0273】
また、コネクテッドモード(Connected mode)の端末装置110においても消費電力を削減することは重要である。そこで、基地局装置130は、RRC Connection Setup、或いはRRC ConnectionReconfigurationを使ってC-DRX(Connected mode DRX)を設定することができる。PDCCHのモニタリング周期に合わせてlongDRX-Cycleの値が設定され、PDCCHを割り当てるスロット位置に基づいて、drxStartOffsetとonDurationTimerの値が設定される。さらに、PDCCHを介してスケジューリング情報を受信して、そのスケジューリング情報が示すデータを受信する期間としてdrx-InactivityTimerを設定する。さらに、基地局装置130は、このLong DRXに加えて、Short DRXを設定することができる。
【0274】
Short DRXは、drxShortCycleTimerとshortDRX-Cycleによって設定される。コネクテッドモードの端末装置110は、Long DRXの設定に従って、PDCCHをモニタリングする。onDurationTimerが有効な期間に渡ってスケジューリング情報を含むPDCCHの復調に成功すると、drx-InactivityTimerをスタートさせ、drx-InactivityTimerが有効な期間に渡って、スケジューリング情報が示すデータを受信することができる。drx-InactivityTimerの有効期限が満了すると、端末装置110は、drxShortCycleTimerをスタートさせ、drxShortCycleTimerが有効な期間に渡って、longDRX-Cycleより高い頻度のshortDRX-Cycleの周期でPDCCHをモニタリングする。このshortDRX-CycleでのPDCCHのモニタリングによって、例えば、短い期間で送信されるパケットのQoSを確保することができる。drxShortCycleTimerの有効期限が満了すると、端末装置110は、Long DRXの設定に従って、PDCCHの周期的なモニタリングを再開する。
【0275】
基地局装置130は、PDCCHのモニタリング周期とSPS周期に基づいて端末装置110にC-DRXを設定する。例えば、PDCCHをSPSが設定されたスロット内で通知する場合には、1つのLong DRXが設定される。SPS周期に合わせてlongDRX-Cycleの値を設定し、SPSが設定されたスロット位置に基づいてdrxStartOffsetとonDurationTimerの値が設定される。ここで、連続する複数のスロットにSPSが設定される場合(
図15)には、その連続するスロット数に応じてonDurationTimerの値が設定される。或いは、SPSが設定された先頭のスロット位置に合わせてLong DRXのdrxStartOffsetとonDurationTimerの値を設定し、2番目以降のスロットの位置に合わせてdrx-InactivityTimerの値が設定される。分散した複数のスロットにSPSが設定される場合(
図16)には、その分散した複数のスロットがすべて含まれるようにonDurationTimerの値が設定される。或いは、分散した複数のスロットにSPSが設定される場合には、SPSが設定された最初のスロット位置に合わせてLong DRXのdrxStartOffsetとonDurationTimerの値を設定し、2番目以降のスロットの位置に合わせてShort DRXのdrxShortCycleTimerとshortDRX-Cycleを設定する。SPS周期内で分散して設定されたスロットの周期に基づいてdrxShortCycleTimerの値を設定し、分散して設定された複数のスロットが含まれる期間に基づいてshortDRX-Cycleを設定する。
【0276】
また、PDCCHをSPSが設定されたスロットに隣接するスロットで通知する場合には、SPS周期に合わせて1つlongDRX-Cycleの値を設定し、その隣接するスロットとSPSが設定されたスロットの位置に基づいてdrxStartOffsetとonDurationTimerの値を設定する。つまり、onDurationTimerの期間に渡って、PDCCHのモニタリングとSPSが設定されたスロットを使って送られるデータを受信する。
【0277】
なお、この1つのLong DRXの設定は、SPSが再設定されるタイミングで再設定される。SPSの再設定を複数のSPSの各SPSを切り替えて実現する場合には、SPSを切り替える度にLong DRXが再設定される。切り替えられたSPSのスロット位置に基づいてdrxStartOffsetと、onDurationTimer、或いはdrx-InactivityTimerの値が再設定される。このDRXの再設定においてDRXの各パラメータを更新するために、DCIを介して各パラメータを通知するようにしてもよい。
【0278】
また、PDCCHのモニタリング周期とSPSの周期を柔軟に設定する、つまり、異なる周期を設定するために独立した2つのLong DRXを設定するようにしてもよい。PDCCHのモニタリングのために第1のLong DRXが設定され、SPSを介したデータの受信のために第2のLong DRXが設定される。PDCCHのモニタリング周期に合わせて第1のlongDRX-Cycleの値を設定し、PDCCHを通知するスロットに合わせて第1のdrxStartOffsetと第1のonDurationTimerの値が設定される。SPS周期に合わせて第2のlongDRX-Cycleの値を設定し、SPSが設定されたスロット位置に基づいて第2のdrxStartOffsetと第2のonDurationTimerの値が設定される。なお、第2のLong DRXの設定には、上述の1つのLong DRXを設定する場合で示した方法を用いることができる。ここで、第1のonDurationTimerの期間と第2のonDurationTimerの期間の一部、若しくは全てが重複する場合には、端末装置110は第1のonDurationTimerの期間と第2のonDurationTimerの期間の論理和(OR)となる期間をonDurationTimerの期間と判断する。また、第1のonDurationTimerの終了のタイミングと第2のonDurationTimerの開始の期間、或いは、第2のonDurationTimerの終了のタイミングと第1のonDurationTimerの開始の期間がある閾値以下の場合、端末装置110の受信系のオンとオフの制御が難しくなることが考えられる。このような場合には、端末装置110は第1のonDurationTimerと第2のonDurationTimerの期間を含む連続した期間を第3のonDurationTimerの期間として、この受信系のオンとオフの制御の課題を回避することができる。また、この判断のための閾値(例えば、5スロット等)は、第2のLong DRXを設定する際にLong DRXのパラメータの1つ(例えば、DurationThreshold)として端末装置110に通知するようにしてもよい。なお、SPS、或いはDRXの設定における上述のスロットの概念は、ミニスロットを含み得る。
【0279】
図17は、本開示の実施形態に係る基地局装置130によるSPSの設定例を説明するための図である。
【0280】
図17では、基地局装置130は、SPSの周期(例えば22ms)内で同一の周期を有する複数のSPSを設定する。
【0281】
基地局装置130は、端末装置110とのダウンリンクに、例えば、任意のスロットの間隔を有する4つのSPSに対応するリソース割り当て701~704を設定する。
図17では、リソース割り当て701、702の間、リソース割り当て702、703の間、及び、リソース割り当て703、704の間が6スロット分空いている。また、リソース割り当て704と次の周期のリソース割り当て701との間が4スロット分空いている。
【0282】
基地局装置130は、設定された複数のリソース割り当ての各リソース割り当てをDCI(Downlink Control Information)を使って個々にアクティベートし得る。ここでは、例えば、基地局装置130は、最初に、リソース割り当て701に対応するSPSのみをアクティベートする。
【0283】
SPSの周期と動画の第1のフレームレートの周期の差の累積時間が、リソース割り当て701とリソース割り当て702の時間差、つまり、
図17の例では6スロット分以上になったとする。この場合、基地局装置130は、DCIを使ってリソース割り当て701に対応するSPSをディアクティベートし、リソース割り当て702に対応するSPSをアクティベートする。
【0284】
次に、またSPSの周期と動画の第1のフレームレートの周期の差の累積時間が、リソース割り当て702とリソース割り当て703の時間差である6スロット分以上になったとする。この場合、基地局装置130は、DCIを使ってリソース割り当て702に対応するSPSをディアクティベートし、リソース割り当て703に対応するSPSをアクティベートする。
【0285】
続いて、SPSの周期と動画の第1のフレームレートの周期の差の累積時間が、リソース割り当て703とリソース割り当て704の時間差である6スロット分以上になったとする。この場合、基地局装置130は、DCIを使ってリソース割り当て703に対応するSPSをディアクティベートし、基地局装置130は、リソース割り当て704に対応するSPSをアクティベートする。
【0286】
同様に、SPSの周期と動画の第1のフレームレートの周期の差の累積時間が、リソース割り当て704と次の周期のリソース割り当て701の時間差である4スロット分以上になったとする。この場合、基地局装置130は、DCIを使ってリソース割り当て704に対応するSPSをディアクティベートし、リソース割り当て701に対応するSPSをアクティベートする。
【0287】
以降、端末装置110がS-NSSAI1に対応するサービスを終了するまで、この設定された複数のSPSの各SPSのアクティベート/ディアクティベート処理は継続される。
【0288】
基地局装置130は、上述したように、動画データの送信に使用するSPSを切り替える場合、切り替え前後のSPSのオフセットを例えばDCIを用いて端末装置110に通知してもよい。
【0289】
ここで、SPSの周期、SPSの周期内に設定するSPSの数、SPSの周期内での各SPSに対応するリソース割り当ての配置、各SPSをアクティベートしてからディアクティベートまでの期間に関する情報は、PDUセッションの確立処理において、SMF206から基地局装置130に通知される。
【0290】
<4.3.CGの再設定>
AR、VR、MR、SR、XRのように、HMDで自由視点映像やリアルタイム動画を視聴するようなアプリケーションにおいては、上述のようにMotion-to-photon latencyを一定値以内に抑えることが重要となる。そこで、頭の動き、視点、或いは、視点を含む視野の変化を動画の各フレーム画像に反映させるために、端末装置110が検出した最新の慣性に係る情報を送信する周期的なアップリンクが発生する。そこで、端末装置110がS-NSSAI1に対応するサービスを受けるためのPDUセッション確立要求をAMF209に送ると、5GCは、上述のSPSに加えてCG(Configured Grant)を設定する。ここで、CGの設定方法は、ここまでに説明してきたSPSの設定方法と同じ方法を用いることができる。
【0291】
また、S-NSSAI1に対応するサービスのためのPDUセッション確立処理において、選択されたSMF206は、S-NSSAI1に対応するサービスを提供するためにAF208を使用してもよい。
【0292】
AF208は、例えば、端末装置110が利用するアプリケーションが周期的なダウンリンクの受信が必要である場合には、SPSの設定を決定する。さらに、アプリケーションが動画の受信を伴う場合には、AF208は、動画のフォーマットを特定し、特定した動画のフォーマットに応じて必要なSPSの設定を決定する。
【0293】
また、AF208は、端末装置110が利用するアプリケーションが周期的なアップリンクの送信が必要である場合には、CGの設定を決定するようにしてもよい。例えば、アプリケーションが受信する動画に端末装置110が検出する慣性に係る情報を反映させるために、動画のフレームレートを勘案したCGの設定が決定される。つまり、AF208は、アプリケーションが扱う動画のフォーマットに基づいて、動画のデータの受信に必要な設定と、動画のデータの生成に用いる情報(例えば、慣性に係る情報)の送信に必要な設定をアシストする情報を他のNF、或いは、基地局装置130に提供する。
【0294】
AF208で決定されたSPSの設定とCGの設定は、SMF206及びAMF209を介して、基地局装置130に提供される。
【0295】
ここで、上述した例では、基地局装置130がSPSの再設定を行う場合について説明したが、基地局装置130が、ConfiguredGrantConfig(CGConfig)の再設定を行うようにしてもよい。係る点について
図18、
図19を用いて説明する。
【0296】
図18及び
図19は、本開示の実施形態に係る基地局装置130によるCGの再設定について説明するための図である。
【0297】
図18に示すように、情報処理装置150は、慣性計測情報受信期間において、基地局装置130を介して慣性計測情報を周期的に受信する。このときの周期は、基地局装置130が端末装置110から慣性計測情報を受信するアップリンク通信の周期によって決まり、例えば、ConfiguredGrantConfigで設定されるCG周期と一致する。
【0298】
情報処理装置150は、受信した慣性計測情報に基づき、動画データ生成処理を実行して動画データを生成し、基地局装置130を介して端末装置110に送信する。かかる動画データは、SPSを使ったデータ送信にて、SPS周期で送信される。
【0299】
SPS周期とCG周期が同じである場合、情報処理装置150は、直近で受信した慣性計測情報に基づいて動画データを生成することができる。
【0300】
この場合において、SPS周期と第1のフレームレートとの差の累積時間が閾値以上になると、基地局装置130は、SPS再設定を行う。これにより、SPSを使ったデータ送信にずれが発生する。
【0301】
図18の例では、SPSを使ったデータ送信の送信タイミングが早くなるように、SPSの再設定が行われる。そのため、情報処理装置150が直近で受信した慣性計測情報に基づいて動画データを生成しても、再設定後の送信タイミングに間に合わず、動画データが送信できなくなってしまう。或いは、情報処理装置150が、動画データを送信するために、直近以前に受信した慣性計測情報を用いて動画データを生成しなければならなくなってしまう。
【0302】
そこで、
図19に示すように、本実施形態に係る基地局装置130は、SPSの再設定を行う場合に、ConfiguredGrant(CG)の再設定を行う。このとき、基地局装置130は、SPSの再設定を行うタイミングよりも前にCGの再設定を行うことが望ましい。これにより、SPSの再設定を行っても、情報処理装置150が直近で受信した最新の慣性計測情報に基づいて動画データを生成することができる。
【0303】
<4.4.タイムワープの変更>
上述した例では、基地局装置130がSPS又はCGの再設定を行うことで、端末装置110で発生する通信タイミングと表示タイミングとのずれを小さくしたが、ずれを小さくする方法はこれに限定されない。例えば、端末装置110が、タイムワープを使用して表示するタイムワープ画像の数を調整することで、かかるずれを小さくしてもよい。
【0304】
図20は、本開示の実施形態に係る端末装置110による表示処理の一例を説明するための図である。
【0305】
図20に示すように、端末装置110は、SPS周期の受信期間で受信した動画データから最新の慣性に関する情報を用いてフレーム画像(以下、第1の画像とも記載する)を生成して表示する。また、端末装置110は、同様にして生成したフレーム画像(タイムワープ画像)をタイムワープ表示する。端末装置110は、第2のフレームレートで第1の画像、若しくは、タイムワープ画像をフレーム画像として表示する。
【0306】
この場合において、SPSの周期と第1のフレームレート(45fps)の周期のわずかなずれの累積によって、動画データの受信が第1の画像の表示タイミングに間に合わない状態が発生する。
図20では、B点で動画データの受信が第1の画像の表示タイミングに間に合わない状態が発生している。
【0307】
SPSの周期と第1のフレームレートの周期の差の累積時間がある閾値以上になり、第1の画像の表示タイミングに間に合わない状態になったとする。端末装置110は、
図20の下図のように、本来第1の画像を表示するタイミングで、その前の受信タイミングで受信した動画データにタイムワープを適用したタイムワープ画像を表示する。これにより、端末装置110は、第1の画像の表示タイミングを半周期遅らせることができ、直近に受信した動画データを用いて生成した第1の画像を表示することができる。
【0308】
上記例では、動画データの受信タイミングが遅くなり第1の画像の表示タイミングに間に合わない場合について説明したが、動画データの受信タイミングが早くなる場合について説明する。
【0309】
図21は、本開示の実施形態に係る端末装置110による表示処理の他の例を説明するための図である。
【0310】
SPSの周期と第1のフレームレート(45fps)の周期のわずかなずれの累積によって、動画データを受信してから、当該動画データに基づいて生成された第1の画像を表示する表示タイミングまでの遅延が、大きくなってしまう状態が発生する。
図21では、D点で、動画データを受信してから第1の画像を表示する表示タイミングまでの遅延が、例えばMotion-to-photon latencyを無視できない程大きくなってしまっている。
【0311】
このように、SPSの周期と第1のフレームレートの周期の差の累積時間がある閾値以上になり、動画データを受信してから第1の画像を表示する表示タイミングまでの遅延が、Motion-to-photon latencyを無視できない程大きくなってしまったとする。
【0312】
端末装置110は、
図21の下図に示すように、その前の受信タイミングで受信した動画データにタイムワープを適用したタイムワープ画像を表示するタイミング(C点)で、直近に受信した動画データから生成した第1の画像を表示する。これにより、端末装置110は、第1の画像の表示タイミングを半周期早くすることができ、Motion-to-photon latencyの影響を低減することができる。
【0313】
<4.5.優先度の設定>
上述したいくつかの例では、1つの動画データが1つのSPSに割り当てられる場合について説明したが、これに限定されない。例えば、基地局装置130が、複数の領域に分割された動画データを、各領域の優先度に応じて、複数のSPSに割り当てるようにしてもよい。ここで、分割された各動画データは、例えば、セグメントと呼ばれるデータである。
【0314】
図22~
図25は、本開示の実施形態に係る基地局装置130による動画データの割り当て処理の一例について説明するための図である。
【0315】
情報処理装置150は、端末装置110から取得した最新の慣性に係る情報に基づき、ユーザの視点、或いは、視点を含む視野を設定する。さらに、情報処理装置150は、設定した視、或いは、視野点が中心になるよう領域を決定し、決定した領域の動画データを生成する。
【0316】
このとき、
図22に示すように、情報処理装置150は、生成した動画データを複数の領域に分割する。そして、情報処理装置150は、設定したユーザの視点と分割した領域との距離に応じて分割した領域の解像度を変更する。
【0317】
例えば、
図22に示すように、情報処理装置150は、ユーザの視点が動画データの中央に位置するものとして動画データを生成し、生成した動画データを3×3の9つの領域に分割する。
【0318】
この場合、
図23に示すように、情報処理装置150は、分割した領域のうち、視点に最も近い、中央に位置する領域801の解像度を最も高く設定する(高解像度)。また、情報処理装置150は、分割した領域のうち、視点から最も遠く、動画データの角部に位置する領域806~809の解像度を最も低く設定する(低解像度)。情報処理装置150は、残りの領域802~805の解像度を高解像度と低解像度の間の解像度に設定する(中解像度)。領域802~805は、視点に最も近い領域801と辺で接する領域であり、領域806~809は、領域802~805と辺で接する領域である。
【0319】
なお、ここでは、動画データを9つに分割する場合について説明したが、画像データの分割数は9に限定されない。分割数は、2以上8以下であってもよく、10以上であってもよい。また、ここでは、領域の解像度を低、中、高の3つに分ける場合について説明したが、解像度の数は3つに限定されない。解像度の数は、2つであってもよく、4つ以上であってもよい。さらに、ここでは、分割される各領域の大きさは同一である場合について説明したが、各領域の大きさが同一である例に限定されない。例えば、異なる大きさの領域に分割するようにしてもよい。
【0320】
ここで、各領域に適用し得る動画データとして、解像度の異なる複数のフォーマットが予め定義されていてもよい。つまり、情報処理装置150は、視点からの距離に応じて異なる解像度の動画フォーマットを選択して動画データを生成する。
【0321】
情報処理装置150は、視点からの距離に加えて、さらに、端末装置110と基地局装置130との間の通信品質に基づいて異なる解像度の動画フォーマットを選択してもよい。例えば、AF208は無線通信品質取得部(図示せず)を具備して、基地局装置130から端末装置110と基地局装置130との間の通信品質を取得する。無線通信品質取得部は、基地局装置130から取得した端末装置110と基地局装置130との間の通信品質を情報処理装置150に提供する。
【0322】
図24に示すように、AF208は、動画の各領域の解像度に応じて、優先度を割り当てる。高解像度の領域801には高い優先度、中解像度の領域802~805には中の優先度、低解像度の領域806~809には低い優先度を割り当てる。ここで、優先度は、例えば、QFI(QoS Flow identifier)と5QI(5G QoS Identifier)である。
【0323】
ここで、QoSフローは、PDUセッション内でQoSを差異化する最も細かい粒度の概念であり、5GSでは、QFIによってQoSフローを識別する。UPF220と基地局装置130に対応するRAN/AN230との間のN3において、各データフローは、カプセル化されたQFIをヘッダーに付加して送られる。なお、QFIは5QIと等価であってもよい。
【0324】
AMF209は、各優先度の領域の動画のフレームレートに基づいて、SPSの周期を含めたSPSの設定を決定する。ここで、AMF209は、各優先度の領域の動画のフレームレートを同一にしてもよいし、優先度が低い領域の動画のフレームレートを下げるようにしてもよい。
【0325】
また、各優先度に対するSPSの設定は、優先度のより高い領域の動画が優先度のより低い領域の動画よりも時間的に先に端末装置110に受信されるように勘案して決定される。
【0326】
AMF209で決定された各優先度に対するSPSの設定は、SMF206及びAMF209を介して、基地局装置130に提供される。
【0327】
基地局装置130は、AMF209から取得した各優先度に対するSPSの設定に基づいて、SPSのリソース割り当てを実行する。
【0328】
図25に示す例では、基地局装置130は、高い優先度に対するSPSの周期的なリソース割り当て810、中の優先度に対するSPSの周期的なリソース割り当て811、低い優先度に対するSPSの周期的なリソース割り当て812を設定する。
【0329】
基地局装置130は、UPF220から受信したデータフローに付加されたQFIに基づいて優先度を識別し、動画データの各領域のデータを優先度に応じたリソース割り当てを使用して送信する。例えば、基地局装置130は、高い優先度の領域801を、リソース割り当て810を使って端末装置110に送信する。同様に、基地局装置130は、中の優先度の領域802~805を、リソース割り当て811を使って端末装置110に送信し、低い優先度の領域806~809を、リソース割り当て812を使って端末装置110に送信する。
【0330】
また、端末装置110のレンダリング部1153が分割された動画を1つの動画に復元するために必要なマッピングや各領域のフォーマットを含む情報は、高い優先度のデータを送るための周期的なリソース割り当て810を使って送信される。ここで、分割された動画を1つの動画に復元するために必要なマッピングや各領域のフォーマットを含む情報は、例えば、MPD(Media Presentation Description)、若しくは、類似の目的のファイルであってもよい。
【0331】
レンダリング部1153は、このマッピングや各領域のフォーマットを含む情報に基づいて、分割された各領域のフォーマットに適したデコード方法を適用して、1つの領域の動画データとして復元することができる。
【0332】
レンダリング部1153は、周期的なリソース割り当て810を介して最初にデータを受信したSPSで設定されたタイミング(例えば
図12のA点参照)に基づいて、表示する動画のフレームのタイミング(例えば
図12のB1点参照)を設定する。この動画のフレームのタイミングには、例えば、デコードに要する期間、レンダリング処理に要する期間、及び、マージンを考慮したオフセット期間が適用される。このオフセット期間は、動画アプリ制御部1151から制御される。
【0333】
ここでは、ユーザの視点と分割した領域との距離に応じて分割した領域の解像度を変更する例を示したが、分割した各領域の解像度を変えずに優先度のみを変えるようにしてもよい。情報処理装置150は、分割した領域のうち、視点に最も近い、中央に位置する領域801の優先度を最も高く設定する(高優先度)。また、情報処理装置150は、分割した領域のうち、視点から最も遠く、動画データの角部に位置する領域806~809の優先度を最も低く設定する(低優先度)。情報処理装置150は、残りの領域802~805の優先度を高優先度と低優先度の間の優先度に設定する(中優先度)。ここで、優先度は、例えば、QFIと5QIである。
【0334】
また、各領域のデータを送信する際、ピクセルに基づいて送信する順序を決定してもよい。例えば、端末装置110が所定の期間内に全てのピクセルの情報を受信できない場合でも、低解像度の画像を表示できるように、情報処理装置150は、フレーム画像の特定の箇所のピクセルの情報を優先して送信する。続いて、残りの部分のピクセルの情報を送信するように制御する。基地局装置130は、このピクセルに基づいた優先度に応じて、各領域のデータを端末装置110に送信する。レンダリング部1153は、受信した複数の低解像度のフレーム画像を合成して高解像度のフレーム画像を生成する。
【0335】
<<5.その他の実施形態>>
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
【0336】
上述の実施形態では、45fpsのフレームレートの動画を、タイムワープを使って90fpsの動画を表示する例を示したが、フレームレートはこの例に限定されない。本開示の技術は、様々なフレームレートの動画の表示に適用し得る。
【0337】
上述の実施形態では、情報処理装置150が慣性に係る情報に基づき、動画データを生成して端末装置110に送信するとした。すなわち、情報処理装置150は、例えば、360度の動画情報からユーザの視点に応じた動画データを生成して端末装置110に送信するとしたが、これに限定されない。例えば、情報処理装置150が、360度の動画データをそのまま端末装置110に送信するようにしてもよい。この場合、情報処理装置150は、例えば解像度の低い360度の動画データを送信することで、送信データ量を削減するようにしてもよい。また、情報処理装置150がユーザの視点に応じた動画データと、解像度を落とした360度の動画データの両方を端末装置110に送信するようにしてもよい。
【0338】
また上述の実施形態では、基地局装置130又は5GC/NGC20のNFがフレームレートを取得するとしたが、これに限定されない。すなわち、基地局装置130や5GC/NGC20のNFが取得するフレームレートに関する情報は、フレームレートの値そのもの(例えば45fpsや90fps)だけでなく、フレームレートに対応するインデックス(例えば、QFI、或いは、5QI)であってもよい。
【0339】
また、分割された動画を1つの動画に復元するための情報として、マッピングや各領域のフォーマットを含む例を示したが、この分割された動画を1つの動画に復元するための情報にフレームレートに関する情報を含めるようにしてもよい。基地局装置130や5GC/NGC20のNFは、この分割された動画を1つの動画に復元するための情報を介してフレームレートを取得するようにしてもよい。
【0340】
また、上述の実施形態では、端末装置110がダウンリンクで動画データを受信し、アップリンクで慣性に係る情報を送信する場合について説明したが、これに限定されない。例えば、端末装置110が受信するデータは、リアルタイムかつ周期的に受信されるデータであればよく、動画データ以外であってもよい。また、端末装置110が送信するデータも、リアルタイムかつ周期的に送信されるデータであればよく、慣性に係る情報以外であってもよい。このように、本開示の技術は、リアルタイムかつ周期的に行われる種々のデータの通信に適用し得る。
【0341】
<<6.適用例>>
また、いくつかの実施形態において上述した、SPS又はCGの設定は、拡張現実(Argument Reality(AR))/仮想現実 (Virtual Reality (VR))/複合現実 (Mixed Reality (MR))/代替現実 (Substitutional Reality (SR))を用いたサービス(例えば、クラウドゲーム)の要求条件が考慮されてもよい。
【0342】
5G NR(New Radio)ではユースケースとしていくつかのサービスが検討されている。このうち、AR/VRサービスは5G NRのキラーコンテンツとして期待されている。3GPP TR 22.842 v17.1.0及びTS 22.261 v17.0.1は、AR/VRを用いたクラウドゲームについて、ゲーム画像のレンダリングに関する要求条件を規定している。より具体的には、これらの技術仕様書、報告書は、ゲーム画像のレンダリングにおいて、AR/VRユーザが映像の動きに違和感を覚えないレベルの許容遅延として、motion-to-photon遅延とmotion-to-sound遅延について次のように記載している。
【0343】
・motion-to-photon遅延:要求されるデータレート(1Gbps)を維持しつつ、motion-to-photon遅延は7-15msの範囲、
・motion-to-sound遅延:20ms未満。
【0344】
なお、motion-to-photon遅延は、ユーザの頭の物理的な動きとAR/VR headset(例えば、Head Mount Display)内の更新された画像との間の遅延として定義される。また、motion-to-sound遅延は、ユーザの頭の物理的な動きとユーザの耳に届くヘッドマウントスピーカーからの内の更新された音波との間の遅延として定義される。ここでのAR/VR headsetやヘッドマウントスピーカーは本開示における端末装置110であってもよい。
【0345】
これら遅延に関する条件を満たすために、5G systemとしてはレンダリングに関して次の2つの要求条件を満たすよう、上述の技術仕様書、報告書は規定している。
【0346】
・Max Allowed End-to-end latency:5ms(すなわち、端末(例えば、端末装置110)とデータネットワーク(例えば、Application Function(AF)が配置されるネットワーク)へのインタフェースとの間の上りリンク及び下りリンクの合計の許容遅延が5ms)、
・Service bit rate: user-experienced data rate:0.1Gbps(100Mbps)(すなわち、AR/VRコンテンツをサポートできるスループット)。
【0347】
なお、ここでのレンダリングは、Cloudレンダリング、Edgeレンダリング又はSplitレンダリングを含む。Cloudレンダリングは、ネットワークのクラウド上(ユーザの位置を考慮しないコアネットワーク(UPFを含む)配置とデータネットワーク(アプリケーションサーバやAFを含む)配置に基づく、とあるエンティティ上)においてAR/VRデータがレンダリングされる。Edgeレンダリングは、ネットワークのエッジ上(ユーザの位置に近いコアネットワーク(UPFを含む)配置とデータネットワーク(アプリケーションサーバやAFを含む)配置に基づく、とあるエンティティ(例えば、Edge Computing Server (Edge Computing のためのネットワーク配置におけるデータネットワーク内のアプリケーションサーバ))上において、AR/VRデータがレンダリングされる。Splitレンダリングは、レンダリングの一部がクラウド上で行われ、他の一部がエッジ上で行われるレンダリングを意味する。
【0348】
図26は、レンダリングに関するレンダリングサーバとAR/VRクライアントのイメージ図である。
図26は、上述の技術報告書に記載されている。ここで、AR/VRクライアントは、本開示における端末装置110に対応してもよい。また、Cloud Render Serverは、本開示における情報処理装置150に対応してもよい。また、Cloud Render Serverは、本開示における基地局装置130に接続されたLocal UPFがインタフェースとなるLADN(Local Area Data Network)内のエッジコンピューティングのためのアプリケーションサーバ(例えば、Edge Computing Server)であってもよい。また、Cloud Render Serverは、Edge Render Serverという名称であってもよいし、Split Render Serverという名称であってもよい。
【0349】
この適用例において、例えば、motion-to-photon遅延(7-15ms)又はmotion-to-sound遅延(20ms未満)が要求されるデータ通信(例えば、セッション(PDU session)、ベアラ(Radio Bearer)、パケットフロー(QoSフロー))の場合に、上述したSPS又はCGの再設定が行われてもよい。
【0350】
他の側面では、レンダリングに関する要求条件Max Allowed End-to-end latency(5ms)が要求されるデータ通信(例えば、セッション(PDU session)、ベアラ(Radio Bearer)、パケットフロー(QoSフロー))の場合に、上述したSPS又はCGの再設定が行われてもよい。
【0351】
<<7.むすび>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0352】
上記実施形態において説明した処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、或いは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0353】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【0354】
また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0355】
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0356】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
動画データを端末装置に所定の周期で送信する無線通信部と、
前記端末装置が前記動画データを受信する周期的な受信タイミングと、所定のフレームレートで前記端末装置に表示される前記動画データの表示タイミングと、の差が、所定の条件を満たす場合に、前記受信タイミングに関する設定を変更する制御部と、
を備える基地局装置。
(2)
前記受信タイミングに関する前記設定は、Semi-Persistent Scheduling(SPS)設定である、(1)に記載の基地局装置。
(3)
前記制御部は、前記受信タイミングと前記表示タイミングとが揃うように前記受信タイミングをリセットすることで、前記受信タイミングに関する前記設定を変更する、(1)又は(2)に記載の基地局装置。
(4)
前記制御部は、変更後の前記受信タイミングを示すオフセットを前記端末装置に通知することで、前記受信タイミングに関する前記設定を変更する、(1)~(3)のいずれか1つに記載の基地局装置。
(5)
前記制御部は、複数の前記受信タイミングに関する前記設定が前記端末装置に設定されている場合に、複数の前記受信タイミングに関する前記設定のうち、ディアクティベートする前記設定及び新たにアクティベートする前記設定を前記端末装置に通知することで、前記受信タイミングに関する前記設定を変更する、(1)~(4)のいずれか1つに記載の基地局装置。
(6)
前記所定の条件は、前記差が閾値以上、又は前記差の累積が閾値以上である、(1)~(5)のいずれか1つに記載の基地局装置。
(7)
前記制御部は、前記端末装置からの要求に応じて前記受信タイミングに関する前記設定を変更する、(1)~(6)のいずれか1つに記載の基地局装置。
(8)
前記制御部は、接続するネットワークに属するネットワークファンクションからの指示に応じて前記受信タイミングに関する前記設定を変更する、(1)~(7)のいずれか1つに記載の基地局装置。
(9)
前記制御部は、前記動画データを取得するコンテンツサーバから前記フレームレートに関する情報を取得する、(1)~(8)のいずれか1つに記載の基地局装置。
(10)
前記端末装置は、ユーザの視点に関する情報に基づき、前記動画データから画像を生成することで、前記フレームレートより大きい第2のフレームレートで前記動画データを表示する場合に、前記差に応じて生成する前記画像の数を調整する、(1)~(9)のいずれか1つに記載の基地局装置。
(11)
前記制御部は、前記動画データを複数に分割した各領域を、前記領域の優先度に応じた前記受信タイミングの前記設定で送信し、
前記領域の前記優先度は、ユーザの視点に関する情報に基づいて設定される、
(1)~(10)のいずれか1つに記載の基地局装置。
(12)
前記領域の前記優先度は、前記ユーザの視点に関する情報に基づいて設定された前記領域の解像度に応じて設定される、
(11)に記載の基地局装置。
(13)
基地局装置から動画データを所定の周期で受信する無線通信部と、
前記動画データを所定のフレームレートで表示する制御部と、
を備え、
前記無線通信部は、前記動画データを受信する周期的な受信タイミングと、前記所定のフレームレートで前記動画データを表示する表示タイミングと、の差が、所定の条件を満たす場合に、変更された前記受信タイミングの設定に基づいて前記動画データを受信する、
端末装置。
(14)
動画データを端末装置に所定の周期で送信することと、
前記端末装置が前記動画データを受信する周期的な受信タイミングと、所定のフレームレートで前記端末装置に表示される前記動画データの表示タイミングと、の差が、所定の条件を満たす場合に、前記受信タイミングに関する設定を変更することと、
を含む通信方法。
(15)
基地局装置から動画データを所定の周期で受信することと、
前記動画データを所定のフレームレートで表示することと、
前記動画データを受信する場合に、前記動画データを受信する周期的な受信タイミングと、前記所定のフレームレートで前記動画データを表示する表示タイミングと、の差が、所定の条件を満たす場合に、変更された前記受信タイミングの設定に基づいて前記動画データを受信することと、
を含む通信方法。
(16)
ユーザに関する情報を端末装置から第1の周期で受信し、前記ユーザに関する情報に基づいて生成された動画データを第2の周期で送信する無線通信部と、
前記端末装置が前記動画データを受信する周期的な受信タイミングと、所定のフレームレートで前記端末装置に表示される前記動画データの表示タイミングと、の差が、所定の条件を満たす場合に、前記端末装置が前記ユーザに関する情報を周期的に送信する送信タイミングに関する設定を変更する制御部と、
を備える基地局装置。
(17)
前記制御部は、さらに、前記受信タイミングに関する設定に基づいて間欠受信の周期とオンの期間を設定する、(1)に記載の基地局装置。
(18)
前記制御部は、前記間欠受信の設定として1つの間欠受信を設定し、ダウンリンクの制御チャンネルを当該1つの間欠受信の設定におけるオンの期間に割り当てる、(17)に記載の基地局装置。
(19)
前記制御部は、前記間欠受信の設定として、ダウンリンクの制御チャンネルをモニタリングするための第1の間欠受信の設定とは異なる第2の間欠受信を設定し、
前記第2の間欠受信の周期とオンの期間は、前記受信タイミングに関する設定に基づいて設定される、(17)に記載の基地局装置。
(20)
前記制御部は、前記第2の間欠受信の設定として、前記第1の間欠受信の第1のオンの期間と、前記第2の間欠受信の第2のオンの期間の間隔に係る閾値を設定する、(19)に記載の基地局装置。
(21)
前記無線通信部は、前記受信タイミングの設定に基づいた間欠受信の周期とオンの期間を設定する、(13)に記載の端末装置。
(22)
前記無線通信部は、前記間欠受信の設定として、ダウンリンクの制御チャンネルをモニタリングするための第1の間欠受信の設定とは異なる第2の間欠受信を設定し、
ここで、前記第2の間欠受信の周期とオンの期間は、前記受信タイミングの設定に基づいて設定される、(21)に記載の端末装置。
(23)
前記無線通信部は、前記第1の間欠受信の第1のオンの期間と、前記第2の間欠受信の第2のオンの期間の一部、若しくは全てが重複する場合に、前記第1のオンの期間と前記第2のオンの期間を含む第3のオンの期間を設定する、(22)に記載の端末装置。
(24)
前記無線通信部は、前記第2の間欠受信の設定として、前記第1の間欠受信の第1のオンの期間と、前記第2の間欠受信の第2のオンの期間の間隔に係る閾値を設定し、前記第1の間欠受信の第1のオンの期間と、前記第2の間欠受信の第2のオンの期間の間隔が前記閾値以下、若しくは未満であった場合に、前記第1のオンの期間と前記第2のオンの期間を含む第3のオンの期間を設定する、(22)に記載の端末装置。
【符号の説明】
【0357】
100 コンテンツ配信システム
110 端末装置
130 基地局装置
131 通信部
134 制御部
150 情報処理装置