IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 華為技術有限公司の特許一覧

特表2024-530907ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック
<>
  • 特表-ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック 図1
  • 特表-ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック 図2
  • 特表-ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック 図3
  • 特表-ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック 図4
  • 特表-ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック 図5
  • 特表-ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック 図6
  • 特表-ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック 図7
  • 特表-ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック 図8
  • 特表-ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック 図9
  • 特表-ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック 図10
  • 特表-ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック 図11
  • 特表-ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-27
(54)【発明の名称】ネットワークアナリティクストレーシング、およびアナリティクス出力の安定した消費のためのロールバック
(51)【国際特許分類】
   H04W 24/00 20090101AFI20240820BHJP
   H04W 88/14 20090101ALI20240820BHJP
【FI】
H04W24/00
H04W88/14
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024505352
(86)(22)【出願日】2021-07-30
(85)【翻訳文提出日】2024-03-07
(86)【国際出願番号】 EP2021071360
(87)【国際公開番号】W WO2023006212
(87)【国際公開日】2023-02-02
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.3GPP
(71)【出願人】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】HUAWEI TECHNOLOGIES CO.,LTD.
【住所又は居所原語表記】Huawei Administration Building, Bantian, Longgang District, Shenzhen, Guangdong 518129, P.R. China
(74)【代理人】
【識別番号】100132481
【弁理士】
【氏名又は名称】赤澤 克豪
(74)【代理人】
【識別番号】100115635
【弁理士】
【氏名又は名称】窪田 郁大
(72)【発明者】
【氏名】クラリッサ マークエザン
(72)【発明者】
【氏名】ラムヤ パンサンギ マンジュナス
(72)【発明者】
【氏名】アポストロス コウサリダス
(72)【発明者】
【氏名】チャン ジョウ
(72)【発明者】
【氏名】リカルド トリビソンノ
【テーマコード(参考)】
5K067
【Fターム(参考)】
5K067AA21
5K067DD17
5K067EE16
(57)【要約】
本開示は、新世代モバイルネットワーク、例えば、5Gモバイルネットワークと、モバイルネットワークにおけるアナリティクス情報の生成とに関する。特に、本開示は、アナリティクスIDまたはアナリティクスIDについての1つもしくは複数のアナリティクス出力をトレースすることに関係する。さらに、本開示は、不安定なアナリティクスIDについての、またはアナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についてのロールバックを推論または訓練することに関係する。この目的のために、開示は、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を取得するように構成され、アナリティクスIDについての少なくとも1つの出力が不安定である場合、および/またはアナリティクスIDが不安定である場合、アナリティクスIDに関連する1つまたは複数のロールバックアクションを含むロールバック通知を提供するように構成された、ネットワークアナリティクストレーシングエンティティを提示する。本開示は、1つまたは複数のロールバックアクションを取得し、行うように構成されたネットワークアナリティクストレーシングエンティティおよびネットワークアナリティクス訓練エンティティをさらに提供する。
【特許請求の範囲】
【請求項1】
ネットワークアナリティクストレーシングエンティティ(300)であって、
アナリティクス識別子(ID)についての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示(301)を取得することと、
前記アナリティクスIDについての少なくとも1つの出力が不安定である場合、および/または前記アナリティクスIDが不安定である場合、前記アナリティクスIDに関連するロールバック通知(302)を提供することと
を行うように構成され、前記ロールバック通知(302)は、
- 前記アナリティクスIDについての前記少なくとも1つの不安定なアナリティクス出力および/または前記アナリティクスIDであって、前記ロールバック通知は、ネットワークアナリティクス消費者エンティティ(330)、ネットワークアナリティクス推論エンティティ(310)、またはネットワークアナリティクス訓練エンティティ(320)に対して提供される、前記アナリティクスIDについての前記少なくとも1つの不安定なアナリティクス出力および/または前記アナリティクスIDと、
- 前記アナリティクスIDについての前記少なくとも1つの不安定なアナリティクス出力についての、および/または前記アナリティクスIDについての推論ロールバックアクション(311)であって、前記ロールバック通知(302)は、前記ネットワークアナリティクス推論エンティティ(310)に対して提供される、推論ロールバックアクション(311)と、
- 前記アナリティクスIDについての前記少なくとも1つの不安定なアナリティクス出力についての、および/または前記アナリティクスIDについての訓練ロールバックアクション(321)であって、前記ロールバック通知(302)は、前記ネットワークアナリティクス訓練エンティティ(320)に対して提供される、訓練ロールバックアクション(321)と
のうちの1つまたは複数を含む、ネットワークアナリティクストレーシングエンティティ(300)。
【請求項2】
前記推論ロールバックアクション(311)は、前記ネットワークアナリティクス推論エンティティ(310)において、前記少なくとも1つの不安定なアナリティクス出力に関する、および/もしくは前記アナリティクスIDに関する推論設定を変更するためのアクションであり、ならびに/または、
前記訓練ロールバックアクション(321)は、前記ネットワークアナリティクス訓練エンティティ(320)において、前記少なくとも1つの不安定なアナリティクス出力に関する、および/または前記アナリティクスIDに関する訓練設定を変更するためのアクションである、
請求項1に記載のネットワークアナリティクストレーシングエンティティ(300)。
【請求項3】
前記トレーシングを起動するための前記情報を有する前記表示(301)に基づいて、前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力をトレースすること、および/または前記アナリティクスIDをトレースすることと、
前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力および/または前記アナリティクスIDの前記トレーシングに基づいて、前記ロールバック通知(302)を提供することと
を行うように構成された請求項1または2に記載のネットワークアナリティクストレーシングエンティティ(300)。
【請求項4】
ロールバックステータス通知(501)を受信するようにさらに構成され、
前記ロールバックステータス通知(501)は、前記ネットワークアナリティクス推論エンティティによって実行される前記推論ロールバックアクション(311)のステータス、および前記ネットワークアナリティクス訓練エンティティによって実行される前記訓練ロールバックアクション(321)のステータスのうちの少なくとも1つを含む請求項1乃至3のいずれか一項に記載のネットワークアナリティクストレーシングエンティティ(300)。
【請求項5】
- 前記アナリティクスIDについての前記1つまたは複数のアナリティクス出力が安定していること、および前記アナリティクスIDが安定していることのうちの少なくとも1つを示すアナリティクスステータス通知(502)、
- 前記アナリティクスIDについての前記少なくとも1つの不安定なアナリティクス出力が不安定であるという確認(503)、
- 前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力および前記アナリティクスIDのうちの少なくとも1つに関する推論設定のトレーシングを起動するための情報を有する推論トレーシング起動表示(401)、
- 前記アナリティクスIDについての前記1つまたは複数のアナリティクス出力および前記アナリティクスIDのうちの少なくとも1つに関する訓練設定のトレーシングを起動するための訓練トレーシング起動表示(402)
のうちの少なくとも1つを提供するようにさらに構成された請求項1乃至4のいずれか一項に記載のネットワークアナリティクストレーシングエンティティ(300)。
【請求項6】
前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力についての、および/または前記アナリティクスIDについてのアナリティクストレーシング情報(403)を生成し、前記アナリティクストレーシング情報に基づいて、前記推論ロールバックアクション(311)および/または前記訓練ロールバックアクション(321)を決定するようにさらに構成され、前記アナリティクストレーシング情報(403)は、
- アナリティクスID、
- 前記アナリティクスIDについての前記1つまたは複数のアナリティクス出力に対する前記アナリティクスIDの関連付け、
- 前記アナリティクスIDについての前記1つまたは複数のアナリティクス出力および前記アナリティクスIDのうちの少なくとも1つに関する、1つまたは複数の品質表示、
- 前記アナリティクスIDに関する、および/または前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力に関する推論設定、
- 前記アナリティクスIDに関する、および/または前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力に関する訓練設定
のうちのいずれかを含む請求項1乃至5のいずれか一項に記載のネットワークアナリティクストレーシングエンティティ(300)。
【請求項7】
前記アナリティクストレーシング情報(403)は、前記アナリティクスIDに関連付けられた、および/または前記アナリティクスIDについての1つもしくは複数のアナリティクス出力に関連付けられた、前記推論ロールバックアクション(311)のステータス、
前記訓練ロールバックアクション(321)のステータス、1つまたは複数の推論ロールバックアクション(311)、および、1つまたは複数の訓練ロールバックアクションは(321)のうちの少なくとも1つをさらに含む請求項6に記載のネットワークアナリティクストレーシングエンティティ(300)。
【請求項8】
前記アナリティクストレーシング情報(403)は、
- タイムスタンプ、
- 前記ネットワークアナリティクス推論エンティティ(310)の識別、
- 前記ネットワークアナリティクス訓練エンティティ(320)の識別、
- 前記ネットワークアナリティクス消費者エンティティ(330)の識別、
- 前記アナリティクスIDについての前記1つまたは複数のアナリティクス出力の識別
のうちの少なくとも1つに対する、前記アナリティクスIDおよび/または前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力の関連付けをさらに含む請求項6または7に記載のネットワークアナリティクストレーシングエンティティ(300)。
【請求項9】
前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力の前記トレーシングおよび/または前記アナリティクスIDの前記トレーシングを起動するための前記情報を有する前記表示(301)を取得する前記ステップは、
- 前記ネットワークアナリティクス消費者エンティティ(330)、前記ネットワークアナリティクス推論エンティティ(310)、および前記ネットワークアナリティクス訓練エンティティ(320)のうちの少なくとも1つから、前記アナリティクスIDについての前記1つもしくは複数の出力の前記トレーシングおよび/または前記アナリティクスIDの前記トレーシングを起動するための前記情報を有する前記表示(301)を含むメッセージを受信することと、
- 前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力の前記トレーシングおよび/または前記アナリティクスIDの前記トレーシングを起動するための前記情報を有する前記表示(301)を含む設定(341)を受信することと
のうちの1つを含む請求項1乃至8のいずれか一項に記載のネットワークアナリティクストレーシングエンティティ(300)。
【請求項10】
前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力の前記トレーシングおよび/または前記アナリティクスIDの前記トレーシングを起動するための前記情報は、
- フラグであって、前記フラグは、前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力の前記トレーシングおよび/または前記アナリティクスIDの前記トレーシングをいつ開始するかを定義する、フラグと、
- 前記アナリティクスIDおよび前記フラグであって、前記フラグは、前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力の前記トレーシングおよび/または前記アナリティクスIDの前記トレーシングをいつ開始するかを定義する、前記アナリティクスIDおよび前記フラグと
のうちの少なくとも1つを含む請求項1乃至9のいずれか一項に記載のネットワークアナリティクストレーシングエンティティ(300)。
【請求項11】
ネットワークアナリティクス推論エンティティ(310)であって、
アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについての推論ロールバックアクション(311)を取得することと、
前記推論ロールバックアクション(311)を実行することと
を行うように構成され、前記推論ロールバックアクション(311)を実行することは、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力に関する、および/または前記アナリティクスIDに関する推論設定を変更することと、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力に関する、および/または前記アナリティクスIDに関する新しい推論設定を決定および設定することと、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについての新しいアナリティクスモデルを選択することと、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについてのアナリティクスモデルを停止することと
のうちの少なくとも1つを含むネットワークアナリティクス推論エンティティ(310)。
【請求項12】
前記推論ロールバックアクション(311)を取得することは、
- ネットワークアナリティクストレーシングエンティティ(300)から、前記アナリティクスIDに関連するロールバック通知(302)を受信することであって、前記ロールバック通知(302)は、前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについての前記推論ロールバックアクション(311)を含む、受信することと、
- 前記推論ロールバックアクション(311)により設定されることと、
- 前記ネットワークアナリティクストレーシングエンティティ(300)から、ロールバック通知(302)を受信することであって、前記ロールバック通知(302)は、前記アナリティクスIDについての少なくとも1つのアナリティクス出力および/または前記アナリティクスIDを含み、前記ロールバック通知(302)に基づいて、前記推論ロールバックアクション(311)を決定することと
のうちの1つを含む請求項11に記載のネットワークアナリティクス推論エンティティ(310)。
【請求項13】
取得されたまたは実行された推論ロールバックアクション(311)に基づいて、ネットワークアナリティクス消費者エンティティ(330)、ネットワークアナリティクス訓練エンティティ(320)、または別のネットワークアナリティクス推論エンティティ(310)に対して、
- 前記アナリティクスIDについての少なくとも1つのアナリティクス出力が不安定である、および/または前記アナリティクスIDが不安定であるという通知(504)、
- 前記アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力が不安定である、および/または前記アナリティクスIDが不安定であるという確認(503)、
- 前記アナリティクスIDについての1つまたは複数のアナリティクス出力が安定していること、および前記アナリティクスIDが安定していることのうちの少なくとも1つを示すアナリティクスステータス通知(502)
のうちの少なくとも1つを提供する
ようにさらに構成された請求項11または12に記載のネットワークアナリティクス推論エンティティ(310)。
【請求項14】
前記アナリティクスIDについての1つまたは複数のアナリティクス出力のトレーシングおよび/または前記アナリティクスIDのトレーシングを起動するための情報を有する表示(301)を、前記ネットワークアナリティクストレーシングエンティティ(300)に対して提供する
ようにさらに構成された請求項11乃至13のいずれか一項に記載のネットワークアナリティクス推論エンティティ(310)。
【請求項15】
前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについての前記新しいアナリティクスモデルを選択することは、不安定なアナリティクスIDに関連する、および/または前記アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力に関連する選択表示を、ネットワークアナリティクス訓練エンティティに対して提供することを含み、前記選択表示は、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力が不安定である、および/または前記アナリティクスIDが不安定であるという通知と、
- 前記新しいアナリティクスモデルを選択するためのリクエストであって、前記リクエストは、前記新しいアナリティクスモデルを選択するための理由を含む、リクエストと、
- 前記新しいアナリティクスモデルを生成するために前記アナリティクスモデルを再訓練するためのリクエストであって、前記リクエストは、前記アナリティクスモデルを再訓練するための理由を含む、リクエストと
のうちの少なくとも1つを含む請求項11乃至14のいずれか一項に記載のネットワークアナリティクス推論エンティティ(310)。
【請求項16】
ネットワークアナリティクス消費者エンティティ(330)から、前記アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについての以前に一時停止されたサブスクリプションを再起動するための表示(505)を受信するようにさらに構成された請求項11乃至15のいずれか一項に記載のネットワークアナリティクス推論エンティティ(310)。
【請求項17】
前記ネットワークアナリティクストレーシングエンティティ(300)に対してロールバックステータス通知(501)を提供するようにさらに構成され、
前記ロールバックステータス通知(501)は、前記ネットワークアナリティクス推論エンティティ(310)によって実行される前記推論ロールバックアクション(311)のステータスを含む請求項11乃至16のいずれか一項に記載のネットワークアナリティクス推論エンティティ(310)。
【請求項18】
前記アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/または前記アナリティクスIDのトレーシングを起動するための情報を有する表示(301)を取得することと、
前記トレーシングを起動するための前記情報を有する前記表示(301)に基づいて、前記アナリティクスIDに関する、および/または前記アナリティクスIDについての少なくとも1つのアナリティクス出力に関する推論設定を生成することと
を行うようにさらに構成された請求項11乃至17のいずれか一項に記載のネットワークアナリティクス推論エンティティ(310)。
【請求項19】
前記ネットワークアナリティクストレーシングエンティティ(300)に対して、前記アナリティクスIDに関する、および/または前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力に関する前記推論設定を提供するようにさらに構成された請求項18に記載のネットワークアナリティクス推論エンティティ(310)。
【請求項20】
ネットワークアナリティクス訓練エンティティ(320)であって、
アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについての訓練ロールバックアクション(321)を取得することと、
前記訓練ロールバックアクション(321)を実行することと
を行うように構成され、前記訓練ロールバックアクション(321)を実行することは、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力に関する、および/または前記アナリティクスIDに関する訓練設定を変更することと、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力に関する、および/または前記アナリティクスIDに関する新しい訓練設定を選択および設定することと、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについてのアナリティクスモデルの再訓練または再選択を行うことと、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについてのアナリティクスモデルを停止することと
のうちの少なくとも1つを含むネットワークアナリティクス訓練エンティティ(320)。
【請求項21】
前記訓練ロールバックアクション(321)を取得することは、
- ネットワークアナリティクストレーシングエンティティ(300)から、前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについてのロールバック通知(302)を受信することであって、前記ロールバック通知(302)は、前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについての前記訓練ロールバックアクション(321)を含む、受信することと、
- 前記訓練ロールバックアクション(321)により設定されることと
のうちの1つを含む請求項20に記載のネットワークアナリティクス訓練エンティティ(320)。
【請求項22】
前記取得されたまたは実行された訓練ロールバックアクション(321)に基づいて、ネットワークアナリティクス消費者エンティティ(300)、前記ネットワークアナリティクス推論エンティティ(310)、または別のネットワークアナリティクス訓練エンティティ(320)に対して、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力が不安定である、および/または前記アナリティクスIDが不安定であるという通知(504)と、
- 前記アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力が不安定である、および/または前記アナリティクスIDが不安定であるという確認(503)と、
- 前記アナリティクスIDについての1つもしくは複数のアナリティクス出力が安定していること、および/または前記アナリティクスIDが安定していることのうちの少なくとも1つを示すアナリティクスステータス通知(502)と、
- 前記訓練ロールバックアクションに関する情報と、
- 前記アナリティクスモデルの前記再訓練、または前記再選択、または前記停止についての理由の表示と
のうちの少なくとも1つを提供するようにさらに構成された請求項20または21に記載のネットワークアナリティクス訓練エンティティ(320)。
【請求項23】
前記ネットワークアナリティクス推論エンティティ(310)または別のネットワークアナリティクス訓練エンティティ(320)から、前記アナリティクスモデルの前記再訓練または前記再選択についての前記理由の表示を取得するようにさらに構成され、前記理由の前記表示は、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力が不安定である、および/または前記アナリティクスIDが不安定であるという通知と、
- 前記新しいアナリティクスモデルを選択するためのリクエストと、
- 前記新しいアナリティクスモデルを生成するために前記アナリティクスモデルを再訓練するためのリクエストと
のうちの少なくとも1つを含む請求項20乃至22のいずれか一項に記載のネットワークアナリティクス訓練エンティティ(320)。
【請求項24】
前記理由の前記取得された表示に基づいて、前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDに関する前記アナリティクスモデルに関する訓練設定を決定するようにさらに構成された請求項20乃至23のいずれか一項に記載のネットワークアナリティクス訓練エンティティ(320)。
【請求項25】
前記ネットワークアナリティクス推論エンティティ(310)または別のネットワークアナリティクス訓練エンティティ(320)に対して、前記アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/または前記アナリティクスIDのトレーシングを起動するための情報を有する表示(301)を提供するようにさらに構成された請求項20乃至24のいずれか一項に記載のネットワークアナリティクス訓練エンティティ(320)。
【請求項26】
前記ネットワークアナリティクストレーシングエンティティ(300)に対してロールバックステータス通知(501)を提供するようにさらに構成され、
前記ロールバックステータス通知(501)は、前記ネットワークアナリティクス推論エンティティ(320)によって実行される前記訓練ロールバックアクション(321)のステータスを含む請求項20乃至25のいずれか一項に記載のネットワークアナリティクス訓練エンティティ(320)。
【請求項27】
アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/または前記アナリティクスIDのトレーシングを起動するための情報を有する表示(301)を取得することと、
前記トレーシングを起動するための前記情報を有する前記表示(301)に基づいて、前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力に関する、および/または前記アナリティクスIDについての訓練設定を生成することと
をさらに行うように構成された請求項20乃至26のいずれか一項に記載のネットワークアナリティクス訓練エンティティ(320)。
【請求項28】
前記ネットワークアナリティクストレーシングエンティティ(300)に対して、前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力に関する、および/または前記アナリティクスIDについての前記訓練設定を提供するようにさらに構成された請求項27に記載のネットワークアナリティクス訓練エンティティ(320)。
【請求項29】
ネットワークアナリティクストレーシングエンティティ(300)またはネットワークアナリティクス推論エンティティ(310)に対して、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/または前記アナリティクスIDのトレーシングを起動するための情報を有する表示(301)を提供する
ように構成されたネットワークデータアナリティクス消費者エンティティ(330)。
【請求項30】
前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力についての、および/または前記アナリティクスIDについての以前に一時停止されたサブスクリプションを再起動するための表示(505)を提供するようにさらに構成された請求項29に記載のネットワークデータアナリティクス消費者エンティティ(330)。
【請求項31】
前記ネットワークアナリティクストレーシングエンティティ(300)または前記ネットワークアナリティクス推論エンティティ(310)から、
- 前記アナリティクスIDについての少なくとも1つのアナリティクス出力が不安定である、および/または前記アナリティクスIDが不安定であるという通知(504)と、
- 前記アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力が不安定であるという確認(503)と、
- 前記アナリティクスIDについての1つもしくは複数のアナリティクス出力が安定していること、および/または前記アナリティクスIDが安定していることのうちの少なくとも1つを示すアナリティクスステータス通知(503)と
のうちの少なくとも1つを取得するようにさらに構成された請求項29または30に記載のネットワークアナリティクス消費者エンティティ(330)。
【請求項32】
前記ネットワークアナリティクストレーシングエンティティ(300)に対して、前記アナリティクスIDの前記1つもしくは複数のアナリティクス出力のうちの少なくとも1つに関する、および/または前記アナリティクスIDに関する、1つまたは複数の品質表示を提供するようにさらに構成された、請求項31に記載のネットワークアナリティクス消費者エンティティ(330)。
【請求項33】
アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/もしくはアナリティクスIDのトレーシングを起動するための設定(341)を行うこと、ならびに/または、
前記アナリティクスIDについてのアナリティクストレーシング情報(403)を設定すること、ならびに/または、
前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力に関する、および/または前記アナリティクスIDに関する、1つもしくは複数の品質表示についてのデータの収集を起動するための設定(341)を行うこと
を行うように構成されたネットワークアナリティクス管理エンティティ(340)。
【請求項34】
ネットワークアナリティクストレーシングエンティティ(300)のための方法(800)であって、前記方法(800)は、
アナリティクス識別子(ID)についての1つもしくは複数のアナリティクス出力のトレーシングおよび/または前記アナリティクスIDのトレーシングを起動するための情報を有する表示(301)を取得するステップ(801)と、
前記アナリティクスIDについての少なくとも1つの出力が不安定である場合、および/または前記アナリティクスIDが不安定である場合、前記アナリティクスIDに関連するロールバック通知(302)を提供するステップ(802)と
を含み、前記ロールバック通知(302)は、
- 前記アナリティクスIDについての前記少なくとも1つの不安定なアナリティクス出力および/または前記アナリティクスIDであって、前記ロールバック通知(302)は、ネットワークアナリティクス消費者エンティティ(330)、ネットワークアナリティクス推論エンティティ(310)、またはネットワークアナリティクス訓練エンティティ(320)に対して提供される、前記アナリティクスIDについての前記少なくとも1つの不安定なアナリティクス出力および/または前記アナリティクスIDと、
- 前記アナリティクスIDについての前記少なくとも1つの不安定なアナリティクス出力についての、および/または前記アナリティクスIDについての推論ロールバックアクション(311)であって、前記ロールバック通知(302)は、前記ネットワークアナリティクス推論エンティティ(310)に対して提供される、推論ロールバックアクション(311)と、
- 前記アナリティクスIDについての前記少なくとも1つの不安定なアナリティクス出力についての、および/または前記アナリティクスIDについての訓練ロールバックアクション(321)であって、前記ロールバック通知(302)は、前記ネットワークアナリティクス訓練エンティティ(320)に対して提供される、訓練ロールバックアクション(321)と
のうちの1つまたは複数を含む、方法(800)。
【請求項35】
ネットワークアナリティクス推論エンティティ(310)のための方法(900)であって、前記方法(900)は、
アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについての推論ロールバックアクション(311)を取得するステップ(901)と、
前記推論ロールバックアクション(311)を実行するステップ(902)と
を含み、前記推論ロールバックアクション(311)を実行するステップは、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力に関する、および/または前記アナリティクスIDに関する推論設定を変更することと、
- 前記アナリティクスIDについての前記少なくとも1つの出力に関する、および/または前記アナリティクスIDに関する新しい推論設定を決定および設定することと、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについての新しいアナリティクスモデルを選択することと、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについてのアナリティクスモデルを停止することと
のうちの少なくとも1つを含む、方法(900)。
【請求項36】
ネットワークアナリティクス訓練エンティティ(320)のための方法(1000)であって、前記方法(1000)は、
アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについての訓練ロールバックアクション(321)を取得するステップ(1001)と、
前記訓練ロールバックアクション(321)を実行するステップ(1002)と
を含み、前記訓練ロールバックアクション(321)を実行するステップ(1002)は、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力に関する、および/または前記アナリティクスIDに関する訓練設定を変更することと、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力に関する、および/または前記アナリティクスIDに関する新しい訓練設定を選択および設定することと、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについてのアナリティクスモデルの再訓練または再選択を行うことと、
- 前記アナリティクスIDについての前記少なくとも1つのアナリティクス出力についての、および/または前記アナリティクスIDについてのアナリティクスモデルを停止することと
のうちの少なくとも1つを含む、方法(1000)。
【請求項37】
ネットワークデータアナリティクス消費者エンティティ(330)のための方法(1100)であって、前記方法(1100)は、
ネットワークアナリティクストレーシングエンティティ(300)またはネットワークアナリティクス推論エンティティ(310)に対して、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/または前記アナリティクスIDのトレーシングを起動するための情報を有する表示(301)を提供するステップ(1101)
を含む、方法(1100)。
【請求項38】
ネットワークアナリティクス管理エンティティ(340)のための方法(1200)であって、前記方法(1200)は、
アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/もしくは前記アナリティクスIDのトレーシングを起動するための設定(341)を行うステップ(1201)、ならびに/または、
前記アナリティクスIDについてのアナリティクストレーシング情報(403)を設定するステップ(1202)、ならびに/または、
前記アナリティクスIDについての前記1つもしくは複数のアナリティクス出力に関する、および/もしくは前記アナリティクスIDに関する、1つもしくは複数の品質表示についてのデータの収集を起動するための設定(341)を行うステップ(1203)
を含む、方法(1200)。
【請求項39】
コンピュータプログラムであって、コンピュータ上で実行された場合に、請求項34乃至38のいずれか一項に記載の方法を行うためのプログラムコードを備える、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、新世代モバイルネットワーク、例えば、第5世代(5G)モバイルネットワークと、モバイルネットワークにおけるアナリティクス情報の生成とに関する。特に、本開示は、アナリティクス識別子(ID)、またはアナリティクスIDについての1つもしくは複数のアナリティクス出力をトレースすることに関係する。さらに、本開示は、不安定なアナリティクスID、またはアナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についてのロールバックを推論または訓練することに関係する。この目的のために、開示は、ネットワークアナリティクストレーシングエンティティ、ネットワークアナリティクス推論エンティティ、ネットワークアナリティクス訓練エンティティ、ネットワークアナリティクス消費者エンティティ、ネットワークアナリティクス管理エンティティ、および、これらのエンティティのための方法を提示する。
【背景技術】
【0002】
現在のモバイルネットワークにおいて、ネットワークデータアナリティクス機能(NWDAF)は、多様なアナリティクス機能を提供しており、多様なアナリティクス機能は、いくつかのネットワーク機能(NF)によって、それらの決定(例えば、無線アクセス技術(RAT)および周波数選択を支援するためにNFをサポートするべく、NWDAFによって提供され得るアナリティクス情報)を改善するために、または行うために使用されることが可能である。各アナリティクス機能は、それがNWDAFによってリクエストするアナリティクス(出力)を示すために、NF機能が使用することができる、それ自体のID(アナリティクスID)を有する。図1に示されるように、NWDAFは、同じNWDAFエンティティの一部とすることができる、または異なるNWDAFエンティティに配置されることが可能である、2つの機能性、すなわち、a)訓練された機械学習モデルを使用して、アナリティクスおよび/予測を提供する推論と、b)収集されたデータおよび/または訓練データセットを使用して、機械学習モデルを生成する訓練とから成る。図1は、特に、セッション管理(SM)のためのアナリティクスID消費の例を示す。
【0003】
NWDAFアナリティクスの品質は、多様な要因、例えば、モードを訓練するための収集データの品質および量、機械学習モデルの構成等によって影響を与えられる。結果的に、NWDAF機械学習モデルの品質は、NWDAFアナリティクスの使用に応じて、ネットワークパフォーマンスまたはネットワークステータスに影響を与えることがある。成功した(または効率的な、または信頼性の高い)アナリティクスIDは、安定したネットワークステータスをもたらすことまたは維持することができ、一方で、成功率の低い(または非効率的な、または信頼性の低い)アナリティクスIDは、不安定なネットワークステータスをもたらすことまたは生み出すことができる。安定したネットワークステータスの場合、システムキーパフォーマンスインジケータ(KPI)および/またはメトリックが、使用の予想されるパターン内に保たれる(または改善される)。不安定なネットワークステータスの場合、システム負荷のKPIおよび/またはメトリックは、予想されるパターンに留まるが、特定の状況を示すKPIは、不安定である(または予想されるパターンから低下する)。
【0004】
したがって、不安定なネットワークステータスをもたらすアナリティクスIDの場合を検出および対処することが重要である。しかしながら、不安定なネットワークステータスをもたらすアナリティクスIDを検出および修正するための時間は、NWDAFブラックボックスロジックに依存する変数である。それは、数秒かかることがあり(例えば、それがモデル再選択である場合)、または、それは、数日かかる(例えば、十分なデータ量を有するデータ収集を必要とする、もしくは、MLアナリストによるモデルチューニングのために人間の介入を有する)ことがある。
【発明の概要】
【0005】
本開示およびその実施形態は、図2を参照する、下記のさらなる考慮に基づいており、図2は、アナリティクスIDを使用するNF決定の影響に起因する、不安定なネットワークステータスの例を示す。
【0006】
現在、NFが、アナリティクスIDを消費することを停止した場合(例えば、NWDAFがそれを修正している間に)、これは、NF動作のロジックにおける主要なギャップをもたらし、それは再び、その意志決定における主要な矛盾をもたらし、ネットワークステータスに影響を与える決定が、NFのロジック全体を反映していないので、ネットワークステータスの劣化を悪化させる可能性、またはNWDAFが歪んだデータを収集する可能性がある。NFが、問題を有する同じアナリティクスIDを消費し続ける場合、NFは、不安定なネットワークステータスをもたらす決定を行い続けることになる。NWDAF推論が、(例えば、そのローカル情報から、またはNWDAF訓練をクエリすることによって)MLモデルを単純に再選択する場合、それは、データ収集のサイクルを介してのみ、アナリティクスIDに関する問題を認識することができる。そのため、上記の代替的オプションのいずれも、上記に説明された問題に対する有効な解決策または効果的な解決策を構成しない。
【0007】
すなわち、NWDAF推論は、安定したネットワークステータスをもたらすアナリティクスID出力を提供し続けることができないことがあり得るという問題がある。さらに、NWDAF訓練は、アナリティクスIDにおける問題を十分に高速に認識しないことがあり得、したがって、不安定なネットワークステータスをもたらすアナリティクスID出力の構成/生成の修正をサポートすることができない。
【0008】
この問題に対する解決策が現在欠如していることは、以下の重要な技術的問題をさらにもたらす。修復されたアナリティクスIDにおいて考慮されたネットワークステータスと、不安定なアナリティクスIDをNWDAFが修復していた期間中に、NFが、不安定であるとみなされたアナリティクスIDについてのアナリティクス出力を消費することを停止した後に、そのような修復されたアナリティクスを消費することを再開した場合のネットワークステータスとの間には、限りない不整合が存在することになる。NFが、(修復の必要性に起因して)アナリティクスIDを消費することを停止した場合、NFは、(アナリティクスID出力をそれ以上考慮しないことによって)その決定論理を変更することになり、これは、ネットワークステータスにおいて効果を有し得る。並行して、NWDAFがアナリティクスIDを修復するために使用し得るデータは、アナリティクスIDがNFによって再び消費される場合と同じシナリオを反映しないので、ネットワークステータスデータが、NFによって影響を受けるネットワークステータスの実際の挙動の一部のみを反映する場合、NWDAFは、不安定なアナリティクスIDを修復するために、このデータを使用していることになる。
【0009】
これまでの従来の解決策は、(a)訓練サンプルにおけるラベルの信頼性を検出することに着目する。しかしながら、これは、訓練フェーズのみにとっての特有の問題であり、これのみでは、システムKPIにおける訓練されたモデル(すなわち、アナリティックID)の効果を検出することも、ネットワークステータスにおける変更に対する誤ったラベルをトレースすることもできない。さらに、解決策は、(b)以前に収集されたデータのバッチへのロールバックを許容するために、複数のソースからデータのバッチを収集することに着目する。しかしながら、そのような解決策は、信頼性の低い/不安定なアナリティクスIDを具体的に検出するための、またはアナリティクスIDの構成を制御するための機構を考慮しない。さらに、解決策は、(c)コンピュータシステム内のリソースに対する要求を受信した際に、以前の知られている良好な状態へのロールバックを実行することに着目する(ただし、リソースは、データベース、ロードバランサー、スケーリングループマシンとして定義される)。しかしながら、アナリティクスIDのロールバック構成に対する具体的な解決策は考慮されていない。さらに、アナリティクスIDは、コンピュータリソースではない。アナリティクスIDは、システムプロパティとして広く定義されることが可能である。
【0010】
3GPPにおいて、具体的な解決策は定義されていないが、NWDAFが、アナリティクスID出力を消費するNFから、直接的なフィードバックを受信することができる可能性を仕様は示唆している。これは、NWDAFが著しい量のデータ収集を必要とせずに、パフォーマンス低下を検出することを可能にすることができる。しかしながら、NWDAFがパフォーマンス低下を検出し、アナリティクスID出力を改善しようと試行している場合に、進行中のアナリティクスサブスクリプション期間中に何がNFに起こるかという問題は考慮されていない。
【0011】
上記に鑑みて、本開示の実施形態は、識別された問題を解決すること、および上述された欠点を回避する改善された解決策を提供することを目指す。目的は、アナリティクスID、またはアナリティクスIDについての1つもしくは複数のアナリティクス出力が、安定したネットワークステータスをもたらすことを確実にすることである。別の目的は、アナリティクス訓練が、任意の不安定なアナリティクスIDにおける、またはアナリティクスIDについての少なくとも1つの不安定なアナリティクス出力における問題を迅速に認識することを可能にすることである。
【0012】
これらの目的および他の目的は、添付された独立請求項において説明されるような本開示の実施形態によって達成される。実施形態の有利な実装は、従属請求項においてさらに定義される。
【0013】
特に、本開示は、アナリティクスIDの、またはアナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングを可能にするための方法、インターフェース、およびエンティティを紹介する。トレーシングは、ネットワークアナリティクストレーシングエンティティによって行われてよく、不安定なアナリティクスID、またはアナリティクスIDについての不安定なアナリティクス出力を検出することを可能にすることができる。これは、不安定なアナリティクスIDまたは(推論および/もしくは訓練における)アナリティクスについての不安定なアナリティクス出力の構成を戻すこと(またはロールバック)、特に、モバイルシステム内の最後の知られていた安定したネットワーク状態へのロールバックをさらに可能にすることができる。これは、ネットワークアナリティクス推論エンティティ(例えば、NWDAF推論)が、1つまたは複数のネットワークアナリティクス消費者エンティティ(例えば、NWDAF消費者)に、アナリティクスID出力を提供し続けることを可能にし、これは安定したネットワークステータスをもたらす。さらに、これは、不安定なネットワークステータスをもたらし得る、アナリティクスID、またはアナリティクスIDについての1つもしくは複数のアナリティクス出力の構成および/または生成における問題を、ネットワークアナリティクス訓練エンティティ(例えば、NWDAF訓練)が認識することをサポートすることを可能にする。
【0014】
本開示の第1の態様は、ネットワークアナリティクストレーシングエンティティであって、アナリティクス識別子(ID)についての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を取得することと、アナリティクスIDについての少なくとも1つの出力が不安定である場合、および/またはアナリティクスIDが不安定である場合、アナリティクスIDに関連するロールバック通知を提供することとを行うように構成され、ロールバック通知は、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスIDであって、ロールバック通知は、ネットワークアナリティクス消費者エンティティ、ネットワークアナリティクス推論エンティティ、またはネットワークアナリティクス訓練エンティティに対して提供される、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスIDと、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクションであって、ロールバック通知は、ネットワークアナリティクス推論エンティティに対して提供される、推論ロールバックアクションと、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクションであって、ロールバック通知は、ネットワークアナリティクス訓練エンティティに対して提供される、訓練ロールバックアクションとのうちの1つまたは複数を含む、ネットワークアナリティクストレーシングエンティティを提供する。
【0015】
ネットワークアナリティクストレーシングエンティティは、アナリティクスID、および/またはアナリティクスIDの1つもしくは複数のアナリティクス出力のトレーシングを開始し得、したがって、不安定な設定を識別し得る。トレーシングエンティティは、ロールバック通知をそれぞれのロールバックアクションと共にさらに提供することができ、これは、アナリティクスIDまたはアナリティクス出力を安定した設定へ戻すことを可能にする。したがって、トレーシングエンティティは、アナリティクスID、および/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力が、安定したネットワークステータスをもたらすことを確実にすることを助ける。さらに、それは、ネットワークアナリティクス訓練エンティティが、不安定なアナリティクスIDおよび/またはアナリティクスIDについての少なくとも1つの不安定なアナリティクス出力に関する問題を、より高速に認識することを助け得る。
【0016】
第1の態様の一実装形式において、推論ロールバックアクションは、ネットワークアナリティクス推論エンティティにおいて、少なくとも1つの不安定なアナリティクス出力に関する、および/もしくはアナリティクスIDに関する推論設定を変更するためのアクションであり、ならびに/または、訓練ロールバックアクションは、ネットワークアナリティクス訓練エンティティにおいて、少なくとも1つの不安定なアナリティクス出力に関する、および/またはアナリティクスIDに関する訓練設定を変更するためのアクションである。
【0017】
推論設定および/または訓練設定の変更は、不安定なアナリティクスIDおよび/またはアナリティクスIDについての少なくとも1つの不安定なアナリティクス出力を安定した状態へ戻すことができる。
【0018】
第1の態様の一実装形式において、ネットワークアナリティクストレーシングエンティティは、トレーシングを起動するための情報を有する表示に基づいて、アナリティクスIDについての1つもしくは複数のアナリティクス出力をトレースすること、および/またはアナリティクスIDをトレースすることと、アナリティクスIDについての1つもしくは複数のアナリティクス出力および/またはアナリティクスIDのトレーシングに基づいて、ロールバック通知を提供することとを行うように構成される。
【0019】
トレーシングエンティティは、不安定なアナリティクスIDおよび/またはアナリティクスIDについての少なくとも1つの不安定なアナリティクス出力を識別し得る。トレーシングエンティティは、不安定性についての理由も識別し得る。ロールバック通知におけるロールバックアクションは、トレーシング、すなわち、不安定性および任意選択で理由の識別に基づいて、選択され得る。したがって、可能な限り最良のロールバックアクションは、ロールバック通知により提供されることが可能である。
【0020】
第1の態様の一実装形式において、ネットワークアナリティクストレーシングエンティティは、ロールバックステータス通知を受信するようにさらに構成され、ロールバックステータス通知は、ネットワークアナリティクス推論エンティティによって実行される推論ロールバックアクションのステータス、およびネットワークアナリティクス訓練エンティティによって実行される訓練ロールバックアクションのステータスのうちの少なくとも1つを含む。
【0021】
したがって、第1の態様のトレーシングエンティティは、ロールバックアクションが例えば成功したか否かについて知らされ得る。さらに、トレーシングエンティティは、将来の決定についての情報をこのように集め得る。例えば、同じアナリティクスIDおよび/またはアナリティクスIDについての少なくとも1つの不安定な出力の別の不安定性が発生した場合、それは、以前に受信されたロールバックステータスを考慮する、さらなるロールバック通知を提供し得る。
【0022】
第1の態様の一実装形式において、ネットワークアナリティクストレーシングエンティティは、アナリティクスIDについての1つまたは複数のアナリティクス出力が安定していること、およびアナリティクスIDが安定していることのうちの少なくとも1つを示すアナリティクスステータス通知、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力が不安定であるという確認、アナリティクスIDについての1つもしくは複数のアナリティクス出力およびアナリティクスIDのうちの少なくとも1つに関する推論設定のトレーシングを起動するための情報を有する推論トレーシング起動表示、アナリティクスIDについての1つまたは複数のアナリティクス出力およびアナリティクスIDのうちの少なくとも1つに関する訓練設定のトレーシングを起動するための訓練トレーシング起動表示のうちの少なくとも1つを提供するようにさらに構成される。
【0023】
これは、他のエンティティが、不安定なアナリティクスIDおよび/または不安定なアナリティクス出力に適合することを可能にし得る。さらに、これは、例えば、ネットワークアナリティクス訓練エンティティおよびネットワークアナリティクス推論エンティティにおいて、推論および/または訓練設定のトレーシングをそれぞれ開始し得る。
【0024】
第1の態様の一実装形式において、ネットワークアナリティクストレーシングエンティティは、アナリティクスIDについての1つもしくは複数のアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクストレーシング情報を生成し、アナリティクストレーシング情報に基づいて、推論ロールバックアクションおよび/または訓練ロールバックアクションを決定するようにさらに構成され、アナリティクストレーシング情報は、アナリティクスID、アナリティクスIDについての1つまたは複数のアナリティクス出力に対するアナリティクスIDの関連付け、アナリティクスIDについての1つまたは複数のアナリティクス出力およびアナリティクスIDのうちの少なくとも1つに関する、1つまたは複数の品質表示、アナリティクスIDに関する、および/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力に関する推論設定、アナリティクスIDに関する、および/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力に関する訓練設定のうちのいずれかを含む。
【0025】
アナリティクストレーシング情報は、本開示において「アナリティクストレーシングデータ構造」とも称される。アナリティクストレーシング情報は、トレーシングエンティティにおいて、アナリティクスIDおよび/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力に関して利用可能な全ての情報を維持するために使用されることが可能である。それは、それぞれの訓練設定および/または推論設定を維持してもよく、したがって、トレーシングエンティティによる最良のロールバックアクションの選択をサポートする。トレーシングエンティティは、多くのアナリティクスID、およびこれらのアナリティクスIDについてのそれぞれのアナリティクス出力についてのアナリティクストレーシング情報を有し得る。
【0026】
第1の態様の一実装形式において、アナリティクストレーシング情報は、アナリティクスIDに関連付けられた、および/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力に関連付けられた、推論ロールバックアクションのステータス、訓練ロールバックアクションのステータス、1つまたは複数の推論ロールバックアクション、および、1つまたは複数の訓練ロールバックアクションのうちの少なくとも1つをさらに含む。
【0027】
これは、特に、同じアナリティクスIDおよび/またはアナリティクスIDについての少なくとも1つのアナリティクス出力が再度不安定である場合に、トレーシングエンティティによるロールバックアクションの選択をさらにサポートする。
【0028】
第1の態様の一実装形式において、アナリティクストレーシング情報は、タイムスタンプ、ネットワークアナリティクス推論エンティティの識別、ネットワークアナリティクス訓練エンティティの識別、ネットワークアナリティクス消費者エンティティの識別、アナリティクスIDについての1つまたは複数のアナリティクス出力の識別のうちの少なくとも1つに対する、アナリティクスIDおよび/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力の関連付けをさらに含む。
【0029】
これは、トレーシングエンティティの動作、特に、多様なアナリティクスIDおよびアナリティクスIDについてのアナリティクス出力のトレーシング、ならびに不安定性の場合におけるロールバックアクションの選択をさらに容易にする。
【0030】
第1の態様の一実装形式において、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を取得するステップは、ネットワークアナリティクス消費者エンティティ、ネットワークアナリティクス推論エンティティ、およびネットワークアナリティクス訓練エンティティのうちの少なくとも1つから、アナリティクスIDについての1つもしくは複数の出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を含むメッセージを受信することと、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を含む設定を受信することとのうちの1つを含む。
【0031】
すなわち、トレーシングエンティティは、別のエンティティによって、トレーシングを起動するための情報を送られ得、またはトレーシングを起動するために、この情報により設定され得る。
【0032】
第1の態様の一実装形式において、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報は、フラグであって、フラグは、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングをいつ開始するかを定義する、フラグと、アナリティクスIDおよびフラグであって、フラグは、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングをいつ開始するかを定義する、アナリティクスIDおよびフラグのうちの少なくとも1つを含む。
【0033】
したがって、トレーシングは、特定のアナリティクスIDに対して、および/または特定の時刻において、トリガされることができる。
【0034】
本開示の第2の態様は、ネットワークアナリティクス推論エンティティであって、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクションを取得することと、推論ロールバックアクションを実行することとを行うように構成され、推論ロールバックアクションを実行することは、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する推論設定を変更することと、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する新しい推論設定を決定および設定することと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての新しいアナリティクスモデルを選択することと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルを停止することとのうちの少なくとも1つを含む、ネットワークアナリティクス推論エンティティを提供する。
【0035】
第2の態様のネットワークアナリティクス推論エンティティは、アナリティクス推論(例えば、NWDAF推論)を行うように構成されたエンティティである。それによって、それは、1つまたは複数のアナリティクスIDについて、1つまたは複数のアナリティクス出力をそれぞれ出力し得る。
【0036】
推論ロールバックアクションを実行することによって、推論エンティティは、ネットワークを安定したステータスに復活させること、特に、安定したアナリティクスIDおよび/またはアナリティクスIDについての安定したアナリティクス出力が提供されることを確実にすることを助ける。それによって、推論エンティティは、安定したステータスに戻すために、様々なオプションから選択し得る。
【0037】
第2の態様の一実装形式において、推論ロールバックアクションを取得することは、ネットワークアナリティクストレーシングエンティティから、アナリティクスIDに関連するロールバック通知を受信することであって、ロールバック通知は、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクションを含む、受信することと、推論ロールバックアクションにより設定されることと、ネットワークアナリティクストレーシングエンティティから、ロールバック通知を受信することであって、ロールバック通知は、アナリティクスIDについての少なくとも1つのアナリティクス出力および/またはアナリティクスIDを含み、ロールバック通知に基づいて、推論ロールバックアクションを決定することとのうちの1つを含む。
【0038】
すなわち、推論エンティティが、実行するべき推論ロールバックアクションをどのように認識するかについて様々な可能性がある。第1の態様のトレーシングエンティティは、推論ロールバックアクションにより推論エンティティを構成し得る。
【0039】
第2の態様の一実装形式において、ネットワークアナリティクス推論エンティティは、取得されたまたは実行された推論ロールバックアクションに基づいて、ネットワークアナリティクス消費者エンティティ、ネットワークアナリティクス訓練エンティティ、または別のネットワークアナリティクス推論エンティティに対して、アナリティクスIDについての少なくとも1つのアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという通知、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという確認、アナリティクスIDについての1つまたは複数のアナリティクス出力が安定していること、およびアナリティクスIDが安定していることのうちの少なくとも1つを示すアナリティクスステータス通知のうちの少なくとも1つを提供するようにさらに構成される。
【0040】
このようにして、その他の1つまたは複数のエンティティは、認識しまたは安定したおよび/または不安定なアナリティクスIDおよびアナリティクスIDについてのアナリティクス出力であり得、それらの挙動またはアナリティクス出力の使用を適切に適合させ得る。
【0041】
第2の態様の一実装形式において、ネットワークアナリティクス推論エンティティは、アナリティクスIDについての1つまたは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を、ネットワークアナリティクストレーシングエンティティに対して提供するようにさらに構成される。
【0042】
したがって、推論エンティティは、ネットワークアナリティクストレーシングエンティティをトリガするエンティティとなり得る。推論エンティティは、トレースされるべきアナリティクスIDおよび/またはこれらのアナリティクスIDについてのアナリティクス出力を選択し得る。推論エンティティがこれを行い得るのは、例えば、不安定なアナリティクスIDまたはアナリティクス出力があるのではないかとそれが疑う場合、例えば、推論結果が予想通りでない場合である。
【0043】
第2の態様の一実装形式において、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての新しいアナリティクスモデルを選択することは、不安定なアナリティクスIDに関連する、および/またはアナリティクスIDについての少なくとも1つの不安定なアナリティクス出力に関連する選択表示を、ネットワークアナリティクス訓練エンティティに対して提供することを含み、選択表示は、アナリティクスIDについての少なくとも1つのアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという通知と、新しいアナリティクスモデルを選択するためのリクエストであって、リクエストは、新しいアナリティクスモデルを選択するための理由を含む、リクエストと、新しいアナリティクスモデルを生成するためにアナリティクスモデルを再訓練するためのリクエストであって、リクエストは、アナリティクスモデルを再訓練するための理由を含む、リクエストとのうちの少なくとも1つを含む。
【0044】
新しいアナリティクスモデルにより、アナリティクスIDおよび/またはアナリティクスIDについてのアナリティクス出力の安定性が回復され得る。
【0045】
第2の態様の一実装形式において、ネットワークアナリティクス推論エンティティは、ネットワークアナリティクス消費者エンティティから、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての以前に一時停止されたサブスクリプションを再起動するための表示を受信するようにさらに構成される。
【0046】
これは、例えば、不安定であると識別されたアナリティクスIDおよび/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力が、安定したステータス(例えば、最後の安定したバージョン)へロールバックされている場合に、当てはまり得る。
【0047】
第2の態様の一実装形式において、ネットワークアナリティクス推論エンティティは、ネットワークアナリティクストレーシングエンティティに対してロールバックステータス通知を提供するようにさらに構成され、ロールバックステータス通知は、ネットワークアナリティクス推論エンティティによって実行される推論ロールバックアクションのステータスを含む。
【0048】
したがって、トレーシングエンティティは、推論ロールバックアクションのステータスを認識し得、これを上記に説明されたように考慮に入れ得る。
【0049】
第2の態様の一実装形式において、ネットワークアナリティクス推論エンティティは、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を取得することと、トレーシングを起動するための情報を有する表示に基づいて、アナリティクスIDに関する、および/またはアナリティクスIDについての少なくとも1つのアナリティクス出力に関する推論設定を生成することとを行うようにさらに構成される。
【0050】
第2の態様の一実装形式において、ネットワークアナリティクス推論エンティティは、ネットワークアナリティクストレーシングエンティティに対して、アナリティクスIDに関する、および/またはアナリティクスIDについての少なくとも1つのアナリティクス出力に関する推論設定を提供するようにさらに構成される。
【0051】
推論設定がトレーシングエンティティに対して提供され得るので、それは、アナリティクスIDおよび/またはアナリティクスIDについてのアナリティクス出力の不安定性に対処するための推論ロールバックアクションの選択を容易にし得る。
【0052】
本開示の第3の態様は、ネットワークアナリティクス訓練エンティティであって、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクションを取得することと、訓練ロールバックアクションを実行することとを行うように構成され、訓練ロールバックアクションを実行することは、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する訓練設定を変更することと、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する新しい訓練設定を選択および設定することと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルの再訓練または再選択を行うことと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルを停止することとのうちの少なくとも1つを含む、ネットワークアナリティクス訓練エンティティを提供する。
【0053】
第3の態様のネットワークアナリティクス訓練エンティティは、アナリティクス訓練(例えば、NWDAF訓練)を行うように構成されたエンティティである。それによって、それは、1つまたは複数のアナリティクスモデルを訓練し得、それらは、ネットワークアナリティクス推論エンティティによって、アナリティクス出力を提供するために使用され得る。ネットワークアナリティクス訓練エンティティとネットワークアナリティクス推論エンティティとは、1つのエンティティ(例えば、NWDAF)へと組み合わされ得る。
【0054】
訓練ロールバックアクションを実行することによって、訓練エンティティは、ネットワークを安定したステータスに復活させること、特に、安定したアナリティクスIDおよび/またはアナリティクスIDについての安定したアナリティクス出力が提供されることを確実にすることを助ける。それによって、訓練エンティティは、安定したステータスに戻すために、様々なオプションから選択し得る。
【0055】
第3の態様の一実装形式において、訓練ロールバックアクションを取得することは、ネットワークアナリティクストレーシングエンティティから、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのロールバック通知を受信することであって、ロールバック通知は、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクションを含む、受信することと、訓練ロールバックアクションにより設定されることとのうちの1つを含む。
【0056】
すなわち、訓練エンティティが、実行するべき訓練ロールバックアクションをどのように認識するかについて様々な可能性がある。第1の態様のトレーシングエンティティは、訓練ロールバックアクションにより訓練エンティティを構成し得る。
【0057】
第3の態様の一実装形式において、ネットワークアナリティクストレーシングエンティティは、取得されたまたは実行された訓練ロールバックアクションに基づいて、ネットワークアナリティクス消費者エンティティ、ネットワークアナリティクス推論エンティティ、または別のネットワークアナリティクス訓練エンティティに対して、アナリティクスIDについての少なくとも1つのアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという通知と、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという確認と、アナリティクスIDについての1つもしくは複数のアナリティクス出力が安定していること、および/またはアナリティクスIDが安定していることのうちの少なくとも1つを示すアナリティクスステータス通知と、訓練ロールバックアクションに関する情報と、アナリティクスモデルの再訓練、または再選択、または停止についての理由の表示とのうちの少なくとも1つを提供するようにさらに構成される。
【0058】
このようにして、その他の1つまたは複数のエンティティは、認識し得または安定したおよび/または不安定なアナリティクスIDおよびアナリティクスIDについてのアナリティクス出力になり得、それらの挙動またはアナリティクス出力の使用を適切に適合させ得る。
【0059】
第3の態様の一実装形式において、ネットワークアナリティクス訓練エンティティは、ネットワークアナリティクス推論エンティティまたは別のネットワークアナリティクス訓練エンティティから、アナリティクスモデルの再訓練または再選択についての理由の表示を取得するようにさらに構成され、理由の表示は、アナリティクスIDについての少なくとも1つのアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという通知と、新しいアナリティクスモデルを選択するためのリクエストと、新しいアナリティクスモデルを生成するためにアナリティクスモデルを再訓練するためのリクエストとのうちの少なくとも1つを含む。
【0060】
新しいアナリティクスモデルにより、アナリティクスIDおよび/またはアナリティクスIDについてのアナリティクス出力の安定性が回復され得る。
【0061】
第3の態様の一実装形式において、ネットワークアナリティクス訓練エンティティは、理由の取得された表示に基づいて、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDに関するアナリティクスモデルに関する訓練設定を決定するようにさらに構成される。
【0062】
第3の態様の一実装形式において、ネットワークアナリティクス推論エンティティまたは別のネットワークアナリティクス訓練エンティティに対して、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を提供するようにさらに構成される。
【0063】
第3の態様の一実装形式において、ネットワークアナリティクス訓練エンティティは、ネットワークアナリティクストレーシングエンティティに対してロールバックステータス通知を提供するようにさらに構成され、ロールバックステータス通知は、ネットワークアナリティクス推論エンティティによって実行される訓練ロールバックアクションのステータスを含む。
【0064】
したがって、トレーシングエンティティは、訓練ロールバックアクションのステータスを認識し得、これを上記に説明されたように考慮に入れ得る。
【0065】
第3の態様の一実装形式において、ネットワークアナリティクス訓練エンティティは、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を取得することと、トレーシングを起動するための情報を有する表示に基づいて、アナリティクスIDについての1つもしくは複数のアナリティクス出力に関する、および/またはアナリティクスIDについての訓練設定を生成することとをさらに行うように構成される。
【0066】
第3の態様の一実装形式において、ネットワークアナリティクス訓練エンティティは、ネットワークアナリティクストレーシングエンティティに対して、アナリティクスIDについての1つもしくは複数のアナリティクス出力に関する、および/またはアナリティクスIDについての訓練設定を提供するようにさらに構成される。
【0067】
訓練設定がトレーシングエンティティに対して提供され得るので、訓練設定は、アナリティクスIDおよび/またはアナリティクスIDについてのアナリティクス出力の不安定性に対処するための推論ロールバックアクションの選択を容易にし得る。
【0068】
本開示の第4の態様は、ネットワークアナリティクストレーシングエンティティまたはネットワークアナリティクス推論エンティティに対して、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を提供するように構成されたネットワークデータアナリティクス消費者エンティティを提供する。
【0069】
したがって、消費者エンティティ(例えば、NWDAF消費者)は、アナリティクスIDおよび/またはアナリティクスIDについてのアナリティクス出力のトレーシングをトリガし得、したがって、不安定性の場合におけるロールバックをサポートし得る。
【0070】
第4の態様の一実装形式において、ネットワークデータアナリティクス消費者エンティティは、アナリティクスIDについての1つもしくは複数のアナリティクス出力についての、および/またはアナリティクスIDについての以前に一時停止されたサブスクリプションを再起動するための表示を提供するようにさらに構成される。
【0071】
例えば、以前に不安定なアナリティクスIDまたはアナリティクスIDについての出力が再度安定している場合である。
【0072】
第4の態様の一実装形式において、ネットワークアナリティクス消費者エンティティは、ネットワークアナリティクストレーシングエンティティまたはネットワークアナリティクス推論エンティティから、アナリティクスIDについての少なくとも1つのアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという通知と、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力が不安定であるという確認と、アナリティクスIDについての1つもしくは複数のアナリティクス出力が安定していること、および/またはアナリティクスIDが安定していることのうちの少なくとも1つを示すアナリティクスステータス通知とのうちの少なくとも1つを取得するようにさらに構成される。
【0073】
したがって、ネットワークアナリティクス消費者エンティティは、その挙動を、特に、アナリティクスIDおよび/またはアナリティクスIDについてのアナリティクス出力のその使用を、適切に適合させ得る。例えば、それは、1つもしくは複数の不安定なアナリティクスIDおよび/または1つもしくは複数のアナリティクスIDについての1つもしくは複数の不安定なアナリティクス出力の消費および/またはサブスクリプションを一時停止させ得る。
【0074】
第4の態様の一実装形式において、ネットワークアナリティクス消費者エンティティは、ネットワークアナリティクストレーシングエンティティに対して、アナリティクスIDの1つもしくは複数のアナリティクス出力のうちの少なくとも1つに関する、および/またはアナリティクスIDに関する、1つまたは複数の品質表示を提供するようにさらに構成される。
【0075】
これは、トレーシングエンティティが、1つもしくは複数のアナリティクスIDおよび/または1つもしくは複数のアナリティクスIDについての1つもしくは複数のアナリティクス出力が不安定であるかどうかを決定することを可能にし得る。
【0076】
本開示の第5の態様は、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/もしくはアナリティクスIDのトレーシングを起動するための設定を行うこと、ならびに/または、アナリティクスIDについてのアナリティクストレーシング情報を設定すること、ならびに/または、アナリティクスIDについての1つもしくは複数のアナリティクス出力に関する、および/またはアナリティクスIDに関する、1つもしくは複数の品質表示についてのデータの収集を起動するための設定を行うことを行うように構成されたネットワークアナリティクス管理エンティティを提供する。
【0077】
したがって、ネットワークアナリティクス管理エンティティは、トレーシングエンティティをそのトレーシングにおいてサポートし得、したがって、ネットワークにおけるアナリティクス出力の安定性をサポートし得る。
【0078】
本開示の第6の態様は、ネットワークアナリティクストレーシングエンティティのための方法であって、方法は、アナリティクス識別子(ID)についての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を取得するステップと、アナリティクスIDについての少なくとも1つの出力が不安定である場合、および/またはアナリティクスIDが不安定である場合、アナリティクスIDに関連するロールバック通知を提供するステップとを含み、ロールバック通知は、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスIDであって、ロールバック通知は、ネットワークアナリティクス消費者エンティティ、ネットワークアナリティクス推論エンティティ、またはネットワークアナリティクス訓練エンティティに対して提供される、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスIDと、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクションであって、ロールバック通知は、ネットワークアナリティクス推論エンティティに対して提供される、推論ロールバックアクションと、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクションであって、ロールバック通知は、ネットワークアナリティクス訓練エンティティに対して提供される、訓練ロールバックアクションとのうちの1つまたは複数を含む、方法を提供する。
【0079】
第6の態様の方法は、第1の態様のトレーシングエンティティに対応しており、第1の態様の実装形式に対応する実装形式を有し得る。したがって、第6の態様の方法およびその実装形式は、第1の態様のトレーシングエンティティおよびその実装形式について上記に説明された利点と同じ利点を達成し得る。
【0080】
本開示の第7の態様は、ネットワークアナリティクス推論エンティティのための方法であって、方法は、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクションを取得するステップと、推論ロールバックアクションを実行するステップとを含み、推論ロールバックアクションを実行するステップは、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する推論設定を変更することと、アナリティクスIDについての少なくとも1つの出力に関する、および/またはアナリティクスIDに関する新しい推論設定を決定および設定することと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての新しいアナリティクスモデルを選択することと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルを停止することとのうちの少なくとも1つを含む、方法を提供する。
【0081】
第7の態様の方法は、第2の態様の推論エンティティに対応しており、第2の態様の実装形式に対応する実装形式を有し得る。したがって、第7の態様の方法およびその実装形式は、第2の態様の推論エンティティおよびその実装形式について上記に説明された利点と同じ利点を達成し得る。
【0082】
本開示の第8の態様は、ネットワークアナリティクス訓練エンティティのための方法であって、方法は、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクションを取得するステップと、訓練ロールバックアクションを実行するステップとを含み、訓練ロールバックアクションを実行するステップは、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する訓練設定を変更することと、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する新しい訓練設定を選択および設定することと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルの再訓練または再選択を行うことと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルを停止することとのうちの少なくとも1つを含む、方法を提供する。
【0083】
第8の態様の方法は、第3の態様の訓練エンティティに対応し、第3の態様の実装形式に対応する実装形式を有し得る。したがって、第8の態様の方法およびその実装形式は、第3の態様の訓練エンティティおよびその実装形式について上記に説明された利点と同じ利点を達成し得る。
【0084】
本開示の第9の態様は、ネットワークデータアナリティクス消費者エンティティのための方法であって、方法は、ネットワークアナリティクストレーシングエンティティまたはネットワークアナリティクス推論エンティティに対して、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を提供するステップを含む、方法を提供する。
【0085】
第9の態様の方法は、第4の態様の消費者エンティティに対応しており、第4の態様の実装形式に対応する実装形式を有し得る。したがって、第9の態様の方法およびその実装形式は、第4の態様の消費者エンティティおよびその実装形式について上記に説明された利点と同じ利点を達成し得る。
【0086】
本開示の第10の態様は、ネットワークアナリティクス管理エンティティのための方法であって、方法は、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/もしくはアナリティクスIDのトレーシングを起動するための設定を行うステップ、ならびに/または、アナリティクスIDについてのアナリティクストレーシング情報を設定するステップ、ならびに/または、アナリティクスIDについての1つもしくは複数のアナリティクス出力に関する、および/もしくはアナリティクスIDに関する、1つもしくは複数の品質表示についてのデータの収集を起動するための設定を行うステップを含む、方法を提供する。
【0087】
第10の態様の方法は、第5の態様の管理エンティティに対応しており、第5の態様の実装形式に対応する実装形式を有し得る。したがって、第10の態様の方法およびその実装形式は、第10の態様の管理エンティティおよびその実装形式について上記に説明された利点と同じ利点を達成し得る。
【0088】
本開示の第11の態様は、コンピュータプログラムであって、コンピュータまたはプロセッサ上で実行された場合に、第6の態様、第7の態様、第8の態様、第9の態様もしくは第10の態様、または、これらの実装形式のうちのいずれかによる方法を行うためのプログラムコードを備える、コンピュータプログラムを提供する。
【0089】
本開示の第12の態様は、実行可能なプログラムコードを記憶する非一時的な記憶媒体であって、実行可能なプログラムコードは、プロセッサによって実行された場合、第6の態様、第7の態様、第8の態様、第9の態様もしくは第10の態様、または、これらの実装形式のうちのいずれかによる方法を行わせる、非一時的な記憶媒体を提供する。
【0090】
本開示において説明される全てのエンティティ、要素、ユニットおよび手段は、ソフトウェア要素もしくはハードウェア要素、または、これらの任意の種類の組み合わせにおいて実装され得ることが留意されなければならない。本出願において説明される多様なエンティティによって行われるあらゆるステップ、および多様なエンティティによって行われるべきものとして説明される機能性は、それぞれのエンティティがそれぞれのステップおよび機能性を行うように適合または構成されることを意味するように意図されている。特定の実施形態の下記の説明において、外部エンティティによって行われるべき特定の機能性またはステップが、その特定のステップまたは機能性を行うそのエンティティの具体的な詳細な要素の説明において反映されていない場合であっても、これらの方法および機能性が、それぞれのソフトウェア要素もしくはハードウェア要素、または、これらの任意の種類の組み合わせにおいて実装されることが可能であることは当業者にとって明らかなはずである。
【図面の簡単な説明】
【0091】
上記に説明される態様および実装形式は、添付の図面に関連して、特定の実施形態の下記の説明において解説されることになる。
図1】セッション管理(SM)についてのアナリティクスID消費の例を示す図である。
図2】アナリティクスIDを使用するNF決定の影響に起因する、不安定なネットワークステータスの例を示す図である。
図3】本開示の実施形態による多様なエンティティを例示する図である。
図4】本開示の実施形態によるエンティティによって行われる手順の段階1および4を示す図である。
図5】本開示の実施形態によるエンティティによって行われる、図4の手順の段階2、3および5を示す図である。
図6】本開示の実施形態によるエンティティの第1の代替的実装を示す図である。
図7】本開示の実施形態によるエンティティの第2の代替的実装を示す図である。
図8】ネットワークアナリティクストレーシングエンティティについての本開示の一実施形態による方法を示す図である。
図9】ネットワークアナリティクス推論エンティティについての本開示の一実施形態による方法を示す図である。
図10】ネットワークアナリティクス訓練エンティティについての本開示の一実施形態による方法を示す図である。
図11】ネットワークアナリティクス消費者エンティティについての本開示の一実施形態による方法を示す図である。
図12】ネットワークアナリティクス管理エンティティについての本開示の一実施形態による方法を示す図である。
【発明を実施するための形態】
【0092】
定義
本開示のこのセクションにおいて、本開示の概要部分および実施形態の詳細な説明部分において使用される多様な用語が、解説および/または定義される。解説および/または定義は、本開示の全体にわたって有効である。
【0093】
不安定なアナリティクスID:不安定なネットワークステータスに関連付けられるアナリティクスID(例えば、アナリティクスタイプ)の1つもしくは複数のアナリティクス出力および/またはアナリティクスID。不安定なアナリティクスIDという用語の同義語は、不安定なアナリティクス出力、非効率的なアナリティクス出力(またはID、またはタイプ)、信頼性の低いアナリティクス出力(またはID、またはタイプ)、低精度のアナリティクス出力(またはID、またはタイプ)を含む。不安定なアナリティクスIDとみなされるアナリティクスIDの1つもしくは複数のアナリティクス出力および/またはアナリティクスIDは、低いネットワークパフォーマンスの表示に関連付けられる。これらの表示の例は、NF消費者からのフィードバック(NFフィードバック)、アナリティクスIDグレード、定義された/構成された/予想される閾値から逸脱するアナリティクスIDグレードに関する通知である。
【0094】
安定したアナリティクスID:安定したネットワークステータスをもたらす(例えば、安定したネットワークステータスに関連する、または関連付けられる)アナリティクスIDの1つもしくは複数のアナリティクス出力(例えば、アナリティクスタイプ)および/またはアナリティクスID。安定したアナリティクスIDという用語の同義語は、安定したアナリティクス出力、効率的なアナリティクス出力(またはID、またはタイプ)、信頼できるアナリティクス出力(またはID、またはタイプ)、高精度のアナリティクス出力(またはID、またはタイプ)である。
【0095】
ネットワークステータス:ネットワークパフォーマンスを定量化する1つまたは複数の情報である。ネットワークステータスを表すために使用されることが可能な情報の例は、ネットワークに関連付けられるKPIおよび/またはメトリックである。
【0096】
安定したネットワークステータス:ネットワークに関連するKPIおよび/またはメトリックが、予想される使用のパターン内に保たれる(または改善される)ネットワークステータスを定義する。
【0097】
不安定なネットワークステータス:ネットワークの全体的なパフォーマンスに関連するKPIおよび/またはメトリックが、予想されるパターンに留まるネットワークステータスを定義するが、特定の状況を示す特定のKPIおよび/またはメトリックが、予想されるパターンから外れており、または予想されるパターンから減少する。全体的なパフォーマンスメトリックの例は、受け入れられたPDUセッションの総数、平均リンクスループット、スライス当たりのUE登録の総数である。具体的な特定のKPIまたはメトリックの例は、アプリケーションのタイプ当たりの拒否されたセッションの数、UEのグループ当たりのリンク使用率である。ネットワークの全体的なパフォーマンスに関連するKPIまたはメトリックは、一般に、OAM、管理エンティティから取得されることが可能なパフォーマンス情報に関連することができる。一方で、特定のKPIおよび/またはメトリックは、一般に、制御プレーンエンティティ(例えば、セッション管理機能(SMF)、ポリシー制御機能(PCF)、アクセスおよびモビリティ管理機能(AMF))から取得されることが可能なパフォーマンス情報に関連することができる。
【0098】
不安定なアナリティクスIDに関する情報:1つまたは複数のデータおよび/もしくはパラメータおよび/もしくはプロパティ、ならびに/または、このセットが不安定なアナリティクスIDに関連付けられる推論および/または訓練におけるアナリティクスIDの構成(例えば、アナリティクスタイプ、アナリティクス出力)を定義する。
【0099】
不安定なアナリティクスIDをどのように修復するかに関する情報:データおよび/もしくはパラメータおよび/もしくはプロパティのセット、ならびに/または、モバイルシステムにおいて最後に知られていた安定したネットワーク状態に関連付けられた推論および/または訓練におけるアナリティクスIDの構成(例えば、アナリティクスタイプ、アナリティクス出力)を定義する。
【0100】
アナリティクスIDのトレーシング:アナリティクスIDを、アナリティクス出力、モバイルネットワークにおけるアナリティクス(IDおよび/もしくは出力)の使用の品質の表示、ならびに/または、そのようなアナリティクスIDについての推論および/または訓練における構成に関連付けるために実行されるプロセスを表す。言いかえれば、所与のアナリティクスIDについてアナリティクストレーシングデータ構造(ATDS)を作成し、そのようなアナリティクスIDについてのATDS記録を経時的に作成するためのプロセスである。
【0101】
アナリティクスIDトレーシング起動についての表示:アナリティクスIDトレーシング起動を含有するメッセージ。
【0102】
アナリティクスIDトレーシング起動:アナリティクスIDのトレーシングが開始される必要があることを示す、1つまたは複数のパラメータまたは情報。これらのパラメータの例は、フラグ(例えば、トレーシングフラグまたはロールバックフラグ)、アナリティクスIDおよびフラグを有するタプルである。
【0103】
推論トレーシング起動の表示:アナリティクス(IDおよび/または出力が開始される必要があるについての推論設定のトレーシングを表す、1つまたは複数のパラメータまたは情報。例えば、この1つまたは複数のパラメータは、推論NFに対して、それが、示されたアナリティクスについてアナリティクス情報設定情報(AICI)を作成し、そのような情報をネットワークアナリティクストレーシングエンティティに提供する必要があることを示す。
【0104】
訓練トレーシング起動の表示:アナリティクス(IDおよび/または出力が開始される必要があるについての訓練設定のトレーシングを表す、1つまたは複数のパラメータまたは情報。例えば、この1つまたは複数のパラメータは、訓練NFに対して、それが、示されたアナリティクスについてのATCI情報を作成し、そのような情報をアナリティクストレーシングエンティティに提供する必要があることを示す。
【0105】
アナリティクスIDトレーシング起動の設定:アナリティクスIDのトレーシングが開始される必要があると定義する管理エンティティ(例えば、運用、管理および保守(OAM))によって提供される、1つまたは複数の情報。
【0106】
アナリティクス出力:アナリティクスIDまたはタイプの生成された、計算された、予測されたインスタンスの結果を表す、1つまたは複数の情報。異なるアナリティクスIDは、アナリティクス出力を表す情報の異なるセットを有する。例えば、3GPP TS 23.288リリース17において定義されているような「観察されるサービス体験情報」などのアナリティクスIDは、そのようなアナリティクスIDについての出力が、以下の情報、すなわち、S-NSSAI、スライスインスタンスサービス体験(0...最大)のセットであることを定義し、S-NSSAIに関連するNSI IDの各々について、他の情報、例えば、NSI ID、スライスインスタンスサービス体験(0...最大)、SUPIリスト、(0..SUPImax)、同様のサービス体験を有するUEの推定される割合等などがある。
【0107】
アナリティクスIDまたはアナリティクスタイプ:推論NF(例えば、NWDAF)によって生成されることが可能なアナリティクスのタイプである。例えば、観察されるサービス体験情報、スライス負荷レベル情報、ネットワークパフォーマンス情報等。
【0108】
ATDS記録:アナリティクストレーシングデータ構造(ATDS)記録は、所与のアナリティクス(例えば、アナリティクスIDまたはアナリティクスタイプまたはアナリティクス出力)を使用する場合の所要の時点におけるネットワーク状態を定義する。ATDS記録は、1つもしくは複数のアナリティクス出力識別および/または1つもしくは複数のアナリティクス出力、モバイルネットワークにおけるアナリティクス(IDおよび/または出力)の使用の品質の表示(例えば、アナリティクス出力インスタンスまたはネットワーク機能(NF)フィードバックについてのアナリティクスIDグレード情報(AidGI)または不安定なアナリティクスID情報(UAiDI))、ならびに、アナリティクス出力またはアナリティクスIDについての推論および/または訓練設定情報(例えば、AICIおよび/またはATCI)のうちの少なくとも1つに対するアナリティクスIDの所与の時点におけるマッピングを示すタプルであり得る。任意選択で、ATDS記録は、ロールバックステータスおよびアナリティクスロールバックアクションも含むことができる。
【0109】
最後に知られていた安定したネットワーク状態:アナリティクス(IDおよび/または出力)についての最も適当なアナリティクス推論設定情報(AICI)および/またはアナリティクス訓練設定情報(ATCI)を有する、所与のアナリティクス(例えば、アナリティクスIDまたはアナリティクスタイプまたはアナリティクス出力)を使用する場合の所与の時点におけるネットワーク状態(例えば、ATDS記録)。
【0110】
アナリティクスロールバックアクション:アナリティクス(例えば、アナリティクス出力またはアナリティクスID、またはアナリティクスタイプ)に関連付けられた設定を変更するため、戻すため、再設定するために取られることが可能である可能なアクションを定義する、1つまたは複数の情報。この情報の例、および、それらがどのようにアクションを表すかが、以下のように説明される。
・情報の1つのセットは、アナリティクス(IDおよび/または出力)に関連付けられた、古い/現在の設定、パラメータ、プロパティに関連し、情報の第2のセットは、アナリティクス(IDおよび/または出力)に関連付けられた、新しい可能な設定、パラメータ、プロパティに関連する。この情報の2つのセットは、古い情報を新しい情報に置換するアクションが実行されるべきであることを定義する。
・アナリティクス(IDおよび/または出力)に関連付けられた、新しい設定、パラメータ、およびプロパティに関連する情報の1つのセットのみ。これは、アナリティクス(IDおよび/または出力)に関連する既存の情報を置換するために新しい情報が使用されるべきであることを示す。
・古い/現在の設定に関連する情報の1つのセットのみ。これは、アナリティクスのロールバックまたは再設定または修復のための特定のアクションが識別されなかったことを示す。
【0111】
ロールバックステータス通知:アナリティクスロールバックアクションを行う結果を説明する、1つまたは複数の情報。アクションの結果を説明する情報のセットの例は、以下である。
・成功したロールバック、任意選択で、推論ロールバック通知もしくは訓練ロールバック通知に含まれるアクションおよび/もしくは設定が実装された(例えば、設定を変更するために使用された)かどうかを示し、または、推論ロールバック通知もしくは訓練ロールバック通知に含まれているとは異なるアクションおよび/もしくは設定が使用された場合、任意選択で、異なるアクションおよび/もしくは設定が使用されたことを示す。
・失敗したロールバック、任意選択で、推論ロールバック通知または訓練ロールバック通知に含まれるアクションおよび/または設定の表示が、実装されていない(例えば、提案された設定が使用されることができなかった)かどうかを示す。
・ロールバックなし、これは、アナリティクストレーシングエンティティによって、1つまたは複数の提案されたアナリティクスロールバックアクションが使用されなかったことを示す。
【0112】
アナリティクスステータス通知:アナリティクス(IDおよび/またはアナリティクス出力)を定義する情報は、安定したアナリティクスIDとみなされ、これは、アナリティクスに関して問題がないこと、またはアナリティクスがもはや安定したアナリティクスIDとはみなされないことを意味し、このことは、アナリティクスに関して問題があることを意味する。
【0113】
アナリティクスの使用の品質の表示:アナリティクスID(もしくはアナリティクスタイプ)および/またはアナリティクス出力の品質を、そのようなアナリティクス(アナリティクスIDまたはアナリティクスタイプ、またはアナリティクス出力)のネットワークとの関係において定義する情報。
【0114】
アナリティクスIDパフォーマンス情報(API):任意選択で、そのようなアナリティクスの特定の消費者(例えば、アナリティクス消費者)についての、監視されるべき、かつ、消費されるアナリティクス(IDおよび/またはアナリティクス出力)に関連付けられるべきKPI、メトリックを含む情報。APIは、AidGI計算のための入力としての役割を果たし、ネットワークステータスの変化におけるアナリティクスID消費の効果の識別をサポートする。
【0115】
アナリティクスIDグレード情報(AidGI):アナリティクスIDの消費の後の、ネットワークステータスにおける変化に対する消費されたアナリティクス(IDおよび/または出力の効果を、例えばグレードのフォーマットで定量化する、1つまたは複数の情報。AidGIを含む情報のセットの例は、以下のうちのいずれかである。
・AidGIの識別
・アナリティクスIDタイプの識別:グレードが計算されなければならないタイプアナリティクスID
・アナリティクスID出力の識別(のリスト)グレード計算のための時間間隔において消費されたアナリティクスIDについての1つまたは複数のアナリティクス出力情報の識別
・グレード値:消費されるアナリティクスIDについて監視されたAPIが、ネットワークステータスの予想されるパターンからどのように分岐するかを表す単一の値。例えば、
■グレード値は、1から-1の間の実数とすることができ、ただし、
- 0は、アナリティクスIDの消費が、予想されるネットワークステータスパターンにおいて有意な効果がなかったことを示す
- 1は、アナリティクスIDの消費が、予想されるネットワークステータスパターンにおいて有意なプラスの効果があった(例えば、KPIのパターンを改善した)ことを示す
- -1は、アナリティクスIDの消費が、予想されるネットワークステータスパターンにおいて有意なマイナスの効果を有した(例えば、KPIのパターンを劣化させた)ことを示す
不安定なアナリティクスID情報(UAidI):不安定なネットワークステータスをもたらすものとしてアナリティクスが識別されたことを表す閾値を、消費されるアナリティクス(IDおよび/または出力)に関連付けられたグレードが交差し、逸脱することを識別する、1つまたは複数の情報。UAidIを含む情報の例は、以下のうちのいずれかである。
・UAidIの識別
・アナリティクスIDタイプの識別:グレードが計算されなければならないタイプアナリティクスID
・アナリティクスID出力の識別(のリスト):グレード計算のための時間間隔において消費されたアナリティクスIDについての1つまたは複数のアナリティクス出力情報の識別
・計算されたグレード
・閾値からのグレード値逸脱
NFフィードバック:アナリティクス(IDおよび/または出力)の消費を、そのようなアナリティクスの消費者の観点において認定する情報。NFフィードバック情報の例は、以下のうちのいずれかとすることができる。
・NFフィードバックは、アナリティクスIDグレード情報(AidGI)と等価な情報のセットとすることができ、ただし、NF(例えば、アナリティクス消費者)は、その内部情報に基づいて、消費されるアナリティクス(IDおよび/または出力)についてのグレードを定義する。
・NFフィードバックは、不安定なアナリティクスID情報(UAidI)と等価な情報のセットとすることができ、ただし、NF(例えば、アナリティクス消費者)は、その内部情報に基づいて、消費されるアナリティクス(IDおよび/または出力)についてのグレードを識別し、閾値が交差されることは、アナリティクスに関する問題を示す。
・NFフィードバックは、アナリティクス(IDおよび/または出力)に関する情報と、アナリティクスに関する問題を示すフラグとを有するタプルとすることができる。
【0116】
アナリティクストレーシングデータ構造(ATDS):アナリティクス(例えば、アナリティクスID、アナリティクスタイプ、アナリティクス出力)についての1つまたは複数のネットワーク状態。ATDSは、アナリティクスIDと、アナリティクス出力、モバイルネットワークにおけるアナリティクスの使用の品質の表示、ならびに、アナリティクスについての推論および/または訓練における設定(これは、アナリティクス出力またはアナリティクスIDまたはアナリティクスタイプを意味することができる)、ならびに、任意選択で、アナリティクスロールバックアクションおよび/またはロールバックステータスとの関連付けを有するADTS記録の履歴のセットである。このデータ構造により、アナリティクスID、このアナリティクスIDのアナリティクス出力の異なる関連付け、アナリティクスIDグレード値(AidGI)および/またはUAidI警告および/またはNFフィードバック、アナリティクス出力またはアナリティクスIDについての推論設定および/または訓練設定の情報(例えば、AICIおよび/またはATCI)、ならびに、任意選択で、アナリティクスロールバックが行われており、ATDS記録に関連付けられている場合には、ロールバックステータスを経時的にトレースすることが可能である。アナリティクスIDグレード値(AidGI)および/またはUAidI警告は、モバイルネットワークにおけるアナリティクスID使用の品質の表示の例である。
【0117】
アナリティクスID推論設定情報(AICI):アナリティクス(IDおよび/または出力)を生成するために推論NFによって使用された設定および/またはパラメータ化に関連する1つまたは複数の情報。AICIは、下記に列挙された情報の例のうちのいずれかを含む。
・設定は、アナリティクスを生成するためのデータ収集の間隔、アナリティクス生成のための収集されたデータの前処理が適用されたかどうか、アナリティクスを生成するための収集されたデータのタイプ、コアネットワークエンティティに対するアクセスネットワークプロパティ(TA、セル、無線タイプ、無線周波数など)のマッピング(例えば、TAをAMFに関連付ける)またはプロパティ(例えば、TAごとの制限されたもしくは無制限のS-NSSAI)、地理的な集約レベル(例えば、UEごと、AoIごと)、時間的な集約(すなわち、分ごと、時間ごと)である。
・パラメータ化は、アナリティクスの生成のための(3GPP TS 23.288リリース17において定義されているような)アナリティクスフィルタ情報およびアナリティクス報告情報に関連し、または、アナリティクスの生成のためにデータを収集する場合、データ仕様またはフォーマットおよび処理(3GPP TS 23.288リリース17において定義されているような)定義に関連する
アナリティクスID訓練設定情報(ATCI):所与の時点におけるアナリティクス(IDおよび/または)出力)に対して使用された機械学習(ML)モデルまたは単純にモデル(例えば、最適化モデル)についての設定および/またはパラメータ化に関連する1つまたは複数の情報。ATCIは、下記に列挙される情報の例のうちのいずれかを含む。
・設定は、アナリティクスのためにMLモデルまたはモデルを訓練するためのデータ収集の間隔、アナリティクス訓練のための収集されたデータの前処理が適用されたかどうか、アナリティクスを訓練するための収集されたデータのタイプ、コアネットワークエンティティに対するアクセスネットワークプロパティ(TA、セル、無線タイプ、無線周波数など)のマッピング(例えば、TAをAMFに関連付ける)またはプロパティ(例えば、TAごとの制限されたもしくは無制限のS-NSSAI)、地理的な集約レベル(例えば、UEごと、AoIごと)、時間的な集約(すなわち、分ごと、時間ごと)である。
・訓練またはモデル化されるべきリクエストされたアナリティクスIDに関連するパラメータ化:アナリティクスについて(3GPP TS 23.288リリース17において定義されているような)アナリティクスフィルタ情報およびアナリティクス報告情報、または、アナリティクス訓練もしくは統計計算のためにデータを収集する場合には、データ仕様またはフォーマットおよび処理(3GPP TS 23.288リリース17において定義されているような)定義に関連する。
・MLモデルまたはモデルに関連するパラメータ化:アルゴリズムのタイプ、勾配、重み、モデルに関するアーキテクチャ情報(例えば、ニューラルネットワーク、層の数、層ごとのニューロンの量)、起動機能のタイプ、損失関数のタイプ、訓練のために使用されるエポックの数、モデル検証(例えば5回交差検証)の設定、様々なフェーズ(訓練、検証試験)についてのデータの量の分布、全てのフェーズの訓練、検証、および試験についてのスコア、使用されるメトリックのタイプ(例えば、中央絶対誤差、平均二乗誤差、決定係数R^2、F1スコア、精度、再現率、適合率等)。
【0118】
推論ロールバック通知(IRN):推論NFによって実施されることが可能な既存のアナリティクスIDに関連するロールバックアクションを定義する、おそらくはメッセージ内に同封される、1つまたは複数の情報。推論ロールバック通知は、例えば、以下とすることができる。
・不安定なアナリティクスID情報を有する1つのATDS記録と、アナリティクスIDについての最後に知られていた安定したネットワーク状態に関連付けられたATDS記録を有する別のATDS記録とを含有するメッセージ。
・推論ロールバック通知についての別の可能な実施形態は、アナリティクスIDおよび/またはアナリティクス出力の識別ならびにフラグを有するタプルなどのパラメータを有することであり、ただし、このフラグは、アナリティクス(IDおよび/または出力)に関する問題(またはエラー)があることを表す。使用されることが可能なフラグの例は、不安定なアナリティクス、アナリティクス使用中止、無効なアナリティクス、一時的に無効なアナリティクス、および推論ロールバックトリガのうちのいずれかである。
【0119】
訓練ロールバック通知(TRN):訓練NFによって実施されることが可能な既存のアナリティクス(IDおよび/または)出力)に関連するロールバックアクションに関連する、おそらくはメッセージ内に同封される、1つまたは複数の情報。訓練ロールバック通知は、例えば以下とすることができる。
・不安定なアナリティクスIDについてのMLモデル設定またはパラメータ化を有するATDS記録の訓練情報(例えば、ATCI)と、アナリティクスIDについてのMLモデルについて最後に知られていた安定したネットワーク状態に関連付けられたATDS記録を有するATDS記録の別の訓練情報(ATCI)とを含有するメッセージ
・訓練ロールバック通知についての別の可能な実施形態は、アナリティクスIDおよび/またはアナリティクス出力の識別とフラグとを有するタプルなどのパラメータを有することであり、ただし、このフラグは、アナリティクス(IDおよび/または出力)に関して問題(またはエラー)があることを表す。使用されることが可能なフラグの例は、不安定なアナリティクス、アナリティクス使用中止、無効なアナリティクス、一時的に無効なアナリティクス、および訓練ロールバックトリガのうちのいずれかである。
【0120】
不安定なアナリティクス通知(UN):アナリティクスIDおよび/またはアナリティクス出力を不安定なアナリティクスID、すなわち、ネットワークステータスにおける問題に関連するアナリティクス(IDおよび/または出力)として識別する、1つまたは複数の情報。不安定なアナリティクス通知は、下記に例として列挙された情報のうちのいずれかを含む。
・不安定なアナリティクスIDとみなされたATDS記録のアナリティクスIDについてのアナリティクス推論設定情報(AICI)および/またはアナリティクス訓練設定情報(ATCI)を有するATDS記録。この情報は、アナリティクスIDおよび/またはアナリティクス出力に関して問題(またはエラー)があることを示すことになる。
・アナリティクスIDおよび/またはアナリティクス出力の識別とフラグとを有するタプルなどのパラメータ、ただし、このフラグは、アナリティクス(IDおよび/または出力)に関して問題(またはエラー)があることを表す。使用されることが可能なフラグの例は、不安定なアナリティクス、アナリティクス使用中止、無効なアナリティクス、および一時的に無効なアナリティクスである。
【0121】
再選択についての表示:MLモデルおよび/またはモデルを、不安定なアナリティクスIDとみなされるアナリティクスIDおよび/またはアナリティクス出力、すなわち、ネットワークステータスにおける問題に関連するアナリティクス(IDおよび/または出力)に関連させる、1つまたは複数の情報。
【0122】
再訓練についての表示:MLモデルおよび/またはモデル訓練(および/または再訓練)についての必要性(例えば、リクエスト)を、不安定なアナリティクスIDとみなされるアナリティクスIDおよび/またはアナリティクス出力、すなわち、ネットワークステータスにおける問題に関連するアナリティクス(IDおよび/または出力)に関連させる、1つまたは複数の情報である。
【0123】
訓練ロールバック情報:アナリティクスIDおよび/またはアナリティクス出力に関連するMLモデルおよび/またはモデルにおける変化を示す、1つまたは複数の情報であり、ただし、MLモデルおよび/またはモデルは、不安定なアナリティクスID、すなわち、ネットワークステータスにおける問題に関連するアナリティクス(IDおよび/または出力)に関連付けられたものとして識別されている。訓練ロールバック情報を含む、1つまたは複数の情報の例は、
・不安定なアナリティクスIDに関連するMLモデルおよび/またはモデルの識別
・不安定なアナリティクスIDに関連するMLモデルおよび/またはモデルに関連する変更された情報の説明
・不安定なアナリティクスIDに関連するMLモデルおよび/またはモデルに関連する、1つまたは複数の変更された情報(例えば、勾配、バージョン、アーキテクチャ)
・変更を有するMLモデルおよび/またはモデルスクリプトおよび/またはファイルおよび/または設定
である。
【0124】
実施形態の詳細な説明
図3は、本開示の実施形態による多様なエンティティ300、310、320、330、340を示し、エンティティは、本開示において提案される手順に何らかの形で参加する。具体的には、図3は、ネットワークアナリティクストレーシングエンティティ300(「アナリティクストレーシングNF」とも称される)、ネットワークアナリティクス推論エンティティ310(例えば、NWDAF推論、「推論NF」とも称される)、ネットワークアナリティクス訓練エンティティ320(例えば、NWDAF訓練、「訓練NF」とも称される)、ネットワークアナリティクス消費者エンティティ330(例えば、NWDAF消費者、「消費者」または「消費者NF」とも称される)、および、ネットワークアナリティクス管理エンティティ340を示す。
【0125】
各エンティティ300、310、320、330、340は、本明細書において説明されるそれぞれのエンティティ300、310、320、330、340の多様な動作を行い、実施し、または開始するように構成されたプロセッサまたは処理回路(図示せず)を備え得る。処理回路は、ハードウェアを備えてよく、および/または処理回路は、ソフトウェアによって制御されてよい。ハードウェアは。アナログ回路構成もしくはデジタル回路構成、またはアナログ回路構成とデジタル回路構成との両方を備え得る。デジタル回路構成は、特定用途向け集積回路(ASIC)、フィールドプログラマブルアレイ(FPGA)、デジタル信号プロセッサ(DSP)、または多目的プロセッサなどの構成要素を備え得る。各エンティティ300、310、320、330、340は、メモリ回路構成をさらに備えてよく、メモリ回路構成は、1つまたは複数の命令を記憶し、1つまたは複数の命令は、特にソフトウェアの制御下で、プロセッサによって、または処理回路によって実行されることが可能である。例えば、メモリ回路構成は、実行可能なソフトウェアコードを記憶する非一時的な記憶媒体を備えてよく、実行可能なソフトウェアコードは、プロセッサまたは処理回路によって実行された場合、それぞれのエンティティ300、310、320、330、340の多様な動作を行わせる。1つの実施形態において、処理回路は、1つまたは複数のプロセッサと、1つまたは複数のプロセッサに接続された非一時的なメモリとを備える。非一時的なメモリは、実行可能なプログラムコードを搭載してよく、実行可能なプログラムコードは、1つまたは複数のプロセッサによって実行された場合、それぞれのエンティティ300、310、320、330、340に、本明細書において説明される動作または方法を行わせ、実施させ、または開始させる。
【0126】
それぞれのエンティティ300、310、320、330、および340は、同じモバイルネットワーク、例えば、5Gモバイルネットワークの一部であってよい。エンティティ300、310、320、330、340は、特に、それらがその一部であるモバイルネットワークを介して、互いに相互作用するようにさらに構成され得る。具体的には、エンティティ300、310、320、330、340は、互いに通信するように、すなわち、別のエンティティに情報を提供することおよび/または別のエンティティから情報を受信することによって情報を交換するように構成され得る。エンティティ300、310、320、330、340のうちの2つの間の任意の通信は、モバイルネットワーク内のさらなるエンティティ(説明されないエンティティも)をさらに含んでもよく、すなわち、通信は、直接的または間接的であってよい。
【0127】
ネットワークアナリティクストレーシングエンティティ300は、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシング、および/またはアナリティクスIDのトレーシングを起動するための情報を有する表示301を取得するように構成される。例えば、それは、表示301を、消費者エンティティ330から、推論エンティティ310(これは消費者エンティティ330からそれを受信し得る)を形成し、または訓練エンティティ320から、受信し得る。さらに、トレーシングエンティティ300は、それを取得するために、例えば、管理エンティティ340によって設定341を介して、表示301を用いて構成されてもよい。
【0128】
トレーシングエンティティ300は、アナリティクスIDについての少なくとも1つの出力が不安定である場合、および/またはアナリティクスIDが不安定である場合、アナリティクスIDに関連するロールバック通知302を提供するようにさらに構成される。ロールバック通知302は、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスIDを含んでよく、消費者エンティティ330、推論エンティティ320、または訓練エンティティ320へ提供され得る。さらに、それは、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクション311を含んでよく、この場合において、ロールバック通知302は、ネットワークアナリティクス推論エンティティ310へ提供される。それは、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクション321を含んでもよく、この場合において、ロールバック通知302は、ネットワークアナリティクス訓練エンティティ320へ提供される。
【0129】
ネットワークアナリティクス推論エンティティ310は、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクション311を取得するように構成される。例えば、それは、ネットワークアナリティクストレーシングエンティティ300から、アナリティクスIDに関連するロールバック通知302を受信することによって、推論ロールバックアクション311を取得し得る。それは、ロールバック通知302から推論ロールバックアクション311を抽出し得、またはそれをロールバック通知302に基づいて決定し得る。別の可能性は、例えば、トレーシングエンティティ300または管理エンティティ340によって、推論ロールバックアクション311を用いて推論エンティティ310が構成されることである。
【0130】
さらに、推論エンティティ310は、推論ロールバックアクション311を実行するように構成され、推論ロールバックアクション311を実行することは、アナリティクスIDについての少なくとも1つのアナリティクス出力に関するおよび/またはアナリティクスIDに関する推論設定を変更すること、アナリティクスIDについての少なくとも1つのアナリティクス出力に関するおよび/またはアナリティクスIDに関する新しい推論設定を決定および設定すること、アナリティクスIDについての少なくとも1つのアナリティクス出力に対するおよび/またはアナリティクスIDに対する新しいアナリティクスモデルを選択すること、ならびに、アナリティクスIDについての少なくとも1つのアナリティクス出力に対するおよび/またはアナリティクスIDに対するアナリティクスモデルを停止することのうちの少なくとも1つを含む。ロールバック通知302は、上記のうちのいずれを行うべきかを示し得る。
【0131】
ネットワークアナリティクス訓練エンティティ320は、アナリティクスIDについての少なくとも1つのアナリティクス出力について、および/またはアナリティクスIDについて、訓練ロールバックアクション321を取得するように構成される。例えば、それは、ネットワークアナリティクストレーシングエンティティ300から、アナリティクスIDに関連するロールバック通知302を受信することによって、訓練ロールバックアクション321を取得し得る。それは、ロールバック通知302から訓練ロールバックアクション311を抽出し得、またはそれをロールバック通知302に基づいて決定し得る。別の可能性は、例えば、トレーシングエンティティ300または管理エンティティ340によって、訓練ロールバックアクション311を用いて訓練エンティティ320が構成されることである。
【0132】
さらに、訓練エンティティ320は、訓練ロールバックアクション321を実行するように構成され、訓練ロールバックアクション321を実行することは、アナリティクスIDについての少なくとも1つのアナリティクス出力に関するおよび/またはアナリティクスIDに関する訓練設定を変更すること、アナリティクスIDについての少なくとも1つのアナリティクス出力に関するおよび/またはアナリティクスIDに関する新しい訓練設定を選択および設定すること、アナリティクスIDについての少なくとも1つのアナリティクス出力に対するおよび/またはアナリティクスIDに対するアナリティクスモデルの再訓練または再選択を行うこと、アナリティクスIDについての少なくとも1つのアナリティクス出力に対するおよび/またはアナリティクスIDに対するアナリティクスモデルを停止することのうちの少なくとも1つを含む。ロールバック通知302は、上記のうちのいずれを行うべきかを示し得る。
【0133】
ネットワークデータアナリティクス消費者エンティティ330は、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示301を、ネットワークアナリティクストレーシングエンティティ300またはネットワークアナリティクス推論エンティティ310のどちらかに提供するように構成される。
【0134】
ネットワークアナリティクス管理エンティティ340は、例えば、トレーシングエンティティ300において、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための設定341を行うように構成される。さらに、管理エンティティ340は、例えば、トレーシングエンティティ300において、アナリティクスIDについてのアナリティクストレーシング情報403を設定するように構成され得る。さらに、管理エンティティ340は、例えば、トレーシングエンティティ300または消費者エンティティ330において、アナリティクスIDについての1つもしくは複数のアナリティクス出力に関する、および/またはアナリティクスIDに関する、1つまたは複数の品質表示についてのデータの収集を起動するための設定341を行うように構成される。
【0135】
図4および図5は、概要部分において言及された問題に対する解決策として、本開示によって提案される例示的な詳細な手順を示す。手順は、例えば、図3に関して既に説明されたように、本開示の実施形態による多様なエンティティ310、320、330を含む。提案される解決策は、5つの段階のうちの少なくとも1つで構築される。図4は、段階1および4を示し、一方で、図5は、段階2、3、および5を示す。それによって、
・段階1は、アナリティクス情報のトレーシング、不安定なアナリティクス(出力および/またはID)を決定すること、およびアナリティクスロールバックアクション311、321をトリガすることを含む。
・段階2は、ネットワークアナリティクス推論エンティティ310において、アナリティクス(推論)ロールバックアクション311、321をハンドリングすることを含む。
・段階3は、ネットワークアナリティクス訓練エンティティ320において、アナリティクス(訓練)ロールバックアクション311、321をハンドリングすることを含む。
・段階4は、ネットワークステータスに対するアナリティクス消費関連付けを含む。
・段階5は、不安定なアナリティクス通知時のアナリティクス消費者エンティティ330アクションを含む。
【0136】
段階1および段階4は、図4および図5に示される、この例示的な手順において必須である。段階2および3は、段階1時に、解決策に任意選択で取り入れられことが可能なアクションの代替案を含む。段階5は、任意選択であり、段階1、2、3時に起動されることが可能である。
【0137】
図4に示されるように、段階1において、ネットワークアナリティクストレーシングエンティティ300と呼ばれる新しいエンティティは、例えば、表示301(特に、アナリティクスIDの同義語は、アナリティクスタイプまたは単純にアナリティクスである)を受信することによって、アナリティクスIDトレーシング起動を取得する(ステップ0、1)。この取得されたアナリティクスIDトレーシング起動に基づいて、トレーシングエンティティ300は、アナリティクスIDに関連付けられたアナリティクストレーシング情報403(すなわち、ATDS)、例えば、アナリティクスIDについてのATDS、またはアナリティクスIDのATDSを作成する(ステップ4)。作成されたATDSは、ATDS記録のセットを経時的に維持および記憶し得る。そのため、ATDSは、この場合において、アナリティクス出力に対するアナリティクスIDの関連付けを有するATDS記録の履歴のセット、モバイルネットワークにおけるアナリティクス(IDおよび/または出力)の使用の品質の表示、アナリティクスのための推論および/または訓練における設定(これは、アナリティクス出力またはアナリティクスIDまたはアナリティクスタイプを意味することができる)、ならびに、任意選択で、アナリティクスロールバックアクションおよび/またはロールバックステータスであり得る。各ATDS記録は、モバイルネットワーク内でアナリティクスIDを使用する場合のネットワークステータスを定義し得、以下のパラメータのうちの少なくとも1つに対するアナリティクスIDの所与の時点におけるマッピングを有するタプルを含み得る。
・記録作成のタイムスタンプ。
・1つもしくは複数のアナリティクス出力識別および/または1つもしくは複数のアナリティクス出力。
・アナリティクス監視エンティティ400(例えば、NWDAFもしくは別のNF)からのアナリティクス出力インスタンスについてのアナリティクスIDグレード情報(AidGI)および/または不安定なアナリティクスID情報(UAiDI)、または、NFもしくは消費者エンティティ330からのNFフィードバックを含む、モバイルネットワークにおけるアナリティクス(IDおよび/または出力)の使用の品質の表示。
・推論エンティティ310(例えば、推論NF、アナリティクス論理機能(AnLF)を含有するNWDAF)からのAIC)、および/または、アナリティクス(これは、アナリティクス出力もしくはアナリティクスIDもしくはアナリティクスタイプを意味することができる)についての訓練エンティティ320(例えば、訓練NF、もしくはモデル訓練論理機能(MTLF)を含有するNWDAF)からのATCI。
・(任意選択で)アナリティクスロールバックアクション311、321。
・(任意選択で)ロールバックステータス(またはロールバックステータス通知)は、アナリティクスロールバックアクション311、321を行う結果を説明する情報のセットである。
【0138】
アナリティクスIDトレーシング起動(例えば、アナリティクスIDに関連付けられたATDSの作成)は、トレーシングエンティティ300によって、以下のうちの少なくとも1つに基づいて取得されることが可能である。
・NF(例えば、NFなどのNWDAF消費者または消費者エンティティ330、アナリティクス論理機能(AnLF)を含有するNWDAF、またはモデル訓練論理機能(MTLF)を含有するNWDAF)が、トレーシングエンティティ300に、アナリティクスIDトレーシング起動のための表示301を提供すること(ステップ0a~e)
・管理エンティティ340(例えば、OAM)が、トレーシングエンティティ300に、アナリティクスIDトレーシング起動の設定を提供すること(ステップ1)。
【0139】
アナリティクスIDトレーシング起動がトレーシングエンティティ300によってどのように取得されたかに依存して、トレーシングエンティティ300が、推論エンティティ310および/または訓練エンティティ320に、推論トレーシング起動402の表示および/または訓練トレーシング起動401の表示をそれぞれ提供しなければならないことがあり得る。例えば、
・トレーシングエンティティ300が、消費者エンティティ330からアナリティクスIDトレーシング起動についての表示301を受信する(ステップ0a)場合、またはトレーシングを起動するように構成される場合(ステップ1)、トレーシングエンティティ300は、推論エンティティ310および/または訓練エンティティ320に、アナリティクス(IDおよび/または出力)に関連するトレーシングプロセスおよびロールバックプロセスが行われることになることを示す必要がある。次いで、推論エンティティ310および/または訓練エンティティ320は、推論トレーシング起動402または訓練トレーシング起動401によってトリガされて、トレーシング、および、もし必要な場合には、下記に説明されるようなアナリティクスロールバックアクション311、321を行う。
・トレーシングエンティティ300が、推論エンティティ310からアナリティクスIDトレーシング起動についての表示を受信した場合(ステップ0d)、トレーシングエンティティ300は、任意選択で、訓練エンティティ320に、アナリティクス(IDおよび/または出力)に関連するトレーシングプロセスロールバックプロセスが行われることになることを示す必要がある。
・トレーシングエンティティ300が、訓練エンティティ320からアナリティクスIDトレーシング起動についての表示を受信した場合(ステップ0e)、トレーシングエンティティ300は、任意選択で、推論エンティティ310に、アナリティクス(IDおよび/または出力)に関連するトレーシングプロセスおよびロールバックプロセスが行われることになることを示す必要がある。
【0140】
トレーシングエンティティ300は、ATDS記録を作成し、構築し、および組み立てるための情報を規則的に取得し(ステップ5 9)、これは、以下のうちの少なくとも1つを含み得る。
・アナリティクス出力生成(例えば、アナリティクス出力識別またはアナリティクス出力自体)。
・アナリティクスIDグレード情報(AidGI)および/または不安定なアナリティクスID情報(UAiDI)および/またはアナリティクス出力に関するNFフィードバック。
・AICIおよび/またはアナリティクス出力についてのATCIおよび/またはアナリティクスID。
【0141】
トレーシングエンティティ300は、ATDS記録を作成し、構築し、組み立てるための規則的に取得される情報に基づいて、ATDS記録を作成し、このATDS記録をアナリティクスIDについてのATDSに含め、追加し、記憶する(ステップ11a)。
【0142】
トレーシングエンティティ300は、アナリティクスIDに関連付けられた不安定なアナリティクスがあるかを決定するために、アナリティクスIDのATDSを定期的にチェックする(ステップ11b)。トレーシングエンティティ300が、不安定なアナリティクスIDを有するATDS記録を識別した場合、それは、この情報を(例えば、フラグとして)ADTS記録に挿入する。決定のために、ATDS記録内の不安定なアナリティクスの識別、トレーシングエンティティ300は、下記のプロセスのうちのいずれかを実行することができる。
・アナリティクスIDについてのATDSのATDS記録が、アナリティクスIDについての1つまたは複数のアナリティクス出力によって引き起こされている問題の表示を有する、NFからのフィードバック(例えば、NFフィードバック)を含有することを識別する。
・不安定なアナリティクスの決定を行う。トレーシングエンティティ300が不安定なアナリティクスの決定を行い得る様々な手法がある。
【0143】
■1つの可能な手法は、ATDS記録が不安定なアナリティクスID情報(UAiDI)を有することを検証することによるものであり、不安定なアナリティクスID情報は、アナリティクスIDが不安定なネットワークステータスをもたらすことを示す。
【0144】
■別の可能な代替案は、トレーシングエンティティ300が、アナリティクスIDについてのATDS記録のサブセットをチェックし、アナリティクスIDグレード情報(AidGI)に関連付けられたグレード情報が、不安定なネットワークステータスを潜在的にもたらす、ネットワークステータスの劣化を示す動向に従っていることを識別する場合である。例えば、チェックの一例は、トレーシングエンティティ300が、最後の10個のATDS記録のグレードにおいて移動平均を適用し、このチェックに基づいて、グレードの低下傾向を検出することである。
【0145】
トレーシングエンティティ300が、不安定なアナリティクス(例えば、考慮される不安定なアナリティクスIDに関連付けられたATDS記録の存在)を識別した場合、それは、アナリティクスについての最後に知られていた安定したネットワーク状態を決定するために、(不安定なアナリティクスIDの情報を有しない)アナリティクスIDについての他のATDS記録をチェックする(ステップ11c)。アナリティクスについての最後に知られていた安定したネットワーク状態は、アナリティクス出力および/またはアナリティクスIDについての最も適当なアナリティクス推論設定情報(AICI)および/またはアナリティクス訓練設定情報(ATCI)を有するATDS記録である。アナリティクスについての最後に知られていた安定したネットワーク状態を決定するための様々な可能な代替案がある。
・トレーシングエンティティ300は、アナリティクスについてのATDSから、アナリティクスIDグレード情報(AidGI)に記憶され、記録された最良のアナリティクスグレード値を有するATDS記録を選択する。
・トレーシングエンティティ300は、アナリティクスIDについて最もよく使用されるAICIおよび/またはATCIを有するATDS記録を選択する。
・トレーシングエンティティ300は、アナリティクスIDについてのATDS記録のアナリティクスIDグレード情報(AidGI)に記憶され、記録されたグレード値についての平均を計算し、グレード値についての計算された平均から標準偏差内にあるアナリティクス出力および/またはアナリティクスIDについて最もよく使用されるAICIおよび/またはATCIを識別する。
【0146】
トレーシングエンティティ300が、アナリティクスについて最後に知られていた安定したネットワーク状態を識別した(すなわち、アナリティクスIDについての最も適当なAICIおよび/またはATCIを有するATDS記録を識別した)場合、トレーシングエンティティ300は、アナリティクスロールバックアクション311、312が、例えば、消費者エンティティ330および/または推論エンティティ310および/または訓練エンティティ320によって使用されているアナリティクスIDに関連する設定、パラメータを戻すこと、変更することが、トリガされるべきかどうかを決定する。アナリティクスロールバックアクション311、321の必要性の識別の例、および識別されたアナリティクスロールバックアクション311、321(単に「ロールバックアクション」とも呼ばれる)は、以下のように説明される。
・オプション1:不安定なアナリティクスに関連付けられたATDS記録のアナリティクスIDについてのAICIおよび/またはATCIが、アナリティクスについての最後に知られていた安定したネットワーク状態として識別されたATDS記録のアナリティクスIDについてのAICIおよび/またはATCIと同じである場合、使用されるべきアナリティクスIDについての代替的AICIおよび/またはATCIがないので、トレーシングエンティティ300は、ロールバックを行うことができない。この場合において、トレーシングエンティティ300は、不安定なアナリティクス通知504を、消費者エンティティ330(段階2におけるステップ13a)および/または推論エンティティ310(段階2におけるステップ12a)および/または訓練エンティティ320(段階3におけるステップ12b)に提供することができる。この場合において、問題を解決するために何かが行われることが可能かを決定することは、そのような不安定なアナリティクス通知504を受信したエンティティに委ねられる。
・不安定なアナリティクスに関連付けられたATDS記録のアナリティクスIDについてのAICIおよび/またはATCIが、アナリティクスについての最後に知られていた安定したネットワーク状態として識別されたATDS記録のアナリティクスIDについてのAICIおよび/またはATCIと異なる場合、トレーシングエンティティ300は、下記のアクションを行うことを決定することができる。
・オプション2:AICIが、2つの比較されたATDS記録間の異なる情報である場合、不安定なアナリティクスIDに関連付けられたAICIおよび/またはアナリティクスについての最後に知られていた安定したネットワーク状態に関連付けられたAICIを含有する、推論ロールバック通知302(ロールバックアクション311を含み得る)を、推論エンティティ310に提供する(段階2におけるステップ12a)。このアクションは、提案される解決策における段階2をトリガすることになる。
・オプション3:ATCIが、2つの比較されたATDS記録間の異なる情報である場合、不安定なアナリティクスIDに関連付けられたATCIおよび/またはアナリティクスについての最後に知られていた安定したネットワーク状態に関連付けられたATCIを含有する、訓練ロールバック通知302(ロールバックアクション321を含み得る)を、訓練エンティティ320に提供する(ステップ12b)。このアクションは、提案される解決策における段階3をトリガすることになる。
・オプション4:AICIとATCIとの両方が、2つの比較されたATDS記録間の異なる情報である場合、不安定なアナリティクスIDに関連付けられたAICIおよびATCIならびに/またはアナリティクスについての最後に知られていた安定したネットワーク状態に関連付けられたAICIおよびATCIを含有する、推論ロールバック通知302/311を、推論エンティティ310に提供する(段階2におけるステップ12a)。このアクションは、提案される解決策における段階2をトリガすることになる。
・オプション5:AICIとATCIとの両方が、2つの比較されたATDS記録間の異なる情報である場合、トレーシングエンティティ300は、解決策の段階2および段階3を同時にトリガすることができる。トレーシングエンティティ300が、段階2をトリガした場合、それは、不安定なアナリティクスIDに関連付けられたAICIおよび/またはアナリティクスについての最後に知られていた安定したネットワーク状態に関連付けられたAICIを含有する、推論ロールバック通知302/311を、推論エンティティ310に提供する(段階2におけるステップ12a)。トレーシングエンティティ300が、段階3をトリガした場合、それは、不安定なアナリティクスIDに関連付けられたATCIおよび/またはアナリティクスについての最後に知られていた安定したネットワーク状態に関連付けられたATCIを含有する、訓練ロールバック通知302/321を、訓練エンティティ320に提供する(ステップ12b)。
【0147】
図5に示されるように、段階2において、推論エンティティ310が、アナリティクスロールバックアクション311を取得した場合、推論エンティティ310は、アナリティクスロールバックアクション311を含む情報を検証する。
・情報が、不安定なアナリティクス通知504を表す場合、推論エンティティ310は、以下のアクションを行うことができる。
【0148】
■不安定なアナリティクス通知504を、不安定なアナリティクス通知504において示されるアナリティクス(IDおよび/または出力)の消費者エンティティ330に提供する(ステップ13a)。例えば、推論エンティティ310は、まさに同じ不安定なアナリティクス通知504を消費者エンティティ330に転送し得、または、推論エンティティ310は、取得された不安定なアナリティクス通知504からの情報を処理し、別の不安定なアナリティクス通知504を生成して、1つまたは複数の消費者エンティティ330に送り得る。処理の例は、不安定なアナリティクス通知504から、AICIまたはATCIに関する情報を除去すること、ならびに、このメッセージを、アナリティクス(IDおよび/または出力)のタプルと不安定なアナリティクスIDを示すフラグとへ変換することである。
・情報が推論ロールバック通知302を表す場合、推論エンティティ310は、下記のアクションを行うことができる。
【0149】
■(任意選択で)ロールバックアクション311に関連付けられた情報が、不安定なアナリティクス通知504を表す場合に説明された同じ処理に続いて、不安定なアナリティクス通知504を消費者エンティティ330に提供または転送する(ステップ13a)。また、不安定なアナリティクス通知504の処理が、推論エンティティ310によって行われる場合、処理された不安定なアナリティクス通知504は、さらなる情報、例えば、行われるべきロールバックアクション311について推定される時間間隔を示すタイマなども含有することができる。これは、消費者エンティティ330が、この時間期間後に、推論エンティティ310(および/またはトレーシングエンティティ300)から、アナリティクスステータスにおける変更の確認(例えば、ロールバックが成功した場合における不安定なアナリティクスIDから安定したアナリティクスIDへの変更、不安定なアナリティクスIDの確認)を受信することになることを理解することを可能にすることになる。
【0150】
■取得された情報を分析し、アナリティクスロールバックアクション311に関連するアナリティクス(idおよび/または出力)における変更を実施する(ステップ14a)。下記のアクションは、取得された情報に応じて行われることが可能である。
【0151】
- (オプション2.1/5.1)アナリティクスロールバックアクション311が、AICIに両方とも関連する、情報の2つのセットを含む場合、情報の1つのセットは、アナリティクス(IDおよび/または出力)に関連付けられた現在のAICIに関連し、情報の第2のセットは、新しい可能なAICIに関連し、その結果、推論エンティティ310は、AICIの古いセットを新しいセットに交換することになる。
【0152】
- (オプション2.2/5.2)アナリティクスロールバックアクション311が、AICIに関連する情報の1つのセットを含む場合、情報の1つセットは、不安定なアナリティクスIDとみなされるアナリティクス(IDおよび/または出力)に関連付けられた現在のAICIに関連し、その結果、推論エンティティ310は、新しいAICIを決定し、この情報をアナリティクス(IDおよび/または出力)の生成のために使用することができる。
【0153】
- (オプション2.3/5.3)アナリティクスロールバックアクション311が、AICIに関連する情報の1つのセットを含む場合、情報の1つセットは、安定したアナリティクスIDとみなされるアナリティクス(IDおよび/または出力)に関連付けられた新しいAICIに関連し、その結果、推論エンティティ310は、アナリティクスについてのそれ自体のローカルな現在の設定を新しいAICIに交換し、この情報をアナリティクス(IDおよび/または出力)の生成のために使用することができる。
【0154】
- (オプション4.1)アナリティクスロールバックアクション311が、情報の4つのセットを含み、情報の2つのセットが、アナリティクス(IDおよび/または出力)に関連付けられた現在のAICIおよびATCIに関連し、情報のその他の2つのセットが、アナリティクス(IDおよび/または出力)に関連付けられた新しいAICIおよびATCIに関連する場合、推論エンティティ310は、下記を行うことができる。
【0155】
〇 AICIの古いセットのみを新しいセットに交換し、それをアナリティクス生成のために使用することを決定する。
【0156】
〇 AICIの古いセットを新しいセットに、ATCIの古いセットを新しいセットに交換し、それらをアナリティクス生成のために使用することを決定する。この場合において、推論エンティティ310が、ATCI内のMLモデルおよび/またはモデルを有しない場合、推論エンティティ310は、訓練エンティティ320から、ATCIに関連する、示されたMLモデルおよび/またはモデルを発見およびリクエストし得る(すなわち、モデル再選択を行い得る)。
【0157】
〇 ATCIの古いセットのみを新しいセットに交換し、それをアナリティクス生成のために使用することを再び決定し、新しいATCI内のMLモデルおよび/またはモデルが、推論エンティティ310において利用可能ではない場合、推論エンティティ310は、モデル再選択を行う必要があり得る。
【0158】
- (オプション4.2)アナリティクスロールバックアクション311が、情報の2つのセットを含み、情報の2つのセットが、アナリティクス(IDおよび/または出力)に関連付けられた現在のAICIおよびATCIに関連する場合、推論エンティティ310は、下記を行うことができる。
【0159】
〇 AICIの新しいセットのみを決定することを決定し、それをアナリティクス生成のために使用する。
【0160】
〇 いかなる訓練エンティティ320にも再選択のための理由を知らせずに、アナリティクス生成のための新しいMLモデルおよび/またはモデルを決定する(例えば、再選択する)ことを決定する。
【0161】
〇 アナリティクス生成のために使用されるべき新しいMLモデルおよび/またはモデルを決定し(例えば、再選択し、または再訓練をリクエストし)、再選択のための表示および/または再訓練のための表示を訓練エンティティ320に提供することを決定する(ステップ15a 図4)。
【0162】
〇 訓練エンティティ320に、アナリティクス(IDおよび/または出力)における問題に関して通知することを決定し(ステップ16a 図4)、この場合において、推論エンティティ310は、不安定なアナリティクス通知504を訓練エンティティ320に送ることができる。
【0163】
推論エンティティ310が、アナリティクスロールバックアクション311を実行し終えた場合、それは、下記の情報のうちのいずれかを提供することができる。
・トレーシングエンティティ300に対するロールバックステータス通知501(ステップ17a)
・消費者エンティティ330に対するアナリティクスステータス通知502(例えば、アナリティクスロールバックアクション311の実施に成功した場合)(ステップ18a)
・消費者エンティティ330に対する、不安定なアナリティクス通知(例えば、アナリティクスロールバックアクション311の実施に失敗した場合)の確認503(ステップ18a)
図5に示されるように、段階3において、訓練エンティティ320が、アナリティクスロールバックアクション321を取得した場合、訓練エンティティ320は、アナリティクスロールバックアクション321を含む情報を検証する(ステップ15b)。
・情報が、不安定なアナリティクス通知504を表す場合、訓練エンティティ320は、下記のアクションを行うことができる。
【0164】
■不安定なアナリティクス通知504において示されるアナリティクス(IDおよび/または出力)に関連付けられたMLモデルおよび/またはモデルの訓練またはモデルチューニングプロセスに関連する任意の他の訓練エンティティ320に、不安定なアナリティクス通知504を提供および/または転送する。これは、アナリティクスに関連付けられたMLモデルおよび/またはモデルの訓練またはモデルチューニングプロセスのプロセスに関与する全ての訓練エンティティ320が、問題を認識することを可能にすることになる。(第1の)訓練エンティティ320が、不安定なアナリティクス通知504を他の訓練エンティティ320に提供する場合、(第1の)訓練エンティティ320は、受信された不安定なアナリティクス通知504内のいくつかのさらなる処理を、他の訓練エンティティ320へ送る前に、適用し得る。例えば、それは、共有される訓練に関連する情報、例えば、部分的なMLモデルおよび/またはモデル重み、合同訓練において受信されたパラメータなどを含むことができる。
【0165】
■不安定なアナリティクス通知504に関連するMLモデルおよび/またはモデルを消費した1つ(または複数の)推論エンティティ310に、不安定なアナリティクス通知504を提供および/または転送する(ステップ14b 図4)。例えば、アナリティクスIDおよび/または出力識別は、不安定なアナリティクス通知に含まれ、訓練エンティティ320は、そのようなアナリティクスに関連付けられたMLモデルおよび/またはモデルをリクエストした、MLモデルおよび/またはモデルにサブスクライブした、MLモデルおよび/またはモデルを提供された推論エンティティ310のリストを識別する。
・情報が訓練ロールバック通知302を表す場合、訓練エンティティ320は、下記のアクションを行うことができる。
【0166】
■(オプション3.1/5.1)アナリティクスロールバックアクション321が、ATCIに両方とも関連する、情報の2つのセットを含み、情報の1つのセットが、アナリティクス(IDおよび/または出力)に関連付けられた現在の(古いとも称される)ATCIに関連し、情報の第2のセットが、新しい可能なATCIに関連する場合、訓練エンティティ320は、ATCIの古いセットを新しいセットに交換することができる。訓練エンティティ320は、任意選択で、下記のアクションを行うことができる。
【0167】
- 現在のATCIに関連付けられたMLモデルおよび/またはモデルの全ての消費者を識別し、新しいATCIに関連付けられたMLモデルおよび/またはモデルをこれらのエンティティに提供する。これは、更新されたMLモデルおよび/またはモデルを、そのようなモデルを消費した推論エンティティ310へ、または訓練フェーズ期間中に、変更されたMLモデルおよび/もしくはモデルを、その変更が必要とされる理由も含めて共有した他の訓練エンティティ320へ、プッシュすること、通知すること、または送ることを含むことができ、消費者によって使用されている現在の(変更前の)MLモデルおよび/またはモデルが、不安定なアナリティクスIDに関連することを示す。この理由を含めることは、MLモデルおよび/またはモデルの消費者に、これが、アナリティクスIDの生成を最適化だけでなく、安定した状態にするための必要な変更であることを理解することを可能にすることになる。
【0168】
- (任意選択で)古い取得されたATCIのアナリティクス(IDおよび/または)出力)に関連付けられたMLモデルおよび/またはモデルを停止されたものとしてマーキングする。
【0169】
■(オプション3.2/5.2)アナリティクスロールバックアクション321が、ATCIに関連する情報の1つのセットを含む場合、情報の1つのセットは、不安定なアナリティクスIDとみなされるアナリティクス(IDおよび/または出力)に関連付けられた現在のATCIに関連し、その結果、訓練エンティティ320は、下記のうちのいずれかを実行することができる。
【0170】
- 訓練および/またはモデルチューニングを介して、現在のATCIに関連するアナリティクス(IDおよび/または出力)についてのMLモデルおよび/またはモデルについての新しいATCIを決定し、任意選択で、新しいATCIに関連付けられたMLモデルおよび/またはモデルの全ての消費者を再び識別し、訓練ロールバック情報302を、新しい更新されたMLモデルおよび/またはモデルと共に、これらのエンティティに(上記に説明されたように)提供する。
【0171】
- (任意選択で)古い取得されたATCIのアナリティクス(IDおよび/または出力)に関連付けられたMLモデルおよび/またはモデルを停止されたものとしてマーキングする。
【0172】
■(オプション3.3/5.3)アナリティクスロールバックアクション321が、ATCIに関連する情報の1つのセットを含む場合、情報の1つのセットは、安定したアナリティクスIDとみなされるアナリティクス(IDおよび/または出力)に関連付けられた新しいATCIに関連し、その結果、訓練エンティティ320は、アナリティクスについてのそれ自体のローカルな現在の設定を、アナリティクス(IDおよび/または出力)についてのMLモデルおよび/またはモデルについての新しいATCIと交換することができ、任意選択で、修正されたMLモデルおよび/またはモデルの全て消費者を再び識別し、訓練ロールバック情報302を、新しい更新されたMLモデルおよび/またはモデルと共に、これらのエンティティに(上記に説明されたように)提供する。
【0173】
■アナリティクス(IDおよび/または出力)についてのMLモデルおよび/またはモデルについての新しいATCIを決定する場合、MLモデルおよび/またはモデルが共有訓練を必要とする場合、訓練エンティティ320は、他の訓練エンティティ320と相互作用する必要があることもあり得る。この場合において、訓練エンティティ320は、必要とされるさらなる訓練エンティティ320を識別し、訓練エンティティ320がアナリティクスについての新しいMLモデルおよび/またはモデルを決定するために互いに協働することをトリガすることになる、下記の情報のうちのいずれかを送る。
- 不安定なアナリティクスIDに関連する再選択のための理由の表示
- 不安定なアナリティクスIDに関連する再訓練のための理由の表示
【0174】
■訓練エンティティ320が、取得されたアナリティクスロールバックアクション321に関連付けられたアナリティクス(IDおよび/または出力)についてのMLモデルおよび/またはモデルについて、新しいATCIを決定すること、または現在のATCIを新しいATCIに交換することができないことがあり得る。この場合において、訓練エンティティ320は、不安定なアナリティクス通知504を以前に提供した場合(ステップ16b)、推論エンティティ310に、不安定なアナリティクス通知504の確認を提供することができ、または、ATCIに関連するMLモデルおよび/またはモデルの消費者である推論エンティティ310に、不安定なアナリティクス通知504を提供することができる。
【0175】
訓練エンティティ320が、アナリティクスロールバックアクション321を実行し終えた場合、それは、下記のうちのいずれかを提供することができる。
・推論エンティティ310に対する、不安定なアナリティクス通知の確認503、または訓練ロールバック情報302、またはアナリティクスステータス通知504(ステップ16b)
・トレーシングエンティティ300に対する、ロールバックステータス通知501(ステップ17b)。
【0176】
推論エンティティ310が、訓練エンティティ320から、不安定なアナリティクス通知504(ステップ14b 図4)を受信し、そのような情報を消費者エンティティ330へ転送した場合において、推論エンティティ310が、訓練エンティティ320から、不安定なアナリティクス通知の確認503または訓練ロールバック情報302またはアナリティクスステータス通知502を受信するとき、推論エンティティ310は、任意選択で、消費者エンティティ330に、アナリティクスステータス通知502または不安定なアナリティクス通知確認503を提供または転送することができる(ステップ18b 図4)。
【0177】
図4に示されるように、段階4において、他のエンティティ(例えば、トレーシングエンティティ300、消費者エンティティ330)から、特定の消費されたアナリティクス(IDおよび/または出力)についての、任意選択で、アナリティクスの特定の消費者についての、アナリティクスパフォーマンス情報(API)を取得する(ステップ5aまたは5b)、ネットワークアナリティクス監視エンティティ400(AMonエンティティ)と呼ばれる新しいエンティティ。APIの目標は、アナリティクス(IDおよび/または出力)の生成のために入力データとして関連しないが、消費されたアナリティクスがネットワークステータスをどのように変更するかという識別に関連する、KPIおよび/またはメトリックをキャプチャすることである。APIに基づいて、監視エンティティ400は、APIに関連するKPIおよび/またはメトリックについてのデータ収集のソースを識別し、これらのデータソースからのデータ収集を開始する。
【0178】
APIは、以下の可能性のうちのいずれかを使用して取得されることが可能である。
・ネットワークアナリティクス管理エンティティ340からの設定341
・管理エンティティ340からの設定341と、特定のアナリティクス(IDおよび/もしくは出力)を含む別のエンティティからの、ならびに/または、構成されたAPIに関連付けられるべきアナリティクス消費者エンティティ330からのメッセージの受信との組み合わせ
・API、特定のアナリティクス(IDおよび/もしくは出力)を含む、他のエンティティ(例えば、トレーシングエンティティ300、訓練エンティティ320、推論エンティティ310)ならびに/または消費者エンティティ330から受信されたメッセージ。
【0179】
APIに関連する収集されたデータに基づいて、監視エンティティ400は、アナリティクスIDの消費の後の、ネットワークステータスにおける変更に対するアナリティクス(IDおよび/または出力)の効果を監視する。この監視のプロセスは、2つの情報の生成をもたらすことができる。
・アナリティクスの消費の後の、ネットワークステータスにおける変更に対するアナリティクスの効果に関連するグレードの計算に由来する情報のセットである、アナリティクスIDグレード情報(AidGI)。
・アナリティクスの消費の後の、ネットワークステータスにおける変更に対するアナリティクスの効果に関連するグレードの計算に由来し、このグレードを、アナリティクスが不安定なネットワークステータスにつながるものとして識別されたことを表す閾値(例えば、運用者によって設定される閾値)を交差し、逸脱するものとして識別する情報のセットである、不安定なアナリティクスID情報(UAiDI)
監視エンティティ400は、他のエンティティ(例えば、トレーシングエンティティ300)に、下記の情報のうちのいずれかを提供する。
・アナリティクスIDグレード情報(AidGI)
・不安定なアナリティクスID情報(UAiDI)
【0180】
図5、段階5において、消費者エンティティ330(例えば、NF消費者)が、不安定なアナリティクス通知504を受信した場合(ステップ12、ステップ13a、18a、13b、17b)、消費者エンティティ330は、様々なアクションを取ることができる。例えば、
・推論エンティティ310においてアナリティクスをキャンセルまたはサブスクライブ解除することによって、受信された不安定なアナリティクス通知504に関連付けられたアナリティクスの消費を停止する。キャンセルまたはサブスクライブ解除する場合、消費者エンティティ330は、アナリティクスが安定したアナリティクスIDであると再び考慮される場合に通知されることを望むことを示すことができ、それにより、アナリティクスIDに対する以前のサブスクリプションの再起動を可能にする(ステップ19a図4)。
・アナリティクスの消費を継続し、その内部意志決定について、そのようなアナリティクスの情報をあまり重視しない
・アナリティクスの消費を継続し、アナリティクスが安定したアナリティクスIDであると再び考慮される場合に通知されることをリクエストする(ステップ19b 図4)。
【0181】
消費者エンティティ330が、アナリティクスステータス通知502を受信した場合、消費者エンティティ330は、様々なアクションを取ることができる。例えば、
・消費者エンティティ330が、アナリティクスを消費することを停止した場合、それは、アナリティクスに再サブスクライブすることができる。この場合において、消費者エンティティ330は、アナリティクスIDに対する以前のサブスクリプションがあったこと、および、この以前のサブスクリプションが、任意選択で特定のアナリティクスIDについて、再起動されるべきであることを推論エンティティ310に示す。
【0182】
図4および図5において、段階1、2、3、および5に共通して、トレーシングエンティティ300が、アナリティクスロールバックアクション311、321の必要性を識別し、段階2および/または段階3をトリガする場合、トレーシングエンティティ330は、推論エンティティ310(ステップ17a)および/または訓練エンティティ320(ステップ17b)から、ロールバックステータス通知501を取得し得る。ロールバックステータス通知501は、アナリティクスロールバックアクション311、321の実行に関する結論を表し得る。
【0183】
トレーシングエンティティ300が、アナリティクスロールバックアクション311、321の終了を検出した場合、トレーシングエンティティ300は、任意選択で、アナリティクスIDトレーシング起動についての表示を提供したエンティティに、アナリティクスステータス通知502または不安定なアナリティクス通知504の確認を提供することができる。トレーシングエンティティ330によって提供されることが可能な第1の不安定なアナリティクス通知502(ステップ12、ステップ13a、13b)と、不安定なアナリティクス通知の確認503、すなわち、第2の不安定なアナリティクス通知(ステップ18a、17b)との間の差異は、第1の不安定なアナリティクス通知502が、アナリティクスロールバックアクション311、321が行われていることを示すということであり、一方で、第2の不安定なアナリティクス通知503が、アナリティクスロールバックアクション311、321が成功裡に行われ得ること、例えば、少なくとも短い時間期間(例えば、分基準の下で、または数分内)において、アナリティクス(IDおよび/または出力)のロールバック、再設定、修復が行われ得なかったことを表す。
【0184】
図4および図5に示される、この例示的な実施形態の利益は、以下を含む。
・1つまたは複数のアナリティクスIDの(新しい)消費者エンティティ330(特に、NF)は、安定したネットワークステータスをもたらす、それらのアナリティクスIDについてのアナリティクス出力を消費し続けるための保証を有する(任意のNFが、アナリティクスIDについての以前のアナリティクス出力についての問題を示すフィードバックを送った場合であっても)。
・(例えば、NFが、NWDAF、例えば推論エンティティ310へ、問題のフィードバックを送った場合に基準として出力されるアナリティクスを除去することによって)意志決定のためにエンティティ(NF)、例えば、消費者エンティティ330によって使用された基準に対する中断または断絶がない。
・アナリティクスID使用劣化システムKPI(すなわち、不安定なネットワークステータスをもたらす)が、推論エンティティ310および/または訓練エンティティ320にとって可視になり、トレース可能になるという保証(例えば、データ収集によって引き起こされる遅延なしの、推論および訓練能力を有するNWDAF。
・モバイルオペレータは、推論エンティティ310および/または訓練エンティティ(例えば、1つまたは複数のNWDAF)が、改善を行っている間に、または不安定であるアナリティクスIDを、もしくはアナリティクスIDについての1つもしくは複数の不安定なアナリティクス出力を修復している間に、不安定なアナリティクスID(すなわち、不安定なネットワークステータスをもたらすアナリティクスID)の使用を自動的に戻すことができる。
・MPにおける対数の検査の必要も、推論エンティティ310、訓練エンティティ320、具体的にはNWDAFにおける設定の手動でのトリガの必要もない。
・不安定なアナリティクスIDに関連付けられたMLモデルを共有する訓練エンティティ320(例えば、訓練能力を有するNWDAF)のチェーン/ツリーが、そのような関係を自動的に認識することを可能にする。
・MLモデル設計者は、この情報を使用して、MLモデルの次の発展に関する決定を行うことができる。
【0185】
さらに、本開示において、本開示の実施形態による提案される解決策および説明されたエンティティの実装についての2つの可能な代替案が説明され、全てが、TS 23.501 R17における3GPP 5Gアーキテクチャにおいて定義されたエンティティ、および3GPP TSに23.288 R17において定義された強化ネットワークアナリティクスに基づいている。実装は、下記に列挙される。
【0186】
第1の代替案は、図6に示されており、既存のNWDAFサービスに埋め込まれるトレーシングおよびロールバックサポートに関連する。この第1の代替案において、トレーシングエンティティ300、推論エンティティ310、および監視エンティティ400は、推論能力を有するNWDAFの中へ埋め込まれ、および/またはNWDAFよってホストされる(すなわち、アナリティクス論理機能(AnLF))-NWDAF(AnLF)。この場合において、NWDAF(推論エンティティ310)の推論の既存のサービスは、トレーシングエンティティ300および監視エンティティ400のトレーシング能力およびロールバック能力をサポートするように拡張される。拡張されるサービスは、下記である。
・Nnwdaf_AnalyticsSubscriptionサービス
・Nnwdaf_AnalyticsInfoサービス
さらに訓練能力、すなわち、NWDAF(MTLF)と称され得るモデル訓練論理機能(MTLF)を有するNWDAF(すなわち、訓練エンティティ320)は、トレーシングエンティティ300および監視エンティティ400により強化された/これらをホストするNWDAF(AnLF)と相互作用する場合に、トレーシングおよびロールバックアクション311、321を可能にするための相互作用をサポートするように強化される。この場合においても、NWDAF(AnLF)のサービス(例えば、訓練エンティティ320)は、本開示において提案されるトレーシングおよびロールバック機能性をサポートするように強化される。強化されるサービスは、以下である。
・Nnwdaf_MLModelProvisionサービス
第2の代替案は、図7に示されており、新しいNWDAFサービスとしてのトレーシングおよびロールバックサポートに関連する。図6に例示される、この第2の代替案において、トレーシングエンティティ300および監視エンティティ400は、NWDAFによって埋め込まれ、ホストされ、個別の新しいサービスは、本開示において提案されるトレーシングおよびロールバックをサポートするために、トレーシングエンティティ300および監視エンティティ400の機能性を顕在化するように定義される。新しいサービスは、下記として定義される。
・Nnwdaf_AnalyticsTracingサービス
推論能力を有するNWDAFのサービス、すなわちNWDAF(AnLF)も、本開示において提案される原理をサポートするように拡張される。拡張されるサービスは、下記である。
・Nnwdaf_AnalyticsSubscriptionサービス
・Nnwdaf_AnalyticsInfoサービス
訓練能力を有するNWDAFのサービス、すなわちNWDAF(MTLF)も、トレーシングエンティティ300および監視エンティティ400の機能性をサポートするNWDAFと相互作用する場合に、トレーシングおよびロールバックアクション311、321を可能にするための相互作用をサポートするように強化される。強化されるサービスは、以下である。
・Nnwdaf_MLModelProvisionサービス
下記の説明は、代替案の各々についてのサービス拡張の詳細、ならびに、図4および図5に関して本開示において定義される段階1~5を反映するこれらの代替案に基づいた可能な手順を提供する。
【0187】
新しいインターフェースが、アナリティクストレーシングエンティティ300能力およびアナリティクス監視エンティティ400能力についてのみ、NWDAFによって顕在化される、第2の代替案:
【0188】
(1)アナリティクスIDトレーシング起動:この場合において、新しいサービスは、このサービスの消費者に、アナリティクスIDトレーシングがシステム内で起動される必要があることを示すことを可能にするために、NWDAFにおいて定義される必要がある。新しいサービスは、Nnwdaf_AnalyticsTracingと呼ばれることが可能であるこの新しいサービス、動作およびパラメータの例は、下記のように定義される。
・Nnwdaf_AnalyticsTracing_Subscribe:
【0189】
■入力パラメータ:
- トレースされるべきアナリティクスの消費者エンティティ330の識別、例えば、この識別は、NF IDまたはアナリティクスIDの消費者(すなわち、Nnwdaf_AnalyticsSubscription_SubscribeまたはNnwdaf_AnalyticsInfo_Requestを呼び出した消費者)の通知相関IDとすることができる。
- 通知相関ID、これは、Nnwdaf_AnalyticsTracing_Subscribeの消費者エンティティ330が、アナリティクストレーシングに対するそれ自体のサブスクリプションを識別することを可能にする。
- 起動/停止の値を有する、関連付けられたフラグを有する、1つまたは複数のアナリティクスIDサブスクリプションの識別、これは、トレーシングエンティティ300機能性または能力を有するNWDAFが、Nnwdaf_AnalyticsTracing_Subscribeについての呼出しを受信した場合は常に、アナリティクスIDに対する、示された1つまたは複数のサブスクリプションのトレーシングを開始する(および/または、フラグの値に依存して、停止する)ことになることを意味する。
- 起動/停止の値を有する、関連付けられたフラグを有する、1つまたは複数のアナリティクスID、これは、トレーシングエンティティ300機能性または能力を有するNWDAFが、Nnwdaf_AnalyticsTracing_Subscribeについての呼出しを受信した場合は常に、示された1つまたは複数のアナリティクスIDのトレーシングを開始する(および/または、フラグの値に依存して、停止する)ことになることを意味する。
- さらにAPIに関連する情報も、Nnwdaf_AnalyticsTracing_Subscribeの呼出しに含まれることが可能である。そのような情報の例は、下記に列挙されたもののうちのいずれかである。
【0190】
〇 1つの可能な代替案は、TS 23.288(V17.0.0.1)内の条項7.4.2において定義されたNnwdaf_DataManagementサービスに対して既に定義されているフィールドを、API情報を定義するためでなく、それらのフィールドをサブスクリプション/リクエスト内に含めるために、再使用することである。これらのフィールドは、TS 23.288 R17(V17.0.01)条項6.2.6.1において定義されるような、サービス運用、データ仕様、フォーマット化命令、処理命令、NF(またはNF設定された)ID、ADRF情報のうちのいずれかであり得る。
【0191】
□ サービス運用:データをリクエストするために、NWDAF、DCCF、MFAF、またはADRFによって使用されるべきサービス運用を定義する(例えば、 Namf_EventExposure_SubscribeまたはOAMサブスクライブ)
□ データ仕様:TS 23.502[3] 条項4.15.1において定義されているようなイベントID、イベント報告のターゲットおよびイベントフィルタ情報、ならびに/または、OAMから取り出されるべき情報の識別、APIデータ収集についての関心領域のうちのいずれかを定義する。
□ フォーマット化命令:イベント報告情報についてTS 23.502[3]条項4.15.1において定義されているパラメータも、可能なフォーマット化命令および処理命令の一部であり、付加的に下記のパラメータ、すなわち、定期的な大量データ通知、時間窓、通知イベントクラビング、処理ルールが含まれ得る。
□ NF(またはNF設定された)ID:データ仕様において定義されているAPI情報についてのソースである、特定のNFまたはNFセットを定義する
【0192】
〇 別の可能な代替案は、下記のうちのいずれかであり得るAPIパラメータの新しいセットを含むことである。
【0193】
□ APIデータ収集についての関心領域
□ NF(またはNF設定された)ID:データ仕様において定義されているAPI情報についてのソースである、特定のNFまたはNFセットを定義する。
□ 収集されるべきKPIおよび/またはメトリックのリスト
□ NF(またはNF設定された)ID:データ仕様において定義されているAPI情報についてのソースである、特定のNFまたはNFセットを定義する。
【0194】
■出力パラメータ:サブスクリプション相関ID、起動が可能であった場合の確認
・Nnwdaf_AnalyticsTracing_Notify:
【0195】
■入力パラメータ:
- 通知相関ID、その結果、Nnwdaf_AnalyticsTracing_Notifyの消費者は、アナリティクスIDをトレースするために特定のサブスクリプションを識別することができる。
- 不安定なアナリティクス通知、および/または推論ロールバック通知、および/または訓練ロールバック通知;サービス運用Nnwdaf_AnalyticsTracing_Notifyから通知を受信するエンティティが、アナリティクストレーシング能力を有するNWDAFへ、ロールバックステータス通知を送る必要がある場合における通知相関情報
【0196】
■出力パラメータ:なし
・Nnwdaf_AnalyticsTracing_RollbackStatusNotify
【0197】
■入力パラメータ:サブスクリプション相関IDおよび/もしくは通知相関ID、ならびに/またはロールバックステータス通知
【0198】
■出力パラメータ:なし
【0199】
(2)アナリティクス監視エンティティ能力のみを用いてNWDAFインスタンスを可能にするためのNWDAFサービスにおける拡張:この場合において、新しいサービスは、このサービスの消費者エンティティ300が、アナリティクスIDについてのAPIを示し、AiDGIおよび/またはUAidIを取得することを可能にするために、NWDAFにおいて定義される必要がある。この新しいサービス、動作およびパラメータの例は、下記のように定義される。
・Nnwdaf_AnalyticsMonitoring_Subscribe:
【0200】
■入力パラメータ:
- 通知相関ID、これは、Nnwdaf_AnalyticsMonitoring_Subscribeの消費者が、アナリティクスに関連するAPIに対する、それ自体のサブスクリプションを識別することを可能にする。
- アナリティクスの識別(例えば、アナリティクスID)
- API情報、およびサービスNnwdaf_AnalyticsTracing_Subscribeにおいて説明されるAPIの実施形態についての同じ可能な代替案も、この場合において適用可能である。
【0201】
■出力パラメータ:サブスクリプション相関ID、起動を監視することが可能であった場合の確認。
・Nnwdaf_AnalyticsMonitoring_Notify:
【0202】
■入力パラメータ:
- 通知相関ID、その結果、Nnwdaf_AnalyticsMonitoring_Notifyの消費者は、アナリティクスIDに関するモニタリング情報に対する特定のサブスクリプションを識別することができる。
- AidGIおよび/またはUAidI通知
【0203】
■出力パラメータ:なし
さらに、第1の代替案および第2の代替案に共通する、段階1、2、3、4および5における推論エンティティ310の実施形態をサポートするためのNWDAF(AnLF)における変更は、下記の通りである。
【0204】
(1)アナリティクスIDトレーシング起動についての設定:この場合において、NWDAFは、アナリティクスIDトレーシング起動を用いて設定される。アナリティクスIDトレーシング起動についての設定は、下記の例のうちのいずれかを含む。
・アナリティクスIDと、起動/停止の値を有するフラグとを有するタプル、これは、アナリティクストレーシングエンティティ機能性または能力を有するNWDAFが、アナリティクスIDに関連するメッセージ(例えば、アナリティクスIDに対するサブスクリプション)を受信する場合は常に、アナリティクスIDのトレーシングを開始することになることを意味する。
・アナリティクスIDと、起動/停止の値を有するフラグと、特定のトリガ条件を有するタプル、これは、特定のトリガ条件が、アナリティクスIDに関連する受信されたメッセージ(例えば、アナリティクスIDに対するサブスクリプション)内に存在する場合にのみ、アナリティクス・トレーシングエンティティ機能性または能力を有するNWDAFが、アナリティクスIDのトレーシングを開始することになることを意味する。下記に列挙された例のうちのいずれも、特定のトリガ条件となることができる。
・消費者の識別(例えば、NFタイプ)
・アナリティクスのターゲットの識別(例えば、UE、UEのグループ)
・関心領域の識別(例えば、TAまたはセルのリスト)
・ネットワークスライスの識別(例えば、S-NSSAI)
・アプリケーションの識別(例えば、アプリケーションID)
・データネットワークの識別(例えば、DNNまたはDNAI)
【0205】
(2)トレーシング起動を有するサブスクリプションを実装するためのNWDAFサブスクライブ/リクエストサービス動作の拡張:
・アナリティクスIDトレーシング起動の表示:この場合において、アナリティクスIDトレーシング起動の表示は、アナリティクスIDにサブスクライブする(またはリクエストする)ための既存のNWDAFサービス動作の一部として実装される。
・アナリティクスIDトレーシング起動:下記に列挙された例のうちのいずれも、アナリティクスIDトレーシング起動のために使用されている新しいパラメータである。
【0206】
■オプションA:アナリティクスロールバックアクションを実行せずに、不安定なアナリティクス通知を返すことを示すNWDAFサービスにおける入力パラメータ。例えば、これは、アナリティクス消費者が、NWDAFによって顕在化されるアナリティクスIDに対するサブスクリプションを停止するという決定、または、それを消費し続けるが、その内部意志決定について、この情報をあまり重視しないという決定を行うことを可能にすることになる。
【0207】
■オプションB:
可能な場合にはアナリティクスロールバックアクションを実行することを示すNWDAFサービスにおける入力パラメータ、任意選択で、ロールバックが生じた場合には通知を有する
【0208】
■オプションC:可能な場合にはロールバックプロセスを行うためのNWDAFについての入力パラメータ、任意選択で、アナリティクスIDの消費者のために使用されるべき関心のあるAPIを有する
【0209】
(3)不安定なアナリティクス通知および/またはアナリティクスステータス通知および/または不安定なアナリティクス通知の確認を実装するためのNWDAF通知サービスの拡張:
・Nnwdaf_AnalyticsSubscription_Notifyサービス動作の入力パラメータは、不安定なアナリティクス通知および/またはアナリティクスステータス通知および/または不安定なアナリティクス通知の確認を表すために設定されることが可能なフラグにより、拡張されることが可能である。このフラグは「アナリティクスステータス」と呼ばれることが可能であり、下記の値、すなわち、不安定、安定、不安定と確認済みを有し得る。
・同じタイプの拡張は、NWDAF AnalyticsInfo_Request応答に対しても提供されることが可能であり、ただし、このサービス動作の出力パラメータは、上記に論じられたフラグにより拡張される。
【0210】
(4)再起動を実装するためのNWDAF通知サービスの拡張。
・Nnwdaf_AnalyticsSubscription_Notifyサービス動作の出力パラメータは、NWDAFサービスのNF消費者が、「アナリティクスステータス=不安定」または「アナリティクスステータス=不安定と確認済み」を受信した後に、NF消費者がアナリティクスIDを非サブスクライブした後であっても、「Analytics Status」における変更に関して通知されることをNF消費者が望むかどうかをNWDAFに示すことを可能にするように拡張されることが可能である。Nnwdaf_AnalyticsSubscription_Notifyサービス動作の新しい出力パラメータは、下記とすることができる。
【0211】
■NF消費者が、ステータス通知の変更を起動することを可能にするフラグ:例えば、偽の真の値を有する「ステータス変更通知」。
【0212】
■(任意選択で)アナリティクスのステータスが変化する場合に、次のNnwdaf_AnalyticsSubscription_Notifyを送るために使用されるべきアドレスをNWDAFに示す、通知ターゲットアドレス(+通知相関ID)。この場合において、この次のNnwdaf_AnalyticsSubscription_Notifyは、入力パラメータとして、「アナリティクスステータス=安定」と、Nnwdaf_AnalyticsSubscription_Notifyの出力パラメータにおいてNF消費者によって提供される通知相関IDとを含むべきである。この変更は、NF消費者が、非サブスクライブすることを可能にする。
【0213】
(5)アナリティクスがそのステータスを不安定から安定へ変更する場合に、サブスクリプションの再起動を実装するためのNWDAFサブスクライブ(またはリクエスト)サービスの拡張:
・これは、(5)において強調された拡張とは対照的に、サブスクリプションの再起動を実装するための別のオプションである。
・Nnwdaf_AnalyticsSubscription_Subscribe(および/またはNnwdaf_AnalyticsInfo_Request)の入力パラメータは、新しいパラメータを含むように拡張される:
【0214】
■以前のサブスクリプションが再起動されるべきであることを表すサブスクリプション相関ID
【0215】
■再起動されるための表示を有するアナリティクスIDのリスト。そのような表示は、例えば、「再起動」と呼ばれるフラグとすることができる。
・これは、アナリティクスIDの再起動であるので、さらなる必要なまたは任意選択のパラメータ、例えば、アナリティクス報告のターゲット、通知ターゲットアドレス(+通知相関ID)、アナリティクス報告パラメータ、アナリティクスターゲット期間等などを、サブスクリプションに含める必要がない。
【0216】
(6)アナリティクスがそのステータスを不安定から安定へ変更する場合に、NF消費者がサブスクリプション再起動を行うことを可能にするためのNWDAF非サブスクライブサービスの拡張:
・Nnwdaf_AnalyticsSubscription_Unsubscribeの入力パラメータは、新しいパラメータを含むように拡張される:
【0217】
■アナリティクスのステータスにおける変更に関して通知されることを消費者エンティティ330が望むことを示す、例えば、アナリティクスステータス変更通知と呼ばれる、フラグ
【0218】
■そのステータス変更に関する通知を有することにNF消費者が興味を持つアナリティクスIDを示す、アナリティクスIDのリスト
【0219】
■不安定なアナリティクスIDから安定したアナリティクスIDへのアナリティクスステータスにおける変更に関してNWDAFが消費者に通知することを可能にする通知ターゲットアドレス(+通知相関ID)。
・また、Nnwdaf_AnalyticsSubscription_Notifyサービス動作における拡張が行われる必要がある。この場合において、目的は、アナリティクスIDを非サブスクライブしたNF消費者に対して、アナリティクスIDのステータスが不安定なアナリティクスIDから安定したアナリティクスIDへ変化したので、このNF消費者がアナリティクスIDに対するサブスクリプションを再起動可能であるべきことを示すために、同じ既存のサービスNnwdaf_AnalyticsSubscription_Notifyを使用することである。この場合において、Nnwdaf_AnalyticsSubscription_Unsubscribeサービス動作において示されるアナリティクスIDのステータスが変化した場合、NWDAFは、以下のパラメータ拡張を有するNnwdaf_AnalyticsSubscription_Notifyを使用することになる:
【0220】
■アナリティクスIDステータスの変化の通知の場合における、必要なパラメータとしての通知相関ID
【0221】
■変更されたステータスを有するアナリティクスIDのリスト。
【0222】
(7)監視されるべきアナリティクスパフォーマンス情報の定義を実装するためのNWDAFサブスクライブ(またはリクエスト)サービスの拡張:
・Nnwdaf_AnalyticsSubscription_Subscribe(および/またはNnwdaf_AnalyticsInfo_Request)の入力パラメータは、新しいパラメータを含むように拡張される:
【0223】
■1つの可能な代替案は、TS 23.288(V17.0.0.1)内の条項7.4.2において定義されているNnwdaf_DataManagementサービスについて既に定義されているフィールドを、API情報を定義するためでなく、それらのフィールドをサブスクリプション/リクエスト内に含めるために、再使用することである。これらのフィールドは、TS 23.288 R17(V17.0.01)条項6.2.6.1において定義されているような、サービス動作、データ仕様、フォーマット化命令、処理命令、NF(またはNF設定された)ID、ADRF情報のうちのいずれかであり得る
- サービス動作:データをリクエストするために、NWDAF、DCCF、MFAF、またはADRFによって使用されるべきサービス動作を定義する(例えば、Namf_EventExposure_SubscribeまたはOAMサブスクライブ)
- データ仕様:TS 23.502[3]条項4.15.1において定義されているようなイベントID、イベント報告のターゲットおよびイベントフィルタ情報、ならびに/または、OAMから取り出されるべき情報の識別、APIデータ収集についての関心領域のうちのいずれかを定義する
- フォーマット化命令:イベント報告情報についてTS 23.502[3]条項4.15.1において定義されているパラメータは、可能なフォーマット化命令および処理命令の一部でもあり、付加的に下記のパラメータ、すなわち、定期的な大量データ通知、時間窓、通知イベントクラビング、処理ルールが含まれ得る。
- NF(またはNF設定された)ID:データ仕様において定義されているAPI情報についてのソースである、特定のNFまたはNFセットを定義する
【0224】
■別の可能な代替案は、下記のうちのいずれかであり得るAPIパラメータの新しいセットを含む:
- APIデータ収集についての関心領域
- NF(またはNF設定された)ID:データ仕様において定義されているAPI情報についてのソースである、特定のNFまたはNFセットを定義する
- 収集されるべきKPIおよび/またはメトリックのリスト
- NF(またはNF設定された)ID:データ仕様において定義されているAPI情報についてのソースである、特定のNFまたはNFセットを定義する
【0225】
(8)推論トレーシング起動の表示を受信するNWDAFをサポートするためのNWDAFサービス動作の拡張:
・1つの代替案は、Nnwdaf_AnalyticsSubscription_AnalyticsTraceSubscriptionと呼ばれる新しいサービス動作により、NWDAFが強化されることである。このサービスは、NWDAFが、アナリティクストレーシングエンティティ能力を用いて、NWDAFについてのAICIを生成および提供することを可能にする。
【0226】
■入力パラメータ:(下記に列挙されたもののうちのいずれか)
- トレースされるべきアナリティクスの消費者の識別、例えば、この識別は、アナリティクスIDの消費者(すなわち、Nnwdaf_AnalyticsSubscription_SubscribeまたはNnwdaf_AnalyticsInfo_Requestを呼び出した消費者)のNF IDまたは通知相関IDとすることができる。
- アナリティクスIDサブスクリプションの識別。
- アナリティクスIDの識別
- NWDAFにおけるトレーシング起動の消費者の通知相関ID、これは、Nnwdaf_AnalyticsSubscription_ActivateTraceの消費者が、NWDAFにおけるアナリティクストレーシング情報に対する自身のサブスクリプションを識別することを可能にする。
【0227】
■出力パラメータ:サブスクリプション相関ID。
・Nnwdaf_AnalyticsSubscription_AnalyticsTraceNotify:
【0228】
■入力パラメータ(下記のうちのいずれか):
- 通知相関ID、アナリティクスIDサブスクリプションの識別、AICI
段階1、2および3において訓練NFの実施形態をサポートするためのNWDAF(MTLF)における変更:
【0229】
(1)実施形態のこの部分において論じられる全ての可能な拡張に共通する:
・再選択の表示または再訓練の表示についての情報のセットを表すための潜在的な代替案は、「再訓練する」または「再選択する」に設定されることが可能な「モデルトレーシングステータス」などのフラグを使用することである。さらに両方の表示からの情報のセットは、「再訓練する」または「再選択する」についての理由も含み得る。これは、別のパラメータ、例えば、「アナリティクス安定した」または「アナリティクス不安定」に設定されているフラグなどとして実装され得る。
【0230】
(2)NWDAF(MTLF)が、NWDAF(AnLF)またはアナリティクストレーシングエンティティを有するスタンドアロンのNWDAFから、不安定なアナリティクス通知および/または訓練ロールバック通知を受信するための拡張、実施形態についての可能な代替案は下記である:
・NWDAF(MTLF)によって供されるサービスの拡張。新しいサービスは、Nnwdaf_MLModelTracingサービスになる。可能な動作は下記である:
【0231】
■GetTracingNotifications(リクエスト/応答):消費者が、NWDAF(MTLF)に対する不安定なアナリティクス通知および/または訓練ロールバック通知を、さらなる情報(下記のうちのいずれか)、すなわち、アナリティクスID、アナリティクス段階(推論および/または)訓練)と共に、入力パラメータに含めることができる場合、
・NWDAF(AnLF)またはアナリティクストレーシングエンティティ300を有するスタンドアロンのNWDAFによって供されるサービスの拡張、ただし、NWDAF(MTLF)は、所与のMLモデルについて、不安定なアナリティクス通知および/または訓練ロールバック通知を受信することに対してサブスクライブする。サービスは、Nnwdaf_AnaltyicsTracingであり得、動作は、サブスクライブ/通知に関するものであり得、ただし、動作および関連付けられたパラメータは、下記であり得る:
【0232】
■SubscribeTracingInfo(サブスクライブ動作)、
- 入力パラメータ(下記のうちのいずれか):アナリティクスID、アナリティクス段階(推論および/または訓練)、MLモデルおよび/またはモデル識別、通知アドレス(NWDAF(MTLF)が通知を受信することを可能にするための)、通知相関ID。また、入力パラメータは、どの特定のタイプの通知を受信することに消費者が興味があるかを特定し得る:例えば、アナリティクス通知、訓練ロールバック通知。特定のタイプの通知がサブスクリプションにおいて示されていない場合、消費者は、示されたMLモデルおよび/またはサブスクリプションにおいて示されるモデルに関連する、任意のタイプの通知を受信することになる。
- 出力パラメータ:サブスクリプション相関ID。
【0233】
■NotifyTracingInfo(通知動作)
- 入力パラメータ:通知相関ID(これは、どのMLモデルおよび/またはモデルにこの通知が関連付けられているかを消費者が知ることを可能にする)ならびに通知、例えば:不安定なアナリティクス通知および/または訓練ロールバック通知
【0234】
(3)NWDAF(MTLF)がNWDAF(AnLF)から再選択についての表示および/または再訓練についての表示を受信するための拡張、実施形態についての可能な代替案は、下記である:
・1つの代替案は、新しい入力パラメータ、すなわち、サブスクリプション相関ID、アナリティクスIDのリスト、ならびに、アナリティクスIDの各々についての再選択についての表示および/または再訓練についての表示を含むように、既存のサービスNnwdaf_MLModelProvision_Subscribeの拡張を定義することである。これは、アナリティクスIDについてのMLモデルに対する既存のサブスクリプションについてのモデルの再訓練または再選択であるので、TS 23.288(V17.0.1)内の条項7.5.2において定義されているように、さらなる必要なパラメータまたは任意選択のパラメータをサブスクリプションに含める必要がない。
・別の代替案は、NWDAF(AnLF)がNWDAF(MTLF)に再選択についての表示および/または再訓練についての表示を送ることも可能にするために、上述されたサービスNnwdaf_MLModelTacing_GetTracingNotifications(リクエスト/応答)も使用することである
【0235】
(4)NWDAF(MTLF)が、NWDAF(AnLF)または他のNWDAF(MTLF)に、不安定なアナリティクス通知および/もしくは不安定なアナリティクス通知確認または訓練ロールバック情報またはアナリティクスステータス通知を提供するための、NWDAF(MTLF)からのNnwdaf_MLModelProvisionサービスにおける拡張、これは、そのようなNWDAF(AnLF)によって以前に消費されたMLモデルおよび/またはモデルに関連する:。
・可能な1つの拡張は、Nnwdaf_MLModelProvision_Subscribeサービスの消費者、NWDAF(AnLF)および/または他のNWDAF(MTLF)に、アナリティクスについてのMLモデルおよび/またはモデルに対するサブスクリプションにおいて、不安定なアナリティクス通知および/もしくは不安定なアナリティクス通知確認または訓練ロールバック情報またはアナリティクスステータス通知を受信する意図を、その通知と共に示すことを可能にすることである。この場合において、Nnwdaf_MLModelProvision_Subscribeサービス入力パラメータは、下記のパラメータのうちのいずれかにより拡張されることが可能である:
【0236】
■現在のMLモデルおよび/またはモデル識別(すなわち、現在使用中であるモデル)
■使用されているMLモデルおよび/またはモデルに関連付けられたアナリティクス識別(例えば、アナリティクスID)
■現在のモデルが不安定なアナリティクスIDに関連することを示すフラグ
■現在のモデルの確認が不安定なアナリティクスIDに関連することを示すフラグ
■新しいモデルが必要とされることを示すフラグ
■現在のモデルの確認が、安定であることを示すフラグ
■ロールバック訓練情報(例えば、ロールバック訓練情報を含む情報)
・別の代替案は、個別サービスを作成することである。
【0237】
(5)MLモデルおよび/またはモデルを消費した推論NFおよび/または他の訓練NFに、訓練ロールバック情報を提供するための、実施形態についての可能な代替案は、下記である:
・訓練ロールバック情報にさらに関連する情報として、下記のパラメータのうちのいずれかを含めるための、サブスクライブ/リクエストされたモデルに関して通知するためのサービス動作の拡張:
【0238】
■使用されている現在のMLモデルおよび/またはモデルの識別
■アナリティクスID
■変更されたMLモデルおよび/またはモデルの識別
■変更されたMLモデルおよび/またはモデル情報(例えば、下記の情報、すなわち、とりわけ、勾配、アルゴリズム、重み、モデルアーキテクチャのうちのいずれか)
■現在のモデルが不安定なアナリティクスIDに関連することを示すフラグ
■変更を有するMLモデルおよび/またはモデルスクリプトおよび/またはファイルおよび/または設定
【0239】
(6)訓練トレーシング起動の表示を受信するNWDAFをサポートするためのNWDAFサービス動作の拡張:
・1つの代替案は、Nnwdaf_MLModelProvision_AnalyticsTraceSubscriptionと呼ばれる新しいサービス動作により、NWDAFが強化されることである。このサービスは、NWDAFが、アナリティクストレーシングエンティティ能力を用いて、NWDAFについてのAICIを生成および提供することを可能にする。
【0240】
■入力パラメータ:(下記に列挙されたもののうちのいずれか):
- トレースされるべきアナリティクス(例えば、アナリティクスID)についてのMLモデルおよび/またはモデルの消費者の識別、例えば、この識別は、アナリティクスIDについて供給されているMLモデルおよび/またはモデルの消費者(すなわち、Nnwdaf_MLModelProvision_Subscribeを呼び出した消費者)のNF IDまたは通知相関IDとすることができる。
- MLモデルおよび/またはモデルサブスクリプションの識別
- アナリティクスIDの識別
- MLモデルおよび/またはモデルの識別
- NWDAFにおけるトレーシング起動の消費者の通知相関ID、これは、Nnwdaf_MLModelProvision_AnalyticsTraceSubscriptionの消費者が、NWDAFにおけるアナリティクストレーシング情報に対する自身のサブスクリプションを識別することを可能にする。
【0241】
■出力パラメータ:サブスクリプション相関ID
・Nnwdaf_MLModelProvision_AnalyticsTraceNotify:
【0242】
■入力パラメータ(下記のうちのいずれか):
- 通知相関ID、アナリティクスIDサブスクリプションについてのMLモデルおよび/またはモデルの識別、ATCI
【0243】
■出力パラメータ:なし
【0244】
図8は、本開示の一実施形態による方法800を示す。方法800は、上記で説明されたようなネットワークアナリティクストレーシングエンティティ300のためのものであり、トレーシングエンティティ300によって行われ得る。方法800は、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示301を取得するステップ801を含む。さらに、アナリティクスIDについての少なくとも1つの出力が不安定である場合、および/またはアナリティクスIDが不安定である場合、アナリティクスIDに関連するロールバック通知302を提供するステップ802。
【0245】
ロールバック通知302は、下記のうちの1つまたは複数を含む:
・アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスIDであって、ロールバック通知302は、ネットワークアナリティクス消費者エンティティ330、ネットワークアナリティクス推論エンティティ310、またはネットワークアナリティクス訓練エンティティ320に対して提供される、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスID
・アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクション311であって、ロールバック通知302は、ネットワークアナリティクス推論エンティティ310に対して提供される、推論ロールバックアクション311
・アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクション321であって、ロールバック通知302は、ネットワークアナリティクス訓練エンティティ320に対して提供される、訓練ロールバックアクション321
図9は、本開示の一実施形態による方法900を示す。方法900は、ネットワークアナリティクス推論エンティティ310のためのものであり、推論エンティティ310によって行われ得る。方法900は、アナリティクスIDおよび/またはアナリティクスIDについての少なくとも1つのアナリティクス出力についての推論ロールバックアクション311を取得するステップ901を含む。さらに、方法900は、推論ロールバックアクション311を実行するステップ902を含む。
【0246】
推論ロールバックアクション311を実行することは、下記のうちの少なくとも1つを含む:
・アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する推論設定を変更すること
・アナリティクスIDについての少なくとも1つの出力に関する、および/またはアナリティクスIDに関する新しい推論設定を決定および設定すること
・アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての新しいアナリティクスモデルを選択すること
・アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルの停止。
【0247】
図10は、本開示の一実施形態による方法1000を示す。方法100は、ネットワークアナリティクス訓練エンティティ320のためのものであり、訓練エンティティ320によって行われ得る。方法1000は、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクション321を取得するステップ1001を含む。さらに、方法1000は、訓練ロールバックアクション321を実行するステップ1002を含む。
【0248】
訓練ロールバックアクション321を実行すること1002は、下記のうちの少なくとも1つを含む:
・アナリティクスIDについての少なくとも1つのアナリティクス出力および/またはアナリティクスIDに関する訓練設定を変更すること
・アナリティクスIDについての少なくとも1つのアナリティクス出力および/またはアナリティクスIDに関する新しい訓練設定を選択および設定すること
・アナリティクスIDについての少なくとも1つのアナリティクス出力および/またはアナリティクスIDについてのアナリティクスモデルの再訓練または再選択を行うこと
・アナリティクスIDについての少なくとも1つのアナリティクス出力および/またはアナリティクスIDについてのアナリティクスモデルを停止すること。
【0249】
図11は、本開示の一実施形態による方法1100を示す。方法1100は、ネットワークデータアナリティクス消費者エンティティ330のためのものであり、消費者エンティティ330によって行われ得る。方法1100は、ネットワークアナリティクストレーシングエンティティ300またはネットワークアナリティクス推論エンティティ310に対して、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示301を提供するステップ1101を含む。
【0250】
図12は、本開示の一実施形態による方法1200を示す。方法1200は、ネットワークアナリティクス管理エンティティ340のためのものであり、管理エンティティ340によって行われ得る。方法1200は、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための設定341を行うステップ1201を含む。付加的に、または代替的に、方法1200は、アナリティクスIDについてのアナリティクストレーシング情報403を設定するステップ1202を含む。付加的に、または代替的に、方法1200は、アナリティクスIDについての1つもしくは複数のアナリティクス出力に関する、および/またはアナリティクスIDに関する、1つまたは複数の品質表示についてのデータの収集を起動するための設定341を行うステップ1203を含む。
【0251】
本開示は、例および実装としての多様な実施形態と共に説明されてきた。ただし、他のバリエーションは、当業者および特許請求される主題を実施する者によって、図面、本開示および独立請求項の検討から、理解および達成されることが可能である。特許請求の範囲および説明において、「備える」という単語は、他の要素またはステップを除外せず、「a」または「an」という不定冠詞は、複数を除外しない。単一の要素または他のユニットは、特許請求の範囲において記載されている、いくつかのエンティティまたはアイテムの機能を実現し得る。一定の方策が、相互に異なる従属請求項において記載されるという単なる事実は、これらの方策の組み合わせが有利な実装において使用されることができないことを示さない。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
【手続補正書】
【提出日】2024-03-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ナリティクス識別子(ID)についての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示(301)を取得するステップと、
前記アナリティクスIDについての少なくとも1つの出力が不安定である場合、および/または前記アナリティクスIDが不安定である場合、前記アナリティクスIDに関連する通知(302)を提供するステップ
含み、前記通知(302)は、
- 前記アナリティクスIDについての前記少なくとも1つの不安定なアナリティクス出力および/または前記アナリティクスIDであって、前記通知は、ネットワークアナリティクス消費者エンティティ(330)、ネットワークアナリティクス推論エンティティ(310)、またはネットワークアナリティクス訓練エンティティ(320)に対して提供される、前記アナリティクスIDについての前記少なくとも1つの不安定なアナリティクス出力および/または前記アナリティクスIDと、
- 前記アナリティクスIDについての前記少なくとも1つの不安定なアナリティクス出力についての、および/または前記アナリティクスIDについての推論通知(311)であって、前記通知(302)は、前記ネットワークアナリティクス推論エンティティ(310)に対して提供される、推論通知(311)と、
- 前記アナリティクスIDについての前記少なくとも1つの不安定なアナリティクス出力についての、および/または前記アナリティクスIDについての訓練通知(321)であって、前記通知(302)は、前記ネットワークアナリティクス訓練エンティティ(320)に対して提供される、訓練通知(321)と
のうちの1つまたは複数を含む、方法
【請求項2】
前記アナリティクスIDに関連付けられたアナリティクストレーシング情報を作成するステップをさらに含む、請求項1に記載の方法。
【請求項3】
前記アナリティクスIDに関連付けられた前記アナリティクストレーシング情報は、アナリティクストレーシングデータ構造(ATDS)を含む、請求項2に記載の方法。
【請求項4】
前記ATDSは、前記アナリティクスIDのATDS、または前記アナリティクスIDについてのATDSを含む、請求項3に記載の方法。
【請求項5】
前記ATDSは、前記アナリティクスIDについての時間アナリティクストレーシング情報記録に関連付けられる、請求項3または4に記載の方法。
【請求項6】
前記ATDSは、ATDS記録の履歴セットを含む、請求項3から5のいずれかに記載の方法。
【請求項7】
前記ATDSは、所与のアナリティクスを使用するときの所与の時点でのネットワーク状態を示すATDS記録を含む、請求項3から6のいずれかに記載の方法。
【請求項8】
前記所与のアナリティクスは、
アナリティクスID、
アナリティクスタイプ、または
1つまたは複数のアナリティクス出力
のうちの1つまたは複数を含む、請求項7に記載の方法。
【請求項9】
前記通知は、
不安定なアナリティクスID、
アナリティクスIDに関連付けられた不安定なアナリティクス出力
のうちの1つまたは複数に関連付けられた1つまたは複数の情報を含む、請求項1から8のいずれかに記載の方法。
【請求項10】
前記通知は、
・ 不安定なアナリティクスIDとみなされた前記ATDS記録の前記アナリティクスIDについてのアナリティクス推論設定情報(AICI)および/またはアナリティクス訓練設定情報(ATCI)を有するATDS記録、
・ アナリティクスIDおよび/またはアナリティクス出力の識別ならびにフラグを有するタプルなどのパラメータであって、このフラグはアナリティクス(IDおよび/または出力)に関して問題(またはエラー)があることを表す、パラメータ
のうちの1つまたは複数を含む、請求項9に記載の方法。
【請求項11】
前記フラグは、
不安定なアナリティクス、
アナリティクス使用中止、
無効なアナリティクス、または
一時的に無効なアナリティクス
のうちの1つまたは複数を含む、請求項10に記載の方法。
【請求項12】
前記不安定なアナリティクスIDは、前記アナリティクスIDおよび/またはアナリティクス出力に関して問題(および/またはエラー)があることを示す、請求項10または11に記載の方法。
【請求項13】
前記方法は、アナリティクス論理機能(AnLF)を含むネットワークデータアナリティクス機能(NWDAF)に適用される、請求項1乃至12のいずれかに記載の方法。
【請求項14】
コンピュータプログラムであって、コンピュータ上で実行された場合に、請求項乃至13のいずれか一項に記載の方法を行うためのプログラムコードを備える、コンピュータプログラム。
【請求項15】
プロセッサを備える装置であって、前記プロセッサがプログラムコードを呼び出すと、前記装置が請求項1乃至13のいずれか一項に記載の方法を実行することを可能にする、装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、新世代モバイルネットワーク、例えば、第5世代(5G)モバイルネットワークと、モバイルネットワークにおけるアナリティクス情報の生成とに関する。特に、本開示は、アナリティクス識別子(ID)、またはアナリティクスIDについての1つもしくは複数のアナリティクス出力をトレースすることに関係する。さらに、本開示は、不安定なアナリティクスID、またはアナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についてのロールバックを推論または訓練することに関係する。この目的のために、開示は、ネットワークアナリティクストレーシングエンティティ、ネットワークアナリティクス推論エンティティ、ネットワークアナリティクス訓練エンティティ、ネットワークアナリティクス消費者エンティティ、ネットワークアナリティクス管理エンティティ、および、これらのエンティティのための方法を提示する。
【背景技術】
【0002】
現在のモバイルネットワークにおいて、ネットワークデータアナリティクス機能(NWDAF)は、多様なアナリティクス機能を提供しており、多様なアナリティクス機能は、いくつかのネットワーク機能(NF)によって、それらの決定(例えば、無線アクセス技術(RAT)および周波数選択を支援するためにNFをサポートするべく、NWDAFによって提供され得るアナリティクス情報)を改善するために、または行うために使用されることが可能である。各アナリティクス機能は、NWDAFによってリクエストされるアナリティクス(出力)を示すために、NF機能が使用することができる、それ自体のID(アナリティクスID)を有する。図1に示されるように、NWDAFは、同じNWDAFエンティティの一部とすることができる、または異なるNWDAFエンティティに配置されることが可能である、2つの機能性、すなわち、a)訓練された機械学習モデルを使用して、アナリティクスおよび/または予測を提供する推論と、b)収集されたデータおよび/または訓練データセットを使用して、機械学習モデルを生成する訓練とから成る。図1は、特に、セッション管理(SM)のためのアナリティクスID消費の例を示す。
【0003】
NWDAFアナリティクスの品質は、多様な要因、例えば、モードを訓練するための収集データの品質および量、機械学習モデルの構成等によって影響を与えられる。結果的に、NWDAF機械学習モデルの品質は、NWDAFアナリティクスの使用に応じて、ネットワークパフォーマンスまたはネットワークステータスに影響を与えることがある。成功した(または効率的な、または信頼性の高い)アナリティクスIDは、安定したネットワークステータスをもたらすことまたは維持することができ、一方で、成功率の低い(または非効率的な、または信頼性の低い)アナリティクスIDは、不安定なネットワークステータスをもたらすことまたは生み出すことができる。安定したネットワークステータスの場合、システムキーパフォーマンスインジケータ(KPI)および/またはメトリックが、使用の予想されるパターン内に保たれる(または改善される)。不安定なネットワークステータスの場合、システム負荷のKPIおよび/またはメトリックは、予想されるパターンに留まるが、特定の状況を示すKPIは、不安定である(または予想されるパターンから低下する)。
【0004】
したがって、不安定なネットワークステータスをもたらすアナリティクスIDの場合を検出および対処することが重要である。しかしながら、不安定なネットワークステータスをもたらすアナリティクスIDを検出および修正するための時間は、NWDAFブラックボックスロジックに依存する変数である。それは、数秒かかることがあり(例えば、それがモデル再選択である場合)、または、それは、数日かかる(例えば、十分なデータ量を有するデータ収集を必要とする、もしくは、MLアナリストによるモデルチューニングのために人間の介入を有する)ことがある。
【発明の概要】
【0005】
本開示およびその実施形態は、図2を参照する、下記のさらなる考慮に基づいており、図2は、アナリティクスIDを使用するNF決定の影響に起因する、不安定なネットワークステータスの例を示す。
【0006】
現在、NFが、アナリティクスIDを消費することを停止した場合(例えば、NWDAFがそれを修正している間に)、これは、NF動作のロジックにおける主要なギャップをもたらし、それは再び、その意志決定における主要な矛盾をもたらし、ネットワークステータスに影響を与える決定が、NFのロジック全体を反映していないので、ネットワークステータスの劣化を悪化させる可能性、またはNWDAFが歪んだデータを収集する可能性がある。NFが、問題を有する同じアナリティクスIDを消費し続ける場合、NFは、不安定なネットワークステータスをもたらす決定を行い続けることになる。NWDAF推論が、(例えば、そのローカル情報から、またはNWDAF訓練をクエリすることによって)MLモデルを単純に再選択する場合、それは、データ収集のサイクルを介してのみ、アナリティクスIDに関する問題を認識することができる。そのため、上記の代替的オプションのいずれも、上記に説明された問題に対する有効な解決策または効果的な解決策を構成しない。
【0007】
すなわち、NWDAF推論は、安定したネットワークステータスをもたらすアナリティクスID出力を提供し続けることができないことがあり得るという問題がある。さらに、NWDAF訓練は、アナリティクスIDにおける問題を十分に高速に認識しないことがあり得、したがって、不安定なネットワークステータスをもたらすアナリティクスID出力の構成/生成の修正をサポートすることができない。
【0008】
この問題に対する解決策が現在欠如していることは、以下の重要な技術的問題をさらにもたらす。修復されたアナリティクスIDにおいて考慮されたネットワークステータスと、不安定なアナリティクスIDをNWDAFが修復していた期間中に、NFが、不安定であるとみなされたアナリティクスIDについてのアナリティクス出力を消費することを停止した後に、そのような修復されたアナリティクスを消費することを再開した場合のネットワークステータスとの間には、限りない不整合が存在することになる。NFが、(修復の必要性に起因して)アナリティクスIDを消費することを停止した場合、NFは、(アナリティクスID出力をそれ以上考慮しないことによって)その決定論理を変更することになり、これは、ネットワークステータスにおいて効果を有し得る。並行して、NWDAFがアナリティクスIDを修復するために使用し得るデータは、アナリティクスIDがNFによって再び消費される場合と同じシナリオを反映しないので、ネットワークステータスデータが、NFによって影響を受けるネットワークステータスの実際の挙動の一部のみを反映する場合、NWDAFは、不安定なアナリティクスIDを修復するために、このデータを使用していることになる。
【0009】
これまでの従来の解決策は、(a)訓練サンプルにおけるラベルの信頼性を検出することに着目する。しかしながら、これは、訓練フェーズのみにとっての特有の問題であり、これのみでは、システムKPIにおける訓練されたモデル(すなわち、アナリティクスID)の効果を検出することも、ネットワークステータスにおける変更に対する誤ったラベルをトレースすることもできない。さらに、解決策は、(b)以前に収集されたデータのバッチへのロールバックを許容するために、複数のソースからデータのバッチを収集することに着目する。しかしながら、そのような解決策は、信頼性の低い/不安定なアナリティクスIDを具体的に検出するための、またはアナリティクスIDの構成を制御するための機構を考慮しない。さらに、解決策は、(c)コンピュータシステム内のリソースに対する要求を受信した際に、以前の知られている良好な状態へのロールバックを実行することに着目する(ただし、リソースは、データベース、ロードバランサー、スケーリングループマシンとして定義される)。しかしながら、アナリティクスIDのロールバック構成に対する具体的な解決策は考慮されていない。さらに、アナリティクスIDは、コンピュータリソースではない。アナリティクスIDは、システムプロパティとして広く定義されることが可能である。
【0010】
3GPPにおいて、具体的な解決策は定義されていないが、NWDAFが、アナリティクスID出力を消費するNFから、直接的なフィードバックを受信することができる可能性を仕様は示唆している。これは、NWDAFが著しい量のデータ収集を必要とせずに、パフォーマンス低下を検出することを可能にすることができる。しかしながら、NWDAFがパフォーマンス低下を検出し、アナリティクスID出力を改善しようと試行している場合に、進行中のアナリティクスサブスクリプション期間中に何がNFに起こるかという問題は考慮されていない。
【0011】
上記に鑑みて、本開示の実施形態は、識別された問題を解決すること、および上述された欠点を回避する改善された解決策を提供することを目指す。目的は、アナリティクスID、またはアナリティクスIDについての1つもしくは複数のアナリティクス出力が、安定したネットワークステータスをもたらすことを確実にすることである。別の目的は、アナリティクス訓練が、任意の不安定なアナリティクスIDにおける、またはアナリティクスIDについての少なくとも1つの不安定なアナリティクス出力における問題を迅速に認識することを可能にすることである。
【0012】
これらの目的および他の目的は、添付された独立請求項において説明されるような本開示の実施形態によって達成される。実施形態の有利な実装は、従属請求項においてさらに定義される。
【0013】
特に、本開示は、アナリティクスIDの、またはアナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングを可能にするための方法、インターフェース、およびエンティティを紹介する。トレーシングは、ネットワークアナリティクストレーシングエンティティによって行われてよく、不安定なアナリティクスID、またはアナリティクスIDについての不安定なアナリティクス出力を検出することを可能にすることができる。これは、不安定なアナリティクスIDまたは(推論および/もしくは訓練における)アナリティクスについての不安定なアナリティクス出力の構成を戻すこと(またはロールバック)、特に、モバイルシステム内の最後の知られていた安定したネットワーク状態へのロールバックをさらに可能にすることができる。これは、ネットワークアナリティクス推論エンティティ(例えば、NWDAF推論)が、1つまたは複数のネットワークアナリティクス消費者エンティティ(例えば、NWDAF消費者)に、アナリティクスID出力を提供し続けることを可能にし、これは安定したネットワークステータスをもたらす。さらに、これは、不安定なネットワークステータスをもたらし得る、アナリティクスID、またはアナリティクスIDについての1つもしくは複数のアナリティクス出力の構成および/または生成における問題を、ネットワークアナリティクス訓練エンティティ(例えば、NWDAF訓練)が認識することをサポートすることを可能にする。
【0014】
本開示の第1の態様は、ネットワークアナリティクストレーシングエンティティであって、アナリティクス識別子(ID)についての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を取得することと、アナリティクスIDについての少なくとも1つの出力が不安定である場合、および/またはアナリティクスIDが不安定である場合、アナリティクスIDに関連するロールバック通知を提供することとを行うように構成され、ロールバック通知は、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスIDであって、ロールバック通知は、ネットワークアナリティクス消費者エンティティ、ネットワークアナリティクス推論エンティティ、またはネットワークアナリティクス訓練エンティティに対して提供される、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスIDと、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクションであって、ロールバック通知は、ネットワークアナリティクス推論エンティティに対して提供される、推論ロールバックアクションと、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクションであって、ロールバック通知は、ネットワークアナリティクス訓練エンティティに対して提供される、訓練ロールバックアクションとのうちの1つまたは複数を含む、ネットワークアナリティクストレーシングエンティティを提供する。
【0015】
ネットワークアナリティクストレーシングエンティティは、アナリティクスID、および/またはアナリティクスIDの1つもしくは複数のアナリティクス出力のトレーシングを開始し得、したがって、不安定な設定を識別し得る。トレーシングエンティティは、ロールバック通知をそれぞれのロールバックアクションと共にさらに提供することができ、これは、アナリティクスIDまたはアナリティクス出力を安定した設定へ戻すことを可能にする。したがって、トレーシングエンティティは、アナリティクスID、および/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力が、安定したネットワークステータスをもたらすことを確実にすることを助ける。さらに、それは、ネットワークアナリティクス訓練エンティティが、不安定なアナリティクスIDおよび/またはアナリティクスIDについての少なくとも1つの不安定なアナリティクス出力に関する問題を、より高速に認識することを助け得る。
【0016】
第1の態様の一実装形式において、推論ロールバックアクションは、ネットワークアナリティクス推論エンティティにおいて、少なくとも1つの不安定なアナリティクス出力に関する、および/もしくはアナリティクスIDに関する推論設定を変更するためのアクションであり、ならびに/または、訓練ロールバックアクションは、ネットワークアナリティクス訓練エンティティにおいて、少なくとも1つの不安定なアナリティクス出力に関する、および/またはアナリティクスIDに関する訓練設定を変更するためのアクションである。
【0017】
推論設定および/または訓練設定の変更は、不安定なアナリティクスIDおよび/またはアナリティクスIDについての少なくとも1つの不安定なアナリティクス出力を安定した状態へ戻すことができる。
【0018】
第1の態様の一実装形式において、ネットワークアナリティクストレーシングエンティティは、トレーシングを起動するための情報を有する表示に基づいて、アナリティクスIDについての1つもしくは複数のアナリティクス出力をトレースすること、および/またはアナリティクスIDをトレースすることと、アナリティクスIDについての1つもしくは複数のアナリティクス出力および/またはアナリティクスIDのトレーシングに基づいて、ロールバック通知を提供することとを行うように構成される。
【0019】
トレーシングエンティティは、不安定なアナリティクスIDおよび/またはアナリティクスIDについての少なくとも1つの不安定なアナリティクス出力を識別し得る。トレーシングエンティティは、不安定性についての理由も識別し得る。ロールバック通知におけるロールバックアクションは、トレーシング、すなわち、不安定性および任意選択で理由の識別に基づいて、選択され得る。したがって、可能な限り最良のロールバックアクションは、ロールバック通知により提供されることが可能である。
【0020】
第1の態様の一実装形式において、ネットワークアナリティクストレーシングエンティティは、ロールバックステータス通知を受信するようにさらに構成され、ロールバックステータス通知は、ネットワークアナリティクス推論エンティティによって実行される推論ロールバックアクションのステータス、およびネットワークアナリティクス訓練エンティティによって実行される訓練ロールバックアクションのステータスのうちの少なくとも1つを含む。
【0021】
したがって、第1の態様のトレーシングエンティティは、ロールバックアクションが例えば成功したか否かについて知らされ得る。さらに、トレーシングエンティティは、将来の決定についての情報をこのように集め得る。例えば、同じアナリティクスIDおよび/またはアナリティクスIDについての少なくとも1つの不安定な出力の別の不安定性が発生した場合、それは、以前に受信されたロールバックステータスを考慮する、さらなるロールバック通知を提供し得る。
【0022】
第1の態様の一実装形式において、ネットワークアナリティクストレーシングエンティティは、アナリティクスIDについての1つまたは複数のアナリティクス出力が安定していること、およびアナリティクスIDが安定していることのうちの少なくとも1つを示すアナリティクスステータス通知、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力が不安定であるという確認、アナリティクスIDについての1つもしくは複数のアナリティクス出力およびアナリティクスIDのうちの少なくとも1つに関する推論設定のトレーシングを起動するための情報を有する推論トレーシング起動表示、アナリティクスIDについての1つまたは複数のアナリティクス出力およびアナリティクスIDのうちの少なくとも1つに関する訓練設定のトレーシングを起動するための訓練トレーシング起動表示のうちの少なくとも1つを提供するようにさらに構成される。
【0023】
これは、他のエンティティが、不安定なアナリティクスIDおよび/または不安定なアナリティクス出力に適合することを可能にし得る。さらに、これは、例えば、ネットワークアナリティクス訓練エンティティおよびネットワークアナリティクス推論エンティティにおいて、推論および/または訓練設定のトレーシングをそれぞれ開始し得る。
【0024】
第1の態様の一実装形式において、ネットワークアナリティクストレーシングエンティティは、アナリティクスIDについての1つもしくは複数のアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクストレーシング情報を生成し、アナリティクストレーシング情報に基づいて、推論ロールバックアクションおよび/または訓練ロールバックアクションを決定するようにさらに構成され、アナリティクストレーシング情報は、アナリティクスID、アナリティクスIDについての1つまたは複数のアナリティクス出力に対するアナリティクスIDの関連付け、アナリティクスIDについての1つまたは複数のアナリティクス出力およびアナリティクスIDのうちの少なくとも1つに関する、1つまたは複数の品質表示、アナリティクスIDに関する、および/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力に関する推論設定、アナリティクスIDに関する、および/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力に関する訓練設定のうちのいずれかを含む。
【0025】
アナリティクストレーシング情報は、本開示において「アナリティクストレーシングデータ構造」とも称される。アナリティクストレーシング情報は、トレーシングエンティティにおいて、アナリティクスIDおよび/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力に関して利用可能な全ての情報を維持するために使用されることが可能である。それは、それぞれの訓練設定および/または推論設定を維持してもよく、したがって、トレーシングエンティティによる最良のロールバックアクションの選択をサポートする。トレーシングエンティティは、多くのアナリティクスID、およびこれらのアナリティクスIDについてのそれぞれのアナリティクス出力についてのアナリティクストレーシング情報を有し得る。
【0026】
第1の態様の一実装形式において、アナリティクストレーシング情報は、アナリティクスIDに関連付けられた、および/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力に関連付けられた、推論ロールバックアクションのステータス、訓練ロールバックアクションのステータス、1つまたは複数の推論ロールバックアクション、および、1つまたは複数の訓練ロールバックアクションのうちの少なくとも1つをさらに含む。
【0027】
これは、特に、同じアナリティクスIDおよび/またはアナリティクスIDについての少なくとも1つのアナリティクス出力が再度不安定である場合に、トレーシングエンティティによるロールバックアクションの選択をさらにサポートする。
【0028】
第1の態様の一実装形式において、アナリティクストレーシング情報は、タイムスタンプ、ネットワークアナリティクス推論エンティティの識別、ネットワークアナリティクス訓練エンティティの識別、ネットワークアナリティクス消費者エンティティの識別、アナリティクスIDについての1つまたは複数のアナリティクス出力の識別のうちの少なくとも1つに対する、アナリティクスIDおよび/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力の関連付けをさらに含む。
【0029】
これは、トレーシングエンティティの動作、特に、多様なアナリティクスIDおよびアナリティクスIDについてのアナリティクス出力のトレーシング、ならびに不安定性の場合におけるロールバックアクションの選択をさらに容易にする。
【0030】
第1の態様の一実装形式において、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を取得するステップは、ネットワークアナリティクス消費者エンティティ、ネットワークアナリティクス推論エンティティ、およびネットワークアナリティクス訓練エンティティのうちの少なくとも1つから、アナリティクスIDについての1つもしくは複数の出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を含むメッセージを受信することと、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を含む設定を受信することとのうちの1つを含む。
【0031】
すなわち、トレーシングエンティティは、別のエンティティによって、トレーシングを起動するための情報を送られ得、またはトレーシングを起動するために、この情報により設定され得る。
【0032】
第1の態様の一実装形式において、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報は、フラグであって、フラグは、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングをいつ開始するかを定義する、フラグと、アナリティクスIDおよびフラグであって、フラグは、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングをいつ開始するかを定義する、アナリティクスIDおよびフラグのうちの少なくとも1つを含む。
【0033】
したがって、トレーシングは、特定のアナリティクスIDに対して、および/または特定の時刻において、トリガされることができる。
【0034】
本開示の第2の態様は、ネットワークアナリティクス推論エンティティであって、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクションを取得することと、推論ロールバックアクションを実行することとを行うように構成され、推論ロールバックアクションを実行することは、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する推論設定を変更することと、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する新しい推論設定を決定および設定することと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての新しいアナリティクスモデルを選択することと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルを停止することとのうちの少なくとも1つを含む、ネットワークアナリティクス推論エンティティを提供する。
【0035】
第2の態様のネットワークアナリティクス推論エンティティは、アナリティクス推論(例えば、NWDAF推論)を行うように構成されたエンティティである。それによって、それは、1つまたは複数のアナリティクスIDについて、1つまたは複数のアナリティクス出力をそれぞれ出力し得る。
【0036】
推論ロールバックアクションを実行することによって、推論エンティティは、ネットワークを安定したステータスに復活させること、特に、安定したアナリティクスIDおよび/またはアナリティクスIDについての安定したアナリティクス出力が提供されることを確実にすることを助ける。それによって、推論エンティティは、安定したステータスに戻すために、様々なオプションから選択し得る。
【0037】
第2の態様の一実装形式において、推論ロールバックアクションを取得することは、ネットワークアナリティクストレーシングエンティティから、アナリティクスIDに関連するロールバック通知を受信することであって、ロールバック通知は、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクションを含む、受信することと、推論ロールバックアクションにより設定されることと、ネットワークアナリティクストレーシングエンティティから、ロールバック通知を受信することであって、ロールバック通知は、アナリティクスIDについての少なくとも1つのアナリティクス出力および/またはアナリティクスIDを含み、ロールバック通知に基づいて、推論ロールバックアクションを決定することとのうちの1つを含む。
【0038】
すなわち、推論エンティティが、実行するべき推論ロールバックアクションをどのように認識するかについて様々な可能性がある。第1の態様のトレーシングエンティティは、推論ロールバックアクションにより推論エンティティを構成し得る。
【0039】
第2の態様の一実装形式において、ネットワークアナリティクス推論エンティティは、取得されたまたは実行された推論ロールバックアクションに基づいて、ネットワークアナリティクス消費者エンティティ、ネットワークアナリティクス訓練エンティティ、または別のネットワークアナリティクス推論エンティティに対して、アナリティクスIDについての少なくとも1つのアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという通知、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという確認、アナリティクスIDについての1つまたは複数のアナリティクス出力が安定していること、およびアナリティクスIDが安定していることのうちの少なくとも1つを示すアナリティクスステータス通知のうちの少なくとも1つを提供するようにさらに構成される。
【0040】
このようにして、その他の1つまたは複数のエンティティは、認識しまたは安定したおよび/または不安定なアナリティクスIDおよびアナリティクスIDについてのアナリティクス出力であり得、それらの挙動またはアナリティクス出力の使用を適切に適合させ得る。
【0041】
第2の態様の一実装形式において、ネットワークアナリティクス推論エンティティは、アナリティクスIDについての1つまたは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を、ネットワークアナリティクストレーシングエンティティに対して提供するようにさらに構成される。
【0042】
したがって、推論エンティティは、ネットワークアナリティクストレーシングエンティティをトリガするエンティティとなり得る。推論エンティティは、トレースされるべきアナリティクスIDおよび/またはこれらのアナリティクスIDについてのアナリティクス出力を選択し得る。推論エンティティがこれを行い得るのは、例えば、不安定なアナリティクスIDまたはアナリティクス出力があるのではないかとそれが疑う場合、例えば、推論結果が予想通りでない場合である。
【0043】
第2の態様の一実装形式において、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての新しいアナリティクスモデルを選択することは、不安定なアナリティクスIDに関連する、および/またはアナリティクスIDについての少なくとも1つの不安定なアナリティクス出力に関連する選択表示を、ネットワークアナリティクス訓練エンティティに対して提供することを含み、選択表示は、アナリティクスIDについての少なくとも1つのアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという通知と、新しいアナリティクスモデルを選択するためのリクエストであって、リクエストは、新しいアナリティクスモデルを選択するための理由を含む、リクエストと、新しいアナリティクスモデルを生成するためにアナリティクスモデルを再訓練するためのリクエストであって、リクエストは、アナリティクスモデルを再訓練するための理由を含む、リクエストとのうちの少なくとも1つを含む。
【0044】
新しいアナリティクスモデルにより、アナリティクスIDおよび/またはアナリティクスIDについてのアナリティクス出力の安定性が回復され得る。
【0045】
第2の態様の一実装形式において、ネットワークアナリティクス推論エンティティは、ネットワークアナリティクス消費者エンティティから、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての以前に一時停止されたサブスクリプションを再起動するための表示を受信するようにさらに構成される。
【0046】
これは、例えば、不安定であると識別されたアナリティクスIDおよび/またはアナリティクスIDについての1つもしくは複数のアナリティクス出力が、安定したステータス(例えば、最後の安定したバージョン)へロールバックされている場合に、当てはまり得る。
【0047】
第2の態様の一実装形式において、ネットワークアナリティクス推論エンティティは、ネットワークアナリティクストレーシングエンティティに対してロールバックステータス通知を提供するようにさらに構成され、ロールバックステータス通知は、ネットワークアナリティクス推論エンティティによって実行される推論ロールバックアクションのステータスを含む。
【0048】
したがって、トレーシングエンティティは、推論ロールバックアクションのステータスを認識し得、これを上記に説明されたように考慮に入れ得る。
【0049】
第2の態様の一実装形式において、ネットワークアナリティクス推論エンティティは、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を取得することと、トレーシングを起動するための情報を有する表示に基づいて、アナリティクスIDに関する、および/またはアナリティクスIDについての少なくとも1つのアナリティクス出力に関する推論設定を生成することとを行うようにさらに構成される。
【0050】
第2の態様の一実装形式において、ネットワークアナリティクス推論エンティティは、ネットワークアナリティクストレーシングエンティティに対して、アナリティクスIDに関する、および/またはアナリティクスIDについての少なくとも1つのアナリティクス出力に関する推論設定を提供するようにさらに構成される。
【0051】
推論設定がトレーシングエンティティに対して提供され得るので、それは、アナリティクスIDおよび/またはアナリティクスIDについてのアナリティクス出力の不安定性に対処するための推論ロールバックアクションの選択を容易にし得る。
【0052】
本開示の第3の態様は、ネットワークアナリティクス訓練エンティティであって、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクションを取得することと、訓練ロールバックアクションを実行することとを行うように構成され、訓練ロールバックアクションを実行することは、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する訓練設定を変更することと、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する新しい訓練設定を選択および設定することと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルの再訓練または再選択を行うことと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルを停止することとのうちの少なくとも1つを含む、ネットワークアナリティクス訓練エンティティを提供する。
【0053】
第3の態様のネットワークアナリティクス訓練エンティティは、アナリティクス訓練(例えば、NWDAF訓練)を行うように構成されたエンティティである。それによって、それは、1つまたは複数のアナリティクスモデルを訓練し得、それらは、ネットワークアナリティクス推論エンティティによって、アナリティクス出力を提供するために使用され得る。ネットワークアナリティクス訓練エンティティとネットワークアナリティクス推論エンティティとは、1つのエンティティ(例えば、NWDAF)へと組み合わされ得る。
【0054】
訓練ロールバックアクションを実行することによって、訓練エンティティは、ネットワークを安定したステータスに復活させること、特に、安定したアナリティクスIDおよび/またはアナリティクスIDについての安定したアナリティクス出力が提供されることを確実にすることを助ける。それによって、訓練エンティティは、安定したステータスに戻すために、様々なオプションから選択し得る。
【0055】
第3の態様の一実装形式において、訓練ロールバックアクションを取得することは、ネットワークアナリティクストレーシングエンティティから、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのロールバック通知を受信することであって、ロールバック通知は、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクションを含む、受信することと、訓練ロールバックアクションにより設定されることとのうちの1つを含む。
【0056】
すなわち、訓練エンティティが、実行するべき訓練ロールバックアクションをどのように認識するかについて様々な可能性がある。第1の態様のトレーシングエンティティは、訓練ロールバックアクションにより訓練エンティティを構成し得る。
【0057】
第3の態様の一実装形式において、ネットワークアナリティクストレーシングエンティティは、取得されたまたは実行された訓練ロールバックアクションに基づいて、ネットワークアナリティクス消費者エンティティ、ネットワークアナリティクス推論エンティティ、または別のネットワークアナリティクス訓練エンティティに対して、アナリティクスIDについての少なくとも1つのアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという通知と、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという確認と、アナリティクスIDについての1つもしくは複数のアナリティクス出力が安定していること、および/またはアナリティクスIDが安定していることのうちの少なくとも1つを示すアナリティクスステータス通知と、訓練ロールバックアクションに関する情報と、アナリティクスモデルの再訓練、または再選択、または停止についての理由の表示とのうちの少なくとも1つを提供するようにさらに構成される。
【0058】
このようにして、その他の1つまたは複数のエンティティは、安定したおよび/または不安定なアナリティクスIDおよびアナリティクスIDについてのアナリティクス出力を認識し得、それらの挙動またはアナリティクス出力の使用を適切に適合させ得る。
【0059】
第3の態様の一実装形式において、ネットワークアナリティクス訓練エンティティは、ネットワークアナリティクス推論エンティティまたは別のネットワークアナリティクス訓練エンティティから、アナリティクスモデルの再訓練または再選択についての理由の表示を取得するようにさらに構成され、理由の表示は、アナリティクスIDについての少なくとも1つのアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという通知と、新しいアナリティクスモデルを選択するためのリクエストと、新しいアナリティクスモデルを生成するためにアナリティクスモデルを再訓練するためのリクエストとのうちの少なくとも1つを含む。
【0060】
新しいアナリティクスモデルにより、アナリティクスIDおよび/またはアナリティクスIDについてのアナリティクス出力の安定性が回復され得る。
【0061】
第3の態様の一実装形式において、ネットワークアナリティクス訓練エンティティは、理由の取得された表示に基づいて、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDに関するアナリティクスモデルに関する訓練設定を決定するようにさらに構成される。
【0062】
第3の態様の一実装形式において、ネットワークアナリティクス訓練エンティティは、ネットワークアナリティクス推論エンティティまたは別のネットワークアナリティクス訓練エンティティに対して、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を提供するようにさらに構成される。
【0063】
第3の態様の一実装形式において、ネットワークアナリティクス訓練エンティティは、ネットワークアナリティクストレーシングエンティティに対してロールバックステータス通知を提供するようにさらに構成され、ロールバックステータス通知は、ネットワークアナリティクス推論エンティティによって実行される訓練ロールバックアクションのステータスを含む。
【0064】
したがって、トレーシングエンティティは、訓練ロールバックアクションのステータスを認識し得、これを上記に説明されたように考慮に入れ得る。
【0065】
第3の態様の一実装形式において、ネットワークアナリティクス訓練エンティティは、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を取得することと、トレーシングを起動するための情報を有する表示に基づいて、アナリティクスIDについての1つもしくは複数のアナリティクス出力に関する、および/またはアナリティクスIDについての訓練設定を生成することとをさらに行うように構成される。
【0066】
第3の態様の一実装形式において、ネットワークアナリティクス訓練エンティティは、ネットワークアナリティクストレーシングエンティティに対して、アナリティクスIDについての1つもしくは複数のアナリティクス出力に関する、および/またはアナリティクスIDについての訓練設定を提供するようにさらに構成される。
【0067】
訓練設定がトレーシングエンティティに対して提供され得るので、訓練設定は、アナリティクスIDおよび/またはアナリティクスIDについてのアナリティクス出力の不安定性に対処するための推論ロールバックアクションの選択を容易にし得る。
【0068】
本開示の第4の態様は、ネットワークアナリティクストレーシングエンティティまたはネットワークアナリティクス推論エンティティに対して、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を提供するように構成されたネットワークデータアナリティクス消費者エンティティを提供する。
【0069】
したがって、消費者エンティティ(例えば、NWDAF消費者)は、アナリティクスIDおよび/またはアナリティクスIDについてのアナリティクス出力のトレーシングをトリガし得、したがって、不安定性の場合におけるロールバックをサポートし得る。
【0070】
第4の態様の一実装形式において、ネットワークデータアナリティクス消費者エンティティは、アナリティクスIDについての1つもしくは複数のアナリティクス出力についての、および/またはアナリティクスIDについての以前に一時停止されたサブスクリプションを再起動するための表示を提供するようにさらに構成される。
【0071】
例えば、以前に不安定なアナリティクスIDまたはアナリティクスIDについての出力が再度安定している場合である。
【0072】
第4の態様の一実装形式において、ネットワークアナリティクス消費者エンティティは、ネットワークアナリティクストレーシングエンティティまたはネットワークアナリティクス推論エンティティから、アナリティクスIDについての少なくとも1つのアナリティクス出力が不安定である、および/またはアナリティクスIDが不安定であるという通知と、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力が不安定であるという確認と、アナリティクスIDについての1つもしくは複数のアナリティクス出力が安定していること、および/またはアナリティクスIDが安定していることのうちの少なくとも1つを示すアナリティクスステータス通知とのうちの少なくとも1つを取得するようにさらに構成される。
【0073】
したがって、ネットワークアナリティクス消費者エンティティは、その挙動を、特に、アナリティクスIDおよび/またはアナリティクスIDについてのアナリティクス出力のその使用を、適切に適合させ得る。例えば、それは、1つもしくは複数の不安定なアナリティクスIDおよび/または1つもしくは複数のアナリティクスIDについての1つもしくは複数の不安定なアナリティクス出力の消費および/またはサブスクリプションを一時停止させ得る。
【0074】
第4の態様の一実装形式において、ネットワークアナリティクス消費者エンティティは、ネットワークアナリティクストレーシングエンティティに対して、アナリティクスIDの1つもしくは複数のアナリティクス出力のうちの少なくとも1つに関する、および/またはアナリティクスIDに関する、1つまたは複数の品質表示を提供するようにさらに構成される。
【0075】
これは、トレーシングエンティティが、1つもしくは複数のアナリティクスIDおよび/または1つもしくは複数のアナリティクスIDについての1つもしくは複数のアナリティクス出力が不安定であるかどうかを決定することを可能にし得る。
【0076】
本開示の第5の態様は、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/もしくはアナリティクスIDのトレーシングを起動するための設定を行うこと、ならびに/または、アナリティクスIDについてのアナリティクストレーシング情報を設定すること、ならびに/または、アナリティクスIDについての1つもしくは複数のアナリティクス出力に関する、および/またはアナリティクスIDに関する、1つもしくは複数の品質表示についてのデータの収集を起動するための設定を行うことを行うように構成されたネットワークアナリティクス管理エンティティを提供する。
【0077】
したがって、ネットワークアナリティクス管理エンティティは、トレーシングエンティティをそのトレーシングにおいてサポートし得、したがって、ネットワークにおけるアナリティクス出力の安定性をサポートし得る。
【0078】
本開示の第6の態様は、ネットワークアナリティクストレーシングエンティティのための方法であって、方法は、アナリティクス識別子(ID)についての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を取得するステップと、アナリティクスIDについての少なくとも1つの出力が不安定である場合、および/またはアナリティクスIDが不安定である場合、アナリティクスIDに関連するロールバック通知を提供するステップとを含み、ロールバック通知は、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスIDであって、ロールバック通知は、ネットワークアナリティクス消費者エンティティ、ネットワークアナリティクス推論エンティティ、またはネットワークアナリティクス訓練エンティティに対して提供される、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスIDと、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクションであって、ロールバック通知は、ネットワークアナリティクス推論エンティティに対して提供される、推論ロールバックアクションと、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクションであって、ロールバック通知は、ネットワークアナリティクス訓練エンティティに対して提供される、訓練ロールバックアクションとのうちの1つまたは複数を含む、方法を提供する。
【0079】
第6の態様の方法は、第1の態様のトレーシングエンティティに対応しており、第1の態様の実装形式に対応する実装形式を有し得る。したがって、第6の態様の方法およびその実装形式は、第1の態様のトレーシングエンティティおよびその実装形式について上記に説明された利点と同じ利点を達成し得る。
【0080】
本開示の第7の態様は、ネットワークアナリティクス推論エンティティのための方法であって、方法は、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクションを取得するステップと、推論ロールバックアクションを実行するステップとを含み、推論ロールバックアクションを実行するステップは、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する推論設定を変更することと、アナリティクスIDについての少なくとも1つの出力に関する、および/またはアナリティクスIDに関する新しい推論設定を決定および設定することと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての新しいアナリティクスモデルを選択することと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルを停止することとのうちの少なくとも1つを含む、方法を提供する。
【0081】
第7の態様の方法は、第2の態様の推論エンティティに対応しており、第2の態様の実装形式に対応する実装形式を有し得る。したがって、第7の態様の方法およびその実装形式は、第2の態様の推論エンティティおよびその実装形式について上記に説明された利点と同じ利点を達成し得る。
【0082】
本開示の第8の態様は、ネットワークアナリティクス訓練エンティティのための方法であって、方法は、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクションを取得するステップと、訓練ロールバックアクションを実行するステップとを含み、訓練ロールバックアクションを実行するステップは、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する訓練設定を変更することと、アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する新しい訓練設定を選択および設定することと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルの再訓練または再選択を行うことと、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルを停止することとのうちの少なくとも1つを含む、方法を提供する。
【0083】
第8の態様の方法は、第3の態様の訓練エンティティに対応し、第3の態様の実装形式に対応する実装形式を有し得る。したがって、第8の態様の方法およびその実装形式は、第3の態様の訓練エンティティおよびその実装形式について上記に説明された利点と同じ利点を達成し得る。
【0084】
本開示の第9の態様は、ネットワークデータアナリティクス消費者エンティティのための方法であって、方法は、ネットワークアナリティクストレーシングエンティティまたはネットワークアナリティクス推論エンティティに対して、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示を提供するステップを含む、方法を提供する。
【0085】
第9の態様の方法は、第4の態様の消費者エンティティに対応しており、第4の態様の実装形式に対応する実装形式を有し得る。したがって、第9の態様の方法およびその実装形式は、第4の態様の消費者エンティティおよびその実装形式について上記に説明された利点と同じ利点を達成し得る。
【0086】
本開示の第10の態様は、ネットワークアナリティクス管理エンティティのための方法であって、方法は、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/もしくはアナリティクスIDのトレーシングを起動するための設定を行うステップ、ならびに/または、アナリティクスIDについてのアナリティクストレーシング情報を設定するステップ、ならびに/または、アナリティクスIDについての1つもしくは複数のアナリティクス出力に関する、および/もしくはアナリティクスIDに関する、1つもしくは複数の品質表示についてのデータの収集を起動するための設定を行うステップを含む、方法を提供する。
【0087】
第10の態様の方法は、第5の態様の管理エンティティに対応しており、第5の態様の実装形式に対応する実装形式を有し得る。したがって、第10の態様の方法およびその実装形式は、第10の態様の管理エンティティおよびその実装形式について上記に説明された利点と同じ利点を達成し得る。
【0088】
本開示の第11の態様は、コンピュータプログラムであって、コンピュータまたはプロセッサ上で実行された場合に、第6の態様、第7の態様、第8の態様、第9の態様もしくは第10の態様、または、これらの実装形式のうちのいずれかによる方法を行うためのプログラムコードを備える、コンピュータプログラムを提供する。
【0089】
本開示の第12の態様は、実行可能なプログラムコードを記憶する非一時的な記憶媒体であって、実行可能なプログラムコードは、プロセッサによって実行された場合、第6の態様、第7の態様、第8の態様、第9の態様もしくは第10の態様、または、これらの実装形式のうちのいずれかによる方法を行わせる、非一時的な記憶媒体を提供する。
【0090】
本開示において説明される全てのエンティティ、要素、ユニットおよび手段は、ソフトウェア要素もしくはハードウェア要素、または、これらの任意の種類の組み合わせにおいて実装され得ることが留意されなければならない。本出願において説明される多様なエンティティによって行われるあらゆるステップ、および多様なエンティティによって行われるべきものとして説明される機能性は、それぞれのエンティティがそれぞれのステップおよび機能性を行うように適合または構成されることを意味するように意図されている。特定の実施形態の下記の説明において、外部エンティティによって行われるべき特定の機能性またはステップが、その特定のステップまたは機能性を行うそのエンティティの具体的な詳細な要素の説明において反映されていない場合であっても、これらの方法および機能性が、それぞれのソフトウェア要素もしくはハードウェア要素、または、これらの任意の種類の組み合わせにおいて実装されることが可能であることは当業者にとって明らかなはずである。
【図面の簡単な説明】
【0091】
上記に説明される態様および実装形式は、添付の図面に関連して、特定の実施形態の下記の説明において解説されることになる。
図1】セッション管理(SM)についてのアナリティクスID消費の例を示す図である。
図2】アナリティクスIDを使用するNF決定の影響に起因する、不安定なネットワークステータスの例を示す図である。
図3】本開示の実施形態による多様なエンティティを例示する図である。
図4】本開示の実施形態によるエンティティによって行われる手順の段階1および4を示す図である。
図5】本開示の実施形態によるエンティティによって行われる、図4の手順の段階2、3および5を示す図である。
図6】本開示の実施形態によるエンティティの第1の代替的実装を示す図である。
図7】本開示の実施形態によるエンティティの第2の代替的実装を示す図である。
図8】ネットワークアナリティクストレーシングエンティティについての本開示の一実施形態による方法を示す図である。
図9】ネットワークアナリティクス推論エンティティについての本開示の一実施形態による方法を示す図である。
図10】ネットワークアナリティクス訓練エンティティについての本開示の一実施形態による方法を示す図である。
図11】ネットワークアナリティクス消費者エンティティについての本開示の一実施形態による方法を示す図である。
図12】ネットワークアナリティクス管理エンティティについての本開示の一実施形態による方法を示す図である。
【発明を実施するための形態】
【0092】
定義
本開示のこのセクションにおいて、本開示の概要部分および実施形態の詳細な説明部分において使用される多様な用語が、解説および/または定義される。解説および/または定義は、本開示の全体にわたって有効である。
【0093】
不安定なアナリティクスID:不安定なネットワークステータスに関連付けられるアナリティクスID(例えば、アナリティクスタイプ)の1つもしくは複数のアナリティクス出力および/またはアナリティクスID。不安定なアナリティクスIDという用語の同義語は、不安定なアナリティクス出力、非効率的なアナリティクス出力(またはID、またはタイプ)、信頼性の低いアナリティクス出力(またはID、またはタイプ)、低精度のアナリティクス出力(またはID、またはタイプ)を含む。不安定なアナリティクスIDとみなされるアナリティクスIDの1つもしくは複数のアナリティクス出力および/またはアナリティクスIDは、低いネットワークパフォーマンスの表示に関連付けられる。これらの表示の例は、NF消費者からのフィードバック(NFフィードバック)、アナリティクスIDグレード、定義された/構成された/予想される閾値から逸脱するアナリティクスIDグレードに関する通知である。
【0094】
安定したアナリティクスID:安定したネットワークステータスをもたらす(例えば、安定したネットワークステータスに関連する、または関連付けられる)アナリティクスIDの1つもしくは複数のアナリティクス出力(例えば、アナリティクスタイプ)および/またはアナリティクスID。安定したアナリティクスIDという用語の同義語は、安定したアナリティクス出力、効率的なアナリティクス出力(またはID、またはタイプ)、信頼できるアナリティクス出力(またはID、またはタイプ)、高精度のアナリティクス出力(またはID、またはタイプ)である。
【0095】
ネットワークステータス:ネットワークパフォーマンスを定量化する1つまたは複数の情報である。ネットワークステータスを表すために使用されることが可能な情報の例は、ネットワークに関連付けられるKPIおよび/またはメトリックである。
【0096】
安定したネットワークステータス:ネットワークに関連するKPIおよび/またはメトリックが、予想される使用のパターン内に保たれる(または改善される)ネットワークステータスを定義する。
【0097】
不安定なネットワークステータス:ネットワークの全体的なパフォーマンスに関連するKPIおよび/またはメトリックが、予想されるパターンに留まるネットワークステータスを定義するが、特定の状況を示す特定のKPIおよび/またはメトリックが、予想されるパターンから外れており、または予想されるパターンから減少する。全体的なパフォーマンスメトリックの例は、受け入れられたPDUセッションの総数、平均リンクスループット、スライス当たりのUE登録の総数である。具体的な特定のKPIまたはメトリックの例は、アプリケーションのタイプ当たりの拒否されたセッションの数、UEのグループ当たりのリンク使用率である。ネットワークの全体的なパフォーマンスに関連するKPIまたはメトリックは、一般に、OAM、管理エンティティから取得されることが可能なパフォーマンス情報に関連することができる。一方で、特定のKPIおよび/またはメトリックは、一般に、制御プレーンエンティティ(例えば、セッション管理機能(SMF)、ポリシー制御機能(PCF)、アクセスおよびモビリティ管理機能(AMF))から取得されることが可能なパフォーマンス情報に関連することができる。
【0098】
不安定なアナリティクスIDに関する情報:1つまたは複数のデータおよび/もしくはパラメータおよび/もしくはプロパティ、ならびに/または、このセットが不安定なアナリティクスIDに関連付けられる推論および/または訓練におけるアナリティクスIDの構成(例えば、アナリティクスタイプ、アナリティクス出力)を定義する。
【0099】
不安定なアナリティクスIDをどのように修復するかに関する情報:データおよび/もしくはパラメータおよび/もしくはプロパティのセット、ならびに/または、モバイルシステムにおいて最後に知られていた安定したネットワーク状態に関連付けられた推論および/または訓練におけるアナリティクスIDの構成(例えば、アナリティクスタイプ、アナリティクス出力)を定義する。
【0100】
アナリティクスIDのトレーシング:アナリティクスIDを、アナリティクス出力、モバイルネットワークにおけるアナリティクス(IDおよび/もしくは出力)の使用の品質の表示、ならびに/または、そのようなアナリティクスIDについての推論および/または訓練における構成に関連付けるために実行されるプロセスを表す。言いかえれば、所与のアナリティクスIDについてアナリティクストレーシングデータ構造(ATDS)を作成し、そのようなアナリティクスIDについてのATDS記録を経時的に作成するためのプロセスである。
【0101】
アナリティクスIDトレーシング起動についての表示:アナリティクスIDトレーシング起動を含有するメッセージ。
【0102】
アナリティクスIDトレーシング起動:アナリティクスIDのトレーシングが開始される必要があることを示す、1つまたは複数のパラメータまたは情報。これらのパラメータの例は、フラグ(例えば、トレーシングフラグまたはロールバックフラグ)、アナリティクスIDおよびフラグを有するタプルである。
【0103】
推論トレーシング起動の表示:アナリティクス(IDおよび/または出力が開始される必要があるについての推論設定のトレーシングを表す、1つまたは複数のパラメータまたは情報。例えば、この1つまたは複数のパラメータは、推論NFに対して、それが、示されたアナリティクスについてアナリティクス情報設定情報(AICI)を作成し、そのような情報をネットワークアナリティクストレーシングエンティティに提供する必要があることを示す。
【0104】
訓練トレーシング起動の表示:アナリティクス(IDおよび/または出力が開始される必要があるについての訓練設定のトレーシングを表す、1つまたは複数のパラメータまたは情報。例えば、この1つまたは複数のパラメータは、訓練NFに対して、それが、示されたアナリティクスについてのATCI情報を作成し、そのような情報をアナリティクストレーシングエンティティに提供する必要があることを示す。
【0105】
アナリティクスIDトレーシング起動の設定:アナリティクスIDのトレーシングが開始される必要があると定義する管理エンティティ(例えば、運用、管理および保守(OAM))によって提供される、1つまたは複数の情報。
【0106】
アナリティクス出力:アナリティクスIDまたはタイプの生成された、計算された、予測されたインスタンスの結果を表す、1つまたは複数の情報。異なるアナリティクスIDは、アナリティクス出力を表す情報の異なるセットを有する。例えば、3GPP TS 23.288リリース17において定義されているような「観察されるサービス体験情報」などのアナリティクスIDは、そのようなアナリティクスIDについての出力が、以下の情報、すなわち、S-NSSAI、スライスインスタンスサービス体験(0...最大)のセットであることを定義し、S-NSSAIに関連するNSI IDの各々について、他の情報、例えば、NSI ID、スライスインスタンスサービス体験(0...最大)、SUPIリスト、(0..SUPImax)、同様のサービス体験を有するUEの推定される割合等などがある。
【0107】
アナリティクスIDまたはアナリティクスタイプ:推論NF(例えば、NWDAF)によって生成されることが可能なアナリティクスのタイプである。例えば、観察されるサービス体験情報、スライス負荷レベル情報、ネットワークパフォーマンス情報等。
【0108】
ATDS記録:アナリティクストレーシングデータ構造(ATDS)記録は、所与のアナリティクス(例えば、アナリティクスIDまたはアナリティクスタイプまたはアナリティクス出力)を使用する場合の所要の時点におけるネットワーク状態を定義する。ATDS記録は、1つもしくは複数のアナリティクス出力識別および/または1つもしくは複数のアナリティクス出力、モバイルネットワークにおけるアナリティクス(IDおよび/または出力)の使用の品質の表示(例えば、アナリティクス出力インスタンスまたはネットワーク機能(NF)フィードバックについてのアナリティクスIDグレード情報(AidGI)または不安定なアナリティクスID情報(UAiDI))、ならびに、アナリティクス出力またはアナリティクスIDについての推論および/または訓練設定情報(例えば、AICIおよび/またはATCI)のうちの少なくとも1つに対するアナリティクスIDの所与の時点におけるマッピングを示すタプルであり得る。任意選択で、ATDS記録は、ロールバックステータスおよびアナリティクスロールバックアクションも含むことができる。
【0109】
最後に知られていた安定したネットワーク状態:アナリティクス(IDおよび/または出力)についての最も適当なアナリティクス推論設定情報(AICI)および/またはアナリティクス訓練設定情報(ATCI)を有する、所与のアナリティクス(例えば、アナリティクスIDまたはアナリティクスタイプまたはアナリティクス出力)を使用する場合の所与の時点におけるネットワーク状態(例えば、ATDS記録)。
【0110】
アナリティクスロールバックアクション:アナリティクス(例えば、アナリティクス出力またはアナリティクスID、またはアナリティクスタイプ)に関連付けられた設定を変更するため、戻すため、再設定するために取られることが可能である可能なアクションを定義する、1つまたは複数の情報。この情報の例、および、それらがどのようにアクションを表すかが、以下のように説明される。
・情報の1つのセットは、アナリティクス(IDおよび/または出力)に関連付けられた、古い/現在の設定、パラメータ、プロパティに関連し、情報の第2のセットは、アナリティクス(IDおよび/または出力)に関連付けられた、新しい可能な設定、パラメータ、プロパティに関連する。この情報の2つのセットは、古い情報を新しい情報に置換するアクションが実行されるべきであることを定義する。
情報の1つのセットのみが、アナリティクス(IDおよび/または出力)に関連付けられた、新しい設定、パラメータ、およびプロパティに関連す。これは、アナリティクス(IDおよび/または出力)に関連する既存の情報を置換するために新しい情報が使用されるべきであることを示す。
情報の1つのセットのみが、古い/現在の設定に関連す。これは、アナリティクスのロールバックまたは再設定または修復のための特定のアクションが識別されなかったことを示す。
【0111】
ロールバックステータス通知:アナリティクスロールバックアクションを行う結果を説明する、1つまたは複数の情報。アクションの結果を説明する情報のセットの例は、以下である。
・成功したロールバック、任意選択で、推論ロールバック通知もしくは訓練ロールバック通知に含まれるアクションおよび/もしくは設定が実装された(例えば、設定を変更するために使用された)かどうかを示し、または、推論ロールバック通知もしくは訓練ロールバック通知に含まれているアクションおよび/もしくは設定とは異なるアクションおよび/もしくは設定が使用された場合、任意選択で、異なるアクションおよび/もしくは設定が使用されたことを示す。
・失敗したロールバック、任意選択で、推論ロールバック通知または訓練ロールバック通知に含まれるアクションおよび/または設定の表示が、実装されていない(例えば、提案された設定が使用されることができなかった)かどうかを示す。
・ロールバックなし、これは、アナリティクストレーシングエンティティによって、1つまたは複数の提案されたアナリティクスロールバックアクションが使用されなかったことを示す。
【0112】
アナリティクスステータス通知:アナリティクス(IDおよび/またはアナリティクス出力)を定義する情報は、安定したアナリティクスIDとみなされ、これは、アナリティクスに関して問題がないこと、またはアナリティクスがもはや安定したアナリティクスIDとはみなされないことを意味し、このことは、アナリティクスに関して問題があることを意味する。
【0113】
アナリティクスの使用の品質の表示:アナリティクスID(もしくはアナリティクスタイプ)および/またはアナリティクス出力の品質を、そのようなアナリティクス(アナリティクスIDまたはアナリティクスタイプ、またはアナリティクス出力)のネットワークとの関係において定義する情報。
【0114】
アナリティクスIDパフォーマンス情報(API):任意選択で、そのようなアナリティクスの特定の消費者(例えば、アナリティクス消費者)についての、監視されるべき、かつ、消費されるアナリティクス(IDおよび/またはアナリティクス出力)に関連付けられるべきKPI、メトリックを含む情報。APIは、AidGI計算のための入力としての役割を果たし、ネットワークステータスの変化におけるアナリティクスID消費の効果の識別をサポートする。
【0115】
アナリティクスIDグレード情報(AidGI):アナリティクスIDの消費の後の、ネットワークステータスにおける変化に対する消費されたアナリティクス(IDおよび/または出力の効果を、例えばグレードのフォーマットで定量化する、1つまたは複数の情報。AidGIを含む情報のセットの例は、以下のうちのいずれかである。
・AidGIの識別
・アナリティクスIDタイプの識別:グレードが計算されなければならないタイプアナリティクスID
・アナリティクスID出力の識別(のリスト)グレード計算のための時間間隔において消費されたアナリティクスIDについての1つまたは複数のアナリティクス出力情報の識別
・グレード値:消費されるアナリティクスIDについて監視されたAPIが、ネットワークステータスの予想されるパターンからどのように分岐するかを表す単一の値。例えば、
■グレード値は、1から-1の間の実数とすることができ、ただし、
- 0は、アナリティクスIDの消費が、予想されるネットワークステータスパターンにおいて有意な効果がなかったことを示す
- 1は、アナリティクスIDの消費が、予想されるネットワークステータスパターンにおいて有意なプラスの効果があった(例えば、KPIのパターンを改善した)ことを示す
- -1は、アナリティクスIDの消費が、予想されるネットワークステータスパターンにおいて有意なマイナスの効果を有した(例えば、KPIのパターンを劣化させた)ことを示す
不安定なアナリティクスID情報(UAidI):不安定なネットワークステータスをもたらすものとしてアナリティクスが識別されたことを表す閾値を、消費されるアナリティクス(IDおよび/または出力)に関連付けられたグレードが交差し、逸脱することを識別する、1つまたは複数の情報。UAidIを含む情報の例は、以下のうちのいずれかである。
・UAidIの識別
・アナリティクスIDタイプの識別:グレードが計算されなければならないタイプアナリティクスID
・アナリティクスID出力の識別(のリスト):グレード計算のための時間間隔において消費されたアナリティクスIDについての1つまたは複数のアナリティクス出力情報の識別
・計算されたグレード
・閾値からのグレード値逸脱
NFフィードバック:アナリティクス(IDおよび/または出力)の消費を、そのようなアナリティクスの消費者の観点において認定する情報。NFフィードバック情報の例は、以下のうちのいずれかとすることができる。
・NFフィードバックは、アナリティクスIDグレード情報(AidGI)と等価な情報のセットとすることができ、ただし、NF(例えば、アナリティクス消費者)は、その内部情報に基づいて、消費されるアナリティクス(IDおよび/または出力)についてのグレードを定義する。
・NFフィードバックは、不安定なアナリティクスID情報(UAidI)と等価な情報のセットとすることができ、ただし、NF(例えば、アナリティクス消費者)は、その内部情報に基づいて、消費されるアナリティクス(IDおよび/または出力)についてのグレードを識別し、閾値が交差されることは、アナリティクスに関する問題を示す。
・NFフィードバックは、アナリティクス(IDおよび/または出力)に関する情報と、アナリティクスに関する問題を示すフラグとを有するタプルとすることができる。
【0116】
アナリティクストレーシングデータ構造(ATDS):アナリティクス(例えば、アナリティクスID、アナリティクスタイプ、アナリティクス出力)についての1つまたは複数のネットワーク状態。ATDSは、アナリティクスIDと、アナリティクス出力、モバイルネットワークにおけるアナリティクスの使用の品質の表示、ならびに、アナリティクスについての推論および/または訓練における設定(これは、アナリティクス出力またはアナリティクスIDまたはアナリティクスタイプを意味することができる)、ならびに、任意選択で、アナリティクスロールバックアクションおよび/またはロールバックステータスとの関連付けを有するATDS記録の履歴のセットである。このデータ構造により、アナリティクスID、このアナリティクスIDのアナリティクス出力の異なる関連付け、アナリティクスIDグレード値(AidGI)および/またはUAidI警告および/またはNFフィードバック、アナリティクス出力またはアナリティクスIDについての推論設定および/または訓練設定の情報(例えば、AICIおよび/またはATCI)、ならびに、任意選択で、アナリティクスロールバックが行われており、ATDS記録に関連付けられている場合には、ロールバックステータスを経時的にトレースすることが可能である。アナリティクスIDグレード値(AidGI)および/またはUAidI警告は、モバイルネットワークにおけるアナリティクスID使用の品質の表示の例である。
【0117】
アナリティクスID推論設定情報(AICI):アナリティクス(IDおよび/または出力)を生成するために推論NFによって使用された設定および/またはパラメータ化に関連する1つまたは複数の情報。AICIは、下記に列挙された情報の例のうちのいずれかを含む。
・設定は、アナリティクスを生成するためのデータ収集の間隔、アナリティクス生成のための収集されたデータの前処理が適用されたかどうか、アナリティクスを生成するための収集されたデータのタイプ、コアネットワークエンティティに対するアクセスネットワークプロパティ(TA、セル、無線タイプ、無線周波数など)のマッピング(例えば、TAをAMFに関連付ける)またはプロパティ(例えば、TAごとの制限されたもしくは無制限のS-NSSAI)、地理的な集約レベル(例えば、UEごと、AoIごと)、時間的な集約(すなわち、分ごと、時間ごと)である。
・パラメータ化は、アナリティクスの生成のための(3GPP TS 23.288リリース17において定義されているような)アナリティクスフィルタ情報およびアナリティクス報告情報に関連し、または、アナリティクスの生成のためにデータを収集する場合、データ仕様またはフォーマットおよび処理(3GPP TS 23.288リリース17において定義されているような)定義に関連する
アナリティクスID訓練設定情報(ATCI):所与の時点におけるアナリティクス(IDおよび/または)出力)に対して使用された機械学習(ML)モデルまたは単純にモデル(例えば、最適化モデル)についての設定および/またはパラメータ化に関連する1つまたは複数の情報。ATCIは、下記に列挙される情報の例のうちのいずれかを含む。
・設定は、アナリティクスのためにMLモデルまたはモデルを訓練するためのデータ収集の間隔、アナリティクス訓練のための収集されたデータの前処理が適用されたかどうか、アナリティクスを訓練するための収集されたデータのタイプ、コアネットワークエンティティに対するアクセスネットワークプロパティ(TA、セル、無線タイプ、無線周波数など)のマッピング(例えば、TAをAMFに関連付ける)またはプロパティ(例えば、TAごとの制限されたもしくは無制限のS-NSSAI)、地理的な集約レベル(例えば、UEごと、AoIごと)、時間的な集約(すなわち、分ごと、時間ごと)である。
・訓練またはモデル化されるべきリクエストされたアナリティクスIDに関連するパラメータ化:アナリティクスについて(3GPP TS 23.288リリース17において定義されているような)アナリティクスフィルタ情報およびアナリティクス報告情報、または、アナリティクス訓練もしくは統計計算のためにデータを収集する場合には、データ仕様またはフォーマットおよび処理(3GPP TS 23.288リリース17において定義されているような)定義に関連する。
・MLモデルまたはモデルに関連するパラメータ化:アルゴリズムのタイプ、勾配、重み、モデルに関するアーキテクチャ情報(例えば、ニューラルネットワーク、層の数、層ごとのニューロンの量)、起動機能のタイプ、損失関数のタイプ、訓練のために使用されるエポックの数、モデル検証(例えば5回交差検証)の設定、様々なフェーズ(訓練、検証試験)についてのデータの量の分布、全てのフェーズの訓練、検証、および試験についてのスコア、使用されるメトリックのタイプ(例えば、中央絶対誤差、平均二乗誤差、決定係数R^2、F1スコア、精度、再現率、適合率等)。
【0118】
推論ロールバック通知(IRN):推論NFによって実施されることが可能な既存のアナリティクスIDに関連するロールバックアクションを定義する、おそらくはメッセージ内に同封される、1つまたは複数の情報。推論ロールバック通知は、例えば、以下とすることができる。
・不安定なアナリティクスID情報を有する1つのATDS記録と、アナリティクスIDについての最後に知られていた安定したネットワーク状態に関連付けられたATDS記録を有する別のATDS記録とを含有するメッセージ。
・推論ロールバック通知についての別の可能な実施形態は、アナリティクスIDおよび/またはアナリティクス出力の識別ならびにフラグを有するタプルなどのパラメータを有することであり、ただし、このフラグは、アナリティクス(IDおよび/または出力)に関する問題(またはエラー)があることを表す。使用されることが可能なフラグの例は、不安定なアナリティクス、アナリティクス使用中止、無効なアナリティクス、一時的に無効なアナリティクス、および推論ロールバックトリガのうちのいずれかである。
【0119】
訓練ロールバック通知(TRN):訓練NFによって実施されることが可能な既存のアナリティクス(IDおよび/または)出力)に関連するロールバックアクションに関連する、おそらくはメッセージ内に同封される、1つまたは複数の情報。訓練ロールバック通知は、例えば以下とすることができる。
・不安定なアナリティクスIDについてのMLモデル設定またはパラメータ化を有するATDS記録の訓練情報(例えば、ATCI)と、アナリティクスIDについてのMLモデルについて最後に知られていた安定したネットワーク状態に関連付けられたATDS記録を有するATDS記録の別の訓練情報(ATCI)とを含有するメッセージ
・訓練ロールバック通知についての別の可能な実施形態は、アナリティクスIDおよび/またはアナリティクス出力の識別とフラグとを有するタプルなどのパラメータを有することであり、ただし、このフラグは、アナリティクス(IDおよび/または出力)に関して問題(またはエラー)があることを表す。使用されることが可能なフラグの例は、不安定なアナリティクス、アナリティクス使用中止、無効なアナリティクス、一時的に無効なアナリティクス、および訓練ロールバックトリガのうちのいずれかである。
【0120】
不安定なアナリティクス通知(UN):アナリティクスIDおよび/またはアナリティクス出力を不安定なアナリティクスID、すなわち、ネットワークステータスにおける問題に関連するアナリティクス(IDおよび/または出力)として識別する、1つまたは複数の情報。不安定なアナリティクス通知は、下記に例として列挙された情報のうちのいずれかを含む。
・不安定なアナリティクスIDとみなされたATDS記録のアナリティクスIDについてのアナリティクス推論設定情報(AICI)および/またはアナリティクス訓練設定情報(ATCI)を有するATDS記録。この情報は、アナリティクスIDおよび/またはアナリティクス出力に関して問題(またはエラー)があることを示すことになる。
・アナリティクスIDおよび/またはアナリティクス出力の識別とフラグとを有するタプルなどのパラメータ、ただし、このフラグは、アナリティクス(IDおよび/または出力)に関して問題(またはエラー)があることを表す。使用されることが可能なフラグの例は、不安定なアナリティクス、アナリティクス使用中止、無効なアナリティクス、および一時的に無効なアナリティクスである。
【0121】
再選択についての表示:MLモデルおよび/またはモデルを、不安定なアナリティクスIDとみなされるアナリティクスIDおよび/またはアナリティクス出力、すなわち、ネットワークステータスにおける問題に関連するアナリティクス(IDおよび/または出力)に関連させる、1つまたは複数の情報。
【0122】
再訓練についての表示:MLモデルおよび/またはモデル訓練(および/または再訓練)についての必要性(例えば、リクエスト)を、不安定なアナリティクスIDとみなされるアナリティクスIDおよび/またはアナリティクス出力、すなわち、ネットワークステータスにおける問題に関連するアナリティクス(IDおよび/または出力)に関連させる、1つまたは複数の情報である。
【0123】
訓練ロールバック情報:アナリティクスIDおよび/またはアナリティクス出力に関連するMLモデルおよび/またはモデルにおける変化を示す、1つまたは複数の情報であり、ただし、MLモデルおよび/またはモデルは、不安定なアナリティクスID、すなわち、ネットワークステータスにおける問題に関連するアナリティクス(IDおよび/または出力)に関連付けられたものとして識別されている。訓練ロールバック情報を含む、1つまたは複数の情報の例は、
・不安定なアナリティクスIDに関連するMLモデルおよび/またはモデルの識別
・不安定なアナリティクスIDに関連するMLモデルおよび/またはモデルに関連する変更された情報の説明
・不安定なアナリティクスIDに関連するMLモデルおよび/またはモデルに関連する、1つまたは複数の変更された情報(例えば、勾配、バージョン、アーキテクチャ)
・変更を有するMLモデルおよび/またはモデルスクリプトおよび/またはファイルおよび/または設定
である。
【0124】
実施形態の詳細な説明
図3は、本開示の実施形態による多様なエンティティ300、310、320、330、340を示し、エンティティは、本開示において提案される手順に何らかの形で参加する。具体的には、図3は、ネットワークアナリティクストレーシングエンティティ300(「アナリティクストレーシングNF」とも称される)、ネットワークアナリティクス推論エンティティ310(例えば、NWDAF推論、「推論NF」とも称される)、ネットワークアナリティクス訓練エンティティ320(例えば、NWDAF訓練、「訓練NF」とも称される)、ネットワークアナリティクス消費者エンティティ330(例えば、NWDAF消費者、「消費者」または「消費者NF」とも称される)、および、ネットワークアナリティクス管理エンティティ340を示す。
【0125】
各エンティティ300、310、320、330、340は、本明細書において説明されるそれぞれのエンティティ300、310、320、330、340の多様な動作を行い、実施し、または開始するように構成されたプロセッサまたは処理回路(図示せず)を備え得る。処理回路は、ハードウェアを備えてよく、および/または処理回路は、ソフトウェアによって制御されてよい。ハードウェアは。アナログ回路構成もしくはデジタル回路構成、またはアナログ回路構成とデジタル回路構成との両方を備え得る。デジタル回路構成は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、または多目的プロセッサなどの構成要素を備え得る。各エンティティ300、310、320、330、340は、メモリ回路構成をさらに備えてよく、メモリ回路構成は、1つまたは複数の命令を記憶し、1つまたは複数の命令は、特にソフトウェアの制御下で、プロセッサによって、または処理回路によって実行されることが可能である。例えば、メモリ回路構成は、実行可能なソフトウェアコードを記憶する非一時的な記憶媒体を備えてよく、実行可能なソフトウェアコードは、プロセッサまたは処理回路によって実行された場合、それぞれのエンティティ300、310、320、330、340の多様な動作を行わせる。1つの実施形態において、処理回路は、1つまたは複数のプロセッサと、1つまたは複数のプロセッサに接続された非一時的なメモリとを備える。非一時的なメモリは、実行可能なプログラムコードを搭載してよく、実行可能なプログラムコードは、1つまたは複数のプロセッサによって実行された場合、それぞれのエンティティ300、310、320、330、340に、本明細書において説明される動作または方法を行わせ、実施させ、または開始させる。
【0126】
それぞれのエンティティ300、310、320、330、および340は、同じモバイルネットワーク、例えば、5Gモバイルネットワークの一部であってよい。エンティティ300、310、320、330、340は、特に、それらがその一部であるモバイルネットワークを介して、互いに相互作用するようにさらに構成され得る。具体的には、エンティティ300、310、320、330、340は、互いに通信するように、すなわち、別のエンティティに情報を提供することおよび/または別のエンティティから情報を受信することによって情報を交換するように構成され得る。エンティティ300、310、320、330、340のうちの2つの間の任意の通信は、モバイルネットワーク内のさらなるエンティティ(説明されないエンティティも)をさらに含んでもよく、すなわち、通信は、直接的または間接的であってよい。
【0127】
ネットワークアナリティクストレーシングエンティティ300は、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシング、および/またはアナリティクスIDのトレーシングを起動するための情報を有する表示301を取得するように構成される。例えば、それは、表示301を、消費者エンティティ330から、推論エンティティ310(これは消費者エンティティ330からそれを受信し得る)から、または訓練エンティティ320から、受信し得る。さらに、トレーシングエンティティ300は、それを取得するために、例えば、管理エンティティ340によって設定341を介して、表示301を用いて構成されてもよい。
【0128】
トレーシングエンティティ300は、アナリティクスIDについての少なくとも1つの出力が不安定である場合、および/またはアナリティクスIDが不安定である場合、アナリティクスIDに関連するロールバック通知302を提供するようにさらに構成される。ロールバック通知302は、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスIDを含んでよく、消費者エンティティ330、推論エンティティ320、または訓練エンティティ320へ提供され得る。さらに、それは、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクション311を含んでよく、この場合において、ロールバック通知302は、ネットワークアナリティクス推論エンティティ310へ提供される。それは、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクション321を含んでもよく、この場合において、ロールバック通知302は、ネットワークアナリティクス訓練エンティティ320へ提供される。
【0129】
ネットワークアナリティクス推論エンティティ310は、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクション311を取得するように構成される。例えば、それは、ネットワークアナリティクストレーシングエンティティ300から、アナリティクスIDに関連するロールバック通知302を受信することによって、推論ロールバックアクション311を取得し得る。それは、ロールバック通知302から推論ロールバックアクション311を抽出し得、またはそれをロールバック通知302に基づいて決定し得る。別の可能性は、例えば、トレーシングエンティティ300または管理エンティティ340によって、推論ロールバックアクション311を用いて推論エンティティ310が構成されることである。
【0130】
さらに、推論エンティティ310は、推論ロールバックアクション311を実行するように構成され、推論ロールバックアクション311を実行することは、アナリティクスIDについての少なくとも1つのアナリティクス出力に関するおよび/またはアナリティクスIDに関する推論設定を変更すること、アナリティクスIDについての少なくとも1つのアナリティクス出力に関するおよび/またはアナリティクスIDに関する新しい推論設定を決定および設定すること、アナリティクスIDについての少なくとも1つのアナリティクス出力に対するおよび/またはアナリティクスIDに対する新しいアナリティクスモデルを選択すること、ならびに、アナリティクスIDについての少なくとも1つのアナリティクス出力に対するおよび/またはアナリティクスIDに対するアナリティクスモデルを停止することのうちの少なくとも1つを含む。ロールバック通知302は、上記のうちのいずれを行うべきかを示し得る。
【0131】
ネットワークアナリティクス訓練エンティティ320は、アナリティクスIDについての少なくとも1つのアナリティクス出力について、および/またはアナリティクスIDについて、訓練ロールバックアクション321を取得するように構成される。例えば、それは、ネットワークアナリティクストレーシングエンティティ300から、アナリティクスIDに関連するロールバック通知302を受信することによって、訓練ロールバックアクション321を取得し得る。それは、ロールバック通知302から訓練ロールバックアクション31を抽出し得、またはそれをロールバック通知302に基づいて決定し得る。別の可能性は、例えば、トレーシングエンティティ300または管理エンティティ340によって、訓練ロールバックアクション31を用いて訓練エンティティ320が構成されることである。
【0132】
さらに、訓練エンティティ320は、訓練ロールバックアクション321を実行するように構成され、訓練ロールバックアクション321を実行することは、アナリティクスIDについての少なくとも1つのアナリティクス出力に関するおよび/またはアナリティクスIDに関する訓練設定を変更すること、アナリティクスIDについての少なくとも1つのアナリティクス出力に関するおよび/またはアナリティクスIDに関する新しい訓練設定を選択および設定すること、アナリティクスIDについての少なくとも1つのアナリティクス出力に対するおよび/またはアナリティクスIDに対するアナリティクスモデルの再訓練または再選択を行うこと、アナリティクスIDについての少なくとも1つのアナリティクス出力に対するおよび/またはアナリティクスIDに対するアナリティクスモデルを停止することのうちの少なくとも1つを含む。ロールバック通知302は、上記のうちのいずれを行うべきかを示し得る。
【0133】
ネットワークデータアナリティクス消費者エンティティ330は、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示301を、ネットワークアナリティクストレーシングエンティティ300またはネットワークアナリティクス推論エンティティ310のどちらかに提供するように構成される。
【0134】
ネットワークアナリティクス管理エンティティ340は、例えば、トレーシングエンティティ300において、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための設定341を行うように構成される。さらに、管理エンティティ340は、例えば、トレーシングエンティティ300において、アナリティクスIDについてのアナリティクストレーシング情報403を設定するように構成され得る。さらに、管理エンティティ340は、例えば、トレーシングエンティティ300または消費者エンティティ330において、アナリティクスIDについての1つもしくは複数のアナリティクス出力に関する、および/またはアナリティクスIDに関する、1つまたは複数の品質表示についてのデータの収集を起動するための設定341を行うように構成される。
【0135】
図4および図5は、概要部分において言及された問題に対する解決策として、本開示によって提案される例示的な詳細な手順を示す。手順は、例えば、図3に関して既に説明されたように、本開示の実施形態による多様なエンティティ310、320、330を含む。提案される解決策は、5つの段階のうちの少なくとも1つで構築される。図4は、段階1および4を示し、一方で、図5は、段階2、3、および5を示す。それによって、
・段階1は、アナリティクス情報のトレーシング、不安定なアナリティクス(出力および/またはID)を決定すること、およびアナリティクスロールバックアクション311、321をトリガすることを含む。
・段階2は、ネットワークアナリティクス推論エンティティ310において、アナリティクス(推論)ロールバックアクション311、321をハンドリングすることを含む。
・段階3は、ネットワークアナリティクス訓練エンティティ320において、アナリティクス(訓練)ロールバックアクション311、321をハンドリングすることを含む。
・段階4は、ネットワークステータスに対するアナリティクス消費関連付けを含む。
・段階5は、不安定なアナリティクス通知時のアナリティクス消費者エンティティ330アクションを含む。
【0136】
段階1および段階4は、図4および図5に示される、この例示的な手順において必須である。段階2および3は、段階1時に、解決策に任意選択で取り入れられことが可能なアクションの代替案を含む。段階5は、任意選択であり、段階1、2、3時に起動されることが可能である。
【0137】
図4に示されるように、段階1において、ネットワークアナリティクストレーシングエンティティ300と呼ばれる新しいエンティティは、例えば、表示301(特に、アナリティクスIDの同義語は、アナリティクスタイプまたは単純にアナリティクスである)を受信することによって、アナリティクスIDトレーシング起動を取得する(ステップ0、1)。この取得されたアナリティクスIDトレーシング起動に基づいて、トレーシングエンティティ300は、アナリティクスIDに関連付けられたアナリティクストレーシング情報403(すなわち、ATDS)、例えば、アナリティクスIDについてのATDS、またはアナリティクスIDのATDSを作成する(ステップ4)。作成されたATDSは、ATDS記録のセットを経時的に維持および記憶し得る。そのため、ATDSは、この場合において、アナリティクス出力に対するアナリティクスIDの関連付けを有するATDS記録の履歴のセット、モバイルネットワークにおけるアナリティクス(IDおよび/または出力)の使用の品質の表示、アナリティクスのための推論および/または訓練における設定(これは、アナリティクス出力またはアナリティクスIDまたはアナリティクスタイプを意味することができる)、ならびに、任意選択で、アナリティクスロールバックアクションおよび/またはロールバックステータスであり得る。各ATDS記録は、モバイルネットワーク内でアナリティクスIDを使用する場合のネットワークステータスを定義し得、以下のパラメータのうちの少なくとも1つに対するアナリティクスIDの所与の時点におけるマッピングを有するタプルを含み得る。
・記録作成のタイムスタンプ。
・1つもしくは複数のアナリティクス出力識別および/または1つもしくは複数のアナリティクス出力。
・アナリティクス監視エンティティ400(例えば、NWDAFもしくは別のNF)からのアナリティクス出力インスタンスについてのアナリティクスIDグレード情報(AidGI)および/または不安定なアナリティクスID情報(UAiDI)、または、NFもしくは消費者エンティティ330からのNFフィードバックを含む、モバイルネットワークにおけるアナリティクス(IDおよび/または出力)の使用の品質の表示。
・推論エンティティ310(例えば、推論NF、アナリティクス論理機能(AnLF)を含有するNWDAF)からのAICI、および/または、アナリティクス(これは、アナリティクス出力もしくはアナリティクスIDもしくはアナリティクスタイプを意味することができる)についての訓練エンティティ320(例えば、訓練NF、もしくはモデル訓練論理機能(MTLF)を含有するNWDAF)からのATCI。
・(任意選択で)アナリティクスロールバックアクション311、321。
・(任意選択で)ロールバックステータス(またはロールバックステータス通知)は、アナリティクスロールバックアクション311、321を行う結果を説明する情報のセットである。
【0138】
アナリティクスIDトレーシング起動(例えば、アナリティクスIDに関連付けられたATDSの作成)は、トレーシングエンティティ300によって、以下のうちの少なくとも1つに基づいて取得されることが可能である。
・NF(例えば、NFなどのNWDAF消費者または消費者エンティティ330、アナリティクス論理機能(AnLF)を含有するNWDAF、またはモデル訓練論理機能(MTLF)を含有するNWDAF)が、トレーシングエンティティ300に、アナリティクスIDトレーシング起動のための表示301を提供すること(ステップ0a~e)
・管理エンティティ340(例えば、OAM)が、トレーシングエンティティ300に、アナリティクスIDトレーシング起動の設定を提供すること(ステップ1)。
【0139】
アナリティクスIDトレーシング起動がトレーシングエンティティ300によってどのように取得されたかに依存して、トレーシングエンティティ300が、推論エンティティ310および/または訓練エンティティ320に、推論トレーシング起動402の表示および/または訓練トレーシング起動401の表示をそれぞれ提供しなければならないことがあり得る。例えば、
・トレーシングエンティティ300が、消費者エンティティ330からアナリティクスIDトレーシング起動についての表示301を受信する(ステップ0a)場合、またはトレーシングを起動するように構成される場合(ステップ1)、トレーシングエンティティ300は、推論エンティティ310および/または訓練エンティティ320に、アナリティクス(IDおよび/または出力)に関連するトレーシングプロセスおよびロールバックプロセスが行われることになることを示す必要がある。次いで、推論エンティティ310および/または訓練エンティティ320は、推論トレーシング起動402の表示または訓練トレーシング起動401の表示によってトリガされて、トレーシング、および、もし必要な場合には、下記に説明されるようなアナリティクスロールバックアクション311、321を行う。
・トレーシングエンティティ300が、推論エンティティ310からアナリティクスIDトレーシング起動についての表示を受信した場合(ステップ0d)、トレーシングエンティティ300は、任意選択で、訓練エンティティ320に、アナリティクス(IDおよび/または出力)に関連するトレーシングプロセスロールバックプロセスが行われることになることを示す必要がある。
・トレーシングエンティティ300が、訓練エンティティ320からアナリティクスIDトレーシング起動についての表示を受信した場合(ステップ0e)、トレーシングエンティティ300は、任意選択で、推論エンティティ310に、アナリティクス(IDおよび/または出力)に関連するトレーシングプロセスおよびロールバックプロセスが行われることになることを示す必要がある。
【0140】
トレーシングエンティティ300は、ATDS記録を作成し、構築し、および組み立てるための情報を規則的に取得し(ステップ5-9)、これは、以下のうちの少なくとも1つを含み得る。
・アナリティクス出力生成(例えば、アナリティクス出力識別またはアナリティクス出力自体)。
・アナリティクスIDグレード情報(AidGI)および/または不安定なアナリティクスID情報(UAiDI)および/またはアナリティクス出力に関するNFフィードバック。
・AICIおよび/またはアナリティクス出力についてのATCIおよび/またはアナリティクスID。
【0141】
トレーシングエンティティ300は、ATDS記録を作成し、構築し、組み立てるための規則的に取得される情報に基づいて、ATDS記録を作成し、このATDS記録をアナリティクスIDについてのATDSに含め、追加し、記憶する(ステップ11a)。
【0142】
トレーシングエンティティ300は、アナリティクスIDに関連付けられた不安定なアナリティクスがあるかを決定するために、アナリティクスIDのATDSを定期的にチェックする(ステップ11b)。トレーシングエンティティ300が、不安定なアナリティクスIDを有するATDS記録を識別した場合、それは、この情報を(例えば、フラグとして)ATDS記録に挿入する。TDS記録内の不安定なアナリティクスの識別の決定のために、トレーシングエンティティ300は、下記のプロセスのうちのいずれかを実行することができる。
・アナリティクスIDについてのATDSのATDS記録が、アナリティクスIDについての1つまたは複数のアナリティクス出力によって引き起こされている問題の表示を有する、NFからのフィードバック(例えば、NFフィードバック)を含有することを識別する。
・不安定なアナリティクスの決定を行う。トレーシングエンティティ300が不安定なアナリティクスの決定を行い得る様々な手法がある。
【0143】
■1つの可能な手法は、ATDS記録が不安定なアナリティクスID情報(UAiDI)を有することを検証することによるものであり、不安定なアナリティクスID情報は、アナリティクスIDが不安定なネットワークステータスをもたらすことを示す。
【0144】
■別の可能な代替案は、トレーシングエンティティ300が、アナリティクスIDについてのATDS記録のサブセットをチェックし、アナリティクスIDグレード情報(AidGI)に関連付けられたグレード情報が、不安定なネットワークステータスを潜在的にもたらす、ネットワークステータスの劣化を示す動向に従っていることを識別する場合である。例えば、チェックの一例は、トレーシングエンティティ300が、最後の10個のATDS記録のグレードにおいて移動平均を適用し、このチェックに基づいて、グレードの低下傾向を検出することである。
【0145】
トレーシングエンティティ300が、不安定なアナリティクス(例えば、考慮される不安定なアナリティクスIDに関連付けられたATDS記録の存在)を識別した場合、それは、アナリティクスについての最後に知られていた安定したネットワーク状態を決定するために、(不安定なアナリティクスIDの情報を有しない)アナリティクスIDについての他のATDS記録をチェックする(ステップ11c)。アナリティクスについての最後に知られていた安定したネットワーク状態は、アナリティクス出力および/またはアナリティクスIDについての最も適当なアナリティクス推論設定情報(AICI)および/またはアナリティクス訓練設定情報(ATCI)を有するATDS記録である。アナリティクスについての最後に知られていた安定したネットワーク状態を決定するための様々な可能な代替案がある。
・トレーシングエンティティ300は、アナリティクスについてのATDSから、アナリティクスIDグレード情報(AidGI)に記憶され、記録された最良のアナリティクスグレード値を有するATDS記録を選択する。
・トレーシングエンティティ300は、アナリティクスIDについて最もよく使用されるAICIおよび/またはATCIを有するATDS記録を選択する。
・トレーシングエンティティ300は、アナリティクスIDについてのATDS記録のアナリティクスIDグレード情報(AidGI)に記憶され、記録されたグレード値についての平均を計算し、グレード値についての計算された平均から標準偏差内にあるアナリティクス出力および/またはアナリティクスIDについて最もよく使用されるAICIおよび/またはATCIを識別する。
【0146】
トレーシングエンティティ300が、アナリティクスについて最後に知られていた安定したネットワーク状態を識別した(すなわち、アナリティクスIDについての最も適当なAICIおよび/またはATCIを有するATDS記録を識別した)場合、トレーシングエンティティ300は、アナリティクスロールバックアクション311、312が、例えば、消費者エンティティ330および/または推論エンティティ310および/または訓練エンティティ320によって使用されているアナリティクスIDに関連する設定、パラメータを戻すこと、変更することが、トリガされるべきかどうかを決定する。アナリティクスロールバックアクション311、321の必要性の識別の例、および識別されたアナリティクスロールバックアクション311、321(単に「ロールバックアクション」とも呼ばれる)は、以下のように説明される。
・オプション1:不安定なアナリティクスに関連付けられたATDS記録のアナリティクスIDについてのAICIおよび/またはATCIが、アナリティクスについての最後に知られていた安定したネットワーク状態として識別されたATDS記録のアナリティクスIDについてのAICIおよび/またはATCIと同じである場合、使用されるべきアナリティクスIDについての代替的AICIおよび/またはATCIがないので、トレーシングエンティティ300は、ロールバックを行うことができない。この場合において、トレーシングエンティティ300は、不安定なアナリティクス通知504を、消費者エンティティ330(段階2におけるステップ13a)および/または推論エンティティ310(段階2におけるステップ12a)および/または訓練エンティティ320(段階3におけるステップ12b)に提供することができる。この場合において、問題を解決するために何かが行われることが可能かを決定することは、そのような不安定なアナリティクス通知504を受信したエンティティに委ねられる。
・不安定なアナリティクスに関連付けられたATDS記録のアナリティクスIDについてのAICIおよび/またはATCIが、アナリティクスについての最後に知られていた安定したネットワーク状態として識別されたATDS記録のアナリティクスIDについてのAICIおよび/またはATCIと異なる場合、トレーシングエンティティ300は、下記のアクションを行うことを決定することができる。
・オプション2:AICIが、2つの比較されたATDS記録間の異なる情報である場合、不安定なアナリティクスIDに関連付けられたAICIおよび/またはアナリティクスについての最後に知られていた安定したネットワーク状態に関連付けられたAICIを含有する、推論ロールバック通知302(ロールバックアクション311を含み得る)を、推論エンティティ310に提供する(段階2におけるステップ12a)。このアクションは、提案される解決策における段階2をトリガすることになる。
・オプション3:ATCIが、2つの比較されたATDS記録間の異なる情報である場合、不安定なアナリティクスIDに関連付けられたATCIおよび/またはアナリティクスについての最後に知られていた安定したネットワーク状態に関連付けられたATCIを含有する、訓練ロールバック通知302(ロールバックアクション321を含み得る)を、訓練エンティティ320に提供する(ステップ12b)。このアクションは、提案される解決策における段階3をトリガすることになる。
・オプション4:AICIとATCIとの両方が、2つの比較されたATDS記録間の異なる情報である場合、不安定なアナリティクスIDに関連付けられたAICIおよびATCIならびに/またはアナリティクスについての最後に知られていた安定したネットワーク状態に関連付けられたAICIおよびATCIを含有する、推論ロールバック通知302/311を、推論エンティティ310に提供する(段階2におけるステップ12a)。このアクションは、提案される解決策における段階2をトリガすることになる。
・オプション5:AICIとATCIとの両方が、2つの比較されたATDS記録間の異なる情報である場合、トレーシングエンティティ300は、解決策の段階2および段階3を同時にトリガすることができる。トレーシングエンティティ300が、段階2をトリガした場合、それは、不安定なアナリティクスIDに関連付けられたAICIおよび/またはアナリティクスについての最後に知られていた安定したネットワーク状態に関連付けられたAICIを含有する、推論ロールバック通知302/311を、推論エンティティ310に提供する(段階2におけるステップ12a)。トレーシングエンティティ300が、段階3をトリガした場合、それは、不安定なアナリティクスIDに関連付けられたATCIおよび/またはアナリティクスについての最後に知られていた安定したネットワーク状態に関連付けられたATCIを含有する、訓練ロールバック通知302/321を、訓練エンティティ320に提供する(ステップ12b)。
【0147】
図5に示されるように、段階2において、推論エンティティ310が、アナリティクスロールバックアクション311を取得した場合、推論エンティティ310は、アナリティクスロールバックアクション311を含む情報を検証する。
・情報が、不安定なアナリティクス通知504を表す場合、推論エンティティ310は、以下のアクションを行うことができる。
【0148】
■不安定なアナリティクス通知504を、不安定なアナリティクス通知504において示されるアナリティクス(IDおよび/または出力)の消費者エンティティ330に提供する(ステップ13a)。例えば、推論エンティティ310は、まさに同じ不安定なアナリティクス通知504を消費者エンティティ330に転送し得、または、推論エンティティ310は、取得された不安定なアナリティクス通知504からの情報を処理し、別の不安定なアナリティクス通知504を生成して、1つまたは複数の消費者エンティティ330に送り得る。処理の例は、不安定なアナリティクス通知504から、AICIまたはATCIに関する情報を除去すること、ならびに、このメッセージを、アナリティクス(IDおよび/または出力)のタプルと不安定なアナリティクスIDを示すフラグとへ変換することである。
・情報が推論ロールバック通知302を表す場合、推論エンティティ310は、下記のアクションを行うことができる。
【0149】
■(任意選択で)ロールバックアクション311に関連付けられた情報が、不安定なアナリティクス通知504を表す場合に説明された同じ処理に続いて、不安定なアナリティクス通知504を消費者エンティティ330に提供または転送する(ステップ13a)。また、不安定なアナリティクス通知504の処理が、推論エンティティ310によって行われる場合、処理された不安定なアナリティクス通知504は、さらなる情報、例えば、行われるべきロールバックアクション311について推定される時間間隔を示すタイマなども含有することができる。これは、消費者エンティティ330が、この時間期間後に、推論エンティティ310(および/またはトレーシングエンティティ300)から、アナリティクスステータスにおける変更の確認(例えば、ロールバックが成功した場合における不安定なアナリティクスIDから安定したアナリティクスIDへの変更、不安定なアナリティクスIDの確認)を受信することになることを理解することを可能にすることになる。
【0150】
■取得された情報を分析し、アナリティクスロールバックアクション311に関連するアナリティクス(idおよび/または出力)における変更を実施する(ステップ14a)。下記のアクションは、取得された情報に応じて行われることが可能である。
【0151】
- (オプション2.1/5.1)アナリティクスロールバックアクション311が、AICIに両方とも関連する、情報の2つのセットを含む場合、情報の1つのセットは、アナリティクス(IDおよび/または出力)に関連付けられた現在のAICIに関連し、情報の第2のセットは、新しい可能なAICIに関連し、その結果、推論エンティティ310は、AICIの古いセットを新しいセットに交換することになる。
【0152】
- (オプション2.2/5.2)アナリティクスロールバックアクション311が、AICIに関連する情報の1つのセットを含む場合、情報の1つセットは、不安定なアナリティクスIDとみなされるアナリティクス(IDおよび/または出力)に関連付けられた現在のAICIに関連し、その結果、推論エンティティ310は、新しいAICIを決定し、この情報をアナリティクス(IDおよび/または出力)の生成のために使用することができる。
【0153】
- (オプション2.3/5.3)アナリティクスロールバックアクション311が、AICIに関連する情報の1つのセットを含む場合、情報の1つセットは、安定したアナリティクスIDとみなされるアナリティクス(IDおよび/または出力)に関連付けられた新しいAICIに関連し、その結果、推論エンティティ310は、アナリティクスについてのそれ自体のローカルな現在の設定を新しいAICIに交換し、この情報をアナリティクス(IDおよび/または出力)の生成のために使用することができる。
【0154】
- (オプション4.1)アナリティクスロールバックアクション311が、情報の4つのセットを含み、情報の2つのセットが、アナリティクス(IDおよび/または出力)に関連付けられた現在のAICIおよびATCIに関連し、情報のその他の2つのセットが、アナリティクス(IDおよび/または出力)に関連付けられた新しいAICIおよびATCIに関連する場合、推論エンティティ310は、下記を行うことができる。
【0155】
〇 AICIの古いセットのみを新しいセットに交換し、それをアナリティクス生成のために使用することを決定する。
【0156】
〇 AICIの古いセットを新しいセットに、ATCIの古いセットを新しいセットに交換し、それらをアナリティクス生成のために使用することを決定する。この場合において、推論エンティティ310が、ATCI内のMLモデルおよび/またはモデルを有しない場合、推論エンティティ310は、訓練エンティティ320から、ATCIに関連する、示されたMLモデルおよび/またはモデルを発見およびリクエストし得る(すなわち、モデル再選択を行い得る)。
【0157】
〇 ATCIの古いセットのみを新しいセットに交換し、それをアナリティクス生成のために使用することを再び決定し、新しいATCI内のMLモデルおよび/またはモデルが、推論エンティティ310において利用可能ではない場合、推論エンティティ310は、モデル再選択を行う必要があり得る。
【0158】
- (オプション4.2)アナリティクスロールバックアクション311が、情報の2つのセットを含み、情報の2つのセットが、アナリティクス(IDおよび/または出力)に関連付けられた現在のAICIおよびATCIに関連する場合、推論エンティティ310は、下記を行うことができる。
【0159】
〇 AICIの新しいセットのみを決定することを決定し、それをアナリティクス生成のために使用する。
【0160】
〇 いかなる訓練エンティティ320にも再選択のための理由を知らせずに、アナリティクス生成のための新しいMLモデルおよび/またはモデルを決定する(例えば、再選択する)ことを決定する。
【0161】
〇 アナリティクス生成のために使用されるべき新しいMLモデルおよび/またはモデルを決定し(例えば、再選択し、または再訓練をリクエストし)、再選択のための表示および/または再訓練のための表示を訓練エンティティ320に提供することを決定する(ステップ15a 図4)。
【0162】
〇 訓練エンティティ320に、アナリティクス(IDおよび/または出力)における問題に関して通知することを決定し(ステップ16a 図4)、この場合において、推論エンティティ310は、不安定なアナリティクス通知504を訓練エンティティ320に送ることができる。
【0163】
推論エンティティ310が、アナリティクスロールバックアクション311を実行し終えた場合、それは、下記の情報のうちのいずれかを提供することができる。
・トレーシングエンティティ300に対するロールバックステータス通知501(ステップ17a)
・消費者エンティティ330に対するアナリティクスステータス通知502(例えば、アナリティクスロールバックアクション311の実施に成功した場合)(ステップ18a)
・消費者エンティティ330に対する、不安定なアナリティクス通知(例えば、アナリティクスロールバックアクション311の実施に失敗した場合)の確認503(ステップ18a)
図5に示されるように、段階3において、訓練エンティティ320が、アナリティクスロールバックアクション321を取得した場合、訓練エンティティ320は、アナリティクスロールバックアクション321を含む情報を検証する(ステップ15b)。
・情報が、不安定なアナリティクス通知504を表す場合、訓練エンティティ320は、下記のアクションを行うことができる。
【0164】
■不安定なアナリティクス通知504において示されるアナリティクス(IDおよび/または出力)に関連付けられたMLモデルおよび/またはモデルの訓練またはモデルチューニングプロセスに関連する任意の他の訓練エンティティ320に、不安定なアナリティクス通知504を提供および/または転送する。これは、アナリティクスに関連付けられたMLモデルおよび/またはモデルの訓練またはモデルチューニングプロセスのプロセスに関与する全ての訓練エンティティ320が、問題を認識することを可能にすることになる。(第1の)訓練エンティティ320が、不安定なアナリティクス通知504を他の訓練エンティティ320に提供する場合、(第1の)訓練エンティティ320は、受信された不安定なアナリティクス通知504内のいくつかのさらなる処理を、他の訓練エンティティ320へ送る前に、適用し得る。例えば、それは、共有される訓練に関連する情報、例えば、部分的なMLモデルおよび/またはモデル重み、合同訓練において受信されたパラメータなどを含むことができる。
【0165】
■不安定なアナリティクス通知504に関連するMLモデルおよび/またはモデルを消費した1つ(または複数の)推論エンティティ310に、不安定なアナリティクス通知504を提供および/または転送する(ステップ14b 図4)。例えば、アナリティクスIDおよび/または出力識別は、不安定なアナリティクス通知に含まれ、訓練エンティティ320は、そのようなアナリティクスに関連付けられたMLモデルおよび/またはモデルをリクエストした、MLモデルおよび/またはモデルにサブスクライブした、MLモデルおよび/またはモデルを提供された推論エンティティ310のリストを識別する。
・情報が訓練ロールバック通知302を表す場合、訓練エンティティ320は、下記のアクションを行うことができる。
【0166】
■(オプション3.1/5.1)アナリティクスロールバックアクション321が、ATCIに両方とも関連する、情報の2つのセットを含み、情報の1つのセットが、アナリティクス(IDおよび/または出力)に関連付けられた現在の(古いとも称される)ATCIに関連し、情報の第2のセットが、新しい可能なATCIに関連する場合、訓練エンティティ320は、ATCIの古いセットを新しいセットに交換することができる。訓練エンティティ320は、任意選択で、下記のアクションを行うことができる。
【0167】
- 現在のATCIに関連付けられたMLモデルおよび/またはモデルの全ての消費者を識別し、新しいATCIに関連付けられたMLモデルおよび/またはモデルをこれらのエンティティに提供する。これは、更新されたMLモデルおよび/またはモデルを、そのようなモデルを消費した推論エンティティ310へ、または訓練フェーズ期間中に、変更されたMLモデルおよび/もしくはモデルを、その変更が必要とされる理由も含めて共有した他の訓練エンティティ320へ、プッシュすること、通知すること、または送ることを含むことができ、消費者によって使用されている現在の(変更前の)MLモデルおよび/またはモデルが、不安定なアナリティクスIDに関連することを示す。この理由を含めることは、MLモデルおよび/またはモデルの消費者に、これが、アナリティクスIDの生成を最適化だけでなく、安定した状態にするための必要な変更であることを理解することを可能にすることになる。
【0168】
- (任意選択で)古い取得されたATCIのアナリティクス(IDおよび/または)出力)に関連付けられたMLモデルおよび/またはモデルを停止されたものとしてマーキングする。
【0169】
■(オプション3.2/5.2)アナリティクスロールバックアクション321が、ATCIに関連する情報の1つのセットを含む場合、情報の1つのセットは、不安定なアナリティクスIDとみなされるアナリティクス(IDおよび/または出力)に関連付けられた現在のATCIに関連し、その結果、訓練エンティティ320は、下記のうちのいずれかを実行することができる。
【0170】
- 訓練および/またはモデルチューニングを介して、現在のATCIに関連するアナリティクス(IDおよび/または出力)についてのMLモデルおよび/またはモデルについての新しいATCIを決定し、任意選択で、新しいATCIに関連付けられたMLモデルおよび/またはモデルの全ての消費者を再び識別し、訓練ロールバック情報302を、新しい更新されたMLモデルおよび/またはモデルと共に、これらのエンティティに(上記に説明されたように)提供する。
【0171】
- (任意選択で)古い取得されたATCIのアナリティクス(IDおよび/または出力)に関連付けられたMLモデルおよび/またはモデルを停止されたものとしてマーキングする。
【0172】
■(オプション3.3/5.3)アナリティクスロールバックアクション321が、ATCIに関連する情報の1つのセットを含む場合、情報の1つのセットは、安定したアナリティクスIDとみなされるアナリティクス(IDおよび/または出力)に関連付けられた新しいATCIに関連し、その結果、訓練エンティティ320は、アナリティクスについてのそれ自体のローカルな現在の設定を、アナリティクス(IDおよび/または出力)についてのMLモデルおよび/またはモデルについての新しいATCIと交換することができ、任意選択で、修正されたMLモデルおよび/またはモデルの全て消費者を再び識別し、訓練ロールバック情報302を、新しい更新されたMLモデルおよび/またはモデルと共に、これらのエンティティに(上記に説明されたように)提供する。
【0173】
■アナリティクス(IDおよび/または出力)についてのMLモデルおよび/またはモデルについての新しいATCIを決定する場合、MLモデルおよび/またはモデルが共有訓練を必要とする場合、訓練エンティティ320は、他の訓練エンティティ320と相互作用する必要があることもあり得る。この場合において、訓練エンティティ320は、必要とされるさらなる訓練エンティティ320を識別し、訓練エンティティ320がアナリティクスについての新しいMLモデルおよび/またはモデルを決定するために互いに協働することをトリガすることになる、下記の情報のうちのいずれかを送る。
- 不安定なアナリティクスIDに関連する再選択のための理由の表示
- 不安定なアナリティクスIDに関連する再訓練のための理由の表示
【0174】
■訓練エンティティ320が、取得されたアナリティクスロールバックアクション321に関連付けられたアナリティクス(IDおよび/または出力)についてのMLモデルおよび/またはモデルについて、新しいATCIを決定すること、または現在のATCIを新しいATCIに交換することができないことがあり得る。この場合において、訓練エンティティ320は、不安定なアナリティクス通知504を以前に提供した場合(ステップ16b)、推論エンティティ310に、不安定なアナリティクス通知504の確認を提供することができ、または、ATCIに関連するMLモデルおよび/またはモデルの消費者である推論エンティティ310に、不安定なアナリティクス通知504を提供することができる。
【0175】
訓練エンティティ320が、アナリティクスロールバックアクション321を実行し終えた場合、それは、下記のうちのいずれかを提供することができる。
・推論エンティティ310に対する、不安定なアナリティクス通知の確認503、または訓練ロールバック情報302、またはアナリティクスステータス通知504(ステップ16b)
・トレーシングエンティティ300に対する、ロールバックステータス通知501(ステップ17b)。
【0176】
推論エンティティ310が、訓練エンティティ320から、不安定なアナリティクス通知504(ステップ14b 図4)を受信し、そのような情報を消費者エンティティ330へ転送した場合において、推論エンティティ310が、訓練エンティティ320から、不安定なアナリティクス通知の確認503または訓練ロールバック情報302またはアナリティクスステータス通知502を受信するとき、推論エンティティ310は、任意選択で、消費者エンティティ330に、アナリティクスステータス通知502または不安定なアナリティクス通知503の確認を提供または転送することができる(ステップ18b 図4)。
【0177】
図4に示されるように、段階4において、ネットワークアナリティクス監視エンティティ400(AMonエンティティ)と呼ばれる新しいエンティティは、他のエンティティ(例えば、トレーシングエンティティ300、消費者エンティティ330)から、特定の消費されたアナリティクス(IDおよび/または出力)についての、任意選択で、アナリティクスの特定の消費者についての、アナリティクスパフォーマンス情報(API)を取得する(ステップ5aまたは5b)。APIの目標は、アナリティクス(IDおよび/または出力)の生成のために入力データとして関連しないが、消費されたアナリティクスがネットワークステータスをどのように変更するかという識別に関連する、KPIおよび/またはメトリックをキャプチャすることである。APIに基づいて、監視エンティティ400は、APIに関連するKPIおよび/またはメトリックについてのデータ収集のソースを識別し、これらのデータソースからのデータ収集を開始する。
【0178】
APIは、以下の可能性のうちのいずれかを使用して取得されることが可能である。
・ネットワークアナリティクス管理エンティティ340からの設定341
・管理エンティティ340からの設定341と、特定のアナリティクス(IDおよび/もしくは出力)を含む別のエンティティからの、ならびに/または、構成されたAPIに関連付けられるべきアナリティクス消費者エンティティ330から受信されたメッセージとの組み合わせ
・API、特定のアナリティクス(IDおよび/もしくは出力)を含む、他のエンティティ(例えば、トレーシングエンティティ300、訓練エンティティ320、推論エンティティ310)ならびに/または消費者エンティティ330から受信されたメッセージ。
【0179】
APIに関連する収集されたデータに基づいて、監視エンティティ400は、アナリティクスIDの消費の後の、ネットワークステータスにおける変更に対するアナリティクス(IDおよび/または出力)の効果を監視する。この監視のプロセスは、2つの情報の生成をもたらすことができる。
・アナリティクスの消費の後の、ネットワークステータスにおける変更に対するアナリティクスの効果に関連するグレードの計算に由来する情報のセットである、アナリティクスIDグレード情報(AidGI)。
・アナリティクスの消費の後の、ネットワークステータスにおける変更に対するアナリティクスの効果に関連するグレードの計算に由来し、このグレードを、アナリティクスが不安定なネットワークステータスにつながるものとして識別されたことを表す閾値(例えば、運用者によって設定される閾値)を交差し、逸脱するものとして識別する情報のセットである、不安定なアナリティクスID情報(UAiDI)
監視エンティティ400は、他のエンティティ(例えば、トレーシングエンティティ300)に、下記の情報のうちのいずれかを提供する。
・アナリティクスIDグレード情報(AidGI)
・不安定なアナリティクスID情報(UAiDI)
【0180】
図5、段階5において、消費者エンティティ330(例えば、NF消費者)が、不安定なアナリティクス通知504を受信した場合(ステップ12、ステップ13a、18a、13b、17b)、消費者エンティティ330は、様々なアクションを取ることができる。例えば、
・推論エンティティ310においてアナリティクスをキャンセルまたはサブスクライブ解除することによって、受信された不安定なアナリティクス通知504に関連付けられたアナリティクスの消費を停止する。キャンセルまたはサブスクライブ解除する場合、消費者エンティティ330は、アナリティクスが安定したアナリティクスIDであると再び考慮される場合に通知されることを望むことを示すことができ、それにより、アナリティクスIDに対する以前のサブスクリプションの再起動を可能にする(ステップ19a図)。
・アナリティクスの消費を継続し、その内部意志決定について、そのようなアナリティクスの情報をあまり重視しない
・アナリティクスの消費を継続し、アナリティクスが安定したアナリティクスIDであると再び考慮される場合に通知されることをリクエストする(ステップ19b 図)。
【0181】
消費者エンティティ330が、アナリティクスステータス通知502を受信した場合、消費者エンティティ330は、様々なアクションを取ることができる。例えば、
・消費者エンティティ330が、アナリティクスを消費することを停止した場合、それは、アナリティクスに再サブスクライブすることができる。この場合において、消費者エンティティ330は、アナリティクスIDに対する以前のサブスクリプションがあったこと、および、この以前のサブスクリプションが、任意選択で特定のアナリティクスIDについて、再起動されるべきであることを推論エンティティ310に示す。
【0182】
図4および図5において、段階1、2、3、および5に共通して、トレーシングエンティティ300が、アナリティクスロールバックアクション311、321の必要性を識別し、段階2および/または段階3をトリガする場合、トレーシングエンティティ330は、推論エンティティ310(ステップ17a)および/または訓練エンティティ320(ステップ17b)から、ロールバックステータス通知501を取得し得る。ロールバックステータス通知501は、アナリティクスロールバックアクション311、321の実行に関する結論を表し得る。
【0183】
トレーシングエンティティ300が、アナリティクスロールバックアクション311、321の終了を検出した場合、トレーシングエンティティ300は、任意選択で、アナリティクスIDトレーシング起動についての表示を提供したエンティティに、アナリティクスステータス通知502または不安定なアナリティクス通知504の確認を提供することができる。トレーシングエンティティ330によって提供されることが可能な第1の不安定なアナリティクス通知502(ステップ12、ステップ13a、13b)と、不安定なアナリティクス通知の確認503、すなわち、第2の不安定なアナリティクス通知(ステップ18a、17b)との間の差異は、第1の不安定なアナリティクス通知502が、アナリティクスロールバックアクション311、321が行われていることを示すということであり、一方で、第2の不安定なアナリティクス通知503が、アナリティクスロールバックアクション311、321が成功裡に行われ得ること、例えば、少なくとも短い時間期間(例えば、分基準の下で、または数分内)において、アナリティクス(IDおよび/または出力)のロールバック、再設定、修復が行われ得なかったことを表す。
【0184】
図4および図5に示される、この例示的な実施形態の利益は、以下を含む。
・1つまたは複数のアナリティクスIDの(新しい)消費者エンティティ330(特に、NF)は、安定したネットワークステータスをもたらす、それらのアナリティクスIDについてのアナリティクス出力を消費し続けるための保証を有する(任意のNFが、アナリティクスIDについての以前のアナリティクス出力についての問題を示すフィードバックを送った場合であっても)。
・(例えば、NFが、NWDAF、例えば推論エンティティ310へ、問題のフィードバックを送った場合に基準として出力されるアナリティクスを除去することによって)意志決定のためにエンティティ(NF)、例えば、消費者エンティティ330によって使用された基準に対する中断または断絶がない。
・アナリティクスID使用劣化システムKPI(すなわち、不安定なネットワークステータスをもたらす)が、推論エンティティ310および/または訓練エンティティ320にとって可視になり、トレース可能になるという保証(例えば、データ収集によって引き起こされる遅延なしの、推論および訓練能力を有するNWDAF
・モバイルオペレータは、推論エンティティ310および/または訓練エンティティ(例えば、1つまたは複数のNWDAF)が、改善を行っている間に、または不安定であるアナリティクスIDを、もしくはアナリティクスIDについての1つもしくは複数の不安定なアナリティクス出力を修復している間に、不安定なアナリティクスID(すなわち、不安定なネットワークステータスをもたらすアナリティクスID)の使用を自動的に戻すことができる。
・MPにおける対数の検査の必要も、推論エンティティ310、訓練エンティティ320、具体的にはNWDAFにおける設定の手動でのトリガの必要もない。
・不安定なアナリティクスIDに関連付けられたMLモデルを共有する訓練エンティティ320(例えば、訓練能力を有するNWDAF)のチェーン/ツリーが、そのような関係を自動的に認識することを可能にする。
・MLモデル設計者は、この情報を使用して、MLモデルの次の発展に関する決定を行うことができる。
【0185】
さらに、本開示において、本開示の実施形態による提案される解決策および説明されたエンティティの実装についての2つの可能な代替案が説明され、全てが、TS 23.501 R17における3GPP 5Gアーキテクチャにおいて定義されたエンティティ、および3GPP TSに23.288 R17において定義された強化ネットワークアナリティクスに基づいている。実装は、下記に列挙される。
【0186】
第1の代替案は、図6に示されており、既存のNWDAFサービスに埋め込まれるトレーシングおよびロールバックサポートに関連する。この第1の代替案において、トレーシングエンティティ300、推論エンティティ310、および監視エンティティ400は、推論能力を有するNWDAFの中へ埋め込まれ、および/またはNWDAFよってホストされる(すなわち、アナリティクス論理機能(AnLF-NWDAF(AnLF)。この場合において、NWDAF(推論エンティティ310)の推論の既存のサービスは、トレーシングエンティティ300および監視エンティティ400のトレーシング能力およびロールバック能力をサポートするように拡張される。拡張されるサービスは、下記である。
・Nnwdaf_AnalyticsSubscriptionサービス
・Nnwdaf_AnalyticsInfoサービス
さらに訓練能力、すなわち、NWDAF(MTLF)と称され得るモデル訓練論理機能(MTLF)を有するNWDAF(すなわち、訓練エンティティ320)は、トレーシングエンティティ300および監視エンティティ400により強化された/これらをホストするNWDAF(AnLF)と相互作用する場合に、トレーシングおよびロールバックアクション311、321を可能にするための相互作用をサポートするように強化される。この場合においても、NWDAF(AnLF)のサービス(例えば、訓練エンティティ320)は、本開示において提案されるトレーシングおよびロールバック機能性をサポートするように強化される。強化されるサービスは、以下である。
・Nnwdaf_MLModelProvisionサービス
第2の代替案は、図7に示されており、新しいNWDAFサービスとしてのトレーシングおよびロールバックサポートに関連する。図6に例示される、この第2の代替案において、トレーシングエンティティ300および監視エンティティ400は、NWDAFによって埋め込まれ、ホストされ、個別の新しいサービスは、本開示において提案されるトレーシングおよびロールバックをサポートするために、トレーシングエンティティ300および監視エンティティ400の機能性を顕在化するように定義される。新しいサービスは、下記として定義される。
・Nnwdaf_AnalyticsTracingサービス
推論能力を有するNWDAFのサービス、すなわちNWDAF(AnLF)も、本開示において提案される原理をサポートするように拡張される。拡張されるサービスは、下記である。
・Nnwdaf_AnalyticsSubscriptionサービス
・Nnwdaf_AnalyticsInfoサービス
訓練能力を有するNWDAFのサービス、すなわちNWDAF(MTLF)も、トレーシングエンティティ300および監視エンティティ400の機能性をサポートするNWDAFと相互作用する場合に、トレーシングおよびロールバックアクション311、321を可能にするための相互作用をサポートするように強化される。強化されるサービスは、以下である。
・Nnwdaf_MLModelProvisionサービス
下記の説明は、代替案の各々についてのサービス拡張の詳細、ならびに、図4および図5に関して本開示において定義される段階1~5を反映するこれらの代替案に基づいた可能な手順を提供する。
【0187】
新しいインターフェースが、アナリティクストレーシングエンティティ300能力およびアナリティクス監視エンティティ400能力についてのみ、NWDAFによって顕在化される、第2の代替案:
【0188】
(1)アナリティクスIDトレーシング起動:この場合において、新しいサービスは、このサービスの消費者に、アナリティクスIDトレーシングがシステム内で起動される必要があることを示すことを可能にするために、NWDAFにおいて定義される必要がある。新しいサービスは、Nnwdaf_AnalyticsTracingと呼ばれることが可能であるこの新しいサービス、動作およびパラメータの例は、下記のように定義される。
・Nnwdaf_AnalyticsTracing_Subscribe:
【0189】
■入力パラメータ:
- トレースされるべきアナリティクスの消費者エンティティ330の識別、例えば、この識別は、NF IDまたはアナリティクスIDの消費者(すなわち、Nnwdaf_AnalyticsSubscription_SubscribeまたはNnwdaf_AnalyticsInfo_Requestを呼び出した消費者)の通知相関IDとすることができる。
- 通知相関ID、これは、Nnwdaf_AnalyticsTracing_Subscribeの消費者エンティティ330が、アナリティクストレーシングに対するそれ自体のサブスクリプションを識別することを可能にする。
- 起動/停止の値を有する、関連付けられたフラグを有する、1つまたは複数のアナリティクスIDサブスクリプションの識別、これは、トレーシングエンティティ300機能性または能力を有するNWDAFが、Nnwdaf_AnalyticsTracing_Subscribeについての呼出しを受信した場合は常に、アナリティクスIDに対する、示された1つまたは複数のサブスクリプションのトレーシングを開始する(および/または、フラグの値に依存して、停止する)ことになることを意味する。
- 起動/停止の値を有する、関連付けられたフラグを有する、1つまたは複数のアナリティクスID、これは、トレーシングエンティティ300機能性または能力を有するNWDAFが、Nnwdaf_AnalyticsTracing_Subscribeについての呼出しを受信した場合は常に、示された1つまたは複数のアナリティクスIDのトレーシングを開始する(および/または、フラグの値に依存して、停止する)ことになることを意味する。
- さらにAPIに関連する情報も、Nnwdaf_AnalyticsTracing_Subscribeの呼出しに含まれることが可能である。そのような情報の例は、下記に列挙されたもののうちのいずれかである。
【0190】
〇 1つの可能な代替案は、TS 23.288(V17.0.0.1)内の条項7.4.2において定義されたNnwdaf_DataManagementサービスに対して既に定義されているフィールドを、API情報を定義するためでなく、それらのフィールドをサブスクリプション/リクエスト内に含めるために、再使用することである。これらのフィールドは、TS 23.288 R17(V17.0.01)条項6.2.6.1において定義されるような、サービス運用、データ仕様、フォーマット化命令、処理命令、NF(またはNF設定された)ID、ADRF情報のうちのいずれかであり得る。
【0191】
□ サービス運用:データをリクエストするために、NWDAF、DCCF、MFAF、またはADRFによって使用されるべきサービス運用を定義する(例えば、 Namf_EventExposure_SubscribeまたはOAMサブスクライブ)
□ データ仕様:TS 23.502[3] 条項4.15.1において定義されているようなイベントID、イベント報告のターゲットおよびイベントフィルタ情報、ならびに/または、OAMから取り出されるべき情報の識別、APIデータ収集についての関心領域のうちのいずれかを定義する。
□ フォーマット化命令:イベント報告情報についてTS 23.502[3]条項4.15.1において定義されているパラメータも、可能なフォーマット化命令および処理命令の一部であり、付加的に下記のパラメータ、すなわち、定期的な大量データ通知、時間窓、通知イベントクラビング、処理ルールが含まれ得る。
□ NF(またはNF設定された)ID:データ仕様において定義されているAPI情報についてのソースである、特定のNFまたはNFセットを定義する
【0192】
〇 別の可能な代替案は、下記のうちのいずれかであり得るAPIパラメータの新しいセットを含むことである。
【0193】
□ APIデータ収集についての関心領域
□ NF(またはNF設定された)ID:データ仕様において定義されているAPI情報についてのソースである、特定のNFまたはNFセットを定義する。
□ 収集されるべきKPIおよび/またはメトリックのリスト
□ NF(またはNF設定された)ID:データ仕様において定義されているAPI情報についてのソースである、特定のNFまたはNFセットを定義する。
【0194】
■出力パラメータ:サブスクリプション相関ID、起動が可能であった場合の確認
・Nnwdaf_AnalyticsTracing_Notify:
【0195】
■入力パラメータ:
- 通知相関ID、その結果、Nnwdaf_AnalyticsTracing_Notifyの消費者は、アナリティクスIDをトレースするために特定のサブスクリプションを識別することができる。
- 不安定なアナリティクス通知、および/または推論ロールバック通知、および/または訓練ロールバック通知サービス運用Nnwdaf_AnalyticsTracing_Notifyから通知を受信するエンティティが、アナリティクストレーシング能力を有するNWDAFへ、ロールバックステータス通知を送る必要がある場合における通知相関情報
【0196】
■出力パラメータ:なし
・Nnwdaf_AnalyticsTracing_RollbackStatusNotify
【0197】
■入力パラメータ:サブスクリプション相関IDおよび/もしくは通知相関ID、ならびに/またはロールバックステータス通知
【0198】
■出力パラメータ:なし
【0199】
(2)アナリティクス監視エンティティ能力のみを用いてNWDAFインスタンスを可能にするためのNWDAFサービスにおける拡張:この場合において、新しいサービスは、このサービスの消費者エンティティ300が、アナリティクスIDについてのAPIを示し、AiDGIおよび/またはUAidIを取得することを可能にするために、NWDAFにおいて定義される必要がある。この新しいサービス、動作およびパラメータの例は、下記のように定義される。
・Nnwdaf_AnalyticsMonitoring_Subscribe:
【0200】
■入力パラメータ:
- 通知相関ID、これは、Nnwdaf_AnalyticsMonitoring_Subscribeの消費者が、アナリティクスに関連するAPIに対する、それ自体のサブスクリプションを識別することを可能にする。
- アナリティクスの識別(例えば、アナリティクスID)
- API情報、およびサービスNnwdaf_AnalyticsTracing_Subscribeにおいて説明されるAPIの実施形態についての同じ可能な代替案も、この場合において適用可能である。
【0201】
■出力パラメータ:サブスクリプション相関ID、起動を監視することが可能であった場合の確認。
・Nnwdaf_AnalyticsMonitoring_Notify:
【0202】
■入力パラメータ:
- 通知相関ID、その結果、Nnwdaf_AnalyticsMonitoring_Notifyの消費者は、アナリティクスIDに関するモニタリング情報に対する特定のサブスクリプションを識別することができる。
- AidGIおよび/またはUAidI通知
【0203】
■出力パラメータ:なし
さらに、第1の代替案および第2の代替案に共通する、段階1、2、3、4および5における推論エンティティ310の実施形態をサポートするためのNWDAF(AnLF)における変更は、下記の通りである。
【0204】
(1)アナリティクスIDトレーシング起動についての設定:この場合において、NWDAFは、アナリティクスIDトレーシング起動を用いて設定される。アナリティクスIDトレーシング起動についての設定は、下記の例のうちのいずれかを含む。
・アナリティクスIDと、起動/停止の値を有するフラグとを有するタプル、これは、アナリティクストレーシングエンティティ機能性または能力を有するNWDAFが、アナリティクスIDに関連するメッセージ(例えば、アナリティクスIDに対するサブスクリプション)を受信する場合は常に、アナリティクスIDのトレーシングを開始することになることを意味する。
・アナリティクスIDと、起動/停止の値を有するフラグと、特定のトリガ条件を有するタプル、これは、特定のトリガ条件が、アナリティクスIDに関連する受信されたメッセージ(例えば、アナリティクスIDに対するサブスクリプション)内に存在する場合にのみ、アナリティクス・トレーシングエンティティ機能性または能力を有するNWDAFが、アナリティクスIDのトレーシングを開始することになることを意味する。下記に列挙された例のうちのいずれも、特定のトリガ条件となることができる。
・消費者の識別(例えば、NFタイプ)
・アナリティクスのターゲットの識別(例えば、UE、UEのグループ)
・関心領域の識別(例えば、TAまたはセルのリスト)
・ネットワークスライスの識別(例えば、S-NSSAI)
・アプリケーションの識別(例えば、アプリケーションID)
・データネットワークの識別(例えば、DNNまたはDNAI)
【0205】
(2)トレーシング起動を有するサブスクリプションを実装するためのNWDAFサブスクライブ/リクエストサービス動作の拡張:
・アナリティクスIDトレーシング起動の表示:この場合において、アナリティクスIDトレーシング起動の表示は、アナリティクスIDにサブスクライブする(またはリクエストする)ための既存のNWDAFサービス動作の一部として実装される。
・アナリティクスIDトレーシング起動:下記に列挙された例のうちのいずれも、アナリティクスIDトレーシング起動のために使用されている新しいパラメータである。
【0206】
■オプションA:アナリティクスロールバックアクションを実行せずに、不安定なアナリティクス通知を返すことを示すNWDAFサービスにおける入力パラメータ。例えば、これは、アナリティクス消費者が、NWDAFによって顕在化されるアナリティクスIDに対するサブスクリプションを停止するという決定、または、それを消費し続けるが、その内部意志決定について、この情報をあまり重視しないという決定を行うことを可能にすることになる。
【0207】
■オプションB:
可能な場合にはアナリティクスロールバックアクションを実行することを示すNWDAFサービスにおける入力パラメータ、任意選択で、ロールバックが生じた場合には通知を有する
【0208】
■オプションC:可能な場合にはロールバックプロセスを行うためのNWDAFについての入力パラメータ、任意選択で、アナリティクスIDの消費者のために使用されるべき関心のあるAPIを有する
【0209】
(3)不安定なアナリティクス通知および/またはアナリティクスステータス通知および/または不安定なアナリティクス通知の確認を実装するためのNWDAF通知サービスの拡張:
・Nnwdaf_AnalyticsSubscription_Notifyサービス動作の入力パラメータは、不安定なアナリティクス通知および/またはアナリティクスステータス通知および/または不安定なアナリティクス通知の確認を表すために設定されることが可能なフラグにより、拡張されることが可能である。このフラグは「アナリティクスステータス」と呼ばれることが可能であり、下記の値、すなわち、不安定、安定、不安定と確認済みを有し得る。
・同じタイプの拡張は、NWDAF AnalyticsInfo_Request応答に対しても提供されることが可能であり、ただし、このサービス動作の出力パラメータは、上記に論じられたフラグにより拡張される。
【0210】
(4)再起動を実装するためのNWDAF通知サービスの拡張
・Nnwdaf_AnalyticsSubscription_Notifyサービス動作の出力パラメータは、NWDAFサービスのNF消費者が、「アナリティクスステータス=不安定」または「アナリティクスステータス=不安定と確認済み」を受信した後に、NF消費者がアナリティクスIDを非サブスクライブした後であっても、「Analytics Status」における変更に関して通知されることをNF消費者が望むかどうかをNWDAFに示すことを可能にするように拡張されることが可能である。Nnwdaf_AnalyticsSubscription_Notifyサービス動作の新しい出力パラメータは、下記とすることができる。
【0211】
■NF消費者が、ステータス通知の変更を起動することを可能にするフラグ:例えば、真または偽の値を有する「ステータス変更通知」。
【0212】
■(任意選択で)アナリティクスのステータスが変化する場合に、次のNnwdaf_AnalyticsSubscription_Notifyを送るために使用されるべきアドレスをNWDAFに示す、通知ターゲットアドレス(+通知相関ID)。この場合において、この次のNnwdaf_AnalyticsSubscription_Notifyは、入力パラメータとして、「アナリティクスステータス=安定」と、Nnwdaf_AnalyticsSubscription_Notifyの出力パラメータにおいてNF消費者によって提供される通知相関IDとを含むべきである。変更は、NF消費者が、アナリティクスIDを非サブスクライブすることを可能にする。
【0213】
(5)アナリティクスがそのステータスを不安定から安定へ変更する場合に、サブスクリプションの再起動を実装するためのNWDAFサブスクライブ(またはリクエスト)サービスの拡張:
・これは、(5)において強調された拡張とは対照的に、サブスクリプションの再起動を実装するための別のオプションである。
・Nnwdaf_AnalyticsSubscription_Subscribe(および/またはNnwdaf_AnalyticsInfo_Request)の入力パラメータは、新しいパラメータを含むように拡張される:
【0214】
■以前のサブスクリプションが再起動されるべきであることを表すサブスクリプション相関ID
【0215】
■再起動されるための表示を有するアナリティクスIDのリスト。そのような表示は、例えば、「再起動」と呼ばれるフラグとすることができる。
・これは、アナリティクスIDの再起動であるので、さらなる必要なまたは任意選択のパラメータ、例えば、アナリティクス報告のターゲット、通知ターゲットアドレス(+通知相関ID)、アナリティクス報告パラメータ、アナリティクスターゲット期間等などを、サブスクリプションに含める必要がない。
【0216】
(6)アナリティクスがそのステータスを不安定から安定へ変更する場合に、NF消費者がサブスクリプション再起動を行うことを可能にするためのNWDAF非サブスクライブサービスの拡張:
・Nnwdaf_AnalyticsSubscription_Unsubscribeの入力パラメータは、新しいパラメータを含むように拡張される:
【0217】
■アナリティクスのステータスにおける変更に関して通知されることを消費者エンティティ330が望むことを示す、例えば、アナリティクスステータス変更通知と呼ばれる、フラグ
【0218】
■そのステータス変更に関する通知を有することにNF消費者が興味を持つアナリティクスIDを示す、アナリティクスIDのリスト
【0219】
■不安定なアナリティクスIDから安定したアナリティクスIDへのアナリティクスステータスにおける変更に関してNWDAFが消費者に通知することを可能にする通知ターゲットアドレス(+通知相関ID)。
・また、Nnwdaf_AnalyticsSubscription_Notifyサービス動作における拡張が行われる必要がある。この場合において、目的は、アナリティクスIDを非サブスクライブしたNF消費者に対して、アナリティクスIDのステータスが不安定なアナリティクスIDから安定したアナリティクスIDへ変化したので、このNF消費者がアナリティクスIDに対するサブスクリプションを再起動可能であるべきことを示すために、同じ既存のサービスNnwdaf_AnalyticsSubscription_Notifyを使用することである。この場合において、Nnwdaf_AnalyticsSubscription_Unsubscribeサービス動作において示されるアナリティクスIDのステータスが変化した場合、NWDAFは、以下のパラメータ拡張を有するNnwdaf_AnalyticsSubscription_Notifyを使用することになる:
【0220】
■アナリティクスIDステータスの変化の通知の場合における、必要なパラメータとしての通知相関ID
【0221】
■変更されたステータスを有するアナリティクスIDのリスト。
【0222】
(7)監視されるべきアナリティクスパフォーマンス情報の定義を実装するためのNWDAFサブスクライブ(またはリクエスト)サービスの拡張:
・Nnwdaf_AnalyticsSubscription_Subscribe(および/またはNnwdaf_AnalyticsInfo_Request)の入力パラメータは、新しいパラメータを含むように拡張される:
【0223】
■1つの可能な代替案は、TS 23.288(V17.0.0.1)内の条項7.4.2において定義されているNnwdaf_DataManagementサービスについて既に定義されているフィールドを、API情報を定義するためでなく、それらのフィールドをサブスクリプション/リクエスト内に含めるために、再使用することである。これらのフィールドは、TS 23.288 R17(V17.0.01)条項6.2.6.1において定義されているような、サービス動作、データ仕様、フォーマット化命令、処理命令、NF(またはNF設定された)ID、ADRF情報のうちのいずれかであり得る
- サービス動作:データをリクエストするために、NWDAF、DCCF、MFAF、またはADRFによって使用されるべきサービス動作を定義する(例えば、Namf_EventExposure_SubscribeまたはOAMサブスクライブ)
- データ仕様:TS 23.502[3]条項4.15.1において定義されているようなイベントID、イベント報告のターゲットおよびイベントフィルタ情報、ならびに/または、OAMから取り出されるべき情報の識別、APIデータ収集についての関心領域のうちのいずれかを定義する
- フォーマット化命令:イベント報告情報についてTS 23.502[3]条項4.15.1において定義されているパラメータは、可能なフォーマット化命令および処理命令の一部でもあり、付加的に下記のパラメータ、すなわち、定期的な大量データ通知、時間窓、通知イベントクラビング、処理ルールが含まれ得る。
- NF(またはNF設定された)ID:データ仕様において定義されているAPI情報についてのソースである、特定のNFまたはNFセットを定義する
【0224】
■別の可能な代替案は、下記のうちのいずれかであり得るAPIパラメータの新しいセットを含む:
- APIデータ収集についての関心領域
- NF(またはNF設定された)ID:データ仕様において定義されているAPI情報についてのソースである、特定のNFまたはNFセットを定義する
- 収集されるべきKPIおよび/またはメトリックのリスト
- NF(またはNF設定された)ID:データ仕様において定義されているAPI情報についてのソースである、特定のNFまたはNFセットを定義する
【0225】
(8)推論トレーシング起動の表示を受信するNWDAFをサポートするためのNWDAFサービス動作の拡張:
・1つの代替案は、Nnwdaf_AnalyticsSubscription_AnalyticsTraceSubscriptionと呼ばれる新しいサービス動作により、NWDAFが強化されることである。このサービスは、NWDAFが、アナリティクストレーシングエンティティ能力を用いて、NWDAFについてのAICIを生成および提供することを可能にする。
【0226】
■入力パラメータ:(下記に列挙されたもののうちのいずれか)
- トレースされるべきアナリティクスの消費者の識別、例えば、この識別は、アナリティクスIDの消費者(すなわち、Nnwdaf_AnalyticsSubscription_SubscribeまたはNnwdaf_AnalyticsInfo_Requestを呼び出した消費者)のNF IDまたは通知相関IDとすることができる。
- アナリティクスIDサブスクリプションの識別。
- アナリティクスIDの識別
- NWDAFにおけるトレーシング起動の消費者の通知相関ID、これは、Nnwdaf_AnalyticsSubscription_ActivateTraceの消費者が、NWDAFにおけるアナリティクストレーシング情報に対する自身のサブスクリプションを識別することを可能にする。
【0227】
■出力パラメータ:サブスクリプション相関ID。
・Nnwdaf_AnalyticsSubscription_AnalyticsTraceNotify:
【0228】
■入力パラメータ(下記のうちのいずれか):
- 通知相関ID、アナリティクスIDサブスクリプションの識別、AICI
段階1、2および3において訓練NFの実施形態をサポートするためのNWDAF(MTLF)における変更:
【0229】
(1)実施形態のこの部分において論じられる全ての可能な拡張に共通する:
・再選択の表示または再訓練の表示についての情報のセットを表すための潜在的な代替案は、「再訓練する」または「再選択する」に設定されることが可能な「モデルトレーシングステータス」などのフラグを使用することである。さらに両方の表示からの情報のセットは、「再訓練する」または「再選択する」についての理由も含み得る。これは、別のパラメータ、例えば、「アナリティクス安定した」または「アナリティクス不安定」に設定されているフラグなどとして実装され得る。
【0230】
(2)NWDAF(MTLF)が、NWDAF(AnLF)またはアナリティクストレーシングエンティティを有するスタンドアロンのNWDAFから、不安定なアナリティクス通知および/または訓練ロールバック通知を受信するための拡張、実施形態についての可能な代替案は下記である:
・NWDAF(MTLF)によって供されるサービスの拡張。新しいサービスは、Nnwdaf_MLModelTracingサービスになる。可能な動作は下記である:
【0231】
■GetTracingNotifications(リクエスト/応答):消費者が、NWDAF(MTLF)に対する不安定なアナリティクス通知および/または訓練ロールバック通知を、さらなる情報(下記のうちのいずれか)、すなわち、アナリティクスID、アナリティクス段階(推論および/または)訓練)と共に、入力パラメータに含めることができる場合
・NWDAF(AnLF)またはアナリティクストレーシングエンティティ300を有するスタンドアロンのNWDAFによって供されるサービスの拡張、ただし、NWDAF(MTLF)は、所与のMLモデルについて、不安定なアナリティクス通知および/または訓練ロールバック通知を受信することに対してサブスクライブする。サービスは、Nnwdaf_AnaltyicsTracingであり得、動作は、サブスクライブ/通知に関するものであり得、ただし、動作および関連付けられたパラメータは、下記であり得る:
【0232】
■SubscribeTracingInfo(サブスクライブ動作)、
- 入力パラメータ(下記のうちのいずれか):アナリティクスID、アナリティクス段階(推論および/または訓練)、MLモデルおよび/またはモデル識別、通知アドレス(NWDAF(MTLF)が通知を受信することを可能にするための)、通知相関ID。また、入力パラメータは、どの特定のタイプの通知を受信することに消費者が興味があるかを特定し得る:例えば、アナリティクス通知、訓練ロールバック通知。特定のタイプの通知がサブスクリプションにおいて示されていない場合、消費者は、示されたMLモデルおよび/またはサブスクリプションにおいて示されるモデルに関連する、任意のタイプの通知を受信することになる。
- 出力パラメータ:サブスクリプション相関ID。
【0233】
■NotifyTracingInfo(通知動作)
- 入力パラメータ:通知相関ID(これは、どのMLモデルおよび/またはモデルにこの通知が関連付けられているかを消費者が知ることを可能にする)ならびに通知、例えば:不安定なアナリティクス通知および/または訓練ロールバック通知
【0234】
(3)NWDAF(MTLF)がNWDAF(AnLF)から再選択についての表示および/または再訓練についての表示を受信するための拡張、実施形態についての可能な代替案は、下記である:
・1つの代替案は、新しい入力パラメータ、すなわち、サブスクリプション相関ID、アナリティクスIDのリスト、ならびに、アナリティクスIDの各々についての再選択についての表示および/または再訓練についての表示を含むように、既存のサービスNnwdaf_MLModelProvision_Subscribeの拡張を定義することである。これは、アナリティクスIDについてのMLモデルに対する既存のサブスクリプションについてのモデルの再訓練または再選択であるので、TS 23.288(V17.0.1)内の条項7.5.2において定義されているように、さらなる必要なパラメータまたは任意選択のパラメータをサブスクリプションに含める必要がない。
・別の代替案は、NWDAF(AnLF)がNWDAF(MTLF)に再選択についての表示および/または再訓練についての表示を送ることも可能にするために、上述されたサービスNnwdaf_MLModelTacing_GetTracingNotifications(リクエスト/応答)も使用することである
【0235】
(4)NWDAF(MTLF)が、NWDAF(AnLF)または他のNWDAF(MTLF)に、不安定なアナリティクス通知および/もしくは不安定なアナリティクス通知確認または訓練ロールバック情報またはアナリティクスステータス通知を提供するための、NWDAF(MTLF)からのNnwdaf_MLModelProvisionサービスにおける拡張、これは、そのようなNWDAF(AnLF)によって以前に消費されたMLモデルおよび/またはモデルに関連する
・可能な1つの拡張は、Nnwdaf_MLModelProvision_Subscribeサービスの消費者、NWDAF(AnLF)および/または他のNWDAF(MTLF)に、アナリティクスについてのMLモデルおよび/またはモデルに対するサブスクリプションにおいて、不安定なアナリティクス通知および/もしくは不安定なアナリティクス通知確認または訓練ロールバック情報またはアナリティクスステータス通知を受信する意図を、その通知と共に示すことを可能にすることである。この場合において、Nnwdaf_MLModelProvision_Subscribeサービス入力パラメータは、下記のパラメータのうちのいずれかにより拡張されることが可能である:
【0236】
■現在のMLモデルおよび/またはモデル識別(すなわち、現在使用中であるモデル)
■使用されているMLモデルおよび/またはモデルに関連付けられたアナリティクス識別(例えば、アナリティクスID)
■現在のモデルが不安定なアナリティクスIDに関連することを示すフラグ
■現在のモデルの確認が不安定なアナリティクスIDに関連することを示すフラグ
■新しいモデルが必要とされることを示すフラグ
■現在のモデルの確認が、安定であることを示すフラグ
■ロールバック訓練情報(例えば、ロールバック訓練情報を含む情報)
・別の代替案は、個別サービスを作成することである。
【0237】
(5)MLモデルおよび/またはモデルを消費した推論NFおよび/または他の訓練NFに、訓練ロールバック情報を提供するための、実施形態についての可能な代替案は、下記である:
・訓練ロールバック情報にさらに関連する情報として、下記のパラメータのうちのいずれかを含めるための、サブスクライブ/リクエストされたモデルに関して通知するためのサービス動作の拡張:
【0238】
■使用されている現在のMLモデルおよび/またはモデルの識別
■アナリティクスID
■変更されたMLモデルおよび/またはモデルの識別
■変更されたMLモデルおよび/またはモデル情報(例えば、下記の情報、すなわち、とりわけ、勾配、アルゴリズム、重み、モデルアーキテクチャのうちのいずれか)
■現在のモデルが不安定なアナリティクスIDに関連することを示すフラグ
■変更を有するMLモデルおよび/またはモデルスクリプトおよび/またはファイルおよび/または設定
【0239】
(6)訓練トレーシング起動の表示を受信するNWDAFをサポートするためのNWDAFサービス動作の拡張:
・1つの代替案は、Nnwdaf_MLModelProvision_AnalyticsTraceSubscriptionと呼ばれる新しいサービス動作により、NWDAFが強化されることである。このサービスは、NWDAFが、アナリティクストレーシングエンティティ能力を用いて、NWDAFについてのAICIを生成および提供することを可能にする。
【0240】
■入力パラメータ:(下記に列挙されたもののうちのいずれか):
- トレースされるべきアナリティクス(例えば、アナリティクスID)についてのMLモデルおよび/またはモデルの消費者の識別、例えば、この識別は、アナリティクスIDについて供給されているMLモデルおよび/またはモデルの消費者(すなわち、Nnwdaf_MLModelProvision_Subscribeを呼び出した消費者)のNF IDまたは通知相関IDとすることができる。
- MLモデルおよび/またはモデルサブスクリプションの識別
- アナリティクスIDの識別
- MLモデルおよび/またはモデルの識別
- NWDAFにおけるトレーシング起動の消費者の通知相関ID、これは、Nnwdaf_MLModelProvision_AnalyticsTraceSubscriptionの消費者が、NWDAFにおけるアナリティクストレーシング情報に対する自身のサブスクリプションを識別することを可能にする。
【0241】
■出力パラメータ:サブスクリプション相関ID
・Nnwdaf_MLModelProvision_AnalyticsTraceNotify:
【0242】
■入力パラメータ(下記のうちのいずれか):
- 通知相関ID、アナリティクスIDサブスクリプションについてのMLモデルおよび/またはモデルの識別、ATCI
【0243】
■出力パラメータ:なし
【0244】
図8は、本開示の一実施形態による方法800を示す。方法800は、上記で説明されたようなネットワークアナリティクストレーシングエンティティ300のためのものであり、トレーシングエンティティ300によって行われ得る。方法800は、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示301を取得するステップ801を含む。さらに、方法800は、アナリティクスIDについての少なくとも1つの出力が不安定である場合、および/またはアナリティクスIDが不安定である場合、アナリティクスIDに関連するロールバック通知302を提供するステップ802を含む
【0245】
ロールバック通知302は、下記のうちの1つまたは複数を含む:
・アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスIDであって、ロールバック通知302は、ネットワークアナリティクス消費者エンティティ330、ネットワークアナリティクス推論エンティティ310、またはネットワークアナリティクス訓練エンティティ320に対して提供される、アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力および/またはアナリティクスID
・アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての推論ロールバックアクション311であって、ロールバック通知302は、ネットワークアナリティクス推論エンティティ310に対して提供される、推論ロールバックアクション311
・アナリティクスIDについての少なくとも1つの不安定なアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクション321であって、ロールバック通知302は、ネットワークアナリティクス訓練エンティティ320に対して提供される、訓練ロールバックアクション321
図9は、本開示の一実施形態による方法900を示す。方法900は、ネットワークアナリティクス推論エンティティ310のためのものであり、推論エンティティ310によって行われ得る。方法900は、アナリティクスIDおよび/またはアナリティクスIDについての少なくとも1つのアナリティクス出力についての推論ロールバックアクション311を取得するステップ901を含む。さらに、方法900は、推論ロールバックアクション311を実行するステップ902を含む。
【0246】
推論ロールバックアクション311を実行することは、下記のうちの少なくとも1つを含む:
・アナリティクスIDについての少なくとも1つのアナリティクス出力に関する、および/またはアナリティクスIDに関する推論設定を変更すること
・アナリティクスIDについての少なくとも1つの出力に関する、および/またはアナリティクスIDに関する新しい推論設定を決定および設定すること
・アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての新しいアナリティクスモデルを選択すること
・アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについてのアナリティクスモデルの停止。
【0247】
図10は、本開示の一実施形態による方法1000を示す。方法100は、ネットワークアナリティクス訓練エンティティ320のためのものであり、訓練エンティティ320によって行われ得る。方法1000は、アナリティクスIDについての少なくとも1つのアナリティクス出力についての、および/またはアナリティクスIDについての訓練ロールバックアクション321を取得するステップ1001を含む。さらに、方法1000は、訓練ロールバックアクション321を実行するステップ1002を含む。
【0248】
訓練ロールバックアクション321を実行すること1002は、下記のうちの少なくとも1つを含む:
・アナリティクスIDについての少なくとも1つのアナリティクス出力および/またはアナリティクスIDに関する訓練設定を変更すること
・アナリティクスIDについての少なくとも1つのアナリティクス出力および/またはアナリティクスIDに関する新しい訓練設定を選択および設定すること
・アナリティクスIDについての少なくとも1つのアナリティクス出力および/またはアナリティクスIDについてのアナリティクスモデルの再訓練または再選択を行うこと
・アナリティクスIDについての少なくとも1つのアナリティクス出力および/またはアナリティクスIDについてのアナリティクスモデルを停止すること。
【0249】
図11は、本開示の一実施形態による方法1100を示す。方法1100は、ネットワークデータアナリティクス消費者エンティティ330のためのものであり、消費者エンティティ330によって行われ得る。方法1100は、ネットワークアナリティクストレーシングエンティティ300またはネットワークアナリティクス推論エンティティ310に対して、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための情報を有する表示301を提供するステップ1101を含む。
【0250】
図12は、本開示の一実施形態による方法1200を示す。方法1200は、ネットワークアナリティクス管理エンティティ340のためのものであり、管理エンティティ340によって行われ得る。方法1200は、アナリティクスIDについての1つもしくは複数のアナリティクス出力のトレーシングおよび/またはアナリティクスIDのトレーシングを起動するための設定341を行うステップ1201を含む。付加的に、または代替的に、方法1200は、アナリティクスIDについてのアナリティクストレーシング情報403を設定するステップ1202を含む。付加的に、または代替的に、方法1200は、アナリティクスIDについての1つもしくは複数のアナリティクス出力に関する、および/またはアナリティクスIDに関する、1つまたは複数の品質表示についてのデータの収集を起動するための設定341を行うステップ1203を含む。
【0251】
本開示は、例および実装としての多様な実施形態と共に説明されてきた。ただし、他のバリエーションは、当業者および特許請求される主題を実施する者によって、図面、本開示および独立請求項の検討から、理解および達成されることが可能である。特許請求の範囲および説明において、「備える」という単語は、他の要素またはステップを除外せず、「a」または「an」という不定冠詞は、複数を除外しない。単一の要素または他のユニットは、特許請求の範囲において記載されている、いくつかのエンティティまたはアイテムの機能を実現し得る。一定の方策が、相互に異なる従属請求項において記載されるという単なる事実は、これらの方策の組み合わせが有利な実装において使用されることができないことを示さない。
【手続補正3】
【補正対象書類名】図面
【補正対象項目名】図4
【補正方法】変更
【補正の内容】
図4
【手続補正4】
【補正対象書類名】図面
【補正対象項目名】図5
【補正方法】変更
【補正の内容】
図5
【手続補正5】
【補正対象書類名】図面
【補正対象項目名】図7
【補正方法】変更
【補正の内容】
図7
【国際調査報告】