特開 2022-104776 ネットワークアクセスデバイスのリソース割り当て方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022104776

(43)【公開日】2022-07-11

(54)【発明の名称】ネットワークアクセスデバイスのリソース割り当て方法および装置

(51)【国際特許分類】

   H04L 47/70 20220101AFI20220704BHJP

   G06N 3/08 20060101ALI20220704BHJP

【ＦＩ】

H04L12/911

G06N3/08

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021074502

(22)【出願日】2021-04-26

(11)【特許番号】

(45)【特許公報発行日】2022-06-13

(31)【優先権主張番号】202011584793.8

(32)【優先日】2020-12-29

(33)【優先権主張国・地域又は機関】CN

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】313012291

【氏名又は名称】北京▲郵▼▲電▼大学

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＰＯＳＴＳ ＡＮＤ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ

【住所又は居所原語表記】１０ ＸＩＴＵ ＣＨＥＮＧ ＲＯＡＤ， ＨＡＩ ＤＩＡＮ ＤＩＳＴＲＩＣＴ， ＢＥＩＪＩＮＧ １００８７６ ＣＨＩＮＡ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】楊 輝

(72)【発明者】

【氏名】李 雪▲てぃん▼

(72)【発明者】

【氏名】姚 秋彦

(72)【発明者】

【氏名】包 博文

(72)【発明者】

【氏名】李 超

(72)【発明者】

【氏名】孫 政潔

(72)【発明者】

【氏名】張 杰

【テーマコード（参考）】

5K030

【Ｆターム（参考）】

5K030JA11

5K030KA23

5K030LC09

5K030MA13

(57)【要約】      （修正有）

【課題】ネットワークアクセスデバイスのリソース割り当て方法及び装置を提供する。
【解決手段】方法は、ネットワークアクセスデバイスの現在サービスのリソース要求情報を取得することと、ネットワークアクセスデバイスの現在の電力とキャッシュクラスタリソースの状態情報を決定することと、リソース要求情報および状態情報を、トレーニングを経たリソース割り当てモデルに入力することと、リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とすることと、割り当て結果に基づいて、サービスに電力および／またはキャッシュリソースを割り当てることと、を含む。
【効果】ネットワークデバイスのリソース振り当て計算負担を軽減することができ、リソース効率の最大化を実現することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ネットワークアクセスデバイスのリソース割り当て方法であって、
ネットワークアクセスデバイスの現在サービスのリソース要求情報を取得することと、
前記ネットワークアクセスデバイスの現在の電力とキャッシュクラスタリソースの状態情報を決定することと、
前記リソース要求情報および前記状態情報を、トレーニングを経たリソース割り当てモデルに入力することと、
前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とすることと、
前記割り当て結果に基づいて、前記サービスに電力および／またはキャッシュリソースを割り当てることと、を含み、
ここで、前記リソース割り当てモデルは、入力されたリソース要求情報および状態情報に基づいて、全ての可能性のある行動の確率分布を出力するディープニューラルネットワークであり、各行動は、１種の電力またはキャッシュリソースの割り当て結果に対応し、
前記リソース割り当てモデルは、前に収集したトレーニングデータ、およびサービスの実行遅延に基づいて計算された報酬値に基づいて、パラメータ調整を行うことで予めトレーニングして得られ、具体的に下記式１に基づいて、前記リソース割り当てモデルのパラメータを更新し、

【請求項2】

前記リソース割り当てモデルの具体的なトレーニングプロセスは、
収集したサービスのリソース要求情報、電力とキャッシュクラスタリソースの状態情報を前記トレーニングデータとすることと、
前記トレーニングデータを前記リソース割り当てモデルに入力することと、
前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とすることと、
前記割り当て結果に基づいて、前記サービスに電力および／またはキャッシュリソースを割り当てることと、
サービスを実行した後、前記サービスの実行遅延を決定することと、
前記サービスの実行遅延に基づいて、報酬値を計算することと、
前記報酬値に基づいて、前記リソース割り当てモデルのパラメータに対して調整を行うことと、を含む、
ことを特徴とする請求項１に記載のネットワークアクセスデバイスのリソース割り当て方法。

【請求項3】

前記サービスの実行遅延と前記報酬値とは負の相関であり、ここで、
前記報酬値は、下記方法に基づいて計算され、

ここで、Tは現在サービスが実行を開始してからt時刻まで実行される持続時間を表し、即ち、前記現在サービスの実行遅延である、
ことを特徴とする請求項２に記載のネットワークアクセスデバイスのリソース割り当て方法。

【請求項4】

前記ネットワークアクセスデバイスの現在サービスのリソース要求情報を取得することは、
ネットワークアクセスデバイスは、１つまたは複数の移動端末の複数のサービスのリクエスト情報を受信することと、
ネットワークアクセスデバイスは、本デバイスから前記移動端末までの距離、前記移動端末の移動速度、チャンネル状態に基づいて、受信した複数のサービスのリクエスト情報に対してデコードを行うことと、
ネットワークアクセスデバイスは、デコードされた複数のサービスのリクエスト情報を複数のサービスにパッケージ化することと、を含み、
ここで、各サービスは、複数のサービスユニットからなり、
１つのサービスの１つのサービスユニットは、前記サービスの１つの時間ステップの要求情報と１つのリソースユニットの要求情報とを含む、
ことを特徴とする請求項１に記載のネットワークアクセスデバイスのリソース割り当て方法。

【請求項5】

前記リソース要求情報および前記状態情報を、トレーニングを経たリソース割り当てモデルに入力することは、
前記ネットワークアクセスデバイスは、各時間ステップにおいて、各サービスユニットにおけるリソースユニットの要求情報、および現在の時間ステップの電力とキャッシュクラスタリソースの状態情報を前記リソース割り当てモデルに順次入力すること、を含む、
ことを特徴とする請求項４に記載のネットワークアクセスデバイスのリソース割り当て方法。

【請求項6】

前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とすることは、
前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布のうち確率が最も高い行動に基づいて、前記サービスユニットにリソーススロットイメージにおいて１つの相応の位置を割り当て、電力および／またはキャッシュリソース割り当ての割り当て結果とすること、を含み、
ここで、前記リソーススロットイメージは、電力とキャッシュのリソーススロットイメージを含む、
ことを特徴とする請求項５に記載のネットワークアクセスデバイスのリソース割り当て方法。

【請求項7】

ネットワークアクセスデバイスの現在サービスのリソース要求情報を取得するための要求情報取得モジュールと、
前記ネットワークアクセスデバイスの現在の電力および／またはキャッシュクラスタリソースの状態情報を決定するための状態情報決定モジュールと、
前記リソース要求情報および前記状態情報を、トレーニングを経たリソース割り当てモデルに入力するための行動決定モジュールと、
前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とするための割り当て結果決定モジュールと、
前記割り当て結果に基づいて、前記サービスに電力および／またはキャッシュリソースを割り当てるためのリソース割り当てモジュールと、を備え、
ここで、前記リソース割り当てモデルは、入力されたリソース要求情報および状態情報に基づいて、全ての可能性のある行動の確率分布を出力するディープニューラルネットワークであり、各行動は、１種の電力またはキャッシュリソースの割り当て結果に対応し、
前記リソース割り当てモデルは、前に収集したトレーニングデータ、およびサービスの実行遅延に基づいて計算された報酬値に基づいて、パラメータ調整を行うことで予めトレーニングして得られ、具体的に下記式１に基づいて、前記リソース割り当てモデルのパラメータを更新し、

【請求項8】

中央処理装置と、信号処理・記憶ユニットと、信号処理・記憶ユニットに記憶され、かつ、中央処理装置にて実行可能なコンピュータプログラムと、を備え、
前記中央処理装置が前記プログラムを実行するとき、請求項１～６のいずれか１項に記載のネットワークアクセスデバイスのリソース割り当て方法を実現することを特徴とする電子デバイス。

【請求項9】

請求項１～６のいずれか１項に記載のネットワークアクセスデバイスのリソース割り当て方法をコンピュータに実行させるためのコンピュータ命令を記憶した非一過性のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は通信ネットワーク技術分野に関し、特にネットワークアクセスデバイスのリソース割り当て方法と装置を指す。

【背景技術】

【0002】

ますます多くのスマートデバイスとモノのインターネット技術（Ｔｈｅ Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ、ＩｏＴｓ）の広範な応用に伴い、スマート化端末はすでに現代生活において欠けることのできない一部になっている。例えばノートパソコン、スマートフォンなど、人々はこれらのスマート端末デバイスを用いて、ハイデフィニションのライブ配信、ＡＲなどの新形態の事業を展開することで我々の生活を便利にしている。これらは、ユーザーにより快適なコンテンツ体験を提供すると同時に、ネットワークサービスの空前の増加をももたらす。コンピューティング能力とバッテリ容量サイズの制限により、端末デバイスは、多くの新形態の事業の低遅延、高コンピューティングという基本的な要求を効率的に満たすことができない。コンピューティングバウンドなタスクをクラウドにオフロードした場合、転送の遅延および更なるネットワークロードが増加する。このため、人々はモバイルエッジコンピューティング技術（ＭＥＣ）を提案し、クラウドのコンピューティングと記憶能力をネットワークエッジに移行し、エッジを通じてタスク計算を行い、端末デバイスのエネルギー消費と実行遅延を低減し、サービス品質を向上する。

【0003】

モバイルエッジコンピューティング（ＭＥＣ）ユニットの集中デプロイメントおよび帯域幅消費型アプリケーションプログラムの普及により、ネットワークアクセスのスループットを最大化することが目下の挑戦となっている。光ネットワークの大容量サイズと低遅延、光ネットワークの集中デプロイメントに伴い、光回線終端装置（ＯＮＵ）は既にＭＥＣの主要なアクセスポイントとなっている。ＯＮＵにおいて、電力とキャッシュリソースに対する管理はスループットに影響を与える２つの主要な要素であり、電力とキャッシュリソース管理に対して適応的かつ効果的なオンライン決策を要求している。リソース管理の問題は、通常、オンライン決策問題として表され、例えば、ネットワークの輻輳制御、計算クラスタのジョブスケジューリングなど、コンピュータシステムおよびネットワークに長らく存在している。ネットワーク接続デバイスの数とサイズの増加に伴い、ネットワークにおけるデータは爆発的に増加し、これらのデータ処理の終点は、コアネットワークのクラウドプラットフォーム上に完全に位置できず、ほぼ半分のデータはネットワークエッジにおいて分析、処理を行う必要がある。そこで、どのように効率的なリソース割り当てを行い、リソース利用率を高め、さらにＭＥＣネットワークにおけるスループットを向上するかという難題は、ネットワークにおける電力とキャッシュリソース自己学習連合割り当てのリソース管理を実現する。

【0004】

現在のリソース割り当て方法は、モバイルエッジコンピューティングのネットワークリソース管理の面で、リソース利用率が高くなく、リソース最適化方法が過度に複雑であるなどの不足な点が存在する。

【発明の概要】

【発明が解決しようとする課題】

【0005】

これを鑑みて、本発明の目的は、アダプティブラーニングの大局的な視野を備え、ネットワークデバイスのリソーススケジューリング計算負担を軽減し、かつリソース効率を最大化を実現するネットワークアクセスデバイスのリソース割り当て方法と装置を提案することにある。

【課題を解決するための手段】

【0006】

上記目的に基づき、本発明は、ネットワークアクセスデバイスのリソース割り当て方法を提供し、当該方法は、
ネットワークアクセスデバイスの現在サービスのリソース要求情報を取得することと、
前記ネットワークアクセスデバイスの現在の電力とキャッシュクラスタリソースの状態情報を決定することと、
前記リソース要求情報および前記状態情報を、トレーニングを経たリソース割り当てモデルに入力することと、
前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とすることと、
前記割り当て結果に基づいて、前記サービスに電力および／またはキャッシュリソースを割り当てることと、を含み、
ここで、前記リソース割り当てモデルは、入力されたリソース要求情報および状態情報に基づいて、全ての可能性のある行動の確率分布を出力するディープニューラルネットワークであり、各行動は、１種の電力またはキャッシュリソースの割り当て結果に対応する。

【0007】

ここで、前記リソース割り当てモデルは、前に収集されたサービスのリソース要求情報を含むトレーニングデータ、およびサービスの実行遅延に基づき予めトレーニングして得られたものであり、ここで、サービスの実行遅延は、前記リソース割り当てモデルがトレーニングデータに基づきリソース割り当て結果を出力した後、前記リソース割り当て結果に基づき前記サービスを実行した後に決定され、具体的なトレーニング方法は以下であり、
前に収集したサービスのリソース要求情報、電力とキャッシュクラスタリソースの状態情報を前記トレーニングデータとすることと、
前記トレーニングデータを前記リソース割り当てモデルに入力することと、
前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とすることと、
前記割り当て結果に基づいて、前記サービスに電力および／またはキャッシュリソースを割り当てることと、
サービスを実行した後、前記サービスの実行遅延を決定することと、
前記サービスの実行遅延に基づいて、報酬値を計算することと、
前記報酬値に基づいて、前記リソース割り当てモデルのパラメータに対して調整を行うことと、を含む。

【0008】

より好ましくは、前記サービスの実行遅延と前記報酬値とは負の相関であり、具体的には、
前記報酬値は、下記方法に基づいて計算され、

ここで、Tは現在サービスが実行を開始してからt時刻まで実行される持続時間を表し、即ち、前記現在サービスの実行遅延である、
より好ましくは、前記報酬値に基づいて、前記リソース割り当てモデルのパラメータに対して調整を行い、具体的に以下を含む。

【0009】

【0010】

本発明は、ネットワークアクセスデバイスのリソース割り当て装置を提供し、当該装置は、
ネットワークアクセスデバイスの現在サービスのリソース要求情報を取得するための要求情報取得モジュールと、
前記ネットワークアクセスデバイスの現在の電力および／またはキャッシュクラスタリソースの状態情報を決定するための状態情報決定モジュールと、
前記リソース要求情報および前記状態情報を、トレーニングを経たリソース割り当てモデルに入力するための行動決定モジュールと、
前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とするための割り当て結果決定モジュールと、
前記割り当て結果に基づいて、前記サービスに電力および／またはキャッシュリソースを割り当てるためのリソース割り当てモジュールと、を備え、
ここで、前記リソース割り当てモデルは、入力されたリソース要求情報および状態情報に基づいて、全ての可能性のある行動の確率分布を出力するディープニューラルネットワークであり、各行動は、１種の電力またはキャッシュリソースの割り当て結果に対応する。

【0011】

本発明は、電子デバイスをさらに提供し、当該電子デバイスは、
中央処理装置と、信号処理・記憶ユニットと、信号処理・記憶ユニットに記憶され、かつ、中央処理装置にて実行可能なコンピュータプログラムと、を備え、
前記中央処理装置が前記プログラムを実行するとき、請求項１～６のいずれか１項に記載のネットワークアクセスデバイスのリソース割り当て方法を実現する。

【0012】

本発明は、非一過性のコンピュータ可読記憶媒体をさらに提供し、当該非一過性のコンピュータ可読記憶媒体は、
コンピュータ命令を記憶し、前記コンピュータ命令は、前記のネットワークアクセスデバイスのリソース割り当て方法をコンピュータに実行させることに用いられる。

【0013】

本発明の技術案において、ネットワークアクセスデバイスの現在サービスのリソース要求情報を取得し、前記ネットワークアクセスデバイスの現在の電力とキャッシュクラスタリソースの状態情報を決定し、前記リソース要求情報および前記状態情報を、トレーニングを経たリソース割り当てモデルに入力し、前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とし、前記割り当て結果に基づいて、前記サービスに電力および／またはキャッシュリソースを割り当て、ここで、前記リソース割り当てモデルは、入力されたリソース要求情報および状態情報に基づいて、全ての可能性のある行動の確率分布を出力するディープニューラルネットワークであり、各行動は、１種の電力またはキャッシュリソースの割り当て結果に対応する。如何に効率的なリソース割り当てを行うかを自主学習できるリソース割り当てモデルを通じて、入力したサービスのリソース要求情報、および電力とキャッシュクラスタリソースの状態情報に対する自動分析を実現し、自動的にリソース割り当てを行い、ネットワークデバイスのリソース振り当て計算負担を軽減することができる。かつ、モデルは、フィードバックされたサービスの実行遅延によりトレーニングして得られるため、最小のサービス平均遅延を得ることができ、リソース効率の最大化を実現することができる。

【図面の簡単な説明】

【0014】

本発明の実施形態または従来技術における技術案をより明確に説明するため、以下において、実施形態または従来技術の説明において使用する必要のある添付図面について簡単に説明する。以下の説明における添付図面は本発明の一部の実施形態にすぎず、当業者にとっては、創造的な労力を払わない前提のもとで、これらの添付図面に基づき他の添付図面を得ることができることは明らかである。

【図1】本発明の実施形態によるネットワークアクセスデバイスのリソース割り当て方法のフローチャートである。

【図2】本発明の実施形態によるリソース割り当てモデルトレーニング方法のフローチャートである。

【図3】本発明の実施形態によるリソース割り当てモデルトレーニング方法の模式図である。

【図4】本発明の実施形態によるネットワークアクセスデバイスのリソース割り当て装置の内部構成を示すブロック図である。

【図5】本発明の実施形態による電子デバイスのハードウェア構成の模式図である。

【図6】本発明の実施形態によるサービスと環境リソース状態情報図である。

【図7】本発明の実施形態によるリソース割り当てモデルのディープニューラルネットワーク構成模式図である。

【発明を実施するための形態】

【0015】

本発明の目的、技術案、および利点をより明確にするため、以下において、具体的な実施形態と総合し、添付図面を参照して、本発明に対してより詳細な説明を行う。

【0016】

特に定義されていない限り、本発明の実施形態に使用される技術用語または科学用語は、本開示が属する分野において一般的な技術を有する者に理解され得る一般的な意味であるべきであることに注意すべきである。本開示において使用される「第１の」、「第２の」、および類似の言葉は、いかなる順序、数量、または重要性も示さず、単に異なる構成要素を区別するために用いられる。「含む」または「備える」などの類似の言葉は、該言葉の前に現れる要素または物が該言葉の後に列挙される要素または物およびそれに相当するものをカバーすることを意味し、その他の要素または物を排除しない。「接続する」などの類似の言葉は、物理的または機械的な接続に限定されず、直接または間接を問わず、電気的な接続を含むことができる。「上」、「下」、「左」、「右」などは、相対的な位置関係を表すためにのみ用いられ、説明対象の絶対的な位置の変更に伴い、相対的な位置関係も相応に変更することができる。

【0017】

本発明の技術案は、深層強化学習に基づくＰａＣ（電力とキャッシュ）リソース割り当てのモデルを提供し、人の介入を必要としない条件下で入力データセットに対して自動分析、自動割り当てを行い、如何に効率的にリソース割り当てを行うか自主学習できるシステムを作成し、ネットワークデバイスのリソーススケジューリング計算負担を軽減し、かつ、リソース効率の最大化を実現することができる。

【0018】

以下、添付図面を参照しながら、本発明の実施形態の技術案を詳しく説明する。

【0019】

本発明の実施形態によるネットワークアクセスデバイスのリソース割り当て方法のフローは図１に示すように、下記ステップを含む。

【0020】

ステップＳ１０１：ネットワークアクセスデバイスは、現在サービスのリソース要求情報、および現在の電力とキャッシュクラスタリソースの状態情報をリソース割り当てモデルに入力する。

【0021】

このステップにおいて、ネットワークアクセスデバイス（例えば、ＭＥＣにおけるＯＮＵ）は、現在サービスのリソース要求情報を取得し、現在の電力とキャッシュクラスタリソースの状態情報を決定し、さらに、前記リソース要求情報および前記状態情報をトレーニングを経たリソース割り当てモデルに入力する。

【0022】

【0023】

ネットワークアクセスデバイスは、これらのリクエスト情報を複数のサービスにパッケージ化し、各サービスは、いずれも複数のサービスユニットからなり、１つのサービスの１つのサービスユニットにおいては、該サービスの１つの時間ステップの要求情報と１つのリソースユニットの要求情報とを含むことができる。

【0024】

【0025】

実際の応用において、t時刻の１つの時間ステップにおいて、複数のサービスユニットにおけるリソース要求情報、およびt時刻の電力とキャッシュクラスタリソースの状態情報をリソース割り当てモデルに入力することができる。

【0026】

上記ネットワークアクセスデバイスは、ＭＥＣにおけるＯＮＵであってもよく、基地局であってもよく、あるいはスマート端末をネットワークにアクセスするために用いられる他のネットワークアクセスデバイスであってもよい。

【0027】

ステップＳ１０２：前記リソース割り当てモデルの出力したリソース割り当て結果に基づき、前記サービスに電力とキャッシュリソースの割り当てを行い、前記サービスを実行する。

【0028】

このステップにおいて、ネットワークアクセスデバイスは、前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とし、かつ、前記割り当て結果に基づいて、前記サービスに電力および／またはキャッシュリソースを割り当てて、前記サービスを実行する。

【0029】

具体的に、前記リソース割り当てモデルはディープニューラルネットワークであり、その構成は図７に示すことができる。前記リソース割り当てモデルは、ポリシーネットワークであり、ポリシーネットワークにおけるポリシー関数は、前記リソース割り当てモデルの入力に基づき、全ての可能性のある行動の確率分布を出力することができる。各行動は、１種の電力またはキャッシュリソースの割り当て結果に対応し、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とする。即ち、前記リソース割り当てモデルの出力は、行動空間により表され、リソースの割り当て結果と対応する。リソースの割り当て結果は、具体的に、サービスユニットにリソーススロットイメージにおいて１つの位置を割り当てることであってもよい。ここで、リソーススロットイメージは、具体的に電力とキャッシュのリソーススロットイメージを含む。例えば、リソース割り当てモデルがポリシーに基づいて行動を出力した後、ネットワークアクセスデバイスは、前記リソース割り当てモデルの出力した確率が最も高い行動に基づいて、リソーススロットイメージにおいて、該行動と対応する１つの位置をサービスユニットに割り当てる。例えば、前記リソース割り当てモデルの出力した確率が最も高い行動ａ＝1は、サービスユニットにリソーススロットイメージにおいて相応の第１行の１つ目の位置を割り当てることを表す。

【0030】

【0031】

実際の応用において、１つの時間ステップにおいて、リソース割り当てモデルに、複数のサービスユニットにおけるリソース要求情報、およびt時刻の電力とキャッシュクラスタリソースの状態情報を入力する場合、リソース割り当てモデルは、これらのサービスユニットに対してそれぞれ結果を出力することができ、即ち、サービスユニットそれぞれに対して、リソース割り当てモデルは、１種の全ての可能性のある行動の確率分布を出力する。

【0032】

【0033】

上記のリソース割り当てモデルは、予めトレーニングすることにより得られる。前記リソース割り当てモデルは、前に収集したサービスのリソース要求情報、電力とキャッシュクラスタリソースの状態情報を含むトレーニングデータ、およびサービスの実行遅延に基づいて予めトレーニングすることにより得られる。ここで、サービスの実行遅延は、前記リソース割り当てモデルがトレーニングデータの出力したリソースに基づき結果を割り当てた後、前記リソース割り当て結果に基づき前記サービスを実行した後に決定される。

【0034】

上記のリソース割り当ててモデルは、オンラインでトレーニングを行うことも、オフラインでトレーニングすることもできる。

【0035】

オンラインでトレーニングを行う場合、リソース割り当てモデルは、ネットワークアクセスデバイスにおいて、ネットワークアクセスデバイスの受信したサービスのリクエスト情報をトレーニングデータとしてトレーニングを行うことができる。

【0036】

オフラインでトレーニングを行う場合、予めサービスのリソース要求情報を収集してトレーニングデータとする必要がある。シーン環境において、各シナリオに一定数のサービスが到着し、かつ、ポリシーに基づいて配置を行い、全てのサービスが配置を完了すると、シナリオは終了する。トレーニングにより１つの汎用的なポリシーを出すため、複数のサービスが到着する順序を考慮し、サービスセットを構成し、サービスセットにおける各サービスのリソース要求情報をトレーニングデータとする。毎回のトレーニングの反復において、各サービスセットに複数のシナリオをシミュレートすることで、現在のポリシー関数の取り得る可能性のある行動の確率空間を探索し、得られた結果により全てのサービスセットについてポリシー関数を改善するために用いることができる。

【0037】

上記のリソース割り当てモデルのトレーニング方法において、時間ステップごとに、下記方法に基づき、反復過程におけるモデルパラメータの調整を行うことができ、具体的なフローを図２に示し、具体的に下記ステップを含む。

【0038】

ステップＳ２０１：前に収集したサービスのリソース要求情報、電力とキャッシュクラスタリソースの状態情報をトレーニングデータとし、リソース割り当てモデルに入力する。

【0039】

具体的に、トレーニングデータにおける各サービスは複数のサービスユニットにより構成されることができ、１つのサービスの１つのサービスユニットにおいて、該サービスの１つの時間ステップの要求情報と１つのリソースユニットの要求情報とを含むことができる。

【0040】

【0041】

ステップＳ２０２：前記リソース割り当てモデルがトレーニングデータに基づき出力したリソース割り当て結果に基づき、前記サービスを実行し、前記サービスの実行遅延を決定する。

【0042】

このステップにおいて、前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とする。前記割り当て結果に基づいて、前記サービスに電力および／またはキャッシュリソースを割り当て、前記サービスを実行し、かつ、前記サービスの実行遅延を決定する。

【0043】

【0044】

リソース割り当てモデルにおけるポリシー関数の割り当てポリシーの目標は、サービスの平均遅延を最小化することであり、強化学習の目標は、予想される累積割引報酬値を最大化することである。

【0045】

【0046】

【0047】

【0048】

ステップＳ２０３：決定されたサービスの実行遅延に基づき前記リソース割り当てモデルのパラメータを調整する。

【0049】

具体的に、図３に示すように、サービスの実行遅延に基づいて計算された報酬値に応じて、勾配降下法を用いてリソース割り当てモデルのパラメータを更新することができる。例えば、下記式１に基づいて、ポリシー関数のパラメータを更新し、即ち、リソース割り当てモデルのパラメータを更新することができる。

【0050】

【0051】

【0052】

【0053】

【0054】

【0055】

【0056】

【0057】

上述したネットワークアクセスデバイスのリソース割り当て方法に基づき、本発明の実施形態が提供するネットワークアクセスデバイスのリソース割り当て装置は、図４に示す内部構成を有し、要求情報取得モジュール４０１、状態情報決定モジュール４０２、行動決定モジュール４０３、割り当て結果決定モジュール４０４、リソース割り当てモジュール４０５を備える。

【0058】

要求情報取得モジュール４０１は、前記ネットワークアクセスデバイスの現在サービスのリソース要求情報を取得する。

【0059】

状態情報決定モジュール４０２は、前記ネットワークアクセスデバイスの現在の電力および／またはキャッシュクラスタリソースの状態情報を決定する。

【0060】

行動決定モジュール４０３は、前記リソース要求情報および前記状態情報をトレーニングを経たリソース割り当てモデルに入力する。ここで、前記リソース割り当てモデルは、入力されたリソース要求情報および状態情報に基づいて、全ての可能性のある行動の確率分布のディープニューラルネットワークを出力し、各行動は、１種の電力またはキャッシュリソースの割り当て結果に対応する。

【0061】

割り当て結果決定モジュール４０４は、前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とする。および、
リソース割り当てモジュール４０５は、前記割り当て結果に基づいて、前記サービスに電力および／またはキャッシュリソースを割り当てる。

【0062】

さらに、本発明の実施形態により提供されるネットワークアクセスデバイスのリソース割り当て装置は、モデルトレーニングモジュール４０６を含むことができる。

【0063】

モデルトレーニングモジュール４０６は、前に収集したサービスのリソース要求情報、電力とキャッシュクラスタリソースの状態情報をトレーニングデータとする。前記トレーニングデータを前記リソース割り当てモデルに入力する。前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とする。前記割り当て結果に基づいて、前記サービスに電力および／またはキャッシュリソースを割り当てる。サービスを実行した後、前記サービスの実行遅延を決定する。前記サービスの実行遅延に基づいて、報酬値を計算する。前記報酬値に基づいて、前記リソース割り当てモデルのパラメータに対して調整を行う。

【0064】

本発明の実施形態が提供するネットワークアクセスデバイスのリソース割り当て装置における各モジュールの機能の具体的な実現方法は、上述した図１、図２に示すフローの各ステップの方法を参照することができるため、ここでは再度言及しない。

【0065】

図５は、本実施形態によって提供される、プロセッサ１０１０、メモリ１０２０、入出力インターフェース１０３０、通信インターフェース１０４０、およびバス１０５０を含むことができる、より具体的な電子デバイスのハードウェア構造の概略図を示す。ここで、プロセッサ１０１０、メモリ１０２０、入出力インターフェース１０３０、および通信インターフェース１０４０は、バス１０５０を介してデバイス内部で相互に通信接続を可能にする。

【0066】

プロセッサ１０１０は、本明細書の実施形態によって提供されるネットワークアクセスデバイスのリソース割り当て方法を実現するためのプログラムを実行するために、汎用の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、マイクロプロセッサ、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、または１つまたは複数の集積回路などによって実現されてもよい。

【0067】

メモリ１０２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、静的記憶デバイス、動的記憶デバイスなどの形態で実現することができる。メモリ１０２０は、オペレーティングシステムおよび他のアプリケーションプログラムを記憶することができ、本明細書の実施形態によって提供される技術案をソフトウェアまたはファームウェアを通して実現する場合、関連するプログラムコードはメモリ１０２０に保存され、かつ、プロセッサ１０１０により呼び出され、実行される。

【0068】

入力／出力インターフェース１０３０は、入力／出力モジュールを接続するために用いられ、非線形受信機と接続し、非線形受信機から情報を受信し、情報の入力および出力を実現することができる。入出力／モジュールは、デバイス（図では示されていない）内にコンポーネントとして構成されてもよいし、デバイスに外付けすることで相応の機能を提供してもよい。ここで、入力デバイスはキーボード、マウス、タッチスクリーン、マイク、各種センサなどを含むことができ、出力デバイスはディスプレイ、スピーカ、バイブレータ、表示ライトなどを含むことができる。

【0069】

通信インターフェース１０４０は、自デバイスと他のデバイスとの通信インタラクションを実現するため、通信モジュール（図示せず）を接続するために用いられることができる。ここで、通信モジュールは、有線方式（例えば、ＵＳＢ、ネットワークケーブルなど）を通して通信を実現してもよく、無線方式（例えば、モバイルネットワーク、ＷＩＦＩ、Ｂｌｕｅｔｏｏｔｈなど）を通して通信を実現してもよい。

【0070】

バス１０５０は、デバイスの各コンポーネント（例えば、プロセッサ１０１０、メモリ１０２０、入出力インターフェース１０３０、通信インターフェース１０４０）間で情報を転送するパスを含む。

【0071】

上述のデバイスでは、プロセッサ１０１０、メモリ１０２０、入出力インターフェース１０３０、通信インターフェース１０４０、およびバス１０５０のみを示しているが、具体的な実施プロセスにおいて、該デバイスは、通常の実行を実現するために必要な他のコンポーネントをさらに含んでいてもよいことに留意すべきである。さらに、上述デバイスは、本明細書の実施形態を実現するために必要なコンポーネントのみを含んでもよく、図に示される全てのコンポーネントを含む必要はないことを、当業者は理解することができる。

【0072】

上述した電子デバイスは、具体的には、ＯＮＵや基地局などのネットワークアクセスデバイスに設置することができる。

【0073】

さらに、本発明の実施形態は、非一時的なコンピュータ可読記憶媒体を提供し、ここで、非一時的なコンピュータ可読記憶媒体は、前記ネットワークアクセスデバイスのリソース割り当て方法を前記コンピュータに実行させるためのコンピュータ命令を記憶する。

【0074】

本発明の技術案において、ネットワークアクセスデバイスの現在サービスのリソース要求情報を取得し、前記ネットワークアクセスデバイスの現在の電力とキャッシュクラスタリソースの状態情報を決定し、前記リソース要求情報および前記状態情報を、トレーニングを経たリソース割り当てモデルに入力し、前記リソース割り当てモデルの出力した全ての可能性のある行動の確率分布に基づいて、確率が最も高い行動を最終の電力またはキャッシュリソースの割り当て結果とし、前記割り当て結果に基づいて、前記サービスに電力および／またはキャッシュリソースを割り当て、ここで、前記リソース割り当てモデルは、入力されたリソース要求情報および状態情報に基づいて、全ての可能性のある行動の確率分布を出力するディープニューラルネットワークであり、各行動は、１種の電力またはキャッシュリソースの割り当て結果に対応する。如何に効率的なリソース割り当てを行うかを自主学習できるリソース割り当てモデルを通じて、入力したサービスのリソース要求情報、および電力とキャッシュクラスタリソースの状態情報に対する自動分析を実現し、自動的にリソース割り当てを行い、ネットワークデバイスのリソース振り当て計算負担を軽減することができる。かつ、モデルは、フィードバックされたサービスの実行遅延によりトレーニングして得られるため、最小のサービス平均遅延を得ることができ、リソース効率の最大化を実現することができる。

【0075】

本実施形態のコンピュータ可読媒体は、恒久的および非恒久的なものを含み、リムーバブルメディアおよび非リムーバブルメディアは任意の方法または技術によって情報記憶を実現することができる。情報は、コンピュータ可読命令、データ構造、プログラムのモジュール、または他のデータであってもよい。コンピュータの記憶媒体として、例えば、相変化メモリ(ＰＲＡＭ)、スタティックランダムアクセスメモリ(ＳＲＡＭ)、ダイナミックランダムアクセスメモリ(ＤＲＡＭ)、その他のタイプのランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯM）、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク(ＤＶＤ)または他の光学メモリ、磁気カートリッジ、磁気テープ磁気ディスク記憶デバイスまたは他の磁気記憶デバイスまたは他の非伝送媒体を含むがこれに限定されず、コンピューティングデバイスによってアクセス可能な情報を記憶することに用いられる。

【0076】

当業者であれば、上記の実施形態の議論はいずれも例示的なものであり、本開示の範囲（請求項を含む）がこれらの例に限定されることを暗示することを意図するものではないと理解すべきである。本発明の考え方の下で、上記の実施形態または異なる実施形態における技術的特徴は組み合わせることもでき、ステップは任意の順序により実現されることができ、かつ、簡明を計るため詳細に記載されていない、上記のような本発明の異なる態様の他の多くの変更が存在する。

【0077】

さらに、説明および議論を簡略化するため、また、本発明の理解を困難にしないため、提供する添付図面において、集積回路（ＩＣ）チップと他のパーツの周知の電源/接地接続は示されていても、示されていなくてもよい。さらに、本発明の理解を困難にすることを回避するため、装置をブロック図の形態で示してもよく、これらのブロック図装置の実施形態に関する詳細は、本発明が実施されるプラットフォームに大きく依存する（即ち、これらの詳細は完全に当業者の理解の範囲内にあるべきである）という事実も考慮している。本発明の例示的な実施形態を説明するため、具体的な詳細（例えば、回路）が記載されている場合、これらの具体的な詳細なしに、またはこれらの具体的な詳細を変更しても本発明が実施され得ることは、当業者には明らかである。そのため、これらの説明は、限定的のものではなく、説明的なものであると考えられるべきである。

【0078】

本発明の具体的な実施形態と総合して説明を行ったが、前述の説明に基づき、これらの実施形態の多くの置換、修正、および変形は当業者にとってはよく見られるものである。例えば、他のメモリアーキテクチャ（例えば、ダイナミックランダムアクセスメモリ(ＤＲＡＭ)）は、上述の実施形態を用いることができる。

【0079】

本発明の実施形態の旨は、特許請求項の範囲内の全ての置換、修正、および変形を含むことができる。そのため、本発明の精神及び原則に基づき行われた省略、修正、同等置換、改良等は、いずれも本発明の保護範囲内に含まれるものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】