特許 7168753 ヘッドルームに基づくエッジデバイスのためのプロファイリングおよびアプリケーション監視

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-31

(45)【発行日】2022-11-09

(54)【発明の名称】ヘッドルームに基づくエッジデバイスのためのプロファイリングおよびアプリケーション監視

(51)【国際特許分類】

   G06N 3/08 20060101AFI20221101BHJP

   G06N 20/00 20190101ALI20221101BHJP

   G06F 9/50 20060101ALI20221101BHJP

【ＦＩ】

G06N3/08

G06N20/00 130

G06F9/50 150C

G06F9/50 150D

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2021199027

(22)【出願日】2021-12-08

(65)【公開番号】P2022091727

(43)【公開日】2022-06-21

【審査請求日】2022-02-16

(31)【優先権主張番号】17/116,384

(32)【優先日】2020-12-09

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】521537357

【氏名又は名称】キューピーアイクラウド テクノロジーズ プライベート リミテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100176418

【弁理士】

【氏名又は名称】工藤 嘉晃

(72)【発明者】

【氏名】ナゲンドラ ナーガラージャ

(72)【発明者】

【氏名】アビナンド バラチャンドラン

【審査官】杉浦 孝光

(56)【参考文献】

【文献】米国特許出願公開第２０１５／００５８２６５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ ８／６０－ ８／６５８

Ｇ０６Ｆ ９／５０

(57)【特許請求の範囲】

【請求項1】

メモリに格納されたコンピュータ可読命令を実行するプロセッサによって、エッジデバイスのリソースヘッドルームデータを受信するステップと、
前記プロセッサによって複数のアプリケーションのリソース利用状況データを受信するステップと、
前記プロセッサによって、前記エッジデバイスの前記リソースヘッドルームに基づいて、前記エッジデバイスへのインストールのための前記複数のアプリケーションからアプリケーションのグループを選択するステップと、
前記プロセッサによって、前記エッジデバイスのためのアプリケーションの前記選択されたグループの適性に基づいて適合性スコアを計算するステップと、
前記プロセッサによって、前記適合性スコアに基づいて報酬を生成するステップと、
前記プロセッサによって、前記グループの前記選択を洗練するために前記報酬を使用するステップと
を含む、方法。

【請求項2】

前記プロセッサが、深層強化学習アルゴリズムに基づいてアプリケーションの前記グループを選択するための前記コンピュータ可読命令を実行する、請求項１に記載の方法。

【請求項3】

前記深層強化学習アルゴリズムが、決定論的深層ポリシ勾配アルゴリズムを備える、請求項２に記載の方法。

【請求項4】

前記深層強化学習アルゴリズムが、前記報酬に基づいてアプリケーションの前記グループの前記選択を調節するエージェントを備える、請求項２に記載の方法。

【請求項5】

前記プロセッサが、深層学習アルゴリズムに基づいて前記適合性スコアを決定するための前記コンピュータ可読命令を実行する、請求項１に記載の方法。

【請求項6】

前記深層学習アルゴリズムが、畳み込みニューラルネットワークを備える、請求項５に記載の方法。

【請求項7】

前記プロセッサによって、前記エッジデバイスにインストールするためのアプリケーションの前記グループの少なくとも１つを選択するステップをさらに含む、請求項１に記載の方法。

【請求項8】

前記適合性スコアが、アプリケーションの前記グループが前記エッジデバイスの前記リソースヘッドルームに適合する場合、第１の確率スコアを、また、アプリケーションの前記グループが前記エッジデバイスの前記リソースヘッドルームに適合しない場合、前記第１の確率スコアとは異なる第２の確率スコアを備える、請求項１に記載の方法。

【請求項9】

前記報酬が、前記エッジデバイスのためのアプリケーションの前記選択されたグループの高い適性を前記適合性スコアが示すと正の値を、また、前記エッジデバイスのためのアプリケーションの前記選択されたグループの低い適性を前記適合性スコアが示すとゼロまたは負の値を備える、請求項１に記載の方法。

【請求項10】

前記リソースヘッドルームデータが、多変量時系列データとして表される、請求項１に記載の方法。

【請求項11】

前記リソースヘッドルームが、中央処理装置利用状況、メモリ容量、ネットワーク帯域幅、メモリ帯域幅、新しいロジックをプログラムするためのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）データ、または温度の少なくとも１つのリソース利用情報を含む、請求項１に記載の方法。

【請求項12】

前記エッジデバイスが、前記エッジデバイスの前記リソース利用状況データに基づいて前記リソースヘッドルームデータを計算するためのエージェントを備える、請求項１に記載の方法。

【請求項13】

前記プロセッサによって、前記エッジデバイスへのインストールのために、ユーザによる選択のためのダッシュボード上にアプリケーションの前記グループを提示するステップをさらに含む、請求項１に記載の方法。

【請求項14】

システムであって、
コンピュータ可読命令を格納したメモリと、
プロセッサであって、
エッジデバイスのリソースヘッドルームデータを受信すること、
複数のアプリケーションのリソース利用状況データを受信すること、
前記エッジデバイスの前記リソースヘッドルームに基づいて、前記エッジデバイスへのインストールのための前記複数のアプリケーションからアプリケーションのグループを選択すること、
前記エッジデバイスのためのアプリケーションの前記選択されたグループの適性に基づいて適合性スコアを計算すること、
前記適合性スコアに基づいて報酬を生成すること、および
前記グループの前記選択を洗練するために前記報酬を使用すること
を行うために前記コンピュータ可読命令を実行するプロセッサと
を備える、システム。

【請求項15】

前記プロセッサが、深層強化学習アルゴリズムに基づいてアプリケーションの前記グループを選択すること、および深層学習アルゴリズムに基づいて前記適合性スコアを決定することを行うために、前記コンピュータ可読命令を実行する、請求項１４に記載のシステム。

【請求項16】

前記リソースヘッドルームが、中央処理装置利用状況、メモリ容量、ネットワーク帯域幅、メモリ帯域幅、新しいロジックをプログラムするためのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）データ、または温度の少なくとも１つのリソース利用情報を含み、前記リソースヘッドルームデータが、多変量時系列データとして表される、請求項１４に記載のシステム。

【請求項17】

前記報酬が、前記エッジデバイスのためのアプリケーションの前記選択されたグループの高い適性を前記適合性スコアが示すと正の値を、また、前記エッジデバイスのためのアプリケーションの前記選択されたグループの低い適性を前記適合性スコアが示すとゼロまたは負の値を備える、請求項１４に記載のシステム。

【請求項18】

非一時的コンピュータ可読媒体であって、プロセッサによって実行されると、
エッジデバイスのリソースヘッドルームデータを受信することと、
複数のアプリケーションのリソース利用状況データを受信することと、
前記エッジデバイスの前記リソースヘッドルームに基づいて、前記エッジデバイスへのインストールのための前記複数のアプリケーションからアプリケーションのグループを選択することと、
前記エッジデバイスのためのアプリケーションの前記選択されたグループの適性に基づいて適合性スコアを計算することと、
前記適合性スコアに基づいて報酬を生成することと、
前記グループの前記選択を洗練するために前記報酬を使用することと
を含む処理を前記プロセッサに実施させる、前記非一時的コンピュータ可読媒体に格納されたコンピュータ可読命令を含む、非一時的コンピュータ可読媒体。

【請求項19】

前記エッジデバイスが、前記エッジデバイスの前記リソース利用状況データに基づいて前記リソースヘッドルームデータを計算するためのエージェントを備える、請求項１８に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記報酬が、前記エッジデバイスのためのアプリケーションの前記選択されたグループの高い適性を前記適合性スコアが示すと正の値を、また、前記エッジデバイスのためのアプリケーションの前記選択されたグループの低い適性を前記適合性スコアが示すとゼロまたは負の値を備える、請求項１８に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

以下の説明は、読者の理解を助けるために提供される。提供される情報または引用される参照はどれも、従来技術と認められていない。

【発明の概要】

【発明が解決しようとする課題】

【0002】

多くのアプリケーションは、１つまたは複数のコンピューティングデバイスを使用して様々な動作を実施する。これらのコンピューティングデバイスは、コンピューティングデバイスにインストールされた１つまたは複数のアプリケーションを有し得る。１つまたは複数のアプリケーションは、様々な動作を実施するために、計算能力、メモリ、ネットワーク帯域幅等のリソースを配分され得る。いくつかの事例では、新しいアプリケーションは、コンピューティングデバイスの１つまたは複数にインストールされる必要があり得る。それでも、コンピューティングデバイスのどれに新しいアプリケーションをインストールするべきかを決める現在のメカニズムは、コンピューティングデバイスが構成される方式、およびコンピューティングデバイスが動作する方法に制限される。

【課題を解決するための手段】

【0003】

本開示のいくつかの態様によれば、方法が開示される。方法は、メモリに格納されたコンピュータ可読命令を実行するプロセッサによって、エッジデバイスのリソースヘッドルームデータを受信することと、プロセッサによって複数のアプリケーションのリソース利用状況データを受信することと、プロセッサによって、エッジデバイスのリソースヘッドルームに基づいて、エッジデバイスへのインストールのための複数のアプリケーションからアプリケーションのグループを選択することとを含む。また、方法は、プロセッサによって、エッジデバイスのためのアプリケーションの選択されたグループの適性に基づいて適合性スコアを計算することと、プロセッサによって、適合性スコアに基づいて報酬を生成することと、プロセッサによって、その後の繰返しにおける選択のグループの選択を洗練するために報酬を使用することとを含む。

【0004】

本開示の他のいくつかの態様によれば、システムが開示される。システムは、コンピュータ可読命令を格納したメモリと、プロセッサであって、エッジデバイスのリソースヘッドルームデータを受信すること、複数のアプリケーションのリソース利用状況データを受信すること、およびエッジデバイスのリソースヘッドルームに基づいて、エッジデバイスへのインストールのための複数のアプリケーションからアプリケーションのグループを選択することを行うためにコンピュータ可読命令を実行するプロセッサとを含む。また、プロセッサは、エッジデバイスのためのアプリケーションの選択されたグループの適性に基づいて適合性スコアを計算すること、適合性スコアに基づいて報酬を生成すること、およびその後の繰返しにおける選択のグループの選択を洗練するために報酬を使用することを行うためにコンピュータ可読命令を実行する。

【0005】

本開示の他のいくつかの態様によれば、コンピュータ可読命令を格納した非一時的コンピュータ可読媒体が開示される。コンピュータ可読命令は、プロセッサによって実行されると、エッジデバイスのリソースヘッドルームデータを受信することと、複数のアプリケーションのリソース利用状況データを受信することと、エッジデバイスのリソースヘッドルームに基づいて、エッジデバイスへのインストールのための複数のアプリケーションからアプリケーションのグループを選択することとを含む処理をプロセッサに実施させる。また、コンピュータ可読命令は、プロセッサによって実行されると、エッジデバイスのためのアプリケーションの選択されたグループの適性に基づいて適合性スコアを計算すること、適合性スコアに基づいて報酬を生成すること、およびその後の繰返しにおける選択のグループの選択を洗練するために報酬を使用することを含む処理をプロセッサに実施させる。

【0006】

前述の概要は例証に過ぎず、何らかの方式で限定することを意図するものではない。上記で説明された例証的態様、実施形態、および特徴の他に、さらなる態様、実施形態、および特徴が、以下の図面および詳細な説明を参照することによって明らかになるであろう。

【図面の簡単な説明】

【0007】

【図1】本開示のいくつかの実施形態による、アプリケーションプロファイリングシステムの実例のブロック図である。

【図2】本開示のいくつかの実施形態による、エッジデバイスのリソースヘッドルームの実例の時系列の図である。

【図3】本開示のいくつかの実施形態による、図１のアプリケーションプロファイリングシステムのバックエンドサーバの実例のブロック図である。

【図4】本開示のいくつかの実施形態による、図３のバックエンドサーバによって実施されるディープリソースラーニング（ＤＲＬ：Ｄｅｅｐ Ｒｅｓｏｕｒｃｅ Ｌｅａｒｎｉｎｇ）アルゴリズムの実例の状態図である。

【図5】本開示のいくつかの実施形態による、図４のさらなる詳細を示す図である。

【図6A】本開示のいくつかの実施形態による、ＤＲＬアルゴリズムの１つのタイプの実例のブロック図である。

【図6B】本開示のいくつかの実施形態による、ＤＲＬアルゴリズムの１つのタイプの実例のブロック図である。

【図7】本開示のいくつかの実施形態による、図３のバックエンドサーバによって実施される畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）実例のブロック図である。

【図8】本開示のいくつかの実施形態による、図３のバックエンドサーバによって実施される深層学習アルゴリズムの実例のブロック図である。

【図9】本開示のいくつかの実施形態による、エッジデバイスにインストールするために図３のバックエンドサーバによってアプリケーションのグループを選択するための処理の動作を概説する実例のフローチャートである。

【図10】本開示のいくつかの実施形態による、図７および図８のＤＬアルゴリズムによる適合性スコアを生成するための処理の動作を概説する実例のフローチャートである。

【図11】本開示のいくつかの実施形態による、図４～図６のＤＲＬアルゴリズムに対する報酬を決定するための処理の動作を概説する実例のフローチャートである。

【図12】本開示のいくつかの実施形態による、ダッシュボードの実例のスクリーンショットである。

【図13】本開示のいくつかの実施形態による、コンピューティングデバイスの実例のブロック図である。

【発明を実施するための形態】

【0008】

本開示の前述および他の特徴は、添付の図面と共に利用される以下の説明および添付の特許請求の範囲から明らかになるであろう。これらの図面が本開示によるいくつかの実施形態しか描写しないこと、およびしたがって、本開示の範囲を限定するものとみなされるべきではないことを理解しながら、本開示は、添付の図面を使用してさらに具体的かつ詳細に説明される。

【0009】

以下の詳細な説明では、本明細書の一部を形成する添付の図面を参照する。図面において、同様の記号は通常、別途文脈が指示しない限り同様の構成要素を識別する。詳細な説明、図面、および特許請求の範囲に記述される例証的実施形態は、限定することを意図するものではない。本明細書で提示される主題の精神または範囲から逸脱することなく、他の実施形態が利用され得、他の変更が行われ得る。本明細書で全体的に説明され、図に示されるような本開示の態様は、多種多様な種々の構成で配置、代用、結合、およびデザイン可能であり、これらの全てが明確に想定され、本開示の一部となることが容易に理解されよう。

【0010】

図１を参照すると、本開示のいくつかの実施形態による、実例のアプリケーションプロファイリングシステム１００が示されている。アプリケーションプロファイリングシステム１００は、複数のデバイスのリアルタイム監視のために使用され得る。したがって、アプリケーションプロファイリングシステム１００は、例えば、監視されているエッジデバイス１１０Ａ、１１０Ｂ、１１０Ｃ、および１１０Ｄを含む、複数のエッジデバイス１０５を含む。エッジデバイスは、本明細書では「エッジボックス」とも呼ばれる。本明細書には４つのエッジデバイス（例えばエッジデバイス１１０Ａ～１１０Ｄ）が示されているが、他の実施形態では、４つより多くのまたは少ないエッジデバイスが、アプリケーションプロファイリングシステム１００内に提供され得る。複数のエッジデバイス１０５のそれぞれは、コンピューティングデバイスと関連付けられたデバイス、装置、機械、またはシステムでよい。例えば、いくつかの実施形態では、複数のエッジデバイス１０５の少なくとも１つは、（処理ユニット、メモリ、およびオペレーティングシステムを有する）プリント回路基板ベースコントローラでよい。いくつかの実施形態では、複数のエッジデバイス１０５の少なくとも１つは、工場の生産現場の構成要素でよい。例えば、いくつかの実施形態では、複数のエッジデバイス１０５の少なくとも１つは、熱交換器、検知デバイス、機械設備、ロボット、または、コンピューティングデバイス（例えば、コントローラ、処理ユニット、メモリ、オペレーティングシステム）に関連付けられるか、別途接続された他の任意のデバイスまたは構成要素でよい。

【0011】

さらに、複数のエッジデバイス１０５のそれぞれは、エージェントと関連付けられ得る。例えば、エッジデバイス１１０Ａは、エージェント１１５Ａと関連付けられてもよく（例えば、エージェント１１５Ａをインストールしていてもよく）、エッジデバイス１１０Ｂは、エージェント１１５Ｂと関連付けられてもよく（例えば、エージェント１１５Ｂをインストールしていてもよく）、エッジデバイス１１０Ｃは、エージェント１１５Ｃと関連付けられてもよく（例えば、エージェント１１５Ｃをインストールしていてもよく）、エッジデバイス１１０Ｄは、エージェント１１５Ｄと関連付けられてもよい（例えば、エージェント１１５Ｄをインストールしていてもよい）。エージェント１１５Ａ～１１５Ｄは、本明細書ではまとめてエージェント１１５と呼ばれる。エージェント１１５のそれぞれは、１つまたは複数の特定の動作および承認済動作を実施するように構成された自律的ソフトウェアプログラムでよい。いくつかの実施形態では、エージェント１１５は、また、１つまたは複数の特定の動作および承認済動作を実施するためのハードウェア、ファームウェア、または、その組合せと関連付けられてもよい。例えば、いくつかの実施形態では、エージェント１１５は、これらのエージェントが意図されたように動作可能にするリソース（例えばＣＰＵ、メモリ等）と関連付けられてもよい。いくつかの実施形態では、エージェント１１５は、１つまたは複数の特定の動作および承認済動作を実施するために複数のエッジデバイス１０５の特定の１つにインストールされ得る。他の実施形態では、エージェント１１５は、１つまたは複数の特定の動作および承認済動作を実施するために、別のデバイスにインストールされ、複数のエッジデバイスの特定の１つに動作接続され得る。

【0012】

いくつかの実施形態では、エージェント１１５は、エージェント１１５の関連付けられたエッジデバイスからデータを収集するように構成されたデータ収集エージェントでよい。いくつかの実施形態では、エージェント１１５は、複数のエッジデバイス１０５のうちの関連付けられた１つを定期的に（例えば１０秒毎に）ポーリングしてデータを収集し得る、エージェント１１５上で動く処理を有し得る。いくつかの実施形態では、エージェント１１５は、アプリケーションプログラミングインターフェース（ＡＰＩ）をコールすることによって複数のエッジデバイス１０５をポーリングし得る。他の実施形態では、エージェント１１５は、他のメカニズムを使用して複数のエッジデバイス１０５をポーリングし得る。また、他の実施形態では、エージェント１１５は、ポーリング以外の、またはポーリングに加えて、他のメカニズムを使用して複数のエッジデバイス１０５からデータを収集し得る。さらに、いくつかの実施形態では、エージェント１１５は、複数のエッジデバイス１０５からリソース利用状況データを収集し得る。リソース利用状況データは、ＣＰＵ（中央処理装置）利用状況データ、メモリ容量データ、ネットワーク帯域幅データ、新しいロジックをプログラミングするためのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）データ、温度等を含み得る。他の実施形態では、エージェント１１５は、リソース利用状況データの他のタイプまたは追加のタイプを集めるように構成され得る。また、エージェント１１５は、リソース利用状況データ以外の、またはリソース利用状況データに加えて、データを集めるように構成され得る。例えば、いくつかの実施形態では、エージェント１１５は、システムレベル基準値およびアプリケーションレベル基準値、アプリケーションディスカバリおよびプロファイリングに関するデータ（例えば、どのアプリケーションがそれぞれのエッジボックスにインストールされるかを決定すること）等を集めるように構成され得る。

【0013】

いくつかの実施形態では、エージェント１１５のそれぞれは、複数のタイプのリソース利用状況データを集めるように構成され得る。他の実施形態では、エージェント１１５のそれぞれは、単一のタイプのリソース利用状況データを集めるように構成され得る。したがって、いくつかの実施形態では、複数のエッジデバイス１０５のそれぞれは、集められることになるリソース利用状況データのタイプに応じて、複数のエージェントと関連付けられ得る。いくつかの実施形態では、エージェント１１５の１つまたは複数は、複数のエッジデバイス１０５のうちの単一のエッジデバイスからデータを集めるように構成され得る。他の実施形態では、エージェント１１５の１つまたは複数は、複数のエッジデバイス１０５のうちの複数のエッジデバイスからデータを集めるように構成され得る。したがって、エージェント１１５は、複数のエッジデバイス１０５からデータ（例えばリソース利用状況データ）を集めるように様々な方式で構成され得る。エージェント１１５は、特定のエージェントが収集しなければならないリソース利用状況データのタイプ、および、このエージェントがリソース利用状況データを収集しなければならない複数のエッジデバイス１０５のアイデンティティを用いてプログラムされ得る。

【0014】

さらに、いくつかの実施形態では、エージェント１１５は、また、収集データを他のエンティティに転送するように構成され得る。いくつかの実施形態では、エージェント１１５は、収集データをバッファし、収集データをバッチで周期的に送信するように構成され得る。他の実施形態では、エージェント１１５は、データが収集されると同時にデータを即座に（または実質的に即座に）送信するように構成され得る。いくつかの実施形態では、および特にエージェント１１５が伝送前にデータをバッファしている実施形態では、エージェントは、バッファデータを削除する前に、成功した伝送についての通知を受信するように構成され得る。他の実施形態では、エージェント１１５は、成功した伝送通知を待たずに、データを送信すると同時にバッファデータを削除するように構成され得る。したがって、エージェント１１５は、様々な方式でデータを伝送するように構成され得る。

【0015】

さらに、いくつかの実施形態では、エージェント１１５は、複数のエッジデバイス１０５から集められた未加工データを送信するように構成され得る。他の実施形態では、エージェント１１５は、送信前にデータを処理するように構成され得る。例えば、いくつかの実施形態では、エージェント１１５は、送信前にデータのソート、フィルタ、圧縮、および／または暗号化を行い得る。他の実施形態では、エージェント１１５は、データを送信する前にデータに対して他の処理動作を実施し得る。いくつかの実施形態では、エージェント１１５は、未加工データの代わりに、または未加工データに加えて、ヘッドルームを計算し、ヘッドルームデータを伝送し得る。ヘッドルームは、エッジデバイスに配分されたリソースの量と、特定の瞬間にこのエッジデバイスによって使用されているこのリソースの量との差である。したがって、ヘッドルームは、エッジデバイスにおける特定の瞬間におけるリソースの残りの量であるとみなされ得る。例えば、エッジデバイス１１０Ａがメモリのうちの１０ギガバイトを配分され、このエッジデバイスが時間ｔにおいてメモリのうちの６ギガバイトを消費している場合、時間ｔにおけるこのエッジデバイスのメモリのヘッドルームは、（１０－６）＝４ギガバイトである。したがって、時間ｔにおいて、エッジデバイス１１０Ａは、メモリのうちのさらに４ギガバイトを消費することができる。ヘッドルームは、複数のエッジデバイス１０５に配分された、および／または、エージェント１１５によってデータが収集された、各リソースについて計算され得る。したがって、いくつかの実施形態では、複数のエッジデバイス１０５のそれぞれについて、複数のヘッドルームデータ（各タイプのリソースに対して１つ）が計算され得る。

【0016】

いくつかの実施形態では、エージェント１１５は、ヘッドルームを計算するように構成され得る。このような実施形態では、エージェント１１５は、特定のエージェントがリソース利用状況データを収集するように構成された複数のエッジデバイス１０５に配分された特定のリソースの量（「配分量」）を知るように構成され得る。したがって、複数のエッジデバイス１０５のうちの特定のエッジデバイスから実際のリソース利用状況データ（「実際量」）を収集すると、この特定のエッジデバイスと関連付けられたエージェント（例えばエージェント１１５）は、配分量と実際量との差を計算して、特定のリソースのヘッドルームを決定し得る。他の実施形態では、アプリケーションプロファイリングシステム１００の別のエンティティが、ヘッドルームを計算するように構成され得る。

【0017】

ヘッドルームを計算することに加えて、いくつかの実施形態では、エージェント１１５は、実際のリソース利用状況およびヘッドルームの時系列マップを作成し得る。時系列マップの例が図２に示されている。他の実施形態では、アプリケーションプロファイリングシステム１００の別のエンティティが、時系列マップを計算し得る。したがって、各タイプのリソース利用状況について、エージェント１１５は、未加工データ、処理後データ、ヘッドルームデータ、および／または時系列データ（本明細書ではまとめて「伝送データ」と呼ばれる）を伝送し得る。エージェント１１５は、ストリーミングフレームワーク１２０を利用して伝送データを送信し得る。いくつかの実施形態では、ストリーミングフレームワーク１２０は、ネットワークを含み得る。例えば、いくつかの実施形態では、ストリーミングフレームワーク１２０は、アプリケーションプロファイリングシステム１００内での使用に適し得る様々な有線またはワイヤレスネットワークチャネルのいずれかを含み得る。例えば、いくつかの実施形態では、ストリーミングフレームワーク１２０は、イーサネット接続、１つまたは複数のツイストペアワイヤ、同軸ケーブル、光ファイバケーブル等の有線接続を含み得る。他の実施形態では、ストリーミングフレームワーク１２０は、マイクロ波、赤外線波、電波、Ｂｌｕｅｔｏｏｔｈ、Ｚ－Ｗａｖｅ、スペクトラム拡散技術、衛星等のワイヤレス接続を含み得る。また、ストリーミングフレームワーク１２０は、セルラーネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネット等を使用して、アプリケーションプロファイリングシステム１００内の他のデバイス／システムと通信するように構成され得る。いくつかの実施形態では、ストリーミングフレームワーク１２０は、有線通信とワイヤレス通信の組合せを含み得る。また、ストリーミングフレームワーク１２０は、ネットワークインターフェース、スイッチ、ルータ、ネットワークカード、ならびに／または、アプリケーションプロファイリング１００内の相互通信を容易にする際に有する必要があるか、望ましいと考えられる他のハードウェア、ソフトウェア、および／もしくはファームウェア構成要素を含むか、これらと関連付けられ得る。

【0018】

ストリーミングフレームワーク１２０を使用して、エージェント１１５は、サーバ１２５（本明細書ではバックエンドサーバ１２５とも呼ばれる）、および１つまたは複数のクライアントマシン１３０にデータを伝送し得る。他の実施形態では、ストリーミングフレームワーク１２０を使用して、エージェント１１５は、アプリケーションプロファイリングシステム１００の他の所望の構成要素にもデータを伝送し得る。いくつかの実施形態では、サーバ１２５は、Ｄｅｌｌ、Ｉｎｃ．、Ｌｅｎｏｖｏ Ｇｒｏｕｐ Ｌｔｄ．、またはＬｅｎｏｖｏ ＰＣ Ｉｎｔｅｒｎａｔｉｏｎａｌ、Ｃｉｓｃｏ Ｓｙｓｔｅｍｓ，Ｉｎｃ．等からのサーバコンピュータなどの、ハードウェアデバイスでよい。他の実施形態では、サーバ１２５は、パーソナルコンピュータ、入出力もしくは周辺機器ユニット（プリンタなど）、または、本明細書で説明される機能の実施に適した任意のタイプのデバイスなどの別のタイプのハードウェアデバイスを含むか、これらと関連付けられ得る。

【0019】

サーバ１２５は、命令を実行するように構成された１つまたは複数のプロセッサ１３５と関連付けられ得るか、これらを含み得る。命令は、専用コンピュータ、論理回路、またはサーバ１２５のハードウェア回路によって実行され得る。プロセッサ１３５は、ハードウェア、ファームウェア、ソフトウェア、またはこれらの任意の組合せに提供され得る。用語「実行」は、例えば、アプリケーションを動かす処理、または、命令によって指示される動作の実行である。命令は、１つまたは複数のプログラミング言語、スクリプト言語、アセンブリ言語等を使用して書かれ得る。したがって、プロセッサ１３５は、この命令によって指示される動作を実施することを意図する命令を実行する。プロセッサ１３５は、情報の受信、送信、および処理のため、ならびに、エージェント１１５の動作の制御のために、メモリデバイス１４０に動作連結され得る。プロセッサ１３５は、リードオンリメモリ（「ＲＯＭ」）デバイスのような永久メモリデバイスからなど、メモリデバイス１４０から命令のセットを取り出し、一般的にランダムアクセスメモリ（「ＲＡＭ」）のいくつかの形式である一時メモリデバイスに、実行可能形式の命令をコピーし得る。いくつかの実施形態では、プロセッサ１３５は、ＲＡＭに命令を最初にコピーせずに命令を実行し得る。さらに、プロセッサ１３５は、単一のスタンドアロンプロセッサ、または、同じもしくは異なる処理技術を使用する複数のプロセッサを含み得る。

【0020】

メモリデバイス１４０は、アプリケーションプロファイリングシステム１００に適したストレージデバイスの様々なタイプを含み得る。例えば、いくつかの実施形態では、メモリデバイス１４０は、任意のタイプのＲＡＭ、ＲＯＭ、フラッシュメモリ、磁気ストレージデバイス（例えばハードディスク、フロッピーディスク、磁気帯等）、光ディスク（例えばコンパクトディスク（「ＣＤ」）、デジタルバーサタイルディスク（「ＤＶＤ」）等）、スマートカード、ソリッドステートデバイス等を含み得るがこれらに限定されない。いくつかの実施形態では、メモリデバイス１４０は、アプリケーションプロファイリングシステム１００内での使用に適し、ストリーミングフレームワーク１２０を介してアクセス可能な、様々なネットワークアクセシブルストレージのいずれかを含み得る。メモリデバイス１４０は、ストリーミングフレームワーク１２０を介して複数のエッジデバイス１０５およびエージェント１１５のそれぞれによってアクセスされるように構成された分散ストレージシステムを形成し得る。いくつかの実施形態では、メモリデバイス１４０はクラウドストレージを含み得る。メモリデバイス１４０は、エージェント１１５から受信された伝送データを格納するように構成され得る。したがって、メモリデバイス１４０は、エージェント１１５から受信されたデータを格納する１つまたは複数のデータベース１４５を含み得る。また、メモリデバイス１４０は、本明細書で説明される機能を実施するために、プロセッサ１３５によって実行され得る１つまたは複数のアルゴリズムまたはコンピュータ可読命令を格納するように構成され得る。

【0021】

いくつかの実施形態では、サーバ１２５は、エージェント１１５から受信されたリソース利用状況のヘッドルームデータおよび時系列マップに基づいて、複数のエッジデバイス１０５にインストールされ得るアプリケーションのタイプおよび数を決定するように構成され得る。いくつかの実施形態では、サーバ１２５は、複数のエッジデバイス１０５へのインストールに最も適したアプリケーションのグループを選ぶための深層強化学習アルゴリズムを実施し得る。サーバ１２５のさらなる詳細は下記で論じられる。

【0022】

図１をさらに参照すると、エージェント１１５は、また、１つまたは複数のクライアントマシン１３０にデータを伝送し得る。１つまたは複数のクライアントマシン１３０のそれぞれは、複数のエッジデバイス１０５の１つまたは複数にインストールするための、サーバ１２５から受信された情報に基づくアプリケーションをユーザが選択し得るユーザインターフェース（例えばダッシュボードであり、この例は、下記の図１２に示されている）を含み得る。また、１つまたは複数のクライアントマシン１３０のそれぞれは、プロセッサ（例えばプロセッサ１３５と同様）およびメモリを含み得る。

【0023】

アプリケーションプロファイリングシステム１００の特定の構成要素および特徴だけが本明細書で示され、説明されることを再び理解されたい。それでも、本明細書で説明される機能を実施することが必要とされるか、望まれ得る他の構成要素および特徴が、本開示の範囲内であると想定され、みなされる。上記で説明されたアプリケーションプロファイリングシステム１００の様々な構成要素の構成は例に過ぎず、何らかの方式で限定することを意図するものではないことも理解されたい。むしろ、これらの構成要素の構成は、本明細書で説明される機能を実施するために変化し得る。

【0024】

図２に移ると、本開示のいくつかの実施形態による、実例の時系列マップ２００が示されている。時系列マップ２００は、Ｙ軸上のリソースの利用状況に対してＸ軸上に時間をプロットしている。具体的には、時系列マップ２００は、ネットワーク、およびメモリのリソース利用状況、ならびにＣＰＵ利用状況を同じプロット上にプロットしている。したがって、時系列マップ２００は単一プロット上に複数のリソース利用状況を組み合わせ、マルチ時系列と呼ばれ得る。他の実施形態では、別個の時系列マップが、これらのリソースのそれぞれのために作成され得る。さらに、ネットワーク、メモリ、およびＣＰＵ利用状況だけが時系列マップ２００に示されているが、他の実施形態では、他または追加のリソースのリソース利用状況が同様にプロットされ得る。時系列マップ２００上の各リソースは、このリソースの配分量、特定の時間におけるこのリソースの消費量、およびヘッドルームを描写する。

【0025】

例えば、時系列マップ２００は、ネットワークリソースが範囲２０５によって描写された配分されたネットワーク量を有すること、メモリリソースが範囲２１０によって描写された配分されたメモリ量を有すること、およびＣＰＵリソースが範囲２１５によって描写された配分されたＣＰＵ量を有することを示す。ネットワーク、メモリ、およびＣＰＵリソースの実際のリソース利用状況が、プロット２２０、２２５、および２３０によってそれぞれ示されている。配分量および実際のリソース利用状況に基づいて、リソースのヘッドルームが、時系列マップ２００から計算され得る。例えば、時系列マップ２００は、範囲２１５の上端とプロット２３０によって示された実際のリソース利用状況の平均量との差としてＣＰＵのリソースヘッドルーム２３５を示す。同様に、時系列マップ２００に示されていないが、リソースヘッドルームは、メモリおよびネットワークリソースのために計算され得る。このリソースヘッドルーム情報は、複数のエッジデバイス１０５のうちの特定のエッジデバイスにインストールされることになるアプリケーションのグループを選択するためにサーバ１２５によって使用され得る。用語ヘッドルーム、リソースヘッドルーム等は本明細書では区別なく使用されることを理解されたい。

【0026】

図３に移ると、本開示のいくつかの実施形態による、サーバ３００の実例のブロック図が示されている。サーバ３００は、図１のサーバ１２５に似ている。したがって、図示されていないが、サーバ３００は、メモリなどの非一時的コンピュータ可読媒体に格納されたコンピュータ可読命令を実行するプロセッサを含む。サーバ３００は、このエッジデバイス上のリソースヘッドルームに基づいて、エッジデバイスにインストールするための１つまたは複数のアプリケーションを選択するために使用され得る。複数のエッジデバイス１０５にインストールされ得る「アプリケーション」は、ソフトウェアアプリケーションを含み得る。具体的には、アプリケーションは、これらのアプリケーションがインストールされる複数のエッジデバイス１０５の様々な態様を制御するために、計算能力を使用するもの（例えば、ＣＰＵ利用を要求し、外部および内部メモリと関連付けられ得るもの）を含み得る。例えば、アプリケーションは、機械の回転速度を制御すること、温度を制御すること、センサおよびアプリケーションから他の構成要素（例えばエージェント１１５）、グラフィックスおよびディスプレイドライバに関連したアプリケーション等にデータ（例えば基準値データ等）を転送することを行い得るものを含み得る。いくつかの実施形態では、アプリケーションは、市販タイプのアプリケーションでよい。他の実施形態では、アプリケーションは、特定の機能（例えば、機械データ、センサデータ、温度データを使用すること、通信データに対して作用するようにプログラムすること、等）を実現するようにプログラムされたカスタムアプリケーションでよい。いくつかの実施形態では、アプリケーションは、特定の機械学習モデルを含み得る。

【0027】

いくつかの実施形態では、サーバ３００は、人工知能／機械学習ベースアルゴリズムを実施し得る。アルゴリズムは、複数のエッジデバイス１０５にインストールされ得る各アプリケーションに要求されるリソース利用を適用することによって訓練され得る。アルゴリズムの目的は、人工知能／機械学習を使用したアプリケーションのインテリジェント配置によって、複数のエッジデバイス１０５のリソースヘッドルームを効率的に管理することである。いくつかの実施形態では、サーバ３００は、複数のエッジデバイス１０５のリソースヘッドルームがわかると、深層学習と深層強化学習技法の組合せを実施し得る。具体的には、アプリケーションのグループを選択するために、複数のエッジデバイス１０５にインストールされる可能性があり得る各アプリケーションのリソース利用状況データが収集され、深層強化学習（ＤＲＬ）アルゴリズム（例えば決定論的深層ポリシ勾配（Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ））に供給され得、次に、リソース利用状況データは、特定の時点における複数のエッジデバイス１０５のリソースヘッドルームについての、アプリケーションの選ばれたグループの適合性スコアを出力するために深層学習ベースアルゴリズムによって確認され得る。ＤＲＬアルゴリズムの報酬信号は、経時的に複数のエッジデバイス１０５に導入されるべき正しいアプリケーションを選択するアルゴリズムを生じる散発的手法でＤＲＬアルゴリズムに漸進的に学習させるために、複数のエッジデバイス１０５のリソースヘッドルームについての適合性スコアを正確に描写するようにデザインされ得る。

【0028】

したがって、サーバ３００は、意思決定構成要素３０５およびヘッドルーム適合性測定構成要素３１０という２つの主要構成要素を有するものと考えられ得る。意思決定構成要素３０５は、アプリケーション３２０Ａ～３２０Ｎのリスト（本明細書ではまとめてアプリケーション３２０と呼ばれる）からアプリケーションのグループを選択するように構成され得るＤＲＬアルゴリズム３１５を実施し得る。アプリケーション３２０のそれぞれは、アプリケーションによって消費される所望のまたは適切なリソースの時系列マップを有し得る。例えば、アプリケーション３２０Ａは、このアプリケーションによって消費される１つまたは複数のリソース（例えば、ＣＰＵ、メモリ、ネットワーク等）の時系列データをマッピングする時系列マップ３２５Ａを有し得る。アプリケーション３２０Ａのリソース全てに対して単一の時系列マップ（例えば時系列マップ３２５Ａ）が示されているが、いくつかの実施形態では、時系列データが望まれる各リソースが、別個の時系列マップを有し得る。同様に、アプリケーション３２０Ｂは時系列マップ３２５Ｂを有し得、アプリケーション３２０Ｎは時系列マップ３２５Ｎを有し得る。時系列マップ３２５Ａ～３２５Ｎは、本明細書ではまとめて時系列マップ３２５と呼ばれる。アプリケーション３２０の時系列マップ３２５は、ＤＲＬアルゴリズム３１５に入力され得る。また、ＤＲＬアルゴリズム３１５は、アプリケーションのグループが選択されるべきエッジデバイスのリソースヘッドルームを受信し得る。ＤＲＬアルゴリズム３１５は、下記でさらに詳細に説明される。

【0029】

ＤＲＬアルゴリズム３１５は、アプリケーション３２０からアプリケーションのグループ３３０を選択し、アプリケーションのグループを深層学習（ＤＬ）アルゴリズム３３５に送信する。ＤＲＬアルゴリズム３１５は、報酬信号３４０で示された報酬を最大化するようにアプリケーションのグループ３３０を選択し得る。報酬信号３４０は、ＤＬアルゴリズム３３５から受信された適合性スコア３５０に基づいて、報酬生成器３４５によって生成され得る。ＤＬアルゴリズム３３５は、アプリケーションのグループが選択されたエッジボックス３６０のリソースヘッドルーム３５５に対するアプリケーションのグループ３３０の適性に基づいて、適合性スコア３５０を生成する。例えば、ＤＬアルゴリズム３３５は、エッジデバイス３６０のリソースヘッドルーム３５５に適合するアプリケーションの正しいグループ（例えばアプリケーションのグループ３３０）をＤＲＬアルゴリズムが成功裏に選択するたびに、ＤＲＬアルゴリズム３１５の正の報酬を示す適合性スコア３５０を報酬生成器３４５に出力し得る。同様に、ＤＬアルゴリズム３３５は、エッジデバイス３６０のリソースヘッドルーム３５５内に適合しないアプリケーションのグループをＤＲＬアルゴリズム３１５が選択するたびに、ＤＲＬアルゴリズム３１５の負の報酬を示す適合性スコア３５０を報酬生成器３４５に出力し得る。したがって、報酬信号３４０は、アプリケーションのグループ３３０がエッジボックスのリソースヘッドルームにどれだけよく適合するかを示す性質をもつフィードバック信号でよい。

【0030】

具体的には、エッジデバイス３６０のリソースヘッドルーム３５５は、消費に利用可能なエッジデバイス３６０に配分されるリソースの量を示し得る。ＤＲＬアルゴリズム３１５は、エッジデバイス３６０の利用可能なリソースを最もよく消費するアプリケーションのグループ３３０を識別するためのものである。アプリケーション３２０のうちの種々のアプリケーションは、種々のリソース利用状況を有し得る。例えば、言わば、アプリケーション３２０Ａは、１秒あたり１０メガバイト（ＭＢｐｓ）のネットワーク帯域幅において３０％のＣＰＵのＣＰＵ利用状況でメモリの１ギガバイト（ＧＢ）を消費し、アプリケーション３２０Ｂは、２０ＭＢｐｓのネットワーク帯域幅において４５％のＣＰＵ利用状況でメモリの２ＧＢを消費し、アプリケーション３２０Ｎは、５ＭＢｐｓのネットワーク帯域幅において１０％のＣＰＵ利用状況でメモリの１．５ＧＢを消費する。また、例として、言わば、エッジデバイス３６０のリソースヘッドルーム３５５は、エッジデバイスが４５％のＣＰＵ利用状況のヘッドルーム、１ＧＢのメモリヘッドルーム、および７ＭＢｐｓのネットワーク帯域幅のヘッドルームを有することを示す。

【0031】

エッジデバイスの上記のリソースヘッドルームに基づき、ＣＰＵ消費量（４５％のエッジデバイスのＣＰＵヘッドルームより小さい３０％のＣＰＵをアプリケーションが消費するので）、および、メモリ消費量（１ＧＢのエッジデバイスメモリヘッドルームに等しいメモリの１ＧＢをアプリケーションが消費するので）に基づいて、アプリケーション３２０Ａがエッジデバイスにとってよい適合になり得るとしても、アプリケーション３２０Ａは、ネットワーク帯域幅（エッジデバイスが利用可能な７ＭＢｐｓより多い１０ＭＢｐｓのネットワーク帯域幅をアプリケーションが要求するので）に基づいて、よい適合でなくなり得る。同様に、２０ＭＢｐｓのネットワーク帯域幅において４５％のＣＰＵ利用状況でメモリの２ＧＢを消費するアプリケーション３２０Ｂは、エッジデバイスがルームを有するより多くのメモリおよびネットワーク帯域幅をアプリケーションが要求し得るエッジデバイスにとっては、ＣＰＵ利用状況の観点では、よい適合になり得る。同様に、他のアプリケーションが、エッジデバイスの別のリソースヘッドルームではなく、エッジデバイス上の特定のリソースのヘッドルームに適合し得る。

【0032】

ＤＲＬアルゴリズムは、様々なアプリケーション（例えばアプリケーション３２０）のリソース利用状況の様々な並べ替えおよび組合せを決定し、エッジデバイス３６０上で利用可能なリソース（例えばリソースヘッドルーム３５５）をリソース利用状況が最も良く使用するアプリケーションのグループを選択する。選択するべきアプリケーション３２０の数が増加すると、並べ替えおよび組合せの数も増加する。エッジデバイス３６０のリソースヘッドルーム３５５に適したアプリケーションのグループを決定すると、エッジデバイスにインストールされた各アプリケーションが最適な容量で動作していることを保証し得る。エッジデバイス３６０にインストールされたアプリケーションが、エッジデバイスがルームを有するより多くのＣＰＵ利用状況を必要とする場合、アプリケーションが低速で動くだけでなく、このアプリケーションが、このエッジデバイスにインストールされた他のアプリケーションの動作に影響を与え得る。したがって、エッジデバイス３６０のリソースヘッドルーム３５５に基づいてアプリケーションの正しいグループを選択することがエッジデバイスの最適な動作を保証し得る一方で、エッジデバイスの配分されたリソースが全容量で使用されることも保証する。これは、より少ない数のエッジデバイスを使用して、より多くのアプリケーションを動かすことを可能にし得、エッジデバイスの調達および維持におけるコスト節約をもたらす。

【0033】

ＤＲＬアルゴリズム３１５からアプリケーションのグループ３３０を受信することに加えて、ＤＬアルゴリズム３３５とＤＲＬアルゴリズム３１５の両方は、複数のエッジデバイス１０５のそれぞれのリソースヘッドルーム（またはアプリケーションのグループの１つまたは複数がインストールされ得るエッジデバイスの少なくともヘッドルーム）を受信し得る。例えば、ＤＬアルゴリズム３３５は、エッジデバイス３６０のリソースヘッドルーム３５５を受信し得る。リソースヘッドルーム３５５は、エッジデバイス３６０の様々なリソースのリソース消費量およびリソース可用性を示す（例えば時系列マップ２００と同様の）マルチ時系列マップとして表され得る。エッジデバイス３６０と同様に、ＤＬアルゴリズム３３５は、他のエッジデバイス（例えば複数のエッジデバイス１０５）の（例えば時系列マップ３２５と同様の）ヘッドルーム情報を受信し得る。エッジデバイス３６０のリソースヘッドルーム３５５と、アプリケーションのグループ３３０とに基づいて、ＤＬアルゴリズム３３５は、アプリケーションのグループがエッジデバイス３６０のリソースヘッドルーム３５５にどれだけ適しているかを示す適合性スコアを決定する。言い換えれば、ＤＬアルゴリズム３３５は、アプリケーションのグループ３３０がエッジデバイス３６０のリソースヘッドルーム３５５をどれだけ最善に消費するかを決定する。例えば、アプリケーションのグループ３３０の合計のＣＰＵ利用状況が、エッジデバイス３６０のＣＰＵヘッドルームを特定の閾値だけ超過するとＤＬアルゴリズム３３５が決定すると、ＤＬアルゴリズムは、アプリケーションのグループがエッジデバイス３６０に適した適合でないと決定し得る。ＤＬアルゴリズム３３５は、アプリケーションのグループがエッジデバイス３６０の利用可能なリソースを最適に消費するかどうかを決定するために、アプリケーションのグループ３３０の合計のリソース利用状況の様々な並べ替えおよび組合せに視線を向け得る。ＤＬアルゴリズム３３５は、下記でより詳細にさらに論じられる。

【0034】

図４に移ると、本開示のいくつかの実施形態による、ＤＲＬアルゴリズム３１５の状態機械４００の実例の図が示されている。ＤＲＬアルゴリズム３１５は、エージェント４０５および環境４１０という２つの主な構成要素を含む。エージェント４０５はアルゴリズムであり、アプリケーションのグループ３３０を選択するために、問題設定（ｐｒｏｂｌｅｍ ｓｅｔｔｉｎｇ）である環境４１０と相互作用する。具体的には、エージェント４０５は、アクションを行うこと（例えば、アプリケーションのセットを選ぶこと）によって環境４１０と相互作用し得る。アクションは、報酬信号３４０に基づいて、エージェント４０５が環境４１０に直接影響を及ぼすことを可能にする。したがって、エージェント４０５の目的は、状態機械４００の複数の繰返しによって、エージェントがアプリケーションの正しいグループ３３０を経時的に選択し、最適に近いポリシを見つけた後、累積報酬を最大化することである。

【0035】

状態機械４００の強化学習（ＲＬ）プロセスは、複数の繰返しを含むループとしてモデル化され得る。例えば、第１の繰返しにおいて、エージェント４０５は、環境４１０から状態４１５（例えば状態Ｓ０）を受信し得る。状態４１５は、様々なアプリケーション３２０のリソース利用状況を示し得る。状態４１５は、エッジデバイス３６０のリソースヘッドルーム３５５も含み得る。第１の繰返しにおいて、状態は、環境の初回観察（例えば、アプリケーション３２０の時系列マップ３２５）を含み得る。状態４１５（例えば状態Ｓ０）に基づいて、エージェント４０５は、アクション４２０（例えばアクションＡ０）を行う。アクション４２０は、アプリケーションのグループ（例えば、アプリケーションのグループ３３０）を出力し得る。第１の繰返しの完了後、状態機械４００は次の繰返しに遷移し得る。次の繰返しにおいて、環境４１０は、状態４１５の新しい状態（例えば状態Ｓ１）に遷移し得る。いくつかの実施形態では、状態変化または遷移は、アプリケーション３２０の少なくとも１つのリソースヘッドルーム／利用状況の変化（例えば、時系列マップ３２５の変化）が検出されたときに発生し得る。状態変化が発生すると、環境４１０は、新しい時系列マップ３２５をエージェント４０５に送信し得、新しい時系列マップ３２５に基づいて、エージェントは、アプリケーションの新しいグループを出力し得る。上記のループは、環境４１０が最終状態をエージェント４０５に送信するまで続き得る。

【0036】

状態４１５に加えて、環境４１０は、報酬信号３４０を介して受信された報酬Ｒもエージェント４０５に送信し得る。報酬は、前の繰返しにおいてエージェント４０５によって選ばれたアプリケーションのグループ３３０が、エッジデバイス３６０のリソースヘッドルーム３５５に適した適合だった場合、正の報酬になり得る。そうでない場合、報酬は、負の報酬になり得る。状態４１５および報酬に基づいて、次に、エージェント４０５は、アプリケーションの新しいグループを選択し、アプリケーションの更新後のグループをＤＬアルゴリズム３３５に送信する。具体的には、エージェント４０５の目的は、期待される累積報酬を最大化することである。強化学習は報酬仮説の考えに基づくので、期待される累積報酬の最大化によって、全ての目的が説明され得る。したがって、最善の行動を行うために、期待される累積報酬はエージェント４０５によって最大化される。

【0037】

したがって、状態機械４００は、アクションを行った後、およびアプリケーション３２０のリソース利用状況の変化が検出されたとき、次の状態に遷移する連続遷移ループとみなされ得る。状態機械４００は、一連の状態、アクション、および報酬を出力する。いくつかの実施形態では、状態機械４００を実施するＤＲＬアルゴリズム３１５の例は、連続アクション空間内でよく機能し得る決定論的深層ポリシ勾配でよい。この場合、アクション空間は、選ばれ得るアプリケーションの数が固定される必要がなく、むしろそこから選ぶのに利用可能なアプリケーションの総数に基づいて限定されるので、連続的になり得る。

【0038】

したがって、環境４１０は、ＲＬアルゴリズムを使用して、エージェント４０５が作用する状態を提供する。環境４１０は、第１の繰返しにおいて、状態（例えば、アプリケーションのリソース利用状況データ、およびエッジボックスのリソースヘッドルーム）をエージェント４０５に送信することによってスタートする。受信された状態に基づいて、エージェント４０５は、エッジボックスにインストールするためのアプリケーションのグループを選択するというアクションを行い得る。その後の繰返しにおいて、環境４１０は、次の状態と報酬のペアをエージェント４０５に送り返し得る。エージェント４０５は、環境によって返された報酬、およびエージェントの最後のアクションに基づいて、エージェント４０５のアクションを更新し得る。環境４１０から状態および報酬情報を受信し、エージェント４０５がそのアクションを更新するというループは、環境がループを終わらせる最終状態を送信するまで続く。

【0039】

図５に移ると、実例のブロック図は、本開示のいくつかの実施形態による、ＤＲＬアルゴリズム３１５のさらなる詳細を示す。具体的には、ブロック図は、ＤＲＬアルゴリズムのエージェント５００と環境５０５との間のさらなる相互作用を示す。エージェント５００はエージェント４０５に似ており、環境５０５は環境４１０に似ている。環境５０５は、１つまたは複数のアプリケーション５１５Ａ～５１５Ｎ（本明細書ではまとめてアプリケーション５１５と呼ばれる）から、多変量時系列データ（ｍｕｌｔｉ－ｖａｒｉａｔｅ ｔｉｍｅ ｓｅｒｉｅｓ ｄａｔａ）を受信する。アプリケーション５１５はアプリケーション３２０に似ている。具体的には、環境５０５は、アプリケーション５１５のリソース利用状況データを受信する。いくつかの実施形態では、環境５０５は、アプリケーションのグループが選択されることになるエッジデバイス（例えばエッジデバイス３６０）のリソースヘッドルーム５２０（例えばリソースヘッドルーム３５５）も受信し得る。リソースヘッドルーム５２０、およびアプリケーション５１５のリソース利用状況データは、環境の状態５２５を表し得る。したがって、環境の「状態空間」は、リソースヘッドルーム５２０、およびアプリケーション５１５のリソース利用状況データからの、データのペアによって表され得る。

【0040】

いくつかの実施形態では、「状態空間」は、エージェント５００によって観察可能になり得る「観察空間」と関連付けられ得る。例えば、エージェント５００は、任意の瞬間ｔにおける「状態空間」全体を「観察すること」が可能になり得る。瞬間ｔにおける全てのアプリケーション要件のベクトル（例えば、アプリケーション５１５の時系列データ）、およびリソースヘッドルーム５２０は、瞬間ｔにおいてエージェント５００に入力され得、これは、環境５１０の現在の状態と同じになり得る。「状態空間」および「観察空間」内のデータに基づいて、エージェント５００の目的は、リソースヘッドルーム５２０と関連付けられたエッジデバイスにインストールするために、アプリケーション５１５からアプリケーションのグループを選択することである。したがって、エージェント５００は、エージェントがアプリケーション５１５からアプリケーションのグループを選択し得るアクション５３０を、行い得る。エージェント５００によって行われるアクションは、「アクション空間」の一部とみなされ得る。いつでも、エージェント５００が選ぶことになるＮ個のアプリケーション５１５があり得る。エージェント５００が選ぶアプリケーションのグループの数は、Ｎ個以下になるように変化し得る。したがって、例えば、エージェント５００は、１～Ｎまでの任意の数のアプリケーションを選択し得る。

【0041】

さらに、エージェント５００は、環境５１０から報酬５３５も受信し得る。いくつかの実施形態では、報酬５３５は、報酬生成器３４５によって最近送信された報酬信号３４０に基づき得る（例えば報酬信号３４０と同じになり得る）。他の実施形態では、報酬５３５は、これまでにエージェントによって収集された累積報酬でよい。報酬５３５は、「報酬空間」の一部になり得る。報酬５３５は、エージェント５００の行動を変化させるように変更され得る。エージェント５００の主な目的は、その配分リソースをより良く利用するためにエッジボックスのヘッドルームを最小化することである。したがって、エッジボックスのヘッドルームに適合しないアプリケーションのグループをエージェント５００が以前に選択した場合、報酬５３５はゼロ報酬または負の報酬（例えば、－１００）になり得る。エッジボックスのヘッドルーム内に適合するアプリケーションのグループをエージェント５００が以前に選択した場合、報酬５３５は正の報酬（例えば、＋１００）になり得る。エージェント５００は累積報酬を最大化しようとし、これにより、エッジボックスのリソースヘッドルームに最もよく適合するアプリケーションの選択の最適化を経時的に実現する。

【0042】

このように、各繰返しにおいて、エージェント５００は、環境の現在の状態（例えば状態５２５）、および報酬５３５を受信し得る。現在の状態は、アプリケーション５１５の時系列データ、および、アプリケーションがインストールされることになるエッジボックスのリソースヘッドルーム５２０を含み得る。エージェント５００は、エージェント５００に利用可能な環境５１０の以前の状態も有し得る。現在の状態および以前の状態、ならびに報酬に基づいて、エージェント５００は、エージェントの累積報酬を最大化するような方式で、エッジボックスへのインストールのためにアプリケーション５１５から１つまたは複数のアプリケーションを選択する。アプリケーション５１５から１つまたは複数のアプリケーションを選択するために、エージェント５００は訓練され得る。エージェント５００の訓練は、下記の図６で論じられる。

【0043】

したがって、図６に移ると、本開示のいくつかの実施形態による、決定論的深層ポリシ勾配（ＤＤＰＧ：Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔ）アルゴリズム６００の実例のブロック図が示されている。ＤＤＰＧは、ＤＲＬアルゴリズム３１５の１つのタイプとみなされ得る。上述のように、いくつかの実施形態では、エージェント５００は、アプリケーション５１５から１つまたは複数のアプリケーションを選択するために、ＤＤＰＧアルゴリズムを実施し得る。エージェント５００の訓練を始める前に、問題設定を表すための（例えば、環境５１０と同様の）シミュレーション環境がセットアップされ得る。シミュレーション環境の各状態において、エージェント５００は、環境に直接影響を与え、次の状態に遷移するために、環境を知覚し、アクションを行うことが可能になり得る。このようなシミュレーション環境では、ディープニューラルネットワークエージェント（例えばエージェント５００）は、エピソード的手法で訓練され得る。各エピソードにおいて、特定の数のアプリケーション（例えばアプリケーション５１５）が到着し、エージェント５００は決定を行う（例えば、エッジボックスのための１つまたは複数のアプリケーションを選択する）。アプリケーション全てが１つまたは複数のエッジボックスに割り当てられると、エピソードは終わりになる。

【0044】

１つのエピソードにおいて、任意の瞬間に、環境状態ｓｉおよび報酬ｒｉがエージェント５００によって知覚され得、これに基づいて、エージェントがアクションａｉを行う。エピソードの状態ｓｉ、報酬ｒｉ、およびアクションａｉは軌道［ｓ１，ａ１，ｒ１，．．．，ｓＬ，ａＬ，ｒＬ］を形成し得、ここで、Ｌは、エピソードにおいてエージェント５００によって行われる決定の数である。一般的な意思決定ポリシを訓練するために、エッジボックスの様々なリソース利用状況時系列データおよび様々な実例のリソースヘッドルームデータを有するいくつかのアプリケーションシーケンスが生成され得、シーケンスのそれぞれは、いくつかの繰返しを通じてエージェント５００を訓練するために使用され得る。また、各繰返しにおいて、Ｎ個のシミュレーションが、Ｎ個の軌道を取得するためにエージェント５００において実施され得る。エージェント５００の目的は、期待されるリターン（累積的な割引された報酬）を最大化するポリシ（制御戦略）πを学習することである。

【0045】

以前に論じられたように、ＤＤＰＧアルゴリズムは、この設定でよく機能し得る。具体的には、ＤＤＰＧは、Ｑ関数（例えば、Ｑ（ａ）およびＱ（ａ’））とポリシを同時に学習するアルゴリズムである。ＤＤＰＧはオフポリシデータとベルマン方程式を使用してＱ関数を学習し、Ｑ関数を使用してポリシを学習する。元のディープＱネットワーク（ＤＱＮ：ｄｅｅｐ Ｑ－ｎｅｔｗｏｒｋ）は、個別のアクション空間を伴うタスクで使用され得る。ＤＱＮを連続的制御に拡張するために、ＤＤＰＧは、アクター－クリティック型（ａｃｔｏｒ－ｃｒｉｔｉｃ）強化学習法によるディープニューラルネットワークを使用し得、ここで、強化学習のポリシと値の両方が、階層式ネットワークを通じて表される。ＤＤＰＧのネットワークフレームワークが、図６Ａおよび図６Ｂに示されている。ＤＤＰＧアルゴリズムは、状態ｓを特定のアクションａに決定論的にマッピングすることによって現在のポリシを指定するパラメータで表示されたアクター関数μ（ｓ｜θμ）を維持する。アクター関数パラメータは、以下の等式を使用することによって更新され得る。

【0046】

【数1】

【0047】

上記の等式において、ｓ＝状態、ａ＝アクション、ｓ_t＝時間ステップｔにおける状態、ａ_t＝時間ステップｔにおけるアクション、μ＝ポリシ、Ｑ＝Ｑ値、およびρ^β＝状態訪問分布（ｓｔａｔｅ ｖｉｓｉｔａｔｉｏｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）である。

【0048】

上記の等式内のクリティックＱ（ｓ，ａ）は、Ｑラーニングにおけるようなベルマン方程式を使用して学習され得る。ターゲットネットワークはアクターおよびクリティックネットワークのコピーであり、その役割は学習の安定性を改善することである。ＤＤＰＧアルゴリズムは、４つの個々のニューラルネットワークを使用する。

【0049】

θ^μ － メインネットワーク６１０のメインポリシネットワーク（アクター）６０５

【0050】

θ^Q － メインネットワーク６１０のメインＱネットワーク（クリティック）６１５

【0051】

θ’^μ － ターゲットネットワーク６２５のターゲットポリシネットワーク（アクター）６２０

【0052】

θ’^Q － ターゲットネットワーク６２５のターゲットＱネットワーク（クリティック）６３０

【0053】

メインポリシネットワーク（アクター）６０５は、状態をアクションに直接マッピングする。メインＱネットワーク（クリティック）６１５は、メインポリシネットワーク（アクター）６０５によって行われるアクションのＱ値を推定する（このアクションを行うために考えうる将来のリターンを考慮に入れた、状態ｓであるためのアクションをどれだけうまく行うことになるかについての尺度）。Ｑネットワークは、ＤＱＮと同じ方式を正確に学習する。メインポリシネットワーク（アクター）６０５は、図６Ｂにより詳細に示されているように、学習されたポリシのリターンを本質的に最大化するために、開始の分布からチェーンルールを適用することによって、ポリシ勾配６３５を使用して、クリティックパラメータについて更新され得る。ターゲットポリシネットワーク（アクター）６２０およびターゲットＱネットワーク（クリティック）６３０は、メインネットワーク（メインポリシネットワーク（アクター）６０５およびメインＱネットワーク（クリティック）６１５）のクローンであるが、すぐ次の状態のＱ値を同様に計算することをクリティックが含むので、安定した学習を保証するために使用され、同じネットワーク上で２つのフォワードパスを実施すること、および、誤差を逆伝搬させることが、不安定な行動につながる同じ方向に、状態ＳおよびＳ’のＱｓ、をプッシュすることができる。したがって、ネットワークのクローンのコピーが、近い将来のＱｓを計算するために維持され得る。

【0054】

メインネットワーク（例えば、メインポリシネットワーク（アクター）６０５およびメインＱネットワーク（クリティック）６１５）のパラメータがθの場合、ターゲットネットワーク（例えば、ターゲットポリシネットワーク（アクター）６２０およびターゲットＱネットワーク（クリティック）６３０）のパラメータはθ’になり得る。次にθ’は、τ＜＜１で更新され得る。
θ’←τθ＋（１－τ）θ’

【0055】

Ｑラーニングとは異なり、ＤＤＰＧにおける更新はソフトとみなされ得、ソフトは、メインネットワーク（例えば、メインポリシネットワーク（アクター）６０５およびメインＱネットワーク（クリティック）６１５）の重みの小部分だけが、１未満のパラメータτによって支配されるターゲットネットワーク（例えば、ターゲットポリシネットワーク（アクター）６２０およびターゲットＱネットワーク（クリティック）６３０）にコピーされることを意味する。したがって、τ＜＜１は、ターゲットネットワーク（例えば、ターゲットポリシネットワーク（アクター）６２０およびターゲットＱネットワーク（クリティック）６３０）のパラメータθは、ゆっくり変化するように制限され（＜＜１）、これにより、安定性を改善する。

【0056】

さらに、ハードウェア最適化を効率的に使用するために、エージェント５００は、オンラインではなく小さいバッチで訓練され得る。したがって、エージェント５００は、各時間ステップ（例えば時間ｔ）における状態、アクション、報酬、および次の状態情報を含み得るリプレイバッファと関連付けられ得る。オンラインネットワークおよびターゲットネットワークは、リプレイバッファからデータのミニバッチを一様にサンプリングすることによって更新され得る。

【0057】

したがって、ＤＤＰＧでは、アクターはアクションを実施し、環境の行動ポリシを学習し得、アクターのアクションに基づいて、クリティックは、現在の状態、アクション、および期待される将来の報酬についての値の近似値を計算し得る。値の近似値に基づいて、メインネットワークが関連アクションを行うのに役立つポリシ勾配が、メインネットワークの重みを更新するために計算され得る。クリティックは、特定の状態であるための正確な累積報酬／リターンを取得するために、将来のリターンを同様に評価しなければならないので、１つの状態であるための正確な累積報酬を得る前に、アクションに従い、最終状態に達する必要がある。それでも、１つのアクター－クリティック型ネットワークがこれらのものを同時に行う場合、アクター－クリティック型ネットワークは、エージェントに不完全に実施させる不安定な行動につながり得る。したがって、メインネットワーク６１０のクローンは、ターゲットネットワーク６２５として維持され、固定された時間ステップにおいてソフトに更新され得る。メインおよびターゲットネットワークは、環境を解くために単一のエージェントとして一緒に機能する。

【0058】

エージェント（ＤＤＰＧ）が環境で訓練され、適度によく実施し始めると、環境でアクションを独立して実施するために使用されるターゲットネットワークをロードすることができる。したがって、エージェントからの出力があり、エージェントが環境に影響を及ぼすようにアクションを実施する。環境は、アクションの報酬をリターンして戻し、状態を変化させ、最終状態に達するまでエージェントが観察し、継続する。

【0059】

エージェント５００がシミュレーションデータを使用して訓練されると、エージェントは、実際のデータを使用してアプリケーションのグループの選択を開始し得る。いくつかの実施形態では、エージェント５００はそれ自体を訓練し続け、実際のデータを使用して進化し得る。エージェント５００が生成し得る実例の出力が下記のテーブル１に示されている。

【0060】

【表1】

【0061】

上記のテーブルでは、各行は、特定の時点においてエージェント５００によって行われた決定を表す。アプリケーションのグループは、（アプリケーション１、アプリケーション２、…アプリケーションＮのように上記のテーブルの行に示された）アプリケーション５１５から選択され得る。行における各アプリケーションの選択は２進値（例えば０または１）で示され得、ここで、０は、アプリケーションがその瞬間に選ばれなかったことを示し、１は、アプリケーションがその瞬間に選ばれたことを示す。例えば、上記のテーブルでは、行２は、時間Ｔ＝０において、アプリケーション１および２が選択されているものとして示され、一方でアプリケーションＮが選択されていないものとして示されている。同様に、行３は、時間Ｔ＝１において、アプリケーション１およびＮが選択されておらず、アプリケーション２が選択されている。したがって、各アプリケーションは、各瞬間に選択されることもあれば、選択されないこともある。

【0062】

各行から選択されたアプリケーションのグループはアプリケーションのグループ３３０を構成し得、アプリケーションのグループ３３０はＤＬアルゴリズム３３５に入力され得る。ＤＬアルゴリズム３３５は、結合されたアプリケーションのグループの全てに関する全ての考えうる利用状況を取得するために、アプリケーションレベルで合計され得る有限時系列としてアプリケーションのグループ３３０を表し得る。具体的には、ＤＬアルゴリズム３３５は、適合性スコアを決定するために、アプリケーションのグループ３３０のそれぞれのリソース利用状況のそれぞれの値を結合させ得る。例えば、いくつかの実施形態では、アプリケーションのグループ３３０のそれぞれのＣＰＵ利用状況は、結合されたＣＰＵリソース利用状況を取得するために結合され得る。同様に、アプリケーションのグループ３３０のそれぞれのメモリ利用状況は、結合されたメモリ利用状況を取得するために結合され得る、などである。結合された、または全般的なリソース利用状況は、次に、エッジボックス３６０のリソースヘッドルーム３５５に対する、アプリケーションのグループ３３０の類似性または適合性スコアを推定するために、ＤＬアルゴリズム３３５によって使用され得る。言い換えれば、適合性または類似性スコアは、アプリケーションのグループ３３０がエッジデバイス３６０のリソースヘッドルーム３５５にどれだけ適しているかを決定し得る。類似性または適合性スコアが高くなると、アプリケーションのグループ３３０がエッジデバイス３６０によく適するようになる。ＤＬアルゴリズム３３５は、適合性スコアを使用して、ＤＲＬアルゴリズム３１５のエージェントに対する報酬を決定し得る。一般的に、適合性スコアが高くなると、ＤＲＬアルゴリズム３１５に対する報酬が高くなる。したがって、ＤＬアルゴリズム３３５は、報酬生成器３４５によって生成された報酬が、正の報酬または負もしくはゼロ報酬、および報酬の値（例えば、＋１００、－１００等）になるかどうかを示す適合性スコア３５０を出力し得る。いくつかの実施形態では、ＤＬアルゴリズム３３５は適合性スコアを決定し得、報酬生成器３４５は、適合性スコアに基づいて報酬（例えば、報酬が正もしくは負にならなればならないかどうか、および／または報酬の規模）を決定し得る。いくつかの実施形態では、ＤＬアルゴリズム３３５と報酬生成器３４５は、単一の構成要素に結合され得る。

【0063】

いくつかの実施形態では、ＤＬアルゴリズム３３５は、適合性スコアを決定するために、畳み込みニューラルネットワーク（ＣＮＮ）ベースアプローチを実施し得る。ＣＮＮアプローチは、エッジデバイス３６０のリソースヘッドルーム３５５の履歴上の多変量時系列データを使用して、このエッジデバイスのために選択されたアプリケーションのグループ３３０の適合性スコアを決定する。具体的には、ＣＮＮベースニューラルネットワークは、リソースヘッドルーム３５５データの多変量時系列から学習し、アプリケーションのグループ３３０から計算された全般的な利用状況の適性を予測するために使用され得る。ＣＮＮベースニューラルネットワークは、リソースヘッドルーム３５５の時系列をベクトル空間に埋め込み、アプリケーションのグループ３３０の全般的なリソース利用状況と合成ベクトルを比較し、類似性に基づいて適合性スコアを示す性質をもつ確率を出力することによって、学習し得る。使用され得るＣＮＮベースアルゴリズムの例が図７に示されている。

【0064】

ＣＮＮベースアルゴリズムは、入力から適切な結果を学習するために使用され得る。ＣＮＮの低い方の層は、時系列データの低い方のレベルの詳細を学習させられ得、ＣＮＮの深い方の層は、このデータの形状パターンまたは傾向を学習し得る。マックスプーリング（Ｍａｘ－ｐｏｏｌｉｎｇ）は、より良い特徴抽出および入力におけるノイズの低減に役立ち得る。ノイズ除去またはダウンサンプリング層のように作用するマックスプーリングの後、出力が、平坦化の後の完全接続されたニューラルネットワーク層に供給され得る。ここで、類似性の埋込みが取得され得る。ソフトマックス層が訓練時に添付され得る。三重項損失（ｔｒｉｐｌｅｔ ｌｏｓｓ）のような距離学習損失関数（ｍｅｔｒｉｃ ｌｅａｒｎｉｎｇ ｌｏｓｓ ｆｕｎｃｔｉｏｎ）が、訓練中に、埋込み空間内の同様のサンプルを一緒に明示的にプッシュし、互いから離れて異なるサンプルをプルし得る。次に、生み出された埋込みは、同じラベルを共有する時系列が、埋め込まれた空間内でどの程度近くにあるかを評価するために、Ｋ近傍法または１－Ｎ－Ｎを用いて評価され得る。いくつかの実施形態では、ＣＮＮアーキテクチャは、論じられるように、インセプションモジュールを使用することによってさらに改善され得る。コンピュータビジョンタスクにおけるインセプションネットワークの立証済みの能力は、ニューラルネットワークのスケーラビリティと共に、このタスクの大いなる候補になる。

【0065】

図８は、ＣＮＮベースアルゴリズムを実施するＤＬアルゴリズム３３５の実例のブロック図８００を示す。具体的には、ブロック図８００は、複数のフェーズ（訓練フェーズ８０５、推測フェーズ８１０、データ収集フェーズ８１５、およびニューラルネットワークフェーズ８２０）に分割され得る。訓練フェーズ８０５は、ニューラルネットワークフェーズ８２０においてニューラルネットワーク（例えばＣＮＮベースアルゴリズム）を訓練するために使用され得る。いくつかの実施形態では、ニューラルネットワークフェーズ８２０のニューラルネットワークは、他の深層学習ネットワークと同様だが、埋込み空間内の（例えばクラスについての）同様の時系列を一緒に明示的にプッシュし、訓練中に互いから離れて異なる時系列をプルする異なる損失関数を用いて訓練され得る。訓練中の任意の時点ｔにおいて、訓練データセットからのデータがニューラルネットワークフェーズ８２０のニューラルネットワークに供給され得、このデータは、埋込み空間にマッピングされ得る。損失関数を使用したこれらのマッピングに対する計算ペナルティが計算され得、ニューラルネットワークのネットワークの重みは、適切な最適化技法（例えば、Ａｄａｍまたは確率的勾配下降法）を使用して調節され得る。

【0066】

推測フェーズ８１０は、ニューラルネットワークフェーズ８２０のニューラルネットワークが、ヘッドルームに適合可能な時系列と、ヘッドルームに適合しない時系列を区別できるようにするために、埋込み層から特徴を抽出し、近傍法サーチを実施して、これらのクラス（適合／不適合）について同様の時系列を識別するために使用され得る。出力は、０と１の間の確率スコアになり得る。データフェーズ８１５は、時系列データ、ヘッドルームデータ、および、ニューラルネットワークフェーズ８２０のニューラルネットワークによる類似性スコアを生成するためにＤＬアルゴリズム３３５によって必要とされ得る他の任意の入力データを得ることを含み得る。ニューラルネットワークフェーズ８２０はデータフェーズ８１５からデータを受信し、ＤＲＬアルゴリズム３１５によって選択されたアプリケーションのグループ３３０がエッジデバイス３６０にとってよい適合か否かを示す類似性スコアを生成し得る。例えば、いくつかの実施形態では、アプリケーションのグループ３３０がよい適合の場合、ニューラルネットワークフェーズ８２０のニューラルネットワークは、よい適合を示す１の類似性または適合性スコアを生成し得る。いくつかの実施形態では、アプリケーションのグループ３３０がエッジボックス３６０にとってよい適合でない場合、ニューラルネットワークフェーズ８２０のニューラルネットワークは、０の類似性または適合性スコアを生成し得る。いくつかの実施形態では、ニューラルネットワークフェーズ８２０のニューラルネットワークは、アプリケーションのグループ３３０がエッジボックス３６０にとってどれだけよい適合であるか示す、低い閾値（例えば０）から高い閾値（例えば１）までの類似性または適合性スコアのスライディングスケールを生成するように構成され得る。したがって、類似性または適合性スコアに基づいて、報酬生成器３４５は、ＤＲＬアルゴリズム３１５のエージェントに対する報酬を生成し得る。

【0067】

このように、ニューラルネットワークフェーズ８２０のニューラルネットワークは、確率の観点からの類似性または適合性スコアを出力し得る。類似性または適合性スコアに基づいて、報酬生成器３４５は報酬を生成し、この報酬を、報酬信号３４０を介してＤＲＬアルゴリズムに送信し得る。いくつかの実施形態では、類似性または適合性スコアは、閾値（例えば、低い閾値、高い閾値、中間の閾値等）に分けられ得、閾値に基づいて、報酬生成器３４５が報酬の量を決定し得る。例えば、いくつかの実施形態では、類似性または適合性スコアが高い閾値（例えば高い類似性スコア）を示す場合、報酬生成器３４５は正の報酬を生成し得る。他の実施形態では、類似性または適合性スコアが低い閾値（例えば低い類似性スコア）を示す場合、報酬生成器３４５はゼロの報酬または負の報酬を生成し得る。

【0068】

図９に移ると、本開示のいくつかの実施形態による、処理９００を概説する実例のフローチャートが示されている。処理９００は、実施形態に応じて他または追加の動作を含み得る。処理９００は、ＤＲＬアルゴリズム３１５によって、および特にサーバ１２５によって実施され得る。処理９００は、アプリケーション３２０からアプリケーションのグループ３３０を選択するために使用され得る。したがって、動作９０５で開始すると、ＤＲＬアルゴリズム３１５は、１つまたは複数のエッジボックスの多変量時系列データ（例えばリソースヘッドルームデータ５２０）を受信し、動作９１０および９１５において、１つまたは複数のエッジボックスに適したアプリケーションのグループが選択されることになる。また、ＤＲＬアルゴリズム３１５は、アプリケーション３２０のリソース利用状況データ３２５を受信する。動作９２０において、ＤＲＬアルゴリズム３１５は、動作９１０および９１５において時系列データが受信されたエッジボックスのそれぞれのためのアプリケーションのグループ３３０を出力する。ＤＲＬアルゴリズム３１５によって選択されたアプリケーションのグループ３３０は、動作９２５において、アプリケーションのグループ３３０の１つまたは複数を、これらのアプリケーションが選択された対応するエッジボックスにインストールするために、ディスパッチャによって使用され得る。インストールすると、動作９３０において、ユーザは、ユーザインターフェースを使用してエッジボックスを監視し続け得る。ユーザインターフェースの例が、下記の図１１に示されている。処理９００は動作９３５で終了する。

【0069】

図１０に移ると、本開示のいくつかの実施形態による、処理１０００の動作を概説する別の実例のフローチャートが示されている。処理１０００は、実施形態に応じて他または追加の動作を含み得る。処理１０００は、類似性または適合性スコアを決定するために、ＤＬアルゴリズム３３５、および特にサーバ１２５によって実施され得る。したがって、動作１００５で開始すると、ＤＬアルゴリズム３３５は、動作１０１０において、エッジボックス３６０のリソースヘッドルーム３５５を受信する。動作１０１５において、ＤＬアルゴリズム３３５は、ＤＲＬアルゴリズム３１５からアプリケーションのグループ３３０も受信する。動作１０１０および１０１５の入力に基づいて、ＤＬアルゴリズム３３５は、動作１０２０において類似性または適合性スコアを計算する。上述のように、ＤＬアルゴリズム３３５は、類似性または適合性スコアを計算するために、ＣＮＮベースアルゴリズムまたは他の適切なアルゴリズムを実施し得る。動作１０２５において、ＤＬアルゴリズム３３５は、類似性または適合性スコアを報酬生成器３４５に送信する。処理１０００は動作１０３０で終了する。

【0070】

図１１に移ると、本開示のいくつかの実施形態による、処理１１００の動作を概説する別の実例のフローチャートが示されている。処理１１００は、実施形態に応じて他または追加の動作を含み得る。処理１１００は、ＤＲＬアルゴリズム３１５に対する報酬を決定するために報酬生成器３４５、および特にサーバ１２５によって実施され得る。したがって、動作１１０５で開始すると、報酬生成器３４５は、動作１１１０において、ＤＬアルゴリズム３３５から類似性または適合性スコアを受信する。動作１１１５において、報酬生成器３４５は、類似性または適合性スコアに基づいて、ＤＲＬアルゴリズム３１５に対する報酬を計算する。高い類似性を示すスコアに対して報酬生成器３４５は、正の報酬を生成し得、低い類似性を示すスコアに対して報酬生成器は、ゼロまたは負の報酬を生成し得る。いくつかの実施形態では、報酬生成器３４５は、ＤＬアルゴリズム３３５によって生成された類似性または適合性スコアの各値に対する報酬値を示す探索テーブルとして実施され得る。他の実施形態では、報酬生成器３４５は、報酬を生成するために他のメカニズムを実施し得る。動作１１２０において、報酬生成器３４５は、報酬信号３４０を介して報酬をＤＲＬアルゴリズム３１５に送信する。処理１１００は動作１１２５で終了する。

【0071】

図１２を参照すると、本開示のいくつかの実施形態による、実例のユーザインターフェースまたはダッシュボード１２００が示されている。ダッシュボード１２００は、複数のエッジデバイス１０５の健康状態（例えばリソースヘッドルーム）を監視するためにユーザによって使用され得る。また、ダッシュボード１２００は、エッジデバイス１０５にインストールするための、複数のエッジデバイス１０５の特定の１つに適したアプリケーションのグループ３３０を考察するためにユーザによって使用され得る。また、ダッシュボード１２００は、エッジボックス１０５の特定の１つにインストールするための、アプリケーションのグループ３３０から１つまたは複数のアプリケーションをユーザが選択することを可能にし得る。例えば、ダッシュボード１２００は、エッジデバイスのリスト１２０５（例えば複数のエッジデバイス１０５）を示す。ユーザは、この選択されたエッジデバイスへのインストールに適したアプリケーションのグループ１２１０を考察するために、エッジデバイスのリスト１２０５からエッジデバイスを選択し得る。ユーザは、選択されたエッジデバイスにインストールするためのアプリケーションのグループ１２１０の１つを選択し得る。

【0072】

ダッシュボード１２００の特徴は例に過ぎず、何らかの方式で限定することを意図するものではないことが理解されよう。ダッシュボード１２００の形状、サイズ、方向、位置設定、および他の特徴は、他の実施形態では、図示のものから変化し得る。したがって、ダッシュボード１２００は、ユーザとバックエンドサーバ１２５との間の人間－コンピュータ間対話を容易にするユーザインターフェースを提供する。ダッシュボード１２００は、グラフィカルユーザインターフェース（「ＧＵＩ」：ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を介してユーザからユーザ入力を受信し、これらのユーザ入力をバックエンドサーバ１２５に伝送するように構成される。また、ダッシュボード１２００は、バックエンドサーバ１２５からの出力／情報を受信し、ＧＵＩを介してこれらの出力／情報をユーザに提示するように構成される。ＧＵＩは、様々なグラフィカルアイコン、ウィンドウ、視覚指標、メニュー、視覚ウィジェット、および、ユーザ対話を容易にするための他のしるしを提示し得る。他の実施形態では、ダッシュボード１２００は、例えばテキストベースユーザインターフェースおよび他のマンマシンインターフェースを含む、他のタイプのユーザインターフェースとして構成され得る。したがって、ダッシュボード１２００は、様々な方式で構成され得る。

【0073】

さらに、ダッシュボード１２００は、様々な方式でユーザ入力を受信するように構成され得る。例えば、ダッシュボード１２００は、ユーザなどの外部ソースが情報を入力することを可能にする（キーボード、スタイラスおよび／またはタッチスクリーン、マウス、トラックボール、キーパッド、マイクロフォン、音声認識、運動認識、リモートコントローラ、入力ポート、１つまたは複数のボタン、ダイヤル、ジョイスティック等を含むがこれらに限定されない）入力技術を使用して、ユーザ入力を受信するように構成され得る。また、ダッシュボード１２００は、様々な方式で出力／情報をユーザに提示するように構成され得る。例えば、ダッシュボード１２００は、ユーザ、メモリ、プリンタ、スピーカ等の外部システムに情報を提示するように構成され得る。したがって、図示されていないが、ダッシュボード１２００は、様々なハードウェア、ソフトウェア、ファームウェア構成要素、またはその組合せと関連付けられ得る。一般的に言えば、ダッシュボード１２００は、本明細書で説明される機能をバックエンドサーバ１２５が実施することを可能にする任意のタイプのハードウェア、ソフトウェア、および／またはファームウェア構成要素と関連付けられ得る。したがって、ダッシュボードは、ユーザからのユーザリクエスト（例えば入力）を受信し、このユーザリクエストをバックエンドサーバ１２５に伝送する。ユーザリクエストに応答して、バックエンドサーバ１２５は、１つまたは複数の動作を実施し得る（例えば、エッジボックスにアプリケーションをインストールし得る）。

【0074】

ここで図１３を参照すると、本開示のいくつかの実施形態による、コンピューティングシステム１３００の実例のブロック図が示されている。コンピューティングシステム１３００は、バックエンドサーバ１２５の実例の実装形態を表し得る。したがって、コンピューティングシステム１３００は、図１～図１２において上記で論じられた機能を実施するために使用され得る。コンピューティングシステム１３００は、メモリデバイス１３１０と関連付けられたホストデバイス１３０５を含む。ホストデバイス１３０５は、１つまたは複数の入力デバイス１３１５から入力を受信し、出力を１つまたは複数の出力デバイス１３２０に提供するように構成され得る。ホストデバイス１３０５は、適切なインターフェース１３２５Ａ、１３２５Ｂ、および１３２５Ｃを介してメモリデバイス１３１０、入力デバイス１３１５、および出力デバイス１３２０とそれぞれ通信するように構成され得る。コンピューティングシステム１３００は、コンピュータ（例えば、デスクトップ、ラップトップ、サーバ、データセンタ等）、タブレット、パーソナルデジタルアシスタント、モバイルデバイス、他のハンドヘルドもしくは携帯型デバイス、または、ホストデバイス１３０５を使用したダム監視分析の実施に適した他の任意のコンピューティングユニットなどの様々なコンピューティングデバイスにおいて実施され得る。

【0075】

入力デバイス１３１５は、キーボード、スタイラス、タッチスクリーン、マウス、トラックボール、キーパッド、マイクロフォン、音声認識、運動認識、リモートコントローラ、入力ポート、１つまたは複数のボタン、ダイヤル、ジョイスティック、および、（ホストデバイス１３０５と関連付けられ、ユーザなどの外部ソースが情報（例えばデータ）をホストデバイスに入力し、命令をホストデバイスに送信することを可能にする）他の任意の入力周辺機器などの様々な入力技術のいずれかを含み得る。同様に、出力デバイス１３２０は、外部メモリ、プリンタ、スピーカ、ディスプレイ、マイクロフォン、発光ダイオード、ヘッドホン、ビデオデバイス、および、（ホストデバイス１０５から情報（例えばデータ）を受信するように構成された）他の任意の出力周辺機器などの様々な出力技術を含み得る。ホストデバイス１３０５に入力される「データ」、および／またはホストデバイスから出力される「データ」は、様々なテキストデータ、グラフィカルデータ、イメージ、その組合せ、または、コンピューティングシステム１３００を使用した処理に適した他のタイプのアナログおよび／もしくはデジタルデータのいずれかを含み得る。

【0076】

ホストデバイス１３０５は、中央処理装置（「ＣＰＵ」）コアまたはプロセッサ１３３０Ａ～１３３０Ｎなどの、１つまたは複数の処理ユニット／プロセッサを含むか、これらと関連付けられる。ＣＰＵコア１３３０Ａ～１３３０Ｎは、特定用途向け集積回路（「ＡＳＩＣ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、または他の任意のタイプの処理ユニットとして提供され得る。ＣＰＵコア１３３０Ａ～１３３０Ｎのそれぞれは、ホストデバイス１３０５の１つまたは複数のアプリケーションを動かすための命令を実行するように構成され得る。いくつかの実施形態では、１つまたは複数のアプリケーションを動かすのに必要な命令およびデータは、メモリデバイス１３１０に格納され得る。また、ホストデバイス１３０５は、１つまたは複数のアプリケーションの実行の結果をメモリデバイス１３１０に格納するように構成され得る。したがって、ホストデバイス１３０５は、様々な動作を実施するようにメモリデバイス１３１０にリクエストするように構成され得る。例えば、ホストデバイス１３０５は、データの読込み、データの書込み、データの更新もしくは削除、および／または管理または他の動作の実施をメモリデバイス１３１０にリクエストし得る。

【0077】

ホストデバイス１３０５が動かすように構成され得るこのような１つのアプリケーションは、プロファイリングアプリケーション１３３５でよい。プロファイリングアプリケーション１３３５は、上記で論じられた機能を実施するために、ホストデバイス１３０５のユーザによって使用され得るソフトウェアスイートまたはパッケージの一部でよい。いくつかの実施形態では、プロファイリングアプリケーション１３３５を実行するか動かすのに必要な命令は、メモリデバイス１３１０に格納され得る。プロファイリングアプリケーション１３３５は、メモリデバイス１３１０からのプロファイリングアプリケーションと関連付けられた命令を使用して、ＣＰＵコア１３３０Ａ～１３３０Ｎの１つまたは複数によって実行され得る。さらに図１３を参照すると、メモリデバイス１３１０は、メモリアレイ１３４５からデータを読み書きするように構成されたメモリコントローラ１３４０を含む。いくつかの実施形態では、メモリアレイ１３４５は、様々な揮発性および／または不揮発性メモリを含み得る。例えば、いくつかの実施形態では、メモリアレイ１３４５は、ＮＡＮＤフラッシュメモリコア、ＮＯＲフラッシュメモリコア、スタティックランダムアクセスメモリ（ＳＲＡＭ）コア、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）コア、磁気抵抗型ランダムアクセスメモリ（ＭＲＡＭ）コア、位相変化型メモリ（ＰＣＭ）コア、抵抗変化型メモリ（ＲｅＲＡＭ）コア、３Ｄ ＸＰｏｉｎｔメモリコア、強誘電体ランダムアクセスメモリ（ＦｅＲＡＭ）コア、および、メモリアレイ内での使用に適した他のタイプのメモリコアを含み得る。一般的に言えば、メモリアレイ１３４５は、様々なランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的ＥＰＲＯＭ（ＥＥＰＲＯＭ）、ハードディスクドライブ、フラッシュドライブ、メモリテープ、光学ドライブ、クラウドメモリ、または、本明細書で説明される動作の実施に適した１次および／もしくは２次メモリの任意の組合せのいずれかを含み得る。

【0078】

メモリアレイ１３４５内のメモリは、メモリコントローラ１３４０によって個別かつ独立して制御され得る。言い換えれば、メモリコントローラ１３４０は、メモリアレイ１３４５内の各メモリと個別かつ独立して通信するように構成され得る。メモリアレイ１３４５と通信することによって、メモリコントローラ１３４０は、ホストデバイス１３０５から受信された命令に応答して、メモリアレイからデータを読み書きするように構成され得る。メモリデバイス１３１０の一部として示されているが、いくつかの実施形態では、メモリコントローラ１３４０は、ホストデバイス１３０５の一部またはコンピューティングシステム１３００の別の構成要素の一部でよく、メモリデバイスと関連付けられ得る。メモリコントローラ１３４０は、本明細書で説明される機能を実施するための、ソフトウェア、ハードウェア、ファームウェア、またはその組合せにおける論理回路として実施され得る。例えば、いくつかの実施形態では、メモリコントローラ１３４０は、ホストデバイス１３０５からリクエストを受信すると、メモリデバイス１３１０のメモリアレイ１３４５に格納されたプロファイリングアプリケーション１３３５と関連付けられた命令を検索するように構成され得る。

【0079】

コンピューティングシステム１３００のいくつかの構成要素だけが図１３に示され、説明されていることが理解されよう。それでも、コンピューティングシステム１３００は、様々な電池および電源、ネットワーキングインターフェース、ルータ、スイッチ、外部メモリシステム、コントローラ等の他の構成要素を含み得る。一般的に言えば、コンピューティングシステム１３００は、本明細書で説明される機能を実施する際に必要であるか、望ましいと考えられる様々なハードウェア、ソフトウェア、および／またはファームウェア構成要素のいずれかを含み得る。同様に、メモリコントローラ１３４０およびメモリアレイ１３４５を含むホストデバイス１３０５、入力デバイス１３１５、出力デバイス１３２０、およびメモリデバイス１３１０は、本明細書で説明される機能を実施する際に必要または望ましいと考えられる他のハードウェア、ソフトウェア、および／またはファームウェア構成要素をそれぞれ含み得る。

【0080】

ＤＤＰＧがＤＲＬアルゴリズム３１５の例として使用され、ＣＮＮがＤＬアルゴリズム３３５の例として使用されているが、他の実施形態では、他の適切な技法およびアルゴリズムが、ＤＲＬアルゴリズムおよびＤＬアルゴリズムのそれぞれのために使用され得る。さらに、上記で使用されるいずれかの例は説明のために過ぎず、何らかの方式で本開示の範囲を限定することを意図するものではないことが理解されよう。

【0081】

本明細書で説明される主題は、時には、他の種々の構成要素に収めた、または接続された種々の構成要素を示す。このような描写されたアーキテクチャは例示に過ぎず、実際には、同じ機能を実現する他の多くのアーキテクチャを実施できることが理解されよう。概念的な意味では、同じ機能を実現するための構成要素の任意の配置が、所望の機能が実現されるように効果的に「関連付けられる」。したがって、特定の機能を実現するために組み合わされた本明細書における任意の２つの構成要素は、アーキテクチャまたは中間構成要素に関わらず、所望の機能が実現されるように、互いに「関連付けられる」ものとみなすことができる。同様に、そのように関連付けられた任意の２つの構成要素は、また、所望の機能を実現するために互いに「動作接続される」または「動作連結される」ものとみなすことができ、そのように関連付けられることが可能な任意の２つの構成要素は、また、所望の機能を実現するために互いに「動作連結可能」とみなすることができる。動作連結可能の具体例は、物理的に接合可能なおよび／もしくは物理的に相互作用する構成要素、ならびに／または、ワイヤレスで相互作用可能なおよび／もしくはワイヤレスで相互作用する構成要素、ならびに／または、論理的に相互作用するおよび／もしくは論理的に相互作用可能な構成要素を含むがこれらに限定されない。

【0082】

本明細書における実質的に任意の複数形および／または単数形の用語の使用について、当業者は、文脈および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。様々な単数形／複数形の並べ替えは、明瞭さのために本明細書において明確に示され得る。

【0083】

一般的に、本明細書で、および特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体）で使用される用語は、一般に、「オープンな」用語であることが意図される（例えば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は「含むがこれらに限定されない」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は「少なくとも有する」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は「含むがこれらに限定されない」と解釈されるべきである、等である）ことが当業者によって理解されよう。特定の数の導入される請求項の列挙が意図される場合、このような意図は特許請求の範囲に明示的に列挙されることになり、このような列挙がない場合、このような意図がないことが当業者によってさらに理解されよう。例えば、理解の補助として、以下の添付の特許請求の範囲は、請求項の列挙を導入するための導入句「少なくとも１つ」および「１つまたは複数」の使用を収め得る。それでも、このような句の使用は、同じ請求項が、導入句「１つまたは複数」または「少なくとも１つ」および「ａ」または「ａｎ」などの不定冠詞を含むときでも、不定冠詞「ａ」または「ａｎ」による請求項の列挙の導入が、このような導入される請求項の列挙を収めるいずれかの特定の請求項をただ１つのこのような列挙を収める発明に限定することを示唆するものと解釈されるべきではなく（例えば、「ａ」および／または「ａｎ」は典型的には、「少なくとも１つ」または「１つまたは複数」を意味するものと解釈されるべきである）、同じことが、請求項の列挙を導入するために使用される定冠詞の使用にも当てはまる。さらに、特定の数の導入される請求項の列挙が明示的に列挙される場合でも、このような列挙が典型的には、列挙される数を少なくとも意味するものと解釈されるべきであることを当業者は認識するであろう（例えば、他の修飾語のない「２つの列挙」の何もない列挙は典型的には、少なくとも２つの列挙、または２つ以上の列挙を意味する）。さらに、「Ａ、Ｂ、およびＣの少なくとも１つ、等」に似た慣例が使用される事例では、一般的に、このような構造は、当業者が慣例を理解するはずの意味で意図される（例えば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａを単独で、Ｂを単独で、Ｃを単独で、ＡとＢを一緒に、ＡとＣを一緒に、ＢとＣを一緒に、ならびに／またはＡ、Ｂ、およびＣを一緒に有する等のシステムを含むがこれらに限定されないはずである）。「Ａ、Ｂ、またはＣの少なくとも１つ、等」に似た慣例が使用される事例では、一般的に、このような構造は、当業者が慣例を理解するはずの意味で意図される（例えば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａを単独で、Ｂを単独で、Ｃを単独で、ＡとＢを一緒に、ＡとＣを一緒に、ＢとＣを一緒に、ならびに／またはＡ、Ｂ、およびＣを一緒に有する等のシステムを含むがこれらに限定されないはずである）。事実上、２つ以上の代替用語を提示する任意の離接語および／または句は、説明、請求項、または図面内であろうと、用語の１つ、用語のどちらか、または両方の用語を含む可能性を想定するものと理解されるべきであることが当業者によってさらに理解されよう。例えば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」または「ＡおよびＢ」の可能性を含むものと理解されよう。さらに、別途注釈のない限り、単語「およそ（ａｐｐｒｏｘｉｍａｔｅ）」、「約（ａｂｏｕｔ）」、「およそ（ａｒｏｕｎｄ）」、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」等の使用は、プラスマイナス１０％を意味する。

【0084】

例証的実施形態の前記の記述は、例証および説明のために提示された。これは、網羅的であること、または開示された正確な形式で限定することを意図するものではなく、修正および変更が上記の教示の観点から可能であるか、または、開示の実施形態の実践から獲得され得る。本明細書に添付の特許請求の範囲、およびその同等物によって本発明の範囲が定義されることを意図するものである。

【符号の説明】

【0085】

１００ アプリケーションプロファイリングシステム、アプリケーションプロファイリング
１０５ エッジデバイス、エッジボックス、ホストデバイス
１１０Ａ エッジデバイス、アプリケーションが監視される必要があるエッジボックス
１１０Ｂ エッジデバイス、アプリケーションが監視される必要があるエッジボックス
１１０Ｃ エッジデバイス、アプリケーションが監視される必要があるエッジボックス
１１０Ｄ エッジデバイス、アプリケーションが監視される必要があるエッジボックス
１１５ エージェント
１１５Ａ エージェント、エッジボックスにインストールされたデータ収集エージェント
１１５Ｂ エージェント、エッジボックスにインストールされたデータ収集エージェント
１１５Ｃ エージェント、エッジボックスにインストールされたデータ収集エージェント
１１５Ｄ エージェント、エッジボックスにインストールされたデータ収集エージェント
１２０ ストリーミングフレームワーク、Ｋａｆｋａストリーミングフレームワーク
１２５ サーバ、バックエンドサーバ、エッジ健康監視および性能調整のためのバックエンドサーバ
１３０ クライアントマシン
１３５ プロセッサ
１４０ メモリデバイス
１４５ データベース、時系列データベース（Ｉｎｆｌｕｘ）
２００ 時系列マップ
２０５ 範囲
２１０ 範囲
２１５ 範囲
２２０ プロット
２２５ プロット
２３０ プロット
２３５ ＣＰＵのリソースヘッドルーム
３００ サーバ
３０５ 意思決定構成要素、ＲＬ構成要素
３１０ ヘッドルーム適合性測定構成要素
３１５ ＤＲＬアルゴリズム、アプリケーションのグループを選択するためのＤＲＬアルゴリズム
３２０ アプリケーション
３２０Ａ アプリケーション、アプリケーション１
３２０Ｂ アプリケーション、アプリケーション２
３２０Ｎ アプリケーション、アプリケーションＮ
３２５ 時系列マップ、リソース利用状況データ
３２５Ａ 時系列マップ、時系列１
３２５Ｂ 時系列マップ、時系列２
３２５Ｎ 時系列マップ、時系列Ｎ
３３０ アプリケーションのグループ
３３５ 深層学習（ＤＬ）アルゴリズム、深層学習ベース時系列類似性測定
３４０ 報酬信号
３４５ 報酬生成器
３５０ 適合性スコア
３５５ リソースヘッドルーム
３６０ エッジボックス、エッジデバイス
４００ 状態機械
４０５ エージェント
４１０ 環境
４１５ 状態
４２０ アクション
５００ ＤＲＬアルゴリズムのエージェント、エージェント、ＤＲＬエージェント
５０５ 環境
５１５ アプリケーション
５１５Ａ アプリケーション、アプリケーション１
５１５Ｂ アプリケーション、アプリケーション２
５１５Ｎ アプリケーション、アプリケーションＮ
５２０ リソースヘッドルーム、リソースヘッドルームデータ
５２５ 環境の状態、状態、Ｓ１（現在の状態）
５３０ アクション、Ａｔ（アクション）
５３５ 報酬、Ｒｔ（報酬）
６００ 決定論的深層ポリシ勾配（ＤＤＰＧ）アルゴリズム
６０５ メインポリシネットワーク（アクター）、アクター
６１０ メインネットワーク
６１５ メインＱネットワーク（クリティック）、クリティック
６２０ ターゲットポリシネットワーク（アクター）、アクター
６２５ ターゲットネットワーク
６３０ ターゲットＱネットワーク（クリティック）、クリティック
６３５ ポリシ勾配
８００ ＤＬアルゴリズム３３５の実例のブロック図、ブロック図
８０５ 訓練フェーズ
８１０ 推測フェーズ
８１５ データ収集フェーズ、データフェーズ
８２０ ニューラルネットワークフェーズ
１２００ ダッシュボード
１２０５ エッジデバイスのリスト
１２１０ アプリケーションのグループ
１３００ コンピューティングシステム
１３０５ ホストデバイス
１３１０ メモリデバイス
１３１５ 入力デバイス
１３２０ 出力デバイス
１３２５Ａ インターフェース
１３２５Ｂ インターフェース
１３２５Ｃ インターフェース
１３３０Ａ プロセッサ、ＣＰＵコア
１３３０Ｎ プロセッサ、ＣＰＵコア
１３３５ プロファイリングアプリケーション、ダム監視アプリケーション
１３４０ メモリコントローラ
１３４５ メモリアレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】