特許 7443227 制御装置、制御方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-26

(45)【発行日】2024-03-05

(54)【発明の名称】制御装置、制御方法及びコンピュータプログラム

(51)【国際特許分類】

   H04L 47/76 20220101AFI20240227BHJP

   H04W 28/24 20090101ALI20240227BHJP

   H04W 80/12 20090101ALI20240227BHJP

   G06F 9/50 20060101ALI20240227BHJP

【ＦＩ】

H04L47/76

H04W28/24

H04W80/12

G06F9/50 150Z

【請求項の数】 6

(21)【出願番号】P 2020219028

(22)【出願日】2020-12-28

(65)【公開番号】P2022104045

(43)【公開日】2022-07-08

【審査請求日】2023-02-22

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和元年度、総務省、「革新的ＡＩネットワーク統合基盤技術の研究開発（技術課題ＩＩＩ「データ連携によるネットワーク機能動的制御技術」）」委託事業、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(72)【発明者】

【氏名】城 哲

【審査官】小林 義晴

(56)【参考文献】

【文献】特開２０１６－１６２１６９（ＪＰ，Ａ）

【文献】特開２０１９－０６２５１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ １２／００－１２／６６

４１／００－１０１／６９５

Ｈ０４Ｗ ２８／２４

８０／１２

Ｇ０６Ｆ ９／５０

(57)【特許請求の範囲】

【請求項1】

複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を決定する制御装置であり、
移設候補の前記アプリケーションが配置されている移設元の情報処理装置と、前記移設候補の前記アプリケーションの移設先の情報処理装置の候補である移設先候補との組合せ毎に、前記移設候補の前記アプリケーションの移設の前後における、前記移設元の情報処理装置に配置されている各前記アプリケーションのＱｏＳの変動と前記移設先候補に配置されている各前記アプリケーションについてのＱｏＳの変動とに基づいた移設判定指標を算出し、算出された前記移設判定指標に基づいて、前記移設候補の前記アプリケーション及び前記移設先候補の中から移設対象の前記アプリケーション及び移設先の情報処理装置を決定するアプリケーション配置計算部と、
前記アプリケーション配置計算部が決定した移設内容に基づいて、アプリケーション配置制御を実行するアプリケーション配置制御部と、
を備える制御装置。

【請求項2】

前記アプリケーション配置計算部は、前記移設候補の前記アプリケーションの移設の前後における、前記移設元の情報処理装置に配置されている各前記アプリケーションの遅延率変動量と前記移設先候補に配置されている各前記アプリケーションについての遅延率変動量とに基づいた前記移設判定指標を算出する、
請求項１に記載の制御装置。

【請求項3】

前記アプリケーション配置計算部は、前記移設候補の前記アプリケーションの移設の前後における、前記移設候補の前記アプリケーションの資源消費コストの変動にも基づいた前記移設判定指標を算出する、
請求項１又は２のいずれか１項に記載の制御装置。

【請求項4】

前記アプリケーション配置計算部は、前記移設候補の前記アプリケーションの移設に要するメモリ消費量にも基づいた前記移設判定指標を算出する、
請求項１から３のいずれか１項に記載の制御装置。

【請求項5】

複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を決定する制御方法であって、
制御装置が、移設候補の前記アプリケーションが配置されている移設元の情報処理装置と、前記移設候補の前記アプリケーションの移設先の情報処理装置の候補である移設先候補との組合せ毎に、前記移設候補の前記アプリケーションの移設の前後における、前記移設元の情報処理装置に配置されている各前記アプリケーションのＱｏＳの変動と前記移設先候補に配置されている各前記アプリケーションについてのＱｏＳの変動とに基づいた移設判定指標を算出し、算出された前記移設判定指標に基づいて、前記移設候補の前記アプリケーション及び前記移設先候補の中から移設対象の前記アプリケーション及び移設先の情報処理装置を決定するアプリケーション配置計算ステップと、
前記制御装置が、前記アプリケーション配置計算ステップで決定した移設内容に基づいて、アプリケーション配置制御を実行するアプリケーション配置制御ステップと、
を含む制御方法。

【請求項6】

複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を決定する制御装置のコンピュータに、
移設候補の前記アプリケーションが配置されている移設元の情報処理装置と、前記移設候補の前記アプリケーションの移設先の情報処理装置の候補である移設先候補との組合せ毎に、前記移設候補の前記アプリケーションの移設の前後における、前記移設元の情報処理装置に配置されている各前記アプリケーションのＱｏＳの変動と前記移設先候補に配置されている各前記アプリケーションについてのＱｏＳの変動とに基づいた移設判定指標を算出し、算出された前記移設判定指標に基づいて、前記移設候補の前記アプリケーション及び前記移設先候補の中から移設対象の前記アプリケーション及び移設先の情報処理装置を決定するアプリケーション配置計算ステップと、
前記アプリケーション配置計算ステップで決定した移設内容に基づいて、アプリケーション配置制御を実行するアプリケーション配置制御ステップと、
を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、制御方法及びコンピュータプログラムに関する。

【背景技術】

【0002】

従来、移動通信網（Mobile Network）において、ユーザ端末（ＵＥ：User Equipment）により近い場所でアプリケーションによるサービスをユーザ端末に提供するためのＭＥＣ（Multi-access Edge Computing）技術が知られている（例えば、非特許文献１参照）。非特許文献１には、複数のＭＥＣホストからなる分散クラウドシステムにおいて、あるユーザ端末に提供するサービスを実現するためのアプリケーションが、あるＭＥＣホストに配置されている状況下で、当該ユーザ端末を他のＭＥＣホストに配置されているアプリケーションに収容換えするアプリケーション移設方法が記載されている。非特許文献１に記載されたアプリケーション移設方法では、移設対象のアプリケーションについて、移設後の推定遅延が移設前の遅延よりも短くなるＭＥＣホストを移設先に決定している。

【先行技術文献】

【非特許文献】

【0003】

【文献】“Traffic-Aware Dynamic Container Migration for Real-Time Support in Mobile Edge Clouds”，2018 IEEE International Conference on Advanced Networks and Telecommunications Systems (ANTS)

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上述した非特許文献１に記載されたアプリケーション移設方法では、移設対象のアプリケーションについての遅延を改善することができるが、分散クラウドシステム全体における総合的なサービス品質を考慮することができない。このため、分散クラウドシステム全体における総合的なサービス品質を考慮したアプリケーション移設方法が望まれる。

【0005】

本発明は、このような事情を考慮してなされたものであり、その目的は、複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を変更する際に、システム全体における総合的なサービス品質を考慮することを図る。

【課題を解決するための手段】

【0006】

（１）本発明の一態様は、複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を決定する制御装置であり、移設候補の前記アプリケーションが配置されている移設元の情報処理装置と、前記移設候補の前記アプリケーションの移設先の情報処理装置の候補である移設先候補との組合せ毎に、前記移設候補の前記アプリケーションの移設の前後における、前記移設元の情報処理装置に配置されている各前記アプリケーションのＱｏＳの変動と前記移設先候補に配置されている各前記アプリケーションについてのＱｏＳの変動とに基づいた移設判定指標を算出し、算出された前記移設判定指標に基づいて、前記移設候補の前記アプリケーション及び前記移設先候補の中から移設対象の前記アプリケーション及び移設先の情報処理装置を決定するアプリケーション配置計算部と、前記アプリケーション配置計算部が決定した移設内容に基づいて、アプリケーション配置制御を実行するアプリケーション配置制御部と、を備える制御装置である。
（２）本発明の一態様は、前記アプリケーション配置計算部は、前記移設候補の前記アプリケーションの移設の前後における、前記移設元の情報処理装置に配置されている各前記アプリケーションの遅延率変動量と前記移設先候補に配置されている各前記アプリケーションについての遅延率変動量とに基づいた前記移設判定指標を算出する、上記（１）の制御装置である。
（３）本発明の一態様は、前記アプリケーション配置計算部は、前記移設候補の前記アプリケーションの移設の前後における、前記移設候補の前記アプリケーションの資源消費コストの変動にも基づいた前記移設判定指標を算出する、上記（１）又は（２）のいずれかの制御装置である。
（４）本発明の一態様は、前記アプリケーション配置計算部は、前記移設候補の前記アプリケーションの移設に要するメモリ消費量にも基づいた前記移設判定指標を算出する、上記（１）から（３）のいずれかの制御装置である。

【0007】

（５）本発明の一態様は、複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を決定する制御方法であって、制御装置が、移設候補の前記アプリケーションが配置されている移設元の情報処理装置と、前記移設候補の前記アプリケーションの移設先の情報処理装置の候補である移設先候補との組合せ毎に、前記移設候補の前記アプリケーションの移設の前後における、前記移設元の情報処理装置に配置されている各前記アプリケーションのＱｏＳの変動と前記移設先候補に配置されている各前記アプリケーションについてのＱｏＳの変動とに基づいた移設判定指標を算出し、算出された前記移設判定指標に基づいて、前記移設候補の前記アプリケーション及び前記移設先候補の中から移設対象の前記アプリケーション及び移設先の情報処理装置を決定するアプリケーション配置計算ステップと、前記制御装置が、前記アプリケーション配置計算ステップで決定した移設内容に基づいて、アプリケーション配置制御を実行するアプリケーション配置制御ステップと、を含む制御方法である。

【0008】

（６）本発明の一態様は、複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を決定する制御装置のコンピュータに、移設候補の前記アプリケーションが配置されている移設元の情報処理装置と、前記移設候補の前記アプリケーションの移設先の情報処理装置の候補である移設先候補との組合せ毎に、前記移設候補の前記アプリケーションの移設の前後における、前記移設元の情報処理装置に配置されている各前記アプリケーションのＱｏＳの変動と前記移設先候補に配置されている各前記アプリケーションについてのＱｏＳの変動とに基づいた移設判定指標を算出し、算出された前記移設判定指標に基づいて、前記移設候補の前記アプリケーション及び前記移設先候補の中から移設対象の前記アプリケーション及び移設先の情報処理装置を決定するアプリケーション配置計算ステップと、前記アプリケーション配置計算ステップで決定した移設内容に基づいて、アプリケーション配置制御を実行するアプリケーション配置制御ステップと、を実行させるためのコンピュータプログラムである。

【発明の効果】

【0009】

本発明によれば、複数の情報処理装置から構成される情報処理システムにおいて、ユーザに提供するサービスを実現するためのアプリケーションを実行する情報処理装置を変更する際に、システム全体における総合的なサービス品質を考慮することができるという効果が得られる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る分散クラウドシステムの構成例を示すブロック図である。

【図2】一実施形態に係る制御装置の構成例を示すブロック図である。

【図3】一実施形態に係る制御方法の手順の例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照し、本発明の実施形態について説明する。
図１は、一実施形態に係る分散クラウドシステムの構成例を示すブロック図である。図１に示される分散クラウドシステム１００（情報処理システム）は、複数のＭＥＣホスト１１０ｍ（情報処理装置）と、中央クラウドホスト１１０ｃ（情報処理装置）とを備える。これらのホスト１１０ｍ，１１０ｃは、モバイルバックホールネットワークＭＢＮやモバイルコアネットワークＭＣＮやインターネットＩＮＷ等の通信ネットワークを介して接続される。以下、ＭＥＣホスト１１０ｍと中央クラウドホスト１１０ｃとを特に区別しないときは「ホスト１１０」と称する。

【0012】

ＭＥＣホスト１１０ｍは、移動通信網内において、ユーザ端末ＵＥが接続する基地局ｇＮＢに近い場所や、モバイルバックホールネットワークＭＢＮ側などに分散配置されている。中央クラウドホスト１１０ｃは、移動通信網の外部の通信ネットワークであるインターネットＩＮＷ側に配置されている。

【0013】

ＭＥＣホスト１１０ｍ及び中央クラウドホスト１１０ｃは、ユーザ端末ＵＥ（ユーザ）に提供するサービスを実現するためのアプリケーションを実行する情報処理装置である。ＭＥＣホスト１１０ｍは、中央クラウドホスト１１０ｃよりもユーザ端末ＵＥに近い場所に設けられるので、中央クラウドホスト１１０ｃよりも通信遅延が小さい。一方、中央クラウドホスト１１０ｃは、ＭＥＣホスト１１０ｍよりも処理能力が大きい。そして、そのような各ホスト１１０の特徴に応じたアプリケーションの配置が行われている。

【0014】

本実施形態において、アプリケーションの配置とは、あるユーザ端末ＵＥに提供するサービスを実現するためのアプリケーションがＭＥＣホスト１１０ｍ又は中央クラウドホスト１１０ｃに配置されることを言う。言い換えると、アプリケーションを配置するとは、ＭＥＣホスト１１０ｍ又は中央クラウドホスト１１０ｃ上で実行されるアプリケーションに対して、あるユーザ端末ＵＥを割り当てることを言う。

【0015】

例えば、ユーザ端末ＵＥとしてＡＲ（Augmented Reality）やＶＲ（Virtual Reality）技術が適用されるヘッドマウントディスプレーに対応するアプリケーションは、要求遅延が短いので、ＭＥＣホスト１１０ｍに配置されることが好ましい。また、ユーザ端末ＵＥとして自動車に搭載されたナビゲーション装置へ地図情報を配信するアプリケーションは、それほど要求遅延が短くなく且つ処理量もそれほど多くないので、任意のホスト１１０に配置されてもよい。また、ユーザ端末ＵＥとして監視カメラに対応するアプリケーションは、要求遅延に多少余裕があるが処理量が多いので、処理能力に余裕があればＭＥＣホスト１１０ｍに配置されてもよく、又は中央クラウドホスト１１０ｃに配置されてもよい。

【0016】

移動通信網において、ユーザ端末ＵＥが基地局エリア間を移動したり又はイベント開催等により一部の基地局エリアにユーザ端末ＵＥが集中したりすることによって、当初のアプリケーション配置では、十分なサービス品質を維持することができなくなる場合がある。このような場合、アプリケーションの移設によって、サービス品質を維持することが試みられる。

【0017】

本実施形態において、アプリケーションの移設とは、あるユーザ端末ＵＥに提供するサービスを実現するためのアプリケーションの配置を変更することを言う。言い換えると、アプリケーションを移設するとは、あるホスト１１０上で実行されるアプリケーションに割り当てられている、あるユーザ端末ＵＥを、他のホスト１１０上で実行されるアプリケーションに割り当てを変更することを言う。

【0018】

例えば、あるユーザ端末ＵＥに提供するサービスを実現するためのアプリケーションが、あるＭＥＣホスト１１０ｍに配置されている状況下で、当該ＭＥＣホスト１１０ｍの近傍の基地局エリアにユーザ端末ＵＥが集中することによって、当該ＭＥＣホスト１１０ｍの負荷が増大して十分なサービス品質を維持することができなくなる場合がある。このような場合、サービス品質を維持するために、当該ＭＥＣホスト１１０ｍに対してアプリケーションの移設を行うことによって、当該ＭＥＣホスト１１０ｍの負荷を軽減することが試みられる。

【0019】

ここで、アプリケーションの移設では、移設元及び移設先の各ホスト１１０のみならず、分散クラウドシステム１００全体における総合的なサービス品質が変動する可能性がある。そこで本実施形態では、分散クラウドシステム１００全体における総合的なサービス品質を考慮したアプリケーションの移設を実現することを図る。

【0020】

図２は、本実施形態に係る制御装置の構成例を示すブロック図である。図２に示す制御装置１は、図１の分散クラウドシステム１００におけるアプリケーションの配置及びアプリケーションの移設を制御する。

【0021】

図２において、制御装置１は、ユーザ端末（ＵＥ）要求管理部１１と、無線品質推定部１２と、データベース（ＤＢ）１３と、統計情報収集部１４と、サービス品質監視部１５と、アプリケーション（Ａｐｐ）配置計算部１６と、アプリケーション（Ａｐｐ）配置制御部１７とを備える。なお、図２中の、実線の矢印は制御トラフィックの流れを示し、破線の矢印はサービストラフィックの流れを示す。

【0022】

制御装置１の各機能は、制御装置１がＣＰＵ（Central Processing Unit：中央演算処理装置）及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。なお、制御装置１として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。また、制御装置１は、単独のコンピュータにより実現するものであってもよく、又は制御装置１の機能を複数のコンピュータに分散させて実現するものであってもよい。

【0023】

ＵＥ要求管理部１１は、移動通信網２の各基地局エリアに存在するユーザ端末ＵＥからアプリケーション起動要求を受付ける。アプリケーション起動要求は、ユーザ端末ＵＥ（ユーザ）が所望するサービスを実現するためのアプリケーションを識別するアプリケーション識別情報（ＡｐｐＩＤ）とユーザ端末ＵＥの端末識別情報（端末ＩＤ）とを有する。ＵＥ要求管理部１１は、ユーザ端末ＵＥからアプリケーション起動要求を受付けると、当該ユーザ端末ＵＥから無線情報を取得し、取得した無線情報を無線品質推定部１２に渡して無線品質の推定を依頼する。無線情報は、アプリケーション起動要求元のユーザ端末ＵＥと基地局ｇＮＢとの間の無線通信に関する受信強度等の測定値や無線パラメータである。ＵＥ要求管理部１１は、無線品質推定部１２から取得した無線品質推定結果と共にユーザ端末ＵＥのアプリケーション起動要求をＡｐｐ配置計算部１６に転送する。無線品質推定結果は、アプリケーション起動要求元のユーザ端末ＵＥと基地局ｇＮＢとの間の無線通信品質の推定値である。

【0024】

ＵＥ要求管理部１１は、Ａｐｐ配置制御部１７からアプリケーション配置更新通知を受けると、アプリケーション起動要求元のユーザ端末ＵＥに対応するＤＢ１３内のアプリケーション（Ａｐｐ）配置情報を参照し、アプリケーション起動要求元のユーザ端末ＵＥが通信する先になるホスト１１０を示すホスト情報を取得する。ホスト情報は、アプリケーション起動要求元のユーザ端末ＵＥが所望するサービスを実現するためのアプリケーションが配置されたホスト１１０を示す情報である。ＵＥ要求管理部１１は、取得したホスト情報をアプリケーション起動要求元のユーザ端末ＵＥへ通知する。これにより、アプリケーション起動要求元のユーザ端末ＵＥは、通知されたホスト情報に示されるホスト１１０にアクセスして、アプリケーション起動要求に該当するアプリケーションを利用する。

【0025】

無線品質推定部１２は、ＵＥ要求管理部１１から渡された無線情報に基づいて、ユーザ端末ＵＥと基地局ｇＮＢとの間の無線区間における無線品質を推定する。無線品質推定部１２は、無線品質推定結果をＵＥ要求管理部１１へ渡す。

【0026】

ＤＢ１３は、各種の情報を格納する。ＤＢ１３に格納される情報として、サービスカタログ、ネットワークトポロジ、ホスト情報、リンク情報、ユーザ端末（ＵＥ）情報、Ａｐｐ配置情報等がある。サービスカタログは、各サービスが要求する遅延条件（要求遅延）や計算資源（要求資源）等を示す情報である。ネットワークトポロジは、分散クラウドシステム１００におけるネットワークの接続形態を示す情報である。ホスト情報は、各ホスト１１０の情報であって、例えば計算資源に関する情報等である。計算資源に関する情報として、各ホスト１１０で利用可能な最大資源量や、現在利用されている資源量（消費資源量）等がある。リンク情報は、ネットワークトポロジに示される各リンクで利用可能な最大帯域や、現在利用されている帯域（消費帯域）等の情報である。ＵＥ情報は、各ユーザ端末ＵＥから通知される情報であって、例えば各ユーザ端末ＵＥの端末ＩＤや受信強度等の無線情報等である。Ａｐｐ配置情報は、アプリケーションの配置やアプリケーションの移設を示す情報である。

【0027】

統計情報収集部１４は、分散クラウドシステム１００内の各ホスト１１０のホスト情報と各リンクのリンク情報とを定期的に収集する。統計情報収集部１４は、収集したホスト情報及びリンク情報をＤＢ１３に格納する。ホスト情報及びリンク情報は、移動通信網２の制御システム（移動体網制御システム）３や、ＭＥＣシステム４に含まれる各ＭＥＣホスト１１０ｍや、中央クラウドシステム５に含まれる各中央クラウドホスト１１０ｃや、中央クラウドシステム５の制御システム（中央クラウド制御システム）６等から収集される。

【0028】

サービス品質監視部１５は、各ホスト１１０に配置された各アプリケーションのサービス遅延を監視する。この監視では、サービス品質監視部１５は、各ホスト１１０に配置された各アプリケーション毎に、現在のサービス遅延を推定し、当該推定結果に基づいて現在のサービス品質が要求品質を満たしているか否かを判断する。

【0029】

具体的には、サービス品質監視部１５は、ＤＢ１３に格納されているＵＥ情報、ホスト情報、リンク情報及びＡｐｐ配置情報に基づいて現在のサービス遅延を推定する。サービス遅延は、エンドツウエンド（Ｅ２Ｅ）におけるサービスにかかる時間（遅延）である。サービス遅延は、アプリケーションの処理にかかる時間（処理遅延）とネットワーク区間の通信にかかる時間（通信遅延）との合計である。

【0030】

サービス品質監視部１５は、現在のサービス遅延の推定結果とサービスの要求遅延に基づいた閾値とを比較する。サービス品質監視部１５は、当該比較の結果、現在のサービス遅延の推定結果が当該閾値を超過している場合に、Ａｐｐ配置計算部１６に対して、当該閾値超過のホスト１１０を移設元ホストに指定して移設計算を要求する。

【0031】

また、サービス品質監視部１５は、各ホスト１１０の消費資源量を監視し、消費資源量が所定の閾値を超過している場合に、Ａｐｐ配置計算部１６に対して、当該閾値超過のホスト１１０を移設元ホストに指定して移設計算を要求する。また、サービス品質監視部１５は、各ホスト１１０に接続されるリンクの消費帯域を監視し、消費帯域が所定の閾値を超過している場合に、Ａｐｐ配置計算部１６に対して、当該閾値超過のホスト１１０を移設元ホストに指定して移設計算を要求する。

【0032】

Ａｐｐ配置計算部１６は、分散クラウドシステム１００におけるアプリケーションの配置の計算（配置計算）及びアプリケーションの移設の計算（移設計算）を行う。配置計算では、Ａｐｐ配置計算部１６は、ＵＥ要求管理部１１から転送されるアプリケーション起動要求に応じて、アプリケーション起動要求元のユーザ端末ＵＥの無線品質推定結果とＤＢ１３内の各種の情報とに基づいて、アプリケーション起動要求に示されるアプリケーション（起動要求アプリケーション）を配置するホスト１１０を決定する。この配置計算では、起動要求アプリケーションの要求遅延とアプリケーションの配置にかかるコストとに基づいて、配置先のホスト１１０が決定される。Ａｐｐ配置計算部１６は、配置計算の結果「アプリケーション起動要求元のユーザ端末ＵＥと配置先のホスト１１０との組合せ」をＤＢ１３内のＡｐｐ配置情報に格納する。なお、Ａｐｐ配置計算部１６は、起動要求アプリケーションの要求遅延や要求資源を満たすホスト１１０が見つからない場合には、移設計算を行った後に、再度、起動要求アプリケーションの配置計算を試みる。

【0033】

Ａｐｐ配置計算部１６は、起動要求アプリケーションの配置先のホスト１１０が見つからない場合や、サービス品質監視部１５から移設計算要求を受けた場合に、移設計算を行う。移設計算方法の詳細は後述する。Ａｐｐ配置計算部１６は、移設計算の結果「移設対象アプリケーション、移設元のホスト１１０及び移設先のホスト１１０の組合せ」をＤＢ１３内のＡｐｐ配置情報に格納する。

【0034】

Ａｐｐ配置制御部１７は、Ａｐｐ配置計算部１６がＤＢ１３に格納したＡｐｐ配置情報に基づいて、分散クラウドシステム１００におけるアプリケーションの配置及びアプリケーションの移設の制御（アプリケーション配置制御）を実行する。このアプリケーション配置制御の実行の結果、Ａｐｐ配置情報に基づいたアプリケーションの配置及びアプリケーションの移設が実現される。Ａｐｐ配置制御部１７は、アプリケーション配置制御の完了後に、ＵＥ要求管理部１１へアプリケーション配置更新通知を送る。

【0035】

（移設計算方法）
本実施形態に係る移設計算方法を説明する。Ａｐｐ配置計算部１６は、起動要求アプリケーションの配置先のホスト１１０が見つからない場合や、サービス品質監視部１５から移設計算要求を受けた場合に、移設計算を行う。起動要求アプリケーションの配置先のホスト１１０が見つからない場合、移設元ホストは、起動要求アプリケーションの配置先として適切なホスト１１０が所定の決定ルールに従って選択される。例えば、起動要求アプリケーションの要求遅延が短い場合には、アプリケーション起動要求元のユーザ端末ＵＥに最も近いＭＥＣホスト１１０ｍが移設元ホストに決定される。サービス品質監視部１５からの移設計算要求には、移設元ホストが指定されている。

【0036】

Ａｐｐ配置計算部１６は、移設元ホストに配置されている各アプリケーション（移設候補アプリケーション）と、移設候補アプリケーションを移設する先になるホスト１１０の候補（移設先候補）との組合せ毎に、移設判定指標を算出する。移設候補アプリケーションは、移設元ホストに配置されている全てのアプリケーションである。移設先候補は、分散クラウドシステム１００において移設元ホスト以外の全てのホスト１１０である。

【0037】

移設判定指標は次の（１）式により算出される。

【0038】

移設判定指標＝ｗ＿１×「移設候補アプリケーションの移設の前後における分散クラウドシステム全体のＱｏＳ（サービス品質）の変動」＋ｗ＿２×「移設候補アプリケーションの移設の前後における移設候補アプリケーションの資源消費コストの変動」－ｗ＿３×「移設候補アプリケーションの移設に要するメモリ消費量」 ・・・（１）

【0039】

上記（１）式において、ｗ＿１、ｗ＿２及びｗ＿３は、重み係数であって予め設定される。移設判定指標は、「移設候補アプリケーションの移設の前後における分散クラウドシステム全体のＱｏＳの変動」と「移設候補アプリケーションの移設の前後における移設候補アプリケーションの資源消費コストの変動」と「移設候補アプリケーションの移設に要するメモリ消費量」とが各重み係数ｗ＿１，ｗ＿２，ｗ＿３で重み付けされて算出される。

【0040】

移設判定指標は、少なくとも「移設候補アプリケーションの移設の前後における分散クラウドシステム全体のＱｏＳの変動」から算出される。

【0041】

なお、ｗ＿２及びｗ＿３は、０であってもよい。ｗ＿２が０である場合、移設判定指標は、「移設候補アプリケーションの移設の前後における分散クラウドシステム全体のＱｏＳの変動」と「移設候補アプリケーションの移設に要するメモリ消費量」とが各重み係数ｗ＿１，ｗ＿３で重み付けされて算出される。ｗ＿３が０である場合、移設判定指標は、「移設候補アプリケーションの移設の前後における分散クラウドシステム全体のＱｏＳの変動」と「移設候補アプリケーションの移設の前後における移設候補アプリケーションの資源消費コストの変動」とが各重み係数ｗ＿１，ｗ＿２で重み付けされて算出される。

【0042】

上記（１）式において、「移設候補アプリケーションの移設の前後における分散クラウドシステム全体のＱｏＳの変動」は、例えば次の（２）式により算出される。

【0043】

「移設候補アプリケーションの移設の前後における分散クラウドシステム全体のＱｏＳの変動」＝移設候補アプリケーションの移設の前後における「（移設元ホストに配置されている各アプリケーションの遅延率変動量）＋（移設先候補に配置されている各アプリケーションの遅延率変動量）」 ・・・（２）

【0044】

上記（２）式において、「移設元ホストに配置されている各アプリケーションの遅延率変動量」は次の（３）式により算出される。

【0045】

「移設元ホストに配置されている各アプリケーションの遅延率変動量」＝「移設前：Σｉ（「サービス遅延の推定値（ｉ）」÷「要求遅延（ｉ）」）」－「移設後：Σｉ「サービス遅延の推定値（ｉ）」÷「要求遅延（ｉ）」」 ・・・（３）

【0046】

上記（３）式において、ｉは、移設元ホストに配置されている任意のアプリケーションを示す。Σｉ（ａ（ｉ））は、移設元ホストに配置されている全てのアプリケーション（ｉ）のａ（ｉ）の総和である。サービス遅延の推定値（ｉ）は、アプリケーション（ｉ）のＥ２Ｅにおけるサービスにかかる時間（遅延）の推定値であって、アプリケーション（ｉ）の処理にかかる時間（処理遅延）とネットワーク区間の通信にかかる時間（通信遅延）との合計の推定値である。要求遅延（ｉ）は、アプリケーション（ｉ）のサービスが要求するＥ２Ｅにおける遅延条件（要求遅延）である。

【0047】

上記（２）式において、「移設先候補に配置されている各アプリケーションの遅延率変動量」は次の（４）式により算出される。

【0048】

「移設先候補に配置されている各アプリケーションの遅延率変動量」＝「移設前：Σｉ（「サービス遅延の推定値（ｉ）」÷「要求遅延（ｉ）」）」－「移設後：Σｉ「サービス遅延の推定値（ｉ）」÷「要求遅延（ｉ）」」 ・・・（４）

【0049】

上記（４）式において、ｉは、移設先候補に配置されている任意のアプリケーションを示す。Σｉ（ａ（ｉ））は、移設先候補に配置されている全てのアプリケーション（ｉ）のａ（ｉ）の総和である。サービス遅延の推定値（ｉ）は、アプリケーション（ｉ）のＥ２Ｅにおけるサービスにかかる時間（遅延）の推定値であって、アプリケーション（ｉ）の処理にかかる時間（処理遅延）とネットワーク区間の通信にかかる時間（通信遅延）との合計の推定値である。要求遅延（ｉ）は、アプリケーション（ｉ）のサービスが要求するＥ２Ｅにおける遅延条件（要求遅延）である。

【0050】

上記（１）式において、「移設候補アプリケーションの移設の前後における移設候補アプリケーションの資源消費コストの変動」は、例えば次の（５）式により算出される。

【0051】

「移設候補アプリケーションの移設の前後における移設候補アプリケーションの資源消費コストの変動」＝「移設候補アプリケーションの移設前の資源消費コスト」－「移設候補アプリケーションの移設後の資源消費コスト」 ・・・（５）

【0052】

上記（５）式において、資源消費コストは、例えば次の（６）式で算出される。

【0053】

「資源消費コスト」＝「移設候補アプリケーションが利用する各計算資源項目の量（消費資源量）」×「移設候補アプリケーションが配置されるホストにおける各計算資源項目の利用単価」 ・・・（６）

【0054】

上記（６）式において、計算資源項目は、例えばＣＰＵやメモリ等である。各ホスト１１０における各計算資源項目の利用単価は、予め設定される。

【0055】

上記（１）式において、「移設候補アプリケーションの移設に要するメモリ消費量」は、移設候補アプリケーションの移設にかかるコストに対応するものである。移設候補アプリケーションの移設にかかるコストは、「移設候補アプリケーションの移設に要するメモリ消費量」に比例する。

【0056】

Ａｐｐ配置計算部１６は、上記の（１）式により、移設元ホストの全ての移設候補アプリケーションを対象にして移設候補アプリケーション毎に、全ての移設先候補との各組合せに対して移設判定指標を算出する。次いで、Ａｐｐ配置計算部１６は、当該算出結果の全ての移設判定指標において、移設判定指標が最大（最良）になる移設候補アプリケーションと移設先候補の組合せを、移設元ホストの移設対象アプリケーションと移設先のホスト１１０の組合せに決定する。Ａｐｐ配置計算部１６は、当該決定した「移設対象アプリケーション、移設元のホスト１１０及び移設先のホスト１１０の組合せ」をＤＢ１３内のＡｐｐ配置情報に格納する。

【0057】

以上が本実施形態に係る移設計算方法の説明である。

【0058】

次に図３を参照して本実施形態に係る制御方法を説明する。図３は、本実施形態に係る制御方法の手順の例を示すフローチャートである。

【0059】

制御装置１は、時刻ｔを初期値「ｔ＝０」から１ずつ増加させながらループ処理を繰り返す。

【0060】

（ステップＳ１） 制御装置１は、時刻ｔに基づいて所定の周期Ｔ１であるか否かを判断する。周期Ｔ１である場合にはステップＳ４に進み、そうではない場合にはステップＳ２に進む。

【0061】

（ステップＳ２） 制御装置１は、時刻ｔに基づいて所定の周期Ｔ２であるか否かを判断する。周期Ｔ２である場合にはステップＳ６に進み、そうではない場合にはステップＳ３に進む。

【0062】

（ステップＳ３） 制御装置１は、時刻ｔを１だけ増加させてループ処理の先頭に戻る。

【0063】

（ステップＳ４） 制御装置１は、各ホスト１１０に配置された各アプリケーションの現在のＱｏＳ（サービス品質）が要求ＱｏＳを満たしているか否かを判断する。この判断の結果、現在のＱｏＳが要求ＱｏＳを満たしていないアプリケーションが存在する場合にはステップＳ５に進む。一方、全てのアプリケーションが要求ＱｏＳを満たしている場合にはステップＳ２に進む。

【0064】

（ステップＳ５） 制御装置１は、要求ＱｏＳを満たしていないアプリケーションが配置されているホスト１１０を移設元ホストとして移設計算を行う。次いで、制御装置１は、当該移設計算の結果の移設内容「移設対象アプリケーション、移設元のホスト１１０及び移設先のホスト１１０の組合せ」に基づいて、アプリケーション配置制御を実行する。これにより、当該移設内容のアプリケーションの移設が実現される。この後、ステップＳ２に進む。

【0065】

（ステップＳ６） 制御装置１は、新規のアプリケーション起動要求を受付けたことを示す新規フラグの有無を確認する。新規フラグがある場合にはステップＳ７に進み、そうではない場合にはステップＳ３に進む。

【0066】

（ステップＳ７） 制御装置１は、新規のアプリケーション起動要求を対象にして配置計算を行う。

【0067】

（ステップＳ８） ステップＳ７の配置計算の結果、アプリケーションの配置が不可である場合にはステップＳ９に進む。

【0068】

一方、ステップＳ７の配置計算の結果、アプリケーションの配置が可である場合、制御装置１は、ステップＳ７の配置計算の結果の配置内容「アプリケーション起動要求元のユーザ端末ＵＥと配置先のホスト１１０との組合せ」に基づいて、アプリケーション配置制御を実行する。これにより、当該配置内容のアプリケーションの配置が実現される。この後、ステップＳ３に進む。

【0069】

（ステップＳ９） 制御装置１は、起動要求アプリケーションの配置先のホスト１１０が見つからない場合、所定の決定ルールに従って決定したホスト１１０を移設元ホストとして移設計算を行う。

【0070】

（ステップＳ１０） 制御装置１は、ステップＳ９の移設計算の結果の移設内容「移設対象アプリケーション、移設元のホスト１１０及び移設先のホスト１１０の組合せ」を加味して、再度、新規のアプリケーション起動要求を対象にして配置計算を行う。

【0071】

（ステップＳ１１） ステップＳ１０の配置計算の結果、再度、アプリケーションの配置が不可である場合にはステップＳ１２に進む。

【0072】

一方、ステップＳ１１の配置計算の結果、アプリケーションの配置が可である場合、制御装置１は、ステップＳ９の移設計算の結果の移設内容「移設対象アプリケーション、移設元のホスト１１０及び移設先のホスト１１０の組合せ」と、ステップＳ１１の配置計算の結果の配置内容「アプリケーション起動要求元のユーザ端末ＵＥと配置先のホスト１１０との組合せ」とに基づいて、アプリケーション配置制御を実行する。これにより、当該移設内容のアプリケーションの移設と当該配置内容のアプリケーションの配置とが実現される。この後、ステップＳ３に進む。

【0073】

（ステップＳ１２） 制御装置１は、新規のアプリケーション起動要求をリジェクトし、当該アプリケーション起動要求を対象にするアプリケーションの配置を中止する。この後、ステップＳ３に進む。

【0074】

本実施形態によれば、分散クラウドシステム１００において、ユーザ端末ＵＥ（ユーザ）に提供するサービスを実現するためのアプリケーションを実行するホスト１１０を変更する際に、システム全体における総合的なサービス品質を考慮することができるという効果が得られる。さらには、システム全体におけるアプリケーションの資源消費コストの効率化を考慮することができる。また、アプリケーションの移設にかかるコストを考慮することができる。

【0075】

従来のアプリケーション配置方法では、現在のＱｏＳが要求ＱｏＳを満たしていないアプリケーションとして例えばサービス遅延が要求遅延（閾値）を超過しているアプリケーション（以下、閾値超過アプリケーションと称する）のみを再配置対象にしていた。この従来のアプリケーション配置方法では、サービスを要求するユーザ端末数が増加すると、アプリケーションの再配置が十分に行われないという課題が生じ得る。例えば、ＭＥＣホスト上における閾値超過アプリケーションのサービスは他のサービスより要求遅延が短く、アプリケーションがユーザ端末の近傍に位置するＭＥＣホストに再配置される必要がある。ここで、サービスを要求するユーザ端末数が増加する時には、ＭＥＣホストやリンクの負荷が上昇することから、各ＭＥＣホスト上の配置済のアプリケーションのＥ２Ｅの遅延が大きくなる。したがって、再配置対象となる閾値超過アプリケーションと当該閾値超過アプリケーションの再配置先のホスト上に配置済のアプリケーションとの両方のＥ２Ｅの遅延が同時に閾値を満たすＭＥＣホストは限られ、アプリケーションの再配置の成功率が低下する。そして、アプリケーションの再配置の成功率が低下すると、アプリケーションのＥ２Ｅの遅延を一定水準以下に保つことができなくなって、ユーザ端末の収容効率が悪くなる。したがって、アプリケーションの再配置の成功率を一定以上に維持することが、ユーザ端末の収容効率の維持のために重要である。

【0076】

アプリケーションの再配置の成功率が低下するという課題は、閾値超過アプリケーションが発生したホストにおいて非閾値超過アプリケーションも考慮して再配置対象となるアプリケーションを選定することにより、解決することができると見込まれる。閾値超過アプリケーションの再配置が困難な場合においても、再配置対象となるアプリケーションの選定の結果、非閾値超過アプリケーションが再配置されることによって閾値超過アプリケーションのＥ２Ｅの遅延が間接的に改善される。非閾値超過アプリケーションの中には、Ｅ２Ｅの遅延が要求遅延よりも十分に小さいことから、中央クラウドホスト等のユーザ端末の遠方に位置するためにネットワーク区間の遅延が大きいホストへ再配置することが可能なアプリケーションが含まれる。このため、非閾値超過アプリケーションも考慮して再配置対象となるアプリケーションを選定することによって、サービスを要求するユーザ端末数が増加する場合においても、アプリケーションの再配置の成功率が維持されやすくなる。

【0077】

そのような再配置対象のアプリケーションの選定では、アプリケーションの再配置に伴うＥ２Ｅの遅延の変動とアプリケーションの再配置に伴うコストとを同時に考慮することが重要である。アプリケーションの再配置に伴って再配置先のホスト上に配置済のアプリケーションのＥ２Ｅの遅延が増加することが懸念されるが、このことを考慮してアプリケーションの再配置を行うことによって閾値超過アプリケーションが発生する頻度が低下し、ユーザ端末の収容効率が向上する。また、アプリケーションの再配置によって、ホストとリンクの資源消費コストが変動し、且つ、再配置されるアプリケーションの情報が再配置元のホストから再配置先のホストに転送されることによる通信コストが生じる。本実施形態によれば、閾値超過アプリケーションに加えて非閾値超過アプリケーションも考慮して再配置対象となるアプリケーションを選定する際に、アプリケーションの再配置に伴うＥ２Ｅの遅延の変動とアプリケーションの再配置に伴うコストとを同時に考慮することができる。これにより、アプリケーションの再配置の効率化を図るとともに、アプリケーションの再配置の成功率を一定以上に維持することができ、ユーザ端末の収容効率を維持することができるという効果が得られる。

【0078】

なお、これにより、例えば無線ネットワークにおける総合的なサービス品質の向上を実現することができることから、国連が主導する持続可能な開発目標（SDGs）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【0079】

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0080】

また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0081】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0082】

１…制御装置、１１…ユーザ端末（ＵＥ）要求管理部、１２…無線品質推定部、１３…データベース（ＤＢ）、１４…統計情報収集部、１５…サービス品質監視部、１６…アプリケーション（Ａｐｐ）配置計算部、１７…アプリケーション（Ａｐｐ）配置制御部、１００…分散クラウドシステム、１１０ｍ…ＭＥＣホスト、１１０ｃ…中央クラウドホスト、ＵＥ…ユーザ端末、ｇＮＢ…基地局、ＭＢＮ…モバイルバックホールネットワーク、ＭＣＮ…モバイルコアネットワーク、ＩＮＷ…インターネット

【図1】

【図2】

【図3】