知財求人 - 知財ポータルサイト「IP Force」
▶ エヌ・ティ・ティ・コミュニケーションズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024025118
(43)【公開日】2024-02-26
(54)【発明の名称】制御装置、制御方法、及びプログラム
(51)【国際特許分類】
G06F 9/455 20180101AFI20240216BHJP
【ＦＩ】
G06F9/455 150
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022128307
(22)【出願日】2022-08-10
(71)【出願人】
【識別番号】399035766
【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】渡辺 浩気
(72)【発明者】
【氏名】沈 文裕
(72)【発明者】
【氏名】上野山 実
(72)【発明者】
【氏名】和田 雄一郎
(57)【要約】
【課題】仮想化基盤装置の構築を容易に行うための技術を提供する。
【解決手段】仮想化基盤装置と制御装置とを備えるシステムにおける前記制御装置であって、アプリケーションを仮想マシンで作成するかコンテナで作成するかを判断する管理部と、前記管理部による判断に基づいて、前記仮想化基盤装置に対し、仮想マシン又はコンテナで前記アプリケーションを作成することを指示する指示部とを備える。
【選択図】図２
【解決手段】仮想化基盤装置と制御装置とを備えるシステムにおける前記制御装置であって、アプリケーションを仮想マシンで作成するかコンテナで作成するかを判断する管理部と、前記管理部による判断に基づいて、前記仮想化基盤装置に対し、仮想マシン又はコンテナで前記アプリケーションを作成することを指示する指示部とを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
仮想化基盤装置と制御装置とを備えるシステムにおける前記制御装置であって、
アプリケーションを仮想マシンで作成するかコンテナで作成するかを判断する管理部と、
前記管理部による判断に基づいて、前記仮想化基盤装置に対し、仮想マシン又はコンテナで前記アプリケーションを作成することを指示する指示部と
を備える制御装置。
アプリケーションを仮想マシンで作成するかコンテナで作成するかを判断する管理部と、
前記管理部による判断に基づいて、前記仮想化基盤装置に対し、仮想マシン又はコンテナで前記アプリケーションを作成することを指示する指示部と
を備える制御装置。
【請求項2】
前記管理部は、各アプリケーションの対応環境を記述したアプリケーション管理表を参照することにより、前記判断を行う
請求項１に記載の制御装置。
請求項１に記載の制御装置。
【請求項3】
前記管理部は、ユーザからの入力に基づいて前記アプリケーションの構成情報データを取得し、前記構成情報データとテンプレートを用いて定義ファイルを作成し、
前記指示部は、前記定義ファイルを前記仮想化基盤装置に送信する
請求項１に記載の制御装置。
前記指示部は、前記定義ファイルを前記仮想化基盤装置に送信する
請求項１に記載の制御装置。
【請求項4】
前記指示部は、
前記アプリケーションを仮想マシンで作成する場合には、前記定義ファイルを前記仮想化基盤装置におけるハイパーバイザに送信し、
前記アプリケーションをコンテナで作成する場合には、前記定義ファイルを前記仮想化基盤装置におけるクラスタに送信する
請求項３に記載の制御装置。
前記アプリケーションを仮想マシンで作成する場合には、前記定義ファイルを前記仮想化基盤装置におけるハイパーバイザに送信し、
前記アプリケーションをコンテナで作成する場合には、前記定義ファイルを前記仮想化基盤装置におけるクラスタに送信する
請求項３に記載の制御装置。
【請求項5】
前記アプリケーションをコンテナで作成する場合において、
前記管理部は、前記仮想化基盤装置において使用可能なクラスタが無いと判断した場合に、前記構成情報データに基づいて、クラスタのノード構成を決定し、前記指示部が、前記仮想化基盤装置に対してクラスタの作成を指示する
請求項３に記載の制御装置。
前記管理部は、前記仮想化基盤装置において使用可能なクラスタが無いと判断した場合に、前記構成情報データに基づいて、クラスタのノード構成を決定し、前記指示部が、前記仮想化基盤装置に対してクラスタの作成を指示する
請求項３に記載の制御装置。
【請求項6】
前記アプリケーションをコンテナで作成する場合において、
前記管理部は、前記仮想化基盤装置におけるクラスタの利用可能リソース量に基づいて、当該クラスタにおいて前記アプリケーションを作成できるか否かを判断し、作成できないと判断した場合に、当該クラスタにノードを追加することを決定し、前記指示部が、前記仮想化基盤装置に対して前記ノードを追加する処理を実行する
請求項１に記載の制御装置。
前記管理部は、前記仮想化基盤装置におけるクラスタの利用可能リソース量に基づいて、当該クラスタにおいて前記アプリケーションを作成できるか否かを判断し、作成できないと判断した場合に、当該クラスタにノードを追加することを決定し、前記指示部が、前記仮想化基盤装置に対して前記ノードを追加する処理を実行する
請求項１に記載の制御装置。
【請求項7】
仮想化基盤装置と制御装置とを備えるシステムにおける前記制御装置が実行する制御方法であって、
アプリケーションを仮想マシンで作成するかコンテナで作成するかを判断するステップと、
前記判断に基づいて、前記仮想化基盤装置に対し、仮想マシン又はコンテナで前記アプリケーションを作成することを指示するステップと
を備える制御方法。
アプリケーションを仮想マシンで作成するかコンテナで作成するかを判断するステップと、
前記判断に基づいて、前記仮想化基盤装置に対し、仮想マシン又はコンテナで前記アプリケーションを作成することを指示するステップと
を備える制御方法。
【請求項8】
コンピュータを、請求項１ないし６のうちいずれか１項に記載の制御装置における各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、エッジコンピューティングにおけるエッジ装置を構築する技術に関連するものである。
【背景技術】
【0002】
世界のエッジコンピューティング市場は、データ量の増大や、リアルタイム処理の需要、ＣＯＶＩＤ－１９に起因する社会的背景の影響もあり、大きく成長している。
【0003】
すなわち、まず、ＩｏＴ領域において収集可能なデータの幅が広がったことで、クラウドに蓄えられるデータ量が増加している。一方、リアルタイム処理需要が高まりつつあり、自動運転や異常検知等、従来よりも即時性の必要なユースケースが増加している。さらに、ＣＯＶＩＤ－１９の影響によるパンデミックのリスクを軽減するために、リモートでの資産維持・監視、遠隔医療等、オンラインでの需要が急増している。
【0004】
エッジコンピューティングとは、「端末の近くにサーバを分散配置する」ネットワーク技法の１つを意味する。特に製造現場においては、エッジコンピューティングにより、工場内に多数設置されたセンサや、測定器から得られる大容量のデータに対し、高速、又はリアルタイムなアプリケーション処理（データの見える化）が可能となる。
【0005】
従来技術では、これらの機能は、ＶＮＦ（Virtual Network Function）基盤上で構築することにより実現されている。ＶＮＦとはネットワーク機能をハードウェアから切り離し、汎用ハードウェア上で実行できる仮想ネットワークを構築する技術であり、これによりネットワーク構成の自由度と柔軟性を向上させることができる。しかし、ＶＮＦではスケーラビリティ、オーバーヘッドの削減を実現することが難しく、今後の複雑なアプリケーション連携や保守運用の自動化、可搬性への対応が困難となり、構築運用コストが高いままになってしまう。
【0006】
そこで、このＶＮＦ基盤を発展させたＣＮＦ（Cloud-Native Network Function）基盤が期待されている。ＣＮＦは、オープンソースのコンテナオーケストレーションシステムであるKubernetes（登録商標）上で動作するネットワーク機能である。ＣＮＦは、ＶＮＦをコンテナ化した"Container Network Function"であると解釈してもよい。従来のＶＮＦがＶＭ（仮想マシン）をベースとしたものであるのに対し、ＣＮＦはコンテナをベースとする。コンテナ技術による小型サービスの集合体としてアプリケーションを実現することで、小型サービス毎に開発・機能追加を行い、アプリケーションの開発・展開のサイクルを迅速化でき、柔軟性、スケーラビリティ、可搬性の向上が実現できる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2018-032058号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、現状のＶＮＦをＣＮＦに移行するには、多くのレガシーなＶＭの環境をコンテナ化させなければならず、完全に移行するまでには相当な期間が必要である。移行期間ではＶＮＦのＶＭとＣＮＦのコンテナが仮想化基盤装置において共存しなければならないが、現在そのような環境は実現できていない。共存環境では、アプリケーションをどの環境で作成するべきかを判断しなければならない。また、従来技術では、特にコンテナ環境の環境構築のために多くの手作業が必要であり、導入コストが増加する。
【0009】
すなわち、従来技術では、仮想化基盤装置の構築を容易に行うことができないという課題があった。
【0010】
本発明は上記の点に鑑みてなされたものであり、仮想化基盤装置の構築を容易に行うことを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【0011】
開示の技術によれば、仮想化基盤装置と制御装置とを備えるシステムにおける前記制御装置であって、
アプリケーションを仮想マシンで作成するかコンテナで作成するかを判断する管理部と、
前記管理部による判断に基づいて、前記仮想化基盤装置に対し、仮想マシン又はコンテナで前記アプリケーションを作成することを指示する指示部と
を備える制御装置が提供される。
アプリケーションを仮想マシンで作成するかコンテナで作成するかを判断する管理部と、
前記管理部による判断に基づいて、前記仮想化基盤装置に対し、仮想マシン又はコンテナで前記アプリケーションを作成することを指示する指示部と
を備える制御装置が提供される。
【発明の効果】
【0012】
開示の技術によれば、仮想化基盤装置の構築を容易に行うことを可能とする技術が提供される。
【図面の簡単な説明】
【0013】
【図1】システムの全体構成例を示す図である。
【図2】第１実施形態のシステム構成図である。
【図3】第１実施形態の動作を説明するためのフローチャートである。
【図4】アプリケーション管理表の例を示す図である。
【図5】アプリケーションテンプレートの例を示す図である。
【図6】構成情報データの例を示す図である。
【図7】アプリケーションの定義ファイルの例を示す図である。
【図8】エッジ装置管理表の例を示す図である。
【図9】第２実施形態のシステム構成図である。
【図10】第２実施形態の動作を説明するためのフローチャートである。
【図11】クラスタ情報の例を示す図である。
【図12】ＶＭテンプレートの例を示す図である。
【図13】第３実施形態のシステム構成図である。
【図14】第３実施形態の動作を説明するためのフローチャートである。
【図15】クラスタ管理表の例を示す図である。
【図16】クラスタ構成管理表の例を示す図である。
【図17】装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
【0015】
本実施の形態では、コンテナオーケストレーションツールのデファクトスタンダードであるKubernetes（登録商標）を用いる場合の例を示しているが、Kubernetes（登録商標）以外のコンテナオーケストレーションツールを使用する場合でも本実施の形態に係る技術を適用可能である。
【0016】
また、本実施の形態では、仮想化基盤装置として、エッジ装置を使用しているが、これは例である。仮想化基盤装置として、エッジ装置以外の装置を使用してもよい。
【0017】
（実施の形態の概要）
前述したとおり、従来技術において、現状のＶＮＦをＣＮＦに移行するには、多くのレガシーなＶＭの環境をコンテナ化させなければならず、完全に移行するまでには相当な期間が必要である。また、移行期間ではＶＮＦのＶＭとＣＮＦのコンテナが共存しなければならないが、現在そのような環境は実現できていない。
前述したとおり、従来技術において、現状のＶＮＦをＣＮＦに移行するには、多くのレガシーなＶＭの環境をコンテナ化させなければならず、完全に移行するまでには相当な期間が必要である。また、移行期間ではＶＮＦのＶＭとＣＮＦのコンテナが共存しなければならないが、現在そのような環境は実現できていない。
【0018】
具体的には、従来技術においては、ＶＭ作成／管理とコンテナ作成／管理を、別々のエッジコントローラで管理しているため、リソースの準備や構築環境の判断、管理／保守に時間がかかり、煩雑になってしまう。また、別々のエッジコントローラであるがために、ＶＭ・コンテナ両方のデプロイ記述を習得しなければならない。また、コンテナ環境（コンテナ基盤）のクラスタ作成は手動であり、クラスタ内のリソース不足の際は、ノード追加も手動で行う必要がある。その結果、導入コストが増加する一方で、開発の遅延等が生じる可能性がある。
【0019】
そこで、本実施の形態では、ＶＭとコンテナの作成及び管理を１つのエッジコントローラで行うことで、ＶＮＦとＣＮＦの共存環境を構築することとしている。当該エッジコントローラを使用することで、ユーザは記述方式を意識せずに必要な情報を選択（あるいは入力）するだけで、それぞれの定義ファイルを自動生成することが可能となる。
【0020】
また、その定義ファイルを元に自動的にＶＭ又はコンテナを生成し、その上にアプリケーションをデプロイすることが可能である。コンテナを作成する場合は、事前にクラスタ環境が必要となるが、クラスタが未構築の場合、クラスタ自体を自動生成し、アプリケーションをデプロイすることが可能である。また、クラスタ内にアプリケーションのデプロイのためのリソースが不足している場合、自動的にクラスタのノードを拡張することが可能である。以下、本実施の形態におけるシステムの構成と動作を詳細に説明する。
【0021】
（システムの全体構成例）
図１に、本実施の形態におけるシステムの全体構成例を示す。図１に示すように、本システムは、エッジコントローラ１００、エッジ装置２００、及びユーザ端末３００がネットワーク１に接続される構成を有する。エッジ装置２００は、例えば、ユーザの各拠点に備えられる。エッジ装置２００を、「仮想化基盤」、「仮想化基盤装置」、「通信装置」、「処理装置」、あるいは「サーバ」等と呼んでもよい。ユーザ端末３００は、エッジ装置２００上にアプリケーションを作成することを希望するユーザの端末である。
図１に、本実施の形態におけるシステムの全体構成例を示す。図１に示すように、本システムは、エッジコントローラ１００、エッジ装置２００、及びユーザ端末３００がネットワーク１に接続される構成を有する。エッジ装置２００は、例えば、ユーザの各拠点に備えられる。エッジ装置２００を、「仮想化基盤」、「仮想化基盤装置」、「通信装置」、「処理装置」、あるいは「サーバ」等と呼んでもよい。ユーザ端末３００は、エッジ装置２００上にアプリケーションを作成することを希望するユーザの端末である。
【0022】
エッジコントローラ１００は、１つ以上のエッジ装置２００の管理及び制御を実行する装置である。エッジコントローラ１００を制御装置と呼んでもよい。エッジ装置２００は、エッジコントローラ１００とネットワーク１を介して通信する。エッジ装置２００は、ソフトウェア（プログラム）を動作させることができるコンピュータである。
【0023】
また、エッジコントローラ１００、エッジ装置２００、及びユーザ端末３００はいずれも、通信機能を持つコンピュータである。以下では、適宜、エッジコントローラ１００及びエッジ装置２００の機能構成を図示するが、その機能構成は、本発明に係る技術に特に関連する機能の構成を示している。
【0024】
以下、エッジコントローラ１００、及びエッジ装置２００を有するシステムの構成と動作を詳細に説明する。以下では、第１実施形態～第３実施形態を説明する。第１実施形態が最も基本的な例であり、第２実施形態～第３実施形態については、第１実施形態と異なる点を主に説明する。なお、第１実施形態～第３実施形態は、任意に組み合わせて実施することが可能である。
【0025】
【0026】
管理部１１０は、エッジ装置２００の管理等を行う。記憶部１１０には、アプリケーションテンプレート等、処理に使用する各種の情報等が格納される。指示部１３０は、エッジ装置２００に対し各種の指示を行う。
【0027】
エッジ装置２００は、ハイパーバイザ２１０、仮想マシン２２０、クラスタ２３０を有する。以降、仮想マシンをＶＭと呼ぶ。ハイパーバイザ２１０は制御部２１１を有する。ＶＭ２２０はアプリケーション２２１を有する。クラスタ２３０は、制御部２３１とＰｏｄ２３２を有する。Ｐｏｄ２３２はアプリケーション２３３（コンテナで動作するアプリケーション）を有する。クラスタ２３０は物理マシンで実現してもよいしＶＭで実現してもよいが、本実施の形態ではＶＭで実現する。
【0028】
なお、Ｐｏｄは、コンテナを管理するための最小単位であり、１つ又は複数のコンテナを含む。Ｐｏｄはノード上で動作する。クラスタは１つ又は複数のノードを有する。ハイパーバイザは、仮想マシンを作成及び実行する機能部（ソフトウェア）である。
【0029】
各実施形態における各図において、（ｎｅｗ）と記載されている機能部は、その実施形態における動作により新たにデプロイ（作成）される機能部である。
【0030】
図３のフローチャートの手順に沿って、上記構成を備えるシステムの動作例を説明する。
【0031】
＜Ｓ１０１：作成種別判断＞
Ｓ１０１において、エッジコントローラ１００の管理部１１０は、作成するアプリケーションの登録情報（アプリケーション管理表）に基づいて、当該アプリケーションをＶＭで作成するかコンテナで作成するかを判断する。以下、具体例を説明する。
Ｓ１０１において、エッジコントローラ１００の管理部１１０は、作成するアプリケーションの登録情報（アプリケーション管理表）に基づいて、当該アプリケーションをＶＭで作成するかコンテナで作成するかを判断する。以下、具体例を説明する。
【0032】
記憶部１２０には、図４に示すようなアプリケーション管理表が格納されているものとする。ユーザが、ユーザ端末３００からデプロイ（作成）したいアプリケーションを選択（又は入力）すると、ユーザ端末３００から、選択されたプリケーションが管理部１１０に通知される。
【0033】
管理部１１０は、アプリケーション管理表に基づいて、当該アプリケーションをＶＭで作成するか、コンテナで（つまりＰｏｄ上）で作成するか判断する。アプリケーション管理表が図４に示すものである場合において、ユーザがＡＰ２を選択したとすると、管理部１１０は、ＡＰ２をコンテナで作成すると判断する。
【0034】
もしも、ユーザが選択したアプリケーションが、ＶＭとＰｏｄのどちらでも作成可能である場合、例えば、管理部１１０は、ＶＭとＰｏｄのうちのどちらかを選択させる選択画面をユーザ端末３００に表示し、ユーザにＶＭとＰｏｄのうちのどちらかを選択させる。管理部１１０は、ユーザに選択されたほう（ＶＭ又はＰｏｄ）でアプリケーションを作成することを決定する。
【0035】
＜Ｓ１０２：構成情報データの事前準備＞
Ｓ１０２において、管理部１１０は、作成するアプリケーションの構成情報データの事前準備を行う。具体的には下記のとおりである。
Ｓ１０２において、管理部１１０は、作成するアプリケーションの構成情報データの事前準備を行う。具体的には下記のとおりである。
【0036】
記憶部１２０は、アプリケーション毎にアプリケーションテンプレートを保持している。ＶＭとＰｏｄのどちらでも作成可能なアプリケーションについては、ＶＭとＰｏｄのそれぞれについてのアプリケーションテンプレートを保持している。図５に、アプリケーションテンプレートの例を示す。このアプリケーションテンプレートの変数（{{application name}}など）の部分に値を代入することでアプリケーションの定義ファイルを得ることができる。
【0037】
Ｓ１０２では、上記の値である構成情報データを取得する。例えば、作成するアプリケーションとして、「ＡＰ１ ｏｎ Ｐｏｄ」が選択されとすると、管理部１１０は、「ＡＰ１ ｏｎ Ｐｏｄ」に対応する入力項目（変数の名称）をユーザ端末３００に送信する。
【0038】
ユーザ端末３００上には、「ＡＰ１ ｏｎ Ｐｏｄ」に対応する入力項目が、例えばウィザード形式のＧＵＩで表示され、ユーザはＧＵＩに従って情報を入力する。入力した情報はユーザ端末３００から管理部１１０に送信され、管理部１１０によりその情報が構成情報データとして記憶部１２０に格納される。図６に、「ＡＰ１ ｏｎ Ｐｏｄ」に対応する構成情報データの例を示す。
【0039】
＜Ｓ１０３：定義ファイル生成＞
Ｓ１０３において、管理部１１０は、作成するアプリケーションの定義ファイルを生成する。具体的には下記のとおりである。
Ｓ１０３において、管理部１１０は、作成するアプリケーションの定義ファイルを生成する。具体的には下記のとおりである。
【0040】
管理部１１０は、構成情報データを記憶部１２０から読み出し、アプリケーションテンプレートの対応する変数に値を代入することにより、アプリケーションの定義ファイルを生成する。図７に、生成された定義ファイルの例を示す。
【0041】
＜Ｓ１０４：アプリケーション作成＞
Ｓ１０４において、指示部１３０により、定義ファイルからアプリケーションを作成（デプロイ）する。記憶部１２０には、定義ファイルの送信先を示すエッジ装置管理表が格納されている。図８にエッジ装置管理表の例を示す。
Ｓ１０４において、指示部１３０により、定義ファイルからアプリケーションを作成（デプロイ）する。記憶部１２０には、定義ファイルの送信先を示すエッジ装置管理表が格納されている。図８にエッジ装置管理表の例を示す。
【0042】
アプリーションをＶＭで作成する場合、エッジコントローラ１００の指示部１３０はエッジ装置管理表を参照して、ハイパーバイザ２１０の制御部２１１へ定義ファイルを送信する。制御部２１１は、その定義ファイルに従って、ＶＭ２２０及びアプリケーション２２１を作成する。
【0043】
アプリーションをＰｏｄで作成する場合、エッジコントローラ１００の指示部１３０はエッジ装置管理表を参照して、クラスタ２３０の制御部２３１へ定義ファイルを送信する。制御部２３１は、その定義ファイルに従って、Ｐｏｄ２３２及びアプリケーション２３３を作成する。
【0044】
（第２実施形態）
次に、第２実施形態について説明する。以下では、第１実施形態と異なる点を主に説明する。
次に、第２実施形態について説明する。以下では、第１実施形態と異なる点を主に説明する。
【0045】
図９に第２実施形態におけるシステム構成例を示す。図９に示すように、エッジコントローラ１００は、管理部１１０、記憶部１２０、指示部１３０、及び登録用ファイル発行部１４０を有する。登録用ファイル発行部１４０は、登録用のＩＳＯファイルを発行する。ＩＳＯファイルをイメージファイル等と呼んでもよい。
【0046】
【0047】
＜Ｓ２０１～Ｓ２０３＞
Ｓ２０１～Ｓ２０３は、第１実施形態のＳ１０１～Ｓ１０３と同じである。ここでは、Ｓ２０１～Ｓ２０３において、Ｐｏｄ上でアプリケーションを作成すると判断されたとする。
Ｓ２０１～Ｓ２０３は、第１実施形態のＳ１０１～Ｓ１０３と同じである。ここでは、Ｓ２０１～Ｓ２０３において、Ｐｏｄ上でアプリケーションを作成すると判断されたとする。
【0048】
＜Ｓ２０４：判断＞
Ｓ２０４において、エッジコントローラ１００の管理部１１０は、エッジ装置２００におけるクラスタの有無を判断するとともに、クラスタのノード構成（例：１ノードｏｒ３ノード）を判断する。具体的には下記のとおりである。
Ｓ２０４において、エッジコントローラ１００の管理部１１０は、エッジ装置２００におけるクラスタの有無を判断するとともに、クラスタのノード構成（例：１ノードｏｒ３ノード）を判断する。具体的には下記のとおりである。
【0049】
記憶部１２０には、現在使用可能なクラスタの情報が格納されている。管理部１１０は、当該情報を参照することにより、使用可能なクラスタの有無を判断する。ここでは、使用可能なクラスタが無いと判断されたとする。以降、クラスタ作成のための処理を実行する。
【0050】
管理部１１０は、作成しようとしているアプリケーションの定義ファイルのレプリカ数に基づいて、ノード数を判断する。例えば、レプリカ数と同じ数のノードを作成すると判断する。ただし、判断材料はレプリカ数に限らない。例えば、ＣＰＵ数あるいはメモリ容量に基づいてノード数を判断してもよい。
【0051】
例えば、構成情報データが図６に示すとおりのものである場合、レプリカ数が１であるため、管理部１１０は、１ノードでクラスタを作成すると判断する。
【0052】
＜Ｓ２０５：ノード登録用のＩＳＯファイル作成＞
Ｓ２０５において、まず、登録用ファイル発行部１４０が、作成するクラスタの情報（クラスタ情報と呼ぶ）を生成する。クラスタ情報の例を図１１に示す。なお、クラスタ情報については、ユーザがユーザ端末３００から入力（又は選択）することとしてもよい。ユーザ端末３００から入力されたクラスタ情報は、登録用ファイル発行部１４０に送信される。また、記憶部１２０に予めクラスタ情報を記憶しておき、登録用ファイル発行部１４０が、それを読み出すこととしてもよい。
Ｓ２０５において、まず、登録用ファイル発行部１４０が、作成するクラスタの情報（クラスタ情報と呼ぶ）を生成する。クラスタ情報の例を図１１に示す。なお、クラスタ情報については、ユーザがユーザ端末３００から入力（又は選択）することとしてもよい。ユーザ端末３００から入力されたクラスタ情報は、登録用ファイル発行部１４０に送信される。また、記憶部１２０に予めクラスタ情報を記憶しておき、登録用ファイル発行部１４０が、それを読み出すこととしてもよい。
【0053】
続いて、登録用ファイル発行部１４０は、クラスタ情報に基づいて登録用ＩＳＯファイルを発行し、それを管理部１１０に送信する。管理部１１０は、登録用ＩＳＯファイルを記憶部１２０に保管する。
【0054】
＜Ｓ２０６：ノード用ＶＭ作成＞
Ｓ２０６において、指示部１３０は、ハイパーバイザ２１０の制御部２１１に対して、Ｓ２０４で判断されたノード数分のＶＭを作成するよう指示する。制御部２１１は、クラスタのノード用のＶＭテンプレートを用いてＶＭを作成する。
Ｓ２０６において、指示部１３０は、ハイパーバイザ２１０の制御部２１１に対して、Ｓ２０４で判断されたノード数分のＶＭを作成するよう指示する。制御部２１１は、クラスタのノード用のＶＭテンプレートを用いてＶＭを作成する。
【0055】
当該ＶＭテンプレートについては、指示部１３０から制御部２１１に送信してもよいし、制御部２１１が予め保持していてもよい。図１２に、クラスタのノード用のＶＭテンプレートの例を示す。例えば、「ＡＰ１ ｏｎ Ｐｏｄ」を選択し、レプリカ数を１と設定した場合、図１２で示したＶＭが１つ作成される。
【0056】
＜Ｓ２０７：ＶＭへのクラスタインストール＞
Ｓ２０７において、指示部１３０は、Ｓ２０６で作成されたＶＭ２３５へクラスタ２３０をインストールする。具体的には、クラスタ２３０を構成するコンテナランタイム、ＣＮＩ（Container Network Interface）等がＶＭ２３５にインストールされる。
Ｓ２０７において、指示部１３０は、Ｓ２０６で作成されたＶＭ２３５へクラスタ２３０をインストールする。具体的には、クラスタ２３０を構成するコンテナランタイム、ＣＮＩ（Container Network Interface）等がＶＭ２３５にインストールされる。
【0057】
＜Ｓ２０８：アプリケーションの作成＞
Ｓ２０８は、第１実施形態のＳ１０４と同じであり、指示部１３０から制御部２３１へ指示することで、定義ファイルに基づきアプリケーション２３３が作成される。
Ｓ２０８は、第１実施形態のＳ１０４と同じであり、指示部１３０から制御部２３１へ指示することで、定義ファイルに基づきアプリケーション２３３が作成される。
【0058】
（第３実施形態）
次に、第３実施形態について説明する。以下では、第１実施形態及び第２実施形態と異なる点を主に説明する。
次に、第３実施形態について説明する。以下では、第１実施形態及び第２実施形態と異なる点を主に説明する。
【0059】
【0060】
第３実施形態では、図１３示すエッジ装置２００におけるノード２３５（ワーカーノード）を新規に作成する。なお、既にあるノード２３７は、マスターノードである。
【0061】
＜Ｓ３０１～Ｓ３０３＞
Ｓ３０１～Ｓ３０３は、第１実施形態のＳ１０１～Ｓ１０３と同じである。ここでは、Ｓ３０１～Ｓ３０３において、Ｐｏｄでアプリケーションを作成すると判断されたとする。
Ｓ３０１～Ｓ３０３は、第１実施形態のＳ１０１～Ｓ１０３と同じである。ここでは、Ｓ３０１～Ｓ３０３において、Ｐｏｄでアプリケーションを作成すると判断されたとする。
【0062】
＜Ｓ３０４：スペック確認・ノード追加判断＞
記憶部１２０には、エッジ装置２００で使用可能なクラスタのスペック情報（クラスタ管理表と呼ぶ）が格納されている。このスペック情報には、機能（メモリ等）のリソース量（上限容量等）に加えて、機能についての現時点で利用可能なリソース量（残スペックと呼んでもよい）も含まれる。
記憶部１２０には、エッジ装置２００で使用可能なクラスタのスペック情報（クラスタ管理表と呼ぶ）が格納されている。このスペック情報には、機能（メモリ等）のリソース量（上限容量等）に加えて、機能についての現時点で利用可能なリソース量（残スペックと呼んでもよい）も含まれる。
【0063】
Ｓ３０４において、管理部１１０は、クラスタ管理表を参照し、利用可能なリソース量に基づいて、作成しようとしているアプリケーションが、現在のクラスタ上に作成可能か否かを判断し、作成不可であると判断した場合（つまり、クラスタのスペックが不足している場合）に、ＶＭ作成をして、それをワーカーノードとしてクラスタに追加する判断を行う。なお、この判断はユーザが行ってもよい。
【0064】
図１５に、クラスタ管理表の例を示す。例えば、ＡＰ１ ｏｎ Ｐｏｄを選択し、図６に示す構成情報データを得たとする。この場合、ＣＰＵ数は２であるが、図１５のクラスタ管理表に示すとおり、現状のクラスタにおける使用可能ＣＰＵ数が１となっているため、現状のクラスタにはＰｏｄを生成することができない。そのため、ワーカーノード１台を追加するフローに移行する。
【0065】
＜Ｓ３０５：ノード登録用のＩＳＯファイルの生成・確認＞
Ｓ３０５において、登録用ファイル発行部１４０は、クラスタ２３０の新規作成時に生成された登録用ＩＳＯファイルを記憶部１２０から取得する。もしくは、登録用ファイル発行部１４０は、新しく登録用ＩＳＯファイルを生成する。
Ｓ３０５において、登録用ファイル発行部１４０は、クラスタ２３０の新規作成時に生成された登録用ＩＳＯファイルを記憶部１２０から取得する。もしくは、登録用ファイル発行部１４０は、新しく登録用ＩＳＯファイルを生成する。
【0066】
＜Ｓ３０６：ノード用ＶＭ作成＞
Ｓ３０６において、指示部１３０は、ハイパーバイザ２１０の制御部２１１に対して、ＶＭを作成するよう指示する。ここでは１つのＶＭを作成するものとする。第２実施形態と同様に、制御部２１１は、クラスタのノード用のＶＭテンプレートを用いてＶＭ２３５を作成する。
Ｓ３０６において、指示部１３０は、ハイパーバイザ２１０の制御部２１１に対して、ＶＭを作成するよう指示する。ここでは１つのＶＭを作成するものとする。第２実施形態と同様に、制御部２１１は、クラスタのノード用のＶＭテンプレートを用いてＶＭ２３５を作成する。
【0067】
＜Ｓ３０７：クラスタインストール＞
Ｓ３０７において、指示部１３０は、制御部２３１に指示することにより、Ｓ３０６で作成されたＶＭ２３５へクラスタをインストールする。具体的には、クラスタを構成するコンテナランタイム、ＣＮＩ（Ｃｏｎｔａｉｎｅｒ Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ）等がＶＭ２３５にインストールされる。Ｓ３０６とＳ３０７により、クラスタ２３０へワーカーノード２３５が追加される。図１３では、図示の便宜上、クラスタ２３０の外側にノード２３５が存在するが、Ｓ３０７のクラスタインストールにより、クラスタ２３０内にノード２３５が含まれるようになる。
Ｓ３０７において、指示部１３０は、制御部２３１に指示することにより、Ｓ３０６で作成されたＶＭ２３５へクラスタをインストールする。具体的には、クラスタを構成するコンテナランタイム、ＣＮＩ（Ｃｏｎｔａｉｎｅｒ Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ）等がＶＭ２３５にインストールされる。Ｓ３０６とＳ３０７により、クラスタ２３０へワーカーノード２３５が追加される。図１３では、図示の便宜上、クラスタ２３０の外側にノード２３５が存在するが、Ｓ３０７のクラスタインストールにより、クラスタ２３０内にノード２３５が含まれるようになる。
【0068】
エッジコントローラ１００の記憶部１２０には、クラスタ構成管理表が格納されている。Ｓ３０７では、クラスタ２３０へのワーカーノード２３５の追加に伴って、管理部１１０がクラスタ構成管理表を更新する。
【0069】
【0070】
＜Ｓ３０８：アプリケーションの作成＞
Ｓ３０８は基本的に第１実施形態のＳ１０４と同じである。ここでは、指示部１３０から制御部２３６へ指示することで、定義ファイルに基づきＰｏｄ２３２及びアプリケーション２３３が作成される。
Ｓ３０８は基本的に第１実施形態のＳ１０４と同じである。ここでは、指示部１３０から制御部２３６へ指示することで、定義ファイルに基づきＰｏｄ２３２及びアプリケーション２３３が作成される。
【0071】
（ハードウェア構成例）
エッジコントローラ１００、及びエッジ装置２００はいずれも、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、仮想マシンであってもよい。以下、エッジコントローラ１００、エッジ装置２００を総称して「装置」と呼ぶ。
エッジコントローラ１００、及びエッジ装置２００はいずれも、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、仮想マシンであってもよい。以下、エッジコントローラ１００、エッジ装置２００を総称して「装置」と呼ぶ。
【0072】
すなわち、当該装置は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
【0073】
図１７は、上記コンピュータのハードウェア構成例を示す図である。図１７のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。
【0074】
当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【0075】
メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。
【0076】
インタフェース装置１００５は、ネットワーク等に接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。なお、当該装置において、表示装置１００６、入力装置１００７、出力装置１００８のいずれか又は全部を備えないこととしてもよい。
【0077】
（実施の形態の効果）
本実施の形態に係る技術により、仮想化基盤装置の構築を容易に行うことが可能となる。具体的には下記のとおりである。
本実施の形態に係る技術により、仮想化基盤装置の構築を容易に行うことが可能となる。具体的には下記のとおりである。
【0078】
本実施の形態では、ＶＭ及びコンテナを１つのエッジコントローラ上で統合して管理する。これにより、ＶＮＦ／ＣＮＦ基盤の共存環境を容易に構築できるので、ＣＮＦ基盤発展へつなげることができる。また、アプリケーションの定義ファイルの自動生成やクラスタ新規自動作成／追加を実現できるので、ＶＭとコンテナの記述方式の違いを意識することなく構築に専念できる。これにより、アプリケーション開発を加速化させ、柔軟性、スケーラビリティ、及び可搬性の向上を実現できる。
【0079】
（付記）
本明細書には、少なくとも下記各項の制御装置、制御方法、及びプログラムが開示されている。
（付記項１）
仮想化基盤装置と制御装置とを備えるシステムにおける前記制御装置であって、
アプリケーションを仮想マシンで作成するかコンテナで作成するかを判断する管理部と、
前記管理部による判断に基づいて、前記仮想化基盤装置に対し、仮想マシン又はコンテナで前記アプリケーションを作成することを指示する指示部と
を備える制御装置。
（付記項２）
前記管理部は、各アプリケーションの対応環境を記述したアプリケーション管理表を参照することにより、前記判断を行う
付記項１に記載の制御装置。
（付記項３）
前記管理部は、ユーザからの入力に基づいて前記アプリケーションの構成情報データを取得し、前記構成情報データとテンプレートを用いて定義ファイルを作成し、
前記指示部は、前記定義ファイルを前記仮想化基盤装置に送信する
付記項１又は２に記載の制御装置。
（付記項４）
前記指示部は、
前記アプリケーションを仮想マシンで作成する場合には、前記定義ファイルを前記仮想化基盤装置におけるハイパーバイザに送信し、
前記アプリケーションをコンテナで作成する場合には、前記定義ファイルを前記仮想化基盤装置におけるクラスタに送信する
付記項３に記載の制御装置。
（付記項５）
前記アプリケーションをコンテナで作成する場合において、
前記管理部は、前記仮想化基盤装置において使用可能なクラスタが無いと判断した場合に、前記構成情報データに基づいて、クラスタのノード構成を決定し、前記指示部が、前記仮想化基盤装置に対してクラスタの作成を指示する
付記項３又は４に記載の制御装置。
（付記項６）
前記アプリケーションをコンテナで作成する場合において、
前記管理部は、前記仮想化基盤装置におけるクラスタの利用可能リソース量に基づいて、当該クラスタにおいて前記アプリケーションを作成できるか否かを判断し、作成できないと判断した場合に、当該クラスタにノードを追加することを決定し、前記指示部が、前記仮想化基盤装置に対して前記ノードを追加する処理を実行する
付記項１ないし５のうちいずれか１項に記載の制御装置。
（付記項７）
仮想化基盤装置と制御装置とを備えるシステムにおける前記制御装置が実行する制御方法であって、
アプリケーションを仮想マシンで作成するかコンテナで作成するかを判断するステップと、
前記判断に基づいて、前記仮想化基盤装置に対し、仮想マシン又はコンテナで前記アプリケーションを作成することを指示するステップと
を備える制御方法。
（付記項８）
コンピュータを、付記項１ないし６のうちいずれか１項に記載の制御装置における各部として機能させるためのプログラム。
本明細書には、少なくとも下記各項の制御装置、制御方法、及びプログラムが開示されている。
（付記項１）
仮想化基盤装置と制御装置とを備えるシステムにおける前記制御装置であって、
アプリケーションを仮想マシンで作成するかコンテナで作成するかを判断する管理部と、
前記管理部による判断に基づいて、前記仮想化基盤装置に対し、仮想マシン又はコンテナで前記アプリケーションを作成することを指示する指示部と
を備える制御装置。
（付記項２）
前記管理部は、各アプリケーションの対応環境を記述したアプリケーション管理表を参照することにより、前記判断を行う
付記項１に記載の制御装置。
（付記項３）
前記管理部は、ユーザからの入力に基づいて前記アプリケーションの構成情報データを取得し、前記構成情報データとテンプレートを用いて定義ファイルを作成し、
前記指示部は、前記定義ファイルを前記仮想化基盤装置に送信する
付記項１又は２に記載の制御装置。
（付記項４）
前記指示部は、
前記アプリケーションを仮想マシンで作成する場合には、前記定義ファイルを前記仮想化基盤装置におけるハイパーバイザに送信し、
前記アプリケーションをコンテナで作成する場合には、前記定義ファイルを前記仮想化基盤装置におけるクラスタに送信する
付記項３に記載の制御装置。
（付記項５）
前記アプリケーションをコンテナで作成する場合において、
前記管理部は、前記仮想化基盤装置において使用可能なクラスタが無いと判断した場合に、前記構成情報データに基づいて、クラスタのノード構成を決定し、前記指示部が、前記仮想化基盤装置に対してクラスタの作成を指示する
付記項３又は４に記載の制御装置。
（付記項６）
前記アプリケーションをコンテナで作成する場合において、
前記管理部は、前記仮想化基盤装置におけるクラスタの利用可能リソース量に基づいて、当該クラスタにおいて前記アプリケーションを作成できるか否かを判断し、作成できないと判断した場合に、当該クラスタにノードを追加することを決定し、前記指示部が、前記仮想化基盤装置に対して前記ノードを追加する処理を実行する
付記項１ないし５のうちいずれか１項に記載の制御装置。
（付記項７）
仮想化基盤装置と制御装置とを備えるシステムにおける前記制御装置が実行する制御方法であって、
アプリケーションを仮想マシンで作成するかコンテナで作成するかを判断するステップと、
前記判断に基づいて、前記仮想化基盤装置に対し、仮想マシン又はコンテナで前記アプリケーションを作成することを指示するステップと
を備える制御方法。
（付記項８）
コンピュータを、付記項１ないし６のうちいずれか１項に記載の制御装置における各部として機能させるためのプログラム。
【0080】
以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0081】
１ ネットワーク
１００ エッジコントローラ
１１０ 管理部
１２０ 記憶部
１３０ 指示部
１４０ 登録用ファイル発行部
２００ エッジ装置
２１０ ハイパーバイザ
２１１、２３１、２３６ 制御部
２２０ ＶＭ
２２１ アプリケーション
２３０ クラスタ
２３２ Ｐｏｄ
２３３ アプリケーション
２３５、２３７ ノード
３００ ユーザ端末
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置
１００ エッジコントローラ
１１０ 管理部
１２０ 記憶部
１３０ 指示部
１４０ 登録用ファイル発行部
２００ エッジ装置
２１０ ハイパーバイザ
２１１、２３１、２３６ 制御部
２２０ ＶＭ
２２１ アプリケーション
２３０ クラスタ
２３２ Ｐｏｄ
２３３ アプリケーション
２３５、２３７ ノード
３００ ユーザ端末
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】