特許 7276838 システム、システムの制御方法、システムの制御に用いるコンピュータプログラム、及び、その記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-10

(45)【発行日】2023-05-18

(54)【発明の名称】システム、システムの制御方法、システムの制御に用いるコンピュータプログラム、及び、その記録媒体

(51)【国際特許分類】

   G06F 9/50 20060101AFI20230511BHJP

【ＦＩ】

G06F9/50 150D

【請求項の数】 12

(21)【出願番号】P 2019123695

(22)【出願日】2019-07-02

(65)【公開番号】P2021009604

(43)【公開日】2021-01-28

【審査請求日】2022-06-30

【早期審査対象出願】

(73)【特許権者】

【識別番号】319000436

【氏名又は名称】ラトナ株式会社

(74)【代理人】

【識別番号】100185878

【弁理士】

【氏名又は名称】植田 晋一

(72)【発明者】

【氏名】高橋 智

(72)【発明者】

【氏名】ソバージュ アントワン

(72)【発明者】

【氏名】垣内 洋祐

【審査官】漆原 孝治

(56)【参考文献】

【文献】国際公開第２０１７／１６８９９９（ＷＯ，Ａ１）

【文献】特開２００６－０１８６００（ＪＰ，Ａ）

【文献】特表２０１４－５２４０９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ９／５０

(57)【特許請求の範囲】

【請求項1】

オーケストレーション技術により論理的に割り当てたハードウェアリソースを用いてコンテナを動作させる複数の端末を階層的に接続し通信可能に構成して成り、前記オーケストレーション技術により前記複数の端末にまたがって生成されるコンテナの実行環境の管理が可能なシステムであって、
前記複数の端末のうちの一の端末である親端末は、
前記親端末より下位に配置されて接続された子端末の処理状態を監視し、コンテナにより実現される、処理状態監視部と、
前記子端末上の処理状態が所定の条件を満たす場合に、前記子端末において行われるべき処理の一部又は全体を前記親端末において代替的に実行し、コンテナにより実現される、代替実行処理部と、を備える、システム。

【請求項2】

前記処理状態監視部は、
前記子端末の処理負荷状態を監視する負荷状態監視部を備え、
前記所定の条件は、前記子端末の処理負荷が所定の閾値を超えることである、請求項１に記載のシステム。

【請求項3】

前記処理負荷状態は、前記子端末のハードウェアの稼働率である、請求項２に記載のシステム。

【請求項4】

前記子端末は、さらに、
前記親端末により代替的な処理が実行される場合には、代替実行された処理に関連するコンテナの動作を制御するコンテナ制御部を備える、請求項１に記載のシステム。

【請求項5】

前記子端末は、さらに、
前記親端末による代替的な処理に必要なデータを前記親端末へと送信するデータ送信部を備える、請求項１に記載のシステム。

【請求項6】

前記親端末は、さらに、
前記子端末にて行われるべき処理を前記親端末により代替的に実行することの可否に関する情報を保持する情報保持部を備える、請求項１に記載のシステム。

【請求項7】

前記子端末は、さらに、センサを備え、
前記子端末は、
前記センサから取得される情報を処理するセンサ情報処理部を備える、請求項１に記載のシステム。

【請求項8】

前記子端末は、さらに、作業機器を備え、
前記子端末は、
前記作業機器を制御する作業機器制御部を備える、請求項１に記載のシステム。

【請求項9】

前記親端末は、さらに、第１の基地局を備え、
前記子端末は、さらに、第２の基地局を備え、
前記親端末と前記子端末の間の通信は、前記第１の基地局と前記第２の基地局を介して行われる、請求項１に記載のシステム。

【請求項10】

オーケストレーション技術により論理的に割り当てたハードウェアリソースを用いてコンテナを動作させる複数の端末を階層的に接続し通信可能に構成して成り、前記オーケストレーション技術により前記複数の端末にまたがって生成されるコンテナの実行環境の管理が可能なシステムの制御方法であって、
前記複数の端末のうちの一の端末である親端末は、
前記親端末より下位に配置されて接続された子端末の処理状態を監視する、処理状態監視ステップと、
前記子端末上の処理状態が所定の条件を満たす場合に、前記子端末において行われるべき処理の一部又は全体を前記親端末において代替的に実行する、代替実行処理ステップと、を実行し、
前記処理状態監視ステップ及び前記代替実行処理ステップを実行するアプリケーションは、前記コンテナにより実現される、システムの制御方法。

【請求項11】

オーケストレーション技術により論理的に割り当てたハードウェアリソースを用いてコンテナを動作させる複数の端末を階層的に接続し通信可能に構成して成り、前記オーケストレーション技術により前記複数の端末にまたがって生成されるコンテナの実行環境の管理が可能なシステムの制御に用いられるコンピュータプログラムであって、
前記複数の端末のうちの一の端末である親端末に、
前記親端末より下位に配置されて接続された子端末の処理状態を監視する、処理状態監視ステップと、
前記子端末上の処理状態が所定の条件を満たす場合に、前記子端末において行われるべき処理の一部又は全体を前記親端末において代替的に実行する、代替実行処理ステップと、を実行させ、
前記処理状態監視ステップ及び前記代替実行処理ステップを実行するアプリケーションは、前記コンテナにより実現される、コンピュータプログラム。

【請求項12】

オーケストレーション技術により論理的に割り当てたハードウェアリソースを用いてコンテナを動作させる複数の端末を階層的に接続し通信可能に構成して成り、前記オーケストレーション技術により前記複数の端末にまたがって生成されるコンテナの実行環境の管理が可能なシステムの制御に用いられるコンピュータプログラムを格納した記録媒体であって、
前記複数の端末のうちの一の端末である親端末に、
前記親端末より下位に配置されて接続された子端末の処理状態を監視する、処理状態監視ステップと、
前記子端末上の処理状態が所定の条件を満たす場合に、前記子端末において行われるべき処理の一部又は全体を前記親端末において代替的に実行する、代替実行処理ステップと、を実行させ、
前記処理状態監視ステップ及び前記代替実行処理ステップを実行するアプリケーションは、前記コンテナにより実現される、コンピュータプログラムを格納した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンテナオーケストレーション技術を利用したエッジシステム、エッジシステムの制御方法、エッジシステムの制御に用いるコンピュータプログラム、及び、その記録媒体に関する。

【背景技術】

【0002】

工場や建設現場等のローカル環境において、所定の作業を行う作業機器に関連する情報をセンサにより取得し、取得されたセンサ情報の監視や、センサ情報に基づいた作業機器の制御を、ネットワーク側、すなわちクラウドから行うシステムが知られている。しかしながら、この種のシステムにおいて作業機器やセンサの数が多数となると、センサ情報のデータ量や処理負荷の増大に伴い、ネットワーク負荷の増大、処理時間の遅延の問題が生じる。また、情報セキュリティ等の懸念も存在する。そこで、センサ情報の処理をネットワークの末端（エッジ）であるローカル環境、例えば、工場内などにおいて行うエッジシステムが検討されている。

【0003】

一方、ローカル環境においてセンサ情報の取得や解析などを行う技術が近年注目されており、エッジコンピューティング又はＭＥＣ（Mobile Edge Computing）等と呼ばれている。このとき、ローカル環境に配置される機器は、エッジ端末又はＭＥＣ等と呼ばれる場合がある。ところで、エッジ端末において、多数の機能を実現しようとすると、ホストＰＣにインストールされたＯＳ（オペレーションシステム）上において、複数のアプリケーションを動作させることとなる。しかしながら、複数のアプリケーションを同時に動作させる場合には、ＯＳにおけるシステムリソースをアプリケーション間で共有する必要があるため、ＯＳ毎にアプリケーションの設計を変更しなければならず、開発負担が大きい。

【0004】

そこで、エッジ端末のＯＳ上で論理的な区間を作り、その区画内で、アプリケーション本体に加えてアプリケーションの動作に必要な環境をまとめたコンテナアプリケーションを展開（デプロイ）する技術が知られている。この技術によれば、ＯＳ上のリソースを論理的に分離して複数のコンテナに使用させることができる。そのため、アプリケーションの設計のＯＳ依存性が低減し、システム開発の負担を軽減することができる。このようなコンテナ技術は、ＯＳ上にインストールされるコンテナ管理ソフトによって実現される。コンテナ管理ソフトの一例として、Ｄｏｃｋｅｒなどがあげられる（例として、特許文献１）。

【0005】

近年、コンテナ技術の進化や、システムの冗長化の要望に伴って、ネットワーク接続、記憶領域、及び、ホストＰＣの設定が複雑化しており、複数のコンテナアプリケーションをスケジューリングする必要性が高まっている。そこで、これらの設定を自動的に行いコンテナアプリケーションの管理を統合的に行うオーケストレーションツールの開発が進められている。

【0006】

オーケストレーションツールが用いられることにより、複数のコンテナアプリケーションのデプロイ、実行、管理及びスケジューリングなどを容易に行うことができるため、さらにシステム開発の負担が軽減されている。コンテナオーケストレーションツールとしては、Ｋｕｂｅｒｎｅｔｅｓ、Ａｐａｃｈｅ Ｍｅｓｏｓなどが知られる。

【先行技術文献】

【特許文献】

【0007】

【文献】国際公開第２０１８／００３０２０号

【発明の概要】

【発明が解決しようとする課題】

【0008】

上述の技術的背景の下、工場内等の所定のローカル環境において、作業機器の操作やセンサ情報の解析などのため、複数のエッジ端末を用いてエッジシステムを構成することが検討されている。しかしながら、工場内等のローカル環境においては、コスト等の観点から、必ずしもセンサや作業機器のそれぞれに対して同程度の能力をもった端末を用いることができるとは限らない。その場合、システム全体としての効率性は低下する。

【0009】

また、この種のシステムに対しては、ハードウェア等への依存性の少ないコンテナオーケストレーション技術を用いることが有効と考えられるものの、そのアーキテクチャの設計論は未だ途上である。

【0010】

本発明は、上述の技術的背景に鑑みてなされたものであり、その目的とすることころは、様々な能力の端末により構成される場合であっても、高い処理効率を有するシステムを提供することにある。

【課題を解決するための手段】

【0011】

上述の課題は、以下の構成を有するシステム等により解決することができる。

【0012】

すなわち、本発明の一態様に係るシステムは、オーケストレーション技術により論理的に割り当てたハードウェアリソースを用いてコンテナを動作させる複数の端末を階層的に接続し通信可能に構成して成るシステムであって、前記複数の端末のうちの一の端末である親端末は、前記親端末より下位に配置されて接続された子端末の処理状態を監視する、処理状態監視部と、前記子端末上の処理状態が所定の条件を満たす場合に、前記子端末において行われるべき処理の一部又は全体を前記親端末において代替的に実行する、代替実行処理部と、を備えている。

【発明の効果】

【0013】

本発明の一態様によれば、端末間において処理状態の監視がなされ、所定の条件を満たす場合には処理が代替実行される。そのため、様々な能力の端末から成る場合であっても高い処理効率を有するシステムを提供することができる。

【図面の簡単な説明】

【0014】

【図1】図１は、第１実施形態に係るエッジシステムを備える監視システムの構成を示すブロック図である。

【図2】図２は、エッジシステムのブロック図である。

【図3】図３は、エッジシステムの機能を説明するためのブロック図である。

【図4】図４は、ＭＥＣのハードウェア構成図である。

【図5】図５は、ＭＥＣのソフトウェア構成図である。

【図6】図６は、オーケストレーションツールが用いられる場合のＭＥＣのソフトウェア構成図である。

【図7】図７は、クラスタの概略構成図である。

【図8】図８は、処理情報を示すテーブルである。

【図9】図９は、リソース管理処理を示すフローチャートである。

【図10】図１０は、代替実行先におけるポッドの代替実行処理を示すフローチャートである。

【図11】図１１は、代替実行元におけるポッドの代替実行処理を示すフローチャートである。

【図12】図１２は、第２実施形態のエッジシステムのブロック図である。

【図13】図１３は、エッジシステムの機能を説明するためのブロック図である。

【図14】図１４は、応用例である第１適用例のエッジシステムの概略構成図である。

【図15】図１５は、他の応用例である第２適用例のエッジシステムの概略構成図である。

【発明を実施するための形態】

【0015】

以下、図面を参照して、本発明の第１実施形態について説明する。

【0016】

（第１実施形態）
図１は、本発明の実施形態に係るエッジシステムを備える監視システムの構成を示すブロック図である。この図に示されるように、監視システム１００において、ローカル環境１１に設けられたエッジシステム１０は、ＷＡＮ（Wide Area Network）１３に接続され、ＷＡＮ１３を介してターミナル１４及び、イメージレジストリ１５と通信可能に構成されている。

【0017】

エッジシステム１０は、一例として、工場や建設現場などのローカル環境１１において、製造工程や建設工程などの監視をするとともに、これらの工程に用いられる作業機器を制御するシステムである。エッジシステム１０は、通信や制御などの複数の機能を実現する複合機１２により構成され、本実施形態においては、複合機１２Ａ～１２Ｄによって構成されている。また、エッジシステム１０は、無線通信又は有線通信によりＷＡＮ１３と接続される。なお、ＷＡＮ１３は、その一部または全部が移動体通信ネットワークにより構成されてもよい。

【0018】

後述のように、複合機１２Ａ～１２Ｄは、センサにより取得されたセンサ情報を処理するＭＥＣを有する。なお、ＭＥＣは、エッジ端末の一例であって、コンテナオーケストレーション技術を用いて制御されるコンテナにより、作業機器の制御やセンサ情報の収集などを行う。

【0019】

エッジシステム１０においては、親機である第１世代の第１複合機１２Ａに対して、子機となる第２世代の第２複合機１２Ｂ、及び、第３複合機１２Ｃが接続され、さらに、第２複合機１２Ｂには孫機である第３世代の第４複合機１２Ｄが接続されている。

【0020】

なお、本実施形態においては、親機、子機、及び、孫機の３世代の複合機１２によってエッジシステム１０が構成される例を説明するが、任意の世代数の複合機１２によってエッジシステム１０を構成してもよい。また、エッジシステム１０を構成する複合機１２の数も任意である。また、以下において、第１複合機１２Ａ、第２複合機１２Ｂ、第３複合機１２Ｃ、及び、第４複合機１２Ｄについて、構成を区別する必要がない場合には、これらを総称して複合機１２と称する。なお、他の構成についても同様であり、同じ構成が複数あり、それらの構成を区別する必要がない場合には、複数の構成を総称して添え字を省略して記載する。

【0021】

また、本実施形態においては、イメージレジストリ１５は、ＷＡＮ１３を介してネットワーク上に存在することとしたが、このような構成に限定されない。従って、イメージレジストリ１５は、ローカル環境１１であるエッジシステム１０内に設けられてもよく、例えば、ＭＥＣ内に配置されてもよい。

【0022】

ＷＡＮ１３には、ターミナル１４、及び、イメージレジストリ１５が接続される。エッジシステム１０、ターミナル１４、及び、イメージレジストリ１５は、ＷＡＮ１３を介して相互に通信できる。

【0023】

ターミナル１４は、ディスプレイ、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）、メモリ、ネットワークインターフェースなどを備える機器であり、ＷＡＮ１３を介してエッジシステム１０と接続され、エッジシステム１０から送信される監視結果を表示する。ターミナル１４は、例えば、パーソナルコンピュータ、スマートフォン、及び、タブレット端末などの表示部を備える情報端末である。

【0024】

イメージレジストリ１５は、一例としては汎用的なデータサーバである。後述のように、エッジシステム１０を構成する複合機１２の一部であるＭＥＣにおいては、コンテナオーケストレーション技術を用いてコンテナが実行されており、イメージレジストリ１５には、ＭＥＣにデプロイされるコンテナのイメージが記憶されている。

【0025】

イメージレジストリ１５に記憶されているコンテナのイメージは、ＷＡＮ１３、及び、移動体通信ネットワークを介してエッジシステム１０へと送信されて、複合機１２のＭＥＣにおいてデプロイされる。

【0026】

図２は、エッジシステム１０の詳細を示す図である。

【0027】

複合機１２Ａは、センサ情報の取得や管理を行うＭＥＣ２１Ａを有している。

【0028】

ＭＥＣ２１Ａは、ＣＰＵ及びＧＰＵ、メモリ、及び、ネットワークインターフェースなどを備える機器であり、記憶されたプログラムを実行可能に構成されている。ＭＥＣ２１Ａは、汎用的なコンピュータを用いて構成してもよいし、専用端末であってもよい。

【0029】

ＭＥＣ２１Ａには、ＯＳ（Operating System）上に、コンテナオーケストレーションを実現するミドルウェアがインストールされている。そして、ＭＥＣ２１Ａにおいては、所定の機能を実現するコンテナがデプロイされる。なお、ＭＥＣ２１Ａについては、後に、図４を用いてハードウェアの構成を、図５を用いてソフトウェアの構成を説明する。

【0030】

ＭＥＣ２１Ａは、主に、ローカル環境１１内の他の複合機１２Ｂ～１２Ｄが備える作業機器２２Ｂ～２２Ｄの制御情報や、センサ２３Ｂ～２３Ｄにより取得されるセンサ情報などについて監視や機械学習などを行う。ＭＥＣ２１Ａは、無線通信又は有線通信を介して、監視結果や機械学習により得られる学習済みモデルなどを、ターミナル１４へ送信する。また、後述のように、ＭＥＣ２１Ａは、他のＭＥＣ２１Ｂ～２１Ｄの間におけるリソースの分配を行う。

【0031】

複合機１２Ｂは、ＭＥＣ２１Ｂに加えて、作業機器２２Ｂ、及び、センサ２３Ｂを備える。作業機器２２Ｂは、ローカル環境１１内における製造工程や建設工程の１つまたは複数において用いられる機器であり、例えば、工場におけるロボットアームや建設現場におけるトラック等の中・大型機器から、半導体基板から成るディスプレイモジュール等の小型機器まで様々である。センサ２３Ｂは、作業機器２２Ｂに直接又は間接的に関連する情報を取得する機器であり、例えば、カメラや赤外線センサなどである。センサ２３Ｂは、取得したセンサ情報をＭＥＣ２１Ｂに出力する。

【0032】

ＭＥＣ２１Ｂは、主に、センサ２３Ｂにより取得されるセンサ情報、及び、作業機器２２Ｂの制御情報について解析及び機械学習を行う。ＭＥＣ２１Ｂは、さらに、自律的に、または、他のＭＥＣ２１やターミナル１４からの指示に応じて作業機器２２Ｂを制御してもよい。そして、ＭＥＣ２１Ｂは、センサ情報を用いた監視結果や機械学習の成果物である学習済みモデルなどを、第１複合機１２Ａへと送信する。

【0033】

複合機１２Ｃは、複合機１２Ｂと同様に、ＭＥＣ２１Ｃ、作業機器２２Ｃ、センサ２３Ｃを備え、ＭＥＣ２１Ｃにおいては、作業機器２２Ｃの制御やセンサ２３Ｃによるセンサ情報の取得などが行われる。なお、複合機１２Ｄも、複合機１２Ｂ、１２Ｃと同様に構成される。なお、複合機１２Ａ～１２Ｄにおいては、複合機１２だけでなく、ＭＥＣ２１Ａは第１世代の親機、ＭＥＣ２１Ｂ、２２Ｃは第２世代の子機、ＭＥＣ２１Ｄは第３世代の孫機に相当することになり、互いに連携して処理を行う。

【0034】

図３は、エッジシステム１０の機能を説明するためのブロック図である。

【0035】

この図に示されるように、エッジシステム１０は、点線で示されるローカル環境１１において、二点鎖線で示され、ＭＥＣ２１Ａ～２１Ｄにより構成される情報処理系統３１を備える。すなわち、情報処理系統３１においては、エッジシステム１０における具体的なセンサ情報や機械学習に関する学習済みモデルなどの情報処理が行われる。

【0036】

情報処理系統３１においては、第１世代のＭＥＣ２１Ａと、第２世代のＭＥＣ２１Ｂ、２１Ｃと、第３世代のＭＥＣ２１Ｄとが階層化されて構成される。各世代のＭＥＣ２１は、それぞれの世代間で協働した情報処理ができるように構成されるとともに、第２世代のＭＥＣ２１Ｂ、２１Ｃのような同世代のＭＥＣ２１間では相互に協働して情報処理ができるよう可能に構成される。

【0037】

ＭＥＣ２１Ａ～２１Ｄは、基本的なハードウェア構成は同じであるが、同一である必要はなく、処理能力や記憶容量などは異なってもよい。本実施形態においては、ＭＥＣ２１Ａは、情報処理能力が高く、記憶容量が大きいものが選択され、ＭＥＣ２１Ｂ、２１Ｃは、情報処理能力及び記憶容量が中型のものが選択され、ＭＥＣ２１Ｄは、情報処理能力及び記憶容量が小型のものが選択される。

【0038】

図４は、ＭＥＣ２１のハードウェア構成図である。

【0039】

ＭＥＣ２１は、全体を制御するＣＰＵ及びＧＰＵ等により構成される制御部４１と、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク又はストレージ等により構成され、プログラムや各種のデータ等を記憶する記憶部４２と、外部機器とのデータの入出力を行う入出力ポート４３と、他のＭＥＣ２１と通信を行う通信部４４と、ディスプレイ、ＬＥＤ、又はスピーカ等からなりデータに応じた表示を行う表示部４５と、外部からの入力を受け付ける入力部４６と、を備える。制御部４１、記憶部４２、入出力ポート４３、通信部４４、表示部４５、及び、入力部４６は、バス接続により互いに通信可能に構成されている。なお、このハードウェア構成は、ＦＰＧＡ等のハードウェア回路により実現してもよい。

【0040】

なお、上述のようにＭＥＣ２１Ａ～２１Ｄは同一のハードウェア構成となっていない。ＭＥＣ２１Ａは、制御部４１の情報処理能力が高く、かつ、記憶部４２の容量が大きく、ＭＥＣ２１Ｂ、２２Ｃは、制御部４１の情報処理能力、及び、記憶部４２の容量は中程度である。ＭＥＣ２１Ｄは、制御部４１の情報処理能力が低く、かつ、記憶部４２の容量が小さい。

【0041】

図５は、ＭＥＣ２１のソフトウェア構成図である。

【0042】

ＭＥＣ２１は、ハードウェア５１の上に、オペレーションシステム（ＯＳ）５２がインストールされている。オペレーションシステム５２においては、汎用ミドルウェア５３に加えて、コンテナエンジン５４、及び、コンテナエンジン５４とともに動作するオーケストレーションツール５５がインストールされている。

【0043】

ＭＥＣ２１においては、コンテナエンジン５４、及び、オーケストレーションツール５５によって、コンテナ５６のデプロイ及び実行がなされる。コンテナ５６には、所定の機能を実現するアプリケーション（ＡＰＬ）５７に加えて、コンテナエンジン５４の動作仕様に従うミドルウェア（ＭＷ）５８が含まれる。なお、ミドルウェア５８は、ライブラリなどを含んでもよい。

【0044】

ハードウェア５１は、図４に示されたハードウェア構成を備える。これらのハードウェア５１のリソースを用いて、ＭＥＣ２１は所定の動作を行うことができる。

【0045】

オペレーションシステム５２は、ＭＥＣ２１におけるソフトウェア構成の基本システムである。オペレーションシステム５２によって、ＭＥＣ２１の全体の動作が制御される。

【0046】

汎用ミドルウェア５３は、一般に、オペレーションシステム５２のベンダーなどにより提供される機能ブロックであり、図４に示された通信部４４による通信機能や、表示部４５による表示動作、入力部４６からの入力制御などの、基本的な動作を実現するための機能ブロックである。

【0047】

コンテナエンジン５４は、オペレーションシステム５２にインストールされるミドルウェアの１つであって、コンテナ５６を動作させるエンジンである。詳細には、コンテナエンジン５４は、コンテナ５６内のミドルウェア５８に含まれる設定ファイルなどに基づいて、ハードウェア５１及びオペレーションシステム５２のリソースをコンテナ５６へ割り当てる。

【0048】

オーケストレーションツール５５は、コンテナエンジン５４に対してハードウェア５１などのリソースの割り当てを行わせる機能ブロックである。オーケストレーションツール５５によって、１つ又は複数のコンテナ５６がポッド（図５において不図示）と称される単位にまとめられ、各ポッドが論理的に異なるエリアであるノード（図５において不図示）にデプロイされる。オーケストレーションツール５５による動作の詳細については、後に図６を用いて説明する。

【0049】

コンテナ５６は、所定の機能を実現するアプリケーション５７だけでなく、ライブラリなどのミドルウェア５８を含む。コンテナ５６は、コンテナエンジン５４によって割り当てられたハードウェア５１及びオペレーションシステム５２のリソースを用いて動作する。コンテナエンジン５４によるコンテナ５６へのリソースの割り当ては、コンテナ５６内のミドルウェア５８に含まれる設定ファイルなどに基づいて行われる。このように、リソース管理がコンテナエンジン５４によって保証されるため、コンテナ５６の動作の環境依存性を低下させることができる。

【0050】

図６は、オーケストレーションツール５５が用いられる場合のコンテナ５６の動作環境となるＭＥＣ２１の概略構成図である。なお、上述のようにＭＥＣ２１のハードウェア構成は、それぞれのＭＥＣ２１Ａ～２１Ｄにおいて異なるため、この図に示されるコンテナ５６の数などは一例である。

【0051】

オーケストレーションツール５５は、コンテナエンジン５４が割り当てるハードウェアリソースを管理する。オーケストレーションツール５５により管理される論理的な空間は、クラスタと称される。本実施形態においては、オーケストレーションツール５５は、ＭＥＣ２１Ａ～２１Ｄのハードウェアリソースを用いてクラスタを形成する。

【0052】

オーケストレーションツール５５は、コンテナ５６の実行環境の管理を、ノード６１と称される単位で行う。同時に、オーケストレーションツール５５によって、ノード６１の全体の動作を管理するマスタ６２が設けられる。

【0053】

ノード６１においては、この図の例においては、２つのポッド６１１がデプロイされている。ポッド６１１は、複数のコンテナ５６からなる所定のサービスを実現する機能ブロックであり、この図の例では、ポッド６１１は、２つのコンテナ５６を有する。ポッド６１１は、オーケストレーションツール５５によってコンテナ５６を管理する単位となる。ノード６１内におけるポッド６１１の全体の動作は、ポッド管理ライブラリ６１２により制御される。

【0054】

ポッド管理ライブラリ６１２は、論理的に割り当てられたハードウェアリソースをポッド６１１（コンテナ５６）に使用させるためのコンテナランタイム６１２１、マスタ６２からの制御を受け付けるエージェント６１２２、及び、ポッド６１１間やノード６１とマスタ６２との間などの通信を行うネットワーク（ＮＷ）プロキシ６１２３などを有する。このような構成を備えるポッド管理ライブラリ６１２によって、ポッド６１１は、同一のノード６１内のポッド６１１や、他のノード６１のポッド６１１などと相互に通信しながら、ハードウェアリソースを用いて、所定の機能を実現する。

【0055】

マスタ６２は、ポッド６１１のデプロイを行うアプリサーバ６２１、アプリサーバ６２１によるコンテナ５６のデプロイ状況を管理するマネージャ６２２、いずれのノード６１にコンテナ５６を配置するかを決定するスケジューラ６２３、及び、データの共有を行うデータ共有部６２４などを含む。なお、マスタ６２は、各ノード６１における処理負荷が一定となるようにポッド６１１の削除やデプロイを行うことができるので、高メンテナンス性を実現することができる。

【0056】

図７は、ＭＥＣ２１Ａ～２１Ｄにより構成されるクラスタの概略構成図である。

【0057】

前述のように、ＭＥＣ２１Ａ～２１Ｄには、それぞれにおいて、コンテナエンジン５４（図７において不図示）、及び、オーケストレーションツール５５（図７において不図示）がインストールされている。そのため、ＭＥＣ２１Ａ～２１Ｄのハードウェアリソースを用いて、１つのクラスタが形成される。そして、そのクラスタ内においては、１つのマスタ６２と複数のノード６１とが構成され、ノード６１においては、複数のコンテナ５６（図７において不図示）からなるポッド６１１が実行される。なお、ＭＥＣ２１Ａは第１世代の親機、ＭＥＣ２１Ｂ、２１Ｃは第２世代の子機、ＭＥＣ２１Ｄは第３世代の孫機である。

【0058】

ＭＥＣ２１Ａにおいては、マスタ６２が設けられるとともに、１つのノード６１Ａが設けられる。

【0059】

マスタ６２においては、オーケストレーションツール５５により実現される機能によってリソース管理が行われる。このようなオーケストレーションツール５５を用いたリソース管理は、マスタ６２による各ポッド６１１の制御状況などに応じて行われる。なお、一般に、コンテナオーケストレーション技術を用いる場合における複数の端末におけるリソース管理は、オーケストレーション技術を提供するミドルウェアにおいて行われる。しかしながら、ミドルウェアにおけるリソース管理は、端末における実際の処理状態を十分に考慮していない。本実施形態においては、後述するように、管理ポッド６１１１による監視と代替処理が行われるので、より適切なリソース管理が実現される。

【0060】

ノード６１Ａにおいては、１つの管理ポッド６１１１と、所定の機能の実現を行う処理ポッド６１１２Ａとが設けられている。

【0061】

管理ポッド６１１１は、ＭＥＣ２１Ａ～２１Ｄにおける処理負荷の状況に応じて処理ポッド６１１２のリソース管理を行う。ここで、処理負荷とは、例えば、各ＭＥＣ２１の制御部（ＣＰＵ、ＧＰＵ等）における処理の負荷、記憶部（各種メモリ、ストレージ等）の容量、又は接続されるネットワークの負荷などを含む。管理ポッド６１１１によるリソース管理は、マスタ６２によるオーケストレーション技術を用いたリソース管理とは異なり、ＭＥＣ２１のそれぞれにおいて直接的に観測された情報処理が行われている状況に応じて行われる。なお、ＭＥＣ２１において観測される情報処理が行われている状況は、処理情報としてまとめられる。

【0062】

詳細には、ＭＥＣ２１Ａ以外のＭＥＣ２１Ｂ～２１Ｄには、監視ポッド６１１３が１つずつ設けられており、管理ポッド６１１１は、他のＭＥＣ２１の監視ポッド６１１３から受信する処理情報に基づいて、ある処理ポッド６１１２の処理を他の処理ポッド６１１２に代替的に行わせることで、リソース管理を行う。なお、当該リソース管理については、後に図９を用いて、詳細に説明する。また、管理ポッド６１１１が管理を行う対象となるポッドは、同一のＭＥＣ２１Ａ内に配置されていてもよい。

【0063】

第１処理ポッド６１１２Ａには、ＭＥＣ２１Ｂ～２１Ｄにおける複合機１２Ｂ～１２Ｄにより取得されるセンサ情報の解析や機械学習などの所定の機能を実現するために、所定のコンテナがデプロイされる。

【0064】

ＭＥＣ２１Ｂにおいては、ハードウェア処理能力が中程度であり、３つのノード６１Ｂが構成され、それぞれのノード６１Ｂにおいて２つずつポッド６１１がデプロイされるので、ＭＥＣ２１Ｂにおいては計６つのポッド６１１がデプロイされる。詳細には、１つのノード６１Ｂにおいては、監視ポッド６１１３Ｂと、第１処理ポッド６１１２Ｂが設けられ、他の２つのノード６１Ｂにおいては、さらに、第２～第５処理ポッド６１１２Ｂが設けられている。

【0065】

監視ポッド６１１３Ｂは、自身が設けられるＭＥＣ２１Ｂの負荷状態と、ＭＥＣ２１Ｂにおける第１～第５処理ポッド６１１２Ｂの情報処理が行われている状況を示す処理情報とを、ＭＥＣ２１Ａの管理ポッド６１１１へと送信する。監視ポッド６１１３Ｂが送信する処理情報については、後に図８を用いて説明する。

【0066】

ＭＥＣ２１Ｃにおいては、ハードウェア処理能力が中程度であるが、冗長性を確保するために、ＭＥＣ２１Ｂよりも少ない２つのノード６１Ｃが構成され、それぞれのノード６１Ｂにおいて、２つずつ処理ポッド６１１２Ｂがデプロイされる。そして、１つのノード６１Ｃにおいて監視ポッド６１１３Ｂと、第１処理ポッド６１１２Ｃが設けられ、その他のノード６１Ｃにおいて、第２、第３処理ポッド６１１２Ｃが設けられている。

【0067】

ＭＥＣ２１Ｄにおいては、ハードウェア処理能力が比較的低いため、１つのノード６１Ｄが構成され、そのノード６１Ｄにおいて、監視ポッド６１１３Ｄと、第１処理ポッド６１１２Ｄとが設けられている。

【0068】

図８は、管理ポッド６１１１が監視ポッド６１１３Ｂ～６１１３Ｃから受信するＭＥＣ２１Ｂ～２１Ｄの処理情報を示す表である。この表によれば、処理情報は、各ＭＥＣ２１のハードウェアの処理負荷と、第１～第５処理ポッド６１１２Ｂの代替可否の状態をあわせて処理情報とにより構成される。

【0069】

例えば、ＭＥＣ２１Ｂにおいて、第１、第２処理ポッド６１１２Ｂは、作業機器２２Ｂの現在または直後の工程に直接影響があるものであるため、自身とは異なるＭＥＣ２１Ａ、２２Ｃ、及び、２２Ｄにおいて代替できない（代替不可）と判断される。また、第３～第５処理ポッド６１１２Ｂは、センサ２３Ｂにより取得されるセンサ情報の解析や、作業機器２２Ｂの制御に関する機械学習を行うものであるため、親機であるＭＥＣ２１Ａにて代替的に実行可（ＭＥＣ２１Ａで代替可）と判断される。

【0070】

なお、図下方に示されるように、ＭＥＣ２１Ｄに関して、第１処理ポッド６１１２Ｄは、「ＭＥＣ２１Ａ，２２Ｂにて代替可」となる。これは、ＭＥＣ２１Ｄは第３世代であるため、第１世代であるＭＥＣ２１Ａ、及び、第２世代であるＭＥＣ２１Ｂのいずれかにおいて代替的に実行が可能であることを示す。

【0071】

このように、ＭＥＣ２１Ｂ～２１Ｄに設けられる監視ポッド６１１３Ｂ～６１１３Ｄは、ＭＥＣ２１の処理負荷と、処理ポッド６１１２についての他のＭＥＣ２１での代替的な実行の可否を示す情報とを含む処理情報を生成する。そして、ＭＥＣ２１Ａの管理ポッド６１１１は、ＭＥＣ２１Ｂ～２２Ｃの監視ポッド６１１３Ｂ～６１１３Ｄから送信される処理情報に応じて、ＭＥＣ２１Ｂ～２１Ｃにおける処理ポッド６１１２の他のＭＥＣ２１での代替的な実行を行うことにより、リソースの配分を行う。

【0072】

図９は、管理ポッド６１１１が行うリソース管理処理を示すフローチャートである。

【0073】

ステップＳ９１において、管理ポッド６１１１は、ＭＥＣ２１Ｂ～２１Ｄの監視ポッド６１１３Ｂ～６１１３Ｄから、ＭＥＣ２１Ｂ～２１Ｄの処理情報（図８）を受信する。そして、管理ポッド６１１１は、次にステップＳ９２の処理を行う。

【0074】

ステップＳ９２において、管理ポッド６１１１は、処理情報に基づいて、ＭＥＣ２１Ｂ～２１Ｄのうち処理負荷が所定の閾値を超えたＭＥＣ２１があるか否かを判定する。処理負荷が所定の負荷閾値を超えたＭＥＣ２１がある場合には（Ｓ９２：Ｙｅｓ）、管理ポッド６１１１は、次にステップＳ９３の処理を行う。処理負荷が負荷閾値を超えたＭＥＣ２１がない場合には（Ｓ９２：Ｎｏ）、管理ポッド６１１１は、リソース管理処理を終了する。

【0075】

なお、ステップＳ９２の判定に用いられる負荷閾値は、マスタ６２においてコンテナオーケストレーション技術を用いて行われるリソース管理に用いられる基準よりも低いものとする。このようにすることで、ＭＥＣ２１Ｂ～２１Ｄの実際の処理負荷に応じたリソース管理を行うことができる。

【0076】

ステップＳ９３において、管理ポッド６１１１は、処理情報に基づいて、処理負荷が負荷閾値を超えたＭＥＣ２１において実行されている処理ポッド６１１２の代替可否の状態を確認する。

【0077】

そして、管理ポッド６１１１は、処理ポッド６１１２のうち、他のＭＥＣ２１において代替的に実行可能な処理ポッド６１１２があるか否かを判定する。他のＭＥＣ２１において代替的に実行可能な処理ポッド６１１２がある場合には（Ｓ９３：Ｙｅｓ）、管理ポッド６１１１は、次にステップＳ９４の処理を行う。全ての処理ポッド６１１２が「代替不可」であり、他のＭＥＣ２１において代替的に実行可能な処理ポッド６１１２がない場合には（Ｓ９３：Ｎｏ）、管理ポッド６１１１は、リソース管理処理を終了する。

【0078】

ステップＳ９４において、管理ポッド６１１１は、他のＭＥＣ２１において代替的に実行可能な処理ポッド６１１２を削除するとともに、削除した処理ポッド６１１２と同一の処理を実行可能な処理ポッド６１１２を実現するプログラムを、処理情報に示された代替先のＭＥＣ２１のノード６１において代替実行する。なお、処理ポッド６１１２を削除することに代えて処理ポッド６１１２を再起動し所定の待機状態としてもよい。

【0079】

図１０は、図９のステップＳ９４における、処理ポッド６１１２の代替実行処理を示すフローチャートである。なお、処理ポッド６１１２の代替実行は、管理ポッド６１１１が主体となって行われる。

【0080】

ステップＳ１０１において、親機であるＭＥＣ２１Ａにおける管理ポッド６１１１は、初期設定を行うことで、処理ポッド６１１２Ａの代替実行処理を開始させる。

【0081】

ステップＳ１０２において、管理ポッド６１１１は、子機であるＭＥＣ２１Ｂの処理ポッド６１１２Ｂに代替実行を指示する。なお、この代替実行の指示においては、代替実行を行う処理ポッド６１１２Ｂと、その代替実行をさせるＭＥＣ２１Ａとが示されている。

【0082】

ステップＳ１０３において、管理ポッド６１１１は、代替実行の指示に応じてＭＥＣ２１Ｂから送信される処理ポッド６１１２Ｂの処理中データを受信すると、その処理中データを処理ポッド６１１２Ａへと記憶させる。

【0083】

ステップＳ１０４において、管理ポッド６１１１は、処理ポッド６１１２Ａに対して、受信した子機であるＭＥＣ２１Ｂにおける処理中データを用いて、処理を開始させる。このようにして、親機ＭＥＣ２１Ａにおける処理ポッド６１１２Ａにおける代替実行が行われる。

【0084】

図１１は、図９のステップＳ９４における、代替実行元である子機であるＭＥＣ２１Ｂにおける処理ポッド６１１２Ｂの代替実行処理を示すフローチャートである。

【0085】

ステップＳ１１１において、子機であるＭＥＣ２１Ｂにおいて、監視ポッド６１１３Ｂは、図１０のステップＳ１０２に示されるように、親機であるＭＥＣ２１Ａから、子機であるＭＥＣ２１Ｂの処理ポッド６１１２Ｂに代替実行の指示を受信する。なお、上述のように、この代替実行の指示には、代替実行を行う処理ポッド６１１２Ｂと、その代替的に実行可能させるＭＥＣ２１Ａとが示されている。

【0086】

ステップＳ１１２において、監視ポッド６１１３Ｂは、代替実行の指示に応じて、代替実行の対象である処理ポッド６１１２Ｂに対して、処理を停止すると、ステップＳ１１３において、処理中データを、親機であるＭＥＣ２１Ａに送信する。なお、この処理中データがＭＥＣ２１Ａに受信されると、図１０のステップＳ１０３の処理が行われる。

【0087】

このように、子機であるＭＥＣ２１Ｂの処理負荷が高い場合には、処理ポッド６１１２Ｂによる処理中のデータを親機であるＭＥＣ２１Ａに送信するデータ連携を行った上で、処理ポッド６１１２Ｂによる処理を、ＭＥＣ２１Ａの処理ポッド６１１２Ａに実行させることができる。このようにして、親機であるＭＥＣ２１Ａと子機であるＭＥＣ２１Ｂとの間におけるリソース管理を適切に行うことができる。

【0088】

なお、上述の例においては、ＭＥＣ２１Ａの管理ポッド６１１１が、ＭＥＣ２１Ｂの処理ポッド６１１２Ｂを、自身（ＭＥＣ２１Ａ）において代替的に実行する例について説明したが、これに限らない。例えば、ＭＥＣ２１Ｃのノード６１Ｃなどに実行させてもよい。このように構成することで、親機と子機との間に限らず、子機同士や、子機と孫機との間でもリソース管理を適切に行うことができるので、エッジシステム１０の設計の自由度を向上させることができる。

【0089】

本実施形態によれば、以下の効果を得ることができる。

【0090】

本実施形態のエッジシステム１０において、親機である第１複合機１２Ａが有するＭＥＣ２１Ａは、子機である第２複合機１２Ｂが有するＭＥＣ２１Ｂと比較すると処理能力が高い。このような場合において、比較的処理能力の低いＭＥＣ２１Ｂにおいて、処理負荷が高くなり処理がオーバーフローするおそれがある。コンテナオーケストレーション技術を用いた制御がなされる場合には、このリソース管理はマスタ６２側で行われるが、マスタ６２で管理する情報に基づいて行われているに過ぎず、実際のＭＥＣ２１の情報処理の状態に応じていないことがある。

【0091】

これに対して、本実施形態においては、子機であるＭＥＣ２１Ｂは、監視ポッド６１１３Ｂによって、自身が配置されたＭＥＣ２１Ｂの処理状態を監視し、監視結果である処理情報を親機であるＭＥＣ２１Ａの管理ポッド６１１１に送信する。ＭＥＣ２１Ａは、管理ポッド６１１１によって、受信した処理情報に基づいてＭＥＣ２１Ｂの情報処理の負荷状態について所定の条件判定を行う。そして、ＭＥＣ２１Ａは、ＭＥＣ２１Ｂが所定の条件を満たす場合には、ＭＥＣ２１Ｂの処理ポッド６１１２Ｂによる処理中のデータをＭＥＣ２１Ｂの処理ポッド６１１２Ｂに送信するデータ連携を行った上で、ＭＥＣ２１Ｂにおいて行われる予定であった処理の一部または全部をＭＥＣ２１Ａにおいて代替的に実行することで、親機であるＭＥＣ２１Ａと子機であるＭＥＣ２１Ｂとの間におけるリソース管理を行う。

【0092】

このように構成することにより、ＭＥＣ２１Ｂが情報処理することが困難である時には、ＭＥＣ２１Ｂの処理ポッド６１１２Ｂの処理の一部をＭＥＣ２１Ａにおいて代替的に実行することができるので、適切にリソース管理が行われてＭＥＣ２１Ｂの処理を滞りなく行うことができる。そのため、全てのＭＥＣ２１を処理能力が高いハードウェア構成のものを用いる必要性が低くなり、エッジシステム１０の設計の自由度が向上するとともに、一部のＭＥＣ２１Ｂのハードウェア構成を簡素化できるので、コストの低減を図ることができる。

【0093】

また、コンテナオーケストレーション技術においては、マスタ６２側において把握している処理ポッド６１１２の動作状況に基づいてリソース管理が行われる。これに対して、本実施形態においては、管理ポッド６１１１により行われるリソース管理は、個々のＭＥＣ２１の処理負荷や、処理ポッド６１１２の代替実行の可否などの実際の処理状態に応じてリソース管理がなされており、エッジシステム１０の実稼動状態に適した適切なリソース管理を行うことができる。

【0094】

さらに、本実施形態のエッジシステム１０によれば、子機である監視ポッド６１１３Ｂにより生成される処理情報は、ＭＥＣ２１Ｂの処理負荷を含む。そのため、親機であるＭＥＣ２１Ａは、管理ポッド６１１１によって、処理情報に示されるＭＥＣ２１Ｂの処理負荷に基づいて、ＭＥＣ２１Ｂが情報処理することが困難であるか否かを判定する。そして、ＭＥＣ２１Ａは、ＭＥＣ２１Ｂが情報処理することが困難であると判断する場合には、ＭＥＣ２１Ｂの処理ポッド６１１２Ｂの一部または全部をＭＥＣ２１Ａにて代替的に実行することで、リソース管理を行う。このように構成することで、ＭＥＣ２１Ｂの実際の情報処理が行われている状態に応じてＭＥＣ２１Ｂが情報処理することが困難であるか否かを判断することができるため、より適切なリソース管理を行うことがきる。

【0095】

さらに、本実施形態のエッジシステム１０によれば、子機である監視ポッド６１１３Ｂにより生成される処理情報は、処理ポッド６１１２ＢがＭＥＣ２１Ａにおいて代替的に実行可能か否かを示す処理情報を含む。そのため、親機であるＭＥＣ２１Ａは、管理ポッド６１１１によって、ＭＥＣ２１Ｂが情報処理することが困難であると判断する場合には、処理情報に示される処理ポッド６１１２Ｂの代替可否の情報に基づいて、ＭＥＣ２１Ｂの処理ポッド６１１２Ｂの一部または全部を代替先となりうるＭＥＣ２１Ａにおいて代替的に実行する。

【0096】

ＭＥＣ２１Ｂにおいて実行されている処理ポッド６１１２の中には、その稼動状況によってはＭＥＣ２１Ｂにて実行されることが必須のものや、他のＭＥＣ２１にて代替的に実行可能なものがある。そこで、代替的に実行可能な処理ポッド６１１２Ｂを、ＭＥＣ２１Ａにおいて代替的に実行することにより、処理ポッド６１１２の処理に影響を与えることなくリソース管理を行うことができる。

【0097】

さらに、本実施形態のエッジシステム１０によれば、子機であるＭＥＣ２１Ｂは、監視ポッド６１１３Ｂによって、処理ポッド６１１２Ｂの稼動状況に応じて、処理ポッド６１１２がＭＥＣ２１Ａにおいて代替的に実行可能か否かを示す処理情報を生成する。例えば、処理ポッド６１１２Ｂが、作業機器２２Ｂの現在の作業工程と直接的に関係ない処理を行うものであれば、他のＭＥＣ２１において代替的に実行可能と判定する。このように構成することで、処理ポッド６１１２Ｂの個々の稼動状況がより適切に考慮されながら、エッジシステム１０のリソース管理を行うことができる。

【0098】

さらに、本実施形態のエッジシステム１０によれば、ＭＥＣ２１Ａは、管理ポッド６１１１によって、ＭＥＣ２１Ｄの処理ポッド６１１２Ｄの一部または全部を、ＭＥＣ２１Ｃにおいて代替的に実行してもよい。このように、処理ポッド６１１２Ｄの代替的な実行を、エッジシステム１０を構成する任意のＭＥＣ２１において行うことができるので、設計の自由度の向上を図ることができる。

【0099】

（第２実施形態）
第２実施形態は、各ＭＥＣ２１間においてデータ連携や代替的な処理の実行が行われる点において第１実施形態と同様である。しかしながら、第２実施形態においては、複合機１２が、さらに移動体通信ネットワーク等に利用可能な基地局１２１を有する。すなわち、各ＭＥＣ２１が、基地局１２１を介して相互に通信する例について説明する。なお、第１の実施形態と同一又は略同一の構成については同一の符号が付されている点に留意されたい。

【0100】

図１２は、エッジシステム１０の詳細を示す図である。

【0101】

複合機１２Ａは、ＭＥＣ２１Ａに加えて、移動体通信ネットワークと通信可能な基地局１２１Ａをさらに有している。複合機１２Ａは、移動体通信ネットワークと通信可能な基地局１２１Ａと、センサ情報の取得や管理を行うＭＥＣ２１Ａとを有しており、基地局１２１ＡとＭＥＣ２１Ａとは、シリアル通信などによって互いに通信可能に構成されている。なお、基地局１２１Ａは、比較的大型であり、ローカル環境１１における移動体通信ネットワークの全体を制御できる。

【0102】

複合機１２Ｂは、ＭＥＣ２１Ｂ、作業機器２２Ｂ、及び、センサ２３Ｂに加えて、基地局１２１Ｂを有している。同様に、複合機１２Ｃ、及び、複合機１２Ｄは、それぞれ、基地局１２１Ｃ、及び、１２１Ｄをさらに備える。なお、基地局１２１Ｂ、及び、１２１Ｃは、中型であり、基地局１２１Ｄは、小型であるものとする。

【0103】

ここで、複合機１２が有する基地局１２１は、それぞれにおいて、比較的帯域の高い周波数の信号を用いるとともに、複数のアンテナ素子を用いて指向性を持たせた通信（ビームフォーミング）を行うことができる。そのため、ローカル環境１１においては、基地局１２１間においてビームフォーミングを用いた移動体通信が可能なシステムが構成される。基地局１２１がビームフォーミングによる通信を行うことにより、通信対象に対する指向性が高まるので、複合機１２間においては低遅延かつ大容量のネットワークが構成できる。なお、ビームフォーミングを用いずにＬＡＮ等を介して通常の無線通信を行ってもよい。

【0104】

図１３は、エッジシステム１０の機能を説明するためのブロック図である。

【0105】

この図に示されるように、本実施形態に係るエッジシステム１０は、二点鎖線で示され、ＭＥＣ２１Ａ～２１Ｄにより構成される情報処理系統３１に加えて、一点鎖線で示され、基地局１２１Ａ～１２１Ｄを含む移動体通信ネットワークにより構成される通信処理系統１３１を備える。情報処理系統３１におけるセンサ情報や学習済みモデルなどの具体的情報の通信処理は主に移動体通信ネットワークを介して行われる。

【0106】

通信処理系統１３１は、第１世代の基地局１２１Ａと、第２世代の基地局１２１Ｂ、１２１Ｃと、第３世代の基地局１２１Ｄとが階層化されて構成される。第１世代の基地局１２１Ａは、エッジシステム１０において最上位に位置しており、大容量通信が可能である。

【0107】

そのため、基地局１２１Ａは比較的サイズが大型で大容量のものが選択される。また、第２世代の基地局１２１Ｂ、１２１Ｃや、第３世代の基地局１２１Ｄは、それぞれ、作業機器２２Ｂ、２２Ｃ、及び、２２Ｄなどと一体となって、複合機１２Ｂ、１２Ｃ、及び、１２Ｄを構成する。作業機器２２Ｂ、２２Ｃがトラックなどのように大型機器である場合には、基地局１２１Ｂ、１２１Ｃは、処理能力が中程度でサイズが中型のものが選択される。作業機器２２Ｄがドローンのような小型機器である場合には、基地局１２１Ｄは、処理能力が低いがサイズが小型のものが選択される。

【0108】

このように構成される第２実施形態のエッジシステム１０によれば、各複合機１２に備えられた基地局１２１を介して相互に通信が可能であるので、低遅延かつ大容量の通信が実現でき、より信頼性の高いデータ連携を行うことができる。従って、各ＭＥＣ２１間における処理の代替的実行がより高い信頼性の下に行われることとなる。

【0109】

上述の実施形態においては、親子関係は固定的なものとして説明した。しかしながら、本発明はこのような構成に限定されない。従って、例えば、デプロイを再度行うことにより親子関係を動的に変更してもよい。なお、このとき、必ずしも親となるＭＥＣ２１の能力が子となるＭＥＣ２１よりも高いことを要しない。

【0110】

また、以上の実施形態においては、ＭＥＣ２１、作業機器２２、各種センサ２３を含む複合機を用いて説明を行った。しかしながら、本発明はそのような構成に限定されない。従って、例えば、ＭＥＣ２１のみによりシステムを構成してもよいし、ＭＥＣ２１と他の装置（基地局１２１、作業機器２２、各種センサ２３等）との任意の組合せからなる複合機を用いてシステムを構成してもよい。

【0111】

（第１適用例）
第１適用例においては、エッジシステム１０の工場への応用例を説明する。

【0112】

図１４は、エッジシステム１０を工場内において自動運転されるフォークリフトシステムへと応用した適用例の概略構成図である。この例において、ローカル環境１１は、工場内に相当する。

【0113】

エッジシステム１０は、階層構造を有しており、一台の親世代となる複合機１２Ａの下に、二台の子世代となる複合機１２Ｂ（ＭＥＣ２１Ｂ）、複合機１２Ｃが接続され、ＭＥＣ２１Ｂの下に四台の孫世代となる複合機１２Ｄ、１２Ｅ及び２台の作業機器２２Ｆ、２２Ｇが接続されている。なお、いずれのＭＥＣ２１にもコンテナオーケストレーションツールがインストールされている。

【0114】

複合機１２Ａは、比較的に大型の基地局１２１Ａと親世代のＭＥＣ２１Ａとを有しており主にシステム外との通信や高次の制御を行う。

【0115】

子世代の複合機１２Ｂ（ＭＥＣ２１Ｂ）は、複合機１２ＡのＭＥＣ２１Ａ、孫世代のＭＥＣ２１Ｄ、２１Ｅ及び孫世代のフォークリフト２２Ｆ、２２Ｇと接続されている。フォークリフト２２Ｆ、２２Ｇは、ＭＥＣ２１Ｂにより制御され自動運転により移動する。なお、ＭＥＣ２１Ｂは上述の実施形態のように孫世代のＭＥＣ２１Ｄ、２１Ｅの負荷状態を監視している。

【0116】

複合機１２Ｃは、自動運転により移動するフォークリフトに相当する。複合機１２Ｃは、比較的に小型の基地局１２１Ｃと、子世代のＭＥＣ２１Ｃと、作業機器２２Ｃとしてのフォークリフトと、動作や姿勢の検出等に用いられる各種のセンサ２３Ｃを備えている。

【0117】

複合機１２Ｄ、１２Ｅは、工場内を監視するカメラ２３Ｄ、２３Ｅと、カメラ２３Ｄ、２３Ｅから取得された情報の処理を行う孫世代のＭＥＣ２１Ｄ、２１Ｅとを備えている。

【0118】

また、このとき、ＭＥＣ２１の情報処理能力は様々であるが、上の世代程、情報処理能力の高いＭＥＣ２１が使用されている。

【0119】

このような状態において、エッジシステム１０が稼働し、例えば、孫世代のＭＥＣ２１Ｄの処理負荷が上昇し所定の閾値を超えると、子世代の複合機１２Ｂ（ＭＥＣ２１Ｂ）は、処理の可否につき確認した上で、本来孫世代のＭＥＣ２１Ｄにて行われる予定であった処理を代替的に行う。

【0120】

このような構成によれば、様々な能力のＭＥＣ２１から成る場合であっても高い効率性を有する工場向けのエッジシステムを提供することができる。

【0121】

（第２適用例）
第２適用例においては、エッジシステム１０の工場への応用例を説明する。

【0122】

図１５は、エッジシステム１０の工場への応用した適用例の概略構成図である。この例において、ローカル環境１１は、工場に相当する。

【0123】

この例においては、複合機１２Ａ、１２Ｂは、固定型の基地局１２１を備えているものとする。また、複合機１２Ｃ、１２Ｅは、それぞれ、作業機器２２Ｃ、２２Ｅを備えず、センサ２３Ｃ、２３Ｄのみが監視カメラとして機能する。複合機１２Ｄ、１２Ｆは、それぞれ、作業機器２２Ｄ、２２Ｆはドローンであり、多機能センサであるセンサ２３Ｄ、２３Ｆを有する。

【0124】

この例に示されるように、複合機１２Ａ、１２Ｂが第１世代であり、複合機１２Ｃ～１２Ｅが第２世代である。複合機１２Ｆは、第２世代の複合機１２Ｂと、第３世代の複合機１２Ｄと接続される。なお、いずれの複合機１２にもコンテナオーケストレーションツールがインストールされている。

【0125】

ここで、複合機１２Ｄ、１２Ｆは、ドローンである作業機器２２Ｄ、２２Ｆが移動しながらセンサ情報を収集するため、センサ情報のデータ量や解析の処理負荷が高くなる。しかしながら、複合機１２Ｄ、１２Ｆは軽量化が必要であるので、ＭＥＣ２１Ｄ、２１Ｆは小型で処理能力の低いものを用いる必要がある。そこで、ＭＥＣ２１Ｄ、２１Ｆにおいて実行中の処理ポッド６１１２Ｄ、６１１２Ｆの処理を、他のＭＥＣ２１で代替的に実行することで、リソース管理が行われ、エッジシステム１０を安定的に運用することができる。

【0126】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

【符号の説明】

【0127】

１０ エッジシステム
１１ ローカル環境
１２ 複合機
１５ イメージレジストリ
２１ ＭＥＣ（エッジ端末）
２２ 作業機器
２３ センサ
６１ ノード
６２ マスタ
６１１ ポッド
６１１１ 管理ポッド
６１１２ 処理ポッド
６１１３ 監視ポッド
１２１ 基地局
１００ 監視システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】