特開 2024-152099 多段階システム、計算機システム、および多段階システム管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024152099

(43)【公開日】2024-10-25

(54)【発明の名称】多段階システム、計算機システム、および多段階システム管理方法

(51)【国際特許分類】

   G06F 11/20 20060101AFI20241018BHJP

   H04L 67/1042 20220101ALI20241018BHJP

   H04L 67/2885 20220101ALI20241018BHJP

   G06F 15/173 20060101ALI20241018BHJP

   G06F 8/60 20180101ALI20241018BHJP

【ＦＩ】

G06F11/20 628

H04L67/1042

H04L67/2885

G06F15/173 682

G06F8/60

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023066047

(22)【出願日】2023-04-14

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】角尾 晋一

(72)【発明者】

【氏名】金 成昊

(72)【発明者】

【氏名】大塚 祐策

【テーマコード（参考）】

5B034

5B045

5B376

【Ｆターム（参考）】

5B034BB11

5B045BB11

5B045JJ46

5B376AA32

5B376AD21

(57)【要約】

【課題】接続を切り替えても計算機システム間のオーケストレーションを維持するとともに特定の計算機システムへの負荷の集中を抑制する。
【解決手段】オーケストレーションが行われる多段階の計算機システムによる多段階システムが、多段階のツリートポロジを呈するように、オーケストレーション情報を送受信可能に相互に接続された複数の計算機システムを有し、前記計算機システムは、前記ツリートポロジにおける自身の直上の計算機システム、前記ツリートポロジにおける最上位の計算機システム、および前記直上の計算機システムと最上位の計算機システムとの間にある計算機システムを含む上位計算機システムに参入でき、前記上位計算機システムに参入すると前記上位計算機システムから前記オーケストレーション情報を受信することが可能となる。
【選択図】図２

【特許請求の範囲】

【請求項1】

オーケストレーションが行われる多段階の計算機システムによる多段階システムであって、
多段階のツリートポロジを呈するように、オーケストレーション情報を送受信可能に相互に接続された複数の計算機システムを有し、
前記計算機システムは、前記ツリートポロジにおける自身の直上の計算機システム、前記ツリートポロジにおける最上位の計算機システム、および前記直上の計算機システムと最上位の計算機システムとの間にある計算機システムを含む上位計算機システムに参入でき、前記上位計算機システムに参入すると前記上位計算機システムから前記オーケストレーション情報を受信することが可能となる、
多段階システム。

【請求項2】

前記計算機システムは、
前記ツリートポロジにおける自身の直上の計算機システムとの通信が障害になると、前記直上の計算機システムの直上の計算機システムに一時的に参入し、
自身の直下の計算機システムより下位の計算機システムからの一時的な参入を受け入れたのち前記直下の計算機システムとの通信が正常と判定すると、一時的に参入させた前記計算機システムを除外し、
一時的に参入した先の計算機システムから除外されると、自身の直上の計算機システムとの通信が正常であれば、前記直上の計算機システムに参入する、
請求項１に記載の多段階システム。

【請求項3】

前記複数の計算機システムには、第１計算機システムと、前記第１計算機システムの直下の第２計算機システムと、前記第２計算機システムの直下の第３計算機システムとが含まれ、
前記第２計算機システムに障害が発生すると、前記第３計算機システムが前記第１計算機システムに一時的な参入を要求し、
前記第１計算機システムが前記第３計算機システムの一時的な参入を受け入れ、
前記第２計算機システムの障害が復旧すると、前記第１計算機システムが前記第３計算機システムの一時的な参入を除外し、
前記第３計算機システムが前記第２計算機システムに参入を要求し、
前記第２計算機システムが前記第３計算機システムの参入を受け入れる、
請求項２に記載の多段階システム。

【請求項4】

前記複数の計算機システムのそれぞれが、前記ツリートポロジにおいて自身よりも上位に位置する計算機システムの接続構成を示す上位トポロジ情報と、自身より下位に位置する計算機システムの接続構成を示す下位トポロジ情報と、自身のシステム構成を示す自システム構成情報と、自身にソフトウェアをデプロイするための自システムデプロイ情報と、自身よりも下位に位置する計算機システムのシステム構成を示す下位システム構成情報と、自身よりも下位に位置する計算機システムにソフトウェアをデプロイするための下位システムデプロイ情報と、を記憶し、
前記第２計算機システムに障害が発生すると、前記第３計算機システムは、前記上位トポロジ情報を参照することにより前記第２計算機システムの直上にあることが特定される前記第１計算機システムに対して、前記下位トポロジ情報と、前記自システム構成情報と、前記自システムデプロイ情報と、前記下位システム構成情報と、前記下位システムデプロイ情報とを送信し、一時的な参入を要求し、
前記第１計算機システムは、前記第３計算機システムから一時的な参入の要求を受けると、自身の下位トポロジ情報を参照して前記第３計算機システムが自身の下位の計算機システムであることにより前記一時的な参入を受け入れ可能と判定し、該一時的な参入を受け入れるとともに、前記第３計算機システムから受信した前記下位トポロジ情報と前記自システム構成情報と前記自システムデプロイ情報と前記下位システム構成情報と前記下位システムデプロイ情報とを一時情報として記録し、前記一時情報を自身の直上の計算機システムに送信し、
前記第１計算機システムは、前記第３計算機システムの一時的な参入を受け入れている間、前記一時情報を利用して前記オーケストレーション情報を送信する、
請求項３に記載の多段階システム。

【請求項5】

前記第１計算機システムは、前記第３計算機システムの一時的な参入を受け入れている間に前記第２計算機システムの障害が復旧すると、前記第３計算機システムに一時的な参入の解除を通知し、
前記第３計算機システムは、前記第１計算機システムから前記一時的な参入の解除の通知を受けると、前記上位トポロジ情報を参照して前記ツリートポロジにおいて自身の直上にある前記第２計算機システムを特定し、前記第２計算機システムに参入を要求し、
前記第２計算機システムは、前記第３計算機システムから参入の要求を受けると、自身の下位トポロジ情報を参照して前記第３計算機システムが自身の直下の計算機システムであることにより参入を受け入れ可能と判断し、該参入を受け入れる、
請求項４に記載の多段階システム。

【請求項6】

オーケストレーションが行われる多段階の計算機システムによる多段階システムに含まれる計算機システムであって、
前記多段階システムは、多段階のツリートポロジを呈するように、オーケストレーション情報を送受信可能に相互に接続された複数の計算機システムを有し、
前記計算機システムは、
前記ツリートポロジにおける自身の直上の計算機システム、前記ツリートポロジにおける最上位の計算機システム、および前記直上の計算機システムと最上位の計算機システムとの間にある計算機システムを含む上位計算機システムに参入し、
前記上位計算機システムに参入した後に、前記上位計算機システムから前記オーケストレーション情報を受信する、
計算機システム。

【請求項7】

オーケストレーションが行われる多段階の計算機システムによる多段階システムを管理するための多段階システム管理方法であって、
前記多段階システムは、多段階のツリートポロジを呈するように、オーケストレーション情報を送受信可能に相互に接続された複数の計算機システムを有しており、
前記計算機システムが、
前記ツリートポロジにおける自身の直上の計算機システム、前記ツリートポロジにおける最上位の計算機システム、および前記直上の計算機システムと最上位の計算機システムとの間にある計算機システムを含む上位計算機システムに参入し、
前記上位計算機システムに参入後に、前記上位計算機システムから前記オーケストレーション情報を受信する、
多段階システム管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、計算機システムの構成を管理する技術に関する。

【背景技術】

【0002】

工場設備、鉄道車両、水システムなどを制御対象として制御を行う計算機システムである制御システムは、現場の機器からデータを収集し、収集したデータを分析し、分析結果に基づく対策を現場の機器に対する制御へフィードバックするものへと拡張が行われている。この種の制御システムとしては既に何らかの既存の制御システムが存在している場合が多い。そのため、制御システムの機能や規模を拡張する場合、既存の制御システムを維持しつつ、段階的に拡張が行われる。

【0003】

例えば、水システムのように各拠点で独立運用されている中小規模の制御システムを、ネットワークを介して大規模な制御システムに接続すれば、大規模な制御システムが中小規模の制御システムによる現場の水システムの監視や制御を肩代わりできるようになる。また、それだけでなく、上位の大規模な制御システムの高度な機能により、現場の水システムへ高度な対策をフィードバックすることも可能になる。

【0004】

段階的な制御システムの拡張において、各制御システムの上位に、より付加価値を創成できるような豊富なリソースを持つ制御システムや特定の高度な機能やサービスを提供する制御システムを設けることにより、制御システムが多段構成となる。

【0005】

多段構成の上位の制御システムから下位の各制御システムへの対策のフィードバックを実現する方法としてオーケストレーションがある。オーケストレーションでは、上位の制御システムであるオーケストレータから下位の各制御システムへソフトウェアを配信したり、制御対象を制御したりすることが可能となる。これにより、下位の制御システムは、参入した上位の制御システムの高度な機能やサービスを利用し、上位の制御システムからフィードバックを得ることが可能となる。

【0006】

このような多段構成システムにおいて、多段構成システムを構成する制御システム間のネットワークに障害が発生したり、いずれかの制御システムに機能障害が発生したりすると、障害の箇所よりも下位にある制御システムが上位の制御システムと連携できなくなるという問題がある。通信障害への対策として、特許文献１には、通信経路を切り替える技術が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００４－３０４７２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１の技術は、通信ネットワークの障害発生時に、メッセージを転送するのに要する時間が最短となる通信先への切り替えを行うというものである。この手法は、複数の制御システムが多段階に接続された多段階システムに適用した場合、障害が発生したときに特定の上位の制御システムへ下位の制御システムからの接続が集中し、上位の制御システムあるいはその通信経路への負荷が大きくなるという課題がある。

【0009】

本開示に含まれるひとつの目的は、接続を切り替えても計算機システム間のオーケストレーションを維持するとともに特定の計算機システムへの負荷の集中を抑制することを可能にする技術を提供することである。

【課題を解決するための手段】

【0010】

本開示に含まれるひとつの態様による多段階システムは、オーケストレーションが行われる多段階の計算機システムによる多段階システムであって、多段階のツリートポロジを呈するように、オーケストレーション情報を送受信可能に相互に接続された複数の計算機システムを有し、前記計算機システムは、前記ツリートポロジにおける自身の直上の計算機システム、前記ツリートポロジにおける最上位の計算機システム、および前記直上の計算機システムと最上位の計算機システムとの間にある計算機システムを含む上位計算機システムに参入でき、前記上位計算機システムに参入すると前記上位計算機システムから前記オーケストレーション情報を受信することが可能となる。

【0011】

本開示に含まれるひとつの態様による計算機システムは、オーケストレーションが行われる多段階の計算機システムによる多段階システムに含まれる計算機システムであって、前記多段階システムは、多段階のツリートポロジを呈するように、オーケストレーション情報を送受信可能に相互に接続された複数の計算機システムを有し、前記計算機システムは、前記ツリートポロジにおける自身の直上の計算機システム、前記ツリートポロジにおける最上位の計算機システム、および前記直上の計算機システムと最上位の計算機システムとの間にある計算機システムを含む上位計算機システムに参入し、前記上位計算機システムに参入した後に、前記上位計算機システムから前記オーケストレーション情報を受信する。

【0012】

本開示に含まれるひとつの態様による多段階システム管理方法は、オーケストレーションが行われる多段階の計算機システムによる多段階システムを管理するための多段階システム管理方法であって、前記多段階システムは、多段階のツリートポロジを呈するように、オーケストレーション情報を送受信可能に相互に接続された複数の計算機システムを有しており、前記計算機システムが、前記ツリートポロジにおける自身の直上の計算機システム、前記ツリートポロジにおける最上位の計算機システム、および前記直上の計算機システムと最上位の計算機システムとの間にある計算機システムを含む上位計算機システムに参入し、前記上位計算機システムに参入後に、前記上位計算機システムから前記オーケストレーション情報を受信する。

【発明の効果】

【0013】

本発明によれば、接続を切り替えても計算機システム間のオーケストレーションを維持するとともに特定の計算機システムへの負荷の集中を抑制することを可能にする多段階システム、計算機システム、および多段階システム管理方法を提供できる。

【図面の簡単な説明】

【0014】

【図1】本開示の実施形態に係る多段階システムの構成例を示すブロック図である。

【図2】サブシステムの構成例を示すブロック図である。

【図3】デプロイに用いる情報を例示する図である。

【図4】自システムへのデプロイを例示するシーケンス図である。

【図5】トポロジ情報を例示する図である。

【図6】サブシステムから上位システムへの接続処理を例示するシーケンス図である。

【図7】サブシステムで障害が発生した場合の構成変更を例示するシーケンス図である。

【図8】サブシステムの障害が正常に復旧した際の、システム構成復旧を例示するシーケンス図である。

【発明を実施するための形態】

【0015】

以下、本発明を実施するための形態として、図面を参照しつつ説明する。

【0016】

図１は、本開示の実施形態に係る多段階システムの構成例を示すブロック図である。

【0017】

多段階システム１は、オーケストレーションが行われる多段階の計算機システムによる多段階システムであって、多段階のツリートポロジを呈するように、オーケストレーション情報を送受信可能に相互に接続された複数の計算機システムを有する。オーケストレーション情報とは、ソフトウェア更新のための情報や、制御対象への制御などのための情報を指す。

【0018】

図示した例では、多段階システム１は、それぞれが計算機システムである最上位システム１００と複数のサブシステム２１０とで構成される。サブシステム２１０の例として、サブシステム２１０Ａ－１、２１０Ａ－２、２１０Ａ－３、２１０Ｂ－１、２１０Ｃ－１、および２１０Ｄ－１の６つを示している。サブシステム２１０の数や互いの接続構成は、図示した例には限られない。これらの複数の計算機システムが、多段階のツリートポロジを呈する。言い換えると、複数の計算機システムがツリー状に構成される。最上位システム１００およびサブシステム２１０は、それぞれ計算機を含む計算機システムである。

【0019】

最上位システム１００は、業務処理部１１０と、多段システム構成部２２０とを備える。業務処理部１１０は、データ分析や新サービスを創成するための機能を有する。

【0020】

最上位システム１００と複数のサブシステム２１０とは、ツリー構造を呈するように、インターネット等の通信ネットワークを介して通信可能に接続される。そのため、あるサブシステムは、別のサブシステムまたは最上位システムを上位システムとする。また、あるサブシステムは、その上位システムに参入する。サブシステム２１０のそれぞれは、最上位システム１００と同様に、多段システム構成部２２０を備える。

【0021】

下位システムが上位システムに参入すると、上位システムからオーケストレーション情報を受信できるようになる。すなわち、計算機システムは、ツリートポロジにおける自身の直上の計算機システム、ツリートポロジにおける最上位の計算機システム、および直上の計算機システムと最上位の計算機システムとの間にある計算機システムを含む上位計算機システムに参入でき、上位計算機システムに参入すると上位計算機システムからオーケストレーション情報を受信することが可能となるものである。

【0022】

図２は、サブシステム２１０の構成例を示すブロック図である。サブシステム２１０は、多段システム構成部２２０と、１以上の装置２７０と、作業者用端末２８０と、業務処理部２９０とを備える。

【0023】

１以上の装置２７０は、サブシステムのサービス提供を受ける装置であり、プロセッサ、メモリ、入力装置、出力装置などの一般的な構成を有する。図中では、装置２７０－１と２７０－２の２つの装置を記載しているが、装置の数は２つに限られない。１以上の装置２７０は、多段システム構成部２２０や他の装置などからの通信を管理する通信管理部２７１を有する。１以上の装置２７０は、サブシステム管理部２５０からのソフトウェアの配信を取得する配信取得部２７２を有する。

【0024】

作業者用端末２８０は、典型的には作業者が操作するＰＣなどの端末装置である。作業者用端末２８０や、プロセッサ、メモリ、入力装置、出力装置などの一般的な構成を有する。

【0025】

業務処理部２９０は、最上位システム１００における業務処理部１１０と同様に、データ分析や新サービスを創成するための機能を有する。

【0026】

多段システム構成部２２０は、構成管理部２４１と、監視部２４２と、サブシステム管理部２５０と、記憶部２６０とを備える。

【0027】

構成管理部２４１は、多段階システム１の構成を管理する機能を有する。より具体的には、計算機システムが備える構成管理部２４１は、ツリートポロジにおける自身の直上の計算機システムとの通信が障害になると、直上の計算機システムの直上の計算機システムに一時的に参入する。また、計算機システムが備える構成管理部２４１は、自身の直下の計算機システムより下位の計算機システムからの一時的な参入を受け入れたのち直下の計算機システムとの通信が正常と判定すると、一時的に参入させた計算機システムを除外する。計算機システムが備える構成管理部２４１は、一時的に参入した先の計算機システムから除外されると、自身の直上の計算機システムとの通信が正常であれば、その直上の計算機システムに参入する。構成管理部２４１は上記のような、計算機システムの参入、および計算機システムの除外を行う。

【0028】

監視部２４２は、接続されている他のサブシステムの生死監視と、ネットワーク監視とを行う機能を有する。生死監視とは、監視対象のシステムが正常に稼動しているか否かを監視することを意味する。

【0029】

サブシステム管理部２５０は、サブシステム２１０の装置２７０の状態管理を行う機能を有する。サブシステム管理部２５０は、装置２７０に対してソフトウェアの配信を行う。サブシステム管理部２５０は、上位システムからのソフトウェア配信要求に応じて、サブシステム２１０に含まれている装置２７０の機能の更新を行う。サブシステム管理部２５０は、他のサブシステムからの要求に対して、システム内で障害が発生しているか否かなどの状態情報を当該他のサブシステムなどに送信する。

【0030】

記憶部２６０は、上位トポロジ情報２６１と、下位トポロジ情報２６２と、自システム構成情報２６３と、下位システム構成情報２６４と、自システムデプロイ情報２６５と、下位システムデプロイ情報２６６とを備える。なお、自システム構成情報２６３と、下位システム構成情報２６４と、自システムデプロイ情報２６５と、下位システムデプロイ情報２６６とを、併せてメタデータと表記する。

【0031】

上位トポロジ情報２６１は、ツリートポロジにおいて自身よりも上位に位置する計算機システムの接続構成を示す情報である。なお、上位トポロジ情報２６１には、自システムの情報も含まれてよい。下位トポロジ情報２６２は、自身より下位に位置する計算機システムの接続構成を示す情報である。なお、下位トポロジ情報２６２には、自システムの情報も含まれてよい。自システム構成情報２６３は、自システムのシステム構成を示す情報である。下位システム構成情報２６４は、自身よりも下位に位置する計算機システムのシステム構成を示す情報である。自システムデプロイ情報２６５は、自身にソフトウェアをデプロイするための種々の情報である。下位システムデプロイ情報２６６は、自身よりも下位に位置する計算機システムにソフトウェアをデプロイするための種々の情報である。

【0032】

上位トポロジ情報２６１は、自身のサブシステムから見て、接続されている上位のサブシステムの情報を階層情報として備える。下位トポロジ情報２６２は、自身のサブシステムから見て、下位に接続されるすべてのサブシステムの情報を備える。サブシステムの情報は、各計算機システムを一意に決定できる識別子とネットワーク接続に必要なＩＰアドレスを含む。

【0033】

すなわち、複数の計算機システムのそれぞれは、ツリートポロジにおいて自身よりも上位に位置する計算機システムの接続構成を示す上位トポロジ情報と、自身より下位に位置する計算機システムの接続構成を示す下位トポロジ情報と、自身のシステム構成を示す自システム構成情報と、自身にソフトウェアをデプロイするための自システムデプロイ情報と、自身よりも下位に位置する計算機システムのシステム構成を示す下位システム構成情報と、自身よりも下位に位置する計算機システムにソフトウェアをデプロイするための下位システムデプロイ情報と、を記憶する。

【0034】

［システムのデプロイ方法およびメタデータの同期方法］
作業者用端末２８０から多段階システム１のデプロイに用いる情報について図３を参照して説明する。自システムへのデプロイ要求情報をＹＡＭＬ形式で記載した例を６００Ａに示す。ｋｉｎｄはＰｏｄリソースを示している。ｍｅｔａｄａｔａにオブジェクト名が示されている。ｓｐｅｃ以下が自システムデプロイ情報２６５である。下位システムへのデプロイ要求情報をＹＡＭＬ形式で記載した例を６００Ｂに示す。ｋｉｎｄに示されたＣｈｉｌｄＲｓｃは下位システムのサブシステム管理部２５０を示す。ｎａｍｅｓｐａｃｅは、事前に各階層のシステムごとに定義した固有のものである。このようにｋｉｎｄとｍｅｔａｄａｔａの内容が下位システムを示すとき、ｓｐｅｃ以下のｍａｎｉｆｅｓｔに含まれる情報が、下位システムデプロイ情報２６６である。デプロイ情報２６５、２６６は、図３に例示したような形式で複数のファイルに分かれていても、複数のデプロイ情報が連続して１つのファイルに記載されていても良い。また、デプロイ情報２６５、２６６の記載は別の形式でも良い。
。

【0035】

図４を参照して、自システムへのデプロイ方法について説明する。作業者が作業者用端末２８０からデプロイ要求情報を用いて構成管理部２４１へデプロイを要求すると（Ｓ７０１）、構成管理部２４１はデプロイ情報を解析し、自システムへのデプロイか否かを判断する（Ｓ７０２）。自システム向けのデプロイ情報であれば、構成管理部２４１は、自システムのサブシステム管理部２５０にデプロイを要求する（Ｓ７０３）。サブシステム管理部２５０は、デプロイ情報を取得すると自システムデプロイ情報２６５に登録し（Ｓ７０４）、対象の装置２７０の配信取得部２７２に必要なソフトウェアを配信する（Ｓ７０５）。配信取得部２７２は、ソフトウェアの受信を完了すると（Ｓ７０６）、サブシステム管理部２５０に受信完了を通知する（Ｓ７０７）。サブシステム管理部２５０は、サブシステム管理部２５０からの受信完了によりソフトウェアの配信が完了したことを検出すると、構成管理部２４１に完了を通知し（Ｓ７０８）。構成管理部２４１は、受信した完了通知が自システムからの要求に対する完了通知と判断すると（Ｓ７０９）、要求元である作業者用端末２８０に完了を通知する（Ｓ７１０）。さらに、構成管理部２４１は、上位トポロジ情報２６１の情報を参照し、自システムが参入している上位システムが存在する場合には、上位システムの構成管理部２４１にステップＳ７０１で受信したデプロイ要求情報の登録を要求する（Ｓ７１１）。登録要求を受信した上位システムの構成管理部２４１は、その情報を自システムの下位システムデプロイ情報２６６に登録する。

【0036】

続いて、下位システムへのデプロイ方法について説明する。図４のシーケンス図にて、Ｓ７０２でデプロイ要求を受信した構成管理部２４１は、そのデプロイ要求が下位システム向けの要求であれば、そのデプロイ要求情報を自システム内の下位システム情報２６６に登録し（Ｓ７２０）、下位システムの構成管理部２４１に要求情報を転送する（Ｓ７２１）。下位システムの構成管理部２４１は、上位システムから受信した情報が自システムへ配信されたものと判断すると、そのシステム内でのデプロイ作業を行う（Ｓ７０２～Ｓ７０９）。デプロイが完了すると、構成管理部２４１は、上位システムへ完了を通知する（Ｓ７２２）。下位システムに要求情報を転送した構成管理部２４１は、下位システムから完了通知を受け取ると、さらに要求元へ完了を通知する。

【0037】

図５を参照して、多段階システムのトポロジ情報の管理方法について説明する。図５には、多段階システムのトポロジ情報をテーブルで記載したテーブル８００が例示されている。上位トポロジ情報２６１と下位トポロジ情報２６２のどちらもテーブルの構成の仕方は基本的に同じである。テーブル８００のように、ツリートポロジにおける上位システムと下位システムの関係を記載しておくことで、自システム名の上位システムや下位システムを辿れることを可能とする。例えば、自システムがＳｙｓｔｅｍＡ－３であれば、直上の計算機システムがＳｙｓｔｅｍＡ－２であり、その更に直上の計算機システムがＳｙｓｔｅｍＡ－１であることが分かる。

【実施例0038】

以下、少なくとも３つのシステムを備えた多段階システム１における実施例を説明する。本例において多段階システム１は、ツリートポロジに階層化されて接続された３つの計算機システムを備える。３つのシステムを、第１計算機システム、第２計算機システム、第３計算機システムと表記することがある。

【0039】

複数の計算機システムには、第１計算機システムと、第１計算機システムの直下の第２計算機システムと、第２計算機システムの直下の第３計算機システムとが含まれる。第２計算機システムに障害が発生すると、第３計算機システムが第１計算機システムに一時的な参入を要求し、第１計算機システムが第３計算機システムの一時的な参入を受け入れる。

【0040】

第２計算機システムの障害が復旧すると、第１計算機システムが第３計算機システムの一時的な参入を除外し、第３計算機システムが第２計算機システムに参入を要求し、第２計算機システムが第３の計算機システムの参入を受け入れる。

【0041】

第２計算機システムに障害が発生した場合、以下のような処理が行われる。第３計算機システムは、上位トポロジ情報を参照することにより第２計算機システムの直上にあることが特定される第１計算機システムに対して、下位トポロジ情報と、自システム構成情報と、自システムデプロイ情報と、下位システム構成情報と、下位システムデプロイ情報とを送信し、一時的な参入を要求する。第１計算機システムは、第３計算機システムから一時的な参入の要求を受けると、自身の下位トポロジ情報を参照して第３計算機システムが自身の下位の計算機システムであることにより一時的な参入を受け入れ可能と判定し、該一時的な参入を受け入れるとともに、第３計算機システムから受信した下位トポロジ情報と自システム構成情報と自システムデプロイ情報と下位システム構成情報と下位システムデプロイ情報とを一時情報として記録し、一時情報を自身の直上の計算機システムに送信する。第１計算機システムは、第３計算機システムの一時的な参入を受け入れている間、一時情報を利用してオーケストレーション情報を送信する。

【0042】

第３計算機システムの一時的な参入を受け入れている間に第２計算機システムの障害が復旧した場合、以下のような処理が行われる。第１計算機システムは、第３計算機システムの一時的な参入を受け入れている間に第２計算機システムの障害が復旧すると、第３計算機システムに一時的な参入の解除を通知する。第３計算機システムは、第１計算機システムから一時的な参入の解除の通知を受けると、上位トポロジ情報を参照してツリートポロジにおいて自身の直上にある第２計算機システムを特定し、第２計算機システムに参入を要求する。第２計算機システムは、第３計算機システムから参入の要求を受けると、自身の下位トポロジ情報を参照して第３計算機システムが自身の直下の計算機システムであることにより参入を受け入れ可能と判断し、該参入を受け入れる。

【0043】

［上位システムへの参入処理］
図６は、サブシステムから上位システムへの接続処理を例示するシーケンス図である。なお、図１に示したサブシステム２１０Ａ－３からの接続処理例を示す。図６における、サブシステムと計算機システムとの対応関係は以下の通りである。サブシステム２１０Ａ－１が第１計算機システムに対応する。サブシステム２１０Ａ－２が第２計算機システムに対応する。サブシステム２１０Ａ－３が第３計算機システムに対応する。

【0044】

作業者は作業者用端末２８０を操作して、サブシステム２１０Ａ－３の構成管理部２４１に、サブシステム２１０Ａ－２への参入を要求する（Ｓ３０１）。

【0045】

サブシステム２１０Ａ－３の構成管理部２４１は、記憶部２６０に記憶されたメタデータと、下位トポロジ情報２６２を取得する（Ｓ３０２）。

【0046】

サブシステム２１０Ａ－３の構成管理部２４１は、取得した下位トポロジ情報と、サブシステム２１０Ａ－３を一意に決定するための識別子と、メタデータと、接続要求とを、参入情報としてサブシステム２１０Ａ－２の構成管理部２４１に送付する（Ｓ３０３）。

【0047】

サブシステム２１０Ａ－２の構成管理部２４１は、下位システム（本例ではサブシステム２１０Ａ－３）から参入情報を受信すると、自身が持つ下位トポロジ情報２６２を参照し、取得した識別子に基づいて、新規接続であるか構成変更であるかを判定する（Ｓ３０４）。ステップＳ３０４において、識別子がサブシステム２１０Ａ－２の下位トポロジ情報２６２に含まれていない場合には、新規接続であると判定する。新規接続であると判定された場合、サブシステム２１０Ａ－２の構成管理部２４１は、取得した下位トポロジ情報２６２とメタデータとを、記憶部２６０に登録する（Ｓ３０５）。

【0048】

サブシステム２１０Ａ－２の構成管理部２４１は、記憶部２６０から上位トポロジ情報２６１を取得し（Ｓ３０６）、取得した上位トポロジ情報をサブシステム２１０Ａ－３の構成管理部２４１に送付する（Ｓ３０７）。

【0049】

サブシステム２１０Ａ－３の構成管理部２４１は、上位トポロジ情報を取得すると、自身が管理する上位トポロジ情報２６１を更新し（Ｓ３０８）、作業者用端末２８０に参入完了を通知する（Ｓ３０９）。

【0050】

ステップＳ３０６において、サブシステム２１０Ａ－２からみた上位システムがある場合、サブシステム２１０Ａ－２の構成管理部２４１は、取得したメタデータとトポロジ情報とを、上位システムであるサブシステム２１０Ａ－１に送信し、更新を要求する（Ｓ３１０）。

【0051】

サブシステム２１０Ａ－１の構成管理部２４１は、メタデータとトポロジ情報を取得すると、自身が管理する下位トポロジ情報２６２とメタデータとを更新し（Ｓ３１１）、サブシステムＡ－２の構成管理部２４１に接続完了を通知する（Ｓ３１２）。

【0052】

なお、サブシステム２１０Ａ－３の構成管理部２４１は、ステップＳ３０３を実行する前に、サブシステム２１０Ａ－２との通信ができるか否かを確認し、通信可能である場合に参入処理に係るステップＳ３０３以降を行う手順としても良い。

【0053】

［障害発生時の構成変更］
図７は、サブシステムで障害が発生した場合の構成変更を例示するシーケンス図である。図７における、サブシステムと計算機システムとの対応関係は以下の通りである。サブシステム２１０Ａ－２が第１計算機システムに対応する。サブシステム２１０Ａ－３が第２計算機システムに対応する。サブシステム２１０Ａ－４が第３計算機システムに対応する。

【0054】

サブシステム２１０Ａ－４の監視部２４２が、参入済みである上位のサブシステム２１０Ａ－３で障害が発生していることを検知すると、図７に示した処理が開始される。

【0055】

サブシステム２１０Ａ－４の構成管理部２４１は、自身の上位トポロジ情報２６１を参照（Ｓ４０１）して、障害が発生したサブシステム２１０Ａ－３に代わる上位システムを探索する。本例では、サブシステム２１０Ａ－３のさらに上位システムであるサブシステム２１０Ａ－２を、新たな接続先すなわち、参入の対象となる上位システムであると、サブシステム２１０Ａ－４の構成管理部２４１が決定する（Ｓ４０２）。

【0056】

サブシステム２１０Ａ－４の構成管理部２４１は、記憶部２６０からメタデータと下位トポロジ情報２６２を取得する（Ｓ４０３）。

【0057】

サブシステム２１０Ａ－４の構成管理部２４１は、取得したメタデータと下位トポロジ情報２６２とを含む参入情報を、新たな一時的接続先であるサブシステム２１０Ａ－２に送付する（Ｓ４０４）。

【0058】

参入情報を受信したサブシステム２１０Ａ－２の構成管理部２４１は、下記の構成変更処理を行う。

【0059】

サブシステム２１０Ａ－２の構成管理部２４１は、下位システム（本例ではサブシステム２１０Ａ－４）からの参入情報を受信すると、自身が持つ下位トポロジ情報２６２を参照し、取得した識別子に基づいて、新規接続であるか構成変更であるかを判定する（Ｓ４０５）。本例では、サブシステム２１０Ａ－２の下位トポロジ情報２６２に既にサブシステム２１０Ａ－４の識別子が含まれているため、構成変更であるとサブシステム２１０Ａ－２の構成管理部２４１が判定して、ステップＳ４０６に進む。

【0060】

サブシステム２１０Ａ－２の構成管理部２４１は、サブシステム２１０Ａ－４から取得したメタデータと下位トポロジ情報とを含む参入情報を、変更情報として保持し（Ｓ４０６）、障害が復旧するまでは変更情報を参照して利用する。

【0061】

サブシステム２１０Ａ－２の構成管理部２４１は、変更情報を上位のサブシステム２１０Ａ－１に送信し（Ｓ４０７）、構成変更を要求する。サブシステム２１０Ａ－１の構成管理部２４１は、サブシステム２１０Ａ－２から取得したメタデータと下位トポロジ情報とを含む参入情報を、変更情報として保持し（Ｓ４０８）、障害が復旧するまでは変更情報を参照して利用する。

【0062】

サブシステム２１０Ａ－１の構成管理部２４１は、変更完了通知をサブシステム２１０Ａ－２の構成管理部２４１に送信する（Ｓ４０９）。変更完了通知を受信したサブシステム２１０Ａ－２の構成管理部２４１は、参入完了通知をサブシステム２１０Ａ－４の構成管理部２４１に送信する（Ｓ４１０）。

【0063】

なお、サブシステム２１０Ａ－１がさらに上位のシステムに参入している場合には、ステップＳ４０８の直後などにおいて、サブシステム２１０Ａ－１の構成管理部２４１が、さらに上位のサブシステムの構成管理部２４１に対して構成変更要求を送信し、更新完了通知を受信する。このように、より上位のシステムに対して構成変更要求を送信し、更新完了通知を受信する処理を、最上位システム１００に達するまで繰り返す。

【0064】

［システム構成復旧］
図８は、サブシステムの障害が正常に復旧した際の、システム構成復旧を例示するシーケンス図である。本例では、サブシステム２１０Ａ－２と２１０Ａ－３との間の通信異常が正常に復旧した場合を説明する。

【0065】

図８における、サブシステムと計算機システムとの対応関係は以下の通りである。サブシステム２１０Ａ－２が第１計算機システムに対応する。サブシステム２１０Ａ－３が第２計算機システムに対応する。サブシステム２１０Ａ－４が第３計算機システムに対応する。

【0066】

障害が復旧したとサブシステム２１０Ａ－２の監視部２４２が判断した場合、サブシステム２１０Ａ－２の構成管理部２４１は、構成変更の有無を判定する（Ｓ５０１）。この判定は、例えば、図７に示した構成変更処理が行われた結果、変更情報として参入情報が保持されているか否かに基づいて行われてよい。

【0067】

構成変更ありと判定された場合、サブシステム２１０Ａ－２の構成管理部２４１は、下位システム（本例では、サブシステム２１０Ａ－４）におけるサブシステム管理部２５０の状態を判定する（Ｓ５０２）。状態が正常である場合、すなわちサブシステム２１０Ａ－４が正常動作していることが確認できた場合、サブシステム２１０Ａ－２の構成管理部２４１は、サブシステム２１０Ａ－４の構成管理部２４１に除外通知を送信する。この除外通知は、障害が復旧したので、サブシステム２１０Ａ－４のサブシステム２１０Ａ－２への一時的な参入を除外し、構成変更された状態から元の状態へと構成を戻す旨の情報を含む。

【0068】

サブシステム２１０Ａ－４の構成管理部２４１は、サブシステム２１０Ａ－２の構成管理部２４１に除外完了通知を送信する（Ｓ５０３）。

【0069】

サブシステム２１０Ａ－４の構成管理部２４１は、自身の上位トポロジ情報２６１を取得（Ｓ５０５）して、障害からの復旧後の接続先を決定する（Ｓ５０７）。本例では、サブシステム２１０Ａ－４の直上のサブシステム２１０Ａ－３を、新たな接続先、すなわち再度参入する対象となる上位システムであると、サブシステム２１０Ａ－４の構成管理部２４１が決定する。

【0070】

なお、サブシステム２１０Ａ－４の構成管理部２４１は、サブシステム管理部２５０を介して、上位のサブシステム（本例では、サブシステム２１０Ａ－３）の状態を判定してもよい（Ｓ５０６）。すなわち、自身の直上の計算機システムであるサブシステム２１０Ａ－３との通信が正常であれば、直上の計算機システムに参入するという処理にしてもよい。

【0071】

サブシステム２１０Ａ－４の構成管理部２４１は、記憶部２６０からメタデータと下位トポロジ情報２６２とを取得する（Ｓ５０８）。

【0072】

サブシステム２１０Ａ－４の構成管理部２４１は、取得したメタデータと下位トポロジ情報２６２とを含む参入情報を、本来の参入先であるサブシステム２１０Ａ－３に送付する（Ｓ５０９）。

【0073】

サブシステム２１０Ａ－４からみた上位システムであるサブシステム２１０Ａ－３、２１０Ａ－２、および２１０Ａ－１の各々の構成管理部２４１は、構成変更処理を行う（Ｓ５１０）。より具体的には、以下の通りである。サブシステムの構成管理部２４１は、参入情報を下位のサブシステムから受信すると、新規参入であるか構成変更であるかを判定する。本例では構成変更に該当するので、構成管理部２４１は、下位のサブシステムから取得したメタデータと下位トポロジ情報とを含む参入情報を、変更情報として保持し、それ以後は変更情報を参照して利用する。
また、サブシステムの構成管理部２４１は、取得した参入情報をより上位のサブシステムに送信し、構成変更を要求する。これらの処理を、最上位システムに到達するまで繰り返す。

【0074】

ステップＳ５１１においてサブシステム２１０Ａ－３の構成管理部２４１は、サブシステム２１０Ａ－４の構成管理部２４１に参入完了を通知する。

【0075】

［監視処理］
次に、図２を参照して、監視部２４２が行う監視処理について説明する。

【0076】

監視部２４２は上位トポロジ情報２６１から自サブシステムの参入対象となる上位サブシステムの情報を取得する。監視部２４２は下位トポロジ情報２６２から自身に参入している下位サブシステムの情報を取得する。

【0077】

監視部２４２は、自サブシステムと参入／被参入関係のある各サブシステムのサブシステム管理部２５０を介して生死監視を行う。サブシステムとの通信状態が不通であるか、またはサブシステム管理部２５０からの状態情報が障害を意味する場合には、自サブシステムの構成管理部２４１にシステム変更通知を発行する。システム変更通知を受信した構成管理部２４１は、図４に示したような処理を行うことにより、サブシステムの参入の繋ぎ変えを行う。

【0078】

以上のように、オーケストレーションが行われる多段階の計算機システムによる多段階システムが、多段階のツリートポロジを呈するように、オーケストレーション情報を送受信可能に相互に接続された複数の計算機システムを有し、計算機システムは、ツリートポロジにおける自身の直上の計算機システム、ツリートポロジにおける最上位の計算機システム、および直上の計算機システムと最上位の計算機システムとの間にある計算機システムを含む上位計算機システムに参入でき、上位計算機システムに参入すると上位計算機システムからオーケストレーション情報を受信することが可能となる。

【0079】

オーケストレーションが行われる多段階の計算機システムによる多段階システムに含まれる計算機システムにおいて、多段階システムは、多段階のツリートポロジを呈するように、オーケストレーション情報を送受信可能に相互に接続された複数の計算機システムを有し、計算機システムは、ツリートポロジにおける自身の直上の計算機システム、ツリートポロジにおける最上位の計算機システム、および直上の計算機システムと最上位の計算機システムとの間にある計算機システムを含む上位計算機システムに参入する機能と、上位計算機システムに参入した後に、上位計算機システムからオーケストレーション情報を受信する機能と、を有する。

【0080】

オーケストレーションが行われる多段階の計算機システムによる多段階システム管理方法において、多段階システムは、多段階のツリートポロジを呈するように、オーケストレーション情報を送受信可能に相互に接続された複数の計算機システムを有しており、多段階システム管理方法としては、計算機システムが、ツリートポロジにおける自身の直上の計算機システム、ツリートポロジにおける最上位の計算機システム、および直上の計算機システムと最上位の計算機システムとの間にある計算機システムを含む上位計算機システムに参入する参入ステップと、上位計算機システムに参入後に、上位計算機システムからオーケストレーション情報を受信する受信ステップと、を有する。

【0081】

以上により、障害発生時に上位と下位の計算機システム間の連携を維持するとともに特定の計算機システムへの負荷の集中を抑制することができる。

【0082】

計算機システムは、ツリートポロジにおける自身の直上の計算機システムとの通信が障害になると、直上の計算機システムの直上の計算機システムに一時的に参入し、自身の直下の計算機システムより下位の計算機システムからの一時的な参入を受け入れたのち直下の計算機システムとの通信が正常と判定すると、一時的に参入させた計算機システムを除外し、一時的に参入した先の計算機システムから除外されると、自身の直上の計算機システムとの通信が正常であれば、直上の計算機システムに参入する。これにより、障害がないときには定常ツリートポロジのオーケストレーションを維持するとともに、障害時には一時的な参入によってオーケストレーションを可能にすることができる。

【0083】

複数の計算機システムには、第１計算機システムと、第１計算機システムの直下の第２計算機システムと、第２計算機システムの直下の第３計算機システムとが含まれ、第２計算機システムに障害が発生すると、第３計算機システムが第１計算機システムに一時的な参入を要求し、第１計算機システムが第３計算機システムの一時的な参入を受け入れ、第２計算機システムの障害が復旧すると、第１計算機システムが第３計算機システムの一時的な参入を除外し、第３計算機システムが第２計算機システムに参入を要求し、第２計算機システムが第３計算機システムの参入を受け入れる。これにより、第２計算機システムに障害が発生した場合に、第３計算機システムを第１計算機システムに参入させることで、オーケストレーションを維持しつつ、障害が復旧したら、第３計算機システムを再び第２計算機システムに参入させることにより、元の構成に戻すことができる。

【0084】

複数の計算機システムのそれぞれが、ツリートポロジにおいて自身よりも上位に位置する計算機システムの接続構成を示す上位トポロジ情報と、自身より下位に位置する計算機システムの接続構成を示す下位トポロジ情報と、自身のシステム構成を示す自システム構成情報と、自身にソフトウェアをデプロイするための自システムデプロイ情報と、自身よりも下位に位置する計算機システムのシステム構成を示す下位システム構成情報と、自身よりも下位に位置する計算機システムにソフトウェアをデプロイするための下位システムデプロイ情報と、を記憶し、第２計算機システムに障害が発生すると、第３計算機システムは、上位トポロジ情報を参照することにより第２計算機システムの直上にあることが特定される第１計算機システムに対して、下位トポロジ情報と、自システム構成情報と、自システムデプロイ情報と、下位システム構成情報と、下位システムデプロイ情報とを送信し、一時的な参入を要求し、第１計算機システムは、第３計算機システムから一時的な参入の要求を受けると、自身の下位トポロジ情報を参照して第３計算機システムが自身の下位の計算機システムであることにより一時的な参入を受け入れ可能と判定し、該一時的な参入を受け入れるとともに、第３計算機システムから受信した下位トポロジ情報と自システム構成情報と自システムデプロイ情報と下位システム構成情報と下位システムデプロイ情報とを一時情報として記録し、一時情報を自身の直上の計算機システムに送信し、第１計算機システムは、第３計算機システムの一時的な参入を受け入れている間、一時情報を利用してオーケストレーション情報を送信する。これにより、上位下位の関係性を有する複数の計算機システムの間でトポロジ情報とメタデータとを適切に提供することで、オーケストレーションを維持しつつ障害発生に対応することができる。

【0085】

第１計算機システムは、第３計算機システムの一時的な参入を受け入れている間に第２計算機システムの障害が復旧すると、第３計算機システムに一時的な参入の解除を通知し、第３計算機システムは、第１計算機システムから一時的な参入の解除の通知を受けると、上位トポロジ情報を参照してツリートポロジにおいて自身の直上にある第２計算機システムを特定し、第２計算機システムに参入を要求し、第２計算機システムは、第３計算機システムから参入の要求を受けると、自身の下位トポロジ情報を参照して第３計算機システムが自身の直下の計算機システムであることにより参入を受け入れ可能と判断し、該参入を受け入れる。これにより、第３計算機システムの一時的な参入を受け入れている間に第２計算機システムの障害が復旧した場合に、第３計算機システムの参入先を第１計算機システムから第２計算機システムへと適切に切り替えることができる。

【符号の説明】

【0086】

１…多段階システム、１００…最上位システム、１１０…業務処理部、２１０，２１０Ａ－１，２１０Ａ－２，２１０Ａ－３，２１０Ａ－４，２１０Ｂ－１，２１０Ｃ－１…サブシステム、２２０…多段システム構成部、２４１…構成管理部、２４２…監視部、２５０…サブシステム管理部、２６０…記憶部、２７０…装置、２７１…通信管理部、２７２…配信取得部、２８０…作業者用端末、２９０…業務処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】