発明が解決しようとする課題[発明の詳細な説明]から抜粋

ＧＣは、特定のプロセスがメモリ領域を参照する予定があるとしても、プロセスが参照していないと判断する場合には、該メモリ領域を回収する。そのため、プロセスが該メモリ領域におけるデータを処理する場合に、メモリ管理機能は、再び、ディスクから該メモリ領域にデータを読み込む。プロセスとＧＣとの間において競合が発生するため、システムの処理性能は、劣化する。 図１７と図１８とを参照しながら、プロセスとＧＣとの間において競合が発生することに起因する性能劣化の例について説明する。図１７は、本発明に関連する分散データストアが有するデータの一例を概念的に表す図である。図１８は、本発明に関連するジョブに関する定義の一例を概念的に表す図である。 分散データストアは、処理すべきデータ（以降、「処理データ」と表す）を有する。
図１７において、処理データは、Ａ、Ｂ、Ｃ、Ｖ、Ｗ、Ｘ、Ｙ、及び、Ｚである。各ノードは、入出力インターフェースを介して、処理データを保持する。 また、分散システムは、１つのデータを、複数のノードにおいて重複して保持することもできる。その場合、分散システムは、あるノードにおいて障害が発生する場合でも、リモートノードが保持するデータから、自ノードにデータを復元する。この例において、分散システムは、１つのデータに対して、１つの複製データを保持する。 図１７において、データ（Ａ）は、処理データＡの複製であることを表す。即ち、Ｎｏｄｅ−３（ノード−３）におけるディスク型データストアは、処理データＡの複製と、処理データＢの複製とを記憶する。以下の説明においては、オリジナルのデータ（例えば、データセットＡ）をマスターデータと表し、複製したデータ（例えば、データセット（Ａ））を複製データと表すこともある。 データセットＡ、Ｂ、Ｃは、バッチ処理の処理対象データであり、それぞれのデータ間に依存関係が無いとする。例えば、データセットＡ、Ｂ、Ｃは、店舗エリアＡ、店舗エリアＢ、店舗エリアＣにおける商品の取引データである。以下の説明において、データセットＡ、Ｂ、及び、Ｃが、データセットＸ、Ｙ、及び、Ｚに依存するとする。例えば、データセットＡがデータセットＸに依存し、データセットＢがデータセットＸ、及び、Ｙに依存し、データセットＣがデータセットＸ、Ｙ、及び、Ｚに依存するとする
データセットＡ、Ｂ、Ｃのデータサイズは、それぞれ、図１７におけるＮｏｄｅ−１乃至Ｎｏｄｅ−３のオンメモリ型データストアが確保可能なメモリサイズを総和した値よりも極めて大きいとする。ただし、データセットＡ、Ｂ、及び、Ｃのデータサイズは、ディスク型データストアが確保可能なディスク容量の総和よりは十分に小さいとする。 データセットＸ、Ｙ、及び、Ｚは、それぞれのデータ間に依存性が無いとする。例えば、データセットＸ、Ｙ、及び、Ｚは、商品マスターデータのデータセットである。 さらに、データセットＸ、Ｙ、Ｚ、Ｖ、及び、Ｗのデータサイズを総和したサイズは、Ｎｏｄｅ−１乃至Ｎｏｄｅ−３におけるオンメモリ型データストアが確保可能なメモリサイズの総和よりも大きく、かつ、全てのデータは、オンメモリ型データストアに配置できないとする。さらに、本例では、データセットＸとＹとを合わせたデータサイズは、各ノードにおける各々のオンメモリ型データストアが格納可能な上限サイズであるとする。 図１７を参照すると、オンメモリ型データストア（図１７における「メモリ」の列にある値が記憶するデータを表す）は、データセットＸ、Ｙを有し、ディスク型データストア（図１７における「ディスク」の列にある値が記憶するデータを表す）は、データセットＺ、Ｖ、Ｗを有する。 ジョブ制御は、図１８に示すｊｏｂ１のジョブ定義に基づき、ｊｏｂ１に含まれるｓｔｅｐ１（図１８におけるｓｔｅｐ１−１と、ｓｔｅｐ１−２と、ｓｔｅｐ１−３とを合わせた処理と等価）の処理をＮｏｄｅ−１と、Ｎｏｄｅ−２と、Ｎｏｄｅ−３とに振り分ける。ジョブ制御は、分散データストアが保持するデータの配置情報を参照することにより、可能な限り処理対象のデータが存在するノードに、分割する処理を割り当てる。 図１７を参照すると、例えば、処理データセット（以降、単に「データセット」と表す）ＡのマスターデータがＮｏｄｅ−２に存在するため、Ｎｏｄｅ−２は、ｓｔｅｐ１−２が処理を開始する。Ｎｏｄｅ−１は、データセットＢのマスターデータを有するため、ｓｔｅｐ１−１を処理する。Ｎｏｄｅ−２は、データセットＣのマスターデータを有する一方で、Ｎｏｄｅ−１は、データセットＣの複製（コピー）データを有する。しかしながら、Ｎｏｄｅ−１は、ｓｔｅｐ１−１を処理し、Ｎｏｄｅ−２は、ｓｔｅｐ１−２を処理する。負荷分散のため、Ｎｏｄｅ−３は、残りのｓｔｅｐ１−３を処理する。 しかしながら、Ｎｏｄｅ−３は、分散データストアにデータセットＣを持たないため、マスターデータを有するＮｏｄｅ−２から、ネットワークを介して、データセットＣをコピーする。 Ｎｏｄｅ−２は、ｓｔｅｐ１−２において、ディスク型データストアからデータセットＡを読み取る。次に、Ｎｏｄｅ−２は、データセットＡがデータセットＸに依存するため、読み込んだデータセットＡと、Ｎｏｄｅ−２のオンメモリ型データストアにおけるデータセットＸとを結合し、結合したデータを処理する。 Ｎｏｄｅ−１は、ｓｔｅｐ１−１において、Ｎｏｄｅ−１のディスク型データストアからデータセットＢを読み取る。次に、Ｎｏｄｅ−１は、ｓｔｅｐ１−１において、データセットＢがデータセットＸとＹとに依存するため、読み込んだデータセットＡと、Ｎｏｄｅ−１のオンメモリ型データストアにおけるデータセットＸ、Ｙとを結合し、結合したデータを処理する。しかしながら、Ｎｏｄｅ−１におけるオンメモリ型データストアは、データセットＹを有さないため、ネットワークを介して、Ｎｏｄｅ−３にあるデータセットＹを参照する。 Ｎｏｄｅ−３は、ｓｔｅｐ１−３において、Ｎｏｄｅ−３のディスク型データストアからデータセットＣをと読み取る。次に、Ｎｏｄｅ−３は、ｓｔｅｐ１−３において、データセットＣがデータセットＸ、Ｙ、及び、Ｚに依存するため、読み取ったデータセットＣと、Ｎｏｄｅ−３のオンメモリ型データストアが有するデータセットＸ、Ｙ、及び、Ｚとの結合処理を行う。しかしながら、Ｎｏｄｅ−３におけるオンメモリ型データストアは、データセットＺを有さない。 そのため、Ｎｏｄｅ−３は、ｓｔｅｐ１−３において、データセットＺに含まれるデータに対するアクセスが発生するたびに、Ｎｏｄｅ−３のディスク型データストアからデータを読み込む。そのため、Ｎｏｄｅ−３は、ｓｔｅｐ１−３において処理性能が劣化し、その結果、ｊｏｂ１全体の処理性能も劣化する。 さらに、Ｎｏｄｅ−３は、データセットＺの全てを、オンメモリ型データストアに保持できない。加えて、Ｎｏｄｅ−３は、オンメモリ型データストアに、データセットＸおよびＹを既に有する。そのため、Ｎｏｄｅ−３のオンメモリ型データストアは、データセットＺを記憶する空き容量を持たない。その結果、Ｎｏｄｅ−３は、データセットＺを、空き容量が存在するＮｏｄｅ−１のオンメモリ型データストアに格納する。 データ管理部は、データセットＹ、または、Ｚに含まれるデータの中で、参照時刻が最も古いデータを、ディスク型データストアにパージする。しかしながら、該データを処理するノードは、パージされたデータを読み込むこともある。その処理は、追加的にディスクに対する入出力を伴うため、ｓｔｅｐ１−３およびｊｏｂ１の処理性能は、劣化する。 上述した説明においては、分散データストアを実現する方法として、各ノードは、１つのハッシュキーに関連付けされている。しかしながら、コンテキストハッシュ法における分散ハッシュテーブルによって、複数のノードが、１つのハッシュキーを共有することもある。 そこで、本発明の主たる目的は、処理性能の劣化を低減する制御システム等を提供することである。

課題を解決するための手段[発明の詳細な説明]から抜粋

本発明に係る制御システム等によれば、処理性能の劣化を低減することできる。