特開 2023-172807 データ処理システム及びデータ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023172807

(43)【公開日】2023-12-06

(54)【発明の名称】データ処理システム及びデータ処理方法

(51)【国際特許分類】

   G06F 9/44 20180101AFI20231129BHJP

【ＦＩ】

G06F9/44

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022084880

(22)【出願日】2022-05-24

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】羽原 拓哉

(72)【発明者】

【氏名】齊藤 信一郎

(72)【発明者】

【氏名】伊藤 大輔

【テーマコード（参考）】

5B376

【Ｆターム（参考）】

5B376AA32

5B376AE01

5B376CA36

5B376CA43

(57)【要約】      （修正有）

【課題】データ処理システムにおいて、多段的データ処理において無停止にてデータ処理設定変更を実現するデータ処理システム及びデータ処理方法を提供する。
【解決手段】データ処理システムにおいて、データ制御管理部は、データ処理に必要なデータ処理部の起動及びデータ処理に不必要なデータ処理部の停止を行うことにより多段的なデータ処理を停止することなくデータ処理設定の一部を変更又は新たなデータ処理設定を追加し、多段的なデータ処理を実行する際に、後段のデータ処理部は前段のデータ処理部において付与したタグを読み取ることによりデータ処理を実行したデータ処理部を判別する。
【選択図】図１

【特許請求の範囲】

【請求項1】

データ処理部に複数のデータ処理設定が混在する状態で前記データ処理設定の一部を変更又は新たな前記データ処理設定を追加して多段的なデータ処理を実行するデータ処理システムであって、
データ制御設計部とデータ制御管理部を有し、
前記データ制御設計部は、
前記データ制御設定にそれぞれ識別子であるタグを付与し、
前記データ制御管理部は、
前記データ処理に必要な前記データ処理部の起動及び前記データ処理に不必要な前記データ処理部の停止を行うことにより前記多段的なデータ処理を停止することなく前記データ処理設定の一部を変更又は新たな前記データ処理設定を追加し、
前記多段的なデータ処理を実行する際に、
後段の前記データ処理部は、
前段の前記データ処理部において付与した前記タグを読み取ることにより前記データ処理を実行した前記データ処理部を判別することを特徴とするデータ処理システム。

【請求項2】

前記データ処理部は、
データ処理設定変更対象とデータ処理設定変更非対象の前記データ処理設定を含み、
前記後段の前記データ処理部は、
前記データ処理設定が前記データ処理設定変更対象か前記データ処理設定変更非対象かを前記前記タグを読み取ることにより判別することを特徴とする請求項１に記載のデータ処理システム。

【請求項3】

前記データ制御設計部は、
複数のデータ処理フローにおける前記データ処理設定と前記データ処理設定が稼働する前記データ処理部を記憶するデータ制御設定記憶部を有し、
前記データ制御管理部は、
前記データ制御設定を変更又は追加する際に、前記データ処理フローの前記データ処理設定を実行するすべての前記データ処理部に対して前記データ処理部の起動及び停止を指示するデータ処理部起動停止実行部を有し、
前記データ処理部起動停止実行部は、
前記データ処理に必要なデータ処理部の起動と前記データ処理に不必要なデータ処理部の停止を実行することを特徴とする請求項１に記載のデータ処理システム。

【請求項4】

前記データ処理部起動停止実行部は、
データ処理設定変更後の前記データ制御内容が意図通りかを判定し、
前記データ処理設定変更後の前記データ制御内容が前記意図通りであると判定された場合、
データ処理設定変更前の前記データ処理部を停止させ、前記データ処理設定変更後の前記データ処理部を起動させることを特徴とする請求項３に記載のデータ処理システム。

【請求項5】

前記データ処理部起動停止実行部は、
データ処理設定変更後の前記意図通りでないと判定された場合、
前記データ処理設定変更前の前記データ処理部を起動させ、前記データ処理設定変更後の前記データ処理部を停止させることにより、変更前の前記データ処理設定へ無停止で切り戻すことを特徴とする請求項４に記載のデータ処理システム。

【請求項6】

前記データ処理部起動停止実行部は、
データ処理設定追加後の前記データ制御内容が意図通りかを判定し、
前記データ処理設定追加後の前記データ制御内容が前記意図通りであると判定された場合、
データ処理設定追加前の前記データ処理部を停止させ、前記データ処理設定追加後の前記データ処理部を起動させることを特徴とする請求項３に記載のデータ処理システム。

【請求項7】

前記データ処理部起動停止実行部は、
データ処理設定追加後の前記意図通りでないと判定された場合、
前記データ処理設定追加前の前記データ処理部を起動させ、前記データ処理設定追加後の前記データ処理部を停止させることにより、追加前の前記データ処理設定へ無停止で切り戻すことを特徴とする請求項６に記載のデータ処理システム。

【請求項8】

前記データ制御設計部は、
前記データ処理部の稼働状況と前記データ処理設定と前記タグをそれぞれ表示する表示部を有することを特徴とする請求項１に記載のデータ処理システム。

【請求項9】

前記データ制御設計部は、
前記データ処理部を、少なくとも前段と後段を含む多段的なデータ処理部で構成し、
前記前段は、データ処理設定変更前の第１のデータ処理部及びデータ処理設定変更後の第２のデータ処理部を有し、
前記後段は、データ処理設定変更前の第３のデータ処理部及びデータ処理設定変更後の第４のデータ処理部を有し、
前記第１のデータ処理部は、第１のデータ処理設定を有し、
前記第２のデータ処理部は、前記第１のデータ処理設定を変更した第２のデータ処理設定を有し、
前記第３のデータ処理部は、第３のデータ処理設定を有し、
前記第４のデータ処理部は、前記第３のデータ処理設定を変更した第４のデータ処理設定を有し、
前記データ制御設計部は、
第１のタグを生成して、前記第１のタグを前記第１のデータ処理設定に付与し、
第２のタグを生成して、前記第２のタグを前記第２のデータ処理設定に付与し、
第３のタグを生成して、前記第３のタグを前記第３のデータ処理設定に付与し、
第４のタグを生成して、前記第４のタグを前記第４のデータ処理設定に付与し、
前記データ制御管理部は、
前記第１のデータ処理部、前記第２のデータ処理部、前記第３のデータ処理部及び前記第４のデータ処理部をすべて起動させて前記データ処理を実行し、
前記前段の前記第１のデータ処理部及び前記第２のデータ処理部から前記後段の前記第３のデータ処理部及び前記第４のデータ処理部にそれぞれ送られたデータを前記第１のタグ、前記第２のタグ、前記第３のタグ及び前記第４のタグを用いて識別することを特徴とする請求項１に記載のデータ処理システム。

【請求項10】

前記データ制御設計部は、
前記データ処理部を、少なくとも前段と後段を含む多段的なデータ処理部で構成し、
前記前段は、データ処理設定追加前の第１のデータ処理部及びデータ処理設定追加後の第２のデータ処理部を有し、
前記後段は、データ処理設定追加前の第３のデータ処理部及びデータ処理設定追加後の第４のデータ処理部を有し、
前記第１のデータ処理部は、第１のデータ処理設定を有し、
前記第２のデータ処理部は、前記第１のデータ処理設定に追加された第２のデータ処理設定を有し、
前記第３のデータ処理部は、第３のデータ処理設定を有し、
前記第４のデータ処理部は、前記第３のデータ処理設定に追加された第４のデータ処理設定を有し、
前記データ制御設計部は、
第１のタグを生成して、前記第１のタグを前記第１のデータ処理設定に付与し、
第２のタグを生成して、前記第２のタグを前記第２のデータ処理設定に付与し、
第３のタグを生成して、前記第３のタグを前記第３のデータ処理設定に付与し、
第４のタグを生成して、前記第４のタグを前記第４のデータ処理設定に付与し、
前記データ制御管理部は、
前記第１のデータ処理部、前記第２のデータ処理部、前記第３のデータ処理部及び前記第４のデータ処理部をすべて起動させて前記データ処理を実行し、
前記前段の前記第１のデータ処理部及び前記第２のデータ処理部から前記後段の前記第３のデータ処理部及び前記第４のデータ処理部にそれぞれ送られたデータを前記第１のタグ、前記第２のタグ、前記第３のタグ及び前記第４のタグを用いて識別することを特徴とする請求項１に記載のデータ処理システム。

【請求項11】

データ処理部に複数のデータ処理設定が混在する状態で前記データ処理設定の一部を変更又は新たな前記データ処理設定を追加して多段的なデータ処理を実行するデータ処理方法であって、
前記データ制御設定にそれぞれ識別子であるタグを付与するステップと、
前記データ処理に必要な前記データ処理部の起動及び前記データ処理に不必要な前記データ処理部の停止を行うことにより前記多段的なデータ処理を停止することなく前記データ処理設定の一部を変更又は新たな前記データ処理設定を追加するステップと、
前記多段的なデータ処理を実行する際に、前段の前記データ処理部において付与した前記タグを読み取ることにより前記データ処理を実行した前記データ処理部を判別するステップと、
を有することを特徴とするデータ処理方法。

【請求項12】

データ処理設定変更後の前記データ制御内容が意図通りかを判定するステップと、
前記データ処理設定変更後の前記データ制御内容が前記意図通りであると判定された場合、
データ処理設定変更前の前記データ処理部を停止させ、前記データ処理設定変更後の前記データ処理部を起動させるステップと、
前記データ処理設定変更後の前記意図通りでないと判定された場合、
前記データ処理設定変更前の前記データ処理部を起動させ、前記データ処理設定変更後の前記データ処理部を停止させることにより、変更前の前記データ処理設定へ無停止で切り戻すステップと、
を更に有することを特徴とする請求項１１に記載のデータ処理方法。

【請求項13】

データ処理設定追加後の前記データ制御内容が意図通りかを判定ステップと、
前記データ処理設定追加後の前記データ制御内容が前記意図通りであると判定された場合、
データ処理設定追加前の前記データ処理部を停止させ、前記データ処理設定追加後の前記データ処理部を起動させるステップと、
前記データ処理設定追加後の前記意図通りでないと判定された場合、
前記データ処理設定追加前の前記データ処理部を起動させ、前記データ処理設定追加後の前記データ処理部を停止させることにより、追加前の前記データ処理設定へ無停止で切り戻すステップと、
を更に有することを特徴とする請求項１１に記載のデータ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理システム及びデータ処理方法に関する。

【背景技術】

【0002】

ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）の活用方法として、工場の現場等のエッジに配置された機器からクラウドサービス上のマシンに至るまで、様々な場所のデータを収集し、加工分析を行うことで業務改善を行う事例がある。効率的なＩｏＴ活用のためには、各拠点のデータ形式の差異やデータ量の増減に対応可能な、データを収集、加工、蓄積するデータ収集基盤が必要である。

【0003】

データ収集基盤ではデータ処理を複数段に分けて実行する。例えばデータ収集、データ加工、データ蓄積等の処理単位でデータ処理部として切り出し、データ処理部を複数段連結してデータ処理を実行することが考えられる。データ処理部の実装はＶＭ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）やコンテナ、プロセス等様々な形態が考えられる。

【0004】

データ処理フローを処理の単位で複数のデータ処理部に分けることで、データ処理負荷が高い処理のみスケールアウトしたり、ある１つのデータ処理結果から分岐してデータ処理を行ったりすることが容易となる。本明細書においてデータ処理フローとは、データソースからデータを取得し、データ処理し、データシンクへ格納する一連の動作を指す。各データ処理部はメッセージキューを介して接続する。メッセージキューを用いることでデータの可用性確保や順序制御を実施することが可能となる。データ収集の規模が大きくなり、大量のデータ処理フローを扱う必要がある場合、全フローのデータ処理部を独立に稼働させることで必要以上の計算機資源を消費してしまう。そこで、データ収集基盤では一つのデータ処理部内で異なるデータ処理フローのデータ処理を複数並列実行することが求められる。

【0005】

複数データ処理フローを同時実行するデータ処理部が複数段連結してデータ処理を行う状況下で、データ収集対象の業務の変化や取得したい情報の変化によりデータ処理設定の一部を変更することを考える。１つのデータ処理部の中に、変更する必要があるデータ処理フローに関するデータ処理設定と、変更する必要がないデータ処理フローに関するデータ処理設定とが同梱されている。

【0006】

データ処理設定を変更する際には、一般的にはデータ処理を一時停止する必要があるため、複数データ処理設定が同梱されるデータ処理部では変更する必要がないデータ処理フローのデータ処理も停止してしまう問題がある。リアルタイム性が求められる用途でデータ処理を行う場合は、他のデータ処理フローのデータ処理設定変更による影響を受けずにデータ処理を継続するシステムが必要である。

【0007】

データ処理におけるデータ処理設定の無停止更新の技術として特許文献１に記載の技術が知られている。特許文献１には、「管理システムは、負荷分散装置から、いずれの仮想マシンにリクエストを転送させるかを管理し、クライアントからのリクエストを受け付ける装置についての設定が、第１の処理環境の負荷分散装置から第２の処理環境の装置に変更された際に、前記第１の処理環境の負荷分散装置から前記第２の処理環境の仮想マシンにリクエストを転送させるよう管理し、かつ、前記第１の処理環境の負荷分散装置から前記第１の処理環境の仮想マシンにリクエストを転送させないよう管理する」ことが記載されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１８－８８１１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

特許文献１に記載の技術は、古い系と新しい系の２系統を起動しデータ処理部の前にスイッチを置くことでデータ処理部を切り替える動作を行うＢｌｕｅ－Ｇｒｅｅｎデプロイメントを用いたシステムバージョンアップ手法を示しており、クライアントからのリクエストがアップデート前の装置へ送信された場合であっても当該リクエストをアップデート後の装置で実行可能とする発明である。特許文献１に記載の技術を用いることによりデータ処理設定の更新を行うことは可能である。

【0010】

しかし、データ処理部位が多段である場合は、前段のデータ処理部において古い系と新しい系のどちらのデータ処理設定でデータ処理が実行されたのかを把握できなければ、後段のデータ処理部において古いデータ処理設定、新しいデータ処理設定のいずれでデータ処理を実行するか決定できない。多段的なデータ処理を行う用途では、特許文献１の技術は必ずしも効果を奏さない。

【0011】

本発明は、データ処理システムにおいて、多段的データ処理において無停止にてデータ処理設定変更を実現することを目的とする。

【課題を解決するための手段】

【0012】

本発明の一態様のデータ処理システムは、データ処理部に複数のデータ処理設定が混在する状態で前記データ処理設定の一部を変更又は新たな前記データ処理設定を追加して多段的なデータ処理を実行するデータ処理システムであって、データ制御設計部とデータ制御管理部を有し、前記データ制御設計部は、前記データ制御設定にそれぞれ識別子であるタグを付与し、前記データ制御管理部は、
前記データ処理に必要な前記データ処理部の起動及び前記データ処理に不必要な前記データ処理部の停止を行うことにより前記多段的なデータ処理を停止することなく前記データ処理設定の一部を変更又は新たな前記データ処理設定を追加し、前記多段的なデータ処理を実行する際に、後段の前記データ処理部は、前段の前記データ処理部において付与した前記タグを読み取ることにより前記データ処理を実行した前記データ処理部を判別することを特徴とする。

【発明の効果】

【0013】

本発明の一態様によれば、データ処理システムにおいて、多段的データ処理において無停止にてデータ処理設定変更を実現することができる。

【図面の簡単な説明】

【0014】

【図1】実施例１及び実施例２のデータ処理システムの構成の一例を示す図である。

【図2】実施例１及び実施例２の計算機の一例を示す図である。

【図3】実施例１及び実施例２のユーザ入力部及びユーザ出力部の一例を示す図である。

【図4】実施例１及び実施例２のユーザ出力部の一例を示す図である。

【図5】実施例１及び実施例２のユーザ出力部の一例を示す図である。

【図6】実施例１の動作手順を示す図である。

【図7】実施例１及び実施例２の動作手順開始前のデータ処理フローを示す図である。

【図8】実施例１のデータ制御設定の一例を示す図である。

【図9】実施例１の一部データ制御設定変更後のデータ処理フローを示す図である。

【図10】実施例１のデータ制御設定変更完了時のデータ処理フローを示す図である。

【図11】実施例２の動作手順を示す図である。

【図12】実施例２の追加するデータ制御設定の入力画面の一例を示す図である。

【図13】実施例２のデータ制御設定追加後のデータ処理フローを示す図である。

【図14】実施例２のデータ制御設定追加完了時のデータ処理フローを示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

【0016】

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

【0017】

図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。

【実施例0018】

実施例１では、複数データ処理フローを同時実行するデータ処理部が複数段連結してデータ処理を行う状況下で、データ収集対象の業務の変化や取得したい情報の変化が生じた際、無停止でデータ制御設定を変更する手順を示す。

【0019】

図１は、実施例１のデータ処理システムの構成の一例を示す図である。
データ処理システムは、データ制御設計部１、データ制御管理部２、データソース３、メッセージキュー４、データ処理部５及びデータシンク６を有する。

【0020】

データ制御設計部１は、機能構成として、ユーザ入力部１１、ユーザ出力部１２、データ制御設定管理部１３を含む。

【0021】

ユーザ入力部１１はデータ制御設定指定部１１１、データ制御設定適用指示部１１２及びデータ制御変更決定部１１３を含む。データ制御設定指定部１１１はデータ制御設定に関する入力を受け付け、入力内容をデータ制御設定管理部１３へ送信する。データ制御設定とはメッセージキュー４でデータ受け渡しを行うキュー４１の設定及びデータ処理部５で実行するデータ処理設定５１を指す。

【0022】

データ制御設定適用指示部１１２はデータ制御設定管理部１３が管理するデータ制御設定の起動や停止に関する入力を受け付け、データ制御管理部２へ入力内容を送信する。データ制御変更決定部１１３はデータ制御設定指定部１１１で入力し、データ制御設定適用指示部１１２の入力で稼働させたデータ制御設定を反映させるか、反映させずに切り戻しを行うかに関する入力を受け付け、データ制御管理部２へ入力内容を送信する。

【0023】

ユーザ出力部１２はデータ制御内容表示部１２１、データ処理フロー稼働状況表示部１２２及びデータ処理部稼働状況表示部１２３を含む。データ制御内容表示部１２１はデータ制御設定管理部１３が管理するデータ制御設定の設定内容を表示する。データ処理フロー稼働状況表示部１２２はデータ制御設定管理部１３が管理するデータ制御設定の稼働状況を表示する。データ処理部稼働状況表示部１２３はデータ処理部５とデータ処理部５内で実行されるデータ処理設定５１を表示し、データ処理部５の稼働状況を示す。

【0024】

データ制御設定管理部１３はデータ制御設定記憶部１３１及びデータ処理設定タグ生成部１３２を含む。データ制御設定記憶部１３１はデータ制御設定指定部１１１で入力した内容を記憶する。データ処理設定タグ生成部１３２は、データ制御設定記憶部１３１に記憶されたデータ制御設定のデータ処理設定５１に対し一意なタグを生成する。

【0025】

データ制御管理部２は、機能構成として、キュー設定生成部２１、データ処理設定生成部２２及びデータ処理部起動停止実行部２３を含む。

【0026】

キュー設定生成部２１はデータ制御設定適用指示部１１２及びデータ制御変更決定部１１３の入力により、データ制御設定記憶部１３１に記憶されたデータ制御設定を取得し、必要なキュー４１が存在しない場合は、メッセージキュー４にキュー４１を作成する。

【0027】

データ処理設定生成部２２はデータ制御設定適用指示部１１２及びデータ制御変更決定部１１３の入力により、データ制御設定記憶部１３１に記憶されたデータ制御設定を取得し、データ処理設定タグ生成部１３２により生成されたタグを付与し、データ処理部５で稼働するデータ処理設定５１を作成する。

【0028】

データ処理部起動停止実行部２３はデータ制御設定適用指示部１１２及びデータ制御変更決定部１１３の入力により、データ処理設定５１を含むデータ処理部５の起動及び停止を実行する。

【0029】

データソース３は、システムで処理するデータをメッセージキュー４へ送信する。データソース３はセンサ、ＩｏＴ機器、ゲートウェイ、データベースなど、データを発生可能なものであればその形態は問わない。

【0030】

メッセージキュー４は、データ処理フローごとに作成するキュー４１を用い、データソース３とデータ処理部５間、データ処理部５とデータ処理部５間及びデータ処理部とデータシンク間においてデータの転送を行う。データ処理部５に障害が発生しデータが消失した際にキュー４１に格納されたデータから消失したデータを復元したり、データ処理部５で処理したデータをデータソース３が送信した順序に並び替えたりする動作を実行する。

【0031】

データ処理部５は、データ処理フローごとに作成されたデータ処理設定５１に従い、データ処理を実行する。データ処理設定５１にはデータを取得するキュー４１、データ処理内容及びデータ送信先のキュー４１またはデータシンク６が記載される。データ処理設定５１をデータ処理部５へ追加したり変更したりする際はデータ処理部５を新たに起動する必要がある。

【0032】

データシンク６はデータ処理部５が処理したデータを格納する。データシンク６はＩｏＴ機器、ＩｏＴアプリケーション、データベースなど、データを受信可能なものであればその形態は問わない。

【0033】

図２は計算機の一例を示す図である。データ制御設計部１、データ制御管理部２、メッセージキュー４及びデータ処理部５は、図２に示すような計算機７から構成される。計算機７は、プロセッサ７１、主記憶装置７２、副記憶装置７３、及びネットワークインタフェース７４及び入出力装置７５を有する。プロセッサ７１は、主記憶装置７２に格納されるプログラムを実行する。プロセッサ１がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部（モジュール）として動作する。

【0034】

以下の説明では、機能部を主語に処理を説明する場合、プロセッサ７１が当該機能部を実現するプログラムを実行していることを示す。主記憶装置７２は、メモリ等であり、プロセッサ７１が実行するプログラム及びプログラムが使用するデータを格納する。副記憶装置７３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等であり、データを永続的に格納する。主記憶装置７２に格納されるプログラム及びデータは、副記憶装置７３に格納されてもよい。この場合、プロセッサ７１が副記憶装置７３からプログラム及びデータを読み出し、主記憶装置７２にロードする。ネットワークインタフェース７４は、ネットワークを介して他の装置と通信する。入出力装置７５はユーザの入力を受け付けたり、計算結果をユーザに表示したりする。入出力装置７５は省略することが可能である。計算機７は仮想化してＶＭやコンテナのような形態で動作してもよい。

【0035】

図３はユーザ入力部及びユーザ出力部の一例を示す図である。
図３ではｆｌｏｗ１、ｆｌｏｗ２、ｆｌｏｗ３が存在しており、ｆｌｏｗ３をｆｌｏｗ３’へ変更する場合のユーザ入力部及びユーザ出力部の一例を示す。データ処理フロー稼働状況表示部１２２は該当データ処理フローの起動、停止等の状態を表示する。データ制御設定適用指示部１１２は該当データ処理フローの編集画面の呼び出し、起動、停止等に関する入力を受け付ける。データ制御設定適用指示部１１２において編集の入力がなされた場合は、データ制御設定指定部１１１に該当データ処理フローの編集画面が表示される。

【0036】

データ制御設定指定部１１１ではデータ処理フローが取り扱うデータの入力元の指定、データ制御設定、出力先の指定を行う。本実施例では２段のデータ処理を実行する例を記載したが３段以上であっても良い。また、本実施例では出力先の指定数を２としているが、指定数は任意の自然数を取ることができる。データ制御設定指定部１１１においてデータ制御設定を作成後、「保存」の入力をすることで、データ制御設定記憶部１３１にデータ制御設定が保存される。「閉じる」の入力をすることでデータ制御設定指定部１１１を閉じる。

【0037】

データ制御設定指定部１１１は図３のようにデータ制御設定適用指示部１１２と同じ画面に表示しても良いし、別の画面に表示しても良い。データ制御変更決定部１１３はデータ制御設定の変更を行うデータ処理フローに対して表示される。図３の例ではｆｌｏｗ３とｆｌｏｗ３’が該当する。データ制御変更決定部１１３は変更前のデータ処理フローに対して「切り戻し」の入力を受け付け、変更後のデータ処理フローに対して「確定」の入力を受け付ける。データ制御内容表示部１２１はデータ処理フローのデータ処理設定を表示する。データ制御設定指定部１１１と同一の画面としても良いし別の画面としても良い。別の画面とする場合はデータ制御設定適用指示部１１２にてデータ処理フロー表示の入力を受け付ける。

【0038】

図４はユーザ出力部の一例を示す図である。
データ処理部稼働状況表示部１２３は、データ制御設定記憶部１３１に記憶された情報を元に、データ処理部５とデータ処理部５で稼働するデータ処理設定５１との関係、各データ処理設定５１のタグを表示する。データソース３、メッセージキュー４及びデータシンク６との関係を表示しても良い。該当データ処理部５の稼働状況を表示しても良い。図４の例ではデータ処理部１とデータ処理部２が稼働しており、データ処理部１’とデータ処理部２’が起動中であることを実線と点線で分けて表示する。他の表現方法で稼働状況を区別する表現をしても良い。

【0039】

図５はユーザ出力部の一例を示す図である。
データ処理部稼働状況表示部１２３は図４の代わりに図５に示す表形式で表示することが可能である。データ処理部稼働状況表示部１２３は、データ制御設定記憶部１３１に記憶された情報を元に、データ処理部５とデータ処理部５で稼働するデータ処理設定５１との関係、各データ処理設定５１のタグを表示する。データソース３、メッセージキュー４及びデータシンク６との関係を表示しても良い。該当データ処理部５の稼働状況を表示しても良い。

【0040】

図６は、実施例１の動作手順を示す図である。
ステップＳ１０１で、データ処理制御設定を変更する。ステップＳ１０２で、変更後のデータ処理部を起動する。

【0041】

ステップＳ１０３ではステップＳ１０１で変更したデータ制御設定が意図通りであったかを確認する。データ制御設定はデータ収集基盤を用いる現場ごとに最適な設定が異なる。ＩｏＴ活用業務の変更等に伴うデータ制御設定変更時は、最適なデータ制御設定を作成するまでにユーザが試行錯誤する期間が必要である。

【0042】

ステップＳ１０２でデータシンク６に格納されたデータがユーザの意図する通りでなかった場合は、ユーザはデータ制御変更決定部１１３から「切り戻し」の入力を行いステップＳ１０４へ進む。

【0043】

ステップＳ１０２でデータシンク６に格納されたデータがユーザの意図する通りであった場合は、ユーザはデータ制御変更決定部１１３から「確定」の入力を行いステップＳ１０５へ進む。

【0044】

ステップＳ１０４ではデータ制御設定変更前の状態へ切り戻しを行う。データ処理部起動停止実行部２３はデータ制御設定記憶部１３１に記憶されたデータ処理部５やデータ処理設定５１の情報を元に、ステップＳ１０２で起動したデータ処理部５を停止し、データ制御設定変更前のデータ処理部５のみが稼働する状態とする。

【0045】

図７は動作手順開始前のデータ処理フローを示す図である。
図７は３つのデータ処理フローが記載されている。データソース３－１が送信したデータはキュー４１－１、データ処理設定５１－１、キュー４１－４、データ処理設定５１－４の順にメッセージキュー４とデータ処理部５を経由し、データシンク６－１へ格納される。

【0046】

データ処理設定５１－１ではデータソース３－１から受信したデータに対し、キー名等のメタデータ付与、符号化されたデータの復号、数値文字変換等のデータ処理が記載されており、記載内容を元にデータ処理部５－１がデータ処理を行う。データ処理内容はこれらに限定されない。データ処理設定５１－４ではデータシンク６－１へデータを格納するためにＲｅｌａｔｉｏｎａｌ Ｄａｔａｂａｓｅへのインサート、Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅの実行、ファイル書き出し等のデータ処理が記載されており、記載内容を元にデータ処理部５－２がデータ処理を行う。データ処理内容はこれらに限定されない。

【0047】

データ処理部５－１でのデータ処理中に意図せぬ障害が発生した際、データソース３－１から送信したデータが消失する可能性がある。そこでメッセージキュー４１－１をデータソース３－１とデータ処理部５－１との間に挿入しメッセージキュー４１－１内に一時的にデータを保存することで、データ処理部５－１でデータが消失した場合でもメッセージキュー４１－１から復旧可能である。

【0048】

また、データ処理部５－２でのデータ処理中に意図せぬ障害が発生した際、データ処理部５－１から送信したデータが消失する可能性がある。そこでメッセージキュー４１－４をデータ処理部５－１とデータ処理部５－２との間に挿入し、メッセージキュー４１－４内に一時的にデータを保存することで、データ処理部５－１でデータが消失した場合でもメッセージキュー４１－４から復旧可能である。

【0049】

メッセージキュー４はデータ処理フローにおけるデータ可用性を担保する重要な機能であるため、データ制御設定指定部１１１への入力によりデータ制御設定を変更する際、データ制御管理部２はキュー４１に変更を加えないようにし、データ処理設定５１のみに変更を加える。図７ではデータ処理設定５１－１にはタグとして「１１０１」を設定し、データ処理設定５１－４にはタグとして「１１０２」を設定した。データ処理設定５１－１を用いて処理したデータには「１１０１」というタグが付与されるため、後段のデータ処理部５やデータシンク６がタグの値「１１０１」を確認することで、「データ処理設定５１－１を用いてデータ処理部５－１上でデータ処理をされたデータ」であることを確認することができる。タグの値はシステム内で一意であれば形式や文字列長を問わない。

【0050】

データソース３－２及びデータソース３－３は、データソース３－１とは異なるデータソース３である。メッセージキュー４で経由するキュー４１、データ処理部５で実行するデータ処理設定５１及びデータシンク６も異なる。データ処理部５－１はデータソース３－１、データソース３－２及びデータソース３－３から受信したデータを異なるデータ処理設定５１－１、データ処理設定５１－２及びデータ処理設定５１－３で処理するが、データ処理設定５１－１、データ処理設定５１－２及びデータ処理設定５１－３は同一のデータ処理部５－１で実行する。データ処理設定５１－１、データ処理設定５１－２及びデータ処理設定５１－３を個別のデータ処理部５で実行することも可能であるが、１つのデータ処理部５で実行するときと比べ多くの計算機資源を消費してしまう。

【0051】

データ処理フロー数が増加したとき、計算機資源消費量が増大するのを防ぐため、データ収集基盤では１つのデータ処理部５内で異なるデータ処理フローのデータ処理を複数並列実行することが求められる。本実施例でも１つのデータ処理部５で複数のデータ処理設定５１を稼働させる。

【0052】

ＩｏＴ活用業務の変更等に伴い、データソース３から入力されるデータの変更やデータ処理部５で行うデータ処理の変更が必要になったとき、ステップＳ１０１に進む。

【0053】

ステップＳ１０１で、ユーザは新しいデータ制御設定をデータ制御設定指定部１１１から入力する。

【0054】

図８はデータ制御設定の入力画面の一例を示す図である。図８では図７のデータソース３－３に関するデータ制御フローを変更する例を示す。図７で稼働するデータ処理設定５１－３、データ処理設定５１－６を変更し、出力先をデータシンク６－３とは別のデータシンク６を２つ指定する。新しく作成したデータ制御設定はデータ制御設定記憶部１３１に記憶する。本実施例１ではデータソース３－１及びデータソース３－２に関するデータ処理フローはデータ制御設定の変更が不要である想定とする。

【0055】

ステップＳ１０２で、ユーザはデータ制御設定適用指示部１１２からステップＳ１０１で作成したデータ制御設定を起動する入力を行う。データ処理設定生成部２２はステップＳ１０１で作成したデータ制御設定を元に新しいデータ処理設定５１を作成する。データ処理設定生成部２２はデータソース３－３に関する新しいデータ処理設定５１の中にデータ処理設定タグ生成部１３２で作成した新しいタグを含める。

【0056】

また、データ処理設定生成部２２はデータソース３－１及びデータソース３－２に関するデータ処理設定５１においても、データ処理設定の変更はないがデータ処理設定タグ生成部１３２で新たに作成したタグを含める。データ処理内容は変化しないがデータ処理を実行するデータ処理部５が異なり、どのデータ処理部５でデータ処理を実行したか後段で判別するためである。データ処理部起動停止実行部２３はデータ制御設定記憶部１３１に記憶されたデータ処理設定５１とデータ処理部５との関係を元に、新規にデータ処理部５を起動する。

【0057】

実施例１ではデータ処理部起動停止実行部２３は、新しいタグが含まれたデータソース３－１及びデータソース３－２に関するデータ処理設定５１－１’、データ処理設定５１－２’及びデータ処理設定生成部２２が作成したデータソース３－３に関する新規データ処理設定５１－３’を同梱したデータ処理部５－１’を起動し、新しいタグが含まれたデータソース３－１及びデータソース３－２に関するデータ処理設定５１－４’、データ処理設定５１－５’及びデータ処理設定生成部２２が作成したデータソース３－３に関する新規データ処理設定５１－６’を同梱したデータ処理部５－２’を起動する。

【0058】

図９は一部データ制御設定変更後のデータ処理フローを示す図である。図７に加えデータ処理部５－１’及びデータ処理部５－２’が稼働する。データソース３－１が送信したデータはキュー４１－１を経由し、データ処理設定５１－１及びデータ処理設定５１－１’双方でデータ処理を実行する。データ処理設定５１－１によるデータ処理結果とデータ処理設定５１－１’によるデータ処理結果はタグの値以外は同一である。

【0059】

データ処理設定５１－１及びデータ処理設定５１－１’によるデータ処理結果はキュー４１－４を経由し、データ処理設定５１－４及びデータ処理設定５１－４’双方でデータ処理を実行し、データシンク６－１へ格納する。データ処理設定５１－４によるデータ処理結果とデータ処理設定５１－４’によるデータ処理結果はタグの値以外は同一である。データシンク６－１にはデータソース３－１が送信したデータが重複して格納される。

【0060】

データ収集基盤ではデータを欠落させることなくデータ処理することが必要であるため、データ制御設定変更時にはデータを重複して処理することでデータ欠落を防ぐ。データシンク６－１はタグの値を読み取ることで、どのデータ処理部５で処理したデータであるか判別することが可能である。データシンク６－１は重複して格納されたデータを全て保存しても良いし、タグ情報を元に一方のデータを破棄しても良い。データソース３－２が送信したデータもデータソース３－１が送信したデータと同様にデータ処理を行う。

【0061】

データソース３－３から送信したデータはキュー４１－３を経由し、データ処理設定５１－３及びデータ処理設定５１－３’双方でデータ処理を実行する。データ処理設定５１－３によるデータ処理結果とデータ処理設定５１－３’によるデータ処理結果は異なる。データ処理設定５１－３によるデータ処理結果はキュー４１－６に入る。データ処理設定５１－３’によるデータ処理結果もキュー４１－６に入る。データ処理設定５１－６はキュー４１－６のデータの内、データ処理設定５１－３で処理され「３１０１」のタグが付与されたデータのみを取得し、データ処理し、データシンク６－３へ格納する。したがってデータシンク６－３はデータ制御設定変更前のデータ処理が実施されたデータのみが格納される。

【0062】

データ処理設定５１－６’はキュー４１－６のデータの内、データ処理設定５１－３’で処理され「３２０１」のタグが付与されたデータのみを取得し、データ処理し、データシンク６－４及びデータシンク６－５へ格納する。したがってデータシンク６－４及びデータシンク６－５はデータ制御設定変更後のデータ処理が実施されたデータのみが格納される。

【0063】

本実施例１では、ステップＳ１０４においてデータ制御設定変更前の状態へ切り戻しが行われた場合に、図９の状態から図７の状態へ戻る。データソース３－１、データソース３－２及びデータソース３－３に関する全てのデータ処理フローはステップＳ１０４の動作でデータ処理を停止することなくデータ制御設定変更前の設定でデータ処理を継続することが可能である。ユーザは再びステップＳ１０１で新しいデータ制御設定を作成する。

【0064】

ステップＳ１０５ではデータ制御設定前に稼働していたデータ処理部５を停止する。データ処理部起動停止実行部２３はデータ制御設定記憶部１３１に記憶されたデータ処理部５やデータ処理設定５１の情報を元に、ステップＳ１０１以前から稼働するデータ処理部５を停止し、ステップＳ１０２で起動したデータ処理部５のみが稼働する状態とする。

【0065】

図１０はデータ制御設定変更完了時のデータ処理フローを示す図である。
データ処理部５としてデータ処理部５－１’及びデータ処理部５－２’が稼働する。データ処理部５－１’はデータ制御設定の変更が不要であるデータソース３－１及びデータソース３－２に関するデータ処理設定５１－１’及びデータ処理設定５１－２’並びにデータ制御設定の変更が必要であるデータソース３－３に関する変更後のデータ処理設定５１－３のデータ処理を実行する。データ処理部５－２’はデータ制御設定の変更が不要であるデータソース３－１及びデータソース３－２に関するデータ処理設定５１－４’及びデータ処理設定５１－５’並びにデータ制御設定の変更が必要であるデータソース３－３に関する変更後のデータ処理設定５１－６’のデータ処理を実行する。以上により、複数データ処理フローを同時実行するデータ処理部が複数段連結してデータ処理を行う状況下で、データ収集対象の業務の変化や取得したい情報の変化が生じた際、無停止でデータ制御設定の変更を実現した。

【実施例0066】

実施例２では、複数データ処理フローを同時実行するデータ処理部が複数段連結してデータ処理を行う状況下で、データ収集対象の業務が追加となり、無停止でデータ制御設定を追加する手順を示す。

【0067】

データ処理システムのシステム構成の一例は実施例１で示した図１と同一である。計算機の一例は実施例１で示した図２と同一である。ユーザ入力部及びユーザ出力部の一例は実施例１で示した図３と同一である。ユーザ出力部の一例は実施例１で示した図４及び図５と同一である。図１１は実施例２の動作手順を示す図である。ステップＳ１０２からステップＳ１０５は実施例１と同一である。

【0068】

動作手順開始前のデータ処理フローは実施例１で示した図７と同一である。ＩｏＴ活用業務の変更等に伴い、データ処理の追加が必要になったとき、ステップ１０６に進む。

【0069】

ステップＳ１０６で、ユーザは追加するデータ制御設定をデータ制御設定指定部１１１から入力する。

【0070】

図１２は追加するデータ制御設定の入力画面の一例を示す図である。
新たなデータソースからデータを取得し、既存のデータシンクと新規のデータシンクにデータを格納する設定である。新しく作成したデータ制御設定はデータ制御設定記憶部１３１に記憶する。本実施例２ではデータソース３－１、データソース３－２及びデータソース３－３に関するデータ処理フローはデータ制御設定の変更が不要である想定とする。

【0071】

ステップＳ１０２で、ユーザはデータ制御設定適用指示部１１２からステップＳ１０６で作成したデータ制御設定を起動する入力を行う。データ処理設定生成部２２はステップＳ１０６で作成したデータ制御設定を元に新しいデータ処理設定５１を作成する。データ処理設定生成部２２はデータソース３－４に関するデータ処理設定５１の中にデータ処理設定タグ生成部１３２で作成したタグを含める。また、データ処理設定生成部２２はデータソース３－１、データソース３－２及びデータソース３－３に関するデータ処理設定５１においても、データ処理設定の変更はないがデータ処理設定タグ生成部１３２で新たに作成したタグを含める。

【0072】

データ処理内容は変化しないがデータ処理を実行するデータ処理部５が異なり、どのデータ処理部５でデータ処理を実行したか後段で判別するためである。データ処理部起動停止実行部２３はデータ制御設定記憶部１３１に記憶されたデータ処理設定５１とデータ処理部５との関係を元に、新規にデータ処理部５を起動する。

【0073】

実施例２ではデータ処理部起動停止実行部２３は、新しいタグが含まれたデータソース３－１、データソース３－２及びデータソース３－３に関するデータ処理設定５１－１”、データ処理設定５１－２”、データ処理設定５１－３”及びデータ処理設定生成部２２が作成したデータソース３－４に関する新規データ処理設定５１－ａを同梱したデータ処理部５－１”を起動し、新しいタグが含まれたデータソース３－１、データソース３－２及びデータソース３－３に関するデータ処理設定５１－４”、データ処理設定５１－５”、データ処理設定５１－６”及びデータ処理設定生成部２２が作成したデータソース３－４に関する新規データ処理設定５１－ｂを同梱したデータ処理部５－２”を起動する。

【0074】

図１３はデータ制御設定追加後のデータ処理フローを示す図である。図７に加えデータ処理部５－１”及びデータ処理部５－２”が稼働する。データソース３－１が送信したデータはキュー４１－１を経由し、データ処理設定５１－１及びデータ処理設定５１－１”双方でデータ処理を実行する。データ処理設定５１－１によるデータ処理結果とデータ処理設定５１－１”によるデータ処理結果はタグの値以外は同一である。データ処理設定５１－１及びデータ処理設定５１－１”によるデータ処理結果はキュー４１－４を経由し、データ処理設定５１－４及びデータ処理設定５１－４”双方でデータ処理を実行し、データシンク６－１へ格納する。データ処理設定５１－４によるデータ処理結果とデータ処理設定５１－４”によるデータ処理結果はタグの値以外は同一である。

【0075】

データシンク６－１にはデータソース３－１が送信したデータが重複して格納される。データ収集基盤ではデータを欠落させることなくデータ処理することが必要であるため、データ制御設定追加時にはデータを重複して処理することでデータ欠落を防ぐ。データシンク６－１はタグの値を読み取ることで、どのデータ処理部５で処理したデータであるか判別することが可能である。データシンク６－１は重複して格納されたデータを全て保存しても良いし、タグ情報を元に一方のデータを破棄しても良い。 データソース３－２が送信したデータ及びデータソース３－３が送信したデータもデータソース３－１が送信したデータと同様にデータ処理を行う。データソース３－４から送信したデータはキュー４１－ａを経由し、データ処理設定５１－ａでデータ処理を実行する。データ処理設定５１－ａによるデータ処理結果はキュー４１－ｂに入る。データ処理設定５１－ｂはキュー４１－ｂのデータを取得し、データ処理し、データシンク６－４及びデータシンク６－６へ格納する。

【0076】

ステップＳ１０３ではステップＳ１０６で追加したデータ制御設定が意図通りであったかを確認する。ステップＳ１０２でデータシンク６に格納されたデータがユーザの意図する通りでなかった場合は、ユーザはデータ制御変更決定部１１３から「切り戻し」の入力を行いステップＳ１０４へ進む。ステップＳ１０２でデータシンク６に格納されたデータがユーザの意図する通りであった場合は、ユーザはデータ制御変更決定部１１３から「確定」の入力を行いステップＳ１０５へ進む。

【0077】

ステップＳ１０４ではデータ制御設定追加前の状態へ切り戻しを行う。データ処理部起動停止実行部２３はデータ制御設定記憶部１３１に記憶されたデータ処理部５やデータ処理設定５１の情報を元に、ステップＳ１０２で起動したデータ処理部５を停止し、データ制御設定変更前のデータ処理部５のみが稼働する状態とする。本実施例２では図１３の状態から図７の状態へ戻る。データソース３－１、データソース３－２及びデータソース３－３に関する全てのデータ処理フローはステップＳ１０４の動作でデータ処理を停止することなくデータ処理を継続することが可能である。ユーザは再びステップＳ１０６で追加するデータ制御設定を作成する。

【0078】

ステップＳ１０５ではデータ制御設定前に稼働していたデータ処理部５を停止する。データ処理部起動停止実行部２３はデータ制御設定記憶部１３１に記憶されたデータ処理部５やデータ処理設定５１の情報を元に、ステップＳ１０６以前から稼働するデータ処理部５を停止し、ステップＳ１０２で起動したデータ処理部５のみが稼働する状態とする。

【0079】

図１４はデータ制御設定追加完了時のデータ処理フローを示す図である。
データ処理部５としてデータ処理部５－１”及びデータ処理部５－２”が稼働する。データ処理部５－１”はデータ制御設定の変更が不要であるデータソース３－１、データソース３－２及びデータソース３－３に関するデータ処理設定５１－１”、データ処理設定５１－２”及びデータ処理設定５１－３”並びに追加したデータ制御設定であるデータソース３－４に関するデータ処理設定５１－ａのデータ処理を実行する。データ処理部５－２”はデータ制御設定の変更が不要であるデータソース３－１、データソース３－２及びデータソース３－３に関するデータ処理設定５１－４”、データ処理設定５１－５”及びデータ処理設定５１－６”並びに追加したデータ制御設定であるデータソース３－４に関するデータ処理設定５１－ｂのデータ処理を実行する。

【0080】

実施例２によれば、複数データ処理フローを同時実行するデータ処理部が複数段連結してデータ処理を行う状況下で、データ収集対象の業務追加が生じた際、無停止でデータ制御設定の追加を実現した。

【0081】

上記実施例の計算機システムは、データ処理部に複数データ処理設定が混在する環境下での多段的なデータ処理においてデータ処理設定の一部を変更する際、データ処理設定変更前とデータ処理設定変更後の各系のデータ処理設定に付与する識別子を生成するデータ制御設計部と、データ処理設定変更対象とデータ処理設定変更非対象のデータ処理設定を含有した単位でデータ処理部を作成し、データ処理設定変更前とデータ処理設定変更後の各系統を全段で起動しデータ処理を実行させるデータ制御管理部とを有し、データ処理を実行した系を後段のデータ処理部において前記識別子を用いて判別する。

【0082】

上記実施例によれば、多段的なデータ処理フローを複数並列実行するユースケースにおいて、あるデータ処理設定を変更する際、非変更対象のデータ処理フローを停止させることなく、変更対象のデータ処理フロー変更を実現することができる。