特開 2024-43844 データ処理方法およびデータ処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024043844

(43)【公開日】2024-04-02

(54)【発明の名称】データ処理方法およびデータ処理システム

(51)【国際特許分類】

   G06F 8/30 20180101AFI20240326BHJP

【ＦＩ】

G06F8/30

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022149050

(22)【出願日】2022-09-20

(71)【出願人】

【識別番号】000233491

【氏名又は名称】株式会社日立システムズ

(74)【代理人】

【識別番号】110003694

【氏名又は名称】弁理士法人有我国際特許事務所

(72)【発明者】

【氏名】岩崎 信也

(72)【発明者】

【氏名】五十嵐 智

(72)【発明者】

【氏名】吉竹 利織

【テーマコード（参考）】

5B376

【Ｆターム（参考）】

5B376AA25

5B376BC25

(57)【要約】

【課題】過去に作成したパイプラインの一部または全体を任意の環境に複製して、新たな環境に適合したパイプラインを迅速かつ簡単に構築できるようにして、パイプラインの構築に要する工数を削減するとともに、手作業に生じるミス発生を抑制する。
【解決手段】過去に作成したパイプラインの構成を定義する情報を事前に取得して、構成管理３１に格納しておく。エンジニアは、複製元のパイプライン名および複製先の環境情報を入力すると、横展開ツール３０のデプロイスクリプト３２が、その入力によって到底される複製先のパイプラインの構成を定義する情報、および複製先の環境情報に基づいて、複製先の環境に新たなパイプラインを作成する。
【選択図】図７

【特許請求の範囲】

【請求項1】

作成済みの第１パイプラインを利用して新たな第２パイプラインを作成する、コンピュータにより実行されるデータ処理方法であって、
前記第１パイプラインの構成を定義する情報を格納する格納ステップと、
前記第１パイプラインの識別情報および前記第２パイプラインの複製先の環境情報の入力を受け付ける入力受付ステップと、
前記識別情報により特定された前記第１パイプラインの構成を定義する情報および前記第２パイプラインの複製先の環境情報に基づいて、前記第２パイプラインを作成する作成ステップと、を有することを特徴とするデータ処理方法。

【請求項2】

前記格納ステップにおいて、前記第１パイプラインの各リソースの構成情報および各リソース間の接続情報を取得し、前記第１パイプラインの構成を定義する構成情報定義ファイルとして格納することを特徴とする請求項１に記載のデータ処理方法。

【請求項3】

前記構成情報定義ファイルに、前記第１パイプラインを構成する各部品に関する前記構成情報および前記接続情報が部品単位で記述されていることを特徴とする請求項２に記載のデータ処理方法。

【請求項4】

前記作成ステップにおいて、パイプラインの複製処理を行うために事前に作成した複数のデプロイスクリプトの実行により、前記第２パイプラインの作成が行われることを特徴とする請求項１に記載のデータ処理方法。

【請求項5】

前記デプロイスクリプトが、既存のデータ利活用プラットフォームで利用されているコマンドを組み合わせて作成されていることを特徴とする請求項４に記載のデータ処理方法。

【請求項6】

前記作成ステップにおいて、前記第１パイプラインの各リソースの構成情報に基づいて、前記第２パイプラインにおいてデータを蓄積するデータベースのリソースを作成した後に、前記第２パイプラインにおいてデータ処理を行うリソースを作成して、前記データベースのリソースと接続することを特徴とする請求項１に記載のデータ処理方法。

【請求項7】

作成後の前記第２パイプラインを修正する修正ステップを有することを特徴とする請求項１に記載のデータ処理方法。

【請求項8】

前記修正ステップにおいて修正した前記第２パイプラインの各リソースの構成情報および各リソース間の接続情報を取得し、前記第２パイプラインの構成を定義する構成情報定義ファイルとして格納することを特徴とする請求項７に記載のデータ処理方法。

【請求項9】

前記作成ステップにおいて、前記第１パイプラインに含まれる特定の部品の構成を定義する情報に基づいて、前記第２パイプラインの前記特定の部品のみを作成することを特徴とする請求項１に記載のデータ処理方法。

【請求項10】

作成済みの第１パイプラインを利用して新たな第２パイプラインを作成するデータ処理システムであって、エンジニアが操作可能なリモート端末と、ネットワーク上に配置されて前記リモート端末がアクセス可能なサーバ装置とにより構成されており、
前記サーバ装置が、
前記第１パイプラインの構成を定義する情報を格納する格納部と、
前記リモート端末から前記ネットワークを介して、前記第１パイプラインの識別情報および前記第２パイプラインの複製先の環境情報の入力を受け付ける入力受付部と、
前記識別情報により特定された前記第１パイプラインの構成を定義する情報および前記第２パイプラインの複製先の環境情報に基づいて、前記第２パイプラインを作成する作成部と、を有することを特徴とするデータ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、パイプラインを構築するためのデータ処理方法およびデータ処理システムに関する。

【背景技術】

【0002】

従来、データの収集、管理、蓄積、集計等を行い、可視化に適したデータを出力するパイプラインを簡単に構築することを支援するデータ利活用プラットフォームが知られている。パイプラインを構築するためのデータ利活用プラットフォームは、現在、主要なクラウドベンダーを含む複数の企業からリリースされている。

【0003】

データ利活用プラットフォームで構築されるパイプラインは、ニーズに合わせて複数のデータ処理コンポーネントを組み合わせ、複数のデータ処理が順次実行されるように配列された一連のプロセスであり、データが供給されると、パイプラインとして定義した一連の処理を実行して所望のデータを出力するように構成されている。

【0004】

パイプラインは、様々な分野のデータ処理に適用可能である。例えば、顧客に対してサービスを提供する企業用に構築した分析パイプラインは、顧客に提供するサービスや顧客の持つデータの収集、整形、集計等を行い、可視化に適したデータを出力するように構成され、これにより、既知の問題解決や新しい価値の発見等を支援することができるようになっている。

【0005】

データ利活用プラットフォーム上でパイプラインを構築する場合、専用のＧＵＩ（グラフィカルユーザインタフェース：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）ツール等を用いてあらかじめ用意されたリソース（テンプレート部品やソースコード実行機能、データベース等）を組み合わせることで、パイプラインを作成することができる。例えば、下記の特許文献１には、分析ソリューションモジュールメタデータおよびユーザカスタマイズに基づいて、様々な実行エンジンのための分析パイプラインを自動的に生成するシステムが記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０－２０１９３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特定の顧客の環境（複製元の環境）と別の顧客の環境（複製先の環境）とで取り扱うデータが多少でも異なる場合や、別の顧客の要望に合わせたカスタマイズを行う場合等には、特定の顧客に提供している作成済みのパイプラインをそのまま別の顧客に適用することはできない。

【0008】

このため、既存のデータ利活用プラットフォームにおいてパイプラインの複製を行う際には、エンジニアがＧＵＩを用いて手作業でパイプラインを複製する作業を行う必要があるが、この場合、パイプラインの複製に時間を要するとともに、手作業によるミスが起こりやすいという問題がある。

【0009】

本発明は、過去に作成したパイプラインを利用して、新たなパイプラインを迅速かつ簡単に構築することを可能とするデータ処理方法およびデータ処理システムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明に係るデータ処理方法は、上記目的を達成するため、作成済みの第１パイプラインを利用して新たな第２パイプラインを作成する、コンピュータにより実行されるデータ処理方法であって、
前記第１パイプラインの構成を定義する情報を格納する格納ステップと、
前記第１パイプラインの識別情報および前記第２パイプラインの複製先の環境情報の入力を受け付ける入力受付ステップと、
前記識別情報により特定された前記第１パイプラインの構成を定義する情報および前記第２パイプラインの複製先の環境情報に基づいて、前記第２パイプラインを作成する作成ステップと、を有することを特徴とする。

【0011】

上記の方法によれば、過去に作成した第１パイプラインを任意の環境に複製して、新たな環境に適合した第２パイプラインを迅速かつ簡単に構築することができ、パイプラインの複製に要する開発工数および所要時間を低減させることができる。また、エンジニアは、複製元の第１パイプラインの識別情報および複製先の環境情報を入力するだけでよく、パイプラインの作成に要する手間が大幅に低減されるとともに、手作業でパイプラインを複製した場合に生じ得るミスの発生も抑制することができる。

【0012】

本発明に係るデータ処理方法は、前記格納ステップにおいて、前記第１パイプラインの各リソースの構成情報および各リソース間の接続情報を取得し、前記第１パイプラインの構成を定義する構成情報定義ファイルとして格納してもよい。

【0013】

上記の方法によれば、過去に作成した第１パイプラインの構成を定義する情報として、第１パイプラインから簡単に抽出可能な各リソースの構成情報および各リソース間の接続情報を利用することができる。

【0014】

本発明に係るデータ処理方法は、前記構成情報定義ファイルに、前記第１パイプラインを構成する各部品に関する前記構成情報および前記接続情報が部品単位で記述されていてもよい。

【0015】

上記の方法によれば、前記第１パイプラインを部品単位で第２パイプラインの各部品として複製することができる。

【0016】

本発明に係るデータ処理方法は、前記作成ステップにおいて、パイプラインの複製処理を行うために事前に作成した複数のデプロイスクリプトの実行により、前記第２パイプラインの作成が行われてもよい。

【0017】

上記の方法によれば、事前に作成した複数のデプロイスクリプトを適宜実行することで、新たな環境にパイプラインを組み立てるように第２パイプラインの作成を段階的に行うことができる。

【0018】

本発明に係るデータ処理方法は、前記デプロイスクリプトが、既存のデータ利活用プラットフォームで利用されているコマンドを組み合わせて作成されていてもよい。

【0019】

上記の方法によれば、既存のデータ利活用プラットフォームを利用して様々なデプロイスクリプトを作成することができる。

【0020】

本発明に係るデータ処理方法は、前記作成ステップにおいて、前記第１パイプラインの各リソースの構成情報に基づいて、前記第２パイプラインにおいてデータを蓄積するデータベースのリソースを作成した後に、前記第２パイプラインにおいてデータ処理を行うリソースを作成して、前記データベースのリソースと接続してもよい。

【0021】

上記の方法によれば、データベースのリソースを作成する段階と、データ処理を行うリソースを作成してデータベースのリソースと接続する段階に分けて第２パイプラインの作成を行うことができ、上記の各段階でエラーの発生をチェックすることで、複製先の環境に適合するかどうかのテストを段階的に行いながらリソースをデプロイすることができる。

【0022】

本発明に係るデータ処理方法は、作成後の前記第２パイプラインを修正する修正ステップを有していてもよい。

【0023】

上記の方法によれば、新たに作成した第２パイプラインを複製先の環境等に適合するように修正することができる。

【0024】

本発明に係るデータ処理方法は、前記修正ステップにおいて修正した前記第２パイプラインの各リソースの構成情報および各リソース間の接続情報を取得し、前記第２パイプラインの構成を定義する構成情報定義ファイルとして格納してもよい。

【0025】

上記の方法によれば、修正した第２パイプラインを複製元のパイプラインとして利用することができる。

【0026】

本発明に係るデータ処理方法は、前記作成ステップにおいて、前記第１パイプラインに含まれる特定の部品の構成を定義する情報に基づいて、前記第２パイプラインの前記特定の部品のみを作成してもよい。

【0027】

上記の方法によれば、過去に作成した第１パイプラインの特定の部品のみを流用して、新たな環境に適合した第２パイプラインを迅速かつ簡単に構築することができる。

【0028】

また、本発明に係るデータ処理システムは、上記目的を達成するため、作成済みの第１パイプラインを利用して新たな第２パイプラインを作成するデータ処理システムであって、エンジニアが操作可能なリモート端末と、ネットワーク上に配置されて前記リモート端末がアクセス可能なサーバ装置とにより構成されており、
前記サーバ装置が、
前記第１パイプラインの構成を定義する情報を格納する格納部と、
前記リモート端末から前記ネットワークを介して、前記第１パイプラインの識別情報および前記第２パイプラインの複製先の環境情報の入力を受け付ける入力受付部と、
前記識別情報により特定された前記第１パイプラインの構成を定義する情報および前記第２パイプラインの複製先の環境情報に基づいて、前記第２パイプラインを作成する作成部と、を有することを特徴とする。

【0029】

上記の構成によれば、過去に作成した第１パイプラインを任意の環境に複製して、新たな環境に適合した第２パイプラインを迅速かつ簡単に構築することができ、パイプラインの複製に要する開発工数および所要時間を低減させることができる。また、エンジニアは、リモート端末からサーバ装置にアクセスし、複製元の第１パイプラインの識別情報および複製先の環境情報を入力するだけでよく、パイプラインの作成に要する手間が大幅に低減されるとともに、手作業でパイプラインを複製した場合に生じ得るミスの発生も抑制することができる。

【発明の効果】

【0030】

本発明によれば、過去に作成したパイプラインの一部または全体を任意の環境に複製して、新たな環境に適合したパイプラインを迅速かつ簡単に構築することが可能となり、パイプラインの構築に要する工数を削減することができるとともに、手作業に生じるミスの発生を抑えることができるようになる。

【図面の簡単な説明】

【0031】

【図1】本発明の実施形態で取り扱うパイプラインの一例を示す図である。

【図2】本発明の実施形態におけるパイプラインとして、チャットボットの利用者の行動ログを収集、整形、集計する分析パイプラインの構成の一例を示す図である。

【図3】本発明の実施形態における横展開ツールを用いたパイプラインの横展開の概要を示す図である。

【図4】本発明の実施形態における横展開ツールによってパイプラインの複製を行う前の事前準備を示す図である。

【図5】本発明の実施形態における横展開ツールによってパイプラインの複製を行う前の事前準備に係る構成情報および接続情報の取得処理の一例を示すフローチャートである。

【図6】本発明の実施形態において、作成済みのパイプラインから取得した構成情報定義ファイルの一例を示す図である。

【図7】本発明の実施形態における横展開ツールを用いて新たなパイプラインを作成する処理を示す図である。

【図8】本発明の実施形態における横展開ツールのデプロイスクリプトの処理の一例を示すフローチャートである。

【図9】本発明の実施形態において、複製したパイプラインを修正する処理を説明するための図である。

【図10】本発明の実施形態において、過去に作成したパイプラインの一部のみを複製する処理を説明するための図である。

【図11】本発明の実施形態におけるデータ処理システムの構成の一例を示す図である。

【図12】本発明の実施形態におけるサーバ装置の構成の一例を示す図である。

【発明を実施するための形態】

【0032】

以下、図面を参照しながら、本発明の実施形態におけるデータ処理方法およびデータ処理システムについて説明する。

【0033】

（パイプライン）
まず、図１を参照しながら、本発明の実施形態で取り扱うパイプラインの一例について説明する。図１は、本発明の実施形態で取り扱うパイプラインの一例を示す図である。

【0034】

本発明の実施形態で取り扱うパイプラインは、ニーズに合わせて複数のデータ処理コンポーネント（以下、部品と記載することがある）を適宜組み合わせることで構成されている。パイプラインは、例えば、Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅ（登録商標）、Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ（登録商標）、Ｇｏｏｇｌｅ Ｃｌｏｕｄ Ｐｌａｔｆｏｒｍ（登録商標）等のクラウドベースのデータ利活用プラットフォームを利用して構築することが可能である。

【0035】

図１には、一例として、サービスＡを提供している顧客Ａに対して提供されるパイプライン２０Ａ、およびサービスＢを提供している顧客Ｂに対して提供されるパイプライン２０Ｂが図示されている。

【0036】

顧客Ａの環境（顧客環境）１０Ａでは、サービスＡに関連したデータが蓄積されている。顧客Ａに対して提供されるパイプライン２０Ａは、顧客環境１０Ａで蓄積したデータを収集する処理を実行する収集パイプライン２１Ａ、収集パイプライン２１Ａで収集したデータを整形する整形パイプライン２２Ａ、整形パイプライン２２Ａで整形したデータを集計する集計パイプライン２３Ａを含んで構成されたデータ分析用の分析パイプラインである。

【0037】

顧客Ａ用のパイプライン２０Ａでは、収集パイプライン２１Ａが顧客環境１０Ａで蓄積したデータを、ＡＰＩ（アプリケーションプログラミングインタフェース：Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を介して取得し、次いで整形パイプライン２２Ａがデータの整形を行い、集計パイプライン２３Ａがデータの集計を行って、その集計結果を含むデータを出力するようになっている。パイプライン２０Ａが出力したデータは、可視化処理が施されてグラフや表等の可視化レポートとして出力されることで、サービスＡに関連した様々な分析を行うことができるようになっている。

【0038】

なお、パイプラインには、顧客のニーズに合わせて必要なコンポーネントを適宜組み込むことができるようになっている。例えば、図１において、顧客Ｂに対して提供されるパイプライン２０Ｂは、顧客環境１０Ｂで蓄積したデータを収集する処理を実行する収集パイプライン２１Ｂのみで構成された分析パイプラインである。

【0039】

顧客Ｂ用のパイプライン２０Ｂでは、収集パイプライン２１Ｂが顧客Ａの環境で蓄積したデータに対して匿名化が施されたデータを、ＡＰＩを介して取得し、取得したデータを出力するようになっている。パイプライン２０Ｂが出力したデータは、上述した顧客Ａ用のパイプライン２０Ａの場合と同様、可視化処理が施されてグラフや表等の可視化レポートとして出力されることで、サービスＢに関連した様々な分析を行うことができるようになっている。

【0040】

パイプラインは、当該パイプラインを構成する各リソースの構成情報、および各リソース間の接続情報を設定することで構築されている。例えば、図１の顧客Ｂ用のパイプライン２０Ｂは収集パイプライン２１Ｂのみで構成されており、テンプレート部品として、ＡＰＩを介してデータを収集する部品（ＡＰＩ呼出）を設定し、オブジェクトストレージとして、収集したデータを格納するストレージを設定することで、収集パイプライン２１Ｂを含んだパイプライン２０Ｂを作成することができる。また、パイプラインにおいて、顧客環境や所望の出力データに合わせたパラメータを設定することで、各顧客の環境に合わせたデータ処理が行われるようになっている。

【0041】

図２を参照しながら、本発明の実施形態におけるパイプラインの具体的な一例について説明する。図２は、本発明の実施形態におけるパイプラインとして、チャットボットの利用者の行動ログを収集、整形、集計する分析パイプラインの構成の一例を示す図である。

【0042】

図２には、具体的な一例として、上述した図１に示す顧客Ａが、チャットボットのサービス（サービスＡ）を提供する企業であり、この企業に対して提供されるパイプライン２０Ａが図示されている。

【0043】

顧客環境１０Ａでは、チャットボットの利用者の行動ログが蓄積データとして蓄積されている。蓄積データは、利用者の行動ログをそのまま蓄積したデータであり、例えば所定の項目をＣＳＶ（カンマセパレーテッドヴァリューズ：Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ）形式の巨大なファイルとして蓄積されている。

【0044】

パイプライン２０Ａは、顧客環境１０Ａにおいて未整理のまま蓄積データとして蓄積されている行動ログに関して、収集、整形、集計等を行い、可視化処理に適したデータを出力するように構築されている。

【0045】

パイプライン２０Ａは、予め用意されたリソースを組み合わせて作成されており、収集パイプライン２１Ａ、整形パイプライン２２Ａ、集計パイプライン２３Ａの順に各部品が配列されて構成されている。また、パイプライン２０Ａには、顧客環境１０Ａで蓄積されている蓄積データを読み出す際のＡＰＩの呼出に必要な情報として、ログ収集対象のアプリケーションのＩＤ（識別情報）およびＡＰＩのアクセスキーと、収集するログの期間とが設定されるとともに、収集パイプライン２１Ａで収集された収集データの格納先、整形パイプライン２２Ａで作成された整形データの格納先、集計パイプライン２３Ａで作成された集計データの格納先がそれぞれ設定されている。

【0046】

収集パイプライン２１Ａは、ＡＰＩを介して顧客環境１０Ａで蓄積されている蓄積データ（チャットボットの利用者の行動ログ）の中から、設定された期間のログを収集する処理を行うように構成されている。収集パイプライン２１Ａが収集した収集データは、設定された収集データの格納先に格納される。

【0047】

整形パイプライン２２Ａは、収集パイプライン２１Ａが収集した収集データを取得して、集計しやすい状態に整形する処理を行うように構成されている。整形パイプライン２２Ａは、例えばチャットボットの利用者の行動ログを対話単位に整形するようになっている。整形データは、あるユーザがチャットボットにおける１回の対話でどのように行動したのかを表すように整形されたデータであり、整形データには、例えば、会話の遷移、ＣＶ（コンバージョン）に至ったか、再入力回数等の情報が含まれる。整形パイプライン２２Ａが作成した整形データは、設定された整形データの格納先に格納される。

【0048】

集計パイプライン２３Ａは、整形パイプライン２２Ａが収集した整形データを取得して、整形データから得られる様々な情報を集計する処理を行うように構成されている。集計パイプライン２３Ａは、例えばチャットボットの利用者の行動ログから作成された整形データを一定時間毎に集計するようになっている。集計データは、チャットボットの利用者の行動ログの集計結果を含むデータであり、集計データには、例えば、オブジェクトデータ、ＣＶ率／離脱率／停止率、平均ＣＶ率／離脱時間、会話別実行数、会話数、ユニークユーザ数、会話の遷移別サマリ等の様々な情報が含まれる。集計パイプライン２３Ａが作成した集計データは、設定された集計データの格納先に格納される。

【0049】

パイプライン２０Ａにおいて各格納先に格納された収集データ、整形データ、集計データは、必要に応じて各格納先から読み出して利用することができる。特にチャットボットの利用者の行動ログの集計結果を含む集計データでは、顧客環境１０Ａで単に蓄積された蓄積データからは容易に把握できなかった様々な情報が整理されている。集計データに対して可視化処理を施し、様々な情報を可視化したグラフや表等に纏めたレポートを作成することで、チャットボットの利用者の行動の統計値、チャットボットのサービスに内在する課題、当該サービスを効率化するための方向性等を顕在化させて、当該サービスの改善点（課題およびその課題を解決するための解決策）や新たなサービス手法の発見等を支援することができるようになる。

【0050】

（パイプラインの複製における課題）
パイプラインは、特定の顧客の環境に合わせて構築される。例えば図２には、チャットボットのサービスを提供する顧客環境１０Ａに適合するパイプライン２０Ａが提供されている。

【0051】

このように特定の顧客用に作成したパイプラインを横展開する（別の顧客に提供する）場合、特定の顧客用に作成したパイプラインをそのまま別の顧客用のパイプラインとして複製することができれば、別の顧客用のパイプラインの作成に要する工数およびコストを削減することができる。

【0052】

しかしながら、複製元の環境で取り扱うデータと複製先の環境で取り扱うデータとが多少でも異なる場合や、別の顧客の要望に合わせてパイプラインのカスタマイズを行う場合等には、特定の顧客用に作成した作成済みのパイプライン（複製元のパイプライン）をそのまま別の顧客用のパイプラインとして使用することはできないという問題がある。このため、既存のデータ利活用プラットフォームにおいてパイプラインの複製を行う際には、エンジニアがＧＵＩを用いて手作業で確認しながらパイプラインを複製する必要があるが、手作業による複製作業は時間を要し、また人的な作業のためミスが起こりやすいという問題があることから、過去に作成したパイプラインを利用して、新たなパイプラインを迅速かつ簡単に構築する新たな手法が求められていた。

【0053】

本発明は、上記の現状に鑑みてなされたものであり、以下に説明する横展開ツールを導入することで、パイプラインを迅速かつ簡単に複製できるようにしたものである。これにより、パイプラインの開発工数や開発に要する時間を削減することができ、また、人的な作業によるミスの発生も低減させることができる。

【0054】

（横展開ツールの概要）
以下、図３を参照しながら、本発明の実施形態における横展開ツールについて説明する。図３は、本発明の実施形態における横展開ツールを用いたパイプラインの横展開の概要を示す図である。

【0055】

図３には、横展開ツール３０を用いて、特定の顧客環境１０Ａに基づいて過去に作成したパイプライン２０Ａを、別の顧客環境１０Ｘに適合するように複製して、別の顧客用のパイプライン２０Ｘを作成する処理が模式的に図示されている。本発明の実施形態では、作成済みのパイプライン２０Ａを別の顧客環境１０Ｘに提供するパイプライン２０Ｘにそのまま複製するのではなく、横展開ツール３０を用いることで、作成済みのパイプライン２０Ａに基づいて、別の顧客環境１０Ｘに適合するパイプライン２０Ｘを作成することができるようになっている。

【0056】

横展開ツール３０は、構成管理３１とデプロイスクリプト３２とにより概して構成されている。構成管理３１には、過去に作成したパイプライン２０Ａ（図３では、収集パイプライン２１Ａ、整形パイプライン２２Ａ、集計パイプライン２３Ａにより構成される分析パイプライン）の構成情報および接続情報が格納されている。エンジニアは、横展開ツール３０に対して複製先（横展開先）の環境情報を入力し、デプロイスクリプト３２を実行する。ここでいう環境情報とは、取り扱うデータの種類や形式、パイプラインの各部品におけるデータ処理およびデータ処理時に参照されるパラメータ等であり、複製先の環境や複製先の顧客の要望に合わせてカスタマイズされた情報等を含むものである。

【0057】

横展開ツール３０においてデプロイスクリプトが実行されることで、過去に作成したパイプライン２０Ａを新たな顧客環境１０Ｘに複製して、新たな顧客環境１０Ｘに適合したパイプライン２０Ｘ（図３では、収集パイプライン２１Ｘ、整形パイプライン２２Ｘ、集計パイプライン２３Ｘにより構成される分析パイプライン）を迅速かつ簡単に作成することができるようになっている。なお、横展開ツール３０に対する複製先の環境情報の入力およびデプロイスクリプト３２の実行は、特に限定されないが、例えばＣＩ（継続的インテグレーション：Ｃｏｎｔｉｎｕｏｕｓ Ｉｎｔｅｇｒａｔｉｏｎ）ツール等を用いて行われることが好ましい。

【0058】

（横展開ツールの事前準備）
複製元のパイプラインに関する構成情報および接続情報は、横展開ツール３０を実行する前に構成管理３１に保持される。以下、図４および図５を参照しながら、横展開ツール３０によってパイプラインの複製を行う前の事前準備について説明する。図４は、本発明の実施形態における横展開ツールによってパイプラインの複製を行う前の事前準備を示す図である。

【0059】

なお、ここでは、データ利活用プラットフォームの専用ＧＵＩツール等を用いて、特定の顧客Ａに対して提供するパイプライン２０Ａ（複製元のパイプライン）が事前に作成されているものとする。複製元のパイプライン２０Ａは、一例として、特定の顧客Ａが提供するサービスＡに適合するように作成した分析パイプラインであり、収集パイプライン２１Ａ、整形パイプライン２２Ａ、集計パイプライン２３Ａの３つの部品を含んで構成されている。

【0060】

作成済みのパイプラインを利用して新たなパイプラインを作成する場合には、作成済みのパイプラインからその構成情報および接続情報を取得して、横展開ツール３０の構成管理３１に事前に格納しておく必要がある。例えばエンジニアがデータ利活用プラットフォームの専用ＧＵＩツール等を操作することで、図４に示すパイプライン２０Ａを始めとして、過去に作成した様々なパイプラインの構成情報および接続情報は、簡単に取得し、横展開ツール３０の構成管理３１に格納することができる。

【0061】

図５を参照しながら、作成済みのパイプラインの構成情報および接続情報の取得処理について説明する。図５は、本発明の実施形態における横展開ツールによってパイプラインの複製を行う前の事前準備に係る構成情報および接続情報の取得処理の一例を示すフローチャートである。

【0062】

まず、エンジニアは、例えばデータ利活用プラットフォームの専用ＧＵＩツールにおいて、構成情報および接続情報を取得したいパイプラインの識別情報（例えば、パイプライン名）を入力する。データ利活用プラットフォームは、入力されたパイプラインの識別情報から、パイプラインを特定する（ステップＳ１１）。

【0063】

次いで、ステップＳ１１で特定されたパイプラインについて、当該パイプラインを構成する各リソースの構成情報と、各リソース間の接続情報とを取得する（ステップＳ１２）。そして、ステップＳ１２で取得した各リソースの構成情報および各リソース間の接続情報を構成情報定義ファイルとして出力し、構成情報定義ファイルを構成管理３１の格納先（構成管理データベース）に格納する（ステップＳ１３）。上記のステップＳ１１～Ｓ１３の処理は、本発明の格納ステップに対応する。

【0064】

以下、構成情報定義ファイルの一例について説明する。図６は、本発明の実施形態において、作成済みのパイプラインから取得した構成情報定義ファイルの一例を示す図である。

【0065】

構成情報定義ファイルは、作成済みのパイプラインのリソースに関する情報（各リソースの構成情報および各リソース間の接続情報）を含むファイルである。図６には、一例として、特定の顧客Ａが提供するサービスＡに適合するように開発したパイプライン２０Ａ（パイプラインＡ）から取得された構成情報定義ファイルが図示されている。

【0066】

図６に示す構成情報定義ファイルには、収集パイプライン、整形パイプライン、集計パイプラインの各部品により構成されたパイプラインＡの各リソースに関する情報が、部品単位で記述されている。

【0067】

具体的には、構成情報定義ファイルには、収集パイプラインのリソースに関する情報として、ＡＰＩ呼出用のテンプレート部品であるリソースＡ－１と、収集パイプラインによって作成された収集データの格納先のオブジェクトストレージであるリソースＡ－２とが記述されている。リソースＡ－１には、エンドポイント、取得すべきデータの格納先等の情報が記述されている。

【0068】

また、構成情報定義ファイルには、整形パイプラインのリソースに関する情報として、、データ整形用のテンプレート部品であるリソースＡ－３と、整形パイプラインの処理手順を規定するソースコード１であるリソースＡ－４と、整形パイプラインによって作成された整形データの格納先のオブジェクトストレージであるリソースＡ－５とが記述されている。

【0069】

さらに、構成情報定義ファイルには、集計パイプラインのリソースに関する情報として、データ集計用のテンプレート部品であるリソースＡ－６と、集計パイプラインの処理手順を規定するソースコード２であるリソースＡ－７と、整形パイプラインによって作成された整形データの格納先のデータベース（ＮｏＳＱＬ）であるリソースＡ－８とが記述されている。

【0070】

このように、構成情報定義ファイルは、パイプラインを構成するリソースに関する情報を記述したものである。本実施形態では、過去に作成した様々なパイプラインからリソースに関する情報を取得できるようになっており、様々なパイプラインに関連する複数の構成情報定義ファイルを横展開ツール３０の構成管理３１に格納することができるようになっている。

【0071】

また、過去に作成した様々なパイプラインには、パイプラインを構成するリソースに関する情報とともに、パイプラインの処理時に参照する各リソースのパラメータが設定されている。本実施形態では、各リソースの設定パラメータについても、横展開ツール３０の構成管理３１に格納することができるようになっている。各リソースの設定パラメータは、パイプラインを構成するリソースに関する情報と同様に、データ利活用プラットフォームの専用ＧＵＩツールを用いて取得して横展開ツール３０の構成管理３１に格納してもよく、あるいは、例えばエンジニアが手作業で横展開ツール３０の構成管理３１に格納してもよい。

【0072】

（デプロイスクリプトによる処理）
次に、図７および図８を参照しながら、横展開ツールを用いて新たなパイプラインを作成する処理について説明する。図７は、本発明の実施形態における横展開ツールを用いて新たなパイプラインを作成する処理を示す図である。

【0073】

本実施形態において新たなパイプラインを作成する場合、横展開ツール３０の構成管理３１に事前に格納された作成済みのパイプラインに関する構成情報定義ファイルを雛型として利用する。

【0074】

横展開ツール３０は、上述したように、横展開ツール３０は、構成管理３１とデプロイスクリプト３２とにより概して構成されている。

【0075】

構成管理３１は、所定のデータ記憶装置に、データベース形式（構成管理データベース）で管理および格納された情報群である。構成管理３１には、例えば図７に示すように、構成管理３１に格納されているパイプラインの管理を行うためのパイプライン管理定義情報（パイプライン管理定義）３１Ａ、データ利活用プラットフォームの利用権限を得るためのデプロイ用認証情報３１Ｂとともに、パイプライン構成定義情報（パイプライン構成定義）３１Ｃが格納されている。

【0076】

パイプライン構成定義情報３１Ｃには、パイプラインの構成を定義する情報であり、例えば過去に作成した各パイプラインから取得した構成情報定義ファイルと、各パイプラインの設定パラメータとが含まれている。図７には、一例として、過去に作成したパイプラインＡから取得した構成情報定義ファイル（パイプラインＡ構成定義）３１ＤとパイプラインＡの設定パラメータ（パイプラインＡパラメータシート）３１Ｅ、過去に作成したパイプラインＢから取得した構成情報定義ファイル（パイプラインＢ構成定義）３１ＦとパイプラインＢの設定パラメータ（パイプラインＢパラメータシート）３１Ｇが図示されている。

【0077】

なお、図７には、過去に作成したパイプラインとして、２つのパイプラインＡ、Ｂに関する情報が構成管理３１に格納されているが、構成管理３１に格納するパイプラインの個数は、特に限定されるものではない。

【0078】

デプロイスクリプト３２は、パイプラインを横展開するための処理を行うプログラムである。

【0079】

例えば、既存のデータ利活用プラットフォームには、構成情報から各リソースをデプロイできる複数のコマンドが用意されている。データ利活用プラットフォームに用意されている様々なコマンドを組み合わせることによって、パイプラインを横展開する際に使用する様々なデプロイスクリプト３２を開発することができる。

【0080】

図７には、本実施形態で用いるデプロイスクリプト３２の一例として、パイプライン全体の管理を行うデプロイスクリプト（全体管理）３２Ａ、パラメータを設定するためのデプロイスクリプト（パラメータ投入）３２Ｂ、パイプラインのストレージを作成するためのデプロイスクリプト（ストレージ作成用）３２Ｃ、認証情報を作成するためのデプロイスクリプト（認証情報作成用）３２Ｄ、パイプラインの各部品を作成するためのデプロイスクリプト（パイプライン作成用）３２Ｅ、パイプラインで処理されるデータを格納するデータベースを作成するためのデプロイスクリプト（データベース作成用）３２Ｆ、リソースをグループ化するデプロイスクリプト（リソースグループ作成用）３２Ｇ、パイプラインに処理スクリプトを設定するためデプロイスクリプト（処理スクリプト投入用）３２Ｈ、すべてのリソースを削除するためのデプロイスクリプト（全リソース削除用）３２Ｉが図示されている。

【0081】

本実施形態では、これらのデプロイスクリプト３２を事前に作成しておくことで、パイプラインを迅速かつ簡単に横展開できるようにしている。なお、デプロイスクリプト３２は上記のものに限定されず、データ利活用プラットフォームで用意されている様々なコマンドを適宜組み合わせて所望のデプロイスクリプト３２を作成することが可能である。

【0082】

横展開ツール３０を用いてパイプラインを複製先の環境へ複製する場合には、例えばＣＩツール等を使用して、パイプラインの構築およびテストを逐次実施させることが好ましい。例えば、パイプライン全体およびパイプライン内の各部品（収集パイプライン２１Ａ、整形パイプライン２２Ａ、集計パイプライン２３Ａ等）の作成、各パイプラインのリソースの作成および接続、リソースの削除、パイプラインのパラメータ設定等の様々な処理を実行するデプロイスクリプト３２をＣＩサーバのリポジトリ等に格納しておき、複製元のパイプラインの構成情報定義ファイルやエンジニアが入力した複製先の環境情報に基づいて、デプロイスクリプト３２がパイプラインの作成に係る処理を適宜実行できるようにすることが好ましい。デプロイスクリプト３２の実行により実現される処理部は、本発明の作成部を構成する。

【0083】

また、パイプラインの作成処理においては、リソースの作成や接続を行う各段階でエラーの発生をチェックし、エラーが発生した場合には作成中および作成済みのリソースをすべて削除することが好ましい。このように各段階に分けてパイプラインの複製を行うことで、パイプラインの複製を確実に行うことができるとともに、結果的にパイプラインの構築に要する工数や手間を削減することができるようになる。

【0084】

エンジニアが横展開ツール３０を用いてパイプラインの複製を行う場合には、複製元のパイプラインを特定するための識別情報（例えば、パイプライン名）を入力する。これにより、複製元のパイプラインが特定される。さらに、複製先の環境情報である追加パラメータを入力し、デプロイスクリプト３２の実行指示を適宜行ってデプロイスクリプト３２を実行させることで、複製先の環境に新たなパイプラインを作成する。

【0085】

以下、横展開ツール３０のデプロイスクリプト３２による処理の一例について説明する。図８は、本発明の実施形態における横展開ツールのデプロイスクリプトの処理の一例を示すフローチャートである。なお、図８のデプロイスクリプトの処理は一例にすぎず、本発明はこれに限定されるものではない。

【0086】

エンジニアは、横展開ツール３０に対して、複製元のパイプライン名、および複製先の環境情報の入力を行う（ステップＳ２１）。横展開ツール３０は、複製元のパイプライン名、および複製先の環境情報の入力を受け付けると、所定のデプロイスクリプト３２（またはエンジニアによって指示されたデプロイスクリプト３２）を実行する。ステップＳ２１の処理は、本発明の入力受付ステップに対応する。

【0087】

デプロイスクリプト３２の実行によって、横展開ツール３０は、複製元のパイプライン名によって特定される複製元のパイプラインの構成情報定義ファイルを、構成管理３１から取得し（ステップＳ２２）、入力された複製先の環境情報に基づいて、取得した複製先のパイプラインの構成情報定義ファイルに複製先の環境を追記する（ステップＳ２３）。次いで、横展開ツール３０は、複製先の環境を追記した構成情報定義ファイルに基づいて、入力データ、出力データならびに中間データを蓄積するデータベースのリソースを作成する（ステップＳ２４）。これらの処理は、例えば、パラメータを設定するためのデプロイスクリプト（パラメータ投入用）３２Ｂ、パイプラインのストレージを作成するためのデプロイスクリプト（ストレージ作成用）３２Ｃ、パイプラインの各部品を作成するためのデプロイスクリプト（パイプライン作成用）３２Ｅ、パイプラインで処理されるデータを格納するデータベースを作成するためのデプロイスクリプト（データベース作成用）３２Ｆにより実行される。

【0088】

ステップＳ２４におけるリソースの作成時にエラーが発生した場合には（ステップＳ２５でＹＥＳ）、横展開ツール３０は、作成中および作成済みのリソースをすべて削除して（ステップＳ３１）、出力としてエラーを返す（ステップＳ３２）。エラーは、例えばエンジニアが視認可能なディスプレイ等に表示される。リソースを削除する処理は、例えばすべてのリソースを削除するためのデプロイスクリプト（全リソース削除用）３２Ｉにより実行される。

【0089】

一方、ステップＳ２４におけるリソースの作成時にエラーが発生しなかった場合には（ステップＳ２５でＮＯ）、横展開ツール３０は、複製先の環境を追記した構成情報定義ファイルに基づいて、データ処理を行うリソースを作成し、ステップＳ２４で作成したデータベースのリソースと接続する（ステップＳ２６）。これらの処理は、例えばパイプラインの各部品を作成するためのデプロイスクリプト（パイプライン作成用）３２Ｅ、パイプラインに処理スクリプトを設定するためデプロイスクリプト（処理スクリプト投入用）３２Ｈにより実行される。

【0090】

ステップＳ２６におけるリソースの作成または接続時にエラーが発生した場合には（ステップＳ２７でＹＥＳ）、作成中および作成済みのリソースをすべて削除して（ステップＳ３１）、出力としてエラーを返す（ステップＳ３２）。エラーは、例えばエンジニアが視認可能なディスプレイ等に表示される。リソースを削除する処理は、例えばすべてのリソースを削除するためのデプロイスクリプト（全リソース削除用）３２Ｉにより実行される。

【0091】

一方、ステップＳ２６におけるリソースの作成および接続時にエラーが発生しなかった場合には（ステップＳ２７でＮＯ）、パイプラインが複製先の環境に複製され、パイプラインの複製処理が完了する（ステップＳ２８）。複製先の環境に作成されたパイプラインは、複製元のパイプラインの構成情報定義ファイルに基づくものであり、かつ、複製先の環境に適合したものである。上記のステップＳ２１～Ｓ２８の処理は、本発明の作成ステップに対応する。

【0092】

図８に示すフローチャートの処理では、複製元のパイプラインの識別情報（例えば、複製元のパイプライン名）と、複製先の環境情報とを入力することで、デプロイスクリプト３２の処理により、構成管理３１に事前に格納されている複製元のパイプラインの構成情報定義ファイルを利用して、複製先の環境に適合したパイプラインを簡単に作成することができる。

【0093】

また、図８に示すフローチャートの処理では、入力データ、出力データならびに中間データを蓄積するデータベースのリソースを作成する処理（ステップＳ２４）を行った後に、データ処理を行うリソースを作成して、ステップＳ２４で作成したデータベースのリソースと接続する処理（ステップＳ２６）を行っている。このように、データベースのリソースする段階と、データ処理を行うリソースを作成し、データベースのリソースと接続する段階に分けて、この順序で新たなパイプラインの作成処理を行うことで、複製先の環境に適合する新たなパイプラインを各段階でテストしながら確実に作成していくことができるようになっている。

【0094】

（複製したパイプラインの修正）
図９は、本発明の実施形態において、複製したパイプラインを修正する処理を説明するための図である。図９には、顧客環境１０Ａに対して提供されているパイプライン２０Ａを利用して複製した顧客環境１０Ｘ用のパイプライン２０Ｘを修正する処理が模式的に図示されている。

【0095】

図９に示すように、複製したパイプライン２０Ｘは、例えば顧客Ｘの要件に合わせて、その一部（図９の例では、網掛け表示された収集パイプライン）をデータ利活用プラットフォーム上でカスタマイズする等、複製したパイプライン２０Ｘをさらに修正することができるようになっている。

【0096】

さらに、図９に示すように、修正したパイプライン２０Ｘの構成情報等を、構成情報定義ファイルとして取得して構成管理３１に格納してもよい。これにより、当該修正したパイプライン２０Ｘの構成情報定義ファイルを利用して、パイプラインの再複製を行うことができるようになる。また、修正したパイプライン２０Ｘに合わせた新たなデプロイスクリプト３２を作成してもよい。

【0097】

（パイプラインの部分的な複製）
図１０は、本発明の実施形態において、過去に作成したパイプラインの一部のみを複製する処理を説明するための図である。図１０に示すパイプライン２０Ｙは、収集パイプライン２１Ｙ、整形パイプライン２２Ｙ、集計パイプライン２３Ｙの各部品を含んだ分析パイプラインである。図１０には、顧客環境１０Ａに対して提供されているパイプライン２０Ａの一部のみを、顧客環境１０Ｙ用のパイプライン２０Ｙに部分的に複製する処理が模式的に図示されている。

【0098】

本実施形態では、作成済みのパイプラインから取得した構成情報定義ファイルには、当該パイプラインを構成する各リソースの構成情報や各リソース間の接続情報が部品単位で記述されている。これにより、図１０に示すように、パイプライン２０Ａの収集パイプライン２１Ａの部品のみを、パイプライン２０Ｙの収集パイプライン２１Ｙ（（図１０の網掛け表示））に流用する等、作成済みのパイプラインを部品単位で抽出して、別のパイプラインの一部として流用することができるようになっている。

【0099】

（データ処理システムの構成例）
以下、図１１および図１２を参照しながら、本発明の実施形態におけるデータ処理システムの構成について説明する。図１１は、本発明の実施形態におけるデータ処理システムの構成の一例を示す図である。

【0100】

図１１に示すように、本発明の実施形態におけるデータ処理システム１００は、一例として、エンジニアが操作可能なリモート端末２００と、パイプラインに関する様々なデータを格納するとともにパイプラインに関する処理を行うサーバ装置３００とが、インターネット等のネットワーク４００を介して通信可能なように構成されている。

【0101】

リモート端末２００は、エンジニアが操作可能なＰＣ（パーソナルコンピュータ）等の汎用コンピュータであり、サーバ装置３００にアクセスしてサーバ装置３００から提供される各サービスを利用できるように構成されている。なお、図１１には１台のリモート端末２００のみが図示されているが、複数のエンジニアがそれぞれ操作可能な複数のリモート端末２００が配置されてもよい。

【0102】

サーバ装置３００は、本発明に関連する機能を備えており、ネットワーク４００を介してアクセスするリモート端末２００からの操作入力に応じて、各機能に係る処理を実行するように構成されている装置である。サーバ装置３００は、例えばデータ利活用プラットフォームを提供する機能や、ＣＩツールを提供する機能等を備えるとともに、これらの機能を組み合わせて構成される本発明に係る横展開ツールの実行が可能なように構成されている。

【0103】

なお、説明を簡略化するため、図１１には１台のサーバ装置３００のみが図示されており、当該１台のサーバ装置３００に、本発明に関連する機能が実装されているが、例えばデータ利活用プラットフォームを提供する機能、ＣＩツールを提供する機能、とこ展開ツールを提供する機能、データの格納を行うデータベース管理機能等の各機能をそれぞれ備えた複数のサーバ装置３００が分散して配置されており、これらの複数のサーバ装置３００が連携した構成であってもよい。

【0104】

図１２は、本発明の実施形態におけるサーバ装置の構成の一例を示す図である。本発明に係るサーバ装置は、図１２に示す構成に限定されるものではない。

【0105】

図１２に示すように、サーバ装置３００は、一例として、プロセッサ３１１、メモリ３１２、通信部３１３、操作入力部３１４、モニタ３１５、ストレージ３１６を有しており、各構成要素がバス３１０を介して接続された構成となっている。

【0106】

プロセッサ３１１は、データの演算や処理制御を行う機能を有している。プロセッサ３１１は、例えばＣＰＵ（中央演算処理装置：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、特定の目的に特化したデータ処理を行うＤＳＰ（デジタル信号プロセッサ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＧＰＵ（グラフィックスプロセッシングユニット：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等により構成されていてもよい。

【0107】

メモリ３１２は、サーバ装置３００で実行されるプログラムや処理対象データを一時的に記憶する揮発性メモリである。メモリ３１２は、例えばＲＡＭ（ランダムアクセスメモリ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置である。

【0108】

通信部３１３は、サーバ装置３００が他の装置と通信を行うための機能を有している。図１１に示すように、サーバ装置３００はネットワーク４００に接続されており、ネットワーク４００を介してアクセスするリモート端末２００からの操作入力に応じて、各機能に係る処理を実行するように構成されている。通信部３１３は、本発明の入力受付部を構成する。

【0109】

操作入力部３１４は、ユーザからの情報の入力を受け付ける機能を有しており、例えばマウスおよびキーボード等の入力デバイスを表している。また、モニタ３１５は、ユーザに対して視覚的な情報の出力を行う機能を有しており、表示画面を備えている。サーバ装置３００は、基本的にはリモート端末２００からの操作入力に基づいて処理を行うように構成されており、操作入力部３１４およびモニタ３１５は、例えばサーバ装置３００側のオペレータがメンテナンス等を行う場合に適宜使用される。

【0110】

ストレージ３１６は、例えば、ＨＤＤ（ハードディスクドライブ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気ディスク、ＳＳＤ（ソリッドステートドライブ：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の半導体メモリ、光磁気ディスクならびに光ディスク等により実現される補助記憶装置である。

【0111】

なお、ストレージ３１６は、例えばサーバ装置３００とは別体のネットワークストレージ装置やデータベース管理装置に配置されていてもよい。本実施形態におけるストレージ３１６は、サーバ装置３００がアクセス可能な任意のデータ記憶装置を包含するものである。

【0112】

ストレージ３１６は、所望の処理手順がプログラム命令として記述されたプログラムやデータを記憶することができるようになっている。例えば図１２に示すように、ストレージ３１６には、データ利活用プラットフォームを実現するデータ利活用プラットフォーム実行プログラム３１６Ａ、ＣＩツールを実現するＣＩツール実行プログラム３１６Ｂ、横展開ツール３０を実現する横展開ツール実行プログラム３１６Ｃ等の各種プログラムがストレージ３１６に格納されている。プロセッサ３１１は、ストレージ３１６から各種プログラムを適宜読み出してメモリ３１２上に展開し、プログラム命令を実行することで、各プログラムに対応する機能をサーバ装置３００において実現できるようになっている。

【0113】

なお、図１２には、本発明に係る各種プログラムが、独立して存在するプログラムとして模式的に図示されているが、これらのプログラムは互いに連携して実行されるようになっていてもよい。これにより、各種プログラムの実行によって実現される各種機能が互いに連携して動作することができる。また、各種プログラムがそれぞれ別体のサーバ装置３００で実行されるように構成されており、上述したように、データ利活用プラットフォームを提供する機能、ＣＩツールを提供する機能、横展開ツール３０を提供する機能、データの格納を行うデータベース管理機能等の各機能が異なるサーバ装置３００に分散されていてもよい。

【0114】

さらに、ストレージ３１６には、パイプラインの複製の際に実行される複数のデプロイスクリプト３２が格納されている。デプロイスクリプト３２は、上述したように、例えばデータ利活用プラットフォームに用意されている様々なコマンドを組み合わせて作成することができる。デプロイスクリプト３２は、例えばＣＩツール実行プログラム３１６Ｂの実行により実現されるＣＩツールによって管理されるリポジトリ等に格納されており、ＣＩツールの機能を利用して複製先の環境にパイプラインを構築することができるようになっている。デプロイスクリプト３２としては、特に限定されないが、図７に示すデプロイスクリプト３２Ａ～３２Ｉ等が挙げられる。デプロイスクリプト３２の実行によりサーバ装置３００に実装される処理部は、本発明の作成部を構成する。

【0115】

また、ストレージ３１６は、本発明に係る各種データを格納することができるようになっている。ストレージ３１６は、例えば図１２に示すように、構成管理３１を格納する構成管理データベースとして機能する。構成管理３１には、図７に示す各種情報３１Ａ～３１Ｇ等が格納されている。ストレージ３１６および構成管理は、本発明の格納部を構成する。

【0116】

ストレージ３１６には、上記以外の様々なプログラムや様々なデータが格納されてもよい。一例として、ストレージ３１６には、サーバ装置３００の動作に必要なオペレーションシステムプログラム、リモート端末２００からのアクセス管理を行うサーバプログラム等の様々なプログラムが格納されていてもよい。

【0117】

図１１および図１２に示すデータ処理システム１００では、エンジニアがリモート端末２００からサーバ装置３００にアクセスして操作を行うことで、作成済みのパイプラインから各リソースの構成情報や各リソース間の接続情報を抽出し、作成済みのパイプラインの構成情報定義として構成管理３１に格納することができるようになっている。

【0118】

また、エンジニアがリモート端末２００からサーバ装置３００にアクセスして操作を行うことで、例えばデータ利活用プラットフォームに用意されている様々なコマンドを組み合わせて、パイプラインを複製する際に必要となるデプロイスクリプト３２を作成することができるようになっている。

【0119】

図１１および図１２に示すデータ処理システム１００では、エンジニアがリモート端末２００からサーバ装置３００にアクセスして操作を行うことで、サーバ装置３００に実装された横展開ツール３０に対して複製元のパイプラインの識別情報（例えば、パイプライン名）や複製先の環境情報の入力を行うことで、パイプラインの複製を行うために作成したデプロイスクリプト３２の処理により、作成済みのパイプライン（複製元のパイプライン）を利用して、複製先の環境に適合した新たなパイプラインを作成することができるようになっている。

【0120】

図１１および図１２に示すデータ処理システム１００では、エンジニアがリモート端末２００からサーバ装置３００にアクセスして操作を行うことで、複製先に作成したパイプラインの一部を修正したり、修正したパイプラインから各リソースの構成情報や各リソース間の接続情報を抽出し、作成済みのパイプラインの構成情報定義として構成管理３１に格納したりすることができるようになっている。

【0121】

図１１および図１２に示すデータ処理システム１００では、エンジニアがリモート端末２００からサーバ装置３００にアクセスして操作を行うことで、作成済みのパイプラインの一部のみを別のパイプラインに流用することができるようになっている。

【0122】

このように、本実施形態では、過去に作成したパイプラインの一部または全体を任意の環境に複製して、新たな環境に適合したパイプラインを迅速かつ簡単に構築することができるようになっている。これにより、パイプラインの複製に要する開発工数および所要時間を低減させることができる。また、エンジニアは、複製元となるパイプラインの識別情報および複製先の環境情報を入力するだけでよく、パイプラインの作成に要する手間が大幅に低減されるとともに、手作業でパイプラインを複製した場合に生じ得るミスの発生も抑制することができる。

【0123】

さらに、本実施形態では、横展開ツール３０として作成したデプロイスクリプト３２の実行により、データベースのリソースを配置した後に、データ処理のリソースの配置およびデータベースのリソースとの接続を行うことで、複製先の環境に適合するかどうかのテストを段階的に行いながらリソースをデプロイすることができるようになっている。これにより、新たな環境において適切に動作するパイプラインの作成を確実に行うことができる。また、事前に作成した複数のデプロイスクリプトが適宜実行されることで、新たな環境にパイプラインを組み立てるかのように、複製先の環境に適合するパイプラインの作成を段階的に行うことができる。

【0124】

本発明の実施形態に関する作用について説明する。

【0125】

本実施形態におけるデータ処理方法は、作成済みの第１パイプライン（複製元のパイプライン）を利用して新たな第２パイプライン（複製先のパイプライン）を作成するものである。

【0126】

本実施形態におけるデータ処理方法は、第１パイプラインの構成を定義する情報を格納する格納ステップと、第１パイプラインの識別情報および第２パイプラインを提供する環境情報の入力を受け付ける入力受付ステップと、識別情報により特定された第１パイプラインの構成を定義する情報および第２パイプラインを作成する環境における環境情報に基づいて、第２パイプラインを作成する作成ステップと、を有する。なお、上記の格納ステップは、図５に示すステップＳ１１～Ｓ１３の処理に対応する。また、入力受付ステップは、図８に示すステップＳ２１の処理に対応し、作成ステップは、図８に示すステップＳ２２～Ｓ２８の処理に対応する。

【0127】

これにより、過去に作成した第１パイプラインを任意の環境に複製して、新たな環境に適合した第２パイプラインを迅速かつ簡単に構築することができ、パイプラインの複製に要する開発工数および所要時間を低減させることができる。また、エンジニアは、複製元の第１パイプラインの識別情報および複製先の環境情報を入力するだけでよく、パイプラインの作成に要する手間が大幅に低減されるとともに、手作業でパイプラインを複製した場合に生じ得るミスの発生も抑制することができる。

【0128】

また、上記の格納ステップにおいて、第１パイプラインの各リソースの構成情報および各リソース間の接続情報を取得し、第１パイプラインの構成を定義する構成情報定義ファイルとして格納してもよい。

【0129】

これにより、過去に作成した第１パイプラインの構成を定義する情報として、第１パイプラインから簡単に抽出可能な各リソースの構成情報および各リソース間の接続情報を利用することができる。

【0130】

また、構成情報定義ファイルに、第１パイプラインを構成する各部品に関する構成情報および接続情報が部品単位で記述されていてもよい。

【0131】

これにより、第１パイプラインを部品単位で第２パイプラインの各部品として複製することができる。

【0132】

また、上記の作成ステップにおいて、パイプラインの複製処理を行うために事前に作成した複数のデプロイスクリプト３２の実行により、第２パイプラインの作成が行われてもよい。

【0133】

これにより、事前に作成した複数のデプロイスクリプト３２を適宜実行することで、新たな環境にパイプラインを組み立てるように第２パイプラインの作成を段階的に行うことができる。

【0134】

また、デプロイスクリプト３２が、既存のデータ利活用プラットフォームで利用されているコマンドを組み合わせて作成されていてもよい。

【0135】

これにより、既存のデータ利活用プラットフォームを利用して様々なデプロイスクリプトを作成することができる。

【0136】

また、上記の作成ステップにおいて、第１パイプラインの各リソースの構成情報に基づいて、第２パイプラインにおいてデータを蓄積するデータベースのリソースを作成した後に、第２パイプラインにおいてデータ処理を行うリソースを作成して、データベースのリソースと接続してもよい。

【0137】

これにより、データベースのリソースを作成する段階と、データ処理を行うリソースを作成してデータベースのリソースと接続する段階に分けて第２パイプラインの作成を行うことができ、上記の各段階でエラーの発生をチェックすることで、複製先の環境に適合するかどうかのテストを段階的に行いながらリソースをデプロイすることができる。

【0138】

また、本実施形態におけるデータ処理方法は、作成後の第２パイプラインを修正する修正ステップを有していてもよい。

【0139】

これにより、新たに作成した第２パイプラインを複製先の環境等に適合するように修正することができる。

【0140】

また、上記の修正ステップにおいて修正した第２パイプラインの各リソースの構成情報および各リソース間の接続情報を取得し、第２パイプラインの構成を定義する構成情報定義ファイルとして格納してもよい。

【0141】

これにより、修正した第２パイプラインを複製元のパイプラインとして利用することができる。

【0142】

また、上記の作成ステップにおいて、第１パイプラインに含まれる特定の部品の構成を定義する情報に基づいて、第２パイプラインの特定の部品のみを作成してもよい。

【0143】

これにより、過去に作成した第１パイプラインの特定の部品のみを流用して、新たな環境に適合した第２パイプラインを迅速かつ簡単に構築することができる。

【0144】

本実施形態におけるデータ処理システム１００は、作成済みの第１パイプライン（複製元のパイプライン）を利用して新たな第２パイプライン（複製先のパイプライン）を作成するものである。本実施形態におけるデータ処理システム１００は、エンジニアが操作可能なリモート端末２００と、ネットワーク４００上に配置されてリモート端末２００がアクセス可能なサーバ装置３００とにより構成されている。

【0145】

サーバ装置３００は、第１パイプラインの構成を定義する情報を格納する格納部（図７に示す構成管理３１、図１２に示すストレージ３１６および構成管理３１）と、リモート端末２００からネットワーク４００を介して、第１パイプラインの識別情報および第２パイプラインを提供する環境情報の入力を受け付ける入力受付部（図１２に示す通信部３１３）と、識別情報により特定された第１パイプラインの構成を定義する情報および第２パイプラインを作成する環境における環境情報に基づいて、第２パイプラインを作成する作成部（図７および図１２に示すデプロイスクリプト３２の実行により実装される処理部）と、を有することを特徴とする。

【0146】

これにより、過去に作成した第１パイプラインを任意の環境に複製して、新たな環境に適合した第２パイプラインを迅速かつ簡単に構築することができ、パイプラインの複製に要する開発工数および所要時間を低減させることができる。また、エンジニアは、リモート端末２００からサーバ装置３００にアクセスし、複製元の第１パイプラインの識別情報および複製先の環境情報を入力するだけでよく、パイプラインの作成に要する手間が大幅に低減されるとともに、手作業でパイプラインを複製した場合に生じ得るミスの発生も抑制することができる。

【0147】

本発明は、上記の実施形態に限定されるものではなく、本発明の技術的思想を逸脱しない範囲における種々の変形例および設計変更等をその技術的範囲に包含するものである。

【符号の説明】

【0148】

１０Ａ、１０Ｂ、１０Ｘ、１０Ｙ 顧客環境
２０Ａ、２０Ｂ、２０Ｘ、２０Ｙ パイプライン
２１Ａ、２１Ｂ、２１Ｘ、２１Ｙ 収集パイプライン
２２Ａ、２２Ｘ、２２Ｙ 整形パイプライン
２３Ａ、２３Ｘ、２３Ｙ 集計パイプライン
３０ 横展開ツール
３１ 構成管理
３１Ａ パイプライン管理定義情報（パイプライン管理定義）
３１Ｂ デプロイ用認証情報
３１Ｃ パイプライン構成定義情報（パイプライン構成定義）
３１Ｄ 構成情報定義ファイル（パイプラインＡ構成定義）
３１Ｅ 設定パラメータ（パイプラインＡパラメータシート）
３１Ｆ 構成情報定義ファイル（パイプラインＢ構成定義）
３１Ｇ 設定パラメータ（パイプラインＢパラメータシート）
３２、３２Ａ～３２Ｉ デプロイスクリプト
１００ データ処理システム
２００ リモート端末
３００ サーバ装置
３１０ バス
３１１ プロセッサ
３１２ メモリ
３１３ 通信部
３１４ 操作入力部
３１５ モニタ
３１６ ストレージ
３１６Ａ データ利活用プラットフォーム実行プログラム
３１６Ｂ ＣＩツール実行プログラム
３１６Ｃ 横展開ツール実行プログラム
４００ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】