特開 2024-167074 フレキシブル抽出、変換、読み込み（ＥＴＬ）プロセス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024167074

(43)【公開日】2024-11-29

(54)【発明の名称】フレキシブル抽出、変換、読み込み（ＥＴＬ）プロセス

(51)【国際特許分類】

   G06F 16/25 20190101AFI20241122BHJP

【ＦＩ】

G06F16/25

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024080610

(22)【出願日】2024-05-17

(31)【優先権主張番号】63/503,399

(32)【優先日】2023-05-19

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＯＲＡＣＬＥ

(71)【出願人】

【識別番号】524187542

【氏名又は名称】サーモ エレクトロン ノース アメリカ エルエルシー

(71)【出願人】

【識別番号】503363806

【氏名又は名称】サーモ フィニガン エルエルシー

【氏名又は名称原語表記】Ｔｈｅｒｍｏ Ｆｉｎｎｉｇａｎ ＬＬＣ

(71)【出願人】

【識別番号】524187553

【氏名又は名称】ハイ ケム エス．アール．オー．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】マーク レスラー

(72)【発明者】

【氏名】サチン デシュパンデ

(72)【発明者】

【氏名】マシュー カンプ

(72)【発明者】

【氏名】ドラゴスラフ クメニク

(72)【発明者】

【氏名】マーティン コノプカ

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175CA09

5B175CA11

(57)【要約】      （修正有）

【課題】処理デバイスによって実行される抽出、変換、読み込み（ＥＴＬ）処理のためのシステム、方法、コンピューティングデバイス及びコンピュータ可読媒体を提供する。
【解決手段】方法は、データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、ＥＴＬ処理キューから、メタデータを含み、かつ、アプリケーションデータに関連するレコード又はデータファイルが処理の準備ができていることを示す信号を受信することと、メタデータを処理して、レコード又はデータファイルの場所を識別し、識別された場所からレコード又はデータファイルを取り出すことによって、ソースデータを決定することと、ターゲットスキーマに従って定義されたビッグデータテーブルにソースデータを提供することと、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

処理デバイスによって実行される抽出、変換、読み込み（ＥＴＬ）処理のための方法であって
データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、
ＥＴＬ処理キューから、メタデータを含み、かつ、前記アプリケーションデータに関連するレコード又はデータファイルが処理の準備ができていることを示す信号を受信することと、
前記メタデータを処理して前記レコード又は前記データファイルの場所を識別し、前記識別された場所から前記レコード又は前記データファイルを取り出すことによって、ソースデータを決定することと、
前記ターゲットスキーマに従って定義されたテーブルにソースデータを提供することとを含む、方法。

【請求項2】

前記フィールドマッピングが、アプリケーション又はサーバによって前記データカタログに格納される、請求項１に記載の方法。

【請求項3】

前記アプリケーションは、前記アプリケーションデータを使用するように構成される、請求項２に記載の方法。

【請求項4】

前記アプリケーションが、利用可能であれば、新しいレコード又は新しいソースデータファイルを前記データカタログに登録するように構成される、請求項２に記載の方法。

【請求項5】

前記レコード又は前記データファイルが、前記アプリケーションによる処理の準備ができているものとして、前記データカタログに登録されている、請求項２に記載の方法。

【請求項6】

前記レコード又は前記データファイルは、前記データカタログによって前記ターゲットスキーマと整合されている、請求項５に記載の方法。

【請求項7】

前記信号は、前記データカタログによって、前記ＥＴＬ処理キューに挿入される、請求項５に記載の方法。

【請求項8】

前記フィールドマッピングは、前記アプリケーションデータの種類に従って定義される、請求項７に記載の方法。

【請求項9】

前記アプリケーションデータの前記種類に一致する前記レコード又は前記データファイルの種類に基づいて、前記信号は、前記データカタログによって挿入される、請求項８に記載の方法。

【請求項10】

前記ターゲットスキーマは、前記データカタログ内のターゲットテーブルに展開される、請求項１に記載の方法。

【請求項11】

前記レコード又は前記データファイルは、新規のものであるか、又は更新されている、請求項１に記載の方法。

【請求項12】

前記信号は、前記レコード又は前記データファイルの場所を含む、請求項１に記載の方法。

【請求項13】

前記レコード又は前記データファイルが以前に提供されたスキーマに関連付けられていない場合、前記データカタログが、前記アプリケーションデータと前記ターゲットスキーマとの間の前記フィールドマッピングを提供する、請求項１に記載の方法。

【請求項14】

前記ソースデータは、前記データカタログによって提供されるメタデータを使用して、前記テーブルに提供される、請求項１に記載の方法。

【請求項15】

前記ソースデータは第１のソースデータを含み、前記ターゲットスキーマは第１のターゲットスキーマを含み、前記方法は、
前記データカタログから、第２のアプリケーションデータと第２のターゲットスキーマとの間の第２のフィールドマッピングを受信することと、
前記ＥＴＬ処理キューから、第２のメタデータを含み、かつ、前記第２のアプリケーションデータに関連する第２のレコード又は第２のデータファイルが処理の準備ができていることを示す第２の信号を受信することと、
前記第２のメタデータを処理して、識別された第２の場所から、前記第２のレコード又は前記第２のデータファイルの第２の場所を識別することによって、第２のソースデータを決定することであって、前記第１のソースデータと前記第２のソースデータは異なるフォーマットを含む、決定することと、
前記第２のターゲットスキーマに従って定義された前記テーブルに第２のソースデータを提供することであって、前記第１のターゲットスキーマと前記第２のターゲットスキーマは同じスキーマである、提供することとを更に含む、請求項１に記載の方法。

【請求項16】

前記ソースデータは第１のソースデータを含み、前記ターゲットスキーマは第１のターゲットスキーマを含み、前記方法は、
前記データカタログから、第２のアプリケーションデータと第２のターゲットスキーマとの間の第２のフィールドマッピングを受信することと、
前記ＥＴＬ処理キューから、第２のメタデータを含み、かつ、前記第２のアプリケーションデータに関連する第２のレコード又は第２のデータファイルが処理の準備ができていることを示す第２の信号を受信することと、
前記第２のメタデータを処理して、識別された第２の場所から、前記第２のレコード又は前記第２のデータファイルの第２の場所を識別することによって、第２のソースデータを決定することであって、前記第１のソースデータと前記第２のソースデータは異なるフォーマットを含む、決定することと、
前記第２のターゲットスキーマに従って定義された前記第２のテーブルに第２のソースデータを提供することであって、前記第１のターゲットスキーマと前記第２のターゲットスキーマは異なるスキーマである、提供することとを更に含む、請求項１に記載の方法。

【請求項17】

システムであって、
命令を格納する非一時的コンピュータ可読記憶媒体と、
少なくとも１つの電子プロセッサであって、前記命令を実行して、
データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、
ＥＴＬ処理キューから、メタデータを含み、かつ、前記アプリケーションデータに関連するレコード又はデータファイルが処理の準備ができていることを示す信号を受信することと、
前記メタデータを処理して前記レコード、又は前記データファイルの場所を識別し、前記識別された場所から前記レコード又は前記データファイルを取り出すことによって、ソースデータを決定することと、
前記ターゲットスキーマに従って定義されたテーブルにソースデータを提供することとを行うよう構成された、少なくとも１つの電子プロセッサとを含む、システム。

【請求項18】

前記フィールドマッピングが、アプリケーション又はサーバによって前記データカタログに格納される、請求項１７に記載のシステム。

【請求項19】

実行可能命令を含む非一時的コンピュータ可読記憶媒体であって、前記実行可能命令は、電子プロセッサに、
データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、
ＥＴＬ処理キューから、メタデータを含み、かつ、前記アプリケーションデータに関連するレコード又はデータファイルが処理の準備ができていることを示す信号を受信することと、
前記メタデータを処理して前記レコード又は前記データファイルの場所を識別し、前記識別された場所から前記レコード又は前記データファイルを取り出すことによって、ソースデータを決定することと、
前記ターゲットスキーマに従って定義されたテーブルにソースデータを提供することとを行わせる、非一時的コンピュータ可読記憶媒体。

【請求項20】

前記フィールドマッピングがアプリケーション又はサーバによって前記データカタログに格納される、請求項１９に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２３年５月１９日に出願された米国仮特許出願第６３／５０３，３９９号の通常出願であり、この利益を主張し、その全内容は参照により本明細書で援用される。

【0002】

（発明の分野）
データ分析における近年の考え方によれば、ビッグデータストアのデータを変換する必要性は、抽出、変換、読み込み（extract, transform, and load、ＥＴＬ）の慣行に従って、大幅に削減される。一般に、ＥＴＬは、複数のデータソースからのデータを、データウェアハウス、又は他のターゲットシステムにロードされる単一の一貫したデータストアに組み合わせる、データ統合プロセスである。ＥＴＬプロセスは、データ分析、及び機械学習ワークストリームの基礎を提供する。一連の論理ルールを通して、ＥＴＬプロセスは、特定の情報のニーズに対処するだけでなく、バックエンドプロセス、又はエンドユーザ体験を向上させ得る、より高度な分析にも対応するように、データをクレンジングし、整理する。

【発明の概要】

【0003】

本明細書に開示されるのは、システム、並びに関連する方法、コンピューティングデバイス、及びコンピュータ可読媒体である。例えば、いくつかの実施形態では、処理デバイスによって実行されるＥＴＬ処理のための方法は、データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、ＥＴＬ処理キューから、メタデータを含み、かつ、アプリケーションデータに関連するレコード、又はデータファイルが処理の準備ができていることを示す信号を受信することと、メタデータを処理して、レコード又はデータファイルの場所を識別し、識別された場所からレコード又はデータファイルを取り出すことによって、ソースデータを決定することと、ターゲットスキーマに従って定義されたビッグデータテーブルにソースデータを提供することと、を含む。

【図面の簡単な説明】

【0004】

実施形態は、添付図面と併せて以下の詳細な説明により容易に理解されるであろう。本説明を容易にするために、同様の参照数字は、同様の構造要素を示す。実施形態は、添付図面の図において、限定するものとしてではなく、例として示されている。

【図1】様々な実施形態に係る、例示的なコンテナ図を示す。

【図2】様々な実施形態に係る、フレキシブルＥＴＬ処理用の例示的な支援モジュールのブロック図である。

【図3】様々な実施形態に係る、フレキシブルＥＴＬ処理を提供するための例示的な方法のフロー図である。

【図4】様々な実施形態に係る、本明細書で開示される支援方法の一部、又は全ての実行で使用され得る、グラフィカルユーザインターフェイスの一例である。

【図5】様々な実施形態に係る、本明細書で開示される支援方法の一部、又は全てを実行し得る、例示的なコンピューティングデバイスのブロック図である。

【発明を実施するための形態】

【0005】

データ分析では、通常、特定のユースケースを支援するために、膨大なカスタムモデリングを必要とする。オンライン分析処理（online analytical processing、ＯＬＡＰ）構造が広範囲のユースケースを支援するために作成されるデータウェアハウジングでさえも、これらの構造をモデリングし、ＥＴＬパイプラインにデータを投入するには、その範囲の適用性を提供するために、データソースに関する特定の知識と、ファクトテーブル及びディメンジョンテーブルのカスタムモデリングが必要である。更に、プラットフォームチームがこのカスタムモデリング、及び専用パイプライン開発を担う場合、チームはカスタム開発の際限のないサイクルに陥り、プラットフォームの展開を複雑にして、プラットフォームの採用を妥協する恐れがある。

【0006】

その上、データをビッグデータストアに移動させることは、ＥＴＬジョブのカスタムコーディング、及びスケジューリングを必要とすることが多い。同様に、データカタログ内のデータ系統を追跡するには、データマッピングを取り出すためにデータカタログをデータコネクタ、及び／又はＥＴＬツールにリンクする必要がある。そうでなければ、データ系統の手動キュレーションが必要になり得る。通常、こうした技術は、従来のエンタープライズビッグデータストアを管理する際に、採用される。しかしながら、こうしたエンタープライズデータ技術を適用することによって、データプラットフォーム上でビッグデータを管理することは、特に効率的でも、管理可能でもない。いくつかの実施形態では、本明細書に記載される技術は、従来のエンタープライズデータ技術における動作の順序を逆転させることによって、こうした問題を解決する。例えば、いくつかの実施形態において、データ系統は、最初にデータカタログ内に構成され、それによって、ＥＴＬプロセスが実装するデータ移動を定義する。これにより、様々なデータソース、データ種類、及び／又は、ターゲットシステムにわたって幅広く適用可能、かつ／又は拡張され得るＥＴＬジョブをフレキシブルに定義できる。したがって、本明細書に記載されるフレキシブルＥＴＬプロセスは、必要とされるカスタムコーディングの量を低減させることができる。更に、データ系統がデータカタログにおいて最初に定義されるので、こうしたデータ関係のキュレーションは、正確で、最新のままであり得る。

【0007】

したがって、記載のシステム、及び方法は、データカタログのデータ系統機能を採用する、フレキシブルＥＴＬプロセスを提供する。一般に、採用されるデータ系統は、ＥＴＬプロセスによって必要とされるデータマッピングを定義し、データがファイル、又は運用データベースなどのデータソースから、例えば、ビッグデータテーブルにどのように移動するかを追跡する。いくつかの実施形態では、フレキシブルＥＴＬプロセスは、データカタログからのデータソース、及びターゲットに関するメタデータを使用して、カスタムコーディング無しに、入力データをソースからターゲットに移動させる。フレキシブルＥＴＬプロセスを実装すると、分析及び報告目的用に新しいデータソースを取り込むために必要とされる手間の度合が減少する。更に、フレキシブルＥＴＬプロセスを実装すると、新しいデータソースとの統合が加速し、維持するコードの量が低減され、かつ／又は、新しいデータカタログと自動的に整合される。更に、汎用ＥＴＬを実装すると、レイテンシ及びメモリ要件が低減され、運用データベースの最適化が促進される。

【0008】

いくつかの実施形態において、記載のフレキシブルＥＴＬプロセスを使用して、バッチ処理で各ファイルを個別に読み取る必要なく、多数の別個のデータファイルにわたってデータをクエリする機能を提供する必要性に対処し、様々なソースからのデータを効率的に結合し、必ずしも特定のアプリケーションに依存しないユースケースに対処するために、ダッシュボードでデータを視覚化する機能を提供する。

【0009】

本明細書に記載されるフレキシブルＥＴＬプロセスを実装することにより、ＥＴＬ、データレイク、レイクショアマート、及びビジネスインテリジェンスなど、全てが企業コンピューティングの典型的な構成要素とされる、多くの従来の情報技術分野が改善される。こうした技術を展開することは、企業環境において一般的であり得るように、複数の展開モデルを利用し、アラートに即時に対応する専用サポートスタッフが不足しているプラットフォームでは困難となる。更に、必要に応じて、追加のコモディティハードウェアをクラスタに追加することが比較的簡単であり得る企業展開とは異なり、性能を向上させるために、こうした展開をスケーリングすることも困難であり得る。その結果、本明細書に記載されるフレキシブルＥＴＬプロセス、及び関連アーキテクチャは、最小限のリソースを使用して性能を最大化する一方、データの一貫性、及び／又は可用性を維持するための定期的な支援の必要性を大幅に低減し、かつ／又は無くす。

【0010】

ソースファイルからクエリ可能テーブルへのデータ移動を追跡する必要性は、データカタログ形式でプラットフォーム内のデータを記述する必要性と一致する。こうした問題、及び他の技術的問題に対処するために、フレキシブルＥＴＬプロセスは、ソースデータファイルとターゲットテーブルとの間のマッピングを維持することにより、ビッグデータストアへのデータ転送がどのように実行されるべきかを示すことが可能となる。更に、フレキシブルＥＴＬプロセスは、プラットフォーム内のデータ移動に関する来歴情報を提供する。更に、データカタログ内の文書種類、関連付けられたスキーマ、及びデータフィールドの表現には、当該データの意味を定義するセマンティック情報が付随しているので、プラットフォーム内外のデータの互換性が可能になる。

【0011】

特定の定義
以下の詳細な説明では、本明細書の一部を形成する添付の図面が参照され、同様の数字は全体を通して同様の部分を示し、例解として、実施され得る実施形態が示される。本開示の範囲から逸脱することなく、他の実施形態が利用され得、構造的又は論理的変更が行われ得ることを理解されたい。したがって、以下の詳細な説明は、限定的な意味で解釈されるべきではない。

【0012】

様々な動作は、本明細書に開示される主題を理解するのに最も役立つように、複数の別個のアクション又は動作として順に説明され得る。しかしながら、説明の順序は、これらの動作が必然的に順序に依存することを示唆するものとして解釈されるべきではない。具体的には、これらの動作は、提示の順序で実施されない場合がある。説明される動作は、説明される実施形態とは異なる順序で実施され得る。様々な追加の動作が実施され得、及び／又は説明された動作が追加の実施形態において省略され得る。

【0013】

本開示の目的のために、「Ａ及び／又はＢ（A and/or B）」及び「Ａ又はＢ（A or B）」という語句は、（Ａ）、（Ｂ）、又は（Ａ及びＢ）を意味する。本開示の目的のために、「Ａ、Ｂ、及び／又はＣ（A, B, and/or C）」及び「Ａ、Ｂ、又はＣ（A, B , or C）」という語句は、（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）、（Ａ及びＣ）、（Ｂ及びＣ）、又は（Ａ、Ｂ、及びＣ）を意味する。いくつかの要素は単数形（例えば、「処理デバイス」）で言及され得るが、任意の適切な要素は、その要素の複数のインスタンスによって表され得、逆もまた同様である。例えば、処理デバイスによって実施されるものとして説明された動作のセットは、異なる処理デバイスによって実施される動作のうちの異なるものを用いて実装され得る。

【0014】

本説明は、「ある実施形態」、「様々な実施形態」、及び「いくつかの実施形態」という語句を使用し、それらの各々は、同じ又は異なる実施形態のうちの１つ以上を指し得る。更に、本開示の実施形態に関して使用される「備える（comprising）」、「含む（including）」、「有する（having）」などの用語は、同義である。寸法の範囲を説明するために使用されるとき、「Ｘ～Ｙ（between X and Y）」という語句は、ＸとＹとを含む範囲を表す。本明細書で使用する場合、「装置」は、任意の個々のデバイス、デバイスの集合、デバイスの一部、又はデバイスの一部の集合を指し得る。図面は、必ずしも縮尺どおりではない。

【0015】

本明細書で使用する場合、「データカタログ」という用語は、限定されないが、例えば、セマンティック定義を含む、文書サービス、及び他のサービスによって管理される文書のファイル種類に関連するメタデータの集合を含む。

【0016】

本明細書で使用する場合、「オントロジ」という用語は、限定されないが、例えば、明確に定義されたプロパティにわたる、エンティティのクラスを含む、エンティティのセット、及びエンティティ同士の関係を含む。

【0017】

本明細書で使用する場合、「知識グラフ」という用語は、限定されないが、例えば、通常、オントロジに整合されたグラフデータベースに格納された、意味のある関係によってリンクされたエンティティの記述の集合を含む。

【0018】

本明細書で使用する場合、「トリプルストア」、又は「セマンティックトリプルストア」という用語は、限定されないが、例えば、主として、主語、述語、及び、目的語を表す三つ組み形式でデータを格納し、通常、ＳＰＡＲＱＬプロトコルを使用して、クエリ機能を提供する非構造化照会言語（no structured query language、ＮｏＳＱＬ）データベースを含む。「グラフデータベース」としても知られている。

【0019】

本明細書で使用する場合、「データカタログサービス」という用語は、限定されないが、例えば、セマンティック定義を含む、文書リポジトリ内に格納されたファイル、又はデータベース内のテーブルなどのデータセットに関連するメタデータを管理するサービスを含む。データカタログサービスは、データがどのようにして、例えば、ビッグデータストア、又はリレーショナルデータベースサーバに移動されるべきかに関するメタデータを格納し得る。

【0020】

本明細書で使用する場合、「検索インデックス」という用語は、限定されないが、例えば、全文検索などの検索条件に基づく、エンティティの迅速な識別のためにメタデータの格納を最適化するサービスを含む。

【0021】

本明細書で使用する場合、「ＥＴＬツール」という用語は、限定されないが、例えば、データを抽出、変換、読み込むように設計されたソフトウェアを含む。

【0022】

本明細書で使用する場合、「ＥＴＬ処理キュー」という用語は、限定されないが、例えば、ＥＴＬパイプライン内で処理される必要がある文書、又はデータセットへの参照を含む、Ｋａｆｋａ、又はＲａｂｂｉｔＭＱなどのメッセージブローカ内のチャネルを含む。

【0023】

本明細書で使用する場合、「データベースサーバ」、又は「リレーショナルデータベースサーバ」という用語は、限定されないが、例えば、定義されたクエリ言語を使用して、迅速にクエリするために表形式データを格納し、最適化するシステムを含む。

【0024】

本明細書で使用する場合、「ビッグデータストア」という用語は、限定されないが、例えば、通常は元のデータフォーマットであるが、場合によっては、ＯＲＣ又はＰａｒｑｕｅｔなどの最適化されたビッグデータファイルフォーマットでもある、分析用の多数のファイルを格納するためのデータリポジトリを含む。様々な実装形態において、「ビッグデータストア」は「データレイク」とも称され得る。いくつかの実施形態において、多数のファイルは、１００万以上程度のファイルである。

【0025】

例示的なフレキシブルＥＴＬプロセス
例示的な実施形態において、フレキシブルＥＴＬプロセスは、以下のように概説することができる。アプリケーションは、そのソースデータのデータスキーマ、ターゲットビッグデータテーブルのスキーマ、及び／又はこうしたソーススキーマとターゲットスキーマとの間のフィールドマッピングを、データカタログに登録する。一般に、フィールドマッピングでは、（例えば、上記ソースからの）永続的フィールドがターゲットスキーマへとどのようにマッピングされるかを記述する。ＥＴＬプロセスは、こうしたフィールドマッピングをデータカタログから読み取り、フィールドマッピングに基づいて、定義されたターゲットビッグデータテーブル（例えば、それらが既に存在しない場合）を作成する。新しいソースデータファイル、又はレコードが利用可能である場合、アプリケーションは、それをデータカタログに登録する。データカタログは、新しいデータファイル、又はレコードを適切なスキーマと整合させる（例えば、構成時）。新しいデータファイル、又はレコードが、ビッグデータテーブルにマッピングされたスキーマに関連付けられている場合、データカタログは、レコードをＥＴＬ処理キューに挿入する。新しいデータファイル、又はレコードが、ビッグデータテーブルにマッピングされたスキーマに関連付けられていない場合、データカタログは、新しいデータの可用性を登録する。ＥＴＬツールは、データがどのようにビッグデータテーブルにマッピングされるべきかに関する情報を含む、レコードをＥＴＬ処理キューから読み取る。ＥＴＬツールは、入力データを処理してレコードにし、そのレコードを適切なビッグデータテーブルに転送する。

【0026】

フレキシブルＥＴＬプロセスが採用されるべきソースデータの例示的なカテゴリは、容易に解析され得るＣＳＶ、ＪＳＯＮ、及びＸＭＬのような標準ファイルフォーマットのデータ、個々のレコードの形式でリレーショナルデータベースから取り込まれたデータ、データパーサが容易に利用可能であるＳＰＣ、又はＧＡＭＬのような標準科学ファイルフォーマットのデータなどを含む。様々な実装態様において、ソースデータはデータベースファイルを含む。例えば、ソースデータは、ＭｙＳＱＬ（登録商標）ファイル、ＰｏｓｔｇｒｅＳＱＬファイル、Ｍｉｃｒｏｓｏｆｔ ＳＱＬ Ｓｅｒｖｅｒファイル、Ｏｒａｃｌｅデータベースファイル、ＳＱＬｉｔｅファイルなどのリレーショナルデータベースファイルを含み得る。いくつかの例において、データベースファイルは科学機器の結果ファイルである。例えば、結果ファイルは、Ｐｒｏｔｅｏｍｅ Ｄｉｓｃｏｖｅｒｅｒ結果ファイル、及び／又は、Ｃｏｍｐｏｕｎｄ Ｄｉｓｃｏｖｅｒｅｒ（商標）結果ファイルを含むことができる。

【0027】

したがって、異なるソースデータ（例えば、異なるファイルフォーマット、異なるデータ構造、異なるスキーマなどを有するソースデータ）の、同じターゲットスキーマ（例えば、ターゲットデータベースのスキーマ、ビッグデータストア内のターゲットデータテーブル）への、又は異なるターゲットスキーマ（例えば、異なるターゲットデータベースのスキーマ、又は同じビッグデータストア内の異なるターゲットデータテーブルなど）へのマッピング、かつ／又はインポートを自動化することによって、フレキシブルＥＴＬプロセスは、コンピューティング技術を改善する。異なるソースデータのデータフィールドとターゲットスキーマとの間のマッピングプロセスを自動化することによって、フレキシブルＥＴＬプロセスは、手間のかかる手動マッピングプロセスが原因で生じ得るエラーを低減し、又は無くして、膨大で多様なソースデータをターゲットデータテーブル、データベースなどにインポートする際の全体的な信頼性、及び速度を改善する。

【0028】

例えば、多様なソースデータは、様々なフォーマット（例えば、ＣＳＶ、ＪＳＯＮ、ＸＭＬなど）を使用し、かつ／又は、様々な構造（例えば、階層、リレーショナル、又はフラット）を有し得る。フレキシブルＥＴＬプロセスは、多様なデータソースのフィールドをターゲットスキーマへと体系的、かつ自動的にマッピングし、異なるフォーマットを有する異なるソースデータがターゲットスキーマへとスムーズに統合され得ることを確実にする。更に、ソースデータの多様性が増すにつれて、各種のソースデータをターゲットスキーマへと手動でマッピングすることは、持続不可能になり得る。フレキシブルＥＴＬプロセスによって実行される自動マッピングは、多様な範囲のソースデータの種類を扱うことができるので、フレキシブルＥＴＬプロセスは、効率的にスケーリングすることで、相応のエラー率を増加させることなく、処理されるソースデータの量と種類が増加する。

【0029】

システムコンテキスト
いくつかの実施形態において、フレキシブルＥＴＬプロセスは、本明細書に記載される動作機能、及び分析機能の双方を網羅するプラットフォームを介して提供される。動作機能は、例えば、文書サービス（図１を参照）を含む。いくつかの実施形態において、提供される分析機能では、いくつかの様々なプラットフォームを介して提供される複数の文書リポジトリを支援する。

【0030】

いくつかの実施形態において、アプリケーションは、文書サービスを介してプラットフォームにデータを格納する。いくつかの実施形態では、分析機能は、文書サービスからのデータの一部を、ビッグデータクエリに合わせて最適化された別個のストレージにプルし、アプリケーションのユーザが閲覧するためのダッシュボード上へのデータの提示を可能にする、デフォルトインテリジェンスツールを提供する。いくつかの実施形態において、アプリケーションによっては、ある特定のアプリケーションのユースケースを満たすために、最適化された分析機能内でデータをクエリするものもあり得る。いくつかの実施形態では、データが分析目的用に取り込まれるか、又はアクセスされ得る、いくつかの異なる経路、つまり、（１）文書データフロー、（２）レコードデータフロー、及び（３）仮想データフローがある。これらについて、以下のセクションで別々に説明する。

【0031】

文書データフロー
図１は、分析機能１５０のどの要素がプラットフォーム、及びそのアプリケーション（図示せず）と相互作用するかを示す、例示的なコンテナ図１００を示す。いくつかの実施形態では、文書サービス１２２は、実際の文書を取り出すことができるアクセスＵＲＬを含む、プラットフォーム内に位置する文書、及び他のデータセットをデータカタログサービス１０４に登録する役割を果たす。いくつかの実施形態では、プラットフォーム内、又はプラットフォーム外の複数のデータリポジトリが、文書をデータカタログサービス１０４に登録する。他のサービスも、例えば、メタデータをデータセット、又は、インジェクション若しくはシーケンスなどのデータセットに関連するエンティティのいずれかにリンクすることによって、メタデータをデータカタログサービス１０４に登録し得る。図示されるように、データカタログサービス１０４用の一次データストレージは、セマンティックトリプルストア１０６であり得る。様々な実装形態では、セマンティックトリプルストア１０６は、Ａｐａｃｈｅ Ｊｅｎａ ＦｕｓｅｋｉサーバによってホストされるＡｐａｃｈｅ Ｊｅｎａ ＲＤＦトリプルストアなどの、ウェブベースのセマンティックトリプルストアを含む。いくつかの例では、セマンティックトリプルストア１０６は、Ｅｃｌｉｐｓｅ ＲＤＦ４Ｊフレームワークを使用して実装されるウェブベースのトリプルストアを含む。しかしながら、プロジェクトの詳細に応じて、他のデータベース実装形態を採用してもよい。

【0032】

いくつかの実施形態では、検索インデックス１０２は、（例えば、検索インデックスデータのキーがセマンティックトリプルストア１０６内のエンティティの識別子である場合、キーワード、又は検索文字列によって）データカタログ内のインデックス付けされたデータセットにわたって、高速検索機能を提供する。いくつかの実施形態では、検索インデックス１０２は、データカタログ内のメタデータに対する検索を実行するために、プラットフォーム、又は当該プラットフォーム上のアプリケーション１２０に公開され、その結果を、関連付けられたメタデータをプルするために、データカタログサービス１０４に送信することができる。

【0033】

いくつかの実施形態では、データカタログサービス１０４は、新しい文書、又は更新された文書を処理する準備ができているという信号を、下流データパイプラインに提供する。例えば、データカタログサービス１０４は、メッセージをＥＴＬ処理キュー１０８に送信し、そこで、ＥＴＬツール１１０は、メッセージを取り出すことができる。いくつかの実施形態では、ＥＴＬツール１１０（例えば、ＡｐａｃｈｅＮｉＦｉ）は、例えば、ＦＴＰ、ＨＴＴＰ、又はＧＲＰＣを介して、リスナをインスタンス化することによって、そのパイプラインに文書を導入する。

【0034】

いくつかの実施形態において、ＥＴＬツール１１０は、データカタログサービス１０４をＥＴＬツール１１０から切り離す、独立キューを介して、処理用文書がより確実にキューに入れられることを保証する。いくつかの実施形態では、ＥＴＬツール１１０は、ＣＳＶ、ＪＳＯＮ、若しくはＸＭＬなどの一般的なファイルフォーマットの文書、ＳＰＣ、ＧＡＭＬ、若しくはＡｌｌｏｔｒｏｐｅ ＡＤＦなどの、標準的な分析ファイルフォーマットの文書、又は専用フォーマットの文書若しくはデータセットのうちの１つからのソース文書を処理する。いくつかの実施形態では、ソースファイル及びターゲットテーブル用のスキーマ定義がデータカタログ内で定義される限り、最初の２つのカテゴリは、汎用ＥＴＬパイプラインによって管理される。いくつかの実施形態では、第３のカテゴリは、処理されるべき専用フォーマットごとに、専用ＥＴＬパイプラインによって管理される。

【0035】

いくつかの実施形態において、ＥＴＬツール１１０は、新しい文書が処理される必要があることを示すメッセージを、ＥＴＬ処理キュー１０８から取り出す。いくつかの実施形態では、メッセージには、文書のメディア種類に関する情報が含まれており、この情報は、どのような種類の文書であるかを定義するものであり、ひいては、その文書がＥＴＬパイプライン内でどのように処理されるかを決定する。いくつかの実施形態では、汎用ＥＴＬパイプラインを通じて処理可能な文書について、ＥＴＬツール１１０は、データカタログサービス１０４からスキーママッピング情報を取り出し、文書をパイプライン内の適切なパスに誘導するか、又は、文書が専用フォーマットのうちの１つである場合には、パイプライン内の専用パスに誘導する。いくつかの実施形態では、ＥＴＬツール１１０は、データをビッグデータストア１１２に保存する。

【0036】

記録データフロー
図１のコンテナ同士の関係に関する上記の説明は、文書ベースのデータ（例えば、文書とファイル）の取り込みに焦点を当てている。しかしながら、同じアーキテクチャは、リレーショナルデータベースからの変更データ取り込みレコードなどのレコードに基づいて、データ取り込みを支援することができる。メタデータに加えて、ファイル外のデータ変更を追跡する他のサービスは更に、データカタログサービス１０４を通じてレコードを送信することが可能であり、いくつかの実施形態において、これらのレコードでは、セマンティックトリプルストア１０６に処理されないが、ＥＴＬツール１１０によって処理され、ビッグデータストア１１２に格納されるべきレコードとして、ＥＴＬ処理キュー１０８に渡されるはずである。その結果、図１で図示される例示のアーキテクチャは、新たなユースケースをサポートできるので、文書、又はファイル以外の動作データを分析機能１５０に転送して、例えば、動作機能と干渉しないことを確実にするために、このようなクエリのパターンをソースデータベースからオフロードする必要がある状況において、分析、又は人工知能（ＡＩ）／機械学習（ＭＬ）のユースケースをサポートすることが可能である。

【0037】

仮想データフロー
更に、図１に示されるアーキテクチャを採用して、仮想データフローモデルを支援可能であり、仮想データフローモデルはまた、分析エンジン１１４（例えば、Ｔｒｉｎｏ（登録商標））、及びアプリケーションデータベースなどのリレーショナルデータストアを採用して、リレーショナルストアとビッグデータストア１１２内のデータとの間の異種結合を実行する。いくつかの実施形態において、分析エンジン１１４は、ある特定の分析クエリを実行するために、データをリレーショナルストアから移動させる必要性を低減するか、又は無くすように、設計される。かかる実施形態では、分析エンジン１１４からリレーショナルデータストアへの接続の構成は、分析機能１５０の展開時に実行される。いくつかの実施形態では、データセマンティクが（分析エンジン１１４によって）クエリ可能要素に拡張されることを確実にするために、プラットフォームによって提供されるサービスは、リレーショナルデータストアの定義をデータカタログサービス１０４に登録する。いくつかの実施形態では、ビッグデータストア１１２内のデータに対する視覚化（例えば、チャート）を提供するアプリケーション１２０が、採用される。しかしながら、ある特定のユースケースでは、アプリケーション１２０はまた、分析エンジン１１４に直接クエリするように構成され得る。

【0038】

上述のアプリケーション１２０の多くは、（例えば、図５のコンピューティングデバイス４０００上で）インストールされ、構成されるソフトウェアパッケージに相当する。例えば、いくつかの実施形態では、分析エンジン１１４は、ビッグデータストア１１２及びメタストアサービス１１８（例えば、Ｈｉｖｅ（登録商標））と接続するように構成されるが、インテリジェンスツール１１６は、チャート及びダッシュボードの設計を（例えば、図５を参照して、本明細書で論じるディスプレイデバイス４０１０を介して）アプリケーションユーザ１０１に提供するように、分析エンジン１１４と接続するように構成される。いくつかの実施形態では、ＥＴＬツール１１０内のＥＴＬジョブは、インテリジェンスツール１１６内の構成の形態をとる。

【0039】

図２は、様々な実施形態に係る、支援動作を実施するための支援モジュール１０００のブロック図である。支援モジュール１０００は、プログラムされたコンピューティングデバイスなどの回路（例えば、電気的、及び／又は光学的構成要素を含む）によって実装され得る。支援モジュール１０００のロジックは、単一コンピューティングデバイスに含まれ得るか、又は必要に応じて互いに通信している複数のコンピューティングデバイスに分散され得る。図５のコンピューティングデバイス４０００を参照して、単独で又は組み合わせて、支援モジュール１０００を実装し得るコンピューティングデバイスの例を、本明細書で論じる。いくつかの実施形態では、こうしたコンピューティングデバイスは相互に接続し、支援モジュール１０００は、コンピューティングデバイスの１つ以上にわたって実装され得る。

【0040】

支援モジュール１０００は、マッピングロジック１００２、受信ロジック１００４、ソースデータロジック１００６、及び／又は永続化ロジック１００８を、含み得る。本明細書で使用する場合、「ロジック」という用語は、ロジックと関連付けられた動作のセットを実施する装置を含み得る。例えば、支援モジュール１０００に含まれるロジック要素のいずれかは、コンピューティングデバイスの１つ以上の処理デバイスに、関連付けられた動作のセットを実施させる命令でプログラムされた、１つ以上のコンピューティングデバイスによって実装され得る。特定の実施形態では、ロジック要素は、１つ以上の非一時的コンピュータ可読媒体を含み得、１つ以上の非一時的コンピュータ可読媒体は、１つ以上のコンピューティングデバイスの１つ以上の処理デバイスによって実行されるときに、１つ以上のコンピューティングデバイスに、関連付けられた動作のセットを実施させる命令を有する。本明細書で使用する場合、「モジュール」という用語は、当該モジュールに関連付けられた１つ以上の機能を一緒に実施する１つ以上のロジック要素の集合を指し得る。モジュール内のロジック要素のうちの異なるものは、同じ形態をとり得るか、又は異なる形態をとり得る。例えば、モジュール内のいくつかのロジックは、プログラムされた汎用処理デバイスによって実装され得、モジュール内の他のロジックは、特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）によって実装され得る。別の例では、モジュール内のロジック要素の異なるものは、１つ以上の処理デバイスによって実行される、異なる命令のセットと関連付けられ得る。モジュールは、関連する図面に示されたロジック要素の全てを含まない場合があり、例えば、モジュールは、そのモジュールが、そのモジュールを参照して本明細書で論じられる動作のサブセットを実施するとき、関連する図面に示されるロジック要素のサブセットを含み得る。

【0041】

マッピングロジック１００２は、アプリケーションデータと、データカタログ又はデータカタログサービス（例えば、図１のデータカタログサービス１０４）に展開されるターゲットスキーマとの間のフィールドをマッピングするように構成され得る。いくつかの実施形態では、フィールドマッピングは、アプリケーションデータを使用して、利用可能であれば、新しいレコード又は新しいソースデータファイルをデータカタログに登録するように構成されたアプリケーション又はサーバによって、データカタログに格納される。いくつかの実施形態では、レコード又はデータファイルは、データカタログによってターゲットスキーマと整合されている。いくつかの実施形態では、アプリケーションデータの種類に従って、マッピングを定義する。

【0042】

受信ロジック１００４は、ＥＴＬ処理キュー（例えば、ＥＴＬ処理キュー１０８）から、メタデータを含み、かつ、アプリケーションデータに関連するレコード又はデータファイルが処理の準備ができていることを示す信号を受信するように構成され得る。いくつかの実施形態において、信号は、データカタログによって、ＥＴＬ処理キューに挿入される。いくつかの実施形態では、アプリケーションデータの種類に一致するレコード又はデータファイルの種類に基づいて、信号は、データカタログによって挿入される。いくつかの実施形態では、信号は、レコード又はデータファイルの場所を含む。

【0043】

ソースデータロジック１００６は、レコード又はデータファイルを処理することによって、ソースデータを決定するように構成され得る。永続化ロジック１００８は、ターゲットスキーマに従って定義されたビッグデータテーブルにソースデータを提供するように構成され得る。いくつかの実施形態では、ソースデータは、データカタログによって提供されるメタデータを使用して、ビッグデータテーブルに提供される。

【0044】

図３は、様々な実施形態に係る、支援動作を実施する方法２０００のフロー図を示す。方法２０００の動作は、本明細書で開示される特定の実施形態（例えば、図１を参照して本明細書で論じられる分析機能１５０、図４を参照して本明細書で論じられるＧＵＩ３０００、及び／又は、図５を参照して本明細書で論じられるコンピューティングデバイス４０００）を参照して例示され得るが、方法２０００は、任意の好適な支援動作を実施するために、任意の好適な設定で使用され得る。動作は、図２においてそれぞれ１回ずつ、特定の順序で例示されているが、この動作は、所望に応じて適切に並べ替えられ、かつ／又は、繰り返され得る（例えば、実施される異なる動作は、適宜、並行して実施され得る）。

【0045】

方法２０００では、２００２において、第１の動作を実施できる。例えば、支援モジュール１０００のマッピングロジック１００２は、２００２の動作を実施可能である。第１の動作は、データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することを含み得る。

【0046】

２００４で、第２の動作を実施できる。例えば、支援モジュール１０００の受信ロジック１００４が、２００４の動作を実施し得る。第２の動作は、ＥＴＬ処理キューから、メタデータを含み、かつ、アプリケーションデータに関連するレコード又はデータファイルが処理の準備ができていることを示す信号を受信することを含み得る。

【0047】

２００６で、第３の動作を実施できる。例えば、支援モジュール１０００のソースデータロジック１００６は、２００６の動作を実施し得る。第３の動作は、メタデータを処理してレコード又はデータファイルの場所を識別し、識別された場所からレコード又はデータファイルを取り出すことによって、ソースデータを決定することを含み得る。

【0048】

２００８で、第４の動作を実施できる。例えば、支援モジュール１０００の永続化ロジック１００８は、２１０８の動作を実施可能である。第４の動作は、ターゲットスキーマに従って定義されたビッグデータテーブルにソースデータを提供することを含み得る。

【0049】

本明細書で開示される支援方法は、人間のユーザとの相互作用を含むことができる。こうした相互作用は、ユーザに情報を提供すること、又はユーザがコマンド（例えば、汎用ＥＴＬ用の構成、又は汎用ＥＴＬによって処理されるレコード及びデータファイルを提供するアプリケーション）、クエリ（例えば、ローカル又はリモートデータベースへの）、若しくは他の情報を入力するためのオプションを提供することを含み得る。いくつかの実施形態では、これらの相互作用は、ユーザに出力を提供し、かつ／又は入力を提供するようにユーザに指示する（例えば、図５を参照して本明細書で論じられる他のＩ／Ｏデバイス４０１２に含まれるキーボード、マウス、トラックパッド、又はタッチスクリーンなどの、１つ以上の入力デバイスを介して）ディスプレイデバイス（例えば、図５を参照して本明細書で論じられる、ディスプレイデバイス４０１０）上の視覚的表示を含むグラフィカルユーザインターフェイス（graphical user interface、ＧＵＩ）を通じて、実施され得る。本明細書で開示される支援システムは、ユーザと相互作用するための任意の好適なＧＵＩを含み得る。

【0050】

図４は、様々な実施形態に係る、本明細書で開示される支援方法の一部又は全ての実施において使用され得る、例示的なＧＵＩ３０００を示す。上記のように、ＧＵＩ３０００は、コンピューティングデバイスのディスプレイデバイス（例えば、図５を参照して本明細書で論じられるディスプレイデバイス４０１０）上に提供され得、ユーザは、任意の好適な入力デバイス（例えば、図５を参照して本明細書で論じられる他のＩ／Ｏデバイス４０１２に含まれる入力デバイスのいずれか）、及び、入力技術（例えば、カーソルの移動、モーションキャプチャ、顔認識、ジェスチャ検出、音声認識、ボタンの作動など）を使用して、ＧＵＩ３０００と相互作用し得る。

【0051】

ＧＵＩ３０００は、データ表示領域３００２、データ分析領域３００４、制御領域３００６、及び設定領域３００８を含み得る。図４で示す領域の特定の数及び配置は、例示的なものに過ぎず、任意の所望の特徴を含む領域の任意の数及び配置がＧＵＩ３０００に含まれ得る。データ表示領域３００２は、データを表示可能である。

【0052】

データ分析領域３００４は、データ分析の結果（例えば、データ表示領域３００２に示されるデータ及び／又は他のデータを分析した結果）を表示し得る。例えば、データ分析領域３００４は、ビッグデータテーブル内に格納されたアプリケーションからのソースデータを表示し得る。いくつかの実施形態では、データ表示領域３００２、及びデータ分析領域３００４は、ＧＵＩ３０００内で組み合わせられてもよい。

【0053】

制御領域３００６は、ユーザがフレキシブルＥＴＬの実装を制御可能にするオプションを含み得る。設定領域３００８は、ユーザが、ＧＵＩ３０００（及び／又は、他のＧＵＩ）の特徴及び機能を制御する、かつ／又はデータ表示領域３００２及びデータ分析領域３００４に関する共通のコンピューティング動作を実施することを可能にするオプションを含み得る（例えば、図５を参照して本明細書で論じられる記憶デバイス４００４などの、記憶デバイス上にデータを保存すること、別のユーザにデータを送信すること、データをラベル付けすることなど）。

【0054】

上記のように、支援モジュール１０００は、１つ以上のコンピューティングデバイスによって実装され得る。図５は、様々な実施形態に係る、本明細書で開示される支援方法の一部又は全てを実施し得る、コンピューティングデバイス４０００のブロック図である。いくつかの実施形態では、支援モジュール１０００は、単一のコンピューティングデバイス４０００、又は複数のコンピューティングデバイス４０００によって、実装され得る。

【0055】

図５のコンピューティングデバイス４０００は、いくつかの構成要素を有するものとして例示されているが、こうした構成要素のうちのいずれか１つ以上は、用途及び設定に合わせて好適となるように省略又は複製されてもよい。いくつかの実施形態では、コンピューティングデバイス４０００に含まれる構成要素の一部又は全ては、１つ以上のマザーボードに取り付けられ、ハウジング（例えば、プラスチック、金属、及び／又は他の材料を含む）に封入されてもよい。いくつかの実施形態において、こうした構成要素は、単一のシステムオンチップ（system-on-a-chip、ＳｏＣ）上に製造可能である（例えば、ＳｏＣは、１つ以上の処理デバイス４００２、及び１つ以上の記憶デバイス４００４を含み得る）。付加的に、様々な実施形態では、コンピューティングデバイス４０００は、図５で例示される構成要素のうちの１つ以上を含まない場合があるが、任意の好適なインターフェイス（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）インターフェイス、高精細マルチメディアインターフェイス（High-Definition Multimedia Interface、ＨＤＭＩ（登録商標））インターフェイス、コントローラエリアネットワーク（Controller Area Network、ＣＡＮ）インターフェイス、シリアルペリフェラルインターフェイス（Serial Peripheral Interface、ＳＰＩ）インターフェイス、イーサネットインターフェイス、無線インターフェイス、又は任意の他の適切なインターフェイス）を使用して、１つ以上の構成要素に結合するためのインターフェイス回路（図示せず）を含み得る。例えば、コンピューティングデバイス４０００は、ディスプレイデバイス４０１０を含まない場合があるが、ディスプレイデバイス４０１０を結合可能とする、ディスプレイデバイスインターフェイス回路（例えば、コネクタ及びドライバ回路）を含み得る。

【0056】

コンピューティングデバイス４０００は、処理デバイス４００２（例えば、１つ以上の処理デバイス）を含み得る。本明細書で使用する場合、「処理デバイス」という用語は、レジスタ、及び／又はメモリからの電子データを処理して、その電子データをレジスタ及び／又はメモリに格納され得る他の電子データに変換する、任意のデバイス又はデバイスの一部分を指し得る。処理デバイス４００２は、１つ以上のデジタル信号プロセッサ（digital signal processor、ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、中央処理ユニット（central processing unit、ＣＰＵ）、グラフィックス処理ユニット（graphics
processing unit、ＧＰＵ）、暗号プロセッサ（ハードウェア内で暗号アルゴリズムを実行する専用プロセッサ）、サーバプロセッサ、又は任意の他の好適な処理デバイスを含み得る。

【0057】

コンピューティングデバイス４０００は、記憶デバイス４００４（例えば、１つ以上の記憶デバイス）を含み得る。記憶デバイス４００４は、ランダムアクセスメモリ（random access memory、ＲＡＭ）（例えば、静的ＲＡＭ（static
RAM、ＳＲＡＭ）デバイス、磁気ＲＡＭ（magnetic RAM、ＭＲＡＭ）デバイス、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）デバイス、抵抗性ＲＡＭ（resistive RAM、ＲＲＡＭ）デバイス、又は導電性ブリッジＲＡＭ（conductive-bridging RAM、ＣＢＲＡＭ）デバイス）、ハードドライブベースのメモリデバイス、ソリッドステートメモリデバイス、ネットワークドライブ、クラウドドライブ、又はメモリデバイスの任意の組み合わせなどの１つ以上のメモリデバイスを含み得る。いくつかの実施形態では、記憶デバイス４００４は、処理デバイス４００２とダイを共有するメモリを含み得る。かかる実施形態では、メモリは、キャッシュメモリとして使用され得、例えば、組み込みダイナミックランダムアクセスメモリ（embedded dynamic random access memory、ｅＤＲＡＭ）、又はスピン転送トルク磁気ランダムアクセスメモリ（spin transfer torque magnetic random access memory、ＳＴＴ－ＭＲＡＭ）を含み得る。いくつかの実施形態では、記憶デバイス４００４は、１つ以上の処理デバイス（例えば、処理デバイス４００２）によって実行されると、コンピューティングデバイス４０００に、本明細書に開示される方法の任意の適切な方法又はその一部を実施させる命令を有する非一時的コンピュータ可読媒体を含み得る。

【0058】

コンピューティングデバイス４０００は、インターフェイスデバイス４００６（例えば、１つ以上のインターフェイスデバイス４００６）を含み得る。インターフェイスデバイス４００６は、コンピューティングデバイス４０００と他のコンピューティングデバイスとの間の通信を管理するために、１つ以上の通信チップ、コネクタ、並びに／又は他のハードウェア及びソフトウェアを含み得る。例えば、インターフェイスデバイス４００６は、コンピューティングデバイス４０００との間でデータを転送するための無線通信を管理する回路を含み得る。「無線」という用語、及びその派生語は、非固体媒体を通じた変調電磁放射を使用することでデータを通信可能とする、回路、デバイス、システム、方法、技術、通信チャネルなどを記述するために使用され得る。この用語は、関連するデバイスがいかなる配線も含まないことを意味するものではないが、実施形態によっては、含まない場合もある。無線通信を管理するためのインターフェイスデバイス４００６に含まれる回路は、限定されないが、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．１１ファミリ）、ＩＥＥＥ８０２．１６規格（例えば、ＩＥＥＥ８０２．１６－２００５ Ａｍｅｎｄｍｅｎｔ）を含む米国電気電子学会（Institute for Electrical and Electronic Engineers、ＩＥＥＥ）規格、何らかの修正、更新、及び／又は改訂を伴うロングタームエボリューション（Long-Term Evolution、ＬＴＥ）プロジェクト（例えば、アドバンストＬＴＥプロジェクト、ウルトラモバイルブロードバンド（ultra-mobile broadband、ＵＭＢ）プロジェクト（「３ＧＰＰ（登録商標）２」とも称される）など）を含む、いくつかの無線規格、又はプロトコルのいずれかを実装可能である。いくつかの実施形態では、無線通信を管理するためのインターフェイスデバイス４００６に含まれる回路は、モバイル通信用グローバルシステム（Global System for Mobile Communication、ＧＳＭ）、汎用パケット無線サービス（General Packet Radio Service、ＧＰＲＳ）、ユニバーサルモバイル電気通信システム（Universal Mobile Telecommunications System、ＵＭＴＳ）、高速パケットアクセス（High Speed Packet Access、ＨＳＰＡ）、進化型ＨＳＰＡ（Evolved HSPA、Ｅ－ＨＳＰＡ）、又はＬＴＥネットワークに従って動作し得る。いくつかの実施形態では、無線通信を管理するためにインターフェイスデバイス４００６に含まれる回路は、ＧＳＭ進化型高速データ（Enhanced Data for GSM Evolution、ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ無線アクセスネットワーク（GSM EDGE Radio Access Network、ＧＥＲＡＮ）、ユニバーサル地上無線アクセスネットワーク（Universal Terrestrial Radio Access Network、ＵＴＲＡＮ）、又は進化型ＵＴＲＡＮ（Evolved UTRAN、Ｅ－ＵＴＲＡＮ）に従って動作し得る。いくつかの実施形態では、無線通信を管理するためのインターフェイスデバイス４００６に含まれる回路は、符号分割多元接続（Code Division Multiple Access、ＣＤＭＡ）、時分割多元接続（Time Division Multiple Access、ＴＤＭＡ）、デジタル拡張コードレス電気通信（Digital Enhanced Cordless Telecommunications、ＤＥＣＴ）、エボリューションデータ最適化（Evolution-Data Optimized、ＥＶ－ＤＯ）、及びそれらの派生物、並びに３Ｇ、４Ｇ、５Ｇ、及びそれ以降として指定される任意の他の無線プロトコルに従って動作し得る。いくつかの実施形態では、インターフェイスデバイス４００６は、無線通信の受信及び／又は送信用の１つ以上のアンテナ（例えば、１つ以上のアンテナアレイ）を含み得る。

【0059】

いくつかの実施形態では、インターフェイスデバイス４００６は、電気的、光学的、又は任意の他の好適な通信プロトコルなどの有線通信を管理するための回路を含み得る。例えば、インターフェイスデバイス４００６は、イーサネット技術に従って通信を支援する回路を含み得る。いくつかの実施形態では、インターフェイスデバイス４００６は、無線通信及び有線通信の双方を支援し得、かつ／又は複数の有線通信プロトコル及び／若しくは複数の無線通信プロトコルを支援し得る。例えば、インターフェイスデバイス４００６の回路の第１のセットは、Ｗｉ－Ｆｉ又はＢｌｕｅｔｏｏｔｈなどの短距離無線通信専用であってもよく、インターフェイスデバイス４００６の回路の第２のセットは、全地球測位システム（global positioning system、ＧＰＳ）、ＥＤＧＥ、ＧＰＲＳ、ＣＤＭＡ、ＷｉＭＡＸ、ＬＴＥ、ＥＶ－ＤＯなどの長距離無線通信専用であってもよい。いくつかの実施形態では、インターフェイスデバイス４００６の回路の第１のセットは、無線通信専用であってもよく、インターフェイスデバイス４００６の回路の第２のセットは、有線通信専用であってもよい。

【0060】

コンピューティングデバイス４０００は、バッテリ／電力回路４００８を含み得る。バッテリ／電力回路４００８は、１つ以上のエネルギー貯蔵デバイス（例えば、バッテリ若しくはコンデンサ）、及び／又はコンピューティングデバイス４０００の構成要素をコンピューティングデバイス４０００とは別個のエネルギー源（例えば、ＡＣライン電力）に結合するための回路を含み得る。

【0061】

コンピューティングデバイス４０００は、ディスプレイデバイス４０１０（例えば、複数のディスプレイデバイス）を含み得る。ディスプレイデバイス４０１０は、ヘッドアップディスプレイ、コンピュータモニタ、プロジェクタ、タッチスクリーンディスプレイ、液晶ディスプレイ（liquid crystal display、ＬＣＤ）、発光ダイオードディスプレイ、又はフラットパネルディスプレイなどの任意の視覚インジケータを含み得る。

【0062】

コンピューティングデバイス４０００は、他の入力／出力（Ｉ／Ｏ）デバイス４０１２を含み得る。他のＩ／Ｏデバイス４０１２は、例えば、１つ以上のオーディオ出力デバイス（例えば、スピーカ、ヘッドセット、イヤホン、アラームなど）、１つ以上のオーディオ入力デバイス（例えば、マイクロフォン又はマイクロフォンアレイ）、位置デバイス（例えば、当技術分野で既知であるような、コンピューティングデバイス４０００の位置を受信するために衛星ベースシステムと通信するＧＰＳデバイス）、オーディオコーデック、ビデオコーデック、プリンタ、センサ（例えば、熱電対若しくは他の温度センサ、湿度センサ、圧力センサ、振動センサ、加速度計、ジャイロスコープなど）、カメラなどの画像キャプチャデバイス、キーボード、マウス、スタイラス、トラックボール、若しくはタッチパッドなどのカーソル制御デバイス、バーコードリーダ、クイックレスポンス（Quick Response、ＱＲ）コードリーダ、又は無線周波数識別（radio frequency identification、ＲＦＩＤ）リーダを含み得る。

【0063】

コンピューティングデバイス４０００は、ハンドヘルド又はモバイルコンピューティングデバイス（例えば、セルフォン、スマートフォン、モバイルインターネットデバイス、タブレットコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、ウルトラブックコンピュータ、携帯情報端末（personal digital assistant、ＰＤＡ）、ウルトラモバイルパーソナルコンピュータなど）、デスクトップコンピューティングデバイス若しくはサーバコンピューティングデバイス、又は他のネットワークコンピューティング構成要素など、当該用途及び設定のための任意の好適なフォームファクタを有してもよい。

【0064】

以下の段落は、本明細書に開示される実施形態の様々な例を提供する。

【0065】

実施例１は、処理デバイスによって実行されるＥＴＬ処理のための方法である。この方法は、データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、ＥＴＬ処理キューから、メタデータを含み、かつ、アプリケーションデータに関連するレコード又はデータファイルが処理の準備ができていることを示す信号を受信することと、メタデータを処理して、レコード又はデータファイルの場所を識別し、識別された場所からレコード又はデータファイルを取り出すことによって、ソースデータを決定することと、ターゲットスキーマに従って定義されたビッグデータテーブルにソースデータを提供することとを含む。

【0066】

実施例２は、実施例１の主題を含み、フィールドマッピングがアプリケーション又はサーバによってデータカタログに格納されることを更に規定する。

【0067】

実施例３は、実施例１及び２のいずれかに記載の主題を含み、アプリケーションは、アプリケーションデータを使用するように構成されることを更に規定する。

【0068】

実施例４は、実施例１～３のいずれかに記載の主題を含み、アプリケーションが、利用可能であれば、新しいレコード又は新しいソースデータファイルをデータカタログに登録するように構成されることを更に規定する。

【0069】

実施例５は、実施例１～４のいずれかに記載の主題を含み、レコード又はデータファイルが、アプリケーションによる処理の準備ができているものとして、データカタログに登録されていことを更に規定する。

【0070】

実施例６は、実施例１～５のいずれかに記載の主題を含み、レコード又はデータファイルがデータカタログによってターゲットスキーマと整合されていることを更に規定する。

【0071】

実施例７は、実施例１～６のいずれかに記載の主題を含み、信号が、データカタログによってＥＴＬ処理キューに挿入されることを更に規定する。

【0072】

実施例８は、実施例１～７のいずれかに記載の主題を含み、マッピングがアプリケーションデータの種類に従って定義されることを更に規定する。

【0073】

実施例９は、実施例１～８のいずれかに記載の主題を含み、信号が、アプリケーションデータの種類と一致するレコード又はデータファイルの種類に基づいて、データカタログによって挿入されることを更に規定する。

【0074】

実施例１０は、実施例１～９のいずれかに記載の主題を含み、ターゲットスキーマがデータカタログ内のターゲットビッグデータテーブルに展開されることを更に規定する。

【0075】

実施例１１は、実施例１～１０のいずれかに記載の主題を含み、レコード又はデータファイルが新規のものであるか、又は更新されていることを更に規定する。

【0076】

実施例１２は、実施例１～１１のいずれかに記載の主題を含み、信号にはレコード又はデータファイルの場所が含まれることを更に規定する。

【0077】

実施例１３は、実施例１～１２のいずれかに記載の主題を含み、レコード又はデータファイルが以前に提供されたスキーマに関連付けられていない場合、データカタログが、アプリケーションデータとターゲットスキーマとの間のマッピングを提供することを更に規定する。

【0078】

実施例１４は、実施例１～１３のいずれかに記載の主題を含み、ソースデータが、データカタログによって提供されるメタデータを使用して、ビッグデータテーブルに提供されることを更に規定する。

【0079】

実施例１５は、実施例１～１４のいずれかに記載の主題を含み、ソースデータが第１のソースデータを含み、ターゲットスキーマが第１のターゲットスキーマを含み、この方法は、データカタログから、第２のアプリケーションデータと第２のターゲットスキーマとの間の第２のフィールドマッピングを受信することと、ＥＴＬ処理キューから、第２のメタデータを含み、かつ、第２のアプリケーションデータに関連する第２のレコード又は第２のデータファイルが処理の準備ができていることを示す第２の信号を受信することと、第２のメタデータを処理して、識別された第２の場所から、第２のレコード又は第２のデータファイルの第２の場所を識別することによって、第２のソースデータを決定することであって、第１のソースデータと第２のソースデータは異なるフォーマットを有する、決定することと、第２のターゲットスキーマに従って定義されたテーブルに第２のソースデータを提供することであって、第１のターゲットスキーマと第２のターゲットスキーマは異なるスキーマである、提供することとを含むことを更に規定する。

【0080】

実施例１６は、実施例１～１５のいずれかに記載の主題を含み、ソースデータが第１のソースデータを含み、ターゲットスキーマが第１のターゲットスキーマを含み、この方法は、データカタログから、第２のアプリケーションデータと第２のターゲットスキーマとの間の第２のフィールドマッピングを受信することと、ＥＴＬ処理キューから、第２のメタデータを含み、かつ、第２のアプリケーションデータに関連する第２のレコード又は第２のデータファイルが処理の準備ができていることを示す第２の信号を受信することと、第２のメタデータを処理して、識別された第２の場所から、第２のレコード又は第２のデータファイルの第２の場所を識別することによって、第２のソースデータを決定することであって、第１のソースデータと第２のソースデータは異なるフォーマットを有する、決定することと、第２のターゲットスキーマに従って定義された第２のテーブルに第２のソースデータを提供することであって、第１のターゲットスキーマと第２のターゲットスキーマは異なるスキーマである、提供することとを含むことを更に規定する。

【0081】

実施例１７は、システムであって、このシステムは、命令を格納する非一時的コンピュータ可読記憶媒体と、少なくとも１つの電子プロセッサとを含み、電子プロセッサは、命令を実行して、データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、ＥＴＬ処理キューから、メタデータを含み、かつ、アプリケーションデータに関連するレコード又はデータファイルが処理の準備ができていることを示す信号を受信することと、メタデータを処理して、レコード又はデータファイルの場所を識別し、識別された場所からレコード又はデータファイルを取り出すことによって、ソースデータを決定することと、ターゲットスキーマに従って定義されたテーブルにソースデータを提供することとを行うように構成される。

【0082】

実施例１８は、実施例１７の主題を含み、フィールドマッピングがアプリケーション又はサーバによってデータカタログに格納されることを更に規定する。

【0083】

実施例１９は、実施例１７及び１８のいずれかに記載の主題を含み、アプリケーションは、アプリケーションデータを使用するように構成されることを更に規定する。

【0084】

実施例２０は、実施例１７～１９のいずれかに記載の主題を含み、アプリケーションが、利用可能であれば、新しいレコード又は新しいソースデータファイルをデータカタログに登録するように構成されることを更に規定する。

【0085】

実施例２１は、実施例１７～２０のいずれか１つに記載の主題を含み、レコード、又はデータファイルが、アプリケーションによる処理の準備ができているものとして、データカタログに登録されたことを更に規定する。

【0086】

実施例２２は、実施例１７～２１のいずれかに記載の主題を含み、レコード又はデータファイルがデータカタログによってターゲットスキーマと整合されていることを更に規定する。

【0087】

実施例２３は、実施例１７～２２のいずれかに記載の主題を含み、信号が、データカタログによってＥＴＬ処理キューに挿入されることを更に規定する。

【0088】

実施例２４は、実施例１７～２３のいずれかに記載の主題を含み、マッピングがアプリケーションデータの種類に従って定義されることを更に規定する。

【0089】

実施例２５は、実施例１７～２４のいずれかに記載の主題を含み、信号が、アプリケーションデータの種類と一致するレコード又はデータファイルの種類に基づいて、データカタログによって挿入されることを更に規定する。

【0090】

実施例２６は、実施例１７～２５のいずれかに記載の主題を含み、ターゲットスキーマがデータカタログ内のターゲットビッグデータテーブルに展開されることを更に規定する。

【0091】

実施例２７は、実施例１７～２６のいずれかに記載の主題を含み、レコード又はデータファイルが新規のものであるか、又は更新されていることを更に規定する。

【0092】

実施例２８は、実施例１７～２７のいずれかに記載の主題を含み、信号にはレコード又はデータファイルの場所が含まれることを更に規定する。

【0093】

実施例２９は、実施例１７～２８のいずれかに記載の主題を含み、レコード又はデータファイルが以前に提供されたスキーマに関連付けられていない場合、データカタログが、アプリケーションデータとターゲットスキーマとの間のマッピングを提供することを更に規定する。

【0094】

実施例３０は、実施例１７～２９のいずれかに記載の主題を含み、ソースデータが、データカタログによって提供されるメタデータを使用して、ビッグデータテーブルに提供されることを更に規定する。

【0095】

実施例３１は、実施例１～１４のいずれかに記載の主題を含み、ソースデータが第１のソースデータを含み、ターゲットスキーマが第１のターゲットスキーマを含み、少なくとも１つの電子プロセッサは、命令を実行して、データカタログから、第２のアプリケーションデータと第２のターゲットスキーマとの間の第２のフィールドマッピングを受信することと、ＥＴＬ処理キューから、第２のメタデータを含み、かつ、第２のアプリケーションデータに関連する第２のレコード又は第２のデータファイルが処理の準備ができていることを示す第２の信号を受信することと、第２のメタデータを処理して、識別された第２の場所から、第２のレコード又は第２のデータファイルの第２の場所を識別することによって、第２のソースデータを決定することであって、第１のソースデータと第２のソースデータは異なるフォーマットを有する、決定することと、第２のターゲットスキーマに従って定義されたテーブルに第２のソースデータを提供することであって、第１のターゲットスキーマと第２のターゲットスキーマは異なるスキーマである、提供することとを行うように構成されることを更に規定する。

【0096】

実施例３２は、実施例１～１４のいずれかに記載の主題を含み、ソースデータが第１のソースデータを含み、ターゲットスキーマが第１のターゲットスキーマを含み、少なくとも１つの電子プロセッサは、命令を実行して、データカタログから、第２のアプリケーションデータと第２のターゲットスキーマとの間の第２のフィールドマッピングを受信することと、ＥＴＬ処理キューから、第２のメタデータを含み、かつ、第２のアプリケーションデータに関連する第２のレコード又は第２のデータファイルが処理の準備ができていることを示す第２の信号を受信することと、第２のメタデータを処理して、識別された第２の場所から、第２のレコード又は第２のデータファイルの第２の場所を識別することによって、第２のソースデータを決定することであって、第１のソースデータと第２のソースデータは異なるフォーマットを有する、決定することと、第２のターゲットスキーマに従って定義された第２のテーブルに第２のソースデータを提供することであって、第１のターゲットスキーマと第２のターゲットスキーマは異なるスキーマである、提供することとを行うように構成されることを更に規定する。

【0097】

実施例３３は、実行可能命令を含む非一時的コンピュータ可読記憶媒体であって、この実行可能命令は、電子プロセッサに、データカタログから、アプリケーションデータとターゲットスキーマとの間のフィールドマッピングを受信することと、ＥＴＬ処理キューから、メタデータを含み、かつ、アプリケーションデータに関連するレコード又はデータファイルが処理の準備ができていることを示す信号を受信することと、メタデータを処理して、レコード又はデータファイルの場所を識別し、識別された場所からレコード又はデータファイルを取り出すことによって、ソースデータを決定することと、ターゲットスキーマに従って定義されたテーブルにソースデータを提供することとを行わせる。

【0098】

実施例３４は、実施例３３の主題を含み、フィールドマッピングがアプリケーション又はサーバによってデータカタログに格納されることを更に規定する。

【0099】

実施例３５は、実施例３３及び３４のいずれかに記載の主題を含み、アプリケーションは、アプリケーションデータを使用するように構成されることを更に規定する。

【0100】

実施例３６は、実施例３３～３５のいずれかに記載の主題を含み、アプリケーションが、利用可能であれば、新しいレコード又は新しいソースデータファイルをデータカタログに登録するように構成されることを更に規定する。

【0101】

実施例３７は、実施例３３～３６のいずれかに記載の主題を含み、レコード又はデータファイルが、アプリケーションによる処理の準備ができているものとして、データカタログに登録されていることを更に規定する。

【0102】

実施例３８は、実施例３３～３７のいずれかに記載の主題を含み、レコード又はデータファイルがデータカタログによってターゲットスキーマと整合されていることを更に規定する。

【0103】

実施例３９は、実施例３３～３８のいずれかに記載の主題を含み、信号が、データカタログによってＥＴＬ処理キューに挿入されることを更に規定する。

【0104】

実施例４０は、実施例３３～３９のいずれかに記載の主題を含み、マッピングがアプリケーションデータの種類に従って定義されることを更に規定する。

【0105】

実施例４１は、実施例３３～４０のいずれかに記載の主題を含み、信号が、アプリケーションデータの種類と一致するレコード又はデータファイルの種類に基づいて、データカタログによって挿入されることを更に規定する。

【0106】

実施例４２は、実施例３３～４１のいずれかに記載の主題を含み、ターゲットスキーマがデータカタログ内のターゲットビッグデータテーブルに展開されることを更に規定する。

【0107】

実施例４３は、実施例３３～４２のいずれかに記載の主題を含み、レコード又はデータファイルが新規のものであるか、又は更新されていることを更に規定する。

【0108】

実施例４４は、実施例３３～４３のいずれかに記載の主題を含み、信号にはレコード又はデータファイルの場所が含まれることを更に規定する。

【0109】

実施例４５は、実施例３３～４４のいずれかに記載の主題を含み、レコード又はデータファイルが以前に提供されたスキーマに関連付けられていない場合、データカタログが、アプリケーションデータとターゲットスキーマとの間のマッピングを提供することを更に規定する。

【0110】

実施例４６は、実施例３３～４５のいずれかに記載の主題を含み、ソースデータが、データカタログによって提供されるメタデータを使用して、ビッグデータテーブルに提供されることを更に規定する。

【0111】

実施例４７は、実施例１～１４のいずれかに記載の主題を含み、ソースデータが第１のソースデータを含み、ターゲットスキーマが第１のターゲットスキーマを含み、実行可能命令は、電子プロセッサに、データカタログから、第２のアプリケーションデータと第２のターゲットスキーマとの間の第２のフィールドマッピングを受信することと、ＥＴＬ処理キューから、第２のメタデータを含み、かつ、第２のアプリケーションデータに関連する第２のレコード又は第２のデータファイルが処理の準備ができていることを示す第２の信号を受信することと、第２のメタデータを処理して、識別された第２の場所から、第２のレコード又は第２のデータファイルの第２の場所を識別することによって、第２のソースデータを決定することであって、第１のソースデータと第２のソースデータは異なるフォーマットを有する、決定することと、上記第２のターゲットスキーマに従って定義されたテーブルに第２のソースデータを提供することであって、第１のターゲットスキーマと第２のターゲットスキーマは異なるスキーマである、提供することとを行せることを更に規定する。

【0112】

実施例４８は、実施例１～１４のいずれかに記載の主題を含み、ソースデータが第１のソースデータを含み、ターゲットスキーマが第１のターゲットスキーマを含み、実行可能命令は、電子プロセッサに、データカタログから、第２のアプリケーションデータと第２のターゲットスキーマとの間の第２のフィールドマッピングを受信することと、ＥＴＬ処理キューから、第２のメタデータを含み、かつ、第２のアプリケーションデータに関連する第２のレコード又は第２のデータファイルが処理の準備ができていることを示す第２の信号を受信することと、第２のメタデータを処理して、識別された第２の場所から、第２のレコード又は第２のデータファイルの第２の場所を識別することによって、第２のソースデータを決定することであって、第１のソースデータと第２のソースデータは異なるフォーマットを有する、決定することと、第２のターゲットスキーマに従って定義された第２のテーブルに第２のソースデータを提供することであって、第１のターゲットスキーマと第２のターゲットスキーマは異なるスキーマである、提供することとを行せることを更に規定する。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】