発明が解決しようとする課題[発明の詳細な説明]から抜粋

ビッグ・データ環境では、大量のデータを組み込んで処理する必要があり、組み込み対象のデータの内容も、シンタックスも、シーケンスも、ファイル・フォーマットも事前に知ることはできない。データ・セットに限らず、シンタックスおよび内容が前もって不明なかかるデータは、しばしば非構造化データと呼ばれる。特定のデータ・セットが、どのような場合に何時利用可能になり得るのか予見できないことがある。人間が、関与するデータ処理タスクの複雑さと動的性状を取り扱うのは不可能なので、マニュアルのアプローチを適用することはできない。また、事前定義されたワークフローに依存するアプローチも、動的に供給される新規データを動的に組み入れて処理するために必要となり得る全てのデータ前処理、プロファイリング、および分析ステップの種類およびシーケンスを予見するのは不可能なので適用可能ではない。しかして、マニュアル・アプローチもワークフローベースのアプローチも、ビッグ・データ環境によって取り扱いの対象となるデータの量、構造的および意味的不均質性、並びに予測不可能さに対処することができない。 本発明の諸実施形態の目的は、ビッグ・データ環境におけるデータを処理するための改良されたアプローチを提供することである。この改良は、ビッグ・データ・リポジトリ中に搬送されることになる、または既に収納されているデータの処理を計画し、トリガし、管理するのに人間ユーザが費やさねばならない時間および作業の低減に関係し得る。また、この改良は、分析データ処理の向上された品質および秘密データの向上された安全性への、レガシ・データ処理プログラムのシームレスな組み入れにも関係し得る。さらに、利用可能性、内容、および構造が動的に変化し前もって予見することができないデータを、適切かつ柔軟に取り扱い、処理する、ビッグ・データ・リポジトリの能力も向上が可能である。

課題を解決するための手段[発明の詳細な説明]から抜粋