(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-29
(45)【発行日】2022-10-07
(54)【発明の名称】順次データブロックの非同期処理中のエラー対処
(51)【国際特許分類】
G06F 11/34 20060101AFI20220930BHJP
G06F 16/17 20190101ALI20220930BHJP
【ＦＩ】
G06F11/34 138
G06F16/17
【請求項の数】
14
(21)【出願番号】P 2022507427
(86)(22)【出願日】2020-06-30
(65)【公表番号】
(43)【公表日】2022-08-12
(86)【国際出願番号】 US2020040245
(87)【国際公開番号】W WO2021025810
(87)【国際公開日】2021-02-11
【審査請求日】2022-03-24
(31)【優先権主張番号】16/533,302
(32)【優先日】2019-08-06
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】519405569
【氏名又は名称】アルテリックス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】クリストファー エイチ．キングズリー
(72)【発明者】
【氏名】エドワード ピー．ハーディング ジュニア
【審査官】北川 純次
(56)【参考文献】
【文献】特開２０１０－１７０４６２（ＪＰ，Ａ）
【文献】米国特許第６１１５５４４（ＵＳ，Ａ）
【文献】米国特許出願公開第２００６／０２７７４４４（ＵＳ，Ａ１）
【文献】国際公開第２０１９／０７９１９０（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １１／３４
Ｇ０６Ｆ １６／１７
Ｇ０６Ｆ １１／０７
(57)【特許請求の範囲】
【請求項1】
データファイルのデータブロックを解析することであって、前記データファイルが、データブロックを含む前記データブロックのシーケンスと、前記シーケンス内の前記データブロックに先行する１つまたは複数の先行データブロックを含み、前記データブロックの解析は、前記１つまたは複数の先行データブロックの解析の前に行われる、ことと、前記データブロックの前記解析中に発生する解析エラーを検出することと、
前記検出された解析エラーのエラーメッセージを生成することであって、前記生成されたエラーメッセージが前記データブロック内の前記検出された解析エラーの位置を示す未解決の位置情報を含む、ことと、
前記１つまたは複数の先行データブロックが解析されたかどうかを決定することと、
前記１つまたは複数の先行データブロックが解析されたという決定に応答して、前記データファイル内の前記検出された解析エラーの前記位置を示す解決された位置情報を生成することと、
格納されたエラーメッセージを前記解決された位置情報で更新して、更新されたエラーメッセージを生成することと、
前記データファイル内の前記検出された解析エラーの前記位置を示す前記解決された位置情報を含む前記更新されたエラーメッセージを出力することと、
を含む、コンピュータに実装された方法。
【請求項2】
前記検出された解析エラーのエラーメッセージを生成することであって、前記生成されたエラーメッセージが前記データブロック内の前記検出された解析エラーの位置を表す 未解決の位置情報を含む、ことは、前記検出された解析エラーが発生する前記データブロック内の行を参照する行番号を決定することを含む、請求項１に記載の方法。
【請求項3】
前記１つまたは複数の先行データブロックが解析されたかどうかを決定することは、前記データブロックが、解析が完了していないシーケンス内の最小番号のデータブロックであるかどうかを決定することを含む、請求項１に記載の方法。
【請求項4】
前記データファイル内の前記検出された解析エラーの前記位置を示す前記解決された位置情報を生成することは、前記未解決の位置情報、前記データブロックの前記解析の結果、および前記１つまたは複数の先行データブロックの前記解析の結果に基づいて、前記解決された位置情報を生成すること、を含む請求項１に記載の方法。
【請求項5】
前記データファイル内の前記検出された解析エラーの前記位置を示す前記解決された位置情報を含む前記更新されたエラーメッセージを出力することは、前記シーケンス内の前記データブロックに先行する１つまたは複数の追加データブロックの解析中に検出されたエラーの前記更新されたエラーメッセージおよび１つまたは複数の他のエラーメッセージを出力すること
を含む請求項１に記載の方法。
【請求項6】
実行可能なコンピュータプログラム命令を格納する非一時的コンピュータ可読メモリであって、前記命令が、
データファイルのデータブロックを解析することであって、前記データファイルが、データブロックを含む前記データブロックのシーケンスと、前記シーケンス内の前記データブロックに先行する１つまたは複数の先行データブロックを含み、前記データブロックの解析は、前記１つまたは複数の先行データブロックの解析の前に行われる、ことと、
前記データブロックの前記解析中に発生する解析エラーを検出することと、
前記検出された解析エラーのエラーメッセージを生成することであって、前記生成されたエラーメッセージが前記データブロック内の前記検出された解析エラーの位置を示す未解決の位置情報を含む、ことと、
前記１つまたは複数の先行データブロックが解析されたかどうかを決定することと、
前記１つまたは複数の先行データブロックが解析されたという決定に応答して、前記データファイル内の前記検出された解析エラーの前記位置を示す解決された位置情報を生成することと、
格納されたエラーメッセージを前記解決された位置情報で更新して、更新されたエラーメッセージを生成することと、
前記データファイル内の前記検出された解析エラーの前記位置を示す前記解決された位置情報を含む前記更新されたエラーメッセージを出力することと、
含む操作を実行するように実行可能である、非一時的コンピュータ可読メモリ。
【請求項7】
前記検出された解析エラーのエラーメッセージを生成することであって、前記生成されたエラーメッセージが前記データブロック内の前記検出された解析エラーの位置を表す未解決の位置情報を含む、ことは、前記検出された解析エラーが発生する前記データブロック内の行を参照する行番号を決定することを含む、請求項６に記載の非一時的コンピュータ可読メモリ。
【請求項8】
前記１つまたは複数の先行データブロックが解析されたかどうかを決定することは、前記データブロックが、解析が完了していないシーケンス内の最小番号のデータブロックであるかどうかを決定することを含む、請求項６に記載の非一時的コンピュータ可読メモリ。
【請求項9】
前記データファイル内の前記検出された解析エラーの前記位置を示す前記解決された位置情報を生成することは、前記未解決の位置情報、前記データブロックの前記解析の結果、および前記１つまたは複数の先行データブロックの前記解析の結果に基づいて、前記解決された位置情報を生成すること、を含む請求項６に記載の非一時的コンピュータ可読メモリ。
【請求項10】
前記データファイル内の前記検出された解析エラーの前記位置を示す前記解決された位置情報を含む前記更新されたエラーメッセージを出力することは、前記シーケンス内の前記データブロックに先行する１つまたは複数の追加データブロックの解析中に検出されたエラーの前記更新されたエラーメッセージおよび１つまたは複数の他のエラーメッセージを出力すること
を含む請求項６に記載の非一時的コンピュータ可読メモリ。
【請求項11】
データブロックを処理するためのコンピュータ実装のデータ分析システムであって、コンピュータプログラム命令を実行するためのコンピュータプロセッサと、
データファイルのデータブロックを解析することであって、前記データファイルが、データブロックを含む前記データブロックのシーケンスと、前記シーケンス内の前記データブロックに先行する１つまたは複数の先行データブロックを含み、前記データブロックの解析は、前記１つまたは複数の先行データブロックの解析の前に行われる、ことと
前記データブロックの前記解析中に発生する解析エラーを検出することと、
前記検出された解析エラーのエラーメッセージを生成することであって、前記生成されたエラーメッセージが前記データブロック内の前記検出された解析エラーの位置を示す未解決の位置情報を含む、ことと、
前記１つまたは複数の先行データブロックが解析されたかどうかを決定することと、
前記１つまたは複数の先行データブロックが解析されたという決定に応答して、前記データファイル内の前記検出された解析エラーの前記位置を示す解決された位置情報を生成することと、
格納されたエラーメッセージを前記解決された位置情報で更新して、更新されたエラーメッセージを生成することと、
前記データファイル内の前記検出された解析エラーの前記位置を示す前記解決された位置情報を含む前記更新されたエラーメッセージを出力することと、
を含む操作を実行するように前記コンピュータプロセッサによって実行可能なコンピュータプログラム命令を格納する非一時的コンピュータ可読メモリと、
を備えた、システム。
【請求項12】
前記検出された解析エラーのエラーメッセージを生成することであって、前記生成されたエラーメッセージが前記データブロック内の前記検出された解析エラーの位置を表す未解決の位置情報を含む、ことは、前記検出された解析エラーが発生する前記データブロック内の行を参照する行番号を決定することを含む、請求項１１に記載のシステム。
【請求項13】
前記１つまたは複数の先行データブロックが解析されたかどうかを決定することは、前記データブロックが、解析が完了していないシーケンス内の最小番号のデータブロックであるかどうかを決定することを含む、請求項１１に記載のシステム。
【請求項14】
前記データファイル内の前記検出された解析エラーの前記位置を示す前記解決された位置情報を生成することは、前記未解決の位置情報、前記データブロックの前記解析の結果、および前記１つまたは複数の先行データブロックの前記解析の結果に基づいて、前記解決された位置情報を生成すること、を含む請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、順次データブロックの非同期処理中のエラー対処に関する。
【背景技術】
【0002】
説明される実施形態は、概して、コンピュータシステムでのデータの処理、特に、順次データブロックの非同期処理中のエラー対処に関係する。
【0003】
［関連技術の説明］
データ分析は、大規模なデータセットからビジネス価値のある情報を抽出することを含む。たとえば、小規模企業は、専用のコンピューティングおよび人的リソースを使用するサードパーティのデータ分析環境を利用して、外部データプロバイダー、内部データリソース（ローカルコンピュータ上のファイルなど）、ビッグデータストア、クラウドベースのデータ（ソーシャルメディアの情報など）のような、様々なソースからの膨大な量のデータを、収集、処理、および分析し得る。データ分析で使用されるそのような大規模なデータセットを、有用な定量的および定性的情報を抽出するやり方で処理することは、典型的に、強力なコンピュータプラットフォームに実装された複雑なソフトウェアツールを必要とする。
データ分析は、大規模なデータセットからビジネス価値のある情報を抽出することを含む。たとえば、小規模企業は、専用のコンピューティングおよび人的リソースを使用するサードパーティのデータ分析環境を利用して、外部データプロバイダー、内部データリソース（ローカルコンピュータ上のファイルなど）、ビッグデータストア、クラウドベースのデータ（ソーシャルメディアの情報など）のような、様々なソースからの膨大な量のデータを、収集、処理、および分析し得る。データ分析で使用されるそのような大規模なデータセットを、有用な定量的および定性的情報を抽出するやり方で処理することは、典型的に、強力なコンピュータプラットフォームに実装された複雑なソフトウェアツールを必要とする。
【0004】
加えて、効率的なデータ処理技術が、異なるデータソースからの大量のデータのセットにアクセス、処理、および分析するにために必要とされる。そうでなければ、パフォーマンスのボトルネックが発生し、データ分析プラットフォームの機能を妨げる、データの処理を遅延させる、ならびにデータから抽出される情報の品質を低下させる可能性がある。たとえば、エラー対処は重要な考慮事項である。エラー対処は、エラーの検出、ユーザへのエラーの報告、およびリカバリー計画の作成を含む。データ処理中に検出されたエラーの対処ミスは、データ分析プラットフォーム全体の遅延に繋がる可能性がある。
【発明の概要】
【0005】
上記およびその他の問題は、データ分析システムでの順次データブロックの非同期処理中のエラーに対処するための、方法、コンピュータ実装されたデータ分析システム、およびコンピュータ可読メモリで対処される。方法の実施形態は、データファイルを集合的に形成するデータブロックの順序付けられたセットのデータブロックを解析することを含む。方法は、データブロックの解析中に発生する解析エラーを検出することをさらに含む。方法は、検出された解析エラーのエラーメッセージを生成することをさらに含む。生成されたエラーメッセージは、データファイル内の検出された解析エラーの位置を表す未解決の位置情報を含む。方法はまた、未解決の位置情報をセット内の１つまたは複数の他のデータブロックの解析に応答して解決できるかどうかを決定することを含む。方法は、未解決の位置情報を解決できるという決定に応答して、データファイル内の検出された解析エラーの位置を示す解決された位置情報を生成することをさらに含む。方法は、格納されたエラーメッセージを解決された位置情報で更新して、更新されたエラーメッセージを生成することをさらに含む。方法は、データファイル内の検出された解析エラーの位置を示す解決された位置情報を含む更新されたエラーメッセージを出力することをさらに含む。
【0006】
コンピュータ実装のデータ分析システムの実施形態は、コンピュータプログラム命令を実行するためのコンピュータプロセッサを含む。システムはまた、操作を実行するコンピュータプロセッサによって実行可能なコンピュータプログラム命令を格納する非一時的コンピュータ可読メモリを含む。操作は、データファイルを集合的に形成するデータブロックの順序付けられたセットのデータブロックを解析することを含む。操作は、データブロックの解析中に発生する解析エラーを検出することをさらに含む。操作は、検出された解析エラーのエラーメッセージを生成することをさらに含む。生成されたエラーメッセージは、データファイル内の検出された解析エラーの位置を表す未解決の位置情報を含む。
【0007】
操作はまた、未解決の位置情報をセット内の１つまたは複数の他のデータブロックの解析に応答して解決できるかどうかを決定することを含む。操作は、未解決の位置情報を解決できるという決定に応答して、データファイル内の検出された解析エラーの位置を示す解決された位置情報を生成することをさらに含む。操作は、格納されたエラーメッセージを解決された位置情報で更新して、更新されたエラーメッセージを生成することをさらに含む。操作は、データファイル内の検出された解析エラーの位置を示す解決された位置情報を含む更新されたエラーメッセージを出力することをさらに含む。
【0008】
非一時的コンピュータ可読メモリの実施形態は、実行可能なコンピュータプログラム命令を格納する。命令は操作を実行するために実行可能である。操作は、データファイルを集合的に形成するデータブロックの順序付けられたセットのデータブロックを解析することを含む。操作は、データブロックの解析中に発生する解析エラーを検出することをさらに含む。操作は、検出された解析エラーのエラーメッセージを生成することをさらに含む。生成されたエラーメッセージは、データファイル内の検出された解析エラーの位置を表す未解決の位置情報を含む。操作はまた、未解決の位置情報をセット内の１つまたは複数の他のデータブロックの解析に応答して解決できるかどうかを決定することを含む。操作は、未解決の位置情報を解決できるという決定に応答して、データファイル内の検出された解析エラーの位置を示す解決された位置情報を生成することをさらに含む。操作は、格納されたエラーメッセージを解決された位置情報で更新して、更新されたエラーメッセージを生成することをさらに含む。操作は、データファイル内の検出された解析エラーの位置を示す解決された位置情報を含む更新されたエラーメッセージを出力することをさらに含む。
【図面の簡単な説明】
【0009】
【0010】
図は、説明のみを目的としたさまざまな実施形態を示している。当業者は、以下の議論から、本明細書に記載の実施形態の原理から逸脱することなく、本明細書に示される構造および方法の代替の実施形態を使用し得ることを容易に認識するであろう。さまざまな図面における同様の参照番号および指定は、同様の要素を示している。
【発明を実施するための形態】
【0011】
図１は、一実施形態によるデータ分析システム１１０を含むデータ分析の環境１００を示すブロック図である。環境１００は、データ分析システム１１０にネットワーク１３０を介して接続された複数のデータソース１２０をさらに含む。例示の環境１００は、複数のデータソース１２０に結合された１つのデータ分析システム１１０のみを含むが、実施形態は、複数のデータ分析システムおよび単一のデータソースを有することができる。
【0012】
データソース１２０は、電子データをデータ分析システム１１０に提供する。データソース１２０は、ハードディスクドライブ（ＨＤＤ）またはソリッドステートドライブ（ＳＳＤ）などのストレージデバイス、複数のストレージデバイスへのアクセスを管理および提供するコンピュータ、ストレージエリアネットワーク（ＳＡＮ）、データベース、またはクラウドストレージシステムであり得る。データソース１２０はまた、別のソースからデータを取り出すことができるコンピュータシステムであり得る。データソース１２０は、データ分析システム１１０からリモートあり、およびネットワーク１３０を介してデータを提供し得る。加えて、データソース１２０の一部またはすべてはデータ分析システムに直接結合され、ネットワーク１３０を介してデータを渡すことなく、データを提供し得る。
【0013】
データソース１２０によって提供されるデータは、典型的に、データレコードに編成され、各データレコードは１つまたは複数の値を含む。たとえば、データソース１２０によって提供されるデータレコードは、一連のコンマ区切り値を含み得る。データは、データ分析システム１１０を使用する企業に関連する情報を記述する。たとえば、データソース１２０からのデータは、ウェブサイト上でアクセス可能なコンテンツとの、および／またはソーシャルメディアアプリケーションとのコンピュータベースの相互作用（たとえば、クリック追跡データ）を記述できる。
【0014】
データ分析システム１１０は、大量のデータを処理および分析するために利用されるコンピュータベースのシステムである。データは、ネットワーク１３０を介して複数のデータソース１２０から回収（collect）、収集（gather）、またはそうでなければアクセスされる。データ分析システム１１０は、多種多様なデータソースからのデータへのアクセス、準備、ブレンド、および分析に使用されるスケーラブルなソフトウェアツールおよびハードウェアリソースを実装できる。たとえば、データ分析システム１１０は、データ集約型のプロセスおよびワークフローの実行をサポートする。データ分析システム１１０は、本明細書で説明される非同期データ処理技術を含むデータ分析機能を実装するために使用されるコンピューティングデバイスとすることができる。
【0015】
データ分析システム１１０は、データ分析アプリケーション１４０として図１に示される１つまたは複数のソフトウェアアプリケーションをサポートするように構成できる。データ分析アプリケーション１４０は、１つまたは複数のデータソース１２０から取得された大量のデータを処理および分析する。いくつかのケースでは、データ分析アプリケーション１４０は、複数のエンドユーザによるデータ分析ツールおよびマクロへのネットワーク、またはクラウドベースの、アクセスをサポートするソフトウェアを提供する。例として、データ分析アプリケーション１４０は、ユーザが、モバイルアプリケーションストアまたは他のクラウドベースのサービスと同様のやり方で、分析を共有、閲覧、および消費することを可能にする。分析データ、マクロ、およびワークフローは、たとえば、データ分析システム１１０の他のユーザがアクセスできる、より小規模およびカスタマイズ可能な分析アプリケーション（すなわち、アプリ）としてパッケージ化および実行できる。いくつかのケースでは、公開された分析アプリへのアクセスをデータ分析システム１１０によって管理、つまりアクセスを許可または削除する、ことができ、したがってアクセス制御およびセキュリティ機能を提供する。データ分析アプリケーション１４０は、作成、展開、公開、反復、更新などの分析アプリに関連付けられた機能を実行できる。加えて、データ分析アプリケーション１４０は、データ分析中に発生したエラーに対処する機能、分析結果にアクセス、準備、ブレンド、分析、および出力する機能など、データ分析に関与する様々な段階で実行される機能をサポートできる。
【0016】
データ分析アプリケーション１４０はまた、視覚的なグラフィカルユーザインターフェース（ＧＵＩ）を介して、反復可能なワークフローを設計および実行するソフトウェアツールをサポートできる。例として、データ分析アプリケーション１４０に関連付けられたＧＵＩは、データブレンド、データ処理、および高度なデータ分析のためのドラッグアンドドロップのワークフロー環境を提供する。さらに、ワークフローは、特定の処理操作またはデータ分析機能を実行する一連のデータ処理ツールを含むことができる。ワークフローの一部である各ツールは、ツールに固有のデータに関連する機能を実行する。例として、ワークフローは、入力／出力、準備、結合、予測、空間、調査、ならびに解析および変換操作、の１つまたは複数を含むさまざまなデータ分析機能を実装するツールを含むことができる。ワークフローに関する更なる詳細は、図３に関連して説明される。
【0017】
いくつかの実施形態では、ＧＵＩは、エラーに対処するための環境を提供する。たとえば、ＧＵＩは解析エラーのメッセージをオペレータに提示する。ＧＵＩはまた、オペレータが、メッセージへアクセスする、メッセージを編集する、解析エラーを分析する、解析エラーを修正するなどを可能にできる。
【0018】
データ分析アプリケーション１４０は、データのブロックをデータソース１２０から読み取る。たとえば、データ分析アプリケーション１４０は、ＳＳＤからのデータブロックの順序付けられたセットを含むデータファイルを読み取り得る。各データブロックは典型的には複数のデータレコードを含み、しばしばデータレコードの境界はデータブロックの境界と一致しない。したがって、データレコードは２つまたは複数の隣接するブロックにまたがり得る。
【0019】
データ分析アプリケーション１４０は、各データブロックを処理して、そこに含まれるデータレコードを抽出する。これらのデータレコードは、データ分析アプリケーション１４０によって実装されるデータ分析ワークフローによって処理される。一実施形態では、データ分析アプリケーション１４０は、並行して実行される複数のワーカースレッドを使用して、順次データブロックを非同期的に処理する。結果として、データブロックが順不同で処理さ得る。いくつかの実施形態では、データブロックは、順不同でデータ分析アプリケーション１４０に配信される。ワーカースレッドは、データブロックが来るとそれらの処理を開始する。したがって、シーケンスの後半のデータブロック（たとえば、第３のデータブロック）は、シーケンスの前半のデータブロック（たとえば、第１および第２のデータブロック）の前に処理され得る。
【0020】
データブロックの非同期処理は、エラー対処の問題を引き起こす。データ分析アプリケーション１４０は、データブロックの解析中に解析エラーを検出し得る。解析エラーの例は、認識されないコード、不適切な列区切り文字、非標準文字の検出、解析結果のための不十分なストレージ、データファイルの非互換性などを含む。データブロック内の解析エラーの相対的な位置が分かる（たとえば、エラーはブロック内の第４のレコードの最後で発生する）。しかし、エラーを含むデータブロックに先行する未解析のデータブロックがある場合、解析エラーが検出された時点で、データファイル内の解析エラー（たとえば、エラーはデータファイルの第１０のレコードで発生する）の絶対位置を検出できない。したがって、データ分析アプリケーション１４０は、エラーの絶対位置を記述するエラーメッセージを出力できない。絶対的な位置の欠如は、人間のオペレータまたは自動化されたプロセスがエラーを見つけて修正することを困難にし、データ分析に遅延を発生させる。
【0021】
これらおよび他の困難を克服するために、データ分析アプリケーション１４０は、エラーの２つのタイプの位置情報を生成することによって、順次データブロックの非同期処理中に発生するエラーに対処する。データ分析アプリケーション１４０は、最初に、先行データブロックが処理されていないデータブロックの解析中に検出された解析エラーの未解決の位置情報を生成する。未解決の位置情報は、データブロック内のエラーの位置を示す行またはレコード番号など、データブロック内の解析エラーの相対的な位置を示す。いくつかの実施形態では、未解決の位置情報はまた、データブロックを参照するブロック番号を含むことができる。データ分析アプリケーション１４０は、未解決の位置情報を含むエラーメッセージをバッファ内に格納する。
【0022】
データ分析アプリケーション１４０は、先行データブロックが解析されたかどうか、および／またはいつ解析されたかを決定することによって、未解決の位置情報を解決できるかどうかをさらに決定する。これらのブロックが解析されると、データ分析アプリケーション１４０は、先行データブロックの解析結果を使用して、解析エラーの解決された位置情報を生成する。解決された位置情報は、解析エラーが発生したデータファイル内のレコードを参照する行番号またはレコード番号など、データファイル内の解析エラーの絶対的な位置を示す。データ分析アプリケーション１４０は、たとえば、オペレータがアクセスできるＧＵＩ、モジュール、またはファイルに、解決された位置情報を含む解析エラーの更新されたエラーメッセージを出力する。エラーメッセージはまた、エラーの修正に役立つその他の情報を含むことができる。
【0023】
ネットワーク１３０は、データ分析システム１１０とデータソース１２０との間の通信経路を表す。一実施形態では、ネットワーク１３０はインターネットであり、標準の通信技術および／またはプロトコルを使用する。したがって、ネットワーク１３０は、イーサネット、８０２．１１、マイクロ波アクセスの世界的な相互運用性（ＷｉＭＡＸ）、３Ｇ、ロングタームエボリューション（ＬＴＥ）、デジタル加入者線（ＤＳＬ）、非同期転送モード（ＡＴＭ）、InfiniBand、PCI Express Advanced Switching等の技術を使用するリンクを含むことができる。同様に、ネットワーク１３０で使用されるネットワーキングプロトコルは、マルチプロトコルラベルスイッチング（ＭＰＬＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキストトランスポートプロトコル（ＨＴＴＰ）、シンプルメール転送プロトコル（ＳＭＴＰ）、ファイル転送プロトコル（ＦＴＰ）などを含むことができる。
【0024】
ネットワーク１３０を介して交換されるデータを、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張マークアップ言語（ＸＭＬ）などを含む技術および／またはフォーマットを使用して表すことができる。加えて、すべてまたは一部のリンクは、セキュアソケットレイヤー（ＳＳＬ）、トランスポートレイヤーセキュリティ（ＴＬＳ）、仮想プライベートネットワーク（ＶＰＮ）、インターネットプロトコルセキュリティ（ＩＰｓｅｃ）などの従来の暗号技術を使用して暗号化できる。別の実施形態では、エンティティは、上記の代わりに、またはそれに加えて、カスタムおよび／または専用のデータ通信技術を使用できる。
【0025】
図２は、データブロックとデータレコードとの間の例示的な関係を示す図である。図２は、３つの順次データブロック２１０、２２０、および２３０、ならびに７つの順次データレコード２１５、２２５、２３５、２４５、２５５、２６５、および２７５を含むデータファイル２００を示している。データレコードは、データブロックと完全には一致していない。データブロック２１０は、すべてのデータレコード２１５および２２５、ならびにデータレコード２３５の第１の部分を含む。データブロック２２０は、データレコード２３５の第２の部分、データレコード２４５のすべて、およびデータレコード２５５の第１の部分を含む。データブロック２３０は、データレコード２５５の第２の部分と、データレコード２６５および２７５のすべてを含む。
【0026】
３つの順次データブロック２１０、２２０、および２３０を、順不同に解析できる。たとえば、データブロック２３０を、データブロック２１０および２２０の前に解析することができ、これらをすべて、異なるワーカースレッドによって並行して処理できる。解析エラーがデータブロック２３０の解析中に発生し得る。たとえば、解析エラーがデータレコード２６５内に発生し得る。しかし、データブロック２１０および２２０は処理されていないため、それらのデータレコードおよびこれらのデータレコードの境界は不明である。したがって、データファイル２００内の解析エラーの絶対的な位置を正確に決定できない。
【0027】
図３は、一実施形態によるデータを処理するためにデータ分析システム１１０を使用して作成されたワークフロー３００を示すブロック図である。一実施形態では、ワークフロー３００は、データ分析システム１１０のＧＵＩによってサポートされる視覚的なワークフロー環境を使用して作成される。視覚的なワークフロー環境は、ワークフローを設計するためのソフトウェアコードを提供する必要をなくす、およびワークフローによって実装される複雑な式を識別する必要をなくす、ドラッグアンドドロップツールのセットを使用可能にする。別の実施形態では、ワークフロー３００は、拡張マークアップ言語（ＸＭＬ）文書などの文書で作成および記述される。ワークフロー３００は、データ分析システム１１０のコンピュータデバイスによって実行される。しかし、他の実施形態では、ワークフロー３００は、ネットワーク（たとえば、ネットワーク１３０）を介して、データ分析システム１１０に通信可能に接続され得る別のコンピュータデバイスに展開される。
【0028】
ワークフローは、特定の処理操作またはデータ分析機能を実行する一連のツールを含むことができる。一般的な例として、ワークフローのツールは、入力／出力、準備、結合、予測、空間、調査、ならびに解析および変換の操作の、データ分析機能の１つまたは複数を実行できる。ワークフローの実装は、データ分析プロセスの定義、実行、自動化を含むことができ、データがワークフロー内の各ツールに渡され、各ツールは受信したデータに対してそれぞれの処理操作を実行する。個々のデータレコードの集約グループを含むパケットを、ワークフローのツールを通して渡すことができ、これは個々の処理操作がデータに対してより効率的に動作することを可能にする。そのような集約技術は、大量のデータを処理する場合でも、ワークフローの開発および実行の速度を上げることができる。ワークフローは、反復可能な一連の操作を定義またはそうでなければ構造化して、指定されたツールの操作シーケンスを指定できる。いくつかのケースでは、ワークフローに含まれるツールが線型順序で実行される。別のケースでは、複数のツールは並行して実行される。
【0029】
図示のように、図３のワークフロー３００は、入力ツール３０５および３０６ならびにブラウズツール３３０として示される入力／出力ツールを含む。入力ツール３０５および３０６は、特定のデータソース１２０からのデータレコードにアクセスするように機能する。入力ツール３０５および３０６は、ワークフロー内にアクセスされたデータレコードを取り込み、データレコードをワークフロー３００の後続のツールに提供する。この例では、入力ツール３０５はアクセスされたデータレコードをフィルタツール３１０に提供し、入力ツール３０６はアクセスされたデータレコードを選択ツール３１１に提供する。ブラウズツール３３０は、ワークフロー３００の最後に位置し、ワークフロー３００の上流のツールのそれぞれの実行から生じる出力を受信する。この例では、ブラウズツール３３０は、ワークフロー３００の最後に配置されているが、ブラウズツール３３０は、ワークフローの任意の時点で追加されて、ワークフローの上流ツールの実行からの結果をレビューおよび検証できる。
【0030】
引き続き、図３の例では、ワークフロー３００は、フィルタツール３１０、選択ツール３１１、式ツール３１５、およびサンプルツール３１２として示される準備ツールを含む。フィルタツール３１０は、式に基づいてデータレコードをクエリし、式を満たすデータレコードを含む真のストリームおよび式を満たさないデータレコードを含む偽のストリーム、の２つのストリームにデータを分割する。選択ツール３１１を使用して、フィールドの選択、選択解除、並べ替え、および名前変更、フィールドタイプまたはサイズの変更、ならびに説明の割り当てをすることができる。式ツール３１５は、多種多様な計算および／または演算を実行する１つまたは複数の式を使用してフィールドを作成または更新する。サンプルツール３１２は、データレコードの受信したストリームを、データレコードの数、割合、またはランダムなセットに限定する。ワークフロー３００はまた、複数のデータソースをブレンドする結合ツール３２０を含む。具体的には、結合ツール３２０は、共通のフィールド（またはデータレコード位置）に基づいて２つの入力データストリームを組み合わせる。
【0031】
図３のワークフロー３００はまた、データをさらなる分析で使用されるフォーマットに再構築および再形成できる解析および変換ツールである要約ツール３２５を含むように示されている。要約ツール３２５はまた、グループ化、合計、カウント、空間処理、および文字列の連結によってデータの要約化を実行できる。一実施形態では、要約ツール３２５によって生成された出力は計算の結果を含む。
【0032】
いくつかの実施形態では、ワークフロー３００の実行は、すべてのデータレコードが処理されて結合ツール３２０に到達するまで、入力ツール３０５が、データレコードを一度に１つフィルタツール３１０および式ツール３１５を通じて、渡させる。その後、入力ツール３０６は、データレコードが同じ結合ツール３２０に渡されるまで、選択ツール３１１およびサンプルツール３１２を通じて、データレコードを一度に１つ渡し始める。ワークフロー３００のいくつかの個々のツールは、データの最後のブロックを処理している、または並べ替えツールなどのコンピュータを集中的に使用する操作を複数の部分に分割する間にデータのブロックの読み取りを開始するような独自の並列操作を実装する機能を有することができる。しかし、一部の既存のワークフローの技術では、処理操作を実行するために複数のデータレコードを必要とするワークフロー内のツール（たとえば、並べ替えツール、結合ツール、要約ツールなど）に到達するまで、データレコードのセットからの各データレコードは、パイプライン方式で、一度に１つのデータレコードを、ワークフローの各ツールによって個別に処理される。
【0033】
ワークフロー３００でエラーが発生する可能性がある。エラーは、データレコード、データソース１２０、ワークフローが実行されるコンピュータ、またはそれらの任意の組み合わせに関連付けられた欠陥によって引き起こされる可能性がある。エラーは致命的なエラーまたは非致命的なエラーのいずれかの可能性がある。致命的なエラーが検出された後、ワークフロー３００は、致命的なエラーが修正されるまで停止し得る。非致命的なエラーが検出された後、ワークフロー３００は継続し得、非致命的なエラーは後で、たとえば、ワークフロー３００が終了した後、修正され得る。
【0034】
図４は、一実施形態によるデータ分析システム１１０のデータ分析アプリケーション１４０のより詳細な図を示すブロック図である。データ分析アプリケーション１４０は、データ受信モジュール４１０、ツールモジュール４２０、エラー対処モジュール４３０、データ出力モジュール４４０、およびブロックデータベース４５０を含む。当業者は、他の実施形態が本明細書での説明とは異なるおよび／または他のコンポーネントを有することができ、機能を異なるやり方において、コンポーネント間で分散できることを認識するであろう。
【0035】
データ受信モジュール４１０は、データソース１２０からデータを受信する。一実施形態では、データ受信モジュール４１０は、データソースからデータブロックを受信し、データブロックを解析してデータレコードを生成する。たとえば、データ受信モジュール４１０は、ＳＤＳ上のデータファイルから読み取られたデータブロックを受信し得、ここで、各データブロックは複数のデータレコードを含み、一部のデータレコードは複数のデータブロックにまたがり得る。データ受信モジュール４１０は、データ分析アプリケーション１４０内の他のモジュールにデータレコードを渡す。
【0036】
ツールモジュール４２０は、入力／出力、準備、結合、予測、空間、調査、解析および変換操作の１つまたは複数を含む特定の処理操作またはデータ分析機能を実行するデータ処理ツールのセットを提供する。ツールは、データ受信モジュール４１０によってデータソース１２０から受信されたデータレコードを操作する。データレコードの操作は非同期とすることができる。ツールモジュール４２０は、図３に関連して説明されるワークフロー３００に含まれるツールを提供する。
【0037】
エラー対処モジュール４３０は、ツールモジュール４２０による順次データブロック内のデータレコードの非同期処理中、または他の処理中に発生するエラーに対処する。エラー対処モジュール４３０は、データレコードの解析中に発生する解析エラーを検出する。エラー対処モジュール４３０は、検出された解析エラーに対してエラーメッセージを生成する。エラーメッセージは、初期に、データブロック内の解析エラーの相対的な位置を示す解析エラーの未解決の位置情報を含む。相対的な位置は、データブロック内で解析エラーが発生した行の位置を示す相対的な行番号、またはデータブロック内で解析エラーが発生したデータレコードの位置を示す相対的なレコード番号を含むことができる。エラー対処モジュール４３０は、未解決の位置情報を伴うエラーメッセージを格納し、順序付けられたセット内のデータブロックに先行する他のデータブロック（本明細書では以下、「先行データブロック（preceding data blocks）」と呼ぶ）が解析されるまで、待機する。先行データブロックが解析されると、エラー対処モジュール４３０は、位置情報を解決して、データファイル内のエラーの絶対的な位置を示す解決されたエラー情報を生成する。
【0038】
エラー対処モジュール４３０は、データブロックが、解析が完了していないシーケンス内の最小番号のデータブロックであるかどうかを決定することによって、先行データブロックが解析されたかどうかを決定できる。いくつかの実施形態では、エラー対処モジュール４３０は、たとえば、バッファ内の情報に基づいて、データブロックが、解析が完了していないシーケンス内の最小番号のデータブロックであると決定する。バッファは、データブロックが処理中またはまだ処理されていないと示す情報を格納している。一例では、バッファは、順次データブロックのサブセットのステータスインジケータを格納する。ステータスインジケータは、対応するデータブロックが解析されたかどうかを示す。アクティブなデータブロックのグループは、順次データブロックのサブセットである。最小番号のアクティブデータブロックは、解析が完了していないシーケンス内の最小番号のデータブロックである。
【0039】
エラー対処モジュール４３０は、先行データブロックの解析の結果に基づいて、未解決の位置情報を解決できる。いくつかの実施形態では、エラー対処モジュール４３０は、先行データブロックの解析中に生成されたデータレコードを使用して、解析エラーが発生したデータレコードを参照するレコード番号を決定し、レコード番号に基づいて解決された位置情報を生成する。エラー対処モジュール４３０は、エラーメッセージを解決された位置情報で更新して、更新されたエラーメッセージを生成する。いくつかの実施形態では、エラー対処モジュール４３０は、エラーメッセージ内の未解決の位置情報を解決された位置情報で置き換える。エラー対処モジュール４３０は、更新されたエラーメッセージにオペレータがアクセスできるように、更新されたエラーメッセージを出力する。
【0040】
データ出力モジュール４４０は、データ分析アプリケーション１４０によって実行された処理の結果を出力する。すなわち、データ出力モジュール４４０は、ワークフロー２００の実行によって生成された処理済みデータレコードを受信し、他のシステムおよび／または人間のレビュアーがデータレコードを利用可能にする。たとえば、データ出力モジュール４４０は、企業に関連付けられた人間のレビュアーが企業に関連付けられたデータレコードの処理から生じるワークフロー２００の出力をレビューできるＧＵＩを提供し得る。
【0041】
図５は、一実施形態によるデータ分析アプリケーション１４０のエラー対処モジュール４３０のより詳細な図を示すブロック図である。エラー対処モジュール４３０は、エラー検出モジュール５１０、エラーメッセージモジュール５２０、位置解決モジュール５３０、および出力モジュール５４０を含む。当業者は、他の実施形態が本明細書での説明とは異なるおよび／または他のコンポーネントを有することができ、機能を異なるやり方において、コンポーネント間で分散できることを認識するであろう。
【0042】
エラー検出モジュール５１０は、データブロック（「ターゲットデータブロック」）の解析中に発生する解析エラーを検出する。ターゲットデータブロックは、順次レコードのセットを集合的に保持する順次データブロックのセットを含むデータファイル（たとえば、カンマ区切りの値ファイル）の一部である。順次データブロックを順不同で解析できる。したがって、所与のデータブロックを、先行データブロックが解析される前に、または先行データブロックが解析されるのと同時に解析できる。エラー検出モジュール５１０は、データブロックを解析するワーカースレッドが、事前定義されたスキーマへの適合に失敗する、および／または予想されるデータの配置からの別の逸脱を含む、データレコードまたは他のデータに遭遇することを検出することによって、解析エラーを検出する。
【0043】
エラーメッセージモジュール５２０は、検出された解析エラーの未解決の位置情報を含む、検出された解析エラーのエラーメッセージを生成する。未解決の位置情報は、ターゲットデータブロック内の解析エラーの位置を示す。未解決の位置情報は、エラーを有するデータレコードを含むターゲットデータブロック内の行を参照する行番号を含むこと、および／またはそうでなければターゲットデータブロック内のデータレコードの位置を記述することができる。
【0044】
未解決の位置情報に加えて、エラーメッセージはまた、解析エラーを記述する他の情報（たとえば、解析エラーの原因を説明する情報など）およびエラーを修正するための情報（たとえば、回復戦略、解析エラーを修正する方法の推奨事項など）を含むことができる。いくつかの実施形態では、エラーメッセージは、解析エラーの警告を含む。エラーメッセージモジュール５２０は、エラーメッセージを格納する。
【0045】
位置解決モジュール５３０は、エラーメッセージ内の未解決の位置情報を解決して、更新されたエラーメッセージを生成する。位置解決モジュール５３０は、ターゲットデータブロックの解析が完了するまで、エラーメッセージ内の未解決の位置情報を解決し得ない。
【0046】
いくつかの実施形態では、位置解決モジュール５３０は、先行データブロックが解析されたかどうかを決定することによって、未解決の位置情報を解決できるかどうかを決定する。いくつかの実施形態では、位置解決モジュール５３０は、バッファ内の情報を使用して、先行データブロックが解析されたかどうかを決定する。バッファの例は循環バッファである。バッファは、エラーメッセージモジュール５２０によって生成されたエラーメッセージを格納できる。また、データブロックのステータスインジケータを保存できる。データブロックのステータスインジケータは、データブロックが解析されたかどうかを示す。一実施形態では、解析されたデータブロックのステータスインジケータは、データブロック内にあることがわかっているレコードの数であり、解析されていないデータブロックのステータスインジケータは－１である。一例では、バッファはアクティブなデータブロックのステータスインジケータのみを格納する。アクティブなデータブロックは、シーケンスの一部にデータブロックを含む。シーケンスの一部は、解析が完了していないシーケンス内の最小番号のデータブロックから始まる。言い換えると、第１のアクティブなデータブロックに先行するすべてのデータブロックが解析されている。たとえば、データファイルは、シーケンス内の順序付けられた１００個のデータブロックを含む。最初の３６個のデータブロックは解析されたが、第３７のデータブロックは解析されていない。第３７のデータブロックは、解析が完了していないシーケンス内の最小番号のデータブロックである。データブロックが非アクティブになった後、そのステータスインジケータをバッファから削除して、メモリ使用量を節約できる。たとえば、第３７のデータブロックの解析が完了し、第３８のデータブロックがすでに解析されている場合、第３９のデータブロックは、まだ解析されていないと仮定して、解析が完了していないシーケンス内の最小番号のデータブロックとなる。第３７および第３８のデータブロックのステータスインジケータがバッファから削除される。
【0047】
位置解決モジュール５３０は、ターゲットデータブロックが第１のアクティブなデータブロック（すなわち、解析が完了していないシーケンス内で最小番号のデータブロック）であるかどうかを決定できる。ターゲットデータブロックが第１のアクティブデータブロックであるという決定に応答して、位置解決モジュール５３０は、先行データブロックが解析され、未解決の位置情報を解決できると決定する。そうでなければ、位置解決モジュール５３０は、先行データブロックが解析されておらず、未解決の位置情報を解決できないと決定する。
【0048】
アクティブなデータブロックは、解析が開始されたシーケンス内の最大番号のデータブロックで終了し得る。たとえば、１００個のデータブロックを含むデータファイルの第４５のデータブロックの解析が開始された。しかし、第４６から第１００のデータブロックの解析は開始されていない。したがって、第４５のデータブロックは、解析が開始されたシーケンス内の最大番号のデータブロックである。したがって、第３７乃至４５のデータブロックはアクティブなデータブロックであり、バッファは第３７乃至４５のデータブロックのステータスインジケータを格納する。
【0049】
未解決の位置情報を解決できるという決定に応答して、位置解決モジュール５３０は、解析エラーの解決された位置情報を生成し、解決された位置情報を含むように格納されたエラーメッセージを更新する。解決された位置情報は、たとえば、データファイル内で解析エラーが発生した行の位置を参照する行番号、またはデータファイル内で解析エラーが発生したレコードの位置を参照するレコード番号とすることできる。いくつかの実施形態では、位置解決モジュール５３０は、未解決の位置情報と先行するブロックの解析によって生成された情報との組み合わせに基づいて、解決された位置情報を生成する。たとえば、先行ブロックに５０個のレコードが含まれていることが解析で示され、未解決の位置情報がブロックの第３のレコードにエラーがあることを示している場合、ローカル解決モジュールは、エラーがデータファイルの第５３のレコード内にあることを示す解決された位置情報を生成し得る。
【0050】
出力モジュール５４０は、更新されたエラーメッセージを出力する。いくつかの実施形態では、出力モジュール５４０は、更新されたエラーメッセージをデータ分析システムから、オペレータがアクセスするモジュール、ＧＵＩ、ディスプレイ、またはファイルに送信する。出力モジュール５４０は、更新されたエラーメッセージを出力した後、更新されたエラーメッセージをバッファから除去し得る。いくつかの実施形態では、出力モジュール５４０は、更新されたエラーメッセージが生成されると、更新されたエラーメッセージを出力する。いくつかの実施形態では、出力モジュール５４０は、他のエラーメッセージが生成されるまで、更新されたエラーメッセージの出力を保留する。出力モジュール５４０は、データブロックの解析中に検出された他のエラーのエラーメッセージおよび／または先行データブロックの解析中に検出されたエラーのエラーメッセージを、更新されたエラーメッセージと共に出力できる。いくつかの実施形態では、出力モジュール５４０は、エラーメッセージが出力されるべきデータレコードの数を示すレコード数の上限を受信する。出力モジュール５４０は、データファイル内のデータレコードの第１の数のエラーメッセージを出力する。出力モジュール５４０は、出力されるべきではないエラーメッセージを除去し得る。
【0051】
図６は、一実施形態による、順次データブロックの非同期処理中のエラー対処の方法を示すフローチャートである。いくつかの実施形態では、方法はデータ分析アプリケーション１４０によって実行されるが、方法の操作の一部またはすべては他の実施形態の他のエンティティによって実行され得る。いくつかの実施形態では、フローチャートの操作は異なる順序で実行され、異なるおよび／または追加のステップを含む。
【0052】
データ分析アプリケーション１４０は、データファイルを集合的に形成するデータブロックの順序付けられたセットのデータブロックを解析する６１０。たとえば、データ分析アプリケーション１４０は、ワーカースレッドを使用してデータブロックを解析し、データレコードを生成する。いくつかの実施形態では、データ分析アプリケーション１４０は、並行して実行される複数のワーカースレッドを使用して、順序付けられたセット内の複数のデータブロックを同時に解析する。ワーカースレッドは、データブロックを順不同で解析し得る。たとえば、第１および第２のデータブロックは、第３のデータブロックの後に解析され得る。各データブロックは典型的には複数のデータレコードを含み、しばしばデータレコードの境界はデータブロックの境界と一致しない。
【0053】
データ分析アプリケーション１４０は、データブロックの解析中に発生する解析エラーを検出する６２０。一実施形態では、解析エラーは致命的なエラーであり得、そのケースでは、データブロックの解析は、解析エラーが検出された後に停止する。別の実施形態では、解析エラーは非致命的なエラーであり得、そのケースでは、データブロックの解析は、解析エラーが検出された後も継続する。
【0054】
データ分析アプリケーション１４０は、検出された解析エラーに対してエラーメッセージを生成する６３０。生成されたエラーメッセージは、たとえば、データブロック内の検出された解析エラーの位置を示す、データファイル内の検出された解析エラーの相対的な位置を表す未解決の位置情報を含む。
【0055】
データ分析アプリケーション１４０は、セット内の１つまたは複数の他のデータブロックの解析に応答して、未解決の位置情報を解決できるかどうかを決定する６４０。データ分析アプリケーション１４０は、順序付けられたセット内のデータブロックに先行する１つまたは複数の追加のデータブロック（すなわち、１つまたは複数の先行データブロック）が解析されたかどうかを決定することによって決定を行う。いくつかの実施形態では、データ分析アプリケーション１４０は、データブロックが、解析が完了していない順序付けられたセット内の最小番号のデータブロックである、かどうかを決定する。データブロックが、解析が完了していない順序付けられたセット内の最小番号のデータブロックであるという決定に応答して、データ分析アプリケーション１４０は、未解決の位置情報を解決できると決定する６４０。
【0056】
未解決の位置情報を解決できるという決定に応答して、データ分析アプリケーション１４０は、データファイル内の検出された解析エラーの絶対的な位置を示す解決された位置情報を生成する６５０。いくつかの実施形態では、解決された位置情報は、検出された解析エラーのレコード番号を含む。レコード番号は、検出された解析エラーが発生する順序付けられたセット内のデータレコードの位置を参照する。データ分析アプリケーション１４０は、未解決の位置情報、データブロックの解析の結果、１つまたは複数の先行データブロックの解析の結果、またはそれらのいくつかの組み合わせに基づいてレコード番号を決定できる。
【0057】
データ分析アプリケーション１４０は、格納されたエラーメッセージを解決された位置情報で更新して、更新されたエラーメッセージを生成し６６０、更新されたエラーメッセージを出力する６７０。更新されたメッセージは、データファイル内の検出された解析エラーの位置を示す解決された位置情報を含む。いくつかの実施形態では、データ分析アプリケーション１４０はまた、順序付けられたセット内のデータブロックに先行する１つまたは複数の他のデータブロックの解析中に検出されたエラーについて他のエラーメッセージを出力する。いくつかの実施形態では、データ分析アプリケーション１４０は、ユーザからレコード数の上限を受信する。レコード数の上限は、エラーメッセージが出力されるべきデータレコードの数を示す。データ分析アプリケーション１４０は、順序付けられたセット内の第１の数のデータレコードについてエラーメッセージを出力する。
【0058】
図７は、一実施形態による図１のデータ分析システム１１０として使用するための典型的なコンピュータシステム７００の機能図を示す高レベルのブロック図である。コンピュータシステム７００は、図３のワークフローを実装するデータ分析アプリケーション１４０を実行できる。
【0059】
図示のコンピュータシステムは、チップセット７０４に結合された少なくとも１つのプロセッサ７０２を含む。プロセッサ７０２は、同じダイ（die）上に複数のプロセッサコアを含むことができる。チップセット７０４は、メモリコントローラハブ７２０および入力／出力（Ｉ／Ｏ）コントローラハブ７２２を含む。メモリ７０６およびグラフィックアダプタ７１２は、メモリコントローラハブ７２０に結合されており、ディスプレイ７１８は、グラフィックアダプタ７１２に結合されている。ストレージデバイス７０８、キーボード７１０、ポインティングデバイス７１４、およびネットワークアダプタ７１６は、Ｉ／Ｏコントローラハブ７２２に結合され得る。いくつかの他の実施形態では、コンピュータシステム７００は、追加の、より少ない、または異なるコンポーネントを有し得、コンポーネントは、異なって結合され得る。たとえば、コンピュータシステム７００の実施形態は、ディスプレイおよび／またはキーボードを欠き得る。さらに、コンピュータシステム７００は、いくつかの実施形態では、ラックに取り付けられたブレードサーバとして、またはクラウドサーバインスタンスとしてインスタンス化され得る。
【0060】
メモリ７０６はプロセッサ７０２によって使用される命令およびデータを保持する。いくつかの実施形態では、メモリ７０６はランダムアクセスメモリである。ストレージデバイス７０８は、非一時的コンピュータ可読記憶媒体である。ストレージデバイス７０８は、ＨＤＤ、ＳＳＤ、または他のタイプの非一時的コンピュータ可読記憶媒体とすることができる。データ分析システム１１０によって処理および分析されたデータを、メモリ７０６および／またはストレージデバイス７０８に格納できる。
【0061】
ポインティングデバイス７１４は、マウス、トラックボール、または他のタイプのポインティングデバイスであり得、コンピュータシステム７００にデータを入力するために、キーボード７１０と組み合わせて使用される。グラフィックアダプタ７１２は、画像および他の情報をディスプレイ７１８に表示する。いくつかの実施形態では、ディスプレイ７１８は、ユーザの入力および選択を受信するためのタッチスクリーン機能を含む。ネットワークアダプタ７１６は、コンピュータシステム７００をネットワーク１７０に繋ぐ。
【0062】
コンピュータシステム７００は、本明細書で説明される機能を提供するためのコンピュータモジュールを実行するように適合されている。本明細書で使用される「モジュール」という用語は、特定の機能を提供するためのコンピュータプログラム命令およびその他のロジックを指す。モジュールをハードウェア、ファームウェア、および／またはソフトウェアで実装できる。モジュールは、１つまたは複数のプロセスを含むことが、および／またはプロセスの一部のみによって提供されることができる。モジュールは、通常、ストレージデバイス７０８に格納され、メモリ７０６に読み込まれ、プロセッサ７０２によって実行される。
【0063】
コンポーネントの特定の命名、用語の大文字化、属性、データ構造、またはその他のプログラミングまたは構造的側面は必須または重要ではなく、説明された実施形態を実装するメカニズムは、異なる名前、フォーマット、またはプロトコルを有し得る。さらに、システムは、説明されているように、ハードウェアとソフトウェアの組み合わせを介して、または完全にハードウェア要素で実装され得る。また、本明細書で説明されるさまざまなシステムコンポーネント間の機能の特定の分割は単なる例示であり、必須ではなく、単一のシステムコンポーネントによって実行される機能は、代わりに複数のコンポーネントによって実行され得、複数のコンポーネントによって実行される機能は、代わりに単一のコンポーネントによって実行され得る。
【0064】
上記の説明のいくつかの部分は、情報の操作のアルゴリズムおよび記号表現の観点から機能を示している。これらのアルゴリズムの説明および表現は、データ処理技術の当業者が、当技術分野の他の者に作業の内容を最も効果的に伝えるために使用する手段である。これらの操作は、機能的または論理的に説明されているが、コンピュータプログラムによって実装されると理解される。さらに、一般性を失うことなく、これらの操作の配置をモジュールとして、または機能名で参照することも便利な場合がある。
【0065】
上記の議論から明白であると特に明記しない限り、説明全体を通して、「処理（processing）」または「計算（computing）」または「計算（calculating）」または「決定（determining）」または「表示（displaying）」などの用語を利用する議論は、コンピュータシステムのメモリまたはレジスタ、または他のそのような情報ストレージ、送信または表示デバイス内の物理（電子）量として表されるデータを操作および変換する、コンピュータシステムまたは同様の電子コンピューティングデバイスのアクションおよびプロセスに言及していることが理解される。
【0066】
本明細書で説明される特定の実施形態は、アルゴリズムの形で説明されるプロセスのステップおよび命令を含む。実施形態のプロセスのステップおよび命令は、ソフトウェア、ファームウェア、またはハードウェアで実施でき、ソフトウェアで実施した場合、ダウンロードしてリアルタイムネットワークオペレーティングシステムで使用される異なるプラットフォームに常駐し、そこから操作できることに留意されたい。
【0067】
最後に、明細書で使用される文言は、主に読みやすさと教育目的のために選択されており、本発明の主題を描写または制限するために選択され得ないことに留意されたい。したがって、実施形態の開示は、例示的であることを意図しているが、限定ではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】