特表 2024-534446 メタデータ駆動型データ取り込み

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-20

(54)【発明の名称】メタデータ駆動型データ取り込み

(51)【国際特許分類】

   G06F 16/907 20190101AFI20240912BHJP

【ＦＩ】

G06F16/907

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024516937

(86)(22)【出願日】2022-09-16

(85)【翻訳文提出日】2024-04-24

(86)【国際出願番号】 US2022076595

(87)【国際公開番号】W WO2023044445

(87)【国際公開日】2023-03-23

(31)【優先権主張番号】63/245,244

(32)【優先日】2021-09-17

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/665,109

(32)【優先日】2022-02-04

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】509123208

【氏名又は名称】アビニシオ テクノロジー エルエルシー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ドゥサン・ラディヴォエヴィッチ

(72)【発明者】

【氏名】ロバート・パークス

(72)【発明者】

【氏名】アダム・ワイス

(72)【発明者】

【氏名】マヤ・ジャンコヴィッチ

(72)【発明者】

【氏名】ジョン・ヴィッケリー

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175FB02

5B175FB03

(57)【要約】

最小限のユーザ入力で、（ｉ）異なるデータセット内のフィールドと、（ｉｉ）フィールドを記述する可能性があるものとしてユーザが指定した名前との間の共通コンテキストをユーザに対して自動的に識別し、それらの共通コンテキストを使用して、指定されたデータ品質を保証するために記憶前に異なるデータセットを管理することによって、記憶のために指定されたデータ品質を有するデータを準備する速度を増加させる電子システム。

【特許請求の範囲】

【請求項1】

最小限のユーザ入力で、（ｉ）異なるデータセット内のフィールドと、（ｉｉ）フィールドを記述する可能性があるものとしてユーザが指定した名前との間の共通コンテキストをユーザに対して自動的に識別することによって、また、それらの共通コンテキストを使用して、指定されたデータ品質を保証するために記憶前に異なるデータセットを管理することによって、記憶のために指定されたデータ品質を有するデータを準備する速度を増加させる、データ処理システムによって実装される方法であって、
ハードウェア記憶デバイスによって、外部データソースからデータセットを取り出すことと、
前記取り出されたデータセットから、前記取り出されたデータセット内のフィールドを特徴付ける技術的属性を記述するメタデータ項目を識別することと、
クライアントデバイスから、前記取り出されたデータセット内の前記フィールドを記述するための候補であるユーザ定義名を受信することと、
１つ以上のメタデータ項目と前記ユーザ定義名のうちの少なくとも１つとの間の関連付けを識別することと、
１つ以上の動作であって、前記１つ以上の動作は、前記ユーザ定義名のうちの前記少なくとも１つを参照する、１つ以上の動作を指定する１つ以上のルールにアクセスすることと、
前記取り出されたデータセットのうちの１つ以上の各々について、
前記取り出されたデータセットにおいて、前記１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することと、
検出に応じて、前記１つ以上のルールのうちの前記少なくとも１つを、前記検出されたメタデータ項目によって記述される１つ以上のデータ項目に適用することと、
前記１つ以上のルールのうちの前記少なくとも１つの適用に続いて、前記取り出されたデータセットを前記１つ以上のデータストアの中に記憶することと
を含む、方法。

【請求項2】

前記メタデータ項目のうちの少なくとも１つが、取り出されたデータセットのフィールドのフィールド名を含む、請求項１に記載の方法。

【請求項3】

前記少なくとも１つのメタデータ項目のラベルであって、前記ラベルは、前記少なくとも１つのメタデータ項目のセマンティックな意味を表す、ラベルを決定することと、
前記少なくとも１つのメタデータ項目の前記ラベルと前記ユーザ定義名との間のマッチングを識別することと、
前記マッチングに応じて、前記少なくとも１つのメタデータ項目と前記コンテキストメタデータ項目との間のリンクを生成することとを更に含む、請求項２に記載の方法。

【請求項4】

前記ラベルを決定することは、前記少なくとも１つのメタデータ項目、又は前記少なくとも１つのメタデータ項目によって記述される前記データ項目のうちの少なくとも１つに対して１つ以上のセマンティック発見プロセスを実行することを含む、請求項３に記載の方法。

【請求項5】

前記少なくとも１つのメタデータ項目の前記ラベルは、前記データセット内の前記データ項目についての前記ユーザ定義名から選択される、請求項３に記載の方法。

【請求項6】

前記少なくとも１つのメタデータ項目と前記ユーザ定義名との間の前記リンクを生成することは、前記メタデータ項目を表すデータと、前記ユーザ定義名を表すデータへのポインタとを含む少なくとも１つのデータ構造を生成することを含む、請求項３に記載の方法。

【請求項7】

前記少なくとも１つのメタデータ項目と前記ユーザ定義名との間の前記リンクを生成するは、前記ユーザ定義名メタデータを表すデータと前記メタデータ項目へのポインタとを含む少なくとも１つのデータ構造を生成することを含む、請求項３に記載の方法。

【請求項8】

前記クライアントデバイスにおけるグラフィカルユーザインターフェースであって、前記グラフィカルユーザインターフェースは、前記ユーザ定義名と、前記ユーザ定義名のうちの少なくとも１つに関する前記１つ以上のルールを定義するための入力部分とを含む、グラフィカルユーザインターフェースを表示させることと、
前記グラフィカルユーザインターフェースの前記入力部分への入力を表すデータであって、前記データは、前記ユーザ定義名のうちの前記少なくとも１つに関する前記１つ以上のルールを定義する、データを受信することと
を含む、請求項１に記載の方法。

【請求項9】

前記グラフィカルユーザインターフェースは、前記ユーザ定義名に割り当てられた前記メタデータ項目のうちの１つ以上を表示するように構成される、請求項８に記載の方法。

【請求項10】

前記１つ以上のルールが、個人識別可能情報（ＰＩＩ）ルール又はデータ品質ルールのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項11】

取り出されたデータセットにおいて、前記１つ以上のルールのうちの少なくとも１つにおいて、
前記取り出されたデータセットに含まれる少なくとも１つのフィールド名を識別することと、
前記少なくとも１つのフィールド名を前記メタデータ項目と比較して、前記少なくとも１つのフィールド名と前記メタデータ項目との間のマッチングを識別することと、
前記メタデータ項目を記憶されたリンケージ情報と比較して、前記メタデータ項目に割り当てられた前記ユーザ定義名を識別することと、
前記ユーザ定義名を含む前記１つ以上のルールのうちの前記少なくとも１つを識別することと
によって、１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することを更に含む、請求項１に記載の方法。

【請求項12】

前記技術的属性は、前記データセット内の前記データのフォーマット及び／又は構造を含む、請求項１に記載の方法。

【請求項13】

最小限のユーザ入力で、（ｉ）異なるデータセット内のフィールドと、（ｉｉ）フィールドを記述する可能性があるものとしてユーザが指定した名前との間の共通コンテキストをユーザに対して自動的に識別することによって、また、それらの共通コンテキストを使用して、指定されたデータ品質を保証するために記憶前に異なるデータセットを管理することによって、記憶のために指定されたデータ品質を有するデータを準備する速度を増加させるためのハードウェア記憶デバイスであって、
外部データソースからデータセットを取り出すことと、
前記取り出されたデータセットから、前記取り出されたデータセット内のフィールドを特徴付ける技術的属性を記述するメタデータ項目を識別することと、
クライアントデバイスから、前記取り出されたデータセット内の前記フィールドを記述するための候補であるユーザ定義名を受信することと、
１つ以上のメタデータ項目と前記ユーザ定義名のうちの少なくとも１つとの間の関連付けを識別することと、
１つ以上の動作であって、前記１つ以上の動作は、前記ユーザ定義名のうちの前記少なくとも１つを参照する、１つ以上の動作を指定する１つ以上のルールにアクセスすることと、
前記取り出されたデータセットのうちの１つ以上の各々について、
前記取り出されたデータセットにおいて、前記１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することと、
検出に応じて、前記１つ以上のルールのうちの前記少なくとも１つを、前記検出されたメタデータ項目によって記述される１つ以上のデータ項目に適用することと、
前記１つ以上のルールのうちの前記少なくとも１つの適用に続いて、前記取り出されたデータセットを前記１つ以上のデータストアの中に記憶することと
を含む、動作を実行するために１つ以上の処理デバイスによって実行可能な命令を記憶するハードウェア記憶デバイス。

【請求項14】

前記メタデータ項目の少なくとも１つは、取り出されたデータセットのフィールドに対するフィールド名を含む、請求項１３に記載のハードウェア記憶デバイス。

【請求項15】

ハードウェア記憶デバイスであって、前記動作は、
前記少なくとも１つのメタデータ項目のラベルであって、前記ラベルは、前記少なくとも１つのメタデータ項目のセマンティックな意味を表す、ラベルを決定することと、
前記少なくとも１つのメタデータ項目の前記ラベルと前記ユーザ定義名との間のマッチングを識別することと、
前記マッチングに応じて、前記少なくとも１つのメタデータ項目と前記コンテキストメタデータ項目との間のリンクを生成することと
を更に含む、請求項１４に記載のハードウェア記憶デバイス。

【請求項16】

前記ラベルを決定することは、前記少なくとも１つのメタデータ項目、又は前記少なくとも１つのメタデータ項目によって記述される前記データ項目のうちの少なくとも１つに対して１つ以上のセマンティック発見プロセスを実行することを含む、請求項１５に記載のハードウェア記憶デバイス。

【請求項17】

前記少なくとも１つのメタデータ項目の前記ラベルは、前記データセット内の前記データ項目についての前記ユーザ定義名から選択される、請求項１５に記載のハードウェア記憶デバイス。

【請求項18】

前記少なくとも１つのメタデータ項目と前記ユーザ定義名との間のリンクを生成することは、前記メタデータ項目を表すデータと、前記ユーザ定義名を表すデータへのポインタとを含む少なくとも１つのデータ構造を生成することを含む、請求項１５に記載のハードウェア記憶デバイス。

【請求項19】

前記少なくとも１つのメタデータ項目と前記ユーザ定義名との間の前記リンクを生成することは、前記ユーザ定義名メタデータを表すデータと前記メタデータ項目へのポインタとを含む少なくとも１つのデータ構造を生成することを含む、請求項１５に記載のハードウェア記憶デバイス。

【請求項20】

最小限のユーザ入力で、（ｉ）異なるデータセット内のフィールドと、（ｉｉ）フィールドを記述する可能性があるものとしてユーザが指定した名前との間の共通コンテキストをユーザに対して自動的に識別することによって、また、それらの共通コンテキストを使用して、指定されたデータ品質を保証するために記憶前に異なるデータセットを管理することによって、記憶のために指定されたデータ品質を有するデータを準備する速度を増加させる電子システムであって、
１つ以上の処理デバイスと、
ハードウェア記憶デバイスであって、
外部データソースからデータセットを取り出すことと、
前記取り出されたデータセットから、前記取り出されたデータセット内のフィールドを特徴付ける技術的属性を記述するメタデータ項目を識別することと、
クライアントデバイスから、前記取り出されたデータセット内の前記フィールドを記述するための候補であるユーザ定義名を受信することと、
１つ以上のメタデータ項目と前記ユーザ定義名のうちの少なくとも１つとの間の関連付けを識別することと、
１つ以上の動作であって、前記１つ以上の動作は、前記ユーザ定義名のうちの前記少なくとも１つを参照する、１つ以上の動作を指定する１つ以上のルールにアクセスすることと、
前記取り出されたデータセットのうちの１つ以上の各々について、
前記取り出されたデータセットにおいて、前記１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することと、
検出に応じて、前記１つ以上のルールのうちの前記少なくとも１つを、前記検出されたメタデータ項目によって記述される１つ以上のデータ項目に適用することと、
前記１つ以上のルールのうちの前記少なくとも１つの適用に続いて、前記取り出されたデータセットを前記１つ以上のデータストアの中に記憶することと
を含む、動作を実行するために１つ以上の処理デバイスによって実行可能な命令を記憶するハードウェア記憶デバイスと
を含む、電子システム。

【発明の詳細な説明】

【技術分野】

【0001】

（優先権の主張）
本出願は、米国特許法第１１９条（ｅ）の下で、２０２１年０９月１７日に出願された米国特許出願第６３／２４５，２４４号に対する優先権を主張する、２０２２年２月４日に出願された米国特許出願第１７／６６５，１０９号に対する優先権を主張し、両方の内容全体が参照により本明細書に組み込まれる。

【0002】

（発明の分野）
本開示は、データ取り込みを駆動するためにメタデータを使用する技法に関する。

【背景技術】

【0003】

組織は、そのビジネスを実行するために、ますます大規模で複雑なデータの集まりを維持している。多くの場合、組織のデータは、複数の異なるデータソースにわたって拡散され、組織は、データ記憶及び分析を容易にするために、これらのデータをまとめる必要がある。そうするために、組織は、データが１つ以上のデータソースから、データレイク、データウェアハウス、データベース、又は別のデータ記憶システムなどの宛先に移動されるデータ取り込みプロセスを使用することができる。データ取り込みは、即時使用又はデータベースへの記憶のためにデータを取得するプロセスを含むことができる。一旦取り込まれると、データは、記憶され、分析され、又は別様に使用されることができる。しかしながら、多様なデータフォーマット及び品質を有する複数のデータソースが存在する場合、効率的な方法でデータを取り込むことは困難であり得る。

【0004】

図１を参照すると、データセットを取り込むための従来技術のシステム１が示されている。システム１は、ソースシステム３、データ処理システム５、記憶システム６、及びクライアントデバイス７、８、９を含む。ソースシステム３は、データセット２ａ～２ｃを記憶し、データセット２ａ～２ｃをデータ処理システム５に送信する。データセット２ａ～２ｃの各々は、管理されず、クレンジングされず、適合されない。データセット２ａ～２ｃの取り込みの前に、これらのデータセット２ａ～２ｃは、理想的には、管理され、クレンジングされ、適合される。しかしながら、これは達成されず、データセット２ａ～２ｃは、少なくとも以下の理由のために、最終的に、クレンジング、管理、又は適合されることなく取り込まれる。

【0005】

取り込みの前に、データセット２ａ～２ｃは、理想的には、様々なビジネス要件及びビジネスルールに準拠する。このために、最終的に失敗したビジネスユーザ４ｂは、クライアントデバイス７を介して、様々なビジネス要件７ａを指定する。クライアントデバイス７は、これらのビジネス要件７ａをクライアントデバイス８に送信する。次に、技術スタッフ４ａは、ビジネス要件７ａをレビューし、取り込み前にデータを変換するための機械可読ルールを含むビジネスルール７ｂを書き込み、データは、ビジネス要件に準拠するように変換される。クライアントデバイス８は、これらのビジネスルール７ｂをデータ処理システム５に送信し、データ処理システム５は、ソースデータセット２ａ～２ｃに対してこれらのビジネスルール７ｂを実行する。ソースデータセット２ａ～２ｃが成功裏に処理されたかどうかを識別するために、データ処理システムは、クライアントデバイス９に送信されるテスト結果９ａを生成する。次に、テスタ４ｃは、テスト結果９ａをレビューし、テストエラー９ｂのリストを生成する。クライアントデバイス９は、テストエラー９ｂをクライアントデバイス７に送信し、ここで、ビジネスユーザは、テストエラーをレビューし、テストエラーに対処するために新しい又は改訂されたビジネス要件をドラフトし、プロセス全体が再び開始する。その結果、ビジネスユーザ４ｂの無限サイクルがビジネス要件７ａを生成し、ビジネス要件７ａが技術スタッフにビジネスルールを生成するように促し、ビジネスルールが新しいテスト結果を生成し、テスタに新しい技術的エラーを識別させる。この無限サイクルのため、ソースデータセット２ａ～２ｃは、完全に管理され、クレンジングされ、適合されることは決してない。最後に、ソースデータセット２ａ～２ｃは、記憶システム６に取り込まれてもよいが（例えば、取り込まれたデータセット５ａ）、それらは、完全に管理され、クレンジングされ、適合される前に取り込まれる。したがって、標準化され、管理され、クレンジングされ、適合されたデータセットを効率的且つ確実に取り込むことができるシステムが必要とされている。

【発明の概要】

【課題を解決するための手段】

【0006】

一般に、第１の態様では、最小限のユーザ入力で、（ｉ）異なるデータセット内のフィールドと、（ｉｉ）フィールドを記述する可能性があるものとしてユーザが指定した名前との間の共通コンテキストをユーザに対して自動的に識別することによって、また、それらの共通コンテキストを使用して、指定されたデータ品質を保証するために記憶前に異なるデータセットを管理することによって、記憶のために指定されたデータ品質を有するデータを準備する速度を増加させる方法であって、外部データソースからデータセットを取り出すことと、取り出されたデータセットから、取り出されたデータセット内のフィールドを特徴付ける技術的属性を記述するメタデータ項目を識別することと、クライアントデバイスから、取り出されたデータセット内のフィールドを記述するための候補であるユーザ定義名を受信することと、１つ以上のメタデータ項目とユーザ定義名のうちの少なくとも１つとの間の関連付けを識別することと、１つ以上の動作であって、１つ以上の動作は、ユーザ定義名のうちの少なくとも１つを参照する、１つ以上の動作を指定する１つ以上のルールにアクセスすることと、取り出されたデータセットのうちの１つ以上の各々について、取り出されたデータセットにおいて、１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することと、検出に応じて、１つ以上のルールのうちの少なくとも１つを、メタデータの検出された項目によって記述される１つ以上のデータ項目に適用することと、１つ以上のルールのうちの少なくとも１つの適用に続いて、取り出されたデータセットを１つ以上のデータストアの中に記憶することとを含む、方法。１つ以上のコンピュータのシステムは、動作中にシステムにアクションを実行させるソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせをシステムにインストールすることによって、特定の動作又はアクションを実行するように構成することができる。１つ以上のコンピュータプログラムは、データ処理装置によって実行されると、装置にアクションを実行させる命令を含むことによって、特定の動作又はアクションを実行するように構成することができる。

【0007】

一般に、第１の態様と組み合わせ可能な第２の態様では、メタデータ項目のうちの少なくとも１つは、取り出されたデータセットのフィールドのフィールド名を含む。

【0008】

一般に、第１から第２の態様のいずれかと組み合わせ可能な第３の態様では、方法はまた、少なくとも１つのメタデータ項目のラベルであって、ラベルが少なくとも１つのメタデータ項目のセマンティックな意味を表す、ラベルを決定することと、少なくとも１つのメタデータ項目のラベルとユーザ定義名との間のマッチングを識別することと、マッチングに応じて、少なくとも１つのメタデータ項目とコンテキストメタデータ項目との間のリンクを生成することとを含む。

【0009】

一般に、第１から第３の態様のいずれかと組み合わせ可能な第４の態様では、ラベルを決定することは、少なくとも１つのメタデータ項目、又は少なくとも１つのメタデータ項目によって記述されるデータ項目のうちの少なくとも１つに対して１つ以上のセマンティック発見プロセスを実行することを含む。

【0010】

一般に、第１から第４の態様のいずれかと組み合わせ可能な第５の態様では、少なくとも１つのメタデータ項目のラベルは、データセット内のデータ項目のユーザ定義名から選択される。

【0011】

一般に、第１から第５の態様のいずれかと組み合わせ可能な第６の態様では、少なくとも１つのメタデータ項目とユーザ定義名との間のリンクを生成することは、メタデータ項目を表すデータとユーザ定義名を表すデータへのポインタとを含む少なくとも１つのデータ構造を生成することを含む。

【0012】

一般に、第１から第６の態様のいずれかと組み合わせ可能な第７の態様では、少なくとも１つのメタデータ項目とユーザ定義名との間のリンクを生成することは、ユーザ定義名メタデータを表すデータとメタデータ項目へのポインタとを含む少なくとも１つのデータ構造を生成することを含む。

【0013】

一般に、第１から第７の態様のいずれかと組み合わせ可能な第８の態様では、方法は、クライアントデバイスにおけるグラフィカルユーザインターフェースであって、グラフィカルユーザインターフェースは、ユーザ定義名と、ユーザ定義名のうちの少なくとも１つに関する１つ以上のルールを定義するための入力部分とを含む、グラフィカルユーザインターフェースを表示させることと、グラフィカルユーザインターフェースの入力部分への入力を表すデータであって、データは、ユーザ定義名のうちの少なくとも１つに関する１つ以上のルールを定義する、データを受信することとを更に含む。

【0014】

一般に、第１から第８の態様のいずれかと組み合わせ可能な第９の態様では、グラフィカルユーザインターフェースは、ユーザ定義名に割り当てられたメタデータ項目のうちの１つ以上を表示するように構成される。

【0015】

一般に、第１から第９の態様のいずれかと組み合わせ可能な第１０の態様では、１つ以上のルールは、個人識別可能情報（ＰＩＩ）ルール又はデータ品質ルールのうちの少なくとも１つを含む。

【0016】

一般に、第１から第１０の態様のいずれかと組み合わせ可能な第１１の態様では、方法はまた、取り出されたデータセットにおいて、取り出されたデータセットに含まれる少なくとも１つのフィールド名を識別することと、少なくとも１つのフィールド名をメタデータ項目と比較して、少なくとも１つのフィールド名とメタデータ項目との間のマッチングを識別することと、メタデータ項目を記憶されたリンケージ情報と比較して、メタデータ項目に割り当てられたユーザ定義名を識別することと、ユーザ定義名を含む１つ以上のルールのうちの少なくとも１つを識別することとによって、１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することを含む。

【0017】

一般に、第１から第１１の態様のいずれかと組み合わせ可能な第１２の態様では、技術的属性は、データセット内のデータのフォーマット及び／又は構造を含む。

【0018】

一般に、第１３の態様では、最小限のユーザ入力で、（ｉ）異なるデータセット内のフィールドと、（ｉｉ）ユーザがフィールドを記述する可能性があるものとして指定した名前との間の共通コンテキストをユーザに対して自動的に識別することによって、また、それらの共通コンテキストを使用して、指定されたデータ品質を保証するために記憶前に異なるデータセットを管理することによって、記憶のために指定されたデータ品質を有するデータを準備する速度を増加させるためのハードウェア記憶デバイスであって、外部データソースからデータセットを取り出すことと、取り出されたデータセットから、取り出されたデータセット内のフィールドを特徴付ける技術的属性を記述するメタデータ項目を識別することと、クライアントデバイスから、取り出されたデータセット内のフィールドを記述するための候補であるユーザ定義名を受信することと、１つ以上のメタデータ項目とユーザ定義名のうちの少なくとも１つとの間の関連付けを識別することと、１つ以上の動作であって、１つ以上の動作は、ユーザ定義名のうちの少なくとも１つを参照する、１つ以上の動作を指定する１つ以上のルールにアクセスすることと、取り出されたデータセットのうちの１つ以上の各々について、取り出されたデータセットにおいて、１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することと、検出に応じて、１つ以上のルールのうちの少なくとも１つを、メタデータの検出された項目によって記述される１つ以上のデータ項目に適用することと、１つ以上のルールのうちの少なくとも１つの適用に続いて、取り出されたデータセットを１つ以上のデータストアの中に記憶することとを含む、動作を実行するために１つ以上の処理デバイスによって実行可能な命令を記憶するハードウェア記憶デバイス。この態様の他の実施形態は、対応するコンピュータシステム、装置、及び１つ以上のコンピュータ記憶デバイスに記録されたコンピュータプログラムを含み、各々が方法のアクションを実行するように構成される。

【0019】

一般に、第１４の態様では、最小限のユーザ入力で、（ｉ）異なるデータセット内のフィールドと、（ｉｉ）ユーザがフィールドを記述する可能性があるものとして指定した名前との間の共通コンテキストをユーザに対して自動的に識別することによって、また、それらの共通コンテキストを使用して、指定されたデータ品質を保証するために記憶前に異なるデータセットを管理することによって、記憶のために指定されたデータ品質を有するデータを準備する速度を増加させる電子システムであって、１つ以上の処理デバイスと、ハードウェア記憶デバイスであって、外部データソースからデータセットを取り出すことと、取り出されたデータセットから、取り出されたデータセット内のフィールドを特徴付ける技術的属性を記述するメタデータ項目を識別することと、クライアントデバイスから、取り出されたデータセット内のフィールドを記述するための候補であるユーザ定義名を受信することと、１つ以上のメタデータ項目とユーザ定義名のうちの少なくとも１つとの間の関連付けを識別することと、１つ以上の動作であって、１つ以上の動作は、ユーザ定義名のうちの少なくとも１つを参照する、１つ以上の動作を指定する１つ以上のルールにアクセスすることと、取り出されたデータセットのうちの１つ以上の各々について、取り出されたデータセットにおいて、１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することと、検出に応じて、１つ以上のルールのうちの少なくとも１つを、メタデータの検出された項目によって記述される１つ以上のデータ項目に適用することと、１つ以上のルールのうちの少なくとも１つの適用に続いて、取り出されたデータセットを１つ以上のデータストアの中に記憶することとを含む、動作を実行するために１つ以上の処理デバイスによって実行可能な命令を記憶するハードウェア記憶デバイスとを含む、電子システム。この態様の他の実施形態は、対応するコンピュータシステム、装置、及び１つ以上のコンピュータ記憶デバイスに記録されたコンピュータプログラムを含み、各々が方法のアクションを実行するように構成される。

【0020】

一般に、第１５の態様は、記憶のためにデータを準備する方法は、外部データソースからデータセットを取り出すことと、取り出されたデータセットから、取り出されたデータセット内のフィールドを特徴付ける技術的属性を記述するメタデータ項目を識別することと、クライアントデバイスから、取り出されたデータセット内のフィールドを記述するための候補であるユーザ定義名を受信することと、メタデータ項目のうちの１つ以上とユーザ定義名のうちの少なくとも１つとの間の関連付けを識別することと、１つ以上の動作であって、１つ以上の動作は、ユーザ定義名のうちの少なくとも１つを参照する、１つ以上の動作を指定する１つ以上のガバナンスルールにアクセスすることと、取り出されたデータセットのうちの１つ以上の各々について、取り出されたデータセットにおいて、１つ以上のガバナンスルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することと、検出に応じて、１つ以上のガバナンスルールのうちの少なくとも１つを、検出されたメタデータ項目によって記述される１つ以上のデータ項目に適用することと、１つ以上のガバナンスルールのうちの少なくとも１つの適用に続いて、取り出されたデータセットを１つ以上のデータストアの中に記憶することとを含む。１つ以上のコンピュータのシステムは、動作中にシステムにアクションを実行させるソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせをシステムにインストールすることによって、特定の動作又はアクションを実行するように構成することができる。１つ以上のコンピュータプログラムは、データ処理装置によって実行されると、装置にアクションを実行させる命令を含むことによって、特定の動作又はアクションを実行するように構成することができる。

【0021】

一般に、第１５の態様と組み合わせ可能な第１６の態様では、メタデータ項目のうちの少なくとも１つは、取り出されたデータセットのフィールドのフィールド名を含む。

【0022】

一般に、第１５から第１６の態様のいずれかと組み合わせ可能な第１７の態様では、方法は、少なくとも１つのメタデータ項目のラベルであって、ラベルが少なくとも１つのメタデータ項目のセマンティックな意味を表す、少なくとも１つのメタデータ項目のラベルを決定することと、少なくとも１つのメタデータ項目のラベルとユーザ定義名との間のマッチングを識別することと、マッチングに応じて、少なくとも１つのメタデータ項目とユーザ定義名との間のリンクを生成することとを含む。

【0023】

一般に、第１５から第１７の態様のいずれかと組み合わせ可能な第１８の態様では、ラベルを決定することは、少なくとも１つのメタデータ項目、又は少なくとも１つのメタデータ項目によって記述されるデータ項目のうちの少なくとも１つに対して１つ以上のセマンティック発見プロセスを実行することを含む。

【0024】

一般に、第１５から第１８の態様のいずれかと組み合わせ可能な第１９の態様では、少なくとも１つのメタデータ項目のラベルは、データセット内のデータ項目のユーザ定義名から選択される。

【0025】

一般に、第１５から第１９の態様のいずれかと組み合わせ可能な第２０の態様では、メタデータ項目のうちの１つ以上とユーザ定義名との間の関連付けを識別することは、メタデータ項目を表すデータとユーザ定義名を表すデータへのポインタとを含むインデックスなどの少なくとも１つのデータ構造を生成することを含む。

【0026】

一般に、第１５から第２０の態様のいずれかと組み合わせ可能な第２１の態様では、少なくとも１つのメタデータ項目とユーザ定義名との間のリンクを生成することは、ユーザ定義名メタデータを表すデータとメタデータ項目へのポインタとを含む少なくとも１つのデータ構造を生成することを含む。

【0027】

一般に、第１５から第２１の態様のいずれかと組み合わせ可能な第２２の態様では、方法は、クライアントデバイスにおけるグラフィカルユーザインターフェースであって、グラフィカルユーザインターフェースは、ユーザ定義名と、ユーザ定義名のうちの少なくとも１つに関して１つ以上のガバナンスルールを定義するための入力部分とを含む、グラフィカルユーザインターフェースを表示させることと、グラフィカルユーザインターフェースの入力部分への入力を表すデータであって、ユーザ定義名のうちの少なくとも１つに関して１つ以上のガバナンスルールを定義する、データを受信することとを更に含む。

【0028】

一般に、第１５から第２２の態様のいずれかと組み合わせ可能な第２３の態様では、グラフィカルユーザインターフェースは、コンテキストメタデータ項目に割り当てられたメタデータ項目のうちの１つ以上を表示するように構成される。

【0029】

一般に、第１５から第２３の態様のいずれかと組み合わせ可能な第２４の態様では、１つ以上のガバナンスルールは、個人識別可能情報（ＰＩＩ）ルール又はデータ品質ルールのうちの少なくとも１つを含み、データ品質ルールは、特定のデータの正しいフォーマットを指定し、不正フォーマットが検出された場合に特定のデータが否認されることを示し、ＰＩＩルールは、ＰＩＩの項目と、検出時にそのＰＩＩを暗号化、トークン化、又は他の方法で難読化するためのルールとを指定する。

【0030】

一般に、第１５から第２４の態様のいずれかと組み合わせ可能な第２５の態様では、取り出されたデータセットにおいて、１つ以上のガバナンスルールのうちの少なくとも１つにおいて参照されたユーザ定義名に割り当てられたメタデータ項目を検出することは、取り出されたデータセットに含まれる少なくとも１つのフィールド名を識別することと、少なくとも１つのフィールド名をメタデータ項目と比較して、少なくとも１つのフィールド名とメタデータ項目との間のマッチングを識別することと、メタデータ項目を記憶されたリンケージ情報と比較して、メタデータ項目に割り当てられたユーザ定義名を識別することと、識別されたユーザ定義名を含む１つ以上のガバナンスルールのうちの少なくとも１つを識別することとを含む。技術的属性は、データセット内のデータのフォーマット及び／又は構造を含む。

【0031】

一般に、第２６の態様では、記憶のために指定されたデータ品質を有するデータを準備する速度を増加させるためのハードウェア記憶デバイスであって、外部データソースからデータセットを取り出すことと、取り出されたデータセットから、取り出されたデータセット内のフィールドを特徴付ける技術的属性を記述するメタデータ項目を識別することと、クライアントデバイスから、取り出されたデータセット内のフィールドを記述するための候補であるユーザ定義名を受信することと、メタデータ項目のうちの１つ以上とユーザ定義名のうちの少なくとも１つとの間の関連付けを識別することと、１つ以上の動作であって、１つ以上の動作は、ユーザ定義名のうちの少なくとも１つを参照する、１つ以上の動作を指定する１つ以上のガバナンスルールにアクセスすることと、取り出されたデータセットのうちの１つ以上の各々について、取り出されたデータセットにおいて、１つ以上のガバナンスルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することと、検出に応じて、１つ以上のガバナンスルールのうちの少なくとも１つを、検出されたメタデータ項目によって記述される１つ以上のデータ項目に適用することと、１つ以上のガバナンスルールのうちの少なくとも１つの適用に続いて、取り出されたデータセットを１つ以上のデータストアの中に記憶することとを含む、動作を実行するために１つ以上の処理デバイスによって実行可能な命令を記憶するハードウェア記憶デバイス。この態様の他の実施形態は、対応するコンピュータシステム、装置、及び１つ以上のコンピュータ記憶デバイスに記録されたコンピュータプログラムを含み、各々が方法のアクションを実行するように構成される。

【0032】

一般に、第２６の態様と組み合わせ可能な第２７の態様では、メタデータ項目のうちの少なくとも１つは、取り出されたデータセットのフィールドのフィールド名を含む。

【0033】

一般に、第２６から第２７の態様のいずれかと組み合わせ可能な第２８の態様では、動作は、少なくとも１つのメタデータ項目のラベルであって、ラベルが少なくとも１つのメタデータ項目のセマンティックな意味を表す、ラベルを決定することと、少なくとも１つのメタデータ項目のラベルとユーザ定義名との間のマッチングを識別することと、マッチングに応じて、少なくとも１つのメタデータ項目とユーザ定義名との間のリンクを生成することとを更に含む。

【0034】

一般に、第２６から第２８の態様のいずれかと組み合わせ可能な第２９の態様では、ラベルを決定することは、少なくとも１つのメタデータ項目、又は少なくとも１つのメタデータ項目によって記述されるデータ項目のうちの少なくとも１つに対して１つ以上のセマンティック発見プロセスを実行することを含む。

【0035】

一般に、第２６から第２９の態様のいずれかと組み合わせ可能な第３０の態様では、少なくとも１つのメタデータ項目のラベルは、データセット内のデータ項目のユーザ定義名から選択される。

【0036】

一般に、第２６から第３０の態様のいずれかと組み合わせ可能な第３１の態様では、メタデータ項目のうちの１つ以上とユーザ定義名との間の関連付けを識別することは、メタデータ項目を表すデータとユーザ定義名を表すデータへのポインタとを含むインデックスなどの少なくとも１つのデータ構造を生成することを含む。

【0037】

一般に、第２６から第３１の態様のいずれかと組み合わせ可能な第３２の態様では、少なくとも１つのメタデータ項目とユーザ定義名との間のリンクを生成することは、ユーザ定義名メタデータを表すデータとメタデータ項目へのポインタとを含む少なくとも１つのデータ構造を生成することを含む。

【0038】

一般に、第２６から第３２の態様のいずれかと組み合わせ可能な第３３の態様では、動作は、クライアントデバイスにおけるグラフィカルユーザインターフェースであって、グラフィカルユーザインターフェースは、ユーザ定義名と、ユーザ定義名のうちの少なくとも１つに関する１つ以上のガバナンスルールを定義するための入力部分とを含む、グラフィカルユーザインターフェースを表示させることと、グラフィカルユーザインターフェースの入力部分への入力を表すデータであって、ユーザ定義名のうちの少なくとも１つに関する１つ以上のガバナンスルールを定義するデータを受信することとを含む。

【0039】

一般に、第２６から第３３の態様のいずれかと組み合わせ可能な第３４の態様では、グラフィカルユーザインターフェースは、コンテキストメタデータ項目に割り当てられたメタデータ項目のうちの１つ以上を表示するように構成される。

【0040】

一般に、第２６から第３４の態様のいずれかと組み合わせ可能な第３５の態様では、１つ以上のガバナンスルールは、個人識別可能情報（ＰＩＩ）ルール又はデータ品質ルールのうちの少なくとも１つを含み、データ品質ルールは、特定のデータの正しいフォーマットを指定し、不正フォーマットが検出された場合に特定のデータが否認されることを示し、ＰＩＩルールは、ＰＩＩの項目と、検出時にそのＰＩＩを暗号化、トークン化、又は他の方法で難読化するためのルールとを指定する。

【0041】

一般に、第２６から第３５の態様のいずれかと組み合わせ可能な第３６の態様では、取り出されたデータセットにおいて、１つ以上のガバナンスルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することは、取り出されたデータセットに含まれる少なくとも１つのフィールド名を識別することと、少なくとも１つのフィールド名をメタデータ項目と比較して、少なくとも１つのフィールド名とメタデータ項目との間のマッチングを識別することと、メタデータ項目を記憶されたリンケージ情報と比較して、メタデータ項目に割り当てられたユーザ定義名を識別することと、識別されたユーザ定義名を含む１つ以上のガバナンスルールのうちの少なくとも１つを識別することとを含む。

【0042】

一般に、第２６から第３６の態様のいずれかと組み合わせ可能な第３７の態様では、技術的属性は、データセット内のデータのフォーマット及び／又は構造を含む。

【0043】

一般に、第３８の態様では、記憶のためにデータを準備するための電子システムは、１つ以上の処理デバイスと、１つ以上のハードウェア記憶デバイスであって、外部データソースからデータセットを取り出すことと、取り出されたデータセットから、取り出されたデータセット内のフィールドを特徴付ける技術的属性を記述するメタデータ項目を識別することと、クライアントデバイスから、取り出されたデータセット内のフィールドを記述するための候補であるユーザ定義名を受信することと、メタデータ項目のうちの１つ以上とユーザ定義名のうちの少なくとも１つとの間の関連付けを識別することと、１つ以上の動作であって、１つ以上の動作は、ユーザ定義名のうちの少なくとも１つを参照する、１つ以上の動作を指定する１つ以上のガバナンスルールにアクセスすることと、取り出されたデータセットのうちの１つ以上の各々について、取り出されたデータセットにおいて、１つ以上のガバナンスルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することと、検出に応じて、１つ以上のガバナンスルールのうちの少なくとも１つを、検出されたメタデータ項目によって記述される１つ以上のデータ項目に適用することと、１つ以上のガバナンスルールのうちの少なくとも１つの適用に続いて、取り出されたデータセットを１つ以上のデータストアの中に記憶することとを含む、動作を実行するために１つ以上の処理デバイスによって実行可能な命令を記憶するハードウェア記憶デバイスとを含む。この態様の他の実施形態は、対応するコンピュータシステム、装置、及び１つ以上のコンピュータ記憶デバイスに記録されたコンピュータプログラムを含み、各々が方法のアクションを実行するように構成される。

【0044】

一般に、第３８の態様と組み合わせ可能な第３９の態様では、メタデータ項目のうちの少なくとも１つは、取り出されたデータセットのフィールドのフィールド名を含む。

【0045】

一般に、第３８から第３９の態様のいずれかと組み合わせ可能な第４０の態様では、動作は、少なくとも１つのメタデータ項目のラベルであって、ラベルが少なくとも１つのメタデータ項目のセマンティックな意味を表す、ラベルを決定することと、少なくとも１つのメタデータ項目のラベルとユーザ定義名との間のマッチングを識別することと、マッチングに応じて、少なくとも１つのメタデータ項目とユーザ定義名との間のリンクを生成することとを更に含む。

【0046】

一般に、第３８から第４０の態様のいずれかと組み合わせ可能な第４１の態様では、ラベルを決定することは、少なくとも１つのメタデータ項目、又は少なくとも１つのメタデータ項目によって記述されるデータ項目のうちの少なくとも１つに対して１つ以上のセマンティック発見プロセスを実行することを含む。

【0047】

一般に、第３８から第４１の態様のいずれかと組み合わせ可能な第４２の態様では、少なくとも１つのメタデータ項目のラベルは、データセット内のデータ項目のユーザ定義名から選択される。

【0048】

一般に、第３８から第４２の態様のいずれかと組み合わせ可能な第４３の態様では、メタデータ項目のうちの１つ以上とユーザ定義名との間の関連付けを識別することは、メタデータ項目を表すデータとユーザ定義名を表すデータへのポインタとを含むインデックスなどの少なくとも１つのデータ構造を生成することを含む。

【0049】

一般に、第３８から第４３の態様のいずれかと組み合わせ可能な第４４の態様では、少なくとも１つのメタデータ項目とユーザ定義名との間のリンクを生成することは、ユーザ定義名メタデータを表すデータとメタデータ項目へのポインタとを含む少なくとも１つのデータ構造を生成することを含む。

【0050】

一般に、第３８から第４４の態様のいずれかと組み合わせ可能な第４５の態様では、動作は、クライアントデバイスにおけるグラフィカルユーザインターフェースであって、グラフィカルユーザインターフェースは、ユーザ定義名と、ユーザ定義名の少なくとも１つに関して１つ以上のガバナンスルールを定義するための入力部分とを含む、グラフィカルユーザインターフェースを表示させることと、グラフィカルユーザインターフェースの入力部分への入力を表すデータであって、ユーザ定義名の少なくとも１つに関して１つ以上のガバナンスルールを定義する、データを受信することとを更に含む。

【0051】

一般に、第３８から第４５の態様のいずれかと組み合わせ可能な第４６の態様では、グラフィカルユーザインターフェースは、コンテキストメタデータ項目に割り当てられたメタデータ項目のうちの１つ以上を表示するように構成される。

【0052】

一般に、第３８から第４６の態様のいずれかと組み合わせ可能な第４７の態様では、１つ以上のガバナンスルールは、個人識別可能情報（ＰＩＩ）ルール又はデータ品質ルールのうちの少なくとも１つを含み、データ品質ルールは、特定のデータの正しいフォーマットを指定し、不正フォーマットが検出された場合に特定のデータが否認されることを示し、ＰＩＩルールは、ＰＩＩの項目と、検出時にそのＰＩＩを暗号化、トークン化、又は他の方法で難読化するためのルールとを指定する。

【0053】

一般に、第３８から第４７の態様のいずれかと組み合わせ可能な第４８の態様では、取り出されたデータセットにおいて、１つ以上のガバナンスルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することは、取り出されたデータセットに含まれる少なくとも１つのフィールド名を識別することと、少なくとも１つのフィールド名をメタデータ項目と比較して、少なくとも１つのフィールド名とメタデータ項目との間のマッチングを識別することと、メタデータ項目を記憶されたリンケージ情報と比較して、メタデータ項目に割り当てられたユーザ定義名を識別することと、識別されたユーザ定義名を含む１つ以上のガバナンスルールのうちの少なくとも１つを識別することとを含む。

【0054】

一般に、第３８から第４８の態様のいずれかと組み合わせ可能な第４９の態様では、技術的属性は、データセット内のデータのフォーマット及び／又は構造を含む。

【0055】

この概要は、以下の発明を実施するための形態において更に説明される概念の選択を簡略化された形態で紹介するために提供される。この概要は、特許請求される主題の主要な特徴又は本質的な特徴を特定することを意図するものではない。

【0056】

１つ以上の実装形態の詳細が、添付の図面及び以下の記載において明らかにされる。本明細書に記載のその他の特徴、目的、及び利点は、記載及び図面から、並びに特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0057】

【図1】データセットを取り込むための従来技術のシステムを示す。

【図2A】メタデータ駆動型データ取り込みのための例示的なシステムを各々示す。

【図2B】メタデータ駆動型データ取り込みのための例示的なシステムを各々示す。

【図2C】メタデータ駆動型データ取り込みのための例示的なシステムを各々示す。

【図2D】メタデータ駆動型データ取り込みのための例示的なシステムを各々示す。

【図3】メタデータ駆動型データ取り込みのための例示的なシステムを各々示す。

【図4A】ガバナンスルールの仕様及び生成のための例示的なシステムを示す。

【図4B】ガバナンスルールの仕様及び生成のための例示的なシステムを示す。

【図5A】連続メタデータ駆動型データ取り込みのためのシステムの例を示す。

【図5B】連続メタデータ駆動型データ取り込みのためのシステムの例を示す。

【図6】メタデータ駆動型データ取り込みのための例示的なプロセスである。

【0058】

同じ特徴は、参照符号によって示される場合、同じ符号及び／又は参照番号によって示されるものとする。

【発明を実施するための形態】

【0059】

本明細書で説明される技法は、１つ以上のデータソースからのデータが、データ記憶システムへの取り込みの前に管理又は他の方法で処理され得るメタデータ駆動型データ取り込みプロセスを実行する。一般に、ガバナンス（本明細書ではデータガバナンスとも呼ばれる）は、例えば、指定された品質及びセキュリティのデータ（例えば、個人識別可能情報（ＰＩＩ）のセキュリティ要件に準拠するデータ）を取得するために、指定された目標に従って情報及びデータの効果的且つ効率的な使用を保証するプロセス、役割、ポリシー、規格、及びメトリック（本明細書ではまとめて「プロセス」と呼ばれる）を含む。いくつかの例では、ＰＩＩは、ＰＩＩを暗号化又はトークン化することによって管理される。データガバナンスはまた、例えば、指定された品質レベル未満のデータ、異常なデータを除去するためのデータのクレンジング、及び指定されたフォーマットに準拠するようにデータをフォーマットすることを含む。特に、データソースからのデータに関連付けられた技術的メタデータ項目は、好ましくは、ガバナンスルールに関連付けられたコンテキストメタデータ項目とリンクされることができ、それによって、データ処理システムが技術的メタデータ及びコンテキストメタデータを使用して取り込みを駆動することを可能にする。一般に、コンテキストメタデータは、ビジネスコンテキストを他のデータに追加し、ビジネスマンによって作成された、及び／又はビジネスマンによって使用される情報を提供するデータを含む。例えば、コンテキストメタデータは、データ及び／又はデータセットにセマンティックな意味を与えるラベルであってもよい。技術的メタデータの処理は、データ自体を処理するよりも計算集約的ではないので、また、管理ポリシー（及びデータクオリティルール）によって最終的に否認される不完全な、破損した、又は他の低品質のデータを取り込むことに関連する計算上の浪費が防止されるので、本明細書で説明されるような管理摂取前を提供するメタデータ駆動型技法を通して、計算リソース（例えば、メモリ、処理サイクルなど）の消費は、取り込み後にデータを管理する技法に対して低減される。加えて、取り込み前のデータのガバナンスは、ＰＩＩが適切な保護なしに取り込まれることを防止し、それによってデータセキュリティ及びプライバシーを強化する。本技法はまた、以下で説明されるように、（技術的レベルではなく）コンテキストレベルで取り込み及びガバナンスルールのためのデータの指定を可能にすることによって、非技術的ユーザによる選択的取り込みを容易にする。

【0060】

データ取り込み中、データ処理システムは、複数のデータソースからデータセットを受信する。各データセットは、多くの構造化データレコード（例えば、数百万又は数十億の構造化データレコード）を含むことができる。一般に、構造化データレコードは、例えば、データレコードの様々なフィールドを指定するために、データが指定されたフォーマット又はタイプで構造化されているデータレコードである。例えば、データレコードは、名、姓、社会保障番号というデータフィールドを含み得る。一例では、これらのフィールドを有するデータレコードの内容は以下の通りである。Ｊａｎｅ，Ｄｏｅ，０２４－２０６－０１４２０。この例では、データレコードは、名、姓、及び社会保障番号のフィールド名を実際には含まない。むしろ、データは、これらのデータフィールドに従って構造化される。特に、構造は、第１のデリミタ（「，」）の前の内容の第１の部分が、第１の名フィールドに割り当てられる。第１のデリミタと第２のデリミタとの間の内容の第２の部分は、姓フィールドに割り当てられる。残りの内容は、社会保障番号フィールドに割り当てられる。

【0061】

いくつかの例では、データセットが受信されると、データ処理システムは、データセット及びそれらが含むデータレコードをデータ記憶システムに記憶することができる。次に、データ処理システムは、取り込まれたデータを分析又は他の方法で処理することができる。例えば、データ処理システムは、データガバナンスルールをデータレコードに適用して、分析及び更なる処理のためにデータレコードを準備することができる。一般に、データガバナンスは、とりわけ、可用性、有用性、一貫性、データ完全性、データセキュリティ、又はそれらの組み合わせなどの指定された目的をサポートするデータ制御の実装を通じて高いデータ品質を保証するデータ管理プロセスを指す。例えば、データ処理システムは、データを特定の（例えば、一様な）データ型又はフォーマットに再フォーマットすることなどによって、データを適合させることができる。例えば、上記の例におけるデータレコードは、フォーマット：名、姓、社会保障番号を有していたが、別の関連データレコード（例えば、異なるデータセットからの）は、フォーマット：社会保障番号、姓、名前を有してもよい。このデータを適合させるために、データ処理システムは、データレコードの一方又は両方を一様なフォーマットに再フォーマットすることができる。いくつかの例では、データ処理システムは、ＰＩＩを除去若しくは難読化すること、又は正しくない、破損した、不正にフォーマットされた、重複した、若しくは不完全なデータを修正若しくは除去することなどによって、データをクレンジングすることができる。例えば、社会保障番号はＰＩＩとみなすことができるので、データ処理システムは、適用されたガバナンスルールによって社会保障番号フィールド内のエントリを難読化（例えばトークン化）することができる。

【0062】

いくつかの例では、データセットのフィールドは、それらが含むデータを記述するように命名されていない。例えば、社会保障番号フィールドは、「ＳＳＮ」などの記述的なものではなく、「Ｓ５２３」と命名され得る。同様に、データセットは、名、姓、それらの組み合わせ、又は他の何らかの名前全体（例えば、製品名）のデータを含むかどうかを記述することなく、「名前」フィールドを含み得る。データセットのフィールド名及び／又はフォーマットは、同じ又は異なるデータソースから受信されたデータセットにわたって不均一であってもよい。これらの不均一性及び記述ラベルの欠如は、取り込まれたデータを効率的に管理（及び解釈）することを困難にする可能性がある。

【0063】

いくつかの例では、データ処理システムは、ガバナンス及び他の目的のためにデータセット内のフィールドのセマンティックな意味を発見するために、取り込まれたデータに対してセマンティック発見を実行することができる。そのようなセマンティック発見の例は、「Ｄｉｓｃｏｖｅｒｉｎｇ ａ ｓｅｍａｎｔｉｃ ｍｅａｎｉｎｇ ｏｆ ｄａｔａ ｆｉｅｌｄｓ ｆｒｏｍ ｐｒｏｆｉｌｅ ｄａｔａ ｏｆ ｔｈｅ ｄａｔａ ｆｉｅｌｄｓ」と題された米国特許出願第２６／７２０６，２６１号に説明されており、その全内容は、参照することによって本明細書に組み込まれる。セマンティック発見が実行されると、取り込まれたデータは、管理（例えば、適合及びクリーニング）又は他の方法で処理することができる。取り込まれたデータに意味を提供することによって、セマンティック発見はまた、ユーザ（例えば、非技術的ユーザ）が、データを理解及び解釈し、分析のためにどのデータを使用するかを決定することを可能にする。

【0064】

データ取り込みの前述の例では、データ処理システムは、データガバナンス、セマンティック発見、及び他の処理を実行する前に、データセット及びデータレコードにアクセスし、記憶する。しかしながら、このようにしてデータを取り込むことは効率的でないか、又は望ましくない場合がある。例えば、クレンジングの前にデータを取り込むと、ＰＩＩが宛先記憶システムに記憶されることになる可能性がある。宛先記憶システムが危険にさらされている場合、ＰＩＩが一時的にしか記憶されていない場合であっても、ＰＩＩが漏洩する可能性がある。取り込み後にデータガバナンスを実行することはまた、取り込まれたデータが最終的に否認される場合（例えば、不完全である、破損している、又はそうでなければ低いデータ品質を有するため）、計算リソース（例えば、メモリ、処理サイクルなど）の浪費をもたらし得る。更に、データが取り込まれた後にのみセマンティック発見を実行することは、非技術的ユーザが、利用可能なデータを理解し、分析に必要なデータのサブセットを選択的に取り込むことを困難にする可能性がある。

【0065】

本明細書で説明される技法は、メタデータ駆動型データ取り込みプロセスを実行して、データが取り込まれる前にデータを管理するか又は他の方法で処理する。いくつかの例では、技術的メタデータは、１つ以上のソースシステムから読み取られるか、又はアクセスされる。一般に、技術的メタデータは、データセット内のフィールドを特徴付ける技術的属性を記述し、例えば、その技術的メタデータは、データセット内のデータのフォーマット及び／又は構造に関する情報を含む。一般に、技術的属性は、データのフォーマット及び／又は構造を指定する。技術的メタデータの例は、とりわけ、レコードフォーマット若しくは構造、フィールド名、データ型、属性、アクセス許可、変換ルール、バックアップルール、データモデル、データ系統、マッピングドキュメンテーション、又はそれらの組み合わせを含む。技術的メタデータは、技術的メタデータの意味（例えば、ビジネスの意味）を指定するコンテキストメタデータと（例えば、セマンティック発見を介して）自動的にマッチングされる。次に、このコンテキストメタデータは、実際の取り込みの前にデータがどのように管理されるか（例えば、クレンジングされ、適合されるか）を指定するデータガバナンスルールを定義する際に使用される。このようにして、技術的メタデータは、データ処理システムに、取り込まれるデータのフォーマット及び／又はタイプ（例えば、構造）の計算上効率的なデータカタログを提供し、技術的メタデータとマッチングするコンテキストメタデータは、取り込みの前にデータに適用されるデータガバナンスルールを定義するので、メタデータは取り込みプロセスを駆動している。このカタログは、技術的メタデータの処理が、データ自体を分析するのに必要なリソースの量よりも少ない計算リソース（例えば、メモリ、処理サイクルなど）を消費するので、計算効率がより高い。加えて、取り込み前のデータのガバナンスは、ＰＩＩが適切な保護なしに取り込まれることを防止し、ガバナンスポリシーによって最終的に否認される不完全な、破損した、又は他の低品質データを取り込むことに関連する計算上の浪費を低減する。本明細書で説明される技法はまた、（技術的ではなく）コンテキストレベルで取り込み及びガバナンスルールのためのデータの指定を可能にすることによって、非技術的ユーザによる選択的取り込みを容易にする。

【0066】

図２Ａを参照すると、システム１０は、データ取り込みシステム１２、ソースシステム１４、クライアントデバイス２６、及び記憶システム２３を含む。この例では、図１に関して説明した無限サイクルは存在しない。むしろ、システム１０は、以下のように、効率的且つ確実にデータを取り込む。したがって、別個のビジネスユーザ及びテスタを必要としない。システム１０の効率のために、ビジネスユーザ及びテスタは、ビジネスユーザ／テスタ１３に結合される。更に、システム１０は、信頼性があり、正確であり、ビジネスルールを生成するための専用テスタ及び技術スタッフの必要性をなくす。実際、このシステムはもはや技術スタッフ１５に依存しない。

【0067】

一般に、データ取り込みシステム１２は、データ取り込みを実行するデータ処理システムである。データ取り込みシステム１２は、ハーベスティングエンジン１８、リンケージエンジン２４、及び標準化エンジン２６を含む。ハーベスティングエンジン１８は、ソースシステム１４から技術的メタデータ２２を読み取るか、又は他の方法で受信し、技術的メタデータ２２をリンケージエンジン２４に渡す。コンテキストメタデータ２０は、（例えば、ユーザによって）クライアントデバイス２６に入力され、クライアントデバイス２６は、コンテキストメタデータ２０をデータ取り込みシステム１２のリンケージエンジン２４に送信する。リンケージエンジン２４は、技術的メタデータ２２及びコンテキストメタデータ２０を受信し、技術的メタデータ２２の項目とコンテキストメタデータ２０の項目との間の関係又はリンクを（例えば、セマンティック発見を通じて）識別するためのプログラム命令及び／又は実行可能論理を含む。一般に、リンク（本明細書ではリンケージとも呼ばれる）は、例えばデータ項目間の関係を指定する値を有するデータ記憶システムに記憶されたデータ構造によって表される。ポインタはリンクの一例である。この例では、標準化エンジン２６は、ソースシステム１４から取り出されたデータ（例えば、データセット又はデータレコード）に対してデータ取り込みを実行する。リンケージエンジン２４から出力されたリンクを使用して、標準化エンジン２６は、リンク内で参照されるコンテキストメタデータに関連付けられたガバナンスルールを識別し、ソースシステム１４から取り出されたデータの取り込みの前にそれらのガバナンスルールを適用し、データは、１つ以上の構造化データレコードを含むことができるが、他のデータフォーマット（例えば、フラットファイル、スプレッドシートファイルなど）をいくつかの実装形態で使用することができる。

【0068】

図２Ｂを参照すると、ハーベスティングエンジン１８は、ソースシステム１４からデータセット３４ａ～３４ｃの技術的メタデータ２２を取り出す。ハーベスティングエンジンはまた、他のソースデータセット、例えば、データセット３７に対する他の技術的メタデータ２１を取り出す。例えば、ソースシステム１４は、それが含むデータ（例えば、データセット１４ａ～１４ｃ）の技術的メタデータを記憶することができ、技術的メタデータ２２をデータ取り込みシステム１２のハーベスティングエンジン１８に送信することができる。いくつかの例では、ソースシステム１４及び／又はハーベスティングエンジン１８は、データセット３４ａ～３４ｃのフォーマット及び／又は他の技術的メタデータ２２を発見するために、発見プロセス（例えば、レコードフォーマット発見）を実行することができる。そのような発見プロセスの例は、「Ｍａｎａｇｉｎｇ ｒｅｃｏｒｄ ｆｏｒｍａｔ ｉｎｆｏｒｍａｔｉｏｎ」と題された米国特許出願第１２／２０６５，０２０６号に説明されており、その全内容は、参照することによって本明細書に組み込まれる。次に、ハーベスティングエンジン１８は、技術的メタデータ２２をリンケージエンジン２４に送信する。

【0069】

クライアントデバイス１６は、コンテキストメタデータ２０をリンケージエンジン２４に送信する。この例では、ビジネスユーザ／テスタが、ＧＵＩなどを介して、コンテキストメタデータ２０をクライアントデバイス１６に入力する。前述したように、コンテキストメタデータ２０は、ユーザ指定のメタデータ（ユーザ定義名など）及び／又は対応する技術的メタデータ２２に特定の意味（例えば、ビジネスの意味又は素人の意味）を提供する他のメタデータを含む。リンケージエンジン２４は、技術的メタデータ２２及びコンテキストメタデータ２０を分析及び解析して、メタデータ項目間のリンク２３（又は関連付け２３若しくはリンケージ２３）を識別する。これらのリンケージは、データからセマンティックな意味を識別するためにデータがプロファイリングされるプロセスであるセマンティック発見を通じて識別される。データのセマンティックな意味が識別されると、セマンティックな意味及びコンテキストメタデータの類似性又は同一性を識別することができる。

【0070】

好ましくは、リンク２３は、技術的メタデータ２２とコンテキストメタデータ２０との間の関係を指定するか、又は他の方法で表すインデックスなどのデータ構造として存在する。例えば、リンク２３は、技術的メタデータ２２のどの項目がコンテキストメタデータ２０の項目に対応するか、又はそうでなければマッピングするかを指定することができる。例えば、リンケージエンジン２４は、技術的メタデータ２２及び／又はコンテキストメタデータ２０に対してセマンティック発見を自動的に実行して、技術的メタデータ２２の項目とコンテキストメタデータ２０の項目との間の関係又はリンケージを識別する。例えば、リンケージエンジン２４は、技術的メタデータ２２を（単独で、又は技術的メタデータ２２に関連付けられた実際のデータセット３４ａ～３４ｃのサンプルと組み合わせて）処理して、技術的メタデータ２２の各項目についてのセマンティックな意味を識別することができる。次いで、リンケージエンジン２４は、技術的メタデータ２２の各項目について識別された意味及び／又は他の情報をコンテキストメタデータ２０と比較して、メタデータ項目間のリンク２３を識別することができる。データ処理システムが着信データセットを処理しているとき、データ処理システムは、データセット内のフィールドの値にアクセスして、値がどのように処理されるか、すなわち、どのガバナンスルールによって値が処理されるかを決定する必要はない。むしろ、データ処理システムは、単にインデックス内のリンク２３にアクセスし、その後、データを処理するためのガバナンスルール（例えば、データ品質ルール、ＰＩＩルールなど）にアクセスすることができる。したがって、データ処理システムは、フィールドの値を処理するための適切なガバナンスルールを選択しているので、データ処理システムは、データセットをより効率的に処理することができる。これは、コンピューティングリソースの消費を低減する。

【0071】

この例では、ソースシステム１４は、データ内容３５を含むソースデータセット３４ａをハーベスティングエンジン１８に送信する。この例では、内容３５は、列３５ａ～３５ｃ及び行３５ｄ～３５ｇを有するテーブルを含む。列３５ａ及び行３５ｄによって定義されるセルは、社会保障フィールドのフィールド名である。列３５ｋ及び行３５ｄ～３５ｇによって定義されるセルの内容は、ソースシステム１４に記憶された実際の社会保障番号である。この例では、社会保障フィールド名は「Ｓ５２３」である。この例では、社会保障フィールド名は非常に技術的であり、更なるコンテキストがない非技術的ユーザには意味がない。列３５ｂ及び行３５ｄによって定義されるセルは、名フィールドであり、列３５ｂ及び行３５ｄ～３５ｇによって定義されるセルの内容は、ソースシステム１４に記憶された実際の名の文字列である。この例では、名フィールドの名前は「Ｆ１３７」である。社会保障フィールド名と同様に、名フィールド名も、ビジネス又は非技術的ユーザにとって意味がない。データセット１４の行３５ｅは、姓を提供する。このフィールドの名前は、列３５ｃ及び行３５ｄによって定義されるセルに示されるように、「Ｌ２４３」である。他のフィールド名と同様に、このフィールド名も特に意味を持たない。この最後の姓フィールドの内容は、列３５ｅから行３５ｄ～３５ｇによって定義されるセルによって示される。

【0072】

ハーベスティングエンジン１８は、ソースデータセット３４ａの技術的メタデータ２２を発見するために発見プロセスを実行する。いくつかの例では、ソースシステム１４は、データセット３４ａに関する技術的メタデータ（例えば、レコードフォーマット、アクセスパラメータなど）を記憶し、ハーベスティングエンジン１８は、入力としてソースシステム１４から技術的メタデータ２２を受信する。いくつかの例では、ハーベスティングエンジン１８は、データセット３４ａのデータのサンプル（例えば、内容３５又はその一部）を受信し、データセット３４ａのフォーマット及び／又は他の技術的メタデータ２２を決定するためにデータを分析する。例えば、ハーベスティングエンジン１８は、サンプルデータを解析又は他の方法で分析して、データセット３４ａに関する他の技術的メタデータ２２の中でも、文字セット、レコードフォーマットタイプ、レコードフォーマット自体、又はそれらの組み合わせを決定することができる。いくつかの例では、ハーベスティングエンジン１８は、技術的メタデータ２２を検証するために、データセット３４ａについて決定された技術的メタデータ２２を、ソースシステム１４から受信された技術的メタデータと比較することができる。いくつかの例では、ハーベスティングエンジン１４は、検証及び／又は調整のために、決定されたレコードフォーマット（又は他の技術的メタデータ２２）をユーザに提示することができる。

【0073】

発見プロセスに基づいて、ハーベスティングエンジン１８は、技術的メタデータ２２を構成する技術的メタデータの複数の項目２２ａ～２２ｃを生成する。この例では、項目２２２ａは、データセット３４ａの列３５ａ、行３５ｄによって定義されるセルによって指定されるフィールド名（例えば、「Ｓ５２３」フィールド名）を表す。項目２２ａはまた、この例では「１０進数」データ型である、そのフィールドのデータ型を表す。項目２２２ｂは、データセット３４ａの列３５ｂ、行３５ｄによって定義されるセルによって指定されるフィールド名（例えば、「Ｆ１３７」フィールド名）を表す。項目２２ｂはまた、そのフィールドのデータ型を表す。この例では、項目２２２ｂのデータ型は「文字列」データ型である。項目２２２ｃは、データセット３４ａの列３５ｃ、行３５ｄによって定義されるセルによって指定されるフィールド名（例えば、「Ｌ２４３」フィールド名）を表す。項目２２ｂはまた、そのフィールドのデータ型を表す。この例では、データ型は「文字列」データ型である。ハーベスティングエンジン１８は、技術的メタデータ２２をリンケージエンジン２４に送信する。

【0074】

この例では、コンテキストメタデータ２０は項目２０ａ～２０ｄを含む。項目２０ａは、「ＳＳＮ」の値を含む。項目２０ｂは、「名」の値を含む。項目２０ｃは、「姓」の値を含む。項目２０ｄは、生年月日（「ＤＯＢ」）の値を含む。いくつかの例では、コンテキストメタデータ２０の項目２０ａ～２０ｄの各々は、クライアントデバイス１６のユーザによって指定される。例えば、クライアントデバイス１６のユーザは、コンテキストメタデータ２０の項目２０ａ～２０ｄを（例えば、ＧＵＩを介して）指定して、ビジネス又は素人の用語で、システム１０によって取り込まれる（又は取り込みのために利用可能にされる）べきデータを示すことができる。ユーザ１３は、以下で詳細に説明するように、ガバナンスルールを定義するためにコンテキストメタデータ２０を使用することもできる。

【0075】

本明細書で説明するように、リンケージエンジン２４は、技術的メタデータ２２の項目２２ａ～２２ｃとコンテキストメタデータ２０の項目２０ａ～２０ｃとの間のリンクを生成する。いくつかの例では、リンケージエンジン２４は、技術的メタデータ２２のどの項目２２ａ～２２ｃがコンテキストメタデータ２０の項目２０ａ～２０ｄに対応するかを識別するために、セマンティック発見プロセスを実行する。例えば、リンケージエンジン２４は、技術的メタデータ２２の項目２２ａ～２２ｃ（例えば、フィールド名、データ型、データセット名など）、及び／又は技術的メタデータ２２の項目２２ａ～２２２ｃに関連付けられた実際のデータのサンプル（例えば、データセット３４ａの内容３５）を処理して、技術的メタデータ２２の項目２２ａ～２２ｃによって表されるフィールドのセマンティックな意味を識別することができる。そうするために、リンケージエンジン２４は、１つ以上の分類器を実行して、技術的メタデータ２２の項目２２ａ～２２ｃによって表される各フィールドのラベルを識別することができる。いくつかの例では、ラベルは、コンテキストメタデータ２０の項目２０ａ～２０ｄから選択することができ、それによって、技術的メタデータ２２の項目２２ａ～２２ｃをコンテキストメタデータ項目２０ａ～２０ｄとマッチングする。他の例では、ラベルは、ラベルの辞書から選択することができ、確証プロセスを使用して、技術的メタデータ項目２２ａ～２２ｃに割り当てられたラベルをコンテキストメタデータ２０の項目２０ａ～２０ｄ（又はコンテキストメタデータ２０の項目２０ａ～２０ｄに関連付けられたラベル）に関連付けることができる。

【0076】

一般に、リンケージエンジン２４は、技術的メタデータ項目２２ａ～２２ｃ及び／又は技術的メタデータ２２の項目２２ａ～２２ｃによって表されるフィールドの値に対して１つ以上の分類子を実行して、フィールドにどのようにラベル付けするかを決定することができる。分類器の例は、とりわけ、キーワードマッチング、ファジーマッチング、パターンマッチング、フィンガープリンティング、又はそれらの組み合わせを含むことができる。いくつかの例では、リンケージエンジン２４は、フィールド名（例えば、技術的メタデータ２２の項目２２ａ～２２２ｃによって指定されたフィールド名）をラベル（例えば、コンテキストメタデータ２０の項目２０ａ～２０ｄによって指定されたラベル、又はラベルの辞書からの別のラベル）とマッチングするためのロジック又は他のプロセスを実行することによって、キーワードマッチングを実行する。例えば、リンケージエンジン２４が、フィールド名「姓」を含む技術的メタデータ２２の項目２２ａ～２２ｃを受信した場合、リンケージエンジン２４は、コンテキストメタデータ２０内にマッチングする項目２０ａ～２０ｄ（例えば、ラベル）があるかどうかをチェックすることができる。マッチングがある場合、リンケージエンジン２４は、技術的メタデータ２２の項目とコンテキストメタデータ２０の項目との間のリンクを生成することができる。他のマッチング戦略は、ファジー論理、シノニム、又は正確なマッチよりも少ないマッチを識別するための他のプロセスを使用するマッチングを含むことができる。例えば、２つの名前の間にファジーマッチとして適格であるのに十分なレベルの類似性があると決定された場合、リンケージエンジン２４は、技術的メタデータ２２の項目２２ａ～２２ｃによって指定されたフィールド「ｌ＿ｎａｍｅ」を、コンテキストメタデータ項目２０ａ～２０ｄによって指定されたラベル「姓」に関連付けることができる。

【0077】

いくつかの例では、リンケージエンジン２４は、マッチングを識別するために、フィールド名（又は他の技術的メタデータ）に加えて、又はその代わりに、技術的メタデータ２２の項目２２ａ～２２ｃに関連付けられたデータ値を評価することができる。例えば、リンケージエンジン２４は、「ｓｔ」、「ｌｎ」、「ａｖｅ」、「ｐｌ」、「ｃｔ」などの通り名の異なる略語を含むラベル「通り名」を（例えば、コンテキストメタデータ２０から）受信することができる。次いで、リンケージエンジン２４は、それらの略語のいずれかが、技術的メタデータ２２の項目２２ａ～２２ｃによって表されるフィールド内のフィールド名及び／又はデータ内に含まれているかどうかを決定するためのチェックを実行することができる。略語のうちの１つ以上が、フィールド名及び／又は技術的メタデータ項目によって表されるフィールド内のデータに含まれる場合、リンケージエンジン２４は、技術的メタデータのその項目と「通り名」ラベルに関連付けられたコンテキストメタデータ項目との間のマッチング（又はマッチングの確率）を識別することができる。他の技術的メタデータ２２（例えば、データ型）及び／又はコンテキストメタデータ２０も、マッチングを識別するために使用することができる。

【0078】

いくつかの例では、リンケージエンジン２４は、パターンマッチングを使用して、技術的メタデータとコンテキストメタデータとの間のリンケージを識別することができる。使用されるパターンマッチングのタイプは、技術的メタデータ２２において指定されたデータ型に基づいて決定することができる。例えば、リンケージエンジン２４は、技術的メタデータ２２の項目２２ａ～２２ｃが数値データ（データフィールド内の桁数を更に示すことができる）を有するフィールドを表すと決定することができる。この例では、リンケージエンジン２４は、フィールドのデータに対して１つ以上のパターンテストを実行して、フィールドが例えば社会保障番号を表すかどうかを決定することができる。例えば、リンケージエンジン２４は、フィールドのためのデータのサンプルを処理して、それがパターン＃＃＃－＃＃－＃＃＃（デリミタの変動を伴う）に従うかどうかを決定することができる。同様に、リンケージエンジン２４は、データを社会保障番号の既知の特徴（例えば、９桁）又は例（例えば、既知の社会保障番号リスト）と比較することによって、フィールドのデータが、例えば、社会保障番号の特定のフィンガープリントを含むかどうかをチェックすることができる。この分析に基づいて、リンケージエンジン２４は、フィールドが社会保障番号フィールドであるかどうかを決定することができ、技術的メタデータ２２の対応する項目２２ａ～２２２ｃを、ラベル「ＳＳＮ」に関連付けられたコンテキストメタデータ２０の項目２０ａ～２０ｄとリンクすることができる。

【0079】

いくつかの例では、リンケージエンジン２４は、異なる分類器からの結果を比較又は組み合わせて、技術的メタデータとコンテキストメタデータとの間の適切なリンクを生成することができる。例えば、分類器の各々は、分析される技術的メタデータ２２の項目２２ａ～２２ｃに対して１つ以上の提案されるラベルを出力することができる。提案された各ラベルは、スコア及び／又は重み値と関連付けることができる。各ラベルのスコア及び／又は重みは、フィールドのセマンティックな意味を識別するものとして特定のラベル（例えば、コンテキストメタデータ２０の特定の項目２０ａ～２０ｄ）を提案するためにリンケージエンジン２４によって使用されることができ、それに応じてリンクを生成することができる。いくつかの例では、リンケージエンジン２４は、前のデータセット（例えば、特定のソースから）又は同じデータセットの前の反復の分類が記憶され、後続の反復のためにどの分類子が選択されるか、及びそれらの後続の反復の確率値がどのように決定されるかに影響を及ぼす機械学習ロジックを実行することができる。機械学習論理は、データセット上で訓練され、訓練データを使用して開発された重みを適用して、データセットの新しいデータを分類し得る。いくつかの例では、分類結果を閾値レベルの確実性で確証することができない場合、リンケージエンジン２４は、（例えば、クライアントデバイス１６の）ユーザに、ラベルを手動で検証し、且つ／又は技術的メタデータとコンテキストメタデータとの間のリンクを識別するように促すことができる。このようにして、リンケージエンジンは、単一の分類器に依存するプロセスに対して、セマンティック発見及びリンケージプロセスの精度を改善することができる。

【0080】

特に、セマンティック発見を実行した結果に基づいて、リンケージエンジン２４は、技術的メタデータ２２とコンテキストメタデータ２０との間のリンク４８ａを生成する。リンク４８ａは、技術的メタデータ２２とコンテキストメタデータ２０との間のセマンティックな意味関係の存在を指定する。一般に、セマンティックな意味関係は、あるデータ項目が別のデータ項目にセマンティックな意味を提供することを指定する。リンク４８ｂ、４８ｃ、４８ｄは、それぞれ、技術的メタデータ２２の項目２２ａ～２２ｃとコンテキストメタデータ２０の項目２０ａ～２０ｃとの間のセマンティックな意味関係を指定する。特に、リンク４８ｂは、コンテキストメタデータ２０の項目２０ａが技術的メタデータ２２の項目２２ａに対してセマンティックな意味を提供することを指定する。リンク４８ｃは、コンテキストメタデータ２０の項目２０ｂが、技術的メタデータ２２の項目２２ｂに対するセマンティックな意味を提供することを指定する。リンク４８ｄは、コンテキストメタデータ２０の項目２０ｃが、技術的メタデータ２２の項目２２ｃに対するセマンティックな意味を提供することを指定する。リンク４８ａ～４８ｄの各々は、対応する技術的メタデータ及びコンテキストメタデータと関連付けて記憶システムに記憶することができる。いくつかの例では、技術的メタデータ２２及びコンテキストメタデータ２０の各々（並びにそれらの対応する項目２２ａ～２２ｃ、２０ａ～２０ｃ）は、データ構造のオブジェクト又は要素として表され、リンク４８ａ～４８ｄの各々は、対応するメタデータとメタデータ項目との間のポインタとして表される。

【0081】

リンケージエンジンの機能の別の例を以下に提供する。この例では、リンケージエンジン２４は、コンテキストメタデータ項目２０ａ～２０ｄとも呼ばれるコンテキストメタデータ２０ａ～２０ｄにアクセスし、且つ／又はそれを記憶する。リンケージエンジンはまた、本明細書で説明されるように、メタデータ又はメタデータによって表されるデータに対してセマンティック発見を実行するためのセマンティック発見エンジン（図示せず）を含む。

【0082】

ソースシステム１４は、ソースデータセット３４ａ～３４ｃのうちの１つをハーベスティングエンジン１８に送信する。送信されたデータセット３４ａの内容は、データセット３４ａの内容３５として前に参照されたテーブル３５に示されている。

【0083】

一例では、ハーベスティングエンジン１８は、ソースデータセット３４ａの内容を表すテーブル３５を受信し、本明細書で説明するように、そのテーブル３５の内容に対してデータフォーマット発見を実行する。これに応じて、ハーベスティングエンジン１８は、技術的メタデータ２２をリンケージエンジン２４に出力する。この例では、技術的メタデータ２２は、項目２２ａ～３３ｂを含む。技術的メタデータ項目２２ａは、テーブル３５に示す社会保障フィールド「Ｓ５２３」のフィールド名及びデータ型を表す。技術的メタデータ項目２２ｂは、テーブル３５に示す名フィールド「Ｆ１３７」のフィールド名及びデータ型を表す。技術的メタデータ項目２２ｃは、テーブル３５に示される姓フィールド「Ｌ２４３」のフィールド名及びデータ型を表す。この例では、リンケージエンジン２４は、セマンティック発見を実行するセマンティック発見エンジンを含む。セマンティック発見エンジンは、入力として、技術的メタデータ２２及びコンテキストメタデータ２０を受信する。セマンティック発見エンジンは、技術的メタデータ２２の項目についてのセマンティックな意味を決定するために、本明細書で説明されるように、受信されたメタデータを処理する。例えば、技術的メタデータ２２の項目２２ａを受信すると、セマンティック発見エンジンは、項目２２ａ及び／又は項目２２ａが表すフィールドの実際のデータのサンプルを処理して、メタデータ項目２２ａのセマンティックな意味（項目２２ａが表すフィールドのセマンティックな意味と同じであり得る）を決定する。この例では、技術的メタデータ２２の項目２２ａは、１０進数データ型を有する「Ｓ５２３」という名前のフィールドを表す。このフィールド名は技術的且つ非記述的であるので、セマンティック発見エンジンは、エンジンがフィールドに対する既存の（例えば、記憶された）ラベルを認識していない限り、セマンティックな意味を決定するためにフィールド「Ｓ５２３」に関連付けられたデータを考慮し得る。例えば、セマンティック発見エンジンは、（例えば、技術的メタデータ２２に含まれるアクセスパラメータを使用して）テーブル３５からフィールド「Ｓ５２３」のデータのサンプルにアクセスすることができる。一旦アクセスされると、セマンティック発見エンジンは、メタデータ２２の項目２２ａに対する１つ以上のラベルを識別するために、１つ以上の分類器を使用してデータを処理することができる。いくつかの例では、ラベルは、コンテキストメタデータ２０ａ～２０ｄの項目から選択される。例えば、セマンティック発見エンジンは、データに対してパターンマッチング技法を実行して、データが一般的に、社会保障番号を示すパターン＃＃＃－＃＃－＃＃＃＃に従うことを決定することができる。この分析に基づいて、セマンティック発見エンジンは、コンテキストメタデータ２０ａ～２０ｄの項目からラベル「ＳＳＮ」を、技術的メタデータ２２の項目２２ａのセマンティックな意味として選択することができる。

【0084】

いくつかの例では、セマンティック発見エンジンは、技術的メタデータ２２の項目２２ａに対するラベルを選択するときに、コンテキストメタデータ２０ａ～２０ｄに含まれるラベルに限定されない。この例では、セマンティック発見エンジン（又はリンケージエンジン２４）は、マッチングプロセスを実行して、技術的メタデータ２２の項目２２ａに割り当てられたラベルをコンテキストメタデータ２０ａ～２０ｄの項目とマッチングすることができる。いくつかの例では、セマンティック発見エンジンは、コンテキストメタデータ２０ａ～２０ｄの項目に対してセマンティック発見プロセスを実行して、技術的メタデータ項目についてのラベルとマッチングさせることができるコンテキストメタデータ２０ａ～２０ｄの項目についての１つ以上のラベルを識別する。いくつかの例では、セマンティック発見エンジンは、ユーザに（例えば、グラフィカルユーザインターフェースを介して）メタデータ項目に対するラベルを選択、調整、又は検証するように促す。

【0085】

セマンティック発見エンジンは、同様のセマンティック発見プロセスを実行して、他のメタデータ項目のセマンティックな意味を発見することができる。セマンティック発見エンジンは、技術的メタデータ２２の項目２２ｂを処理して、それらが名フィールドを表すことを決定することができる。例えば、セマンティック発見エンジンは、例えば、データを名の既知のリストと比較して、項目が名フィールドを表すことを決定することによって、技術的メタデータのそれぞれの項目に関連付けられたデータのサンプルを処理することができる。この分析に基づいて、セマンティック発見エンジンは、技術的メタデータ２２の項目２２ｂに対するセマンティックな意味として、ラベル「名」（例えば、コンテキストメタデータ２０ａ～２０ｄの項目から）を選択することができる。セマンティック発見エンジンはまた、技術的メタデータ２２の項目２２ｃを同様に処理して、それが姓フィールドを表すことを決定することができる。例えば、セマンティック発見エンジンは、技術的メタデータのそれぞれの項目に関連付けられたデータのサンプルを、例えば、データを姓の既知のリストと比較することによって処理して、項目が姓フィールドを表すことを決定することができる。この分析に基づいて、セマンティック発見エンジンは、技術的メタデータ２２の項目２２ｃに対するセマンティックな意味として、ラベル「姓」（例えば、コンテキストメタデータ２０ａ～２０ｄの項目から）を選択することができる。リンケージ２３を生成した後、リンケージエンジン２４は、リンケージ２３を標準化エンジン２６に送信し、標準化エンジン２６は、リンケージ２３をメタデータと組み合わせて使用して、取り込みを駆動する。

【0086】

図２Ｃを参照すると、システム１０は、ガバナンスルールの仕様及び生成を提供する。この例では、クライアントデバイス１６は、ペイン３０及び部分３４を有するグラフィカルユーザインターフェース（ＧＵＩ）２７をレンダリングする。ペイン３０は、コンテキストメタデータ、例えば、リンケージ２３を生成する際に使用されるコンテキストメタデータによって指定される名前を表示する。この例では、ペイン３０内に表示されるコンテキストメタデータは、コンテキストメタデータ２０ａ～２０ｄに対応する。部分３４は、ガバナンスルールを定義するために、テーブル形式などの入力部分を表示する。このテーブル内のセルは編集可能であり、ユーザが値及び／又はデータを入力してガバナンスルールを定義することを可能にする。この例では、ガバナンスルールは、行３２ａに示すように、ＰＩＩルールを含む。一般に、ＰＩＩルールは、ＰＩＩの項目と、検出時にそのＰＩＩを暗号化、トークン化、又は他の方法で難読化するためのルールとを指定する。この例では、行３２ａに示されるルールは、社会保障番号データ（ＰＩＩの一例）が検出時にトークン化される（値／フォーマットフィールド内の「レベル１」によって表される）ことを指定する。行３２ｂは、社会保障番号データの正しいフォーマットを指定し、不正フォーマットが検出された場合にデータを否認すべきであることを示すデータ品質ルールを示す。この例では、データが否認されるとき、データは取り込まれない。部分３４に示されるテーブルが完成すると、ユーザは、クライアントデバイス１６に、部分３４に入力されたルールを指定するデータをデータ取り込みシステム１２に送信させるコントロール３０ａを選択する。この送信されたデータは、ガバナンスルール２５と呼ばれる。

【0087】

ここで、ガバナンスルール２５の内容について説明する。この例では、ガバナンスルール２５は、行２５ｂ～２５ｃ及び３２ａ、３２ｂを有するテーブル２５ａを含む。各行は、特定のルールを指定する。具体的には、行２５ｂは、取り込まれたデータが１年間保持されることを指定する保持ポリシーを含む。行２５ｃは、データが毎日取り込まれることを指定する取り込み頻度ルールを含む。行３２ａは、ＰＩＩルールを含む。行３２ｂは、データ品質ルール１を含む。

【0088】

この例では、標準化エンジン２６は、図示されていないが、例えば、ローゾーン及びクレンジング済みゾーンを含む様々なゾーンを有する。一般に、ローゾーンは、データをそのロー形式で（例えば、取り込み前に）記憶するための記憶システム（例えば、標準化エンジン２６の内部にある、又は標準化エンジン２６と通信するように構成された専用データリポジトリ又は他のハードウェア記憶デバイス）の一部である。一般に、クレンジング済みゾーンは、例えば、ＰＩＩ情報がトークン化、暗号化、又は他の方法で難読化され、データ品質ルールが適用されたデータを記憶するための記憶システム（ローゾーンの記憶システムと同じであっても異なっていてもよい）の別の部分である。いくつかの例では、標準化エンジン２６は、異なる目的を果たすより少ない又は追加のゾーンを含むことができる。

【0089】

図２Ｄを参照すると、標準化エンジン２６は、データセット３５、３７を受信し、その各々は、クレンジングされておらず、適合されておらず、管理されていない。これらのデータセットは、異なるフィールドなどを有する点で異なる。データセット３５は、社会保障フィールド、名、及び姓をそれぞれ表す列３５ａ～３５ｃを含む。データセット３７は、社会保障番号、姓、及び生年月日を表す列３７ａ、３７ｂ、３７ｃを含む。この例では、標準化エンジン２６は、社会保障番号がデータレコードを一意に識別するキーであることを識別する。いくつかの例では、標準化エンジン２６は、キーのデータ構造（例えば、フォーマット及び／又はデータ型）を指定するデータで事前にプログラムされる。この例では、標準化エンジン２６は、例えば、標準化エンジン２６が、いつデータが社会保障番号であり、したがってキーであるかを識別することを可能にするために、社会保障番号の構造及びフォーマットを指定するデータで事前にプログラムされる。すなわち、データセット３５、３７の各々は、キー付きデータセット、例えば、データを一意に識別し、したがってキーとして働くフィールドに関連付けられた構造化データである。標準化エンジン２６は、同じキーに関連付けられたデータが一緒に結合されることを意味するキー上でデータセットを結合する。この例では、標準化エンジン２６は、データセット３５内の行３５ｄのキー値（例えば、社会保障番号０５０－３０－３４２１）がデータセット３７内の行３７ｄのキー値（例えば、社会保障番号２４５－２３－３５３１）とマッチングすることを識別する。マッチングキーに基づいて、標準化エンジン２６は、以下で更に詳細に説明するように、行３５ｄ、３７ｄの内容を組み合わせ、リンケージ２３を使用して、行３５ｄ、３７ｄの組み合わされた内容にどのガバナンスルールを適用すべきかを識別し、ルールを適用して、標準化データセット３９の行３９ｈに示されるように、社会保障番号に結合される管理され、クレンジングされ、適合されたデータを生成する。データセット３９は、列３５ａ、３７ａの内容の管理された（例えばトークン化された）バージョンに対応する列３９ｄを含む。データセット３９は、列３５ｂの内容の管理されたバージョンに対応する列３９ｅを含む。データセット３９は、列３７ｂの内容の管理されたバージョンに対応する列３９ｆを含む。データセット３９は、列３７ｃの内容の管理されたバージョンに対応する列３９ｇを含む。

【0090】

図３を参照すると、システム１０は、メタデータ駆動型取り込みの一例を示す。データセット３４ａは、標準化エンジン２６に送信されるか、そうでなければ標準化エンジン２６によってアクセスされる。受信されると、標準化エンジン２６は、データセット３４ａをローゾーンに記憶する。この例では、記憶されたデータセット３４ａは、ローデータと、データセットが取り込まれた時間を示すタイムスタンプとを含む。標準化エンジン２６は、リンケージ２３及びガバナンスルール２５を記憶する。データセット３４ａの受信に応じて、標準化エンジン２６は、どのガバナンスルール２５をデータセット３４ａに適用すべきかを識別する。特に、標準化エンジン２６は、データセット３４ａを分析して、データセット３４ａに含まれるフィールド名（又は他のメタデータ）を識別する。次に、標準化エンジン２６は、識別されたフィールド名をリンケージ２３と比較して、識別されたフィールド名とリンケージ２３に含まれる技術的メタデータ項目との間のマッチングを識別する。標準化エンジン２６は、リンク２３を使用して、技術的メタデータの識別された項目とリンクされたコンテキストメタデータ項目（ユーザ定義名など）を識別する。標準化エンジン２６は、ガバナンスルール２５を解析して、どのガバナンスルール２５がコンテキストメタデータの識別された項目を参照するかを識別する。識別されたガバナンスルール２５について、標準化エンジン２６は、データセット３４ａ内の適切なデータ（例えば、ガバナンスルールによって参照されるコンテキストメタデータ項目にリンクされる技術的メタデータの識別された項目によって表されるフィールド内のデータ）に対してそれらのガバナンスルール２５を実行するタスクを生成する。ガバナンスタスクの実行の出力はデータセット３９であり、これは、ガバナンスルール２５に従ってクレンジングされているか、さもなければ管理されている。例えば、データセット３９のセル３９ａ、３９ｃに示されるように、社会保障番号フィールドに関連付けられた全てのＰＩＩ情報は、（例えば、テーブル２５ａの行３２ａに示されるＰＩＩルールに従って）トークン化されている。加えて、データセット３９のセル３９ｂに示されるように、社会保障番号フィールド内の値のうちの１つは、ガバナンスルール２５に含まれるデータ品質ルール（例えば、行３２に示されるルール）に失敗している。したがって、セル３９ｂに含まれるデータ値、又はセル３９ｂを含む行又はレコード全体は、取り込みの前に除去される。

【0091】

この例では、標準化エンジン２６は、データセット又はデータレコードから、データセット（又はデータレコード）の技術的メタデータ（及びフィールドの関連内容）の１つ以上の項目を識別する技術的メタデータ識別プロセスを実行する。例えば、データセット３４ａに対して、プロセスは、セル３５ｚ内のフィールド名「Ｓ５２３」が技術的メタデータ項目を表すことを、例えば、データセット３４ａに含まれる技術的メタデータにアクセスすることによって、又はそうでなければ、データセット３４ａに含まれるフィールド名を分析することによって識別する。プロセスはまた、セル３５ｗ～３５ｙがフィールド名「Ｓ５２３」を有するフィールドの値を表すことを識別する。すなわち、プロセスは、セル３５ｚがフィールドの名前に対応する技術的メタデータを表し、セル３５ｗ～３５ｙがセル３５ｚに示される技術的メタデータによって表されるフィールドの値を表すことを識別する。標準化エンジン２６は、セル３５ｚに含まれるフィールド名を使用して、コンテキストメタデータのどの項目がセル３５ｚ内で表される技術的メタデータにリンクされているかを識別する。標準化エンジン２６は、コンテキストメタデータ２０（図２Ａ）の項目２０ａがセル３５ｚ内に示される技術的メタデータの値に対応することを識別する。技術的メタデータ２２（図２Ａ）の項目２２ａは、セル３５ｚに示される技術的メタデータの値に対応する。これに基づいて、標準化エンジン２６は、技術的メタデータ２２の項目２２ａがリンク２３ｄを介してコンテキストメタデータ２０の項目２０ａにリンクされていることを識別する。この例では、リンク２３ｄは、データ構造間の関連付け又は参照である。したがって、標準化エンジン２６は、セル３５ｚに示され、項目２２ａに対応する技術的メタデータがコンテキストメタデータ２０ａの項目にマッピングされることを識別する。コンテキストメタデータ２０ａの項目を識別すると、標準化エンジンは、どのガバナンスルール２５がコンテキストメタデータ２０ａの項目を参照し、したがって、セル３５ｗ～３５ｙの内容に対して実行されるべきかを識別する。標準化エンジン２６は、行３２ａ、３２ｂに表されるルール（本明細書ではルール３２ａ、３２ｂとも呼ばれる）がそれらの仕様にコンテキストメタデータ２０ａの項目を含むことを識別し、セル３５ｗ～３５ｙ内の値に対してこれらのルール３２ａ、３２ｂを実行する。これらのルールの実行結果は、標準化データセットのセル３９ａ～３９ｃに示されている。

【0092】

同様に、標準化エンジン２６は、ルール３２ａ、３２ｂがソースデータセットに適用されることを識別する。この例では、標準化エンジン２６は、ソースデータセット３７の列３７ａが、コンテキストメタデータ項目２０ａ（コンテキストメタデータ２１ａとも呼ばれる）にリンクされた（又は関連付けられた）技術的メタデータ２１の項目２１ａに対応することを識別する。コンテキストメタデータ２０はルール３２ａ、３２ｂによって参照されるので、標準化エンジン２６は、ルール３２ａ、３２ｂがデータセット３７の列３７ａに適用されることを識別し、ルール３２ａ、３２ｂを列３７ａに適用する。この例では、データセット３５、３７は、標準化データセット３９を生成するために、（例えば、ＰＩＩをトークン化することによって）管理され、クレンジングされ、適合され、（例えば、列３５ｚ、３７ａによって表されるキーフィールド上で）一緒に結合される。データセット３９及び／又はデータセット３９の内容は、宛先記憶システム、例えば記憶システム２８への最終的な取り込みの準備ができている。この例では、標準化エンジン２６は、記憶及びその後の処理のためにデータセット３９を記憶システム２９に送信する。

【0093】

図４Ａを参照すると、システム７０は、グラフィカルユーザインターフェース７２をレンダリングするクライアントデバイス７６を示す。この例では、グラフィカルユーザインターフェース７２は、図２Ｃに示されるグラフィカルユーザインターフェース２７の変形である。この変形例では、コンテキストメタデータの表示された各視覚表現７２ａ～７２ｄは、対応する（例えば、リンクされた）技術的メタデータにおいて指定されたフィールド名を含むように更新されている。これらの視覚表現７２ａ～７２ｄは、本明細書で説明するように、コンテキストメタデータと技術的メタデータとの間の適切なリンケージが識別されると、表示することができる。この例では、グラフィカルユーザインターフェース７２は、例えば、ガバナンスルールをデータレコードに適用したリアルタイム結果を示すことによって、データレコードを処理したリアルタイム結果を表示する。これらの結果は、視覚表現７２ａ～７２ｄに示され、その各々は、処理されている特定のデータレコード内のフィールドに対応する。この例では、ビジネスユーザ／テスタ７８は、部分７５内の各セルが編集可能であるので、結果を閲覧し、ライブ時間を編集し、その結果に基づいて、部分７５に示されているガバナンスルールを編集することができる。ガバナンスルールの適用の結果を閲覧することができることによって、ビジネスユーザ／テスタは、不正な又は意図しない結果を検出し、全てのエラーを訂正するためにガバナンスルールを直ちに更新することができる。それによって、グラフィカルユーザインターフェース７２は、ガバナンスルールの修正及び／又は訂正を通じてシステムの基礎となる機能の訂正を可能にするフィードバックループを提供する。

【0094】

例えば、視覚表現７２ａ ｓｔｏｐは、図３に示されるコンテキストメタデータ２４ａの視覚表現である。視覚表現７２ａは、コンテキストメタデータ２０ａ（図３）の項目にリンクされた技術的メタデータ２２の項目２２ａに関連付けられたセル３５ｗ（図３）の内容に対応する以下のテキスト「０５０－３０－３４２１」を含むように更新される。更に、視覚表現７２ａは、セル３５ｗの内容に対するガバナンスルール２５（図３）の実行結果を指定する。この例では、結果は、社会保障番号のトークン化（例えば、トークン１）である。視覚表現７２ｂ～７２ｃは、それぞれ「名」及び「姓」としてコンテキストメタデータでラベル付けされた２つの他のフィールドに関して処理されているデータレコードの内容を示す。視覚表現７２ｂ～７２ｃはまた、これらのフィールド「ボブ」及び「ジョーンズ」の内容をそれぞれ示す。視覚表現７２ｂ～７２ｃはまた、これらのフィールドに対するガバナンスルール２５の実行の結果を示す。この例では、ガバナンスルール２５の実行は、これらのフィールドの値を変更しない。

【0095】

グラフィカルユーザインターフェース７２は、ガバナンスルール７４を表示し、ガバナンスルール７４は、ＵＳにおいて、生年月日フィールドの適切なＵＳフォーマットを指定する。この例では、ガバナンスルール及びガバナンスルールの視覚表現は、まとめて参照される。視覚表現７２ｄは、生年月日フィールドに関して処理されているデータレコードの内容を示す。この例では、視覚表現は、生年月日フィールドの内容（例えば、「７／１３／２０１０」）を指定し、生年月日フィールド内のデータのフォーマットが、データガバナンスルール７４で指定された必要なフォーマット（例えば、「ＭＭ－ＤＤ－ＹＹＹＹ」）に合格するか、又は対応することを指定する。

【0096】

図４Ｂを参照すると、グラフィカルユーザインターフェース８２は、ガバナンスルール７４（図４Ａ）の変形であるガバナンスルール８４を表示する。ガバナンスルール８４は、欧州データフォーマット規格に従ってデータレコードを処理するためのルールである。したがって、ガバナンスルール８４は、生年月日フィールドについてその欧州データフォーマット（例えば、ＤＤ－ＭＭ－ＹＹＹＹ）を指定する。この例では、図４Ａに示すガバナンスルールで処理されたデータレコードは、図４Ｂに示すガバナンスルールでも処理される。したがって、この例では、データレコードは、このデータレコード内の生年月日フィールドが米国規格に従ってフォーマットされているので、ガバナンスルール８４に失敗する。この失敗を視覚的に表すために、グラフィカルユーザインターフェース８２は、データ発生フィールドの内容が否認された（例えば、「７／１３／２０１０→否認」）ことを指定する視覚表現８２ａを含む。

【0097】

図５Ａを参照すると、システム８０は、本明細書で説明される技法を使用した、Ｔ_１．．．Ｔ_ｎからの期間にわたる連続的なデータセットの処理及び取り込みを示す。図１に示される従来技術のシステム１とは異なり、システム８０は、長期間にわたって大量のデータセットを連続的に取り込み、取り込みのためにクレンジングされ、適合され、管理されたデータを生成することができる。システム８０は、それぞれソースデータセット２１４ａ、２１４ｂ、．．．、２１４ｎを含むソースシステム８２を含む。この例では、リンケージ２３は、データ取り込みプロセスが開始する前であっても、本明細書で説明される技法を使用して識別される。時間間隔Ｔ_１．．．Ｔ_ｎにわたって、ソースシステム８２は、標準化エンジン２６にデータセット２１４ａ、２１４ｂ、．．．、２１４ｎをそれぞれ送信し、各データセットは、複数のデータレコード、データテーブル、及び／又は他の構造化データを含む。

【0098】

図５Ｂを参照すると、システムは、標準化エンジン２６が、時間Ｔ_１．．．Ｔ_ｎにわたって、記憶システム２８への取り込みのためにクレンジングされたか、又は他の方法で管理されたデータセット８２ａ～８２ｎを出力することを示す。この例では、データセット８２ａ～８２ｎは、リンケージ２３及びガバナンスルール２５の適用に基づいて管理される。

【0099】

図６は、メタデータ駆動型データ取り込みのための例示的なプロセス６００のフローチャートを示す。プロセス６００は、図２－５を参照して説明される技術を実装するように構成される１つ以上のコンピューティングシステムを含む、本明細書に説明されるシステム及びコンポーネント（例えば、データ取り込みシステム、又はハーベスティングエンジン、リンケージエンジン、標準化エンジンなどのそのコンポーネント）のうちの１つ以上によって実装されることができる。

【0100】

プロセス６００の動作は、外部データソースからデータセットを取り出すこと（６０２）を含む。例えば、システム１０、又はハーベスティングエンジン１８、リンケージエンジン２４、及び／又は標準化エンジン２６などのそのコンポーネントは、ソースシステム１４から取り込まれる１つ以上のデータセット（例えば、データセット３４ａ～３４ｃなど）を取り出すことができる。データセットが取り出されると、取り出されたデータセット内のフィールドを特徴付ける技術的属性を記述するメタデータ項目が識別される（６０４）。例えば、取り出されたデータセットについて技術的メタデータ（例えば、技術的メタデータ２１ａ～２１ｃ）を識別するために、取り出されたデータセットに対して発見プロセスを実行することができ、技術的メタデータは、取り出されたデータセットの１つ以上のフィールドについてのフィールド名を含む。

【0101】

取り出されたデータセット内のフィールドを記述するための候補であるユーザ定義名が、クライアントデバイスから受信される（６０６）。いくつかの例では、ユーザ定義名は、クライアントデバイス１６のユーザ（例えば、ビジネスユーザ１３）から受信されたコンテキストメタデータ（例えば、コンテキストメタデータ２０）に含まれる。この情報を使用して、１つ以上のメタデータ項目とユーザ定義名のうちの少なくとも１つとの間の関連付けが識別される（６０８）。それに応じて、ユーザ定義名のうちの少なくとも１つを参照する１つ以上のルールがアクセスされる（６１０）。１つ以上のルールは、データＰＩＩルール、データ品質ルール、又はユーザ定義名のうちの少なくとも１つに関連付けられたデータに適用される１つ以上の動作を指定する他のガバナンスルール（例えば、ガバナンスルール２５）を含むことができる。

【0102】

取り出されたデータセットのうちの１つ以上の各々について、プロセス６００の動作は、その取り出されたデータセットにおいて、１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出すること６１２を含む。いくつかの例では、取り出されたデータセットにおいて、１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することは、取り出されたデータセットに含まれる少なくとも１つのフィールド名を識別することと、少なくとも１つのフィールド名をメタデータ項目と比較して、少なくとも１つのフィールド名とメタデータ項目との間のマッチングを識別することと、メタデータ項目を記憶されたリンケージ情報と比較して、メタデータ項目に割り当てられたユーザ定義名を識別することと、ユーザ定義名を含む１つ以上のルールのうちの少なくとも１つを識別することとによって、１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することを含む。検出に応じて、１つ以上のルールのうちの少なくとも１つが、メタデータの検出された項目によって記述される１つ以上のデータ項目に適用される（６１４）。１つ以上のルールのうちの少なくとも１つの適用に続いて、取り出された（及び処理された）データセットは、１つ以上のデータストアの中に記憶される（６１６）。いくつかの例では、データセットは、メタデータ項目、ユーザ定義名、及びそれらの関連付け（例えば、リンケージ）に基づいて生成されたデータフローグラフの実行を通じて、取り出され、処理され、記憶される。このようにして、プロセス６００は、例えば、最小限のユーザ入力で、異なるデータセット内のフィールド間の共通コンテキスト、及びフィールドを記述する可能性があるものとしてユーザが指定した名前をユーザに対して自動的に識別することによって、また、それらの共通コンテキストを使用して、指定されたデータ品質を保証するために記憶前に異なるデータセットを管理することによって、記憶のために指定されたデータ品質を有するデータを準備する速度を増加させる。

【0103】

いくつかの例では、プロセス６００の動作は、少なくとも１つのメタデータ項目のラベルを決定することを含み、ラベルは、少なくとも１つのメタデータ項目のセマンティックな意味を表す。そのようなラベルは、例えば、メタデータ項目及び／又はメタデータ項目によって記述されるデータ項目のサンプルに対して１つ以上のセマンティック発見プロセスを実行することによって決定することができる。少なくとも１つのメタデータ項目のラベルとユーザ定義名との間のマッチングが識別される。いくつかの例では、少なくとも１つのメタデータ項目のラベルは、ユーザ定義名から選択される。マッチングに応じて、少なくとも１つのメタデータ項目とコンテキストメタデータ項目との間のリンク（例えば、リンク２３）が生成される。いくつかの例では、リンクを生成することは、メタデータ項目を表すデータと、ユーザ定義名を表すデータへのポインタとを含む少なくとも１つのデータ構造を生成することを含む（又は、データ構造が、ユーザ定義名を表すデータと、メタデータ項目へのポインタとを含むように、逆も同様である）。

【0104】

いくつかの例では、プロセス６００の動作は、クライアントデバイスにおけるグラフィカルユーザインターフェースの表示を引き起こすことによって、ユーザが１つ以上のルールを定義及びテストすることを可能にし、グラフィカルユーザインターフェースは、ユーザ定義名と、ユーザ定義名のうちの少なくとも１つに関して１つ以上のルールを定義するための入力部分とを含む。グラフィカルユーザインターフェースは、コンテキストメタデータ項目に割り当てられたメタデータ項目のうちの１つ以上の視覚化を表示するように構成され得る。グラフィカルユーザインターフェースの入力部分への入力を表すデータを受信することができ、データは、ユーザ定義名のうちの少なくとも１つに関する１つ以上のルールを定義する。

【0105】

本明細書で説明されるシステムは、取り込みの前に、特定の基準を満たすデータ、データ品質、セキュリティ及び／又は一貫性データの管理を達成する。取り込み前にデータをクレンジングし、適合させ、管理することによって、システムは、データセットを保存し、その後、クリーニングされ、管理され、適合されたバージョンのデータセットを再保存する必要があるためにリソースが消費されないので、性能及び処理能力の向上を達成する。メモリリソースのこの低減は、取り込み前のガバナンスをより計算上効率的にする。加えて、本明細書で説明されるシステムは、メタデータを使用して、どのデータ要素が取り込み前に管理される必要があるか、及びどのデータ要素が取り込み前に否認されるべきか、例えば、データがフォーマット要件に準拠しないために否認されるべきかを識別することによって、データ品質及びデータセキュリティの向上をもたらした。このデータ品質の向上は、例えばフォーマットエラーのために処理することができないデータが記憶されないので、計算効率及びメモリリソースの効率的な使用を更に向上させる。

【0106】

更に、本明細書で説明される技法は、最小限のユーザ入力で、（ｉ）異なるデータセット内のフィールドと、（ｉｉ）ユーザがフィールドを記述する可能性があるものとして指定した名前との間の共通コンテキストをユーザに対して自動的に識別することによって、また、それらの共通コンテキストを使用して、指定されたデータ品質を保証するために記憶前に異なるデータセットを管理することによって、記憶のために指定されたデータ品質を有するデータを準備する速度を増加させる。この例では、共通コンテキストは、同じタイプのデータを指定するフィールド、例えば、社会保障番号がデータのタイプである場合、社会保障番号を指定するフィールドを含む。潜在的に記述されたフィールドとしてユーザが指定した名前の例は、コンテキストメタデータを含む。

【0107】

本明細書で説明される技法を使用して、データ処理システムは、パターンを見つけ、それらのパターンに対して人工知能及び機械学習（ＡＩ／ＭＬ）を活用することによって、データからビジネス価値を決定することができる。データ処理システムは、データが存在する様々な既存のシステムからの共通領域にデータを持ってくることによってそれを行う。その領域から、データ科学者はデータにアクセスし、最終的に彼らのＡＩ／ＭＬモデルを研究し、訓練することができる。これを行うために、データ処理システムは、様々なデータガバナンスタスクを実行して、利用可能なデータのビジネス上の意味を理解し、いくつかのデータ最良のソースであるものを理解し、誰がデータを所有してデータへのアクセスを得るかを知り、データをクレンジングしてそのデータの品質を理解し、データがＰＩＩ又は機密情報を含む場合にはデータをマスクし、データがどこから来ているかを消費者が理解し、誰がその情報の消費者であるかを発信者が理解するように、リネージを提供する。前述の技法は、（例えば、データガバナンスルールにおける）ビジネス表現要件から、実行可能なジョブ、例えば、データガバナンスルールにおいて指定されるようにデータをクレンジングするため、データガバナンスルールにおいて指定されるようにデータ品質をテストするためなど、データガバナンスルールにおける機能を実行するプログラムに変換することによって、これらのデータ管理タスクの自動化を提供する。

【0108】

いくつかの例では、取り込まれたデータは、例えば、実行可能なデータフローグラフへの入力として使用することができる。一般に、実行可能なデータフローグラフは、１つ以上のコンポーネント（「ノード」又は「頂点」と呼ばれることもある）を有する。ノード、コンポーネント、又は頂点は、ノード、コンポーネント、又は頂点に関連付けられた動作を実装するためのプログラムコードに対応する。コンポーネント間のデータフローは、グラフのリンク（アーク、エッジ）に対応する。そのようなグラフベースの計算を実装するシステムは、「Ｅｘｅｃｕｔｉｎｇ Ｃｏｍｐｕｔａｔｉｏｎｓ Ｅｘｐｒｅｓｓｅｄ ａｓ Ｇｒａｐｈｓ」と題された米国特許第５，９６６，０ 号に説明されており、その全内容は、参照することによって本明細書に組み込まれる。

【0109】

データ取り込みシステム及びそのコンポーネントを含む、本明細書に記載の主題及び動作の実装は、デジタル電子回路、又は本明細書に開示された構造及びそれらの構造的均等物を含むコンピュータソフトウェア、ファームウェア、若しくはハードウェア、又はそれらの１つ以上の組み合わせで実装することができる。本明細書に記載の主題の実装形態は、１つ以上のコンピュータプログラム（データ処理プログラムとも称される）（すなわち、データ処理装置によって実行するために、又はデータ処理装置の動作を制御するためにコンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の１つ以上のモジュール）として実装することができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムアクセス若しくはシリアルアクセスメモリアレイ若しくはデバイス、又はそれらのうちの１つ以上の組み合わせであってもよく、又はそれらに含まれてもよい。コンピュータ記憶媒体はまた、１つ以上の別個の物理的コンポーネント又は媒体（例えば、複数のＣＤ、ディスク、又は他の記憶デバイス）であってもよく、又はそれらに含まれてもよい。本主題は、非一時的コンピュータ記憶媒体に記憶されたコンピュータプログラム命令に実装され得る。

【0110】

本明細書で説明される動作は、１つ以上のコンピュータ可読記憶デバイスに記憶されているか、又は他のソースから受信されたデータに対してデータ処理システム又は装置によって実行される動作として実装することができる。「データ処理システム」という用語は、データを処理するためのあらゆる種類の装置、デバイス、及びマシンを包含し、例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、又は前述のものの複数のもの、又は組み合わせを含む。システムは、例えばＦＰＧＡ（field programmable gate array、フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（application specific integrated circuit、特定用途向け集積回路）などの専用論理回路を含むことができる。システムはまた、ハードウェアに加えて、問題のコンピュータプログラム（例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、又はそれらの１つ以上の組み合わせを構成するコード）の実行環境を提供するコードを含むことができる。システム及び実行環境は、Ｗｅｂサービス、分散コンピューティング、及びグリッドコンピューティングインフラストラクチャなどの様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。

【0111】

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られている）は、コンパイル言語若しくはインタープリタ言語、宣言型言語若しくは手続き型言語を含む任意の形式のプログラミング言語で書くことができ、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、オブジェクト、若しくはコンピューティング環境での使用に好適な他のユニットとして含む、任意の形態で展開することができる。コンピュータプログラムは、ファイルシステム内のファイルに対応してもよいが、対応する必要はない。プログラムは、他のプログラム又はデータ（例えば、マークアップ言語文書に記憶された１つ以上のスクリプト）を保持するファイルの一部分、問題のプログラム専用の単一のファイル、又は複数の協調ファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの部分を記憶するファイル）に記憶することができる。コンピュータプログラムは、１つのコンピュータ上で、又は１つのサイトに位置するか、又は複数のサイトに分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。

【0112】

本明細書に記載のプロセス及び論理フローは、入力データに対して動作し、出力を生成することによってアクションを実行するために、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行することができる。プロセス及び論理フローはまた、専用論理回路（例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によって実行することができ、装置は専用論理回路として実装することができる。

【0113】

コンピュータプログラムの実行に好適なプロセッサは、例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。概して、プロセッサは、リードオンリーメモリ若しくはランダムアクセスメモリ又はその両方から命令及びデータを受信するであろう。コンピュータの必須要素は、命令に従ってアクションを実行するためのプロセッサと、命令及びデータを記憶するための１つ以上のメモリデバイスとを含む。一般に、コンピュータはまた、データを記憶するための１つ以上の大容量記憶デバイス（例えば、磁気ディスク、光磁気ディスク、又は光ディスク）を含むか、それらからデータを受信するか、それらにデータを転送するか、又はその両方を行うように動作可能に結合することになるが、コンピュータは、そのようなデバイスを有する必要はない。更に、コンピュータは、別のデバイス（例えば、携帯電話、携帯情報端末（Personal Digital Assistant、ＰＤＡ）、モバイルオーディオ若しくはビデオプレーヤ、ゲームコンソール、全地球測位システム（Global Positioning System、ＧＰＳ）受信機、又は携帯型記憶デバイス（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）フラッシュドライブ））に組み込むことができる。コンピュータプログラム命令及びデータを記憶するのに好適なデバイスは、例として、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス）、磁気ディスク（例えば、内蔵ハードディスク又はリムーバブルディスク）、光磁気ディスク、並びにＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用ロジック回路によって補完され得るか、又は専用ロジック回路に組み込まれ得る。

【0114】

本明細書に記載の主題の実装形態は、バックエンドコンポーネント（例えば、データサーバとして）を含むか、又はミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含むか、又はフロントエンドコンポーネント（例えば、ユーザが本明細書に記載の主題の実装形態と対話することができるグラフィカルユーザインターフェース又はＷｅｂブラウザを有するユーザコンピュータ）、又は１つ以上のそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、若しくはフロントエンドコンポーネントの任意の組み合わせを含む、コンピューティングシステムに実装することができる。システムのコンポーネントは、デジタルデータ通信（例えば、通信ネットワーク）の任意の形態又は媒体によって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（Local Area Network、ＬＡＮ）及びワイドエリアネットワーク（Wide Area Network、ＷＡＮ）、インターネットワーク（例えば、インターネット）、及びピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）が含まれる。

【0115】

コンピューティングシステムは、ユーザ及びサーバを含むことができる。ユーザ及びサーバは、一般に、互いに遠隔であり、典型的には、通信ネットワークを通して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じ得る。いくつかの実装形態では、サーバは、データ（例えば、ＨＴＭＬページ）をユーザデバイスに送信する（例えば、ユーザデバイスと対話するユーザにデータを表示し、ユーザデバイスと対話するユーザからユーザ入力を受信する目的で）。ユーザデバイスにおいて生成されたデータ（例えば、ユーザ対話の結果）は、サーバにおいてユーザデバイスから受信することができる。

【0116】

本明細書は多くの特定の実装形態の詳細を含むが、これらは、任意の実装形態又は特許請求され得るものの範囲に対する限定として解釈されるべきではなく、特定の実装形態に特有の特徴の記載として解釈されるべきである。別個の実施態様の文脈において本明細書に記載されるある特定の特徴はまた、単一の実装形態において組み合わせて実装することができる。逆に、単一の実施態様の文脈において記載される様々な特徴はまた、複数の実装形態において別々に、又は任意の好適な二次組み合わせにおいて実装することができる。更に、特徴は、ある特定の組み合わせにおいて作用するものして上述され、初めにそのように特許請求され得るが、特許請求される組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから切除することができ、特許請求される組み合わせは、二次組み合わせ又は二次組み合わせの変形を対象とし得る。

【0117】

同様に、動作は、特定の順序で図面に描かれているが、望ましい結果を達成するために、そのような動作が示された特定の順序で又は連続した順序で実行されるか、又は全ての例示された動作が実行されることを必要とするものとして理解されるべきではない。ある特定の状況では、マルチタスク処理及び並列処理が有利であり得る。更に、上記の実装態様における様々なシステムコンポーネントの分離は、全ての実装形態においてそのような分離を必要とするものとして理解されるべきではなく、記載されたプログラムコンポーネント及びシステムは、一般に単一のソフトウェア製品に共に統合されるか、又は複数のソフトウェア製品にパッケージ化され得ることを理解されたい。

【0118】

他の実装形態は、以下の特許請求の範囲の範囲内である。

【符号の説明】

【0119】

１ システム
２ データセット
３ ソースシステム
４ａ ビジネスユーザ
４ｂ 技術スタッフ
４ｃ テスタ
５ データ処理システム
６ 記憶システム
７ クライアントデバイス
８ クライアントデバイス
９ クライアントデバイス
１０ システム
１２ データ取り込みシステム
１３ ビジネスユーザ／テスタ
１４ ソースシステム
１５ 技術スタッフ
１６ クライアントデバイス
１８ ハーベスティングエンジン
２０ コンテキストメタデータ
２３ リンケージ
２４ リンケージエンジン
２５ ガバナンスルール
２６ 標準化エンジン
２８ 記憶システム
３９ 標準化データセット
７０ システム
７４ ガバナンスルール
７５ 部分
７６ クライアントデバイス
７８ ビジネスユーザ／テスタ
８０ システム
８４ ガバナンスルール
２１４ ソースデータセット
２２２ 項目
６００ プロセス

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【手続補正書】

【提出日】2024-05-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

１つ以上のデータストアの中に記憶されたデータの品質を改善するためのデータ処理システムによって実装される方法であって、
ハードウェア記憶デバイスによって、外部データソースからデータセットを取り出すことと、
前記取り出されたデータセットから、前記取り出されたデータセット内のフィールドを特徴付ける技術的属性を記述するメタデータ項目を識別することと、
クライアントデバイスから、前記取り出されたデータセット内の前記フィールドを記述するための候補であるユーザ定義名を受信することと、
１つ以上のメタデータ項目と前記ユーザ定義名のうちの少なくとも１つとの間の関連付けを識別することと、
１つ以上の動作であって、前記１つ以上の動作は、前記ユーザ定義名のうちの前記少なくとも１つを参照する、１つ以上の動作を指定する１つ以上のルールにアクセスすることと、
前記取り出されたデータセットのうちの１つ以上の各々について、
前記取り出されたデータセットにおいて、前記１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することと、
検出に応じて、前記１つ以上のルールのうちの前記少なくとも１つを、前記検出されたメタデータ項目によって記述される１つ以上のデータ項目に適用することと、
前記１つ以上のルールのうちの前記少なくとも１つの適用に続いて、１つ以上のデータストアの中に、前記１つ以上のルールのうちの前記少なくとも１つが適用される前記１つ以上のデータ項目を記憶することと
を含む、方法。

【請求項2】

前記メタデータ項目のうちの少なくとも１つが、取り出されたデータセットのフィールドのフィールド名を含む、請求項１に記載の方法。

【請求項3】

前記少なくとも１つのメタデータ項目のラベルであって、前記ラベルは、前記少なくとも１つのメタデータ項目のセマンティックな意味を表す、ラベルを決定することと、
前記少なくとも１つのメタデータ項目の前記ラベルと前記ユーザ定義名との間のマッチングを識別することと、
前記マッチングに応じて、前記少なくとも１つのメタデータ項目と前記コンテキストメタデータ項目との間のリンクを生成することと
を更に含む、請求項２に記載の方法。

【請求項4】

前記ラベルを決定することは、前記少なくとも１つのメタデータ項目、又は前記少なくとも１つのメタデータ項目によって記述される前記データ項目のうちの少なくとも１つに対して１つ以上のセマンティック発見プロセスを実行することを含む、請求項３に記載の方法。

【請求項5】

前記少なくとも１つのメタデータ項目の前記ラベルは、前記データセット内の前記データ項目についての前記ユーザ定義名から選択される、請求項３に記載の方法。

【請求項6】

前記少なくとも１つのメタデータ項目と前記ユーザ定義名との間の前記リンクを生成することは、前記メタデータ項目を表すデータと、前記ユーザ定義名を表すデータへのポインタとを含む少なくとも１つのデータ構造を生成することを含む、請求項３に記載の方法。

【請求項7】

前記少なくとも１つのメタデータ項目と前記ユーザ定義名との間の前記リンクを生成するは、前記ユーザ定義名メタデータを表すデータと前記メタデータ項目へのポインタとを含む少なくとも１つのデータ構造を生成することを含む、請求項３に記載の方法。

【請求項8】

前記クライアントデバイスにおけるグラフィカルユーザインターフェースであって、前記グラフィカルユーザインターフェースは、前記ユーザ定義名と、前記ユーザ定義名のうちの少なくとも１つに関する前記１つ以上のルールを定義するための入力部分とを含む、グラフィカルユーザインターフェースを表示させることと、
前記グラフィカルユーザインターフェースの前記入力部分への入力を表すデータであって、前記データは、前記ユーザ定義名のうちの前記少なくとも１つに関する前記１つ以上のルールを定義する、データを受信することと
を含む、請求項１に記載の方法。

【請求項9】

前記グラフィカルユーザインターフェースは、前記ユーザ定義名に割り当てられた前記メタデータ項目のうちの１つ以上を表示するように構成される、請求項８に記載の方法。

【請求項10】

前記１つ以上のルールが、個人識別可能情報（ＰＩＩ）ルール又はデータ品質ルールのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項11】

取り出されたデータセットにおいて、前記１つ以上のルールのうちの少なくとも１つにおいて、
前記取り出されたデータセットに含まれる少なくとも１つのフィールド名を識別することと、
前記少なくとも１つのフィールド名を前記メタデータ項目と比較して、前記少なくとも１つのフィールド名と前記メタデータ項目との間のマッチングを識別することと、
前記メタデータ項目を記憶されたリンケージ情報と比較して、前記メタデータ項目に割り当てられた前記ユーザ定義名を識別することと、
前記ユーザ定義名を含む前記１つ以上のルールのうちの前記少なくとも１つを識別することと
によって、１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することを更に含む、請求項１に記載の方法。

【請求項12】

前記技術的属性は、前記データセット内の前記データのフォーマット及び／又は構造を含む、請求項１に記載の方法。

【請求項13】

１つ以上のデータストアの中に記憶されたデータの品質を改善するためのハードウェア記憶デバイスであって、記憶のために指定されたデータ品質を有するデータを準備する速度を増加させるためのハードウェア記憶デバイスは、
外部データソースからデータセットを取り出すことと、
前記取り出されたデータセットから、前記取り出されたデータセット内のフィールドを特徴付ける技術的属性を記述するメタデータ項目を識別することと、
クライアントデバイスから、前記取り出されたデータセット内の前記フィールドを記述するための候補であるユーザ定義名を受信することと、
１つ以上のメタデータ項目と前記ユーザ定義名のうちの少なくとも１つとの間の関連付けを識別することと、
１つ以上の動作であって、前記１つ以上の動作は、前記ユーザ定義名のうちの前記少なくとも１つを参照する、１つ以上の動作を指定する１つ以上のルールにアクセスすることと、
前記取り出されたデータセットのうちの１つ以上の各々について、
前記取り出されたデータセットにおいて、前記１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することと、
検出に応じて、前記１つ以上のルールのうちの前記少なくとも１つを、前記検出されたメタデータ項目によって記述される１つ以上のデータ項目に適用することと、
前記１つ以上のルールのうちの前記少なくとも１つの適用に続いて、１つ以上のデータストアの中に、前記１つ以上のルールのうちの前記少なくとも１つが適用される前記１つ以上のデータ項目を記憶することと
を含む、動作を実行するために１つ以上の処理デバイスによって実行可能な命令を記憶するハードウェア記憶デバイス。

【請求項14】

前記メタデータ項目の少なくとも１つは、取り出されたデータセットのフィールドに対するフィールド名を含む、請求項１３に記載のハードウェア記憶デバイス。

【請求項15】

ハードウェア記憶デバイスであって、前記動作は、
前記少なくとも１つのメタデータ項目のラベルであって、前記ラベルは、前記少なくとも１つのメタデータ項目のセマンティックな意味を表す、ラベルを決定することと、
前記少なくとも１つのメタデータ項目の前記ラベルと前記ユーザ定義名との間のマッチングを識別することと、
前記マッチングに応じて、前記少なくとも１つのメタデータ項目と前記コンテキストメタデータ項目との間のリンクを生成することと
を更に含む、請求項１４に記載のハードウェア記憶デバイス。

【請求項16】

前記ラベルを決定することは、前記少なくとも１つのメタデータ項目、又は前記少なくとも１つのメタデータ項目によって記述される前記データ項目のうちの少なくとも１つに対して１つ以上のセマンティック発見プロセスを実行することを含む、請求項１５に記載のハードウェア記憶デバイス。

【請求項17】

前記少なくとも１つのメタデータ項目の前記ラベルは、前記データセット内の前記データ項目についての前記ユーザ定義名から選択される、請求項１５に記載のハードウェア記憶デバイス。

【請求項18】

前記少なくとも１つのメタデータ項目と前記ユーザ定義名との間のリンクを生成することは、前記メタデータ項目を表すデータと、前記ユーザ定義名を表すデータへのポインタとを含む少なくとも１つのデータ構造を生成することを含む、請求項１５に記載のハードウェア記憶デバイス。

【請求項19】

前記少なくとも１つのメタデータ項目と前記ユーザ定義名との間の前記リンクを生成することは、前記ユーザ定義名メタデータを表すデータと前記メタデータ項目へのポインタとを含む少なくとも１つのデータ構造を生成することを含む、請求項１５に記載のハードウェア記憶デバイス。

【請求項20】

１つ以上のデータストアの中に記憶されたデータの品質を改善するための電子システムであって、
１つ以上の処理デバイスと、
ハードウェア記憶デバイスであって、
外部データソースからデータセットを取り出すことと、
前記取り出されたデータセットから、前記取り出されたデータセット内のフィールドを特徴付ける技術的属性を記述するメタデータ項目を識別することと、
クライアントデバイスから、前記取り出されたデータセット内の前記フィールドを記述するための候補であるユーザ定義名を受信することと、
１つ以上のメタデータ項目と前記ユーザ定義名のうちの少なくとも１つとの間の関連付けを識別することと、
１つ以上の動作であって、前記１つ以上の動作は、前記ユーザ定義名のうちの前記少なくとも１つを参照する、１つ以上の動作を指定する１つ以上のルールにアクセスすることと、
前記取り出されたデータセットのうちの１つ以上の各々について、
前記取り出されたデータセットにおいて、前記１つ以上のルールのうちの少なくとも１つにおいて参照されるユーザ定義名に割り当てられるメタデータ項目を検出することと、
検出に応じて、前記１つ以上のルールのうちの前記少なくとも１つを、前記検出されたメタデータ項目によって記述される１つ以上のデータ項目に適用することと、
前記１つ以上のルールのうちの前記少なくとも１つの適用に続いて、１つ以上のデータストアの中に、前記１つ以上のルールのうちの前記少なくとも１つが適用される前記１つ以上のデータ項目を記憶することと
を含む、動作を実行するために１つ以上の処理デバイスによって実行可能な命令を記憶するハードウェア記憶デバイスと
を含む、電子システム。

【国際調査報告】