特許 7074307 汎用データモデルに基づくマルチセンタ医療データ構造の標準化システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-16

(45)【発行日】2022-05-24

(54)【発明の名称】汎用データモデルに基づくマルチセンタ医療データ構造の標準化システム

(51)【国際特許分類】

   G06F 16/21 20190101AFI20220517BHJP

   G06F 16/23 20190101ALI20220517BHJP

   G06F 16/27 20190101ALI20220517BHJP

   G16H 40/20 20180101ALI20220517BHJP

【ＦＩ】

G06F16/21

G06F16/23

G06F16/27

G16H40/20

【請求項の数】 10

(21)【出願番号】P 2021533317

(86)(22)【出願日】2020-04-07

(65)【公表番号】

(43)【公表日】2022-01-19

(86)【国際出願番号】 CN2020083585

(87)【国際公開番号】W WO2020233255

(87)【国際公開日】2020-11-26

【審査請求日】2021-06-10

(31)【優先権主張番号】201910629812.5

(32)【優先日】2019-07-12

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】521162399

【氏名又は名称】之江実験室

(74)【代理人】

【識別番号】100128347

【弁理士】

【氏名又は名称】西内 盛二

(72)【発明者】

【氏名】李 ▲勁▼松

(72)【発明者】

【氏名】田 雨

(72)【発明者】

【氏名】叶 前呈

(72)【発明者】

【氏名】王 ▲執▼▲暁▼

(72)【発明者】

【氏名】▲陳▼ ▲偉▼国

【審査官】甲斐 哲雄

(56)【参考文献】

【文献】中国特許出願公開第１０９９２０５２２（ＣＮ，Ａ）

【文献】中国特許出願公開第１０８０１０５７３（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／１０－１６／２９

Ｇ１６Ｈ １０／００－８０／００

(57)【特許請求の範囲】

【請求項1】

汎用データモデルに基づくマルチセンタ医療データ構造の標準化システムであって、当該システムは、ソースデータベースと、キャッシュデータベースと、目標データベースと、データ接続管理モジュールと、データ構造走査モジュールと、マッピング構築ユニットと、マッピング実行ユニットと、増分更新ユニットと、品質制御ユニットとを含み、
前記ソースデータベースは、各医療データセンタが医療業務フローを実行するデータベースであり、前記キャッシュデータベースと目標データベースは、いずれも各医療データセンタの専用フロントサーバに配置され、
前記キャッシュデータベースは、当該医療データセンタのソースデータベースの元データを記憶し、キャッシュ層としては、データ構造のマッピング処理をソースデータベースと隔離し、
前記目標データベースは、所属する医療データセンタがデータ構造のマッピング関係及びキャッシュデータによってデータ構造のマッピングを行って得られた汎用データモデルデータ構造に合致する医療データを記憶し、
各医療データセンタの目標データベースは、いずれもクラウドサーバに接続され、マルチセンタ医療データの間の協同分析を実現し、
前記データ接続管理モジュールは、データベースへのアクセスに必要な情報を管理し、ソースデータベース、キャッシュデータベース及び目標データベースへのアクセスをサポートし、
前記データ構造走査モジュールは、ソースデータベース及び目標データベースのデータ構造を走査し、データ構造情報及びフィールド統計情報をまとめて得られたレポートを返信し、
前記マッピング構築ユニットは、マッピング関係生成及び設計モジュールと、マッピングコード生成及び修正モジュールとを含み、前記マッピング関係生成及び設計モジュールは、初期データ構造のマッピング関係を生成し、ユーザがデータ構造のマッピング関係を確認できるように可視化画面を表示し、確認が完了した後、マッピングコード生成及び修正モジュールは、データ構造のマッピングスクリプトを生成し、
前記マッピング実行ユニットは、データキャッシュモジュールと、マッピング処理モジュールとを含み、前記データキャッシュモジュールは、データ構造のマッピングに必要なデータをソースデータベースからキャッシュデータベースに移行してキャッシュ層を確立し、データ構造のマッピング処理をソースデータベースと隔離することで、正常な業務に影響を及ぼすことを回避し、前記マッピング処理モジュールは、ユーザがマッピング構築ユニットの生成したデータ構造のマッピングスクリプトを確認した後、データをキャッシュデータベースから抽出し、データ構造のマッピングを行って目標データベースに導入し、
前記品質制御ユニットは、異常処理モジュールを含み、前記異常処理モジュールは、マッピング処理モジュールの処理過程での異常情報を記録し、
前記増分更新ユニットは、増分キャッシュモジュールと、増分マッピングモジュールとを含み、前記増分キャッシュモジュールは、ソースデータベースにおけるデータの変化を捉え、キャッシュ層において増分データを更新し、前記増分マッピングモジュールは、増分更新されたデータに対して、データ構造の標準化マッピングを行い、データをキャッシュデータベースから抽出し、データ構造のマッピングを実行して目標データベースに導入する
ことを特徴とする汎用データモデルに基づくマルチセンタ医療データ構造の標準化システム。

【請求項2】

前記データ接続管理モジュールがデータベースへのアクセスをサポートすることは、接続情報プロファイルを読み取り、データベースタイプの設定情報に応じて、対応するデータベース接続ドライバをロードし、ｉｐ、アカウント、パスワード情報に基づき、データベースに接続することを含む
ことを特徴とする請求項１に記載の汎用データモデルに基づくマルチセンタ医療データ構造の標準化システム。

【請求項3】

前記データ構造走査モジュールにおいて、前記データ構造情報は、テーブル名と、フィールド名と、フィールドタイプとを含み、前記フィールド統計情報は、フィールドの行数と、フィールドの最大長さと、フィールドの値の範囲と、フィールドの各値の頻度及び割合とを含み、データ構造情報は、構造マッピング関係の確立をサポートし、フィールド統計情報は、マッピング性能の最適化をサポートし、当該データ構造走査モジュールは、構造化照会言語を用いてテーブルに対して１つずつ照会を行い、照会結果をまとめてレポートにする
ことを特徴とする請求項１に記載の汎用データモデルに基づくマルチセンタ医療データ構造の標準化システム。

【請求項4】

前記マッピング関係生成及び設計モジュールは、走査されたソースデータベース及び目標データベースのデータ構造を取得した後、予め設定された類語辞書に基づき、フィールド名に対して曖昧マッチングを行い、初期データ構造のマッピング関係を生成し、ユーザがデータ構造のマッピング関係を確認できるように、可視化画面を表示し、可視化は、具体的に、指向性が付いたグラフィックを利用して、テーブルとテーブルとの間、フィールドとフィールドとの間の１対１の関係、１対多の関係及び多対１の関係を反映し、前記マッピング関係生成及び設計モジュールは、テキストコメント及び設計文書の導出をサポートする
ことを特徴とする請求項１に記載の汎用データモデルに基づくマルチセンタ医療データ構造の標準化システム。

【請求項5】

前記マッピングコード生成及び修正モジュールは、ユーザの確認したデータ構造のマッピング関係に基づき、コードフレームに従ってデータ構造のマッピングスクリプトを生成して保存するとともに、ユーザにデータ構造のマッピングスクリプトを変更する権限を提供する
ことを特徴とする請求項１に記載の汎用データモデルに基づくマルチセンタ医療データ構造の標準化システム。

【請求項6】

前記データキャッシュモジュールが確立したキャッシュ層は、ソースデータ構造に変更時間フィールドを追加することで、それぞれのデータの最新の変更時間を記録し、前記マッピング処理モジュールは、マッピングスクリプトをキャッシュ層に適用し、データ構造の標準化マッピングを行い、データ構造のマッピング結果は、目標データベースに保存され、ログに最新のマッピング操作時間が記録される
ことを特徴とする請求項１に記載の汎用データモデルに基づくマルチセンタ医療データ構造の標準化システム。

【請求項7】

前記異常処理モジュールは、データ構造のマッピング関係に基づきデータを抽出した際に、「ノットヌルフィールドにヌル値が存在する」、「データの長さが範囲外である」を含むエラーが発生した場合、これらのエラーを有するデータ構造のマッピングを拒否し、これらのエラーをログに記録し、ユーザが確認して削除又はクリーニング処理するために、エラーデータを一時的なテーブルに記録する
ことを特徴とする請求項１に記載の汎用データモデルに基づくマルチセンタ医療データ構造の標準化システム。

【請求項8】

前記増分キャッシュモジュールは、ＣＤＣ技術によってソースデータベースにおけるデータの変化を捉え、キャッシュ層において増分データを更新し、変更時間フィールドに変更時間を記録する
ことを特徴とする請求項１に記載の汎用データモデルに基づくマルチセンタ医療データ構造の標準化システム。

【請求項9】

前記増分マッピングモジュールは、ログにおける最新のマッピング操作時間とキャッシュ層におけるデータの変更時間を比較し、変更時間が最新のマッピング操作時間よりも遅いデータに対してマッピングを行い、まず、キャッシュデータベースにおける増分データ構造及び目標データベース構造を走査し、キャッシュデータベースに存在する既存のデータ構造のマッピング関係と同じであれば、データ構造のマッピング処理及び品質制御を行い、既存のデータ構造のマッピング関係に合致しなければ、データ構造のマッピング関係を更新した後、データ構造のマッピング処理及び品質制御を行う
ことを特徴とする請求項１に記載の汎用データモデルに基づくマルチセンタ医療データ構造の標準化システム。

【請求項10】

前記品質制御ユニットは、品質評価モジュールをさらに含み、前記品質評価モジュールは、マッピング処理モジュールのマッピング処理が完了した後、今回のデータ構造のマッピング処理に対する品質評価報告を生成する
ことを特徴とする請求項１に記載の汎用データモデルに基づくマルチセンタ医療データ構造の標準化システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ構造の標準化領域に関し、特に汎用データモデルに基づくマルチセンタ医療データ構造の標準化システムに関する。

【背景技術】

【0002】

国内の情報化レベルの向上に伴い、益々多くの病院は、自分の病院情報システム（ＨＩＳ)及び電子カルテシステム(ＥＭＲ)、映像収集及び伝送システム(ＰＡＣＳ)、実験室検査情報システム(ＬＩＳ)を含む各種の臨床業務情報システムが構築された。多くの情報化程度の高い病院は、さらに、臨床データセンタ（ＣＤＲ）を設立し、病院全体の業務データの集中化を実現し、病院管理、患者サービス及び臨床科学研究に利便性を提供する。しかし、異なる病院の間に採用された医療情報システムに大きな差異があるため、病院内のデータ構造の異質性が大きく、各病院間のデータ共有を実現することができず、マルチセンタに基づく臨床科学研究は展開しにくい。そのため、データ構造の標準化方法を必要とし、異なる病院の医療データを同一の汎用データモデルにマッピングする。

【0003】

従来の技術案『ＣＮ２０１４１０６０５１７３-異種システムのデータのマッピング・テンプレートに基づく医療データ収集システム及び方法』は、技術者が医療データソースにアクセスし、データソースにおけるデータ構造を記録し、標準データ構造を参照し、データ構造のマッピングテンプレートを作成又は多重化し、データ構造のマッピングタスクを実行する。テンプレートの作成プロセスは、目標テーブルの構造を、業務関連関係を有する複数のフィールドに分割し、各フィールドごとにデータ収集ＳＱＬスクリプトを生成し、収集合併ＳＱＬスクリプトを作成して、各フィールドを組み合わせれば、目標データ構造を得る。当該方法のポイントは、データ収集テンプレートの制約を利用してデータの正規化収集を実現することである。従来技術の欠点をまとめると、以下の通りである。

【0004】

１．データ構造のマッピング処理は、データベースに対して頻繁に多くの検索を行う必要があり、従来の技術案は、直接ソースデータベースを操作するため、ソースサーバの動作負荷を大きくし、正常な業務活動に影響を与える。

【0005】

２.医療データは、それ自体の固有の専門性及び複雑性を有する。情報技術者だけでは、単独でマッピング関係の設計作業を完了させることができず、医療背景を備える非技術者の協力が必要である。従来のマッピング関係の設計手段は、直観的ではなく、非技術者に不便であり、技術者と非技術者との双方の良好なコミュニケーションと協力に役立たない。

【0006】

３.医療データの蓄積量が大きく、データ構造のマッピング性能に対する要求が高く、標的的にデータ構造のマッピングスクリプトを最適化する必要がある。従来の手段は、技術者が手動でソースデータベースを照会し、データ分布状況を把握しなければならず、操作が煩雑である。

【0007】

４.従来の技術案は、増分更新方案を提供しておらず、或いは、増分更新機能を提供するが、更新時に全てのデータに対してデータ構造のマッピング処理を行う必要があり、効率が低下する。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、従来技術の欠陥に鑑みて、汎用データモデルに基づくマルチセンタ医療データ構造の標準化システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の目的は、以下の技術案により達成される。汎用データモデルに基づくマルチセンタ医療データ構造の標準化システムであって、当該システムは、ソースデータベースと、キャッシュデータベースと、目標データベースと、データ接続管理モジュールと、データ構造走査モジュールと、マッピング構築ユニットと、マッピング実行ユニットと、増分更新ユニットと、品質制御ユニットとを含み、
前記ソースデータベースは、各医療データセンタが医療業務フローを実行するデータベースであり、前記キャッシュデータベースと目標データベースは、いずれも各医療データセンタの専用フロントサーバに配置され、
前記キャッシュデータベースは、当該医療データセンタのソースデータベースの元データを記憶し、キャッシュ層としては、データ構造のマッピング処理をソースデータベースと隔離し、
前記目標データベースは、所属する医療データセンタがデータ構造のマッピング関係及びキャッシュデータによってデータ構造のマッピングを行って得られた汎用データモデルデータ構造に合致する医療データを記憶し、
各医療データセンタの目標データベースは、いずれもクラウドサーバに接続され、マルチセンタ医療データの間の協同分析を実現し、
前記データ接続管理モジュールは、データベースへのアクセスに必要な情報を管理し、ソースデータベース、キャッシュデータベース及び目標データベースへのアクセスをサポートし、
前記データ構造走査モジュールは、ソースデータベース及び目標データベースのデータ構造を走査し、データ構造情報及びフィールド統計情報レポートを返信し、
前記マッピング構築ユニットは、マッピング関係生成及び設計モジュールと、マッピングコード生成及び修正モジュールとを含み、前記マッピング関係生成及び設計モジュールは、初期データ構造のマッピング関係を生成し、ユーザがデータ構造のマッピング関係を確認できるように可視化画面を表示し、確認が完了した後、マッピングコード生成及び修正モジュールは、データ構造のマッピングスクリプトを生成し、
前記マッピング実行ユニットは、データキャッシュモジュールと、マッピング処理モジュールとを含み、前記データキャッシュモジュールは、データ構造のマッピングに必要なデータをソースデータベースからキャッシュデータベースに移行してキャッシュ層を確立し、データ構造のマッピング処理をソースデータベースと隔離し、正常な業務に影響を及ぼすことを回避し、前記マッピング処理モジュールは、ユーザがマッピング構築ユニットの生成したデータ構造のマッピングスクリプトを確認した後、データをキャッシュデータベースから抽出し、データ構造のマッピングを行って目標データベースに導入し、
前記品質制御ユニットは、異常処理モジュールを含み、前記異常処理モジュールは、マッピング処理モジュールの処理過程での異常情報を記録し、
前記増分更新ユニットは、増分キャッシュモジュールと、増分マッピングモジュールとを含み、前記増分キャッシュモジュールは、ソースデータベースにおけるデータの変化を捉え、キャッシュ層において増分データを更新し、前記増分マッピングモジュールは、増分更新されたデータに対して、データ構造の標準化マッピングを行い、データをキャッシュデータベースから抽出し、データ構造のマッピングを実行して目標データベースに導入する。

【0010】

さらに、前記データ接続管理モジュールが、データベースへのアクセスをサポートすることは、接続情報プロファイルを読み取り、データベースタイプの設定情報に応じて、対応するデータベース接続ドライバをロードし、ｉｐ、アカウント、パスワード情報基づき、データベースに接続する。

【0011】

さらに、前記データ構造走査モジュールにおいて、前記データ構造情報は、テーブル名と、フィールド名と、フィールドタイプとを含み、前記フィールド統計情報は、フィールドの行数と、フィールドの最大長さと、フィールドの値の範囲と、フィールドの各値の頻度及び割合とを含み、データ構造情報は、構造マッピング関係の確立をサポートし、フィールド統計情報は、マッピング性能の最適化をサポートし、当該モジュールは、構造化照会言語を用いてテーブルに対して１つずつ照会を行い、照会結果をまとめてレポートにする。

【0012】

さらに、前記マッピング関係生成及び設計モジュールは、走査されたソースデータベース及び目標データベースのデータ構造を取得した後、予め設定された類語辞書に基づき、フィールド名に対して曖昧マッチングを行い、初期データ構造のマッピング関係を生成し、ユーザがデータ構造のマッピング関係を確認できるように、可視化画面を表示し、可視化は、具体的に、指向性が付いたグラフィックを利用して、テーブルとテーブルとの間、フィールドとフィールドとの間の１対１の関係、１対多の関係及び多対１の関係を反映し、前記マッピング関係生成及び設計モジュールは、テキストコメント及び設計文書の導出をサポートする。

【0013】

さらに、前記マッピングコード生成及び修正モジュールは、ユーザの確認したデータ構造のマッピング関係に基づき、コードフレームに従ってデータ構造のマッピングスクリプトを生成して保存するとともに、ユーザにデータ構造のマッピングスクリプトを変更する権限を提供する。

【0014】

さらに、前記データキャッシュモジュールが確立したキャッシュ層は、ソースデータ構造に変更時間フィールドを追加することで、それぞれのデータの最新の変更時間を記録し、前記マッピング処理モジュールは、マッピングスクリプトをキャッシュ層に適用し、データ構造の標準化マッピングを行い、データ構造のマッピング結果は、目標データベースに保存され、ログに最新のマッピング操作時間が記録される。

【0015】

さらに、前記異常処理モジュールは、データ構造のマッピング関係に基づきデータを抽出した際に、「ノットヌルフィールドにヌル値が存在する」、「データの長さが範囲外である」を含むエラーが発生した場合、これらのデータの構造マッピングを拒否し、これらのエラーをログに記録し、ユーザが確認して削除又はクリーニング処理するために、エラーデータを一時的なテーブルに記録する。

【0016】

さらに、前記増分キャッシュモジュールは、ＣＤＣ技術によってソースデータベースにおけるデータの変化を捉え、キャッシュ層において増分データを更新し、変更時間フィールドに変更時間を記録する。

【0017】

さらに、前記増分マッピングモジュールは、ログにおける最新のマッピング操作時間とキャッシュ層におけるデータの変更時間を比較し、変更時間が最新のマッピング操作時間よりも遅いデータに対してマッピングを行い、まず、キャッシュデータベースにおける増分データ構造及び目標データベース構造を走査し、キャッシュデータベースに存在する既存のデータ構造のマッピング関係と同じであれば、データ構造のマッピング処理及び品質制御を行い、既存のデータ構造のマッピング関係に合致しなければ、データ構造のマッピング関係を更新した後、データ構造のマッピング処理及び品質制御を行う。

【0018】

さらに、前記品質制御ユニットは、品質評価モジュールをさらに含み、前記品質評価モジュールは、マッピング処理モジュールのマッピング処理が完了した後、今回のデータ構造のマッピング処理に対する品質評価報告を生成する。

【発明の効果】

【0019】

本発明の有益な効果は、以下の通りであり、本発明は、医療データ構造のマッピング関係設計フローを改良し、情報技術者と医療従事者との協同作業に有利であり、作業効率を向上させる。詳細は、以下の通りである。

【0020】

１.データ構造のマッピングに必要なデータは、ソースデータベースからキャッシュデータベースに移行してキャッシュ層が確立されることで、データ構造のマッピング処理をソースデータベースと隔離し、正常な業務に影響を及ぼすことを回避し、キャッシュ層においてデータ構造のマッピング変換操作を行い、結果を目標データベースに保存する。

【0021】

２.複数種類のデータベースに対する自動走査をサポートし、データベース内におけるデータ構造情報及びフィールド統計情報レポートを返信し、データ構造のマッピング設計及び性能の最適化に根拠を提供するだけでなく、後続のマッピングさぎょの効率及び正確性を大きく向上させることができる。

【0022】

３.可視化されたデータ構造のマッピング関係設計ツールを提供し、データ構造のマッピング関係を直観的に表現することができ、情報技術者と医療従事者とのコミュニケーション及び協同作業が便利になり、最終的なデータ構造のマッピング関係を修正して確定し、システムによって記録することができる。

【0023】

４.確定されたデータ構造のマッピング関係について、上述した可視化データ構造のマッピング関係の設計に基づき自動化データ構造のマッピングスクリプトを生成することができ、ユーザは、スクリプトを修正してスクリプトの正確性を確保することができる。対応するソース構造及び目標構造が続いて増分更新されるとき、上記データ構造のマッピングスクリプトに対する多重化を実現することができる。ソース構造又は目標構造が変わると、旧データ構造のマッピング関係に基づきデータ構造のマッピング関係の記録を修正して更新する。

【0024】

５.完全に具体的に実行可能なデータ構造のマッピングフロー及びメカニズムを確立することで、データ構造のマッピングの前後の科学性と完全性を保証する。データ構造のマッピングのログ記録を作成し、異常処理メカニズムを改善する。

【図面の簡単な説明】

【0025】

【図1】システムのブロック図である。

【図2】データの流れの経路である。

【図3】マッピング関係の可視化の例示である。

【図4】増分更新フローとデータの流れの経路である。

【発明を実施するための形態】

【0026】

以下、図面及び具体的な実施例を参照しながら本発明をさらに詳しく説明する。

【0027】

図１に示すように、本発明は、汎用データモデルに基づくマルチセンタ医療データ構造の標準化システムを提供し、当該システムは、ソースデータベースと、キャッシュデータベースと、目標データベースと、データ接続管理モジュールと、データ構造走査モジュールと、マッピング構築ユニットと、マッピング実行ユニットと、増分更新ユニットと、品質制御ユニットを含み、
ソースデータベースは、各医療データセンタが医療業務フローを実行するデータベースであり、ＨＩＳ、ＬＩＳ、ＰＡＣＳ、ＥＭＲシステムのデータベースを含み、キャッシュデータベースと目標データベースは、いずれも各医療データセンタの専用フロントサーバに配置され、
キャッシュデータベースは、当該医療データセンタのソースデータベースの元データを記憶し、キャッシュ層としては、データ構造のマッピング処理をソースデータベースと隔離し、当該医療データセンタの正常な業務に影響を及ぼすことを回避し、
目標データベースは、所属する医療データセンタがデータ構造のマッピング関係及びキャッシュデータによってデータ構造のマッピングを行って得られた汎用データモデルデータ構造に合致する医療データを記憶し、
各医療データセンタの目標データベースは、いずれもクラウドサーバに接続され、マルチセンタ医療データの間の協同分析を実現し、
データ接続管理モジュールは、データベースへのアクセスに必要な情報を管理（ロード、変更、記憶）し、ソースデータベース、キャッシュデータベース及び目標データベースへのアクセスをサポートし、
データ構造走査モジュールは、ソースデータベース及び目標データベースのデータ構造を走査し、データ構造情報及びフィールド統計情報レポートを返信し、
マッピング構築ユニットは、マッピング関係生成及び設計モジュールと、マッピングコード生成及び修正モジュールとを含み、マッピング関係生成及び設計モジュールは、初期データ構造のマッピング関係を生成し、ユーザがデータ構造のマッピング関係を確認できるように可視化画面を表示し、確認が完了した後、マッピングコード生成及び修正モジュールは、データ構造のマッピングスクリプトを生成し、
マッピング実行ユニットは、データキャッシュモジュールと、マッピング処理モジュールとを含み、データキャッシュモジュールは、データ構造のマッピングに必要なデータをソースデータベースからキャッシュデータベースに移行してキャッシュ層を確立し、データ構造のマッピング処理をソースデータベースと隔離し、正常な業務に影響を及ぼすことを回避し、マッピング処理モジュールは、ユーザがマッピング構築ユニットの生成したデータ構造のマッピングスクリプトを確認した後、データをキャッシュデータベースを抽出し、データ構造のマッピングを行って目標データベースに導入し、
品質制御ユニットは、異常処理モジュールを含み、異常処理モジュールは、マッピング処理モジュールの処理過程での異常情報を記録し、
増分更新ユニットは、増分キャッシュモジュールと、増分マッピングモジュールとを含み、増分キャッシュモジュールは、ソースデータベースにおけるデータの変化を捉え、キャッシュ層において増分データを更新し、増分マッピングモジュールは、増分更新されたデータに対して、データ構造の標準化マッピングを行い、データをキャッシュデータベースから抽出し、データ構造のマッピングを実行して目標データベースに導入する。

【0028】

データ流れの経路は、図２に示すように、初回のデータ構造のマッピング時に、まず、データ接続管理モジュールにより、ソースデータベースをキャッシュデータベースにバックアップし、データ構造走査モジュールにより、ソースデータベース及び目標データベースのデータ構造を走査し、そして、マッピング関係生成及び設計モジュールにより、初期マッピング関係を生成し、ユーザがデータ構造のマッピング関係を確認できるように可視化画面を表示し、確認が完了した後、マッピングコード生成及び修正モジュールは、マッピングスクリプトを生成し、ユーザがマッピング処理を確認した後、マッピング処理モジュールは、データをキャッシュデータベースから抽出し、構造マッピングを行って目標データベースに導入し、同時に処理過程での異常は、異常処理モジュールのログに記録され、マッピング処理が完了後、今回のデータ構造のマッピング操作に対する品質評価報告が生成される。

【0029】

それぞれのモジュールの具体的な実現形態は、以下の通りである。

【0030】

一．データ接続管理モジュール
キャッシュデータベースと目標データベースは、物理的に同一のデータベースシステムであってもよい。実現方式は、接続情報プロファイルを読み取り、データベースタイプの設定情報に応じて、対応するデータベース接続ドライバをロードし、ｉｐ、アカウント、パスワード情報に基づきデータベースに接続することを含むが、これに限定されない。

【0031】

二．データ構造走査モジュール
データ構造走査モジュールにおいて、データ構造情報は、テーブル名、フィールド名及びフィールドタイプを含み、フィールド統計情報は、フィールドの行数、フィールドの最大長さ、フィールドの値の範囲、フィールド各値の頻度及び割合を含むが、これらに限定されない。データ構造情報は、構造マッピング関係を確立することをサポートし、フィールド統計情報は、マッピング性能の最適化をサポートする。当該モジュールは、構造化照会言語を用いてテーブルに対して１つずつ照会を行い、照会結果をまとめてレポートにし、表１、表２に示す通りである。データ構造走査モジュールは、操作者がデータ構造及びデータ分布を理解することに役立ち、作業効率を向上させる。

【0032】

データ走査のレポートの例示

【表1】

【0033】

フィールド統計表の例示

【表2】

【0034】

三．マッピング関係生成及び設計モジュール
走査後のソースデータベース及び目標データベースのデータ構造を得ると、予め設定された類語辞書に基づき、フィールド名に対して曖昧マッチングを行い、初期データ構造のマッピング関係を生成し、ユーザがデータ構造のマッピング関係を確認できるように、可視化画面を表示し、前記可視化は、具体的に、指向性が付いたグラフィックを利用して、テーブルとテーブルとの間、フィールドとフィールドとの間の１対１の関係、１対多の関係及び多対１の関係を反映し、図３に示す通りである。前記マッピング関係生成及び設計モジュールは、追跡のために、テキストコメント及び設計文書の導出をサポートする。マッピング関係生成及び設計モジュールは、技術者と非技術者とのコミュニケーションのために、データ構造のマッピング関係を直観的に表現する。複数バージョンのデータ構造のマッピングのドキュメントの導出をサポートし、データ構造のマッピング関係の履歴を追跡することができる。

【0035】

四．マッピングコード生成及び修正モジュール
ユーザが確認したデータ構造のマッピング関係に基づき、コードフレームに従ってデータ構造のマッピングスクリプトを生成して保存し、作業量を減少させ、コードをより正規化し、また、ユーザにデータ構造のマッピングスクリプトを変更する権限を提供する。マッピングコード生成及び修正モジュールは、データ構造のマッピング処理を半自動化し、作業効率を向上させる。

【0036】

五．データキャッシュモジュール
データキャッシュモジュールの確立したキャッシュ層は、ソースデータ構造に、変更時間フィールドを追加することで、各データの最新の変更時間を記録する。

【0037】

六．マッピング処理モジュール
マッピング処理モジュールは、マッピングスクリプトをキャッシュ層に適用し、データ構造の標準化マッピングを行い、データ構造のマッピング結果は、目標データベースに保存され、ログに最新のマッピング操作時間が記録される。

【0038】

七．異常処理モジュール
データ構造のマッピング関係に基づき、データを抽出した際に「ノットヌルフィールドにヌル値が存在する」、「データの長さが範囲外である」を含むエラーが発生した場合、表３に示すように、ユーザが確認して削除又はクリーニング処理を行うために、これらのデータの構造マッピングを拒否し、これらのエラーをログに記録し、エラーデータを一時的なテーブルに記録する。

【0039】

エラーデータの記録表の例示

【表3】

【0040】

八．品質評価モジュール
品質制御ユニットは、さらに、品質評価モジュールを含み、品質評価モジュールは、マッピング処理モジュールのマッピング処理が完了後に、今回のデータ構造のマッピング処理に対しる品質評価報告を生成し、品質評価報告の内容は、表４に示す通りである。

【0041】

構造マッピングの品質評価報告の例示

【表4】

【0042】

九．増分キャッシュモジュール
増分キャッシュモジュールは、ＣＤＣ（ＣＤＣ：ｃｈａｎｇｅ ｄａｔａ ｃａｐｔｕｒｅ 変更データキャプチャ、データベースのログからデータ操作及び時間の情報を取得できる）によって、ソースデータベースにおけるデータの変化を捉え、キャッシュ層において増分データを更新し、変更時間フィールドに変更（挿入又は更新）時間を記録する。

【0043】

十．増分マッピングモジュール
増分マッピングモジュールは、ログにおける最新のマッピング操作時間及びキャッシュ層におけるデータの変更時間を比較し、変更時間が最新のマッピング操作時間よりも遅いデータに対してマッピングを行い、まず、キャッシュデータベースにおける増分データ構造及び目標データベース構造を走査し、キャッシュデータベースに存在する既存のデータ構造のマッピング関係と同じであれば、データ構造のマッピング処理及び品質制御を行い、既存のデータ構造のマッピング関係に合致しなければ、データ構造のマッピング関係を更新した後、データ構造のマッピング処理及び品質制御を行う。
なお、増分更新は、さらに、以下の案を採用することができる。
ａ．キャッシュ層における各テーブルにトリガを設け、且つ対応する更新テーブルを作成し、データが変更されるとき、更新テーブルに当該データの唯一の標識及び変更時間（插入、更新、削除）を記録する。マッピングの増分更新を実行するとき、更新表から更新の記録を取得し、データ表から、対応するデータを抽出する。
ｂ．マテリアライズドビューを利用して増分更新を実現する。マテリアライズドビューは、ビューに似ているが、物理的記憶を作成する。一部のデータベースは、マテリアライズドビューのソーステーブルに対してマテリアライズドビューログを作成し、データの変化を記録し、それに基づき、増分更新を行う。

【0044】

以上は本発明の実施例に過ぎず、本発明の保護範囲を限定するものではない。本発明の精神と原則内に、創造的な労働を付しないあらゆる修正、均等置換、改善などは、いずれも本発明の保護範囲に含まれる。

【図1】

【図2】

【図3】

【図4】