特開 2022-186543 データ管理システム及びデータ管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022186543

(43)【公開日】2022-12-15

(54)【発明の名称】データ管理システム及びデータ管理方法

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20221208BHJP

   G06F 16/38 20190101ALI20221208BHJP

【ＦＩ】

G06Q50/04

G06F16/38

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021094821

(22)【出願日】2021-06-04

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】谷川 桂子

(72)【発明者】

【氏名】樫山 俊彦

(72)【発明者】

【氏名】大越 淳平

【テーマコード（参考）】

5B175

5L049

【Ｆターム（参考）】

5B175DA01

5B175FB03

5B175HB03

5L049CC03

(57)【要約】

【課題】
データモデルに相当する保有データの候補の検出をできる限り自動化することで、どの保有データを利用することができるか、どんなデータを収集すべきか、等の判断情報を抽出する処理におけるデータ管理者やアプリケーション開発者の負担を削減することができるデータ管理システム及びデータ管理方法を提供する。
【解決手段】
データ管理システムは、プロセッサを備える。推定ＥＴＬレベルマッピング処理部は、プロセッサ上で稼働して、リポジトリに未登録のＥＴＬである未登録ＥＴＬの存在の推定と、既存のデータモデルと保有データとの突合せに基づく類似度の算出と、類似度に基づく候補となるカラムの抽出と、を行う。未登録ＥＴＬの存在の推定は、ＥＴＬの実行履歴に関する実行ＥＴＬログを利用して、ＥＴＬ間の入力データと出力データの対応に基づいてＥＴＬ間の連結性の有無を推定することにより行う。
【選択図】図１４

【特許請求の範囲】

【請求項1】

既存のデータモデルに関連するＥＴＬをリポジトリに蓄積して、データモデルの再利用を支援するデータ管理システムであって、
プロセッサを備え、
推定ＥＴＬレベルマッピング処理部は、前記プロセッサ上で稼働して、前記リポジトリに未登録のＥＴＬである未登録ＥＴＬの存在の推定と、前記の既存のデータモデルと保有データとの突合せに基づく類似度の算出と、前記類似度に基づく候補となるカラムの抽出と、を行い、
前記推定ＥＴＬレベルマッピング処理部は、ＥＴＬの実行履歴に関する実行ＥＴＬログを利用して、ＥＴＬ間の入力データと出力データの対応に基づいて前記ＥＴＬ間の連結性の有無を推定することにより、前記未登録ＥＴＬの存在の推定を行う、
ことを特徴とするデータ管理システム。

【請求項2】

請求項１に記載のデータ管理システムであって、
前記推定ＥＴＬレベルマッピング処理部は、
ＥＴＬの入力データ及び出力データへのアクセス履歴を含むアクセスログを用いて、連結性が無いことが推定されたＥＴＬ間の入力データ及び出力データのＲｅａｄ／Ｗｒｉｔｅ操作の情報を取得し、
取得した前記情報のうちでＲｅａｄ操作されたデータを抽出し、抽出頻度に基づいて前記データが前記未登録ＥＴＬへの入力データであることを判断し、
前記未登録ＥＴＬに関する前記類似度を算出し、
前記類似度に基づく候補となるカラムを抽出する、
ことを特徴とするデータ管理システム。

【請求項3】

請求項１に記載のデータ管理システムであって、
カラムレベルマッピング処理部が前記プロセッサ上で稼働して、カラムの情報に基づく類似度が算出され、
ＥＴＬレベルマッピング処理部が前記プロセッサ上で稼働して、前記リポジトリに登録されたＥＴＬの情報に基づく類似度が算出され、
共通データモデル対応候補データ提示部が前記プロセッサ上で稼働をして、算出した類似度に基づいて抽出された候補となるカラムのデータが提示される、
ことを特徴とするデータ管理システム。

【請求項4】

請求項３に記載のデータ管理システムであって、
前記推定ＥＴＬレベルマッピング処理部の処理より算出される類似度、前記ＥＴＬレベルマッピング処理部の処理より算出される類似度、前記カラムレベルマッピング処理部の処理より算出される類似度、の順で重みを大きくする重み付けが行われ、
前記共通データモデル対応候補データ提示部は、
何れの処理に基づく類似度を用いてカラムを抽出したのかについて示す情報を含めて提示する、
ことを特徴とするデータ管理システム。

【請求項5】

請求項３に記載のデータ管理システムであって、
前記カラムレベルマッピング処理部の処理より算出される類似度、及び、前記ＥＴＬレベルマッピング処理部の処理より算出される類似度、に対して、前記推定ＥＴＬレベルマッピング処理部の処理より算出される類似度の重みを低くする重み付けが行われ、
前記共通データモデル対応候補データ提示部は、
何れの処理に基づく類似度を用いてカラムを抽出したのかについて示す情報を含めて提示する、
ことを特徴とするデータ管理システム。

【請求項6】

既存のデータモデルに関連するＥＴＬをリポジトリに蓄積して、データモデルの再利用を支援する電子計算機を用いたデータ管理方法であって、
前記リポジトリに未登録のＥＴＬである未登録ＥＴＬの存在の推定と、前記の既存のデータモデルと保有データとの突合せに基づく類似度の算出と、前記類似度に基づく候補となるカラムの抽出と、を行い、
ＥＴＬの実行履歴に関する実行ＥＴＬログを利用して、ＥＴＬ間の入力データと出力データの対応に基づいて前記ＥＴＬ間の連結性の有無を推定することにより、前記未登録ＥＴＬの存在の推定を行う、
ことを特徴とするデータ管理方法。

【請求項7】

請求項６に記載のデータ管理方法であって、
ＥＴＬの入力データ及び出力データへのアクセス履歴を含むアクセスログを用いて、連結性が無いことが推定されたＥＴＬ間の入力データ及び出力データのＲｅａｄ／Ｗｒｉｔｅ操作の情報を取得し、
取得した前記情報のうちでＲｅａｄ操作されたデータを抽出し、抽出頻度に基づいて前記データが前記未登録ＥＴＬへの入力データであることを判断し、
前記未登録ＥＴＬに関する前記類似度を算出し、
前記類似度に基づく候補となるカラムを抽出する、
ことを特徴とするデータ管理方法。

【請求項8】

請求項６に記載のデータ管理方法であって、
カラムの情報を用いる手法で類似度を算出し、
前記リポジトリに登録されたＥＴＬの情報を用いる手法で類似度を算出し、
算出した類似度に基づいて抽出された候補となるカラムのデータを提示する、
ことを特徴とするデータ管理方法。

【請求項9】

請求項８に記載のデータ管理方法であって、
前記未登録ＥＴＬの存在を推定する手法で算出される類似度、前記リポジトリに登録されたＥＴＬの情報を用いる手法で算出される類似度、カラムの情報を用いる手法で算出される類似度、の順で重みを大きくする重み付けが行われ、
何れの手法に基づく類似度を用いてカラムを抽出したのかについて示す情報を含めて提示する、
ことを特徴とするデータ管理方法。

【請求項10】

請求項８に記載のデータ管理方法であって、
カラムの情報を用いる手法で算出される類似度、及び、前記リポジトリに登録されたＥＴＬの情報を用いる手法で算出される類似度、に対して、前記未登録ＥＴＬの存在を推定する手法で算出される類似度の重みを低くする重み付けが行われ、
何れの手法に基づく類似度を用いてカラムを抽出したのかについて示す情報を含めて提示する、
ことを特徴とするデータ管理方法。

【請求項11】

請求項６に記載のデータ管理方法を電子計算機に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データレイク係るデータ管理システム及びデータ管理方法に関する。

【背景技術】

【0002】

データ分析やＡＩ活用事例が増加しており、より多くのデータを利用したいというニーズが高まっている。例えば、産業分野では、従来、部署や工場毎に個別最適化が図られてきたが、バリューチェーンの各所からデータを収集、分析、対策手段の早期開発や共有化等により、更なる業務改善へ活用することが期待されている。そこで、開発された分析ロジックやアプリケーションから再利用可能なデータモデルを定義することで、これに対応したデータがあれば、再利用が容易になり、迅速な導入が可能となる。

【0003】

しかしながら、自工場で保有するデータに、再利用可能なデータモデルに相当するデータがどのくらい存在するのか把握するためには、データモデルとの突合せが必要となる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１０６４００

【特許文献2】ＷＯ２０１８－０１１８９５

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、例えば、特許文献１のデータ統合サーバは、データのテーブル名、カラム名、型等の属性情報と、データモデルの情報とから、同義のカラムデータの候補を抽出するが、特許文献１におけるデータカラムの属性情報の突合せでは、例えば、カラム名の変換処理等によりカラム名が変更された場合、同義カラムデータの候補として抽出されない場合が予想される。その一方で、特許文献２のデータ処理フロー管理システムは、類似処理フローの検索処理の技術に関しており、処理フローの入力データ、出力データ及び処理ロジック、データの属性情報及び用語類義関係定義より、類似処理フローを検出する。

【0006】

そして、データカラムの類似度判定に加え、データ処理フローの類似度を算出することで、取得された類似処理フローを再利用することが可能となるので、特許文献１及び特許文献２を組合わせることにより、カラム類似度判定では抽出できない類似カラムを、データ処理フロー類似度判定で抽出できるようになると考えられる。

【0007】

しかしながら、特許文献２の技術は、リポジトリ等に登録管理されるデータ処理フローに限られる。ここで、実環境では、全てのデータあるいはデータ処理フローが登録管理されているとは限らない。例えば、工場間で共有されるデータやデータ処理フローは、機密情報や個人情報等を除いた、あるいは何等か処理された結果、共有可能と判断されたデータであることは容易に想像できる。また、現場で作業者がシェル等で都度変換処理を行う等、運用で調整されるような場合も、逐一リポジトリに登録されるとは限らない。このように、複数のデータ処理フローを経て生成されるデータにおいて、一部のデータ処理フローやデータがリポジトリに未登録で共有されない場合、共有されないデータが特許文献２の技術では検索対象に入らない。

【0008】

そこで、本発明の目的は、このような環境において、データモデルに相当する保有データの候補の検出をできる限り自動化することで、どの保有データを利用することができるか、どんなデータを収集すべきか、等の判断情報を抽出する処理におけるデータ管理者やアプリケーション開発者の負担を削減することができるデータ管理システム及びデータ管理方法を提供することにある。

【課題を解決するための手段】

【0009】

本発明の第１の態様によれば、下記のデータ管理システムが提供される。データ管理システムは、既存のデータモデルに関連するＥＴＬ（Ｅｘｔｒａｃｔ Ｔｒａｎｓｆｏｒｍ Ｌｏａｄ）をリポジトリに蓄積して、データモデルの再利用を支援するシステムである。データ管理システムは、プロセッサを備える。推定ＥＴＬレベルマッピング処理部は、プロセッサ上で稼働して、リポジトリに未登録のＥＴＬである未登録ＥＴＬの存在の推定と、既存のデータモデルと保有データとの突合せに基づく類似度の算出と、類似度に基づく候補となるカラムの抽出と、を行う。推定ＥＴＬレベルマッピング処理部は、ＥＴＬの実行履歴に関する実行ＥＴＬログを利用して、ＥＴＬ間の入力データと出力データの対応に基づいてＥＴＬ間の連結性の有無を推定することにより、未登録ＥＴＬの存在の推定を行う。

【0010】

本発明の第２の態様によれば、下記のデータ管理方法が提供される。データ管理方法は、既存のデータモデルに関連するＥＴＬをリポジトリに蓄積して、データモデルの再利用を支援する電子計算機を用いた方法である。データ管理方法は、リポジトリに未登録のＥＴＬである未登録ＥＴＬの存在を推定し、既存のデータモデルと保有データとの突合せに基づく類似度を算出する。データ管理方法は、リポジトリに未登録のＥＴＬである未登録ＥＴＬの存在の推定と、既存のデータモデルと保有データとの突合せに基づく類似度の算出と、類似度に基づく候補となるカラムの抽出と、を行う。ここで、データ管理方法は、ＥＴＬの実行履歴に関する実行ＥＴＬログを利用して、ＥＴＬ間の入力データと出力データの対応に基づいてＥＴＬ間の連結性の有無を推定することにより、未登録ＥＴＬの存在の推定を行う。

【発明の効果】

【0011】

本発明によれば、データモデルに相当する保有データの候補の検出をできる限り自動化することで、どの保有データを利用することができるか、どんなデータを収集すべきか、等の判断情報を抽出する処理におけるデータ管理者やアプリケーション開発者の負担を削減することができる。

【図面の簡単な説明】

【0012】

【図1】産業分野をユースケースとしたデータ利活用支援システムの構成を説明するための図である。

【図2】データ管理装置のシステム構成を説明するための図である。

【図3】共通データモデル対応データ把握支援処理部の構成を説明するための図である。

【図4】工場データ管理サーバの構成を説明するための図である。

【図5】ＥＴＬフローに関するデータを説明するための図である。

【図6】共通データモデル対応データ把握支援処理部の共通データモデル対応データ取得に関する処理のフローチャートである。

【図7】共通データモデル対応データ処理部のカラムマッピングのフローチャートである。

【図8】共通データモデルリストテーブルの一例を示す図である。

【図9A】Ａ工場の保有データのカラムリストテーブルの一例を示す図である。

【図9B】Ｂ工場の保有データのカラムリストテーブルの一例を示す図である。

【図10】カラム候補リストの一例を示す図である。

【図11】類似度判定処理のフローチャートである。

【図12】共通データモデル対応データ処理部のＥＴＬレベルマッピングのフローチャートである。

【図13】ＥＴＬリポジトリテーブルの一例を示す図である。

【図14】共通データモデル対応データ処理部の推定ＥＴＬレベルマッピングのフローチャートである。

【図15】ＥＴＬ実行ログテーブルの一例を示す図である。

【図16】データストアアクセステーブルの一例を示す図である。

【図17】推定ＥＴＬの推定入力データテーブルの一例を示す図である。

【図18】ユーザから共通データモデル対応データ把握要求を受付ける画面の一例を示す図である。

【図19】ユーザからの共通データモデル対応データ把握要求に対する候補カラムリストを提示する画面の一例を示す図である。

【発明を実施するための形態】

【0013】

以降、本発明を実施するための形態（“本実施形態”という）を、図を適宜に参照しながら説明する。本実施形態は、Ａ工場の業務改善アプリケーションをＢ工場に導入するユースケースにおいて、当該業務改善アプリケーションに関して生成された共通データモデル（既存のデータモデル）のデータに対して、Ｂ工場の保有データの類似度を把握する例である。なお、本実施形態は、製造現場での実施を想定しているが、これは一例に過ぎず、必ずしも製造現場における実施に限定されるものではない。

【0014】

図１は、データ利活用支援システム（データ管理システム）の全体の構成の一例である。データ管理装置１は、一つ以上の工場（２－ｎ）とネットワーク３を介して接続する。データ管理装置１は、工場（２－ｎ）で生成される一つ以上の共通データモデルを収集してＥＴＬリポジトリに格納して管理し、ユーザからの共通データモデル候補カラム抽出要求に応答する。

【0015】

図２は、データ管理装置１の構成の一例である。データ管理装置１は、一般的なコンピュータとすることができ、データ管理装置１は、中央制御装置１０、主記憶装置１１，カメラやマウスキーボード等の入力装置１２、スピーカやディスプレイ等の出力装置１３、補助記憶装置１４、通信インタフェース１５を備える。なお、図２の例においては、中央制御措置１０はＣＰＵ１０、主記憶装置１１はメモリ１１、補助記憶装置１４はＨＤＤ／ＳＳＤ１４、通信インタフェース１５はＮＷＩ／Ｆ１５として示されている。そして、これらは、バス１６で相互に接続されている。

【0016】

共通データモデル対応データ把握支援処理部２０及びポータル２１は、プログラムであり、主記憶装置１１に展開されて実行される。データ管理装置１は、データカタログサーバ５と、メタデータストア６と、ＥＴＬフローリポジトリサーバ７（ＥＴＬリポジトリ）と、ＥＴＬフローストア８と、実行ＥＴＬログ９と、ネットワーク３を介して接続される。ここで、メタデータストア６は、データカタログサーバ５で扱うメタデータを格納する。ＥＴＬフローストア８は、工場（２－ｎ）から収集した一つ以上のＥＴＬフローを格納する。実行ＥＴＬログ９は、工場（２－ｎ）で実行されたＥＴＬフローの実行ログを格納する。

【0017】

図３は、共通データモデル対応データ把握支援処理部２０の構成の一例を示す。共通データモデル対応データ把握支援処理部２０は、共通データモデル管理部２１と、共通データモデル格納部２２と、共通データモデルＥＴＬフロー格納部２３と、検証対象データ管理部２４と、検証対象データのメタデータ格納部２５と、共通データモデルのメタデータ格納部２６と、カラムマッピング処理部２７と、ＥＴＬレベルマッピング処理部２８と、推定ＥＴＬレベルマッピング処理部２９と、文字種別判定部３０と、類似度算出モジュール管理部３１と、共通データモデル対応候補データ提示部３２と、を備える。

【0018】

共通データモデル管理部２１は、共通データモデルの管理に用いる。共通データモデル格納部２２は、共通データモデルの格納に用いる。共通データモデルＥＴＬフロー格納部２３は、共通データモデルのＥＴＬフローの格納に用いる。また、文字種別判定部３０は、後述する複数の文字種別変換手段を実行することに用いる。類似度算出モジュール管理部３１は、類似度を算出する類似度算出手段（計算モジュール）の管理に用いる。共通データモデル対応候補データ提示部３２は、ユーザに候補データを提示することに用いる。

【0019】

本実施形態では、検証対象データ管理部２４は、Ｂ工場の保有データの管理に用いる。メタデータ格納部２５は、Ｂ工場の保有データのメタデータを格納する。メタデータ格納部２６は、共通データモデルの生成工場であるＡ工場の保有データのメタデータを格納する。

【0020】

図４は、工場データ管理サーバ２の構成の一例を示す。工場データ管理サーバ２は、一般的なコンピュータとすることができ、工場データ管理サーバ２は、中央制御装置１０、主記憶装置１１、カメラやマウスキーボード等の入力装置１２、スピーカやディスプレイ等の出力装置１３、補助記憶装置１４及び通信インタフェース１５を備える。図４の例においては、中央制御措置１０はＣＰＵ１０、主記憶装置１１はメモリ１１、補助記憶装置１４はＨＤＤ／ＳＳＤ１４、通信インタフェース１５はＮＷＩ／Ｆ１５として示されている。そして、これらは、バス１６で相互に接続されている。

【0021】

工場データ管理サーバ２は、データ収集部３３と、データ処理部３４と、アクセスログ登録部３５と、を備える。データ収集部３３は、工場内で生成される種々のデータを収集することに用いる。データ処理部３４は、収集したデータを処理することに用いる。ＤＢＭＳ３６（図４において、ＤＢＭＳ－１と記載）は、データベースの管理に用いられる。データストア３７は、工場内で生成されたデータを格納する。アクセスログ登録部３５は、プログラムであり、主記憶装置１１に展開されて実行される。アクセスログ登録部３５は、工場内で生成されたデータを格納するデータストア３７のデータへのアクセスログを、データストアアクセスログ３８へ登録することに用いられる。

【0022】

図５は、本実施形態において、ある共通データモデルの１カラムを生成した、１以上のＥＴＬフロー（ＥＴＬ）と、ＥＴＬフローへの１以上の入力データや１以上の出力データ、及び、ＥＴＬフロー間の繋がりの例を示す。この例では、共通データモデルのカラムとして、「リソース量」があり、ＥＴＬフロー群（４０－１、４０－２、４０－３）から「リソース量」が生成される。

【0023】

ＥＴＬフロー群４０－ｎを遡ることで、「リソース量」に係る全ての入力データ４２－ｎと処理４３－ｎ及び出力データ４４－ｎの関係が取得（把握）される。すなわち、この例では、ＥＴＬフロー（４０－１）が、入力データである「工程ＩＤ計画数量」（４２－１）と「数量」（４２－２）を処理１（４３－１）で処理し、出力データである「中間１」（４４－１）を出力する。そして、ＥＴＬフロー（４０－２）において、「中間１」（４４－１）が入力され、さらに、入力データである「センサＡ」と「パラメータ」が入力され、処理２（４３－２）にて処理が実行される。そして、「中間２」（４２－５）が、ＥＴＬフロー（４０－３）において、処理Ｎ（４３－３）にて処理され、これに並行して、入力データである「能力量」（４２－６）が処理Ｍ（４３－４）にて処理され、これらの処理結果データが処理Ｎ＋Ｍ（４３－５）にて処理された結果、「リソース量」（４４－２）が生成される。

【0024】

次に、図６を参照しながら、共通データモデル対応データ把握支援処理部２０の処理について説明する。図６は、共通データモデル対応データ把握支援処理部２０の処理フローを示す。ここでは、例えば、Ｂ工場のユーザがＡ工場のある共通データモデルを指定した場合について説明する。なお、当該処理フローの主体は、データ管理装置１の中央制御装置１０である。

【0025】

Ｂ工場のユーザがＡ工場のある共通データモデルを指定した場合、ステップ５０において、共通データモデル管理部２１が実行されてＡ工場の共通データモデルのカラムリストが取得される。また、ステップ５１において、検証対象データ管理部２４が実行されてＢ工場が保有するデータのカラムリストが取得される。なお、ステップ５０とステップ５１の実行順序は問わない。

【0026】

次に、ステップ５２において、取得した全カラムの突合せが行われ、カラムマッピングが行われる。なお、カラムマッピングに関する処理は、カラムマッピング処理部２７に基づく処理であり、後で詳しく説明する。

【0027】

カラムマッピングの結果、Ｂ工場の保有データとＡ工場の共通データモデルとの間において、対応する候補がないカラムが存在する場合（ステップ５３－ｙ）、ステップ５４において、ＥＴＬレベルマッピングが行われる。なお、ＥＴＬレベルマッピングの処理は、ＥＴＬレベルマッピング処理部２８に基づく処理であり、後で詳しく説明する。

【0028】

ＥＴＬレベルマッピングの結果、Ｂ工場の保有データとＡ工場の共通データモデルとの間において、対応する候補がない場合（ステップ５５－ｙ）、ステップ５６において、推定ＥＴＬレベルマッピングが行われる。推定ＥＴＬレベルマッピングに関する処理は、推定ＥＴＬレベルマッピング処理部２９に基づく処理であり、後で詳しく説明する。

【0029】

その一方で、Ｂ工場の保有データとＡ工場の共通データモデルとの間において、対応する候補があった場合では（ステップ５３－ｎ、ステップ５５－ｎ）、後で詳しく説明する候補カラムリストに保有データのカラムの情報が追加される。また、推定ＥＴＬレベルマッピングの処理の結果に応じて、候補カラムリストに保有データのカラムの情報が適宜に追加される。

【0030】

そして、ステップ５７において、共通データモデル対応候補データ提示部３２が実行されることにより、候補カラムリストがユーザに提示される。

【0031】

次に、図７を参照しながら、カラムマッピング処理部２７に基づく処理（カラムマッピング）について詳細に説明する。図７は、ステップ５２のカラムマッピングの処理フローである。なお、当該フローの処理の主体は、データ管理装置１の中央制御装置１０である。カラムマッピングの処理の詳細な説明をする前に、先ず、図８、図９Ａ、図９Ｂを参照しながら、カラムマッピング処理の対象となるカラムデータの例について説明する。図８、図９Ａ、図９Ｂは、カラムデータの例を示す。

【0032】

図８は、Ａ工場の共通データモデルのカラムリスト（共通データモデルリスト１１０）の例である。ここで、カラムリストである共通データモデルリスト１１０は、テーブル名１１１と、テーブル名１１１が示すテーブルに属するカラム名（１１２－ｎ）と、を含む。さらに、共通データモデルリスト１１０には、各カラム（１１２－ｎ）に対する属性情報が追加されてもよい。ここで、属性情報には、一例として、論理カラム名、データの型、概要、属する分野の上位概念語等の情報が含まれる。

【0033】

図９Ａは、Ａ工場の保有データのカラムリスト（保有データカラムリスト１２０－１）の例であり、図９Ｂは、Ｂ工場の保有データのカラムリスト（保有データカラムリスト１２０－２）の例である。それぞれの保有データのカラムリスト（１２０－１／２）には、カラムのＩＤ（１２１－１／２）、カラム名（１２２－１／２）、テーブル名（１２３－１／２）、その他属性情報（１２４－１／２）等が含まれる。共通データモデルリスト１１０の場合と同様に、論理カラム名、データの型、概要、属する分野の上位概念語等の属性情報が追加されてもよい。

【0034】

カラムマッピングの処理の詳細な説明をする。図７に示すように、カラムマッピングの処理（上記したステップ５２に対応する処理）が開始された場合、ステップ６０において、ステップ５０にて取得したＡ工場の共通データモデルのカラム数分、ステップ６１～６３の処理が繰り返して実行される。

【0035】

ステップ６１において、Ａ工場の共通データモデルリスト１１０から共通データモデルのカラムがメタデータを含めて一つ取得される。そして、ステップ６２において、取得した共通データモデルのカラムに対するＢ工場の保有データの類似度判定処理が行われる。なお、類似度判定処理は、後で詳しく説明する。そして、ステップ６３において、類似度判定の結果に基づいて、Ａ工場の共通データモデルのカラムに対するＢ工場の保有データの候補カラムが判断される。

【0036】

そして、Ａ工場の共通データモデルのカラム数分の処理終了後、ステップ６４において、Ａ工場の共通データモデルに対するＢ工場の候補カラムリストが作成される。なお、この時点においては、候補となるカラムが存在しなくても構わない。

【0037】

ここで、図１０を参照しながら、候補カラムリストについて説明する。図１０は、候補カラムリストの例を示す。候補カラムリスト１７０（図１０において、カラム候補リストと記載されている）は、共通データモデルの全カラムのＩＤ１７１と、共通データモデルのカラム名１７２と、カラムの属するテーブルの情報（テーブル名、格納場所等）であるテーブル情報１７３と、カラムに対する候補カラムの有無の情報である候補有無１７４と、候補カラムの抽出ステップ１７５と、１以上の候補カラム１７６（図１０において、候補と記載されている）の情報と、を含む。ここで、抽出ステップ１７５は、何れのマッピングにおいて候補カラムが抽出されたかについて示し、抽出レベル１７５－１（カラムレベル、ＥＴＬレベル、推定ＥＴＬレベル）についての情報を含む。そして、抽出レベル１７５－１がＥＴＬレベルあるいは推定ＥＴＬレベルの場合、抽出したＥＴＬの識別番号１７５－２及び抽出したＥＴＬへの１以上の入力カラムデータＩＤ（図１０において、必要カラムＩＤ１７５－３と記載）がさらに含まれる。また、候補カラム１７６の情報は、少なくとも当該候補カラムの属するテーブル情報１７６－１と、当該候補カラム名１７６－２と、を含む。

【0038】

次に、図１１を参照しながら、ステップ６２に対応する類似度判定処理のフローについて説明する。図１１は、類似度判定処理のフローチャートを示す。類似度判定処理のフローでは、文字種別判定部３０や類似度算出モジュール管理部３１が用いられ、類似度判定処理の主体は、データ管理装置１の中央制御装置１０である。

【0039】

類似度判定処理では、ステップ７０において、ステップ５１で取得したＢ工場の保有データのカラム数分、ステップ７１～７６の処理が行われる。

【0040】

ステップ７１では、検証対象データ管理部２４が実行されてＢ工場の保有データのカラムがメタデータを含めて１つ取得される。そして、ステップ７２において、当該カラムのデータに紐づく属性情報それぞれについて、ステップ７３およびステップ７４が行われる。ここで、属性情報は、メタデータであって、例えば、カラム名、論理カラム名、データの型、概要情報、上位概念語等であり、情報数分のステップ７３およびステップ７４の処理が行われる。

【0041】

ステップ７３では、取得したメタデータの文字種別が判定され、文字種別による類似度算出手段が決定される。例えば、日本国内では、日本語（ひらがな、カタカナ、漢字）、英語に加え、日本語のローマ字表記と、複数の文字種が使われる可能性がある。また、英語同士と、日本語同士とでは、同じ類似度算出手段が有効になるとは限らない。さらに、表記種別が異なる場合、例えば共通データモデルのカラムは英語表記、保有データのカラムは日本語のローマ字表記だった場合、そのままでは類似度算出結果が低いスコアとなることは容易に想像できる。従って、文字種別を揃えるための変換処理を行い、揃えた文字種別に適した類似度算出手段を適用する必要があるので、ステップ７３では、複数の文字種別変換手段を用いて文字種別を判定して文字種別を揃えるための変換処理が行われ、それから適切な類似度算出手段（計算モジュール）が決定される。

【0042】

ステップ７４において、複数の文字種別変換手段３０を用いて同じ文字種別に変換されたメタデータ同士について、決定された類似度算出手段３１を用いて類似度が算出される。ここで、類似度算出方法としては、種々の公知技術を活用する。

【0043】

そして、ステップ７５では、ステップ７４で算出されたメタデータ毎の類似度の算出値に、予め各メタデータに付与された重み係数を掛け、類似度を合計することにより、カラムの類似度合計値が算出される。ここで、重み係数は、適宜に設定することができる。例えば、日本国内では、カラム名について文字種別が異なる場合があるが、論理名は日本語表記されていることが多いことが予想されるため、カラム名の重み係数よりも論理名の重み係数を大きくすることにより、類似度判定への寄与度を上げて適切な判定を行うことができるように設計することが可能である。

【0044】

そして、ステップ７６において、Ｂ工場の保有データのカラムの類似度合計値に基づいて、予め設定する閾値以上のカラムが候補として候補カラムリスト１７０に記録される。。ここで、メタデータの類似度の最大値と類似度合計値のうちで、閾値以上であって大きい方の値を最大値として候補カラムリスト１７０に記録してもよい。

【0045】

次に、図１２を参照しながら、ＥＴＬレベルマッピング処理部２８に基づく処理（ＥＴＬレベルマッピング）について詳細に説明する。図１２は、ステップ５４のＥＴＬレベルマッピングのフローチャートを示す。なお、当該フローの処理の主体は、データ管理装置１の中央制御装置１０である。

【0046】

ステップ８０において、Ａ工場の共通データモデルのカラムのうち、ステップ５２のカラムマッピングでは候補カラムを抽出できなかったカラム数分、ステップ８１～８４の処理が行われる。

【0047】

先ず、ステップ８１において、共通データモデル管理部２１が実行されてＡ工場の共通データモデルのカラムがメタデータを含めて１つ取得される。そして、ステップ８２において、当該カラム＝出力データの関係にあるＥＴＬフローが、ＥＴＬリポジトリ７から取得される。すなわち、図５の例を参照して説明すると、最終的な出力データである「リソース量」（４４－２）を出力するＥＴＬフローはＥＴＬ３（４０－３）であるので、図５の例では、ＥＴＬ３（４０－３）が取得される。

【0048】

なお、ＥＴＬリポジトリ７には、図１３に示すように、一例として、ＥＴＬフローのデータがテーブル形式で登録され、ＥＴＬリポジトリテーブル１３０は、一例として、各ＥＴＬを識別する情報１３１と、入力データ１３２と、出力データ１３３と、処理の情報（図１３において、処理１３４と記載）と、ｈоｐの情報（図１３において、ｈоｐ１３５と記載）と、を含む。入力データ１３１および出力データ１３２には、各ＥＴＬフローに係るカラムのＩＤ（１３２－１／１３３－１）、カラム名（１３２－２／１３３－２）、テーブル名（１３２－３／１３３－３）、の情報が含まれる。処理の情報には、各ＥＴＬフローに係る処理ＩＤ（１３４－１）、処理名（１３４－２）の情報が含まれる。ｈоｐの情報には、各ＥＴＬフローに係る送信元（１３５－１）と送信先（１３５－２）の情報が含まれる。

【0049】

そして、ステップ８３において、ステップ８２において取得されたＥＴＬフローの入力データが取得される。例えば、ステップ８２でＥＴＬ３（４０－３）が取得された場合、ＥＴＬ３（４０－３）への入力データである「中間２」（４２－５）及び「能力量」（４２－６）が取得される。

【0050】

そして、ステップ８４において、ステップ８３で取得した入力データ数分、ステップ６２の類似度判定が行われる。つまり、ＥＴＬレベルマッピングにおける類似度判定は、ＥＴＬリポジトリ７から取得されたＥＴＬの入力データとＢ工場の保有データのカラムとの間のメタデータを利用して行われる。そして、ステップ６４において、Ａ工場の共通データモデルに対するＢ工場の候補カラムリストが作成される。なお、この時点においては、候補となるカラムが存在しなくても構わない。

【0051】

次に、図１４を参照しながら、カラムマッピング５２及びＥＴＬレベルマッピング５４で候補カラムを抽出できなかったカラムに対し、さらにＥＴＬフローを探索する処理（推定ＥＴＬレベルマッピング５６）について説明する。図１４は、推定ＥＴＬレベルマッピングのフローチャートを示す。なお、推定ＥＴＬレベルマッピング５６は、推定ＥＴＬレベルマッピング処理部２９に基づく処理であり、処理の主体は、データ管理装置１の中央制御装置１０である。

【0052】

ステップ８０において、Ａ工場の共通データモデルのカラムのうち、ＥＴＬレベルマッピングでは候補カラムを抽出できなかったカラム数分、ステップ８１、９０～１０１の処理が行われる。

【0053】

先ず、ステップ８１において、共通データモデル管理部２１が実行されてＡ工場の共通データモデルのカラムがメタデータを含めて１つ取得される。そして、ステップ９０において、当該カラム＝出力データの関係にあるＥＴＬフローが、ＥＴＬリポジトリ７から取得される。上記で説明した場合と同様に、図５の例では、最終的な出力データである「リソース量」（４４－２）を出力するＥＴＬフローはＥＴＬ３（４０－３）であるので、この例では、ＥＴＬ３（４０－３）が取得される。

【0054】

そして、ステップ９１において、当該ＥＴＬ３（４０－３）の１以上の実行ログが実行ＥＴＬログ９より取得され、当該実行ＥＴＬログ９の情報からＥＴＬ３（４０－３）の実行傾向が分析される。ここで、実行ＥＴＬログ９の例を、図１５に示す。

【0055】

図１５の一例に示すように、実行ＥＴＬログ９（図１５において、ＥＴＬ実行ログ１４０と記載）は、ＥＴＬ実行ＩＤ１４１、実行ＥＴＬフローＩＤ１４２、当該ＥＴＬフローの所有者情報１４３、当該ＥＴＬフローの実行者情報１４４、当該ＥＴＬフローの実行開始時間１４５及び実行終了時間１４６等を含む。なお、実行者情報１４４はユーザ（人）でもプログラムでも構わない。

【0056】

なお、ステップ９１の実行傾向分析では、公知技術を用いることが可能である。例えば、実行ＥＴＬログ９において、あるＥＴＬフローの所有者あるいは実行者が定期的に又は定時実行することに着目して、ＥＴＬフローの実行傾向が分析されてもよい。

【0057】

そして、ステップ９２において、ステップ９１で分析したＥＴＬフローの実行傾向と同様の実行傾向があり、かつ出現時間に相関のあるＥＴＬフローが、実行ＥＴＬログ９より抽出される。例えば、ＥＴＬフロー３（４０－３）の実行開始時間１４５以前に、ＥＴＬフロー１（４０－１）が定期的に実行される傾向があり、ＥＴＬフロー３（４０－３）とＥＴＬフロー１（４０－１）の実行に相関がある場合（一例として、ＥＴＬフロー３の実行開始時間から所定時間前にＥＴＬフロー１が同一の実行者により頻繁に実行されており、それぞれのＥＴＬフローに相関があると認められる場合）、ＥＴＬフロー１（４０－１）が抽出される。そして、ステップ９３において、抽出したＥＴＬフロー１（４０－１）の出力データである「中間１」が取得される。

【0058】

さらに、ステップ９４において、ＥＴＬの実行順序に基づいて、前に実行されるＥＴＬの出力データと後で実行されるＥＴＬの入力データとが同じであるかどうかについての検証が行われる。例えば、ＥＴＬ１（４０－１）の出力データである「中間１」とＥＴＬ３（４０－３）の入力データである「中間２」や「能力量」とを比較し、同じデータを含んでおりＥＴＬ間の連結性が認められる場合（つまり、対応する出力データと入力データがあり、ＥＴＬ間の連結性が認められる場合）では（ステップ９４－ｙ）、ステップ９５において、ＥＴＬ１（４０－１）の入力データである「工程ＩＤ計画数量」と「数量」が取得される。そして、ステップ６２のメタデータに基づく類似度判定が行われる。

【0059】

その一方で、ＥＴＬ１（４０－１）の出力データとＥＴＬ３（４０－３）の入力データが異なる場合では（ステップ９４－ｎ）、ステップ９６において、ＥＴＬ１（４０－１）とＥＴＬ３（４０－３）の実行時間の差が算出され、実行時間の差が予め設定する閾値以内かどうかについての検証が行われる。

【0060】

ここで、閾値以上であった場合（例えば、ＥＴＬ１（４０－１）の実行一か月後にＥＴＬ３（４０－３）が実行される傾向があって閾値以上となる場合）では（ステップ９６－ｎ）、ステップ９７が行われる。ステップ９７では、ＥＴＬ１（４０－１）とＥＴＬ３（４０－３）は連結して処理されるＥＴＬではないことが判断され、ステップ１０２において、Ａ工場の保有データに、「出力量（この説明では、リソース量４４－２）」に対応するカラムがないこと、及び、「出力量」を生成するのに必要なカラムがないことを推定した結果が、候補カラムリスト１７０に更新される。

【0061】

その一方で、ＥＴＬ１（４０－１）とＥＴＬ３（４０－３）の実行時間の差が閾値以内であった場合（ステップ９６－ｙ）では、ＥＴＬリポジトリ７に未登録のＥＴＬ（未登録ＥＴＬ）があることが推定されて当該未登録のＥＴＬが求められる。先ず、ステップ９８において、ＥＴＬ１（４０－１）の出力データとＥＴＬ３（４０－３）の入力データに対するアクセス履歴が、アクセスログ３８より取得される。ここで、アクセスログ３８の例を図１６に示す。

【0062】

図１６の一例に示すように、アクセスログ３８は、アクセスＩＤ１５１、アクセス操作種別１５２、アクセスされたデータ所有者１５３、アクセス操作実行者１５４、アクセス先情報（データ格納場所）１５５、アクセス処理の実行開始時間１５６等を含む。ここで、アクセス操作種別１５２（図１６において、ＣＲＵＤ）は、Ｒｅａｄ／Ｗｒｉｔｅ／Ｕｐｄａｔｅ／Ｄｅｌｅｔｅ等の操作の種別を示す。

【0063】

そして、ステップ９９において、ステップ９８において取得したアクセス履歴を用いて、ＥＴＬ１（４０－１）及びＥＴＬ３（４０－３）の記録時間の間に、Ｒｅａｄ処理される傾向のデータがあるかどうかについての検索が行われる。

【0064】

図１６の例では、アクセスＩＤ「００１０」でＥＴＬ１（４０－１）の出力データである「中間１」に対するＲｅａｄ操作が記録され、アクセスＩＤ「０１０１」でＥＴＬ３（４０－３）の入力データである「中間２」のＷｒｉｔｅ操作が記録されている。従って、ステップ９８では、この２つのアクセス履歴が取得される。そして、ステップ９９では、この２つのアクセス処理の間に何らかのＥＴＬフローが実行されている可能性があると推定して、この間においてアクセス処理が記録されているデータが抽出される。すなわち、アクセスＩＤ「００１５」に基づく「センサＡ」のデータ、及び、アクセスＩＤ「００２８」に基づく「パラメータ」のデータが抽出される。そして、ステップ１００において、抽出されたデータのメタデータ（この場合、２つのデータ「センサＡ」及び「パラメータ」のメタデータ）が取得され、その結果が推定入力データテーブルに記録される。

【0065】

なお、データの抽出頻度に基づいて、抽出したデータが未登録のＥＴＬへの入力データであると推定されてもよい。例えば、複数のアクセスＩＤに係る「センサＡ」及び「パラメータ」の抽出頻度の高さが所定閾値以上である場合において、「センサＡ」及び「パラメータ」が未登録のＥＴＬへの入力データであると推定され、その結果が推定入力データテーブルに記録されてもよい。

【0066】

図１７の一例に示すように、推定入力データテーブル１６０は、推定処理ＩＤ１６１、連結入力データ１６２、１以上の推定入力データ１６３－ｎ、連結出力データ１６４を含む。そして、推定入力データテーブル１６０にデータが記録された場合、推定入力データテーブル１６０を用いてステップ６２のメタデータに基づく類似度判定が行われる。すなわち、この類似度判定は、ＥＴＬリポジトリ７に未登録であると推定されたＥＴＬの入力データとＢ工場の保有データのカラムとの間のメタデータを利用して行われる。この類似度判定の結果、候補カラムがあると判断された場合、ステップ１０２において、Ｂ工場の候補カラムリストに、抽出ステップ１７５の抽出レベル１７５－１を推定ＥＴＬとする更新が行われる。

【0067】

なお、推定ＥＴＬレベルマッピング５６は、カラムマッピング５２及びＥＴＬレベルマッピング５４とは異なり、推定処理を用いてＥＴＬを抽出して類似度を算出する。従って、上記した類似度判定処理におけるステップ７５の処理とは別に、適宜のプログラムの実行により、算出された類似度に重み係数を掛けて類似度判定への寄与度を低くする設計が行われてもよい。ここで、重み付けは、推定ＥＴＬレベルマッピング５６の類似度判定への寄与度を低くするように、適宜に行えばよいが、一例として、カラムマッピング５２＞ＥＴＬレベルマッピング５４＞推定ＥＴＬレベルマッピング５６の優先順位となる（つまり、カラムマッピング５２の方が類似度判定への寄与度が高くなる）重み付けが行われてもよい。また、例えば、カラムマッピング５２＝ＥＴＬレベルマッピング５４＞推定ＥＴＬレベルマッピング５６の優先順位となる重み付けが行われてもよい。

【0068】

また、推定ＥＴＬレベルマッピング５６において、ＥＴＬ間で連結性があると判断されて算出される類似度と、ＥＴＬ間で連結性がないと判断されて算出される類似度と、を区別した重み付けが行われてもよい。例えば、カラムマッピング５２及びＥＴＬレベルマッピング５４の類似度に対する重み係数を１、推定ＥＴＬレベルマッピング５６においてＥＴＬ間で連結性があると判断されて算出される類似度に対する重み係数を０．７、推定ＥＴＬレベルマッピング５６においてＥＴＬ間で連結性がないと判断されて算出される類似度に対する重み係数を０．３、とする重み付けが行われてもよい。

【0069】

次に、図１８、図１９を参照しながら、ポータル２１で処理され、ユーザへ表示される画面の例について説明する。ユーザへの画面の提示には、共通データモデル対応候補データ提示部３２が用いられ、共通データモデル対応候補データ提示部３２は、データ管理装置１の中央制御装置１０により実行される。

【0070】

図１８は、ユーザが共通データモデルに対する保有データの候補探索に用いる画面の例である。図１８において、ポータル２１の画面１８０は、候補探索タブ１８１と探索結果タブ１８２のページを含む。そして、候補探索タブ１８１は、共通データモデルの情報を入力するエリア１８３において、探索する共通データモデル名の情報１８４、共通データモデル１８４の対応アプリケーションを示す情報１８５、探索対象データストアの格納場所を示す情報１８６、データストア１８６を追加するボタン１８７、削除ボタン１８８を含む。ここで、共通データモデルを入力するエリア１８３の共通データモデル名の情報１８４や対応アプリケーションの情報１８５は、リスト化され、その中から選択する形式でもよい。

【0071】

図１９は、図１８において入力された情報に基づく共通データモデル対応データ把握支援処理部２０の結果（言い換えれば、算出した類似度に基づくデータの利活用に関する情報）を表示する画面の例である。図１９の探索結果タブ１８２では、候補探索タブ１８１のエリア１８３において入力あるいは選択された共通データモデル名を示す情報１９１、及び、共通データモデル対応データ把握支援処理部２０で生成された候補カラムリスト１７０が表示される。この候補カラムリスト１７０をユーザが参照することにより、何れのデータを利用することができるか、何れのマッピング処理において取得されるか、等のデータの利活用に関する情報を把握することができる。なお、図１８と図１９に基づく表示の説明は一例であり、表示の態様等は適宜に変更されてもよい。

【0072】

上記実施形態によれば、リポジトリに未登録のデータ処理フロー（ＥＴＬフロー）があったことが推定されても、データモデルに相当する保有データの候補を検出して取得できる。すなわち、一部共有されていないデータやデータ処理が存在する環境においても、再利用するデータモデルに対する保有データの検証範囲を拡張できるため、ユーザの探索工数のより一層の削減を実現することができる。

【0073】

以上実施形態について説明したが、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、実施形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

【0074】

データ利活用支援システムの処理に用いるデータのメタデータが、リポジトリに蓄積されて共有され、データ利活用支援システムは、リポジトリに蓄積されたメタデータを用いて処理を行ってもよい。

【0075】

中央制御装置１０（プロセッサ）の一例としてはＣＰＵが考えられるが、所定の処理を実行する主体であれば他の半導体デバイス（例えば、ＧＰＵ）でもよい。

【符号の説明】

【0076】

１ データ管理装置
５ データカタログサーバ
７ ＥＴＬリポジトリサーバ
９ 実行ＥＴＬログ
２０ 共通データモデル対応データ把握支援処理部
２９ 推定ＥＴＬレベルマッピング処理部
３２ 共通データモデル対応候補データ提示部
３７ データストア
３８ データストアアクセスログ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】