特開 2023-172407 データロード装置およびデータロード方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023172407

(43)【公開日】2023-12-06

(54)【発明の名称】データロード装置およびデータロード方法

(51)【国際特許分類】

   G06F 16/182 20190101AFI20231129BHJP

   H04L 67/06 20220101ALI20231129BHJP

【ＦＩ】

G06F16/182 100

H04L67/06

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022084182

(22)【出願日】2022-05-23

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】後藤 弘樹

(57)【要約】

【課題】データウェアハウスにデータをロードする際に、コストを優先するか転送速度を優先するかのニーズに沿って最適な形態のデータロードを行う。
【解決手段】ロードするファイルに対して、ユーザ指定モードの情報が速度優先の指定であるときには、データウェアハウスのサイズごとに、ファイルロード時の転送速度に関する情報に従って、データウェアハウスのサイズを設定し、コスト優先の指定であるときには、データウェアハウスのサイズごとに、ファイルロード時の転送速度に関する情報と、データウェアハウスのサイズごとに、ファイルロード時の転送速度に対するコストの比に関する情報とに従って、ロードするファイルに対してコストを算出して、算出されたコストを参照し、データウェアハウスのサイズを設定して、ファイルをロードする。
【選択図】 図９Ｂ

【特許請求の範囲】

【請求項1】

データウェアハウスのサイズに従って、データウェアハウスのサービスを提供するデータウェアハウスにファイルをロードするデータロード装置であって、
ファイルをロードするデータウェアハウスに対して、最適なファイルサイズとファイル形式の情報と、
ファイルごとにコスト優先か速度優先かを指定するユーザ指定モードの情報と、
データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に関する情報と、
データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に対するコストの比に関する情報とを保持し、
前記ファイルをロードするデータウェアハウスに対して、最適なファイルサイズとファイル形式の情報を参照して、必要なときには、外部より取り込んだファイルのファイルサイズとファイル形式を変更し、
ロードするファイルに対して、前記ユーザ指定モードの情報が速度優先の指定であるときには、データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に関する情報に従って、前記データウェアハウスのサイズを設定し、前記ユーザ指定モードの情報がコスト優先の指定であるときには、前記データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に関する情報と、前記データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に対するコストの比に関する情報とに従って、ロードするファイルに対してコストを算出して、前記算出されたコストを参照し、前記データウェアハウスのサイズを設定し、
設定した前記データウェアハウスのサイズに従って、前記ファイルをロードすることを特徴とするデータロード装置。

【請求項2】

ロードするファイルに対して、前記ユーザ指定モードの情報が速度優先の指定であるときには、データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に関する情報を参照し、前記データウェアハウスのサイズに対応する転送速度の一番小さなデータウェアハウスのサイズを設定することを特徴とする請求項１記載のデータロード装置。

【請求項3】

ロードするファイルに対して、前記ユーザ指定モードの情報がコスト優先の指定であるときには、
前記コストは、前記データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度と、前記データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に対するコストと転送速度の比との積をとって、前記ファイルをデータウェアハウスのロードするときのコストを算出して、算出された前記データウェアハウスのサイズに対応するコストの一番小さなデータウェアハウスのサイズを設定することを特徴とする請求項１記載のデータロード装置。

【請求項4】

データウェアハウスのサイズに従って、データウェアハウスのサービスを提供するデータウェアハウスにファイルをロードするデータロード装置によるデータロード方法であって、
前記データロード装置は、
ファイルをロードするデータウェアハウスに対して、最適なファイルサイズとファイル形式の情報と、
ファイルごとにコスト優先か速度優先かを指定するユーザ指定モードの情報と、
データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に関する情報と、
データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に対するコストの比に関する情報とを保持し、
前記データロード装置が、前記ファイルをロードするデータウェアハウスに対して、最適なファイルサイズとファイル形式の情報を参照して、必要なときには、外部より取り込んだファイルのファイルサイズとファイル形式を変更するステップと、
前記データロード装置が、ロードするファイルに対して、前記ユーザ指定モードの情報が速度優先の指定であるときには、データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に関する情報に従って、前記データウェアハウスのサイズに対応する転送速度の一番小さなデータウェアハウスのサイズを設定するステップと、
前記データロード装置が、ロードするファイルに対して、前記ユーザ指定モードの情報がコスト優先の指定であるときには、前記データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に関する情報と、前記データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に対するコストの比に関する情報とに従って、ロードするファイルに対してコストを算出して、算出された前記データウェアハウスのサイズに対応するコストの一番小さなデータウェアハウスのサイズを設定するステップと、
設定した前記データウェアハウスのサイズな従って、前記ファイルをロードするステップとを有することを特徴とするデータロード方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データロード装置およびデータロード方法に係り、特に、データウェアハウスにデータをロードする際に、ユーザのニーズに沿って最適な形態のデータロードを行うのに好適なデータロード装置およびデータロード方法に関する。

【背景技術】

【0002】

生産管理や販売管理といった「基幹系システム」、ＭＡ（Marketing Automation）ツール、ＳＦＡ（Sales Force Automation）ツール、ＣＲＭ（Customer Relationship Management）ツールといった「戦略系システム」、Ｗｅｂサイトのアクセスログ、ＩｏＴ（Internet of Things）機器のセンサーログなど、日々蓄積される大量のデータを格納するためにデータウェアハウス（Data Warehouse:以下、「ＤＷＨ」とも表記する）を活用することが期待されている。データウェアハウスとは、様々なシステムからデータを集めて整理するデータの「倉庫」である。このデータウェアハウスではデータが時系列で保存されるため、過去のデータ履歴を確認できると同時に、システムごとのデータを集約して全体のデータとして活用でき、経営やマーケティングにおいての、重要な意思決定をサポートし、より優れた企業の意思決定を行うことができる。

【0003】

このようにデータウェアハウスに蓄積された大量のデータを分析することによって、より効果的なデータ活用を行うには、データウェアハウスに、ネットワークを介して遠隔のデータサーバなどから大容量かつ大量のデータロードを行うことが必要となり、その際のデータロードには膨大な時間とデータ転送コストを要する。

【0004】

これに関連して、データ転送のコストを考慮し、ネットワークを介してデータを転送するシステムについては、例えば、特許文献１に開示されている。また、特許文献２では、データ送信の際に、データ要求の指定情報に従い、品質優先か時間優先であるかに従って、データ転送を行うシステムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開平１０－２８９１７４号公報

【特許文献2】特開平７－１５２６６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１のデータ転送システムは、データ転送に要するコストを複数の候補データの組み合わせごとにあらかじめ算出し、利用者の要求に合う最適な情報の組み合わせをその候補の中から選択して、ネットワークを介して転送するものである。

【0007】

また、特許文献２のシステムでは、データ要求に含まれる指定情報が品質優先か、時間優先かを判定し、指定情報が品質優先であれば、データをそのままネットワーク送信部へ転送し、指定情報が時間優先であれば、供給すべきデータをデータ圧縮部へ転送し、ネットワーク回線の混み具合等に応じて選択された圧縮・間引き方法で処理した後、ネットワーク送信部転送することにしている。

【0008】

上記特許文献１と特許文献２では、データ転送に要するコストと時間について考慮されているが、必ずしもデータウェアハウスに対するデータロードに適したものではない。

【0009】

データウェアハウスでは、例えば、ユーザがデータウェアハウスに対するサイズを指定して、利用料金を支払うのが通常であるが、従来技術では、その際にユーザが利用のためのコストを優先するかデータをロードする際の転送速度を優先するかの意思を反映することについては考慮されていない。

【0010】

本発明の目的は、データウェアハウスにデータをロードする際に、コストを優先するか転送速度を優先するかのユーザのニーズに沿って最適な形態のデータロードを行うことのできるデータロード装置およびデータロードシステムを提供することにある。

【課題を解決するための手段】

【0011】

本発明のデータロード装置の構成は、好ましくは、データウェアハウスのサイズに従って、データウェアハウスのサービスを提供するデータウェアハウスにファイルをロードするデータロード装置であって、ファイルをロードするデータウェアハウスに対して、最適なファイルサイズとファイル形式の情報と、ファイルごとにコスト優先か速度優先かを指定するユーザ指定モードの情報と、データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に関する情報と、データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に対するコストの比に関する情報とを保持し、ファイルをロードするデータウェアハウスに対して、最適なファイルサイズとファイル形式の情報を参照して、必要なときには、外部より取り込んだファイルのファイルサイズとファイル形式を変更し、ロードするファイルに対して、ユーザ指定モードの情報が速度優先の指定であるときには、データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に関する情報に従って、データウェアハウスのサイズを設定し、ユーザ指定モードの情報がコスト優先の指定であるときには、データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に関する情報と、データウェアハウスのサイズごとに、ファイルをデータウェアハウスのロードするときの転送速度に対するコストの比に関する情報とに従って、ロードするファイルに対してコストを算出して、算出されたコストを参照し、データウェアハウスのサイズを設定し、設定したデータウェアハウスのサイズに従って、ファイルをロードするようにしたものである。

【発明の効果】

【0012】

本発明によれば、データウェアハウスにデータをロードする際に、コストを優先するか転送速度を優先するかのユーザのニーズに沿って最適な形態のデータロードを行うことのできるデータロード装置およびデータロードシステムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】データウェアハウス利用システムの全体構成図である。

【図2】データロード装置の機能構成図である。

【図3】データロード装置のハードウェア・ソフトウェア構成図である。

【図4】データウェアハウス最適ロード条件情報テーブルの一例を示す図である。

【図5】加工前ファイル情報テーブルの一例を示す図である。

【図6】加工後ファイル情報テーブルの一例を示す図である。

【図7】データウェアハウス転送時間情報テーブルの一例を示す図である。

【図8】データウェアハウスコスト・転送時間比情報テーブルの一例を示す図である。

【図9A】ファイル取込からデータウェアハウスのデータロードまで、データロード装置が行う一連の処理を示すフローチャートである（その一）。

【図9B】ファイル取込からデータウェアハウスのデータロードまで、データロード装置が行う一連の処理を示すフローチャートである（その二）。

【発明を実施するための形態】

【0014】

以下、図１ないし図９Ｂを用いて、本発明の一実施形態を説明する。

【0015】

先ず、図１ないし図３を用いて本発明のデータロード装置が用いられるデータウェアハウス利用システムの構成について説明する。

【0016】

先ず、図１を用いてデータウェアハウス利用システムの全体構成について説明する。
データウェアハウス利用システムは、図１に示されように、利用者端末１０、データロード装置１００、データベースサーバ２００、データウェアハウス３００がネットワーク５により接続された形態である。ネットワーク５は、通常はインターネットのようなグローバルネットワークであるが、ＬＡＮ（Local Area Network）であってもよい。

【0017】

利用者端末１０は、データウェアハウスを利用するユーザが使用する情報処理装置である。ユーザは、利用者端末１０から利用者がファイル単位で、ユーザ指定モードの指定をしたり（詳細は、後述）、データウェアハウス３００にアクセスしデータ分析を行う。

【0018】

データロード装置１００は、データベースサーバ２００からデータベース２１０に蓄えられたマスタやトランザクションデータなどのファイルを取り込んで、データウェアハウス３００にロードする装置である。

【0019】

データウェアハウス３００は、ユーザが利用してデータ分析するデータウェアハウスの機能を提供するクラウドサービスであり、そのサービスを提供するシステムである。

【0020】

データロード装置１００は、図２に示されるように、ファイル形式変換部１０１、ファイル分割部１０２、データウェアハウスサイズ設定部１０３、スクリプト実行部１０４、外部Ｉ／Ｆ（InterFace）部１１０、記憶部１２０の各機能部からなる。

【0021】

ファイル形式変換部１０１は、データベース２１０から取り込んだファイル形式を変換する機能部である。ファイル分割部１０２は、データベース２１０から取り込んだファイルを分割して小容量なファイルにする機能部である。データウェアハウスサイズ設定部１０３は、ファイルをデータウェアハウス３００にロードするときには、データウェアハウスのサイズ（詳細は後述）を設定する機能部である。スクリプト実行部１０４は、データロードスクリプト１３１を実行して、ファイルをデータウェアハウス３００にロードする機能部である。外部Ｉ／Ｆ（InterFace）部１１０は、ネットワーク５を介して、利用者端末１０、データベースサーバ２００、データウェアハウス３００とインタフェース処理を行う機能部である。記憶部１２０は、データロード装置１００で使用されるデータを記憶する機能部である。

【0022】

記憶部１２０には、加工前ファイル群１２１、加工後ファイル群１２２、データロードスクリプト１３１、データウェアハウス最適ロード条件情報テーブル１４１、加工前ファイル情報テーブル１４２、加工後ファイル情報テーブル１４３、データウェアハウス転送時間情報テーブル１４４、データウェアハウスコスト・転送時間比情報テーブル１４５が保持される。

【0023】

加工前ファイル群１２１は、データベース２１０から取り込んだ複数のファイルである。図２では、データベース２１０から取り込んだファイルとして、「Ａ．ｃｓｖ」、「Ｂ．ｃｓｖ」、「Ｃ．ｃｓｖ」が図示されている。加工後ファイル群１２２は、データベース２１０から取り込んだファイルに対して、形式変換やファイル分割などの加工を行った後のファイルである。図２では、「Ａ．ｃｓｖ」を加工した「Ａ＿１．ｃｓｖ」、「Ａ＿２．ｃｓｖ」、「Ａ＿３．ｃｓｖ」を図示している。データロードスクリプト１３１は、ファイルをデータウェアハウス３００にロードするときに実行されるスクリプトである。

【0024】

データウェアハウス最適ロード条件情報テーブル１４１、加工前ファイル情報テーブル１４２、加工後ファイル情報テーブル１４３、データウェアハウス転送時間情報テーブル１４４、データウェアハウスコスト・転送時間比情報テーブル１４５の詳細については後述する。

【0025】

次に、図３を用いてデータロード装置のハードウェア・ソフトウェア構成を説明する。
データロード装置１００のハードウェア構成としては、例えば、図３に示されるパーソナルコンピュータのような一般的な情報処理装置で実現される。

【0026】

データロード装置１００は、ＣＰＵ（Central Processing Unit）４０２、主記憶装置４０４、ネットワークＩ／Ｆ（InterFace）４０６、表示Ｉ／Ｆ４０８、入出力Ｉ／Ｆ４１０、補助記憶Ｉ／Ｆ４１２が、バスにより結合された形態になっている。

【0027】

ＣＰＵ４０２は、データロード装置１００の各部を制御し、主記憶装置４０４に必要なプログラムをロードして実行する。

【0028】

主記憶装置４０４は、通常、ＲＡＭなどの揮発メモリで構成され、ＣＰＵ４０２が実行するプログラム、参照するデータが記憶される。

【0029】

ネットワークＩ／Ｆ４０６は、ネットワーク５と接続するためのインタフェースである。

【0030】

表示Ｉ／Ｆ４０８は、ＬＣＤ（Liquid Crystal Display）などの表示装置４２０を接続するためのインタフェースである。

【0031】

入出力Ｉ／Ｆ４１０は、入出力装置を接続するためのインタフェースである。図３の例では、キーボード４３０とポインティングデバイスのマウス４３２が接続されている。

【0032】

補助記憶Ｉ／Ｆ４１２は、ＨＤＤ（Hard Disk Drive）４５０やＳＳＤ（Solid State Drive）などの補助記憶装置を接続するためのインタフェースである。

【0033】

ＨＤＤ４５０は、大容量の記憶容量を有しており、本実施形態を実行するためのプログラムが格納されている。

【0034】

データロード装置１００には、ファイル形式変換プログラム４６１、ファイル分割プログラム４６２、データウェアハウスサイズ設定プログラム４６３、スクリプト実行プログラム４６４、外部Ｉ／Ｆプログラム４６５がインストールされている。

【0035】

ファイル形式変換プログラム４６１、ファイル分割プログラム４６２、データウェアハウスサイズ設定プログラム４６３、スクリプト実行プログラム４６４、外部Ｉ／Ｆプログラム４６５は、それぞれ、ファイル形式変換部１０１、ファイル分割部１０２、データウェアハウスサイズ設定部１０３、スクリプト実行部１０４、外部Ｉ／Ｆ部１１０の機能を実行する機能部である。

【0036】

また、ＨＤＤ４５０には、加工前ファイル群１２１、加工後ファイル群１２２、データロードスクリプト１３１、データウェアハウス最適ロード条件情報テーブル１４１、加工前ファイル情報テーブル１４２、加工後ファイル情報テーブル１４３、データウェアハウス転送時間情報テーブル１４４、データウェアハウスコスト・転送時間比情報テーブル１４５が格納されている。

【0037】

次に、データウェアハウスのサイズについて説明する。

【0038】

データウェアハウスのサイズとは、ユーザがデータウェアハウスのサービスを利用するとき（例えば、仮想データウェアハウスを作成するとき）に、指定するパラメータである。ユーザは、データウェアハウスのサービスを利用するときに、その利用目的に従って、小さいサイズから大きいサイズまで、任意に指定することができ、いつでもそのサイズを変更することができる。データウェアハウスのサービスの利用に関しての課金は、データウェアハウスのサービス／単位時間という指標に基づいて行われ、小さいサイズのときには、課金は小さく、大きいサイズのときには、課金は大きくされる。本実施形態では、以下、データウェアハウスのサービスに対する単位時間あたりの課金単位を「コスト」という用語で表現する。また、一般的に、データウェアハウスのサイズが小さいときには、データの転送速度が遅くなり、データウェアハウスのサイズが大きいときには、データの転送速度が速くなる。従って、一定量のデータをデータウェアハウスに速くロードしたいときには、データウェアハウスのサイズが大きくすればよい。

【0039】

本実施形態では、上記のデータウェアハウスのサイズの性質を鑑みて、データウェアハウにロードするときに、ユーザの重視する観点に従って、ユーザ指定モードとして、「コスト優先」か「速度優先」かを指定できることにした。

【0040】

次に、図４ないし図８を用いてデータロード装置で用いられるデータ構造について説明する。

【0041】

データウェアハウス最適ロード条件情報テーブル１４１は、ユーザが利用するデータウェアハウスの最適なファイルに対するロード条件の情報を保持するテーブルであり、図４に示すように、ロードデータウェアハウス１４１ａ、ファイル形式１４１ｂ、ファイルサイズ１４１ｃの各フィールドからなる。

【0042】

ロードデータウェアハウス１４１ａには、ファイルをロードする対象となるデータウェアハウスの種類の名称または識別子が格納される。ファイル形式１４１ｂには、ロードデータウェアハウス１４１ａの示すデータウェアハウスにファイルをロードするときの最適なファイル形式の名称または識別子が格納される。ファイルサイズ１４１ｃには、データウェアハウスにファイルをロードするときの最適なファイルサイズ、すなわち、このファイルサイズより大きいときには、ロードのときの性能が低下されると見積もられるサイズが、例えば、ＭＢ単位で格納される。

【0043】

データウェアハウス最適ロード条件情報テーブル１４１に格納される情報は、例えば、データウェアハウスのサービスを提供するベンダーのＷｅｂページの情報や仕様書の情報などから作成することができる。

【0044】

加工前ファイル情報テーブル１４２は、データベース２１０から取り込んだ直後の加工前のファイルに対しての情報を格納するテーブルであり、図５に示されるように、加工前ファイル１４２ａ、ファイルサイズ１４２ｂ、ユーザ指定モード１４２ｃの各フィールドからなる。

【0045】

加工前ファイル１４２ａには、データベース２１０から取り込んだ直後の加工前のファイルの名称がファイルの形式を示す拡張子付きで格納される。ファイルサイズ１４２ｂには、加工前ファイル１４２ａに示されるファイルのサイズがＭＢ単位で格納される。ユーザ指定モード１４２ｃには、加工前ファイル１４２ａに示されるファイルに対して、「コスト優先」か「速度優先」を示すフラグが格納される。

【0046】

加工後ファイル情報テーブル１４３は、加工前のファイルをファイル形式の変更やファイルを分割した加工後のファイルの情報を格納するテーブルであり、図６に示されるように、加工後ファイル１４３ａ、ファイルサイズ１４３ｂ、圧縮形式１４３ｃ、ユーザ指定モード１４３ｄの各フィールドからなる。

【0047】

加工後ファイル１４３ａには、加工前のファイルをファイル形式の変更やファイルを分割した加工後のファイルの名称がファイルの形式を示す拡張子付きで格納される。ファイルサイズ１４３ｂには、加工後ファイル１４３ａに示されるファイルのサイズがＭＢ単位で格納される。圧縮形式１４３ｃには、加工後ファイル１４３ａに示されるファイルが圧縮形式であるか否かのフラグが格納される。例えば、ｃｓｖ、ｔｘｔの形式のときには、「非圧縮」とし、ｚｉｐ、７ｚの形式のときには、「圧縮」とされる。ユーザ指定モード１４３ｃには、加工後ファイル１４３ａに示されるファイルに対して、「コスト優先」か「速度優先」を示すフラグが格納される。ユーザ指定モード１４３ｃは、加工前のユーザ指定モードを引き継ぐものとする。例えば、加工前ファイルが「Ａ．ｃｓｖ」であり、ユーザ指定モード１４２ｃが「コスト優先」であるときに、そのファイルのファイル分割の結果として「Ａ＿１．ｃｓｖ」、「Ａ＿２．ｃｓｖ」、「Ａ＿３．ｃｓｖ」が生成されたときに、それらのユーザ指定モード１４３ｄの値は、全て「コスト優先」となる。

【0048】

データウェアハウス転送時間情報テーブル１４４は、ファイルサイズごと、圧縮形式ごと、データウェアハウスのサイズごとのデータウェアハウスへの転送に要する時間情報を保持するテーブルであり、図７に示されるように、ファイルサイズ１４４ａ、圧縮形式１４４ｂ、データウェアハウスのサイズ１４４ｃ、転送時間１４４ｄの各フィールドからなる。

【0049】

ファイルサイズ１４４ａには、データロードの対象となるファイルのファイルサイズが格納される。圧縮形式１４４ｂには、データロードの対象となるファイルが圧縮形式であるか否かのフラグが格納される。データウェアハウスのサイズ１４４ｃには、ファイルをロードするデータウェアハウスのサイズの種類を示す名称または識別子が格納される。本実施形態の例では、データウェアハウスのサイズとして、サイズが小さい順から「Ｘ－Ｓｍａｌｌ」、「Ｓｍａｌｌ」、「Ｍｅｄｉｕｍ」、「Ｌａｒｇｅ」「Ｘ－Ｌａｒｇｅ」、「２Ｘ－Ｌａｒｇｅ」、「３Ｘ－Ｌａｒｇｅ」、「４Ｘ－Ｌａｒｇｅ」の８種類とした。転送時間１４４ｄには、データロードの対象となるファイルのファイルサイズがファイルサイズ１４４ａに示す値で、ファイルが圧縮形式１４４ｂで示す圧縮形式であり、かつ、データウェアハウスのサイズ１４４ｃに示すサイズのデータウェアハウスにファイルをロードするときの転送時間が、時分秒の単位とともに格納される。一般に、データウェアハウスのサイズが小さいときには、転送時間は大きくなり、データウェアハウスのサイズが大きいときには、転送時間は小さくなる。

【0050】

データウェアハウス転送時間情報テーブル１４４に記載される情報は、実測してもよいし、例えば、データウェアハウスのサービスを提供するベンダーのＷｅｂページの情報や仕様書の情報などから作成することができる。

【0051】

データウェアハウスコスト・転送時間比情報テーブル１４５は、データウェアハウスのサイズごとの転送時間に対するデータウェアハウスのコストの比を保持するテーブルであり、図８に示されるように、データウェアハウスのサイズ１４５ａ、コスト／転送時間１４５ｂの各フィールドからなる。

【0052】

データウェアハウスのサイズ１４５ａには、ファイルをロードするデータウェアハウスのサイズの種類を示す名称または識別子が格納される。コスト／転送時間１４５ｂには、データウェアハウスのサイズ１４５ａのデータウェアハウスのサイズの転送時間に対するコスト比が格納される。一般に、データウェアハウスのサイズが小さいときには、転送時間に対するコストは小さくなり、データウェアハウスのサイズが大きいときには、転送時間に対するコストは大きくなる。

【0053】

データウェアハウスコスト・転送時間比情報テーブル１４５に記載される情報は、例えば、データウェアハウスのサービスを提供するベンダーのＷｅｂページの情報や仕様書の情報などから作成することができる。

【0054】

次に、図９Ａないし図９Ｂを用いてファイル取込からデータウェアハウスのデータロードまで、データロード装置が行う一連の処理について説明する。

【0055】

先ず、データロード装置１００は、データベースサーバ２００にアクセスし、ネットワークを介してデータベース２１０より対象となるファイルを取り込む（Ｓ０１）。

【0056】

次に、ユーザは、利用者端末１０よりデータロード装置１００に取り込まれたファイルに対して、ユーザ指定モードの指定を行う（Ｓ０２）。

【0057】

次に、データロード装置１００は、取り込んだ加工前のファイルの情報を、図５に示した加工前ファイル情報テーブル１４２に設定する（Ｓ０３）。

【0058】

次に、データロード装置１００のファイル形式変換部１０１は、図４に示すデータウェアハウス最適ロード条件情報テーブル１４１と加工前ファイル情報テーブル１４２を参照し、取り込んだ加工前のファイルのファイル形式がロードするデータウェアハウスの最適なファイル形式であるか否かを判定し（Ｓ０４）、最適なファイル形式であるときには（Ｓ０４：ＹＥＳ）、Ｓ０６に行き、最適なファイル形式でないときには（Ｓ０４：ＮＯ）、ファイルをロードするデータウェアハウスの最適なファイル形式に変換する（Ｓ０５）。

【0059】

次に、データロード装置１００のファイル分割部１０２は、図４に示すデータウェアハウス最適ロード条件情報テーブル１４１と加工前ファイル情報テーブル１４２を参照し、取り込んだファイル（Ｓ０５でファイル形式を変換した可能性もある）のファイルサイズと、ロードするデータウェアハウスの最適なファイルサイズを比較し（Ｓ０６）、取り込んだファイルのファイルサイズが最適なファイルサイズより大きいときには（Ｓ０６：ＹＥＳ）、取り込んだファイルを分割して、データウェアハウスの最適なファイルサイズにし（Ｓ０７）、取り込んだファイルのファイルサイズが最適なファイルサイズ以下のときには（Ｓ０６：ＮＯ）、Ｓ０８に行く。

【0060】

そして、データロード装置１００は、図６に示す加工後ファイル情報テーブル１４３に、ファイル形式変換処理、ファイル分割処理を行った可能性のあるファイルの値を設定する（Ｓ０８）。なお、ファイル形式変換処理、ファイル分割処理を行わなかったときには、同じファイル形式、同じファイルサイズの値を図６に示す加工後ファイル情報テーブル１４３に設定する。

【0061】

次に、データロード装置１００のデータウェアハウスサイズ設定部１０３は、データウェアハウスへのロードの対象となるファイルを選定する（図９ＢのＳ０９）。

【0062】

データウェアハウスのロードとなるファイルを選定は、例えば、利用者端末１０から指定されたものを選定したり、過去の一定期間、例えば、過去の一週間内にロードされて更新されたファイルであるなどの基準により選定することができる。

【0063】

次に、データロード装置１００のデータウェアハウスサイズ設定部１０３は、加工後ファイル情報テーブル１４３を参照し、データウェアハウスへのロードの対象となるファイルのユーザ指定モードを参照し、ユーザ指定モードが「速度優先」のときには、Ｓ２０に行き、「コスト優先」のときには、Ｓ３０に行く（Ｓ１０）。

【0064】

ファイルのユーザ指定モードが、「速度優先」のときには、加工後ファイル情報テーブル１４３と図７に示したデータウェアハウス転送時間情報テーブル１４４を読み込み（Ｓ２０）、加工後ファイル情報テーブル１４３のファイルサイズ１４３ｂ、圧縮形式１４３ｃ、データウェアハウス転送時間情報テーブル１４４のファイルサイズ１４４ａ、圧縮形式１４４ｂのパターンがそれぞれ一致するエントリで、転送時間１４４ｄの値が一番小さいサイズのデータウェアハウスのサイズ１４４ｃを、ロードするファイルのデータウェアハウスのサイズとして設定する（Ｓ２１）。

【0065】

ファイルのユーザ指定モードが、「コスト優先」のときには、加工後ファイル情報テーブル１４３とデータウェアハウス転送時間情報テーブル１４４と図８に示したデータウェアハウスコスト・転送時間比情報テーブル１４５を参照し、加工後ファイル情報テーブル１４３のファイルサイズ１４３ｂ、圧縮形式１４３ｃ、データウェアハウス転送時間情報テーブル１４４のファイルサイズ１４４ａ、圧縮形式１４４ｂのパターンがそれぞれ一致するエントリで、転送時間１４４ｄの値と、データウェアハウスコスト・転送時間比情報テーブル１４５の値を読み込み（Ｓ３０）、以下の（式１）により、データウェアハウスのサイズごとのコストを算出し（Ｓ３１）、コストが一番小さいデータウェアハウスのサイズをロードするファイルのデータウェアハウスのサイズとして設定する（Ｓ３２）。

【0066】

データウェアハウスのサイズごとのコスト＝（転送時間１４４ｄの値）×（コスト／転送時間１４５ｂの値） …（式１）
ここで、転送時間１４４ｄの値と、コスト／転送時間１４５ｂの値は、それぞれデータウェアハウスのサイズ１４４ｃとデータウェアハウスのサイズ１４５ａの一致するもの同士をとって計算する。これにより、例えば、Ａ＿１．ｃｓｖのときに計算すると、データウェアハウスのサイズが「ｓｍａｌｌ」のときに、一番コストが小さいことが確認できる。

【0067】

これは、この計算により、コストが一番小さいデータウェアハウスのサイズをロードするファイルのデータウェアハウスのサイズとすることが一番、費用対効果が高いことを意味する。

【0068】

次に、Ｓ２１、Ｓ２２後、データロード装置１００のスクリプト実行部は、データロードスクリプト１３１を実行し、設定したデータウェアハウスのサイズに従って、ロードするファイルを、データウェアハウス３００にロードする（Ｓ４０）。このとき、設定したデータウェアハウスのサイズは、パラメータとしてデータロードスクリプト１３１に渡せばよい。

【0069】

そして、データウェアハウス３００にロードする全てのファイルを処理したか否かを判定し（Ｓ４１）、全てのデータウェアハウス３００にロードするファイルを処理したときには（Ｓ４１：ＹＥＳ）、処理を終了し、処理していないファイルがあるときには（Ｓ４１：ＮＯ）、Ｓ０９に戻り、次のファイルを選定する。

【0070】

以上実施形態で説明してきたように、本実施形態のデータロード装置によれば、ロードするファイルごとにコストを優先するか転送速度を優先するかを指定できるために、ユーザがデータウェアハウスにデータをロードする際に、コストを優先するか転送速度を優先するかのユーザのニーズに沿って最適な形態のデータロードを行うことができる。

【0071】

特に、転送速度を優先するように指定したときには、データロードスクリプトによるデータウェアハウスのロードを効率的に行うことができ、バッチ処理を効率的に行うことができる。また、コストを優先するように指定したときには、データをロードするときのコストを下げるようなデータウェアハウスを設定して、ユーザは、データウェアハウスの費用対効果の最大化を目指すことができる。

【符号の説明】

【0072】

５…ネットワーク、１０…利用者端末、１００…データロード装置、２００…データベースサーバ、３００…データウェアハウス、
１０１…ファイル形式変換部、１０２…ファイル分割部、１０３…データウェアハウスサイズ設定部、１０４…スクリプト実行部、１１０…外部Ｉ／Ｆ部、１２０…記憶部、
１２１…加工前ファイル群、１２２…加工後ファイル群、１３１…データロードスクリプト、１４１…データウェアハウス最適ロード条件情報テーブル、１４２…加工前ファイル情報テーブル、１４３…加工後ファイル情報テーブル、１４４…データウェアハウス転送時間情報テーブル、１４５…データウェアハウスコスト・転送時間比情報テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】