特許 7176639 階層型ストレージ管理システム、階層型ストレージ制御装置、階層型ストレージ管理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-14

(45)【発行日】2022-11-22

(54)【発明の名称】階層型ストレージ管理システム、階層型ストレージ制御装置、階層型ストレージ管理方法、及びプログラム

(51)【国際特許分類】

   G06F 16/185 20190101AFI20221115BHJP

【ＦＩ】

G06F16/185

【請求項の数】 6

(21)【出願番号】P 2021536560

(86)(22)【出願日】2019-07-31

(86)【国際出願番号】 JP2019030082

(87)【国際公開番号】W WO2021019746

(87)【国際公開日】2021-02-04

【審査請求日】2021-11-01

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】飯野 智紀

(72)【発明者】

【氏名】櫻井 敦

(72)【発明者】

【氏名】田中 百合子

【審査官】鹿野 博嗣

(56)【参考文献】

【文献】特開２０１３－１６１１１（ＪＰ，Ａ）

【文献】特開２０１２－９３９９２（ＪＰ，Ａ）

【文献】西川 記史、中野 美由紀、喜連川 優，データセンタの階層的データ管理と省電力化を支援するモニタリング機構の開発，日本データベース学会論文誌 Ｖｏｌ．９ Ｎｏ．３，日本，日本データベース学会，2011年02月25日，p.31～36

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／１８５

(57)【特許請求の範囲】

【請求項1】

データセンタ毎に備えられ、１以上の記憶媒体を有する階層型ストレージと、１以上の階層型ストレージを管理する階層型ストレージ制御装置とを有する階層型ストレージ管理システムであって、
前記階層型ストレージ制御装置は、
管理しているデータについて、データの保存に要する消費電力量、データの保存に要するコスト、及び、データをデータセンタから参照元エリアまで転送する際の通信時間を算出し、算出した消費電力量、コスト、及び通信時間を、データに対して設定された運用ポリシーと比較することで、当該運用ポリシーを充足するデータセンタの記憶媒体を求める処理を実行する演算部を備える
階層型ストレージ管理システム。

【請求項2】

前記演算部は、算出した消費電力量、コスト、及び通信時間が、前記データに対して設定された運用ポリシーを充足しないと判断した場合に、当該データを保存する記憶媒体を変更し、変更後の記憶媒体に当該データを保存したと仮定して前記処理を実行する
請求項１に記載の階層型ストレージ管理システム。

【請求項3】

前記演算部は、
前記データが保存されている記憶媒体からのデータ読込についての消費電力量と、待機時の消費電力量との和を算出することにより、前記データの保存に要する消費電力量を算出し、
前記記憶媒体の消費電力に関するコスト、当該記憶媒体の設置に関するコスト、及び当該記憶媒体の取得に関するコストの和を算出することにより、前記データの保存に要するコストを算出し、
前記記憶媒体の読込速度、及び、当該記憶媒体が設置されているデータセンタと前記参照元エリアとの間の伝送路の通信速度に基づいて、前記データをデータセンタから参照元エリアまで転送する際の通信時間を算出する
請求項１又は２に記載の階層型ストレージ管理システム。

【請求項4】

データセンタ毎に備えられ、１以上の記憶媒体を有する階層型ストレージと、１以上の階層型ストレージを管理する階層型ストレージ制御装置とを有する階層型ストレージ管理システムにおける階層型ストレージ管理方法であって、
前記階層型ストレージ制御装置が、
管理しているデータについて、データの保存に要する消費電力量、データの保存に要するコスト、及び、データをデータセンタから参照元エリアまで転送する際の通信時間を算出し、算出した消費電力量、コスト、及び通信時間を、データに対して設定された運用ポリシーと比較することで、当該運用ポリシーを充足するデータセンタの記憶媒体を求める処理を実行する
階層型ストレージ管理方法。

【請求項5】

データセンタ毎に備えられ、１以上の記憶媒体を有する階層型ストレージと、１以上の階層型ストレージを管理する階層型ストレージ制御装置とを有する階層型ストレージ管理システムにおいて使用される前記階層型ストレージ制御装置であって、
管理しているデータについて、データの保存に要する消費電力量、データの保存に要するコスト、及び、データをデータセンタから参照元エリアまで転送する際の通信時間を算出し、算出した消費電力量、コスト、及び通信時間を、データに対して設定された運用ポリシーと比較することで、当該運用ポリシーを充足するデータセンタの記憶媒体を求める処理を実行する演算部を備える
階層型ストレージ制御装置。

【請求項6】

コンピュータを、請求項５に記載の階層型ストレージ制御装置における演算部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数あるデータセンタに保存されるデータを、事業者が定める条件に基づいて配置し、データ保存及び運用を最適化する技術に関連するものである。

【背景技術】

【0002】

従来の階層型ストレージ管理システムは、保存データの参照回数や記憶媒体のアクセス速度（書き込み、読み込み）に応じて、ＳＳＤ、ＨＤＤ及び磁気テープを用いて大容量ストレージを構成している。参照回数が多いデータは、自動的にＳＳＤに保存することで、より早いアクセス速度を実現している（非特許文献１）。

【0003】

また、コンテンツ配信システムにおいては、コンテンツのキャッシュサーバをユーザ領域と公衆網の境界に設置し、アクセスするユーザに近いキャッシュサーバからコンテンツをダウンロードすることで，ダウンロード時間の短縮を実現するシステムがある（非特許文献２）。

【0004】

また、シン・クライアントや仮想化を適用したＳｏｆｔｗａｒｅ Ｄｅｆｉｎｅｄ Ｓｔｏｒａｇｅ等が普及し、ユーザのクライアント端末にストレージを確保せず、データセンタでデータを管理するようになってきている。（非特許文献３）

【先行技術文献】

【非特許文献】

【0005】

【文献】https://www.atmarkit.co.jp/ait/articles/1106/27/news109.html

【文献】https://blog.redbox.ne.jp/what-is-cdn.html

【文献】https://www.atmarkit.co.jp/ait/articles/1409/29/news130.htm

【発明の概要】

【発明が解決しようとする課題】

【0006】

近年ではユーザ自身がコンピュータのハードウェアにソフトウェアやデータ等を保有・管理する代わりに、ネットワークで接続されたデータセンタのサーバで管理を行うようになってきており、通信ネットワークの大容量化・高速化やＳＮＳの普及、電子文書法の改正等により、目的の異なる大容量データをネットワーク上に保存する要望が高まっている。

【0007】

そのためデータセンタでは、大小様々な大量のデータが長期間保存されるようになる。様々なデータの中には、遅延を許さないデータ、遅延を許容するが消費電力やコストを抑えたいデータ等が存在する。しかし、従来技術では、このような様々な運用ポリシーを持つデータについて、それぞれのデータを適切な記憶媒体に記憶させるためには人手を介する必要があり、大変な手間がかかることになる。

【0008】

本発明は上記の点に鑑みてなされたものであり、複数のデータセンタに配置される複数の記憶媒体の中から、データの運用ポリシーに適合した記憶媒体を自動的に選択することを可能とする技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

開示の技術によれば、データセンタ毎に備えられ、１以上の記憶媒体を有する階層型ストレージと、１以上の階層型ストレージを管理する階層型ストレージ制御装置とを有する階層型ストレージ管理システムであって、
前記階層型ストレージ制御装置は、
管理しているデータについて、データの保存に要する消費電力量、データの保存に要するコスト、及び、データをデータセンタから参照元エリアまで転送する際の通信時間を算出し、算出した消費電力量、コスト、及び通信時間を、データに対して設定された運用ポリシーと比較することで、当該運用ポリシーを充足するデータセンタの記憶媒体を求める処理を実行する演算部を備える
階層型ストレージ管理システムが提供される。

【発明の効果】

【0010】

開示の技術によれば、複数のデータセンタに配置される複数の記憶媒体の中から、データの運用ポリシーに適合した記憶媒体を自動的に選択することを可能とする技術が提供される。

【図面の簡単な説明】

【0011】

【図1】階層型ストレージ管理システムの構成図である

【図2】階層型ストレージの構成図である。

【図3】階層側ストレージ制御装置の構成図である。

【図4】装置のハードウェア構成例を示す図である。

【図5】データセンタ情報テーブルの構造を示す図である。

【図6】記憶媒体情報テーブルの構造を示す図である。

【図7】各種テーブルの構造を示す図である。

【図8】運用ポリシーテーブルの構造を示す図である。

【図9】保存データ管理テーブルの構造を示す図である。

【図10】階層型ストレージ制御装置の演算フローである。

【図11】実施例におけるデータセンタ配置を示す図である。

【図12】実施例における階層型ストレージ制御システムの構成図である。

【図13】実施例におけるデータセンタ情報テーブルを示す図である。

【図14】実施例における記憶媒体情報テーブルを示す図である。

【図15】実施例における各種テーブルを示す図である。

【図16】実施例における運用ポリシーテーブルを示す図である。

【図17】実施例における保存データ管理テーブルを示す図である。

【図18】演算例を示す図である。

【図19】演算例を示す図である。

【図20】演算例を示す図である。

【図21】演算結果を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

【0013】

本実施の形態では、複数のデータセンタにおける、保存するデータについて、立地条件（建設費、電気料金）、データの参照頻度及び通信網の通信速度、データを保存する記憶媒体の種類及び記憶媒体の設置場所を考慮して、データの運用ポリシーに適合した記憶媒体を自動的に選択する技術について説明する。この技術により、無駄な消費電力やコストが低減され、クラウド型データセンタや仮想化ＮＷにおける消費電力（省エネルギー性の向上）やコストの低減及びＱｏＳの向上に貢献する。以下、具体的に説明する。

【0014】

（システム全体構成）
図１に、本実施の形態における階層型ストレージ管理システムの構成を示す。図１に示すとおり、本実施の形態における階層型ストレージ管理システムは、ネットワーク１０に接続された階層型ストレージ制御装置２０、及び複数のデータセンタ３０を含む。また、ネットワーク１０にはユーザ５０が接続されている。「ユーザ５０」とは例えばユーザが使用するクライアント端末である。

【0015】

図１に示すとおり、各データセンタ３０内には階層型ストレージ４０が設置されている。データセンタ事業者あるいはＣＤＮ事業者は、いずれかのデータセンタ３０内に設置された階層型ストレージ４０に自ら又はユーザ５０のデータを保存する。

【0016】

複数のデータセンタ３０内の階層型ストレージ４０、及び階層型ストレージ制御装置２０は、１以上のネットワーク１０により接続され、大規模なストレージを提供できる。

【0017】

例えば、都市部に近く地価が高いデータセンタ３０の階層型ストレージ４０の記憶媒体は、主にＳＳＤのように高速な記憶媒体で構成され、参照頻度が高く、短い遅延時間が求められるデータを保存する。また、郊外の地価が安価なデータセンタ３０の階層型ストレージ４０の記憶媒体は、主に磁気テープのように低速で複数の記憶媒体で超大容量に構成され、参照頻度が低く、遅延が許容されるデータを保存する。

【0018】

ユーザ５０がデータを参照する場合、当該データが保存されている階層型ストレージ４０から当該データがユーザ５０にダウンロードされる。

【0019】

（階層型ストレージ４０の構成）
図２に、データセンタ３０内に設置される階層型ストレージ４０の構成を示す。図２に示すように、階層型ストレージ４０は、複数の記憶媒体４２０＃１～＃ｎからなる記憶部４１０と、管理部４３０を有する。

【0020】

記憶媒体４２０は、例えば、ＳＳＤ（フラッシュメモリ）、ＨＤＤ（磁気ディスク）、光ディスク、磁気テープ等である。管理部４３０は、データの出入りをチェックしており、保存されたデータが参照されたときに参照元エリアや累積参照回数を検出する。検出された情報は、階層型ストレージ制御装置２０に通知され、階層型ストレージ制御装置２０で管理される。

【0021】

（階層型ストレージ制御装置２０の構成）
図３に、階層型ストレージ制御装置２０の構成を示す。図３に示すように、階層型ストレージ制御装置２０は、演算部２１０、記憶部２２０、タイマー２３０を有する。

【0022】

記憶部２２０は、データセンタ情報テーブル２２１０、記憶媒体情報テーブル２２２０、伝送路情報テーブル２２３０、演算間隔テーブル２２４０、実施ログテーブル２２５０、運用ポリシーテーブル２２６０、及び保存データ管理テーブル２２７０を格納している。

【0023】

タイマー２３０は、現在の年月日時分を保持している。各テーブルの内容、及び演算部２１０による演算内容は後述する。

【0024】

（ハードウェア構成例）

【0025】

階層型ストレージ制御装置２０は、例えば、コンピュータにプログラムを実行させることにより実現できる。

【0026】

すなわち、階層型ストレージ制御装置２０は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、階層型ストレージ制御装置２０で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

【0027】

図４は、上記コンピュータのハードウェア構成例を示す図である。図４のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、及び入力装置１００７等を有する。

【0028】

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0029】

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、階層型ストレージ制御装置２０に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられ、ネットワークを介した入力手段及び出力手段として機能する。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１５７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。

【0030】

（各テーブルについて）
次に、階層型ストレージ制御装置２０の記憶部２２０に格納される各テーブルについて説明する。

【0031】

図５は、データセンタ情報テーブル２２１０の構造を示す。図５に示すように、データセンタ情報テーブル２２１０には、本階層型ストレージ管理システムを構成するデータセンタの固有番号、名称、所在地（住所又は緯度経度）、当該データセンタに給電される電力料金単価及び１ラックあたりの建設費が格納され、各情報は、階層型ストレージ４０が本階層型ストレージ管理システムに新たに追加（又は廃止）された場合や各情報に変更があった場合に、管理者による手動入力又は自動で入力される。

【0032】

図６は、記憶媒体情報テーブル２２２０の構造を示す。図６に示すように、記憶媒体情報テーブル２２２０には、階層型ストレージ制御装置２０が記憶媒体４２０に付与する固有番号、読込時間、容量、待機時及び読込時の消費電力、寿命、取得価格等を格納し、各情報は、記憶媒体が新たに追加（又は廃止）された場合や各情報に変更があった場合に、管理者による手動入力又は自動で入力される。

【0033】

図７（ａ）は、伝送路情報テーブル２２３０の構造を示す。図７（ａ）に示すように、伝送路情報テーブル２２３０は、本階層型ストレージ管理システムが各データセンタ３０間を接続する伝送路に付与する固有番号、伝送路の両端のデータセンタ番号、伝送路の通信速度を格納し、各情報は、伝送路が新設された場合や各情報に変更があった場合に、管理者による手動入力又は自動で入力される。伝送路は、階層型ストレージ管理システム事業者の専用線でも良いし、公衆回線でも良い。

【0034】

図７（ｂ）は、演算間隔テーブル２２４０の構造を示す。図７（ｂ）に示すように、演算間隔テーブル２２４０は、データセンタ事業者や管理者が定めた定期的に実行する演算の間隔（例えば、１年、１か月）を格納している。管理者が階層型ストレージ管理システムに入力を行うと、演算間隔を更新する。

【0035】

図７（ｃ）は、実施ログテーブル２２５０の構造を示す。図７（ｃ）に示すように、実施ログテーブル２２５０は、過去の演算実施年月日時分を記憶している。

【0036】

図８は、運用ポリシーテーブル２２６０の構造を示す。図８に示すように、運用ポリシーテーブル２２６０は、本階層型ストレージ管理システムの運用ポリシーを格納している。データセンタ事業者や管理者は、遅延時間、消費電力、コストについて、ランク付けを行い、ポリシー番号と対応付けて格納する。

【0037】

図９は、保存データ管理テーブル２２７０の構造を示す。図９に示すように、保存データ管理テーブル２２７０は、各データセンタ３０の階層型ストレージ４０の管理部４３０と連携し、本階層型ストレージ管理システムに保存された全てのデータを管理している。記憶部４１０内の記録媒体４２０に新たにデータが保存された際にレコードを追加し、当該データのデータ番号、データサイズ、保存された記憶媒体番号、参照回数、最多参照元エリア、管理者が任意に設定するポリシー番号、及び後述する演算によって算出された通信速度、消費電力、コストを記録する。

【0038】

（階層型ストレージ制御装置２０の処理動作）
以下、階層型ストレージ制御装置２０の演算部２１０により実行される演算の内容を図１０のフローチャートを参照して説明する。

【0039】

演算部２１０は、実施ログテーブル２２５０の最新の演算実施年月日時分とタイマー２３０の年月日時分を比較し、演算間隔テーブル２２４０の演算間隔が経過すると演算を開始する。また、演算を開始した年月日時分を実施ログテーブル２２５０に格納する。

【0040】

図１０のＳ１（ステップ１）において、演算部２１０は、保存データ管理テーブル２２７０で管理されている全データのデータ毎に次の処理を行う：下記の式（１）を用いて、当該データを保存するのに必要な年間消費電力量を算出し、下記の式（２）を用いて当該データを保存するのに必要な年間コストを算出し、下記の式（３）を用いて、当該データ保存されているデータセンタから最多参照元エリアまでの通信速度を算出する。なお、本実施の形態では、通信速度として、データの読込及び送信にかかる時間を用いているので、通信速度に代えて、通信時間と称してもよい。また、本例では、年間の値を用いているが、年間以外の期間の値を用いてもよい。

【0041】

PU_year=T_read×F_read×P_read+(8760-T_read×F_read)×P_idle ...．．式（１）
PU_year：年間のデータ保存消費電力量
T_read：読込時間
F_read：参照頻度
P_read：読込時消費電力
P_idle：待機時消費電力
C_year=PU_year×Charge_power+(Charge_foorprint×Size_data)÷Density_storage+(Charge_media×Size_data)
÷(Capacity_media×Lifetime_media) ...式（２）
C_year：データ保存年間コスト
PU_year：データ保存消費電力量
Charge_power：電気料金
Charge_foorprint：スペースコスト
Size_data：データサイズ
Density_storage：記憶媒体記録密度
Charge_media：記憶媒体の単価
Capacity_media：記憶媒体の容量
Lifetime_media：記憶媒体の寿命
T_DL=T_read+T_l ...式（３）
T_DL：データセンタから参照元へのデータのダウンロード時間
T_read：読込時間
T_l：ＮＷの通信速度（通信時間）
Ｓ２において、演算部２１０は、Ｓ１で算出した年間消費電力量、年間コスト、データセンタから最多参照元エリアまでの通信速度を、データ毎に保存データ管理テーブル２２７０に格納する。

【0042】

なお、本例では、まず全データの各データについての消費電力量、コスト、通信速度を算出し、次に後述するＳ３の判定等を行うこととしているが、「算出、判定、変更」の繰り返し処理（運用ポリシーを充足するまで）をデータ毎に行うこととしてもよい。

【0043】

Ｓ３において、演算部２１０は、データ毎に、Ｓ１により算出した結果の値（年間消費電力量、年間保存コスト、通信速度）と、運用ポリシーテーブル２２６０における、データに該当するポリシー番号の値とを比較し、全ての値がポリシーの値を満足する値かどうか判定する。ここで、全てのデータの全ての値がそれぞれの運用ポリシーの値を満足する場合、処理を終了する。

【0044】

運用ポリシーの値を満足しない１以上のデータがある場合、当該１以上のデータのそれぞれについて、Ｓ４～Ｓ８の処理を実行する。

【0045】

Ｓ４において、当該データについてのデータセンタ拠点と記憶媒体を変更する。なお、のデータセンタ拠点は変更せず、記憶媒体のみを変更することとしてもよい。どのように変更するかについては特に限定はないが、例えば、データセンタ番号／記憶媒体の番号を増加させる（又は減少させる）ように変更してもよい。変更後、データが変更後の記憶媒体に格納されていると仮定して演算を行う。

【0046】

その後、Ｓ７の判定（Ｓ４と同じ判定）がＹｅｓになるまで、Ｓ４～Ｓ７を繰り返す。なお、Ｓ５の演算内容は、Ｓ１と同じである。

【0047】

Ｓ７の判定がＹｅｓになると（運用ポリシーを満足すると）、演算部２１０は、その時点のデータセンタの記憶媒体に該当データを移行する。あるデータセンタから別のデータセンタへのデータの移行は、該当データセンタの階層型ストレージ４０の管理部４３０に命令することで実現できる。

【0048】

（実施例）
以下、より具体的な例としての実施例を説明する。図１１に、本実施例におけるデータセンタの配置を示す。図１１に示すように、東日本エリアに４つ（南関東、北関東、上信越、北海道）のデータセンタが配置されている。

【0049】

図１２は、本実施例の階層型ストレージ管理システムの構成を示す。図１２に示すとおり、各データセンタに階層型ストレージ４０が備えられる。各階層型ストレージ４０における記憶媒体の構成は図１１に示したとおりである。本実施例では、階層型ストレージ制御装置２０は南関東エリアに備えられている。階層型ストレージ制御装置２０は、公衆ネットワークを介し、各データセンタと接続されている。

【0050】

図１３に、本実施例におけるデータセンタ情報テーブル２２１０を示す。図１３に示すように、データセンタ情報テーブル２２１０には、各データセンタの名称、所在地、電力料金単価及び１ラックあたりの建設費が格納される。１ラックあたりの建設費は、収容されているラック数を総工費で割ることで算出された値である。

【0051】

図１４に、本実施例における記憶媒体情報テーブル２２２０を示す。図１４に示すとおりに各データセンタに収容されているストレージの情報が格納されている。

【0052】

図１５（ａ）に、本実施例における伝送路情報テーブル２２３０を示す。図１５（ａ）の伝送路情報テーブル２２３０における伝送路番号は、図１２における伝送路に付された番号に対応している。

【0053】

本実施例では、南関東を中心に南関東上信越間、南関東北海道間は専用線で接続され、南関東と北関東は専用線でなく、公衆ネットワークで接続されている。なお、各データセンタ同士が直接専用線で接続されても良いし、公衆ネットワークで接続されても良い。

【0054】

図１５（ｂ）に、本実施例における演算間隔テーブル２２４０を示す。本実施例では、階層型ストレージ制御装置２０が演算し、保存されたデータの入替を実施する間隔を１か月とした。従って、演算間隔テーブル２２４０は、演算間隔を１か月として格納している。

【0055】

図１５（ｃ）に、本実施例における実施ログテーブル２２５０を示す。前述したとおり、実施ログテーブル２２５０は、過去の演算時刻を保存している。本実施例では、毎月１日に実施している。

【0056】

図１６に、本実施例における運用ポリシーテーブル２２６０を示す。事業者は運用ポリシーテーブル２２６０に、データをダウンロードするのにかかる通信速度（通信時間）、データを保存するのに必要な消費電力、建設コストやストレージの取得価格及び電気料金等に基づくコストを決め、それぞれに運用ポリシー番号を割り当てる。

【0057】

例えば、レイテンシを許容しないデータを想定した運用ポリシーとして、消費電力・コストを気にせずに低遅延であることがポリシー番号「１」の条件として設定されている。また、例えば、参照頻度が少なく大容量のデータを想定した運用ポリシーとして、コストが最も小さいことがポリシー番号「３」の条件として設定されている。

【0058】

以下、本実施例における演算部２１０の処理内容の例を説明する。

【0059】

まず、図１７の保存データ管理テーブル２２７０に示すようにデータがアップロードされたとする。つまり、データ番号１のデータとしてデータサイズが３００ＧＢのデータが北関東データセンタのＳＳＤ「２１」に保存され、データ番号２のデータとして１ＴＢのデータが南関東データセンタのＨＤＤ「１１」に保存され、データ番号３のデータとして５００ＭＢのデータが北海道データセンタの磁気テープ「７１」に保存された例を考える。

【0060】

それぞれアップロードしたユーザにより、データのポリシー番号は５、４、１と設定された。また、最初の演算が行われる時点での参照回数、最多参照元エリアは図１７に示すとおりである。

【0061】

データが保存された翌月１日に、図１０のフローチャートを参照して説明した演算がスタートする。ここでは、データ番号２のデータについての演算を例にとって説明する。

【0062】

演算部２１０は、式（１）を用いて、データ番号２のデータを保存するのに必要な年間消費電力量を算出する。図１８に演算内容の詳細を示す。

【0063】

記憶媒体番号１１の記憶媒体に格納されているデータ番号２のデータに関して、T_read（１回のデータの読込時間（ｈ／回））は、図１４から、（１Ｔ［Ｂ］／２００Ｍ［Ｂ／ｓ］）÷３６００となる。F_read（１年間の参照頻度）は２０回、P_read（６０Ｔの１回の読込時消費電力）は１０［Ｗ］、記憶媒体の全体容量は６０Ｔなので、T_read×F_read×P_read（１年間の読込に掛かる消費電力）は、図示のとおり、（（１Ｔ［Ｂ］／２００Ｍ［Ｂ／ｓ］）／３６００）×２０×１０／６０になる。

【0064】

また、図１４から、P_idle（待機時消費電力）は、５［Ｗ］なので、１年間の待機に掛かる消費電力は、図示のとおり、（８７６０－（（（１Ｔ［Ｂ］／２００Ｍ［Ｂ／ｓ］）／３６００）×２０）×５÷６０になる。以上を合計すると、図示のとおり、１年あたりの消費電力量は７３０になる。

【0065】

また、演算部２１０は、式（２）を用いて、データ番号２のデータを保存するのに必要な年間コストを算出する。図１９に演算内容の詳細を示す。

【0066】

Charge_power（電気料金）は２０［円／Ｗｈ］なので、PU_year×Charge_power＝７３０×２０＝１４６００［円］になる。

【0067】

本例では、Charge_foorprint（スペースコスト）は２，０００，０００／２、Density_storage（記憶媒体記録密度）は６０Ｔなので、(Charge_foorprint×Size_data)÷Density_storage＝２，０００，０００／２×１／６０＝１６６６７［円］になる。

【0068】

また、Charge_media（記憶媒体の単価）＝５，０００，０００、Capacity_media（記憶媒体の容量）＝６０、Lifetime_media（記憶媒体の寿命）＝４なので、(Charge_media×Size_data)÷(Capacity_media×Lifetime_media)＝５，０００，０００×１／（６０×４）＝２０８３３［円］になる。

【0069】

よって、これらを合計することでC_year=５２１００［円］となる。

【0070】

また、演算部２１０は、の式（３）を用いて、保存されているデータセンタから最多参照元エリアまでの通信速度（通信時間）を算出する。図２０に詳細を示す。

【0071】

本例では、T_read（読込時間）＝１ＴＢ／２００ＭＢとなり、T_l（ＮＷの通信時間）＝０なので、T_DL＝５０００Ｓになる。

【0072】

演算部２１０は、上記のようにして算出した年間消費電力量、年間コスト、データセンタから最多参照元エリアまでの通信速度を保存データ管理テーブル２２７０に格納する。これらを格納した後の保存データ管理テーブル２２７０におけるデータ番号２番の部分を図２１に示す。

【0073】

演算部２１０は、当該データ番号２番のデータについて設定されているポリシー番号「４」に対応する通信速度、消費電力、コストを運用ポリシーテーブル２２６０から取得し、これらの値と、上記で算出した通信速度、消費電力、コストとを比較する。

【0074】

演算部２１０は、現状の保存している記憶媒体ＨＤＤ「１１」では、通信速度、消費電力、コストともにポリシー番号「４」の閾値を超えているため、運用ポリシーを満たさないと判定し、記憶媒体を変更して演算を行い、ポリシー番号「４」の範囲に入るまで演算を続ける。

【0075】

（実施の形態の効果について）
以上説明した本実施の形態に係る技術によれば、複数あるデータセンタに、あるデータを保存する際に、事業者が予め設定したデータセンタ間の通信速度、保存に伴う消費電力とコストに応じて、自動的にデータセンタ及び記憶媒体種類を選択し保存することができる。これにより、消費電力やコストを削減することができ、電気料金や環境負荷の低減及びＱｏＳの向上につながる。

【0076】

（実施の形態のまとめ）
本明細書には、少なくとも下記各項の階層型ストレージ管理システム、階層型ストレージ制御装置、階層型ストレージ管理方法、及びプログラムが開示されている。
（第１項）
データセンタ毎に備えられ、１以上の記憶媒体を有する階層型ストレージと、１以上の階層型ストレージを管理する階層型ストレージ制御装置とを有する階層型ストレージ管理システムであって、
前記階層型ストレージ制御装置は、
管理しているデータについて、データの保存に要する消費電力量、データの保存に要するコスト、及び、データをデータセンタから参照元エリアまで転送する際の通信時間を算出し、算出した消費電力量、コスト、及び通信時間を、データに対して設定された運用ポリシーと比較することで、当該運用ポリシーを充足するデータセンタの記憶媒体を求める処理を実行する演算部を備える
階層型ストレージ管理システム。
（第２項）
前記演算部は、算出した消費電力量、コスト、及び通信時間が、前記データに対して設定された運用ポリシーを充足しないと判断した場合に、当該データを保存する記憶媒体を変更し、変更後の記憶媒体に当該データを保存したと仮定して前記処理を実行する
第１項に記載の階層型ストレージ管理システム。
（第３項）
前記演算部は、
前記データが保存されている記憶媒体からのデータ読込についての消費電力量と、待機時の消費電力量との和を算出することにより、前記データの保存に要する消費電力量を算出し、
前記記憶媒体の消費電力に関するコスト、当該記憶媒体の設置に関するコスト、及び当該記憶媒体の取得に関するコストの和を算出することにより、前記データの保存に要するコストを算出し、
前記記憶媒体の読込速度、及び、当該記憶媒体が設置されているデータセンタと前記参照元エリアとの間の伝送路の通信速度に基づいて、前記データをデータセンタから参照元エリアまで転送する際の通信時間を算出する
第１項又は第２項に記載の階層型ストレージ管理システム。
（第４項）
データセンタ毎に備えられ、１以上の記憶媒体を有する階層型ストレージと、１以上の階層型ストレージを管理する階層型ストレージ制御装置とを有する階層型ストレージ管理システムにおける階層型ストレージ管理方法であって、
前記階層型ストレージ制御装置が、
管理しているデータについて、データの保存に要する消費電力量、データの保存に要するコスト、及び、データをデータセンタから参照元エリアまで転送する際の通信時間を算出し、算出した消費電力量、コスト、及び通信時間を、データに対して設定された運用ポリシーと比較することで、当該運用ポリシーを充足するデータセンタの記憶媒体を求める処理を実行する
階層型ストレージ管理方法。
（第５項）
データセンタ毎に備えられ、１以上の記憶媒体を有する階層型ストレージと、１以上の階層型ストレージを管理する階層型ストレージ制御装置とを有する階層型ストレージ管理システムにおいて使用される前記階層型ストレージ制御装置であって、
管理しているデータについて、データの保存に要する消費電力量、データの保存に要するコスト、及び、データをデータセンタから参照元エリアまで転送する際の通信時間を算出し、算出した消費電力量、コスト、及び通信時間を、データに対して設定された運用ポリシーと比較することで、当該運用ポリシーを充足するデータセンタの記憶媒体を求める処理を実行する演算部を備える
階層型ストレージ制御装置。
（第６項）
コンピュータを、第５項に記載の階層型ストレージ制御装置における演算部として機能させるためのプログラム。

【0077】

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0078】

１０ ネットワーク
２０ 階層型ストレージ制御装置
３０ データセンタ
４０ 階層型ストレージ
５０ ユーザ
２１０ 演算部
２２０ 記憶部
２３０ タイマー
４２０ 記憶媒体
４１０ 記憶部
４３０ 管理部
２２１０ データセンタ情報テーブル
２２２０ 記憶媒体情報テーブル
２２３０ 伝送路情報テーブル
２２４０ 演算間隔テーブル
２２５０ 実施ログテーブル
２２６０ 運用ポリシーテーブル
２２７０ 保存データ管理テーブル
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】