特許 7174372 分散ストレージネットワークにおけるデータ管理方法、装置、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-09

(45)【発行日】2022-11-17

(54)【発明の名称】分散ストレージネットワークにおけるデータ管理方法、装置、プログラム

(51)【国際特許分類】

   G06F 16/185 20190101AFI20221110BHJP

   G06F 16/182 20190101ALI20221110BHJP

   G06F 16/172 20190101ALI20221110BHJP

   G06F 13/10 20060101ALI20221110BHJP

【ＦＩ】

G06F16/185

G06F16/182

G06F16/172

G06F13/10 340A

【請求項の数】 6

(21)【出願番号】P 2020027917

(22)【出願日】2020-02-21

(65)【公開番号】P2021131796

(43)【公開日】2021-09-09

【審査請求日】2022-02-14

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(74)【代理人】

【識別番号】110001863

【氏名又は名称】特許業務法人アテンダ国際特許事務所

(72)【発明者】

【氏名】片岡 操

(72)【発明者】

【氏名】野口 博史

(72)【発明者】

【氏名】磯田 卓万

(72)【発明者】

【氏名】村瀬 勉

(72)【発明者】

【氏名】伊藤 智稀

【審査官】甲斐 哲雄

(56)【参考文献】

【文献】国際公開第２０１３／１５７０４２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｆ １３／１０－１３／１４

(57)【特許請求の範囲】

【請求項1】

第１のストレージと、前記第１のストレージよりも応答速度が遅い第２のストレージと、前記第１のストレージ及び前記第２のストレージに格納するデータの配置を制御するデータ配置制御手段とを備えた複数の情報処理装置を相互にネットワークで接続して仮想的なストレージを形成した分散ストレージネットワークにおけるデータ管理方法であって、
分散ストレージネットワーク内のデータに対するユーザ端末からのアクセスに対して、前記ユーザ端末から前記データが格納された情報処理装置に至る通信経路上にある複数の情報処理装置のデータ配置制御手段が、前記通信経路上にある複数の情報処理装置を複数のクラスタに分割するとともに、各クラスタにおいて当該クラスタに属する情報処理装置の何れか１つの第１のストレージに前記データをキャッシュとして記憶するキャッシュ記憶ステップと、
各情報処理装置のデータ配置制御手段が、第１のストレージに記憶されている各データについて所定の規則に基づき評価値を算出し、最低評価値のデータと同一のデータが分散ストレージネットワーク内の他の情報処理装置の第１のストレージに保存されている場合は前記最低評価値のデータを第１のストレージから削除し、前記最低評価値のデータと同一のデータが分散ストレージネットワーク内の他の情報処理装置の第１のストレージに保存されていない場合は前記最低評価値のデータを第１のストレージから第２のストレージ又は他の情報処理装置の第１のストレージに移動させるデータ配置ステップとを備えた
ことを特徴とする分散ストレージネットワークにおけるデータ管理方法。

【請求項2】

前記キャッシュ記憶ステップは、前記クラスタの分割数を算出するステップと、前記通信経路上にある複数の情報処理装置間のリンク情報及び前記分割数に基づき前記のクラスタの分割位置を算出するステップとを含む
ことを特徴とする請求項１記載の分散ストレージネットワークにおけるデータ管理方法。

【請求項3】

前記データ配置ステップは、他の情報処理装置の第１のストレージに前記最低評価値よりも評価値が低いデータが記憶されている場合、前記最低評価値のデータを第１のストレージから前記他の情報処理装置の第１のストレージに移動させ、他の情報処理装置の第１のストレージに前記最低評価値よりも評価値が低いデータが記憶されていない場合、前記最低評価値のデータを第１のストレージから第２のストレージに移動させるステップを含む
ことを特徴とする請求項１又は２記載の分散ストレージネットワークにおけるデータ管理方法。

【請求項4】

データ配置制御手段が、他の情報処理装置からデータが移動されてきた場合、前記データの評価値よりも低い評価値のデータを第１のストレージから第２のストレージに移動させるステップを含む
ことを特徴とする請求項３記載の分散ストレージネットワークにおけるデータ管理方法。

【請求項5】

第１のストレージと、前記第１のストレージよりも応答速度が遅い第２のストレージと、前記第１のストレージ及び前記第２のストレージに格納するデータの配置を制御するデータ配置制御手段とを備えた複数の情報処理装置を相互にネットワークで接続して仮想的なストレージを形成した分散ストレージネットワークにおける情報処理装置であって、
前記データ配置制御手段は、
分散ストレージネットワーク内のデータに対するユーザ端末からのアクセスに対して、前記ユーザ端末から前記データが格納された情報処理装置に至る通信経路上にある複数の情報処理装置を複数のクラスタに分割する分割処理手段と、
各クラスタについて当該クラスタに属する情報処理装置のうち前記データをキャッシュとして記憶する１つの情報処理装置を決定するとともに自身に前記データを記憶すると決定した場合には第１のストレージに前記データをキャッシュとして記憶する配置先決定処理手段と、
第１のストレージに記憶されている各データについて所定の規則に基づき評価値を算出する評価値算出手段と、
最低評価値のデータと同一のデータが分散ストレージネットワーク内の他の情報処理装置の第１のストレージに保存されている場合は前記最低評価値のデータを第１のストレージから削除し、前記最低評価値のデータと同一のデータが分散ストレージネットワーク内の他の情報処理装置の第１のストレージに保存されていない場合は前記最低評価値のデータを第１のストレージから第２のストレージ又は他の情報処理装置の第１のストレージに移動させるデータ配置処理手段とを備えた
ことを特徴とする分散ストレージネットワークにおける情報処理装置。

【請求項6】

コンピュータを、前記請求項５記載のデータ配置制御手段として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データをネットワーク上の複数のストレージに分散して記憶する分散ストレージネットワークの技術に関する。

【背景技術】

【0002】

近年、ＩｏＴ（Internet of Things）技術の急速な発展によりＩｏＴ機器が時々刻々生成する大量のデータがネットワークに流入してきている。このような大量のデータの一例としては、１０ｆｐｓ監視カメラ映像のデータが挙げられる。これらのデータはリアルタイムで処理するだけでなくサーバのストレージに蓄積・保管することにより、例えばＡＩの学習データとして用いるなど有効な活用が期待されている。そこで、サービス充実を目的としてこれらの蓄積データをオープン化するＯｐｅｎＩｏＴというプラットフォームが提唱されている。

【0003】

ところで、従来の通信アーキテクチャでは、ストレージに保管されているデータを取得するためには、データが保管されているサーバのアドレス情報を取得し、このサーバにアクセスする必要がある。これに対して、近年、データそのものを示す識別子（コンテンツ名など）を利用し、この識別子を指定することによりネットワークからデータを取得する情報指向ネットワーク技術（ＩＣＮ：Information-Centric Networking）というアーキテクチャが提案されている（非特許文献１参照）。

【0004】

このようなアーキテクチャは、あらゆるデータを、ひとつの仮想的なストレージ（＝仮想ストレージネットワーク）で収容するという思想に基づくものである。非特許文献１ではＭｏｂｉｌｉｔｙＦｉｒｓｔと呼ばれる技術が提案されている。

【0005】

ＭｏｂｉｌｉｔｙＦｉｒｓｔでは、ネットワークを構成する各ノードであるルータは、それぞれストレージを備えている。Ｐｕｂｌｉｓｈｅｒと呼ばれるデータ送信端末がデータをネットワークに投入すると、当該データはネットワークの何れかのノードのストレージに保存される。データを取得する際には、Ｓｕｂｓｃｒｉｂｅｒと呼ばれるデータ要求端末が、データの識別子を指定して管理サーバに当該データの位置情報を問い合わせ、取得した位置情報を用いてネットワーク内のノードからデータを取得する。ここで、ネットワーク内においてデータ要求端末に提供されるデータの通信経路上の各ノードは、データの中継処理を行うとともに自身のストレージに当該データをキャッシュとして記憶する。各ノードでは、ＬＲＵ（Least Recently Used）などのキャッシュ管理アルゴリズムにより、自身のストレージに記憶しているキャッシュを管理する。このような構成により、仮想ストレージネットワークには同一の多数のデータが分散して保管される。そして、あるデータについて利用頻度の高いデータ要求端末とネットワーク的距離が近いノードに当該データがキャッシュされている可能性が高いので、低遅延を実現できる。

【0006】

なお、同一データを複数のノードに分散して記憶するという技術に関しては、非特許文献２に記載されたＷｅｂプロキシキャッシュという技術も知られている。Ｗｅｂプロキシキャッシュでは、明示的あるいは暗示的に指定したストレージを経由する経路を構成し、経路上の全てのストレージにキャッシュを置く。これにより、データ要求端末は自身の近くのサーバからデータを取得することができる。

【先行技術文献】

【非特許文献】

【0007】

【文献】Dipankar Raychaudhuri, 他2名, "MobilityFirst: a robust and trustworthy mobility-centric architecture for the future Internet", ACM SIGMOBILE Mobile Computing and Communications Review, 2012.

【文献】Nikolaos Laoutaris, 他2名, "Meta Algorithms for Hierarchical Web Caches", [online], [令和2年1月8日検索], インターネット<URL: http://cgi.di.uoa.gr/~laoutar/lcdt.pdf>

【発明の概要】

【発明が解決しようとする課題】

【0008】

仮想ストレージネットワークに格納するデータの数及び容量は増加する一方であるが、従来の技術では、上述のようにデータの通信経路上にある全てのノードにおいてデータのキャッシュを記憶するので、ネットワーク全体でのストレージの利用効率が低いという問題がある。

【0009】

すなわち、従来の技術では、人気がなく将来的なアクセスが期待されないデータであっても、データの通信経路上にある全てのノードにおいてデータのキャッシュが記憶される。このため、人気があり将来的なアクセスが期待されるデータを記憶するための領域が実質的に小さくなってしまう。また、各ノードにおけるキャッシュ管理では、あるデータについて仮想ストレージネットワーク全体での同一データの保管数は考慮されていない。この保管数が多いデータは実質的に記憶容量を無駄にしている無駄なデータであると考えられる。したがって、この無駄なデータが多数存在することにより、人気があり将来的なアクセスが期待されるデータを記憶するための領域が実質的に小さくなってしまう。そして、人気があり将来的なアクセスが期待されるデータについてキャッシュのヒット率を維持するには、より大きな容量のストレージが必要になるという問題がある。

【0010】

ところで、仮想ストレージネットワークに格納するデータの数及び容量の増加に伴い、ストレージとして、応答速度は早いが容量が相対的に小さく費用コストも高いストレージと、応答速度は遅いが容量が相対的に大きく費用コストも低いストレージとを併用することが考えられている。前者は例えばＳＳＤ（Solid State Drive）や高速なＨＤＤ（Hard Disk Drive）が相当する。後者は例えば低速なＨＤＤやテープや光学ディスクなどが相当する。本明細書では、前者をホットストレージと呼び、後者をコールドストレージと呼ぶものとする。

【0011】

従来の技術においてこのようなストレージ構成を採用した場合、各ノードはホットストレージをキャッシュとして利用し、ＬＲＵなどのキャッシュ管理によりホットストレージから削除すべきデータはコールドストレージに保管する処理を行う。ここで、コールドストレージに保管されたデータへのアクセスは、ホットストレージに保管されたデータへのアクセスよりも応答時間が遅いものとなる。このため、データが何れかのノードのコールドストレージに保管されているが、何れのノードのホットストレージにも保管されていない場合には、コールドストレージにアクセスする必要がある。このため、応答時間が遅いものとなるだけでなく、許容時間内にデータ取得できないものとして、その補償として経済的損失が発生することが考えられる。

【0012】

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、分散ストレージネットワークにおいて、ストレージの利用効率及び応答速度が良好なデータ管理方法、装置、プログラムを提供することにある。

【課題を解決するための手段】

【0013】

上記目的を達成するために、本願発明は、第１のストレージと、前記第１のストレージよりも応答速度が低い第２のストレージと、前記第１のストレージ及び前記第２のストレージに格納するデータの配置を制御するデータ配置制御手段とを備えた複数の情報処理装置を相互にネットワークで接続して仮想的なストレージを形成した分散ストレージネットワークにおけるデータ管理方法であって、分散ストレージネットワーク内のデータに対するユーザ端末からのアクセスに対して、前記ユーザ端末から前記データが格納された情報処理装置に至る通信経路上にある複数の情報処理装置のデータ配置制御手段が、前記通信経路上にある複数の情報処理装置を複数のクラスタに分割するとともに、各クラスタにおいて当該クラスタに属する情報処理装置の何れか１つの第１のストレージに前記データをキャッシュとして記憶するキャッシュ記憶ステップと、各情報処理装置のデータ配置制御手段が、第１のストレージに記憶されている各データについて所定の規則に基づき評価値を算出し、最低評価値のデータと同一のデータが分散ストレージネットワーク内の他の情報処理装置の第１のストレージに保存されている場合は前記最低評価値のデータを第１のストレージから削除し、前記最低評価値のデータと同一のデータが分散ストレージネットワーク内の他の情報処理装置の第１のストレージに保存されていない場合は前記最低評価値のデータを第１のストレージから第２のストレージ又は他の情報処理装置の第１のストレージに移動させるデータ配置ステップとを備えたことを特徴とする。

【0014】

また、本願発明は、第１のストレージと、前記第１のストレージよりも応答速度が低い第２のストレージと、前記第１のストレージ及び前記第２のストレージに格納するデータの配置を制御するデータ配置制御手段とを備えた複数の情報処理装置を相互にネットワークで接続して仮想的なストレージを形成した分散ストレージネットワークにおける情報処理装置であって、前記データ配置制御手段は、分散ストレージネットワーク内のデータに対するユーザ端末からのアクセスに対して、前記ユーザ端末から前記データが格納された情報処理装置に至る通信経路上にある複数の情報処理装置を複数のクラスタに分割する分割処理手段と、各クラスタについて当該クラスタに属する情報処理装置のうち前記データをキャッシュとして記憶する１つの情報処理装置を決定するとともに自身に前記データを記憶すると決定した場合には第１のストレージに前記データをキャッシュとして記憶する配置先決定処理手段と、第１のストレージに記憶されている各データについて所定の規則に基づき評価値を算出する評価値算出手段と、最低評価値のデータと同一のデータが分散ストレージネットワーク内の他の情報処理装置の第１のストレージに保存されている場合は前記最低評価値のデータを第１のストレージから削除し、前記最低評価値のデータと同一のデータが分散ストレージネットワーク内の他の情報処理装置の第１のストレージに保存されていない場合は前記最低評価値のデータを第１のストレージから第２のストレージ又は他の情報処理装置の第１のストレージに移動させるデータ配置処理手段とを備えたことを特徴とする。

【発明の効果】

【0015】

本発明によれば、ユーザ端末がアクセスしたデータは、その通信経路上にある全ての情報処理装置ではなく、通信経路上にある情報処理装置が複数のクラスタに分割され、各クラスタ内の１つの情報処理装置のストレージにキャッシュとして記憶されるので、ストレージの利用効率が向上する。また、本発明によれば、分散ストレージネットワークの全ての第１のストレージに１つだけ存在するデータ（以下「ラストワンデータ」と呼ぶ）については、当該データを保管している情報処理装置においてキャッシュ管理の評価値が低いものであっても、所定の条件で他の情報処理装置の第１のストレージに移動する。これにより、応答速度の遅い第２のストレージにアクセスする機会が減り、全体として応答速度が向上する。

【図面の簡単な説明】

【0016】

【図1】前提となる仮想ストレージネットワークのシステム構成図

【図2】仮想ストレージネットワークにおけるデータ管理方法の概要を説明する図

【図3】キャッシュ数とコストの相関グラフ

【図4】データ配置に係る動作を説明するフローチャート

【図5】経路上ノードクラスタリングを説明する図

【図6】変形ＬＲＵの動作を説明するフローチャート

【図7】変形ＬＲＵを説明する図

【図8】変形ＬＲＵを説明する図

【図9】実施例に係る情報処理装置の機能ブロック図

【図10】他の実施形態に係る仮想ストレージネットワークのシステム構成図

【図11】他の実施形態の実施例に係る情報処理装置の機能ブロック図

【発明を実施するための形態】

【0017】

本発明の一実施の形態に係る仮想ストレージネットワークについて説明する。本発明では、最適なコスト・利便性性能を提供するデータ保存先の決定を目標としており、以下の４点を性能指標とする（ただし後述するネットワークインパクトは制約とする）。

【0018】

（１）ストレージ間のデータ移動の通信コスト（データ移動通信コスト）
これは、後述するようにデータ配置を変更するとき、物理ストレージ間でデータを移動するために発生する通信距離・サイズに応じた通信コストである。なお、このデータ移動通信コストは電力コストの一種でもある。

【0019】

（２）Ｓｕｂｓｃｒｉｂｅｒのデータ取得の通信コスト（データ取得通信コスト）
これは、ホットストレージにアクセスしたとき、ホットストレージからＳｕｂｓｃｒｉｂｅｒにデータを転送するために発生する通信距離・サイズに応じた通信コストである。なお、このデータ取得通信コストは電力コストの一種でもある。

【0020】

（３）データを許容時間内に取得できないときの経済的損失（コールドペナルティ）
これは、応答速度が遅いコールドストレージにアクセスすると、許容時間内にデータ取得できないものとし、その補償として発生するものと仮定した経済的損失である。なお、このコールドペナルティは運用コストの一種である。

【0021】

（４）データ配置を変更時のトラヒックが引き起こすネットワークへの悪影響（ネットワークインパクト）
これは、他サービスとのネットワーク共用を前提とすると、ネットワークに対して及ぼす、背景トラヒックの通信品質の劣化や、ネットワークの回線容量の不足等の悪影響である。

【0022】

本実施の形態において前提となる仮想ストレージネットワークのシステム構成について図１を参照して説明する。図１は前提となる仮想ストレージネットワークのシステム構成図である。本実施の形態における仮想ストレージネットワークはＩＣＮのアーキテクチャを採用する。

【0023】

図１に示すように、ネットワーク１０はノードとして複数の情報処理装置１００を含む。各情報処理装置１００は、ホットストレージ２１０とコールドストレージ２２０とを備えている。本発明では複数の情報処理装置１００のうち何れか１つ又は複数の情報処理装置１００のホットストレージ２１０又はコールドストレージ２２０にデータが保管される。すなわち、ネットワーク１０が１つの仮想的なストレージとして機能する。なお、ネットワーク１０は、他サービスと共用することができる。

【0024】

情報処理装置１００は、他の情報処理装置１００とネットワーク回線（リンク）を介して通信可能に接続する。ネットワーク１０における情報処理装置１００の接続形態に係るネットワークトポロジーは不問である。情報処理装置１００は、ネットワーク１０においてデータを中継するルータとして実装することができる。情報処理装置１００の具体的な構成例については実施例として後述する。

【0025】

Ｐｕｂｌｉｓｈｅｒと呼ばれるデータ送信端末１がデータをネットワーク１０に投入（ｓｔｏｒｅ）すると、当該データはネットワーク１０の何れかの情報処理装置１００のホットストレージ２１０に保存される。

【0026】

仮想ストレージネットワーク内においてデータは、所定のデータ配置制御処理により複数の情報処理装置１００に保存される。ここで、データは、データ送信端末１が保存したオリジナルのデータと、データ配置制御処理においてキャッシュとして複製された１以上のデータ（レプリカとも言う）とは同一のものであり両者は区別されない。また、情報処理装置１００に保存されているデータは、所定のデータ配置制御処理により他の情報処理装置１００に移動することができる。ネットワーク１０内のどの情報処理装置１００にデータが保存されているかの対応情報は、ＧＮＲＳ（Global Name Resolution Service）と呼ばれる管理サーバ３により管理される。

【0027】

Ｓｕｂｓｃｒｉｂｅｒと呼ばれるデータ要求端末２がデータを取得するには、まず、データの識別子（ＩＤ）を指定して管理サーバ３に当該データの位置情報（ｌｏｃａｔｉｏｎｓ）を問い合わせる。管理サーバ３は当該データの位置情報を回答する。データ要求端末２は、当該位置情報を参照してネットワーク１０にアクセスすることにより所望のデータを取得（ｒｅｔｒｉｖｅ）する。ここで、データが仮想ストレージネットワーク内において複数の情報処理装置１００に保存されている場合、管理サーバ３は各データについての位置情報をデータ要求端末２に回答する。データ要求端末２は、複数の位置情報から任意の位置情報を選択して、当該位置情報を参照してデータを取得することができる。例えば、データ要求端末２は、ネットワーク距離が最も近い情報処理装置１００からデータを取得することができる。

【0028】

次に、本願発明の概要について図２を参照して説明する。図２は本発明に係る仮想ストレージネットワークにおけるデータ管理方法の概要を説明する図である。なお各図において、例えば情報処理装置など、複数存在する同一の構成要素を個別に識別するために参照符号の末尾に添え字を付すものとして、複数存在する同一の構成要素を総称する際には添え字を取り除いた参照符号を用いるものとする。また、ホットストレージに格納されているデータのうちラストワンデータについてはハッチングを付している。

【0029】

従来の技術では遠くからアクセスされると経路上に大量のキャッシュが作成されることになるが、前述したように、「遠くからアクセスされたデータ＝ホットストレージに大量にキャッシュを残すべきデータ」ではない。本願発明はこの点に注目し、（１）経路上の全ノードのストレージにキャッシュを置くことはせず、経路上のノードをアクセス頻度等によってまびく、（２）ラストワンデータは仮想ストレージネットワーク内のホットストレージ全体で管理、その他のキャッシュは各ストレージ内で管理し、ラスタワンデータがコールドストレージへ降格されにくくする、という２つの特徴点を有している。

【0030】

前述した特徴点（１）について図２を例として説明する。ここでは、データ要求端末２が、情報処理装置１００ａのホットストレージ２１０ａに保存されているデータを取得することを考える。取得するデータはラストワンデータであってもそれ以外のデータであってもよい。データ要求端末２と情報処理装置１００ａとの間の通信経路上には複数の情報処理装置１００ｂ～１００ｅが存在する。

【0031】

図２の例では、情報処理装置１００ａのホットストレージ２１０ａに格納されておりデータ要求端末２の所望するデータが情報処理装置１００ｂ～１００ｅにより中継される際に、経路上にある全てのホットストレージ２１０ｂ～２１０ｅを２つの仮想ストレージと捉え、各仮想ストレージに１つずつ当該データをキャッシュとして記憶する。換言すれば、通信経路上にある複数の情報処理装置１００ｂ～１００ｅを複数のクラスタ４００ａ，４００ｂに分割するとともに、各クラスタ４００ａ，４００ｂにおいて当該クラスタ４００ａ，４００ｂに属する情報処理装置１００ｂ～ｃ，１００ｄ～ｅの何れか１つのホットストレージ２１０ｂ又は２１０ｃ，ホットストレージ２１０ｄ又は２１０ｅに前記データをキャッシュとして記憶する。

【0032】

前述した特徴点（２）について図２を例として説明する。各情報処理装置１００では、ホットストレージ２１０のすべての格納データは、有用性に関する後述する評価値に基づき降順に整列されたリスト構造で保持するものとする。そして、各情報処理装置１００では、ラストワンデータを他にも同一データがあるデータより優先する。また、ラストワンデータについては、自ホットストレージ２１０から追い出され他ホットストレージ２１０にもいれさせてもらえない場合はコールドストレージ２２０に降格する。

【0033】

以上のような本願発明の特徴点と従来技術の差違について説明する。前述のＭｏｂｉｌｉｔｙＦｉｒｓｔではホットストレージ／コールドストレージの違いはなく、「キャッシュがユーザからいかに近いか」を重要視している。一方、本願発明で前提としている仮想ストレージネットワークではホットストレージとコールドストレージを備えており、ラストワンデータが、コスト、利便性が大きく異なるどちらのストレージにデータが存在するかも重要視している。すなわち、ラストワンデータを気軽にコールドストレージに降格できないので従来技術ほど気軽に新規キャッシュを置くとコストがかかることに注目している。ホットストレージにおけるキャッシュ数とコストとの相関性はおおよそ図３に示すような曲線を示す。本願発明では図３の曲線の底部付近を狙うものである。なお、コストとは、費用コストだけでなく、通信コスト、電力コストなどを含む総合的なコストを意味する点に留意されたい。

【0034】

次に、上述した本願発明の特徴点についてより詳細に説明する。まず、上記特徴点（１）の具体例である経路上ノードクラスタリングについて図４及び図５を参照して説明する。図４はデータ配置に係る動作を説明するフローチャート、図５は経路上ノードクラスタリングを説明する図である。

【0035】

本願発明では、まず、あるデータｘ_ｎ（ｘ_１，…ｘ_ｎ，…ｘ_Ｎは仮想ストレージネットワーク内のホットストレージ２１０に格納された同一データ）へのアクセス頻度によって、クラスタ数を決定する（図４のステップＳ１）。クラスタ数の計算例としては次式（１）が挙げられる。

【0036】

１／（ω_１＊データｘ全体へのアクセス頻度＋ω_２＊データｘ_ｎへのアクセス頻度） …式（１）
ここで、ω_１及びω_２は定数である。図５の例では、クラスタ数は２である。

【0037】

次に、情報処理装置１００間のリンク帯域が小さい順にクラスタの分割ポイントとし、決定したクラスタ数で分割する（図４のステップＳ２）。図５の例では、情報処理装置１００ｃと情報処理装置１００ｄの間のリンク帯域が、他の情報処理装置１００間のリンク帯域よりも小さいものとする。この場合、情報処理装置１００ｃと情報処理装置１００ｄの間が分割ポイントとなる。これにより、情報処理装置１００ｂ及び１００ｃからなるクラスタ４００ａと、情報処理装置１００ｄ及び１００ｄからなるクラスタ４００ｂが設定される。

【0038】

次に、各クラスタ４００の中においては、クラスタ４００に属する各情報処理装置１００について評価値Ｐ１（ｘ）を算出し、当該評価値Ｐ１（ｘ）を最大とする情報処理装置１００のホットストレージ２１０にデータを配置する（図４のステップＳ３）。評価値Ｐ１（ｘ）は、データの各種属性情報に基づき算出することができる。例えば、次式（２）により評価値Ｐ１（ｘ）を算出する。

【0039】

Ｐ１（ｘ）＝ω_３＊（アクセス頻度）／（ユーザからの平均アクセス距離）＋ω_４＊残ストレージ容量 …式（２）
ここで、ω_３及びω_４は定数である。図５の例では、クラスタ４００ａについては情報処理装置１００ｃのホットストレージ２１０ｃにデータを保存するとともに、クラスタ４００ｂについては情報処理装置１００ｅのホットストレージ２１０ｅにデータを保存する。

【0040】

次に、上記特徴点（２）の具体例である変形ＬＲＵについて図６～図８を参照して説明する。図６は変形ＬＲＵの動作を説明するフローチャート、図７及び図８は変形ＬＲＵを説明する図である。

【0041】

本発明に係る変形ＵＲＬでは、ホットストレージ２１０に格納するデータは有用性に関する評価値Ｐ２（ｘ）に基づき降順に整列されたリスト構造で保持する。この評価値Ｐ２（ｘ）は逐次更新される値であり、削除や強制移動などを決めるためのデータｘのポイントを意味する。評価値Ｐ２（ｘ）はデータの各種属性情報に基づき算出することができる。例えば、次式により評価値Ｐ２（ｘ）を算出する。

【0042】

Ｐ２（ｘ）＝ω_５／（同一データ数）＋ω_６＊（アクセス頻度）／（ユーザからの平均アクセス距離）－ω_７（現在アクセス時刻－最終アクセス時刻） …式（３）
ここで、ω_５，ω_６及びびω_７は定数である。

【0043】

情報処理装置１００は、当該情報処理装置１００にとって新規のデータをホットストレージ２１０に保存する際には、評価値Ｐ２（ｘ）を算出し、この評価値Ｐ２（ｘ）に基づく順序となるようホットストレージ２１０に保存する（図６のステップＳ１１，Ｓ１３、図７（ａ））。すなわち、新たなデータを変形ＬＲＵの中間に挿入するために、その新規データの有用性に応じて、リスト構造の適切な位置のポインタを繋ぎ変える。ここで、新規のデータの保存に必要な空き容量がホットストレージ２１０にない場合、以下のアルゴリズムにより空き容量を確保する（図６のステップＳ１２，Ｓ１４～Ｓ１８）。

【0044】

情報処理装置１００は、ホットストレージ２１０に格納されたデータのうち前記評価値Ｐ２（ｘ）が最低のデータがラストワンデータでない場合、当該データは他の情報処理装置１００のホットストレージに格納されているので、自身のホットストレージ２１０から削除する（図６のステップＳ１４～Ｓ１５、図７（ｂ））。

【0045】

一方、前記評価値Ｐ２（ｘ）が最低のデータがラストワンデータである場合、情報処理装置１００は、仮想ストレージネットワーク内のホットストレージ２１０全体で強制移動するかどうかの判断を行う（図６のステップＳ１６）。強制移動するか否かの判断には各情報処理装置１００における前記評価値Ｐ２（ｘ）を用いることができる。具体的には、他の情報処理装置１００に前記ラストワンデータの評価値Ｐ２（ｘ）よりも低い評価値Ｐ２（ｘ）のデータが格納されていたら、当該他の情報処理装置１００に強制移動すると判断する。情報処理装置１００は、強制移動すると判断した場合、他の情報処理装置１００にラストワンデータを移動させる（図６のステップＳ１６，Ｓ１８、図７（ｄ））。ここで、移動先の他の情報処理装置１００では、前記ラストワンデータの評価値Ｐ２（ｘ）よりも低い評価値Ｐ２（ｘ）のデータは当該情報処理装置１００のコールドストレージ２２０に追い出す。一方、強制移動しないと判断した場合、情報処理装置１００は、ラストワンデータを自身のコールドストレージ２２０に移動させる（図６のステップＳ１６，Ｓ７、図７（ｃ））。なお、データをホットストレージ２１０からコールドストレージ２２０に移動させることを、「降格させる」や「アーカイブする」とも言う。

【0046】

上述のクラスタ分割数の算出、クラスタ内におけるデータ配置先の決定で用いる評価値Ｐ１（ｘ）の算出、ホットストレージ２１０におけるデータの有用性に関する評価値Ｐ２（ｘ）の算出で必要な各パラメータは、自身が保有しているもの、換言すれば自ノードで閉じたものであるならば、当該パラメータを用いる。各パラメータが自ノードに閉じない場合には、各ノード間で互いに情報をやりとりすることで取得する。なお、データがどの情報処理装置１００に格納されているか否かは管理サーバ３が管理している。そこで、例えば他のホットストレージ２１０におけるデータのアクセス頻度を取得するには、まず管理サーバ３に当該データの位置情報を取得し、この位置情報に基づき当該データを格納している情報処理装置１００に問い合わせればよい。

【実施例】

【0047】

情報処理装置１００の一実施例について図９を参照して説明する。図９は実施例に係る情報処理装置の機能ブロック図である。

【0048】

情報処理装置１００は、ホットストレージ２１０とコールドストレージ２２０とを備えたデータ蓄積部２００と、データ配置制御部３００とを備えている。

【0049】

データ蓄積部２００は、他の情報処理装置１００からのデータをさらに他の情報処理装置１００に中継する機能を有する。また、データ蓄積部２００は、データ要求端末２から自身のホットストレージ２１０又はコールドストレージ２２０に保存されているデータのアクセス要求があると、当該データをデータ要求端末２に送信する機能を有する。また、データ蓄積部２００は、中継するデータを、データ配置制御部３００からの指示によりホットストレージ２１０に保存する機能を有する。

【0050】

ホットストレージ２１０は、応答速度は早いが容量が相対的に小さく費用コストも高い不揮発性の記憶媒体である。ホットストレージ２１０としては、例えばＳＳＤや高速なＨＤＤが挙げられる。コールドストレージ２２０は、応答速度は遅いが容量が相対的に大きく費用コストも低い不揮発性の記憶媒体である。コールドストレージ２２０としては、例えば低速なＨＤＤやテープや光学ディスクなどが相当する。なおコールドストレージ２２０は、メディアを自動又は手動で着脱自在な構成としてもよい。

【0051】

データ配置制御部３００は、アクセス偏在性評価部３１０と、変形ＬＲＵベース有用性評価部３２０と、制御操作実行部３３０とを備えている。制御操作実行部３３０は、キャッシュ配置操作実行部３３１と、強制移動操作実行部３３２と、削除操作実行部３３３と、アーカイブ操作実行部３３４とを備えている。

【0052】

アクセス偏在性評価部３１０は、仮想ストレージネットワーク内に保存されている各データに対するデータ要求端末２からのアクセスについて、そのアクセス情報を取得・評価する。アクセス情報は、自身の情報処理装置１００に対するアクセスについては自身で収集し、他の情報処理装置１００に対するアクセスについては当該他の情報処理装置１００から収集する。

【0053】

変形ＬＲＵベース有用性評価部３２０は、前述した有用性に関する評価値Ｐ２（ｘ）を算出する。

【0054】

キャッシュ配置操作実行部３３１は、データ蓄積部２００に対するデータのキャッシュ操作及び管理を行うものであり、前述した特徴点（１）及び（２）の機能を有する。キャッシュ配置操作実行部３３１は、クラスタ分割部３３１ａと、クラスタ内配置先ストレージ決定部３３１ｂを備える。

【0055】

クラスタ分割部３３１ａは、前述したように経路上にある情報処理装置１００を複数のクラスタ４００に分割する処理を行う。クラスタ内配置先ストレージ決定部３３１ｂは、前述したように分割した各クラスタ４００内においてデータを配置する情報処理装置１００を決定する。

【0056】

強制移動操作実行部３３２は、自身のホットストレージ２１０から他の情報処理装置１００のホットストレージ２１０にデータを強制移動させる処理の実行を行う。削除操作実行部３３３は、自身のホットストレージ２１０からデータを削除する処理の実行を行う。アーカイブ操作実行部３３４は、自身のホットストレージ２１０からコールドストレージ２２０へデータを移動させる処理の実行を行う。

【0057】

情報処理装置１００は、主演算装置、メモリ、ネットワークインタフェース等を備えた周知の情報処理装置からなる。ここで情報処理装置１００の実装形態は不問である。例えば、情報処理装置１００の各部を分散して複数の装置により実装してもよい。また、情報処理装置１００の各部は汎用のコンピュータにプログラムをインストールすることにより実装してもよいし、専用のハードウェアとして実装してもよいし、これらを組み合わせてもよい。

【0058】

以上のように本発明によれば、データ要求端末２がアクセスしたデータは、その通信経路上にある全ての情報処理装置１００ではなく、通信経路上にある情報処理装置１００が複数のクラスタ４００に分割され、各クラスタ４００内の１つの情報処理装置１００のホットストレージ２１０にキャッシュとして記憶されるので、ストレージの利用効率が向上する。また、本発明によれば、ラストワンデータについては、当該データを保管している情報処理装置１００においてキャッシュ管理の評価値が低いものであっても、所定の条件で他の情報処理装置１００のホットストレージ２１０に移動する。これにより、応答速度の遅いコールドストレージ２２０にアクセスする機会が減り、全体として応答速度が向上する。

【0059】

以上、本発明の一実施の形態について詳述したが、本発明は上記実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよい。

【0060】

例えば、上記実施の形態では、経路上ノードクラスタリングや変形ＬＲＵの処理において必要な情報は、自身の情報処理装置１００又は他の情報処理装置１００から取得していたが、これらの情報を他の情報管理装置で統括的に管理するとともに、各情報処理装置１００は前記情報管理装置から前記情報を取得するようにしてもよい。また、経路上ノードクラスタリングや変形ＬＲＵにおける処理における一部を、他の情報管理装置で実施するようにしてもよい。この場合、当該一部の処理に必要な情報は、各情報処理装置１００から取得するようにすればよい。情報管理装置１０の配備位置は各情報処理装置１００と通信可能であればよくネットワーク的な位置は不問である。このような実施形態の一例について図１０及び図１１を参照して説明する。

【0061】

本実施形態では、図１０に示すように、前述の情報管理装置に相当する強制移動候補決定装置５を各情報処理装置１００と通信可能に配備する。強制移動候補決定装置５は、各情報処理装置１００のホットストレージ２１０における強制移動候補のランキングを統合的に管理するものであり、より具体的には、各ノードで最もコールドストレージ降格する又はキャッシュ削除されやすいデータのもつポイントを管理する機能を有する。各情報処理装置１００は、強制移動候補決定装置５に問い合わせることによりデータを他の情報処理装置１００に強制移動する否かを判定することができる。このような実施形態における情報処理装置１００の実施例を図１１に示す。

【0062】

また、上記の各実施の形態において、例えば、上述のクラスタ分割数の算出、クラスタ内におけるデータ配置先の決定で用いる評価値Ｐ１（ｘ）の算出、ホットストレージ２１０におけるデータの有用性に関する評価値Ｐ２（ｘ）の算出で用いた数式は一例であり、他の数式やパラメータを用いることができる。パラメータは、例えば、リンク帯域、リンク利用率やＱｏＳ、メインパスからストレージまでの離れ具合（距離）、ストレージ容量、ストレージ存在地のユーザ数、これまでの歴史、以前にレプリカを作ったとかの歴史、Ａｇｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎの大小、レプリカ数の増減率、ストレージに繋がっているＰｕｂｌｉｓｈｅｒ数、ストレージにストアされるオリジナルデータのスループット、データサイズ、トポロジ分岐数（隣接ノード数）、累計（過去）のアクセス回数、推定（将来）のアクセス回数、アクセス頻度、直近アクセス間隔、ストレージ容量に占める重複配置データの割合、生成元Ｐｕｂｌｉｓｈｅｒの最新データであるか否か（ＡｏＩがデータ生成間隔を下回っているか否か）、被利用データが重複配置データであるとき同じデータが現時点でどこに配置されているかなどの、リンク状況、データ特性、キャッシュ配置先のストレージ状況、ネットワークトポロジー、といった各種データ属性を任意に用いることができる。

【符号の説明】

【0063】

１…データ送信端末
２…データ要求端末
３…管理サーバ
１０…ネットワーク
１００…情報処理装置
２１０…ホットストレージ
２２０…コールドストレージ
３００…データ配置制御部
４００…クラスタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】