(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-28
(54)【発明の名称】分散メッセージキューを介したキャッシュの更新
(51)【国際特許分類】
G06F 16/182 20190101AFI20230821BHJP
G06F 16/172 20190101ALI20230821BHJP
G06F 16/23 20190101ALI20230821BHJP
【ＦＩ】
G06F16/182
G06F16/172
G06F16/23
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023507346
(86)(22)【出願日】2020-08-03
(85)【翻訳文提出日】2023-03-01
(86)【国際出願番号】 US2020044705
(87)【国際公開番号】W WO2022031259
(87)【国際公開日】2022-02-10
(81)【指定国・地域】
(71)【出願人】
【識別番号】520155228
【氏名又は名称】ヒタチ ヴァンタラ エルエルシー
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】ギブソン， ロバート
(72)【発明者】
【氏名】グリマルディ，ケビン カヌエッテ
(72)【発明者】
【氏名】ラッシュ， デイビッド， ジュニア．
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175AA01
5B175CA09
(57)【要約】
いくつかの例では、第１計算装置は、第２計算装置から第１要求を受信してもよい。例えば第１計算装置は複数のデータベースノードと通信可能としてもよく、各データベースノードは複数のデータベースノードにわたって分散されるデータベースの一部を維持する。更に第１計算装置は、データベース内に維持される情報のサブセットのローカルキャッシュを維持してもよい。第１計算装置は、データベース内のデータを第１データベースノードに変更させるために、第１要求に基づく第の要求を第１データベースノードに送信してもよい。加えて第１計算装置は、複数の分散メッセージキューのメッセージキューから、データベース内のデータの変更に基づくキャッシュ更新メッセージを受信する。第１計算装置は、キャッシュ更新メッセージに基づいてローカルキャッシュを更新してもよい。
【特許請求の範囲】
【請求項1】
複数のデータベースノードと通信可能な第１計算装置を含むシステムであって、各データベースノードは前記複数のデータベースノードにわたってデータベースを分散するために、前記データベースを区分化することに基づく前記データベースの部分を維持し、前記第１計算装置は、前記データベース内に維持される情報のサブセットのローカルキャッシュを維持し、
前記第１計算装置は、
前記第１計算装置により、第１要求を第２計算装置から受信することであって、前記第１要求は前記データベース内のデータに影響を及ぼす、受信すること、
前記第１計算装置により、前記第１要求に基づく第２要求を、前記複数のデータベースノードの第１データベースノードに送信することであって、前記第２要求は、前記第１データベースノードに前記データベース内の前記データを変更させる、送信すること、
前記第１計算装置により、複数の分散メッセージキューのメッセージキューから、前記データベース内の前記データの前記変更に基づくキャッシュ更新メッセージを受信すること、及び
前記第１計算装置により、前記キャッシュ更新メッセージに基づいて前記ローカルキャッシュを更新すること
を含む操作を実行するように実行可能命令によって構成されている、
システム。
【請求項2】
前記キャッシュ更新メッセージを受信することは、前記データベース内の前記データの前記変更として前記データベースに追加された更新されたメタデータを受信することを含み、前記キャッシュ更新メッセージに基づいて前記ローカルキャッシュを更新することは、前記更新されたメタデータを含むように前記ローカルキャッシュを更新することを含む、
請求項１に記載のシステム。
【請求項3】
前記キャッシュ更新メッセージに基づいて前記ローカルキャッシュを更新することは、前記ローカルキャッシュの少なくとも一部を無効化することを含む、請求項１に記載のシステム。
【請求項4】
前記操作は、アドバンスメッセージキューイングプロトコルに従って前記キャッシュ更新メッセージを受信することを更に含む、請求項１に記載のシステム。
【請求項5】
前記システムは、複数のメッセージングノードを含み、前記複数の分散メッセージキューは前記複数のメッセージングノードによってそれぞれ提供される、請求項１に記載のシステム。
【請求項6】
前記第１データベースノードは、前記データベース内の前記データの前記変更のデータタイプを含むように構成され、前記複数の分散メッセージキューの前記メッセージキューは、前記ローカルキャッシュが前記データタイプを含むと判定することに少なくとも基づき、前記第１計算装置に前記キャッシュ更新メッセージをルートするように構成されている、
請求項１に記載のシステム。
【請求項7】
前記第１計算装置は、前記第１計算装置上で第１サービスを実行し、前記第１サービスは前記ローカルキャッシュを維持し、そこにおいて、前記第１サービスは、第２計算装置が前記データベースに対応するストレージシステム内に記憶されたデータにアクセスすることを可能にする、請求項１に記載のシステム。
【請求項8】
前記第１サービスは、ユーザウェブアプリケーション、又は
管理ウェブアプリケーション
のうちの１つである、請求項７に記載のシステム。
【請求項9】
前記第１要求は前記データベースに関連するストレージシステムにおいてデータを記憶するためのデータ書き込み要求である、請求項１に記載のシステム。
【請求項10】
前記キャッシュ更新メッセージに基づいて前記ローカルキャッシュを更新することは、前記ローカルキャッシュの少なくとも一部を無効化することを含み、前記操作は、前記第２計算装置から第３要求を受信すること、
前記ローカルキャッシュの前記少なくとも一部が無効化されると決定すること、及び
前記第３要求に関係する前記データベースからの情報を決定するために、前記複数のデータベースノードの少なくとも１つのデータベースノードにクエリを送信すること
を更に含む、請求項１に記載のシステム。
【請求項11】
前記少なくとも１つのデータベースノードから応答を受信することに基づき、リモートストレージシステムからネットワークを介してデータを得るために別の計算装置にメタデータ情報を送信することを更に含む、請求項１０に記載のシステム。
【請求項12】
方法であって、第１計算装置により、第２計算装置から第１要求を受信することであって、前記第１計算装置は複数のデータベースノードと通信することができ、各データベースノードは、前記複数のデータベースノードにわたってデータベースを分散するために前記データベースを区分化することに基づく前記データベースの一部を維持し、前記第１計算装置は、前記データベース内に維持される情報のサブセットのローカルキャッシュを保持する、受信すること、
前記第１計算装置により、前記第１要求に基づく第２要求を、前記複数のデータベースノードの第１データベースノードに送信することであって、前記第２要求は、前記第１データベースノードに前記データベース内の前記データを変更させる、送信すること、
前記第１計算装置により、複数の分散メッセージキューのメッセージキューから、前記データベース内の前記データの前記変更に基づくキャッシュ更新メッセージを受信すること、及び
前記第１計算装置により、前記キャッシュ更新メッセージに基づいて前記ローカルキャッシュを更新すること
を含む、方法。
【請求項13】
前記キャッシュ更新メッセージを受信することは、前記データベース内の前記データの前記変更として前記データベースに追加される更新されたメタデータを受信することを含み、前記キャッシュ更新メッセージに基づいて前記ローカルキャッシュを更新することは、前記更新されたメタデータを含むように前記ローカルキャッシュを更新することを含む、
請求項１２に記載の方法。
【請求項14】
１又は複数のプロセッサによって実行されるとき、前記１又は複数のプロセッサを、第１計算装置により、第１要求を第２計算装置から受信することであって、前記第１計算装置は複数のデータベースノードと通信することができ、各データベースノードは前記複数のデータベースノードにわたってデータベースを分散するために前記データベースを区分化することに基づく前記データベースの一部を保持し、前記第１計算装置は前記データベース内に保持される情報のサブセットのローカルキャッシュを保持する、受信すること、
前記第１計算装置により、前記複数のデータベースノードの第１データベースノードに、前記第１要求に基づく第２要求を送信することであって、前記第２要求は前記データベース内の前記データを前記第１データベースノードに変更させる、送信すること、
前記第１計算装置により、前記データベース内の前記データの前記変更に基づくキャッシュ更新メッセージを複数の分散メッセージキューのメッセージキューから受信すること、及び
前記第１計算装置により、前記キャッシュ更新メッセージに基づいて前記ローカルキャッシュを更新すること
を含む操作を実行するように構成する命令を記憶する、１又は複数の非一時的コンピュータ可読媒体。
【請求項15】
前記キャッシュ更新メッセージを受信することは、前記データベース内の前記データの前記変更として前記データベースに追加される更新されたメタデータを受信することを含み、前記キャッシュ更新メッセージに基づいて前記ローカルキャッシュを更新することは、前記更新されたメタデータを含むように前記ローカルキャッシュを更新することを含む、
請求項１４に記載の１又は複数の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、データストレージの技術分野に関する。
【背景技術】
【0002】
マルチパーティションデータベースは、「ノード」とも呼ばれる複数の計算装置間でデータサービスを分けることによって水平拡張性をもたらしてもよい。例えば、データベース内のデータの高可用性及び耐故障性は、増加したデータ量及び／又は作業負荷を取り扱うためにデータベースを複数のノードにわたって複製し、必要に応じてノードの数を増やすことにより可能にされてもよい。クライアントサービスは、データベースに対応するデータを読み書きするためにデータベースノードにアクセスしてもよい。いくつかのケースでは、クライアントノードは、クライアントが正しいデータベースノードに読み取り要求及び書き込み要求をルートすることを可能にするために、データベースからのデータのサブセットであるローカルキャッシュを維持してもよい。しかし、データベースのルーティングは動的に変化したり、又はクライアントが自らのローカルキャッシュ内に古くなった情報を有することを引き起こし得る他のイベントが生じたりする可能性があり、それらはシステム資源間の一様でないタイミングの問題、遅いシステム応答時間等を引き起こし得る。
【発明の概要】
【課題を解決するための手段】
【0003】
いくつかの実装形態は、第２計算装置から第１要求を受信してもよい第１計算装置を含む。更に、第１計算装置は複数のデータベースノードと通信可能としてもよく、各データベースノードは複数のデータベースノードにわたって分散されたデータベースの一部を維持する。加えて第１計算装置は、データベースに維持される情報のサブセットのローカルキャッシュを維持してもよい。第１計算装置は、第１データベースノードにデータベース内のデータを変更させるために、第１要求に基づく第２要求を第１データベースノードに送信してもよい。加えて第１計算装置は、複数の分散メッセージキューのメッセージキューから、データベース内のデータの変更に基づくキャッシュ更新メッセージを受信する。第１計算装置は、キャッシュ更新メッセージに基づいてローカルキャッシュを更新してもよい。
【図面の簡単な説明】
【0004】
添付図面に関して詳細な説明を記載する。図中、参照番号の左端の数字はその参照番号が初めて登場する図面を識別する。異なる図面内で同じ参照番号を使用することは同様の又は同一のアイテム又は特徴を示す。
【0005】
【0006】
【0007】
【0008】
【0009】
【0010】
【0011】
【発明を実施するための形態】
【0012】
本明細書のいくつかの実装形態は、キャッシュ無効化メッセージを集約し、関連するターゲットに届けるために分散メッセージングキューシステムが使用される分散計算システムのための技術及び配置を対象とする。例えばこのシステムは、性能を高めスケーリング特性を改善することに有利であるように、いくつかの操作に関してクライアントサービスが僅かに古くなったデータを使用することを許容してもよい分散データベースを含んでもよい。このことは、以下で更に論じるように、とりわけ１又は複数の追加の最適化が含まれる場合、システムが、読み取り集中型の作業負荷、更には書き込み集中型の作業負荷に関するデータベース負荷を大幅に減らすことを可能にする。
【0013】
いくつかの例は、異種クラウド（及び／又は又はマルチクラウド）環境内で動作可能な革新的な分散キャッシュを含む。例えば異種クラウド環境では、様々な資源特性、例えば計算、メモリ、ネットワーク等を有する多岐にわたる分散ノードが一緒に機能してもよい。しかし、キャッシュを同期するためのｃｈａｔｔｙパブリッシャ／サブスクライバプロトコル等の標準的な同期技術はかかる環境では上手く機能することができない。従って本明細書のいくつかの実装形態は、システムのためのクライアントサービスを実装する個々のクライアントノード上の複数のローカルメモリ内キャッシュを採用する。例えばローカルキャッシュは、クライアントサービスによって使用される特定のデータベースの値をミラーリングしてもよい。加えて本明細書のシステムは、ローカルキャッシュを周期的に無効化及び／又は同期するためにアドバンストメッセージキューイングプロトコル（ＡＭＱＰ）を使用することによって等、メッセージブローカキューを採用してもよい。
【0014】
いくつかのケースでは、それぞれのキャッシュされたデータ要素は、データ要素が過度に古くならないように、設定可能な時間の後に失効されるように構成されてもよい。新たな値がデータベースに書き込まれるとき、各クライアントは、対応するデータアイテムが無効化されていることを無効化メッセージによって通知されてもよい。更なる最適化のために、無効化メッセージは新たなデータ値に関する情報を含んでもよい。従って本明細書のいくつかのケースでは、データベースの読み取りは、クライアントのローカルキャッシュが指定のデータアイテムのレコードを有さない場合にのみ、又はそのデータアイテムが如何なる更新値もなしに無効化された場合にのみクライアントノードによって実行される。
【0015】
本明細書のいくつかの例は、ローカルキャッシュを無効化し、分散されたローカルキャッシュの組にわたるローカルキャッシュ同期を実現するためにメッセージブローカプロトコルを使用する。更にいくつかの実装形態は、メッセージブローカキューベースの分散システム内の性能及び拡張性を改善するために、メッセージの遅延発行を採用する。例えばメッセージキューは、メッセージを届ける前のより長い期間にわたってメッセージを持続する能力によって他の一部の技術よりも本質的に損失が少ない。
【0016】
本明細書のいくつかの例では、クライアントノードは、各要求に適切なデータベースノードの個々のサブセットに自らの個々の読み取り要求及び書き込み要求をルートする。更に、データベースのルーティングは動的に変化する場合があり、そのため、たとえデータベースノード及び／又はクライアントノード上の計算資源、ネットワーク資源、及びストレージ資源が異なる可能性があってもクライアント装置は本明細書に記載の実装形態に基づいて現在のルーティング情報を保持することがあり、そのことは例えばシステム内の参加エンティティ間の一様でないタイミングの問題を引き起こし得る。従って本明細書のいくつかの例は、ローカルシステム又は固有システムに接続されたパブリッククラウドストレージ装置を含んでもよい複数の異種システムを接続する。
【0017】
本明細書の実装形態は、効率的なアクセスのためにデータベース内に記憶される情報のサブセットをローカルに記憶する複数のクライアントノードと共に、情報を記憶し供給する複数の分散データベースノードを有する拡張性のあるクラウドストレージ構成により直面されるキャッシングの問題を解決する。更に本明細書のいくつかの例は、１組のデータベースノード（いくつかの例ではメタデータゲートウェイ装置）、及びデータベースノードによって提供される分散データベースのクライアントであるクライアントノードによって実行される１組のクライアントサービスで構成される分散システムを含んでもよい。例えば、データベースノードは情報を記憶し供給してもよく、クライアントノードはデータベース内の情報にアクセスし又はかかる情報をミラーリングしてもよい。
【0018】
解説目的で、いくつかの実装例は、分散メタデータデータベースを使用してデータに対する記憶及びアクセスを管理するためのクラウドストレージシステムと通信する１又は複数のサービス計算装置の環境において記載されている。但し、本明細書の開示に照らして当業者に明らかであるように、本明細書の実装形態は提供する特定の例に限定されず、他の種類の計算システムアーキテクチャ、他の種類のデータベース、他の種類のストレージ環境、他の種類のクライアント構成、他の種類のデータ等に拡張されてもよい。
【0019】
図１は、いくつかの実装形態に係るローカルキャッシュ更新のためのメッセージングを採用するシステム１００のアーキテクチャ例を示す。システム１００は、１又は複数のネットワーク１０６等を介し、少なくとも１のネットワークストレージシステム１０４と通信可能な、或いはそれらに接続される複数のサービス計算装置１０２を含む。更にサービス計算装置１０２は、以下で更に論じるように様々な種類の計算装置の何れかとしてもよい１又は複数のユーザ装置１０８及び１つ又は複数の管理者装置１１０とネットワーク１０６上で通信することができる。
【0020】
いくつかの例では、サービス計算装置１０２は任意の数のやり方で具体化されてもよい１又は複数のサーバを含んでもよい。例えばサービス計算装置１０２のプログラム、他の機能コンポーネント、及びデータストレージの少なくとも一部は、サーバのクラスタ、サーバファーム、データセンタ、クラウドによってホストされる計算サービス等の中の少なくとも１つのサーバ上に実装されてもよいが、他のコンピュータアーキテクチャが追加で又は代替的に使用されてもよい。サービス計算装置１０２の更なる詳細は図７に関して以下で論じられる。
【0021】
サービス計算装置１０２は、ストレージ及びデータ管理サービスをユーザ１１２に提供するように構成されてもよい。幾つかの非限定的な例として、ユーザ１１２は会社、企業、組織、政府事業体、学術的事業体等のための機能を実行し、また、いくつかの例では非常に大量のデータを記憶することを含んでもよいユーザを含んでもよい。それでもなお本明細書の実装形態は、システム１００並びに本明細書に記載の他のシステム及び構成のための或る特定の使用法又は応用に限定されない。
【0022】
ネットワークストレージシステム１０４は、いくつかの例では「クラウドストレージ」又は「クラウドベースストレージ」と呼ぶことができ、いくつかのケースでは、サービス計算装置１０２において利用可能であってもよいローカルストレージよりも安価なメガバイト／ギガバイト当たりのストレージソリューションを可能にしてもよい。更にいくつかの例では、ネットワークストレージシステム１０４は本技術分野で知られている市販のクラウドストレージを含んでもよい一方、他の例では、ネットワークストレージシステム１０４は、サービス計算装置１０２に関連するエンティティによってのみアクセス可能なプライベート又はエンタープライズストレージシステム、又はこれらの組み合わせを含んでもよい。
【0023】
１又は複数のネットワーク１０６は、インターネット等の広域ネットワーク、イントラネット等のローカルエリアネットワーク（ＬＡＮ）、セルラネットワーク等の無線ネットワーク、Ｗｉ－Ｆｉ等のローカル無線ネットワーク、及び／又はＢＬＵＥＴＯＯＴＨ（登録商標）等の短距離無線通信、ファイバチャネル、光ファイバ、イーサネット、又は他の任意のかかるネットワークを含む有線ネットワーク、直接の有線接続、又はそれらのものの任意の組み合わせを含む任意の適切なネットワークを含んでもよい。従って、１又は複数のネットワーク１０６は有線通信技術及び／又は無線通信技術の両方を含んでもよい。そのような通信に使用されるコンポーネントはネットワークの種類、選択された環境、又はその両方に少なくとも部分的に依存し得る。かかるネットワーク上で通信するためのプロトコルはよく知られており、本明細書では詳しくは論じない。従って、サービス計算装置１０２、ネットワークストレージシステム１０４、ユーザ装置１０８、及び管理装置１１０は有線接続又は無線接続及びその組み合わせを使用する１又は複数のネットワーク１０６上で通信することができる。
【0024】
加えて、サービス計算装置１０２は１又は複数のネットワーク１０７上で互いに通信することが可能であってもよい。いくつかの事例では、１又は複数のネットワーク１０７は、ＬＡＮ、プライベートネットワーク等であってもよい一方、他のケースでは、１又は複数のネットワーク１０７は上記で論じたネットワーク１０６の何れかを含んでもよい。
【0025】
各ユーザ装置１０８は、デスクトップ、ラップトップ、タブレット計算装置、モバイル装置、スマートフォン、ウェアラブル装置、端末、及び／又はネットワーク上でデータを送信可能な他の任意の種類の計算装置等の任意の適切な種類の計算装置であってもよい。ユーザ１１２は、個々のユーザアカウント、ユーザログイン資格情報等によってユーザ装置１０８に関連付けられてもよい。更にユーザ装置１０８は、１又は複数のネットワーク１０６によって、別個のネットワークによって、又は他の任意の適切な種類の通信接続によってサービス計算装置１０２と通信することができてもよい。本明細書の開示の利益を得る当業者に数多くの他の改変形態が明らかになる。
【0026】
更に各ユーザ装置１０８は、ネットワークストレージシステム１０４上に記憶するためのユーザデータを送信するために及び／又はデータ要求１１８によってネットワークストレージシステム１０４から記憶済みデータを受信するために等、１つ又は複数のサービス計算装置１０２上でサービスとして実行可能なユーザウェブアプリケーション１１６と通信する等のために、ユーザ装置１０８上で実行され得るユーザアプリケーション１１４の個々のインスタンスを含んでもよい。いくつかのケースではアプリケーション１１４はブラウザを含んでもよく又はブラウザを介して動作してもよい一方、他のケースではアプリケーション１１４は１又は複数のネットワーク１０６上でのユーザウェブアプリケーション１１６との通信を可能にする通信機能を有する他の任意の種類のアプリケーションを含んでもよい。
【0027】
システム１００内で、ユーザ１１２は、自らの個々のユーザ装置１０８により通信しているサービス計算装置１０２にデータを記憶し、及びサービス計算装置１０２からデータを受信してもよい。従って、サービス計算装置１０２はユーザ１１２及び個々のユーザ装置１０８にストレージサービスを提供してもよい。定常状態運用中、データを読み書きするためなど、サービス計算装置１０２と周期的に通信するユーザ１０８がいる場合がある。
【0028】
加えて管理者装置１１０は、デスクトップ、ラップトップ、タブレット計算装置、モバイル装置、スマートフォン、ウェアラブル装置、端末、及び／又はネットワーク上でデータを送信可能な他の任意の種類の計算装置等の任意の適切な種類の計算装置としてもよい。管理者１２０は、個々の管理者アカウント、管理者ログイン資格情報等によって管理者装置１１０に関連付けられてもよい。更に管理者装置１１０は、１つ又は複数のネットワーク１０６、１０７によって、別個のネットワークによって、又は他の任意の適切な種類の通信接続を介してサービス計算装置１０２と通信可能であってもよい。
【0029】
更に各管理者装置１１０は、１又は複数のサービス計算装置１０２の上のサービスとして実行可能な管理ウェブアプリケーション１２４と通信するために等、管理者装置１１０上で実行されてもよい管理者アプリケーション１２２の個々のインスタンスを含んでもよい。例えば管理者１２０は、システム１００を管理するための管理命令を送信するために、並びに管理要求１２６等によってネットワークストレージシステム１０４上に記憶するための管理データを送信するために及び／又はネットワークストレージシステム１０４から記憶済み管理データを取り出すために等、管理者アプリケーションを使用してもよい。いくつかのケースでは、管理者アプリケーション１２２はブラウザを含んでもよく又はブラウザによって動作してもよい一方、他のケースでは管理者アプリケーション１２２は１又は複数のネットワーク１０６上での管理ウェブアプリケーション１２４との通信を可能にする通信機能を有する他の任意の種類のアプリケーションを含んでもよい。
【0030】
サービス計算装置１０２は、ネットワークストレージシステム１０４に記憶されるデータを送信するために及びネットワークストレージシステム１０４から要求されたデータを取り出すために等、ネットワークストレージシステム１０４へのゲートウェイを提供してもよいストレージプログラム１３０を実行してもよい。加えてストレージプログラム１３０は、データ保持期間、データ保護レベル、データ複製等を管理するために等、システム１００によって記憶されるデータを管理してもよい。
【0031】
サービス計算装置１０２は、複数のメタデータデータベース（ＤＢ）パーティション１３４（１）～１３４（Ｎ）に分割されてもよく、及び複数のサービス計算装置１０２にわたって分散されてもよいメタデータデータベース（ＤＢ）１３２を更に含んでもよい。例えば、メタデータＤＢ１３２はネットワークストレージシステム１０４に記憶されるオブジェクトデータ１３６を管理するために使用されてもよい。メタデータＤＢ１３２は、個々のオブジェクトに関する情報、個々のオブジェクトにどのようにアクセスするのか、オブジェクトのためのストレージ保護レベル、ストレージ保持期間、オブジェクト所有者情報、オブジェクトサイズ、オブジェクトタイプ等、オブジェクトデータ１３６に関する多数のメタデータを記憶してもよく、或いは含んでもよい。更にＤＢ管理プログラム１３８は、新たなオブジェクトが記憶されるとき、古いオブジェクトが削除されるとき、オブジェクトが移行されるとき等にメタデータＤＢ１３２を更新するために等、メタデータＤＢ１３２を管理し維持してもよい。データベースパーティション１３４を含むサービス計算装置１０２はデータベースノード１４０と呼んでもよく、パーティション１３４の１又は複数に対応するデータベース１３２の一部をそれぞれ維持してもよい。
【0032】
加えて、サービス（図１に示すサービスの例はユーザウェブアプリケーション１１６及び管理ウェブアプリケーション１２４を含む）をその上で実行するサービス計算装置１０２はクライアントノード１４２と呼んでもよい。各クライアントノード１４２は、図示の例の第１ローカルキャッシュ１４６（１）及び第２ローカルキャッシュ１４６（２）等の個々のローカルキャッシュ１４６（いくつかのケースでは「ニアキャッシュ」又は「ローカルビュー」とも呼ばれる）を維持してもよい。クライアントノード１４２は、メタデータデータベース１３２に対してクライアントとして動作してもよい。いくつかのケースでは、クライアントノード１４２はクライアントノード１４２上で維持されてもよいローカルキャッシュ１４６を更新してもよい。例えばローカルキャッシュ１４６はデータベース１３２の更新に基づいて、及び／又は以下で更に論じる他の技術によって周期的に更新されてもよい。従って一例として、ユーザウェブアプリケーション１１６がユーザ装置１０８からデータ要求１１８を受信すると、ユーザウェブアプリケーション１１６はローカルキャッシュ１４６（１）にアクセスしてデータ要求１１８を実行するために通信するためのデータベースノード１４０を決定してもよい。ローカルキャッシュ１４６（１）を使用することにより、ユーザウェブアプリケーション１１６はデータ要求１１８を実行するためにメタデータＤＢ１３２から所望の情報を得るためのクエリの数を減らすことができる。
【0033】
更に、サービス計算装置１０２の一部又は全ては、システム１００の一部として個々のサービス計算装置１０２を管理するために、及び本明細書のサービス計算装置１０２による他の機能を実行するために個々のサービス計算装置１０２によって実行されるノード管理プログラム１４８の個々のインスタンスを含んでもよい。サービス計算装置１０２がデータベースノード１４０である場合、ノード管理プログラムはデータベースノード１４０をパーティショングループに構成すること及びパーティショングループの操作を制御すること等のアクションを実行するために、データベースノード１４０の構成を更に管理してもよい。
【0034】
１つの非限定的な例として、データベースノード１４０は、分散メタデータデータベースのデータベースパーティション１３４のデータの冗長性及び一貫性を確実にするために、Ｒａｆｔ合意アルゴリズムに従うＲａｆｔグループ内に構成されてもよい。Ｒａｆｔアルゴリズムに従い、各パーティショングループの１つのデータベースノード１４０はリーダとして選ばれてもよく、そのデータベースパーティション１３４に関する全ての読み取り操作及び書き込み操作をサービスすることを担ってもよい。従って、リーダノードはクライアントノード１４２のためのメタデータゲートウェイとして機能してもよい。他のデータベースノード１４０は、自らのメタデータデータベース情報を更新することを可能にするために全てのトランザクションのコピーを受信するフォロワノードである。リーダノードが故障し又はタイムアウトした場合、フォロワノードの１つはリーダとして選ばれてもよく、読み取り及び書き込みトランザクションの処理を引き継いでもよい。本明細書のメタデータシステムのクライアントノードはどのデータベースノード１４０が各パーティション１３４のリーダかを（例えば個々のローカルキャッシュ１４６にアクセスすること又は問い合わせを送信することによって）発見し、要求をそのデータベースノード１４０に導くことができる。
【0035】
従って本明細書の例は、拡張性のある高可用な分散メタデータデータベース１３２のための要求をルート可能なシステムを含む。本明細書のメタデータデータベース１３２は、別個のメタデータノード１４０上にメタデータの一貫性の強いコピーを維持することによって高可用性を提供してもよい。更に、分散メタデータデータベース１３２はメタデータを区分化し、ことなるメタデータノード１４０にわたってメタデータを分散させることによって、拡張性を提供する。更に本明細書の解決策は、クライアントアプリケーションが所与の要求に関するパーティションリーダを見つける能力を最適化する。
【0036】
効率的なやり方でローカルキャッシュの更新を可能にするために、サービス計算装置１０２の少なくとも部がメッセージングプログラム１５０を実行してもよい。例えばメッセージングプログラム１５０は、データベースデータ、データベース構成等の変化後にローカルキュー１４６を更新するためのキャッシュ更新メッセージ１５２の作成を可能にしてもよい。いくつかの例では、本明細書で採用されたメッセージングプログラムは、アドバンストメッセージキューイングプロトコル（ＡＭＱＰ）、ストリーミングテキスト指向メッセージングプロトコル（ＳＴＯＭＰ）、メッセージキューイングテレメトリトランスポート（ＭＱＴＴ）、及び／又は他の適切なメッセージングプロトコルのうちの１又は複数を実装するメッセージブローカプログラムを含んでもよい。いくつかの実装形態で使用されてもよいソフトウェアの幾つかの非限定的な例は、ＡＰＡＣＨＥ ＱＰＩＤ、ＪＯＲＡＭ、ＡＰＡＣＨＥ ＡＣＴＩＶＥＭＱ、及びＲＡＢＢＩＴＭＱを含む。例えばＡＭＱＰは異なるプラットフォーム上のアプリケーションを接続可能な標準プロトコルである。
【0037】
いくつかの状況では、ローカルキャッシュ１４６内のアイテムは、タイムアウトによる失効により、或いは値が更新されていることを示すメッセージの受信時に無効になり得る。無効なアイテムはクライアントノード１４２によって、例えば個々のクライアントノード１４２上で実行される個々のサービスによって、ローカルキャッシュ１４６から効果的に除去されてもよい。例えばクライアントノード上で実行される各サービスは、個々のサービスによって使用され得る及び受信されたキャッシュ更新メッセージ１５２に基づいてサービスによって更新され得る自らのローカルキャッシュ１４６を維持してもよい。
【0038】
いくつかの例では、データベース１３２内でデータのアイテムの値が変更されるとき、その変更に関する情報を有するメタデータノード１４０からの命令に基づいて等、ＡＭＱＰメッセージングプロトコルを使用して変更の通知を提供するキャッシュ無効化メッセージ１５２は即座に発行されてもよい。データベース１３２の更新及びキャッシュ更新メッセージ１５２の生成はインラインで実行されてもよく、例えばキャッシュ更新メッセージ１５２はデータベースに更新が行われた直後に生成してもよいが、データベースの更新及びキャッシュ更新メッセージ１５２の生成は互いに対して非同期的に行われてもよい。
【0039】
クライアントノード１４２は、自らの個々のローカルキャッシュ１４６のキャッシュの種類に関連するデータ変更イベントを示すキャッシュ更新メッセージ１５２を聞くように構成されてもよい。例えばクライアントノード１４２によって実行される様々な種類のサービスに関して等、異なるデータタイプの様々な種類のローカルキャッシュ１４６があってもよい。キャッシュ更新メッセージ１５２は異なるキャッシュの種類ごとに別々にルートされてもよく、そのため特定のキャッシュ更新メッセージ１５２が関係するキャッシュの種類と異なるキャッシュの種類を有するクライアントノード１４２は自らが使用することのないデータを処理する必要がない。加えて（適切な種類の）全てのローカルキャッシュインスタンスは、データアイテムが無効であることを示す、そのデータタイプに関するキャッシュ更新メッセージ１５２を受信する。
【0040】
いくつかの例では、データベースノード１４０、クライアントノード１４２、又は本明細書の他の計算ノード等のノードは、本明細書に記載のプログラム、サービス、又はデータの１又は複数を維持してもよい単一の物理マシン又は仮想マシンであってもよい。例えばメタデータゲートウェイ並びにクライアントサービスの論理コンポーネントの全ては、システム１００内の任意の物理サービス計算装置１０２上で実行されてもよい。分散メタデータデータベース１３２は動的パーティショニングを使用してもよく、動的パーティショニングでは、個々のメタデータノード１４０によって記憶されるデータはデータベース１３２のデータを複数のメタデータノード１４０にわたって分散させるために１組の管理可能なチャンク（パーティション１３４）に区分化されてもよい。パーティション１３４が大きくなるにつれ、システムはパーティション１３４を動的に分割して２つ以上の新たなパーティションを形成してもよく、新たなパーティションを受信するのに十分な記憶容量を有するメタデータノード１４０に、及び／又は新たに追加されたメタデータノード１４０に新たなパーティションを移行することができる。
【0041】
データの増大に対処するために等、新たなメタデータノード１４０がシステム１００に追加されるとき、システム１００内の通信は遅くなり得る。例えばローカルキャッシュ１４６内に含まれる情報の少なくとも一部は無効になり得る。同様に、クライアントサービスノードは、新たなクライアントノード１４２を追加することにより、入ってくる作業負荷と一致するようにスケーリングしてもよい。上記で述べたように、クライアントノード１４２は、メタデータデータベースノード内に記憶された情報のサブセットをミラーリングするメモリ内キャッシュである１又は複数のローカルキャッシュ１４６をそれぞれ維持してもよい。ローカルキャッシュ１４６は、データベースクエリの必要性及び頻度を大幅に減らすことによってシステム効率を高めてもよい。例えば高度に分散されたシステムでは、（例えば要求されるデータがハードディスク等の永続的媒体内に記憶される場合）データベースクエリを直接もたらすクライアントノードからの不断のアクセスは高価である場合があり、システムレイテンシを高め得る。
【0042】
いくつかのケースでは、分散データベース１３２内のデータはユーザ要求によって更新されてもよく、更新は特定のデータベースノード１４０上でのみ行われ得る。その結果、更新されたデータのミラーが１又は複数のクライアントノード１４２のローカルキャッシュ１４６内に存在する場合、そのデータは陳腐化し又は無効になる。従って本明細書のいくつかの例は、分散無効化スキームを使用してローカルキャッシュ１４６内のデータを非同期的にリフレッシュし続けてもよい。一例として、サービスはローカルキャッシュ１４６内のデータを無効として周期的にマーク付けしてもよい。そのデータに関する新たな要求が到着すると、サービスはデータベース１３２内の最新の値についてデータベース１３２をクエリを実行することによってローカルキャッシュ１４６を更新してもよい。
【0043】
ローカルキャッシュ１４６を無効化し更新するためのアルゴリズムの一例は以下を含む。（１）各クライアントノード１４２は、クライアントノード１４２がデータベース１３２から必要に応じて過去に取り出したデータのローカルキャッシュ１４６を維持する。（２）クライアントノード１４２は、クライアントノード１４２上で実行される１又は複数のサービスによって使用するため等、それぞれが異なる種類のデータを保ち異なる最適化されたパラメータを用いて構成された複数のローカルキャッシュ１４６を有してもよい。（３）ローカルキャッシュ１４６内のそれぞれのデータのアイテムは設定可能な時間の後で失効してもよい。例えば失効時間は、データベースアクセスを最小化する一方で、更にはローカルキャッシュ１４６内のデータが古くなり過ぎるのを防ぐように選んでもよい。（４）データベース１３２内でデータのアイテムの値が変更されるとき、ＡＭＱＰ等のメッセージングプロトコルを使用してその変更を公示するキャッシュ更新メッセージ１５２は、直ちに生成され発行されてもよい。データベース１３２内の更新及びメッセージの生成は、インラインで実行されてもよい。（５）各サービスは、サービスによって使用されるキャッシュの個々の種類に関するデータ変更イベントを示すキャッシュ更新メッセージ１５２を聞く。いくつかの例では、キャッシュ更新メッセージ１５２はキャッシュの種類ごとに別々にルートされてもよく、そのためクライアントノード１４２及びローカルキャッシュを管理するサービスは、自らが使用することのないデータを処理する必要がない。（６）（指定された種類の）全てのローカルキャッシュインスタンスは、データアイテムが無効であることを示す、そのデータタイプに関するキャッシュ更新メッセージ１５２を受信する。（７）アイテムはタイムアウトの失効、又はアイテムの値が更新されていることを示すキャッシュ更新メッセージ１５２の受信時の少なくとも１つによって無効になってもよい。無効なアイテムは、削除されているものとしてアイテムにマーク付けすることによって、或いはアイテムの記憶位置がそのうち上書きされることを許容することによって等、ローカルキャッシュから効果的に除去される。（８）クライアントがデータアイテムにアクセスする必要がある場合、キャッシュは自らが記憶した任意の値を直ちに返す。記憶済みの値がない場合、又はその値が無効化されている場合、ローカルキャッシュ１４６を管理するプログラムはデータベース１３２に現在の値を要求してもよい。（９）キャッシュ更新メッセージ１５２は「生存時間」の値を用いて構成されてもよく、そのためその有用寿命を過ぎて存続することはない。例えばローカルキャッシュ１４６内のアイテムは一定時間後に自動で失効されてもよい。（１０）更なる最適化として、いくつかの例ではキャッシュ更新メッセージ１５２は、更新された値に関する部分的な又は完全な値を含んでもよい。このことは複数のクライアントノードが値を同時に更新し得る可能性を高める。その場合、分散ティックカウンタは、どの値が最新かを識別するために個々のローカルキャッシュ１４６を管理するプログラムによって使用されてもよい。この最適化は、書き込みの激しい作業負荷についてデータベースの負荷を一層減らすことができる。
【0044】
上記で論じたアーキテクチャ及びアルゴリズムによりクライアントノード１４２によるデータベース１３２へのアクセス量は、読み取りの激しい作業負荷について大幅に減らされ得る。更にシステム１００は、ローカルキャッシュ１４６が閾値を超えて古くなることを防ぐ失効閾値を用いて構成されてもよい。別個の失効閾値は、異なる種類のローカルキャッシュ１４６ごとに、及び／又は異なるクライアントノード１４２上の同種の個々のローカルキャッシュについて設定されてもよい。例えばローカルキャッシュ１４６は、メモリ使用の制限を強制するために最も長い間参照されていない（ｌｅａｓｔ－ｒｅｃｅｎｔｌｙ－ｕｓｅｄ）データを失効させるように構成されてもよい。
【0045】
更に、ローカルキャッシュ１４６は内部イベントによって更新されてもよい。例えばローカルキャッシュ１４６は、何兆個ものメタデータ片へと増大し得るユーザオブジェクトメタデータを除き、全てのシステムメタデータを記憶するように構成されてもよい。この場合、ローカルキャッシュ１４６内にミラーリングされるシステムメタデータは、メタデータパーティションマップ等のユーザ主導型又は内部システムメタデータであってもよい。メタデータパーティションマップは、パーティション識別子（ＩＤ）及び個々のパーティションがあるデータベースノード１４０のＩＤを含むテーブル又は他のデータ構造である。ｐｕｔＯｂｊｅｃｔ要求及びｇｅｔＯｂｊｅｃｔ要求等のオブジェクト管理に関係する全てのユーザ要求は、サービス（例えばユーザウェブアプリケーション１１６）に、ユーザ情報、バケット情報、パーティション情報、及びオブジェクト情報等の少なくとも４つの異なるメタデータの種類を探索させてもよい。従っていくつかのケースでは、単一のユーザ要求によって全４種類のメタデータがリフレッシュされ得ることが可能である。かかる状況を回避するために、本明細書のいくつかの例は全てのメタデータの種類及びテーブルをパーティション１３４に分割することを含む動的メタデータパーティショニング技術を採用してもよい。均一な負荷の管理を提供するために、パーティション１３４はデータベースノード１４０にわたって分散される。メタデータパーティションが２つ以上のパーティションに分割される場合、パーティションマップの無効化が起こってもよい。パーティションの分割はユーザ要求によって駆動されない可能性があるが、無効化及び更なるリフレッシュ手続きは上記で論じたｐｕｔＯｂｊｅｃｔ要求及びｇｅｔＯｂｊｅｃｔ要求等のユーザ操作から生じるリフレッシュと同様であってもよい。
【0046】
更に、エンドユーザのためのより優れた応答時間を実現するために、本明細書のキャッシュの更新はユーザの書き込み要求に対して非同期的に行われてもよい。従って、小さな遅延であって、その前にクライアントノード上でシステム１００にわたって分散されるサービスのローカルキャッシュ１４６が無効化され或いは更新される、小さな遅延があってもよい。例えばローカルキャッシュ１４６を無効化し或いは更新するための実際の時間は、ネットワーク及びシステムの活動に基づいて不定であってもよい。キャッシュ更新メッセージ１５２を配信前にキューに並べられるので、本明細書で使用されてもよいＡＭＱＰメッセージングプロトコルは本質的にロバストである。従って、キャッシュ更新メッセージ１５２は複数のデータベースの更新にわたって集約されてもよい。例えば、バケット、ユーザ、及びパーティションマップの更新が全て発生し、同時にキューに並べられると仮定すると、クライアントノード１４２上の個々のサービスにキャッシュ更新メッセージ１５２が１つしか実際に送信されない可能性がある。それでもなお、一時的なネットワーク障害によって等、ＡＭＱＰを介してのキャッシュ更新メッセージ１５２はいくつかの状況で依然として失われることがある。従って、本明細書の実装形態は特定の試行閾値までメッセージの配信を再試行するためのメカニズムを含んでもよい。
【0047】
更に、キューからのキャッシュ更新メッセージ１５２の配信が失敗する場合、ローカルキャッシュ１４６は時間閾値が超過することに基づいて無効化又は他のキャッシュの更新を行ってもよい。例えば所与のキャッシュ値に関する前回の更新が一定のタイムアウト値を超える場合、ローカルキャッシュ１４６はそのエントリを自動で無効化するように構成されてもよい。本明細書の無効化に採用されたタイムアウト閾値は、システム作業負荷のダイナミクス等に基づいて調節されてもよいように構成されてもよい。
【0048】
いくつかのケースでは、サービス計算装置１０２はサイト１５４において１又は複数のグループ、クラスタ、システム等に配置されてもよい。いくつかのケースでは、データの複製、災害回復保護等を提供するために、複数のサイト１５４は互いに地理的に分散されてもよい。更にいくつかのケースでは、複数のサイト１５４の連合を提供するために等、複数の異なるサイト１５４のサービス計算装置１０２は互いに安全に通信するように構成されてもよい。
【0049】
図２は、いくつかの実装形態に係るシステム２００の論理構成例を示すブロック図である。いくつかの例では、本明細書の開示の利益を得る当業者に明らかであるように、システム２００は、上記で論じたシステム１００又は他の様々な可能な計算システムアーキテクチャの何れかに対応してもよい。システム２００は、分散オブジェクトストレージを可能にしてもよく、ユーザ及び管理者用のフロントエンドサービスとしてウェブアプリケーションを使用することを含んでもよい。いくつかのケースでは、システム２００はエンドユーザ１１２、１２０によって作成されてもよいバケット内にネットワークストレージ（図２には不図示）上のオブジェクトを記憶してもよい。システム２００は、オンプレミス及びクラウドシステムにわたって分散される資源を使用してデータの複雑な管理及び記憶を可能にしてもよい。システム２００内で、拡張性は、分散データベース１３２内に記憶される記憶されたメタデータを論理的に区分化することによって提供されてもよい。
【0050】
図２のシステム２００は、システムの性能及び拡張特性を改善することができる、いくつかの操作に関してクライアントノード１４２が古くなったキャッシュデータを使用することを許容し得るクライアントノード１４２及びデータベースノード１４０の分散システムを含んでもよい。これは、読み取り集中型のデータベースの負荷、いくつかの例では書き込み集中型のデータベースの作業負荷も減らすことをもたらす。例えば分散データベース１３２に新たな値が書き込まれたとき、個々のローカルキャッシュ１４６を有する個々のクライアントノード１４２は、対応するデータアイテムが無効化されていることを示すキャッシュ更新メッセージ１５２を受信してもよい。更なる最適化のために、キャッシュ更新メッセージ１５２は新たなデータ値に関する情報を含んでもよい。更に、データベースの読み取りは、ローカルキャッシュ１４６がデータアイテムのレコードを有さない場合、又はそのデータアイテムが如何なる更新値もなしに無効になった場合、実行されてもよい。
【0051】
この例では、システム２００は、キャッシュ更新メッセージ１５２をキューに並べ、クライアントノード１４２上で実行するサービスにルートするためのメッセージングキューグリッド２０２を組み込む。例えばメッセージングキューグリッド２０２は図１に関して上記で論じられたメッセージングプログラム１５０によって提供されてもよく、１又は複数のメッセージングノード２０４上にホストされてもよい。メッセージングノード２０４は、上記で論じたサービス計算装置１０２の１又は複数に対応してもよく、メッセージングプログラム１５０を実行してもよい。いくつかのケースでは、メッセージングプログラム１５０はデータベースノード１４０として機能する同じサービス計算装置１０２上で、及び／又はクライアントノード１４２として機能するサービス計算装置１０２上で、及び／又は図１に関して上記で論じられたシステム１００内の他のサービス計算装置１０２上で実行されてもよい。メッセージングキューグリッド２０２は、メッセージキュー２０８（１）、メッセージキュー２０８（２）、及びメッセージキュー２０８（３）等の複数のメッセージキューを含んでもよく、それらのそれぞれはＤＯＣＫＥＲコンテナ等の別個の仮想コンテナ内に維持されてもよい。いくつかの例では、メッセージキュー２０８（１）～２０８（３）は別個の物理マシン又は仮想マシン上に維持されてもよい。
【0052】
この例では、分散データベース１３２は複数のメタデータゲートウェイ２１０を含んでもよく、それらはデータベースノード１４０に対応してもよい。例えば上記で論じたように、いくつかの例では各データベースパーティション１３４は２以上のデータベースノード１４０のパーティショングループによって維持されてもよい。各パーティショングループは、その個々のパーティション１３４に対するユーザの読み取り要求及び書き込み要求に応答するリーダノードを有してもよい。従って各パーティショングループのパーティションリーダは、そのパーティション１３４のためのメタデータゲートウェイ２１０として機能してもよい。この例では。４つのメタデータゲートウェイ２１０（１）～２１０（４）は説明目的で示されるが、実際の実装では本明細書のシステムのいくつかの例はデータベースパーティション１３４の数に応じてはるかに多い数のメタデータゲートウェイ２１０を含んでもよい。
【0053】
メッセージキュー２０８は、クライアントノード１４２上で実行するサービスにキャッシュ更新メッセージ１５２を届けるように構成される。この例では、第１サービスプログラム２１２は、ユーザ装置１０８にデータアクセスサービスを提供してもよい上記で論じたユーザウェブアプリケーション１１６に対応してもよい。例えば第１サービスプログラム２１２は、メタデータゲートウェイ２１０にアクセスするために使用されてもよい情報を含むローカルキャッシュ１４６（１）を維持してもよい。例えば第１サービスプログラム２１２は、メタデータを取り出すためにクライアントノード１４２（１）がメタデータゲートウェイ２１０と対話することを可能にするためのクライアント機能を提供してもよい。加えて第１サービスプログラム２１２は、関連するローカルキャッシュ１４６（１）を更新するためにキャッシュ更新メッセージ１５２を受信するための機能を提供してもよい。更に第１サービスプログラム２１２は、図１に関して上記で論じたように取り出したメタデータ及び／又はローカルキャッシュ１４６（１）内に維持されたメタデータに基づいてオブジェクトデータ１３６を取り出すために等、ストレージプログラム１３０（図２には不図示）と対話してもよい。更に第１サービスプログラム２１２は、ユーザデータを送信し又は受信するため等に、ユーザ装置１０８と通信２１４を交換してもよい。
【0054】
この例では、第２クライアントノード１４２（２）も第１サービスプログラム２１２のインスタンスを実行してもよく、ローカルキャッシュ１４６（２）を維持してもよく、別のユーザ装置１０８と通信２１６を交換してもよい。加えてこの例では、第３クライアントノード１４２（３）は２つのサービス、つまり第２サービスプログラム２１８及び第３サービスプログラム２２０を実行する。例えば第２サービスプログラムは、管理者に管理サービスを提供する図１に関して上記で論じられた管理ウェブアプリケーション１２４に対応してもよい。例えば第２サービスプログラム２１８は、クライアントノード１４２、メッセージングノード２０４、及び／又はデータベースノード１４０を含むシステム２００内の他のノードと対話するためのクライアント機能を含んでもよい。第２サービスプログラム２１８は、管理命令を受信するため、状態の更新を提供するため等に、管理者装置１１０と通信２２２を交換してもよい。第２サービスプログラム２１８は、一部の例ではローカルキャッシュ１４６（１）及び１４６（２）内に保持されるデータタイプと異なる１又は複数のデータタイプを含むローカルキャッシュ１４６（３）を維持してもよく、又はその逆もまた同様である。
【0055】
加えて第３サービスプログラム２２０は、第１サービスドプログラム２１２及び第２サービスプログラム２１８によって提供されるサービスと異なる別の種類のサービスを提供してもよい。幾つかの非限定的な例として、第３サービスはガベージコレクション、オブジェクトデータ管理等を含んでもよい。第３サービスプログラム２２０は、管理命令を受信するために、状態の更新を提供するために等、管理者装置１１０と通信２２４を交換してもよい。第３サービスプログラム２２０は、一部の例ではローカルキャッシュ１４６（１）、１４６（２）、及び１４６（３）によって保持されるデータタイプと異なる１つ又は複数のデータタイプを含んでもよいローカルキャッシュ１４６（４）を維持してもよく、又はその逆もまた同様である。
【0056】
メタデータゲートウェイ２１０が分散データベース１３２内のデータのアイテムの値を変更するとき、或いはデータベース１３２に変更を加えるとき、メタデータゲートウェイ２１０はエンキュー命令２３０を送信してもよく、エンキュー命令は、メッセージキュー２０８の１つへの変更された値に関する情報を含んでもよい。いくつかの例では、メッセージキュー２０８はランダムに選択されてもよいが、代わりに他の選択技術が使用されてもよい。
【0057】
エンキュー命令を受信することは、個々のメッセージングノード２０４におけるメッセージングプログラム１５０を、キャッシュ更新メッセージ１５２を生成し、キャッシュ更新メッセージ１５２を個々のメッセージキュー２０８に追加するようにしてもよい。例えばキャッシュ更新メッセージ１５２はＡＭＱＰメッセージングプロトコルに従って、生成され、キューに並べられ、分散されてもよい。上記で述べたように、キャッシュ更新メッセージ１５２はクライアントノード１４２上で実行する個々のサービスプログラム２１２、２１８、２２０に知らせ或いはルートされてもよい。
【0058】
一例としてキャッシュ更新メッセージ１５２は、異なる種類のローカルキャッシュ１４６ごとに、そこに含まれるデータタイプ及びデータベース１３２の更新の影響を受けるデータタイプに応じて別々にルートされてもよい。例えばローカルキャッシュ１４６（１）及び１４６（２）は更新に対応する１又は複数のデータタイプを有し、ローカルキャッシュ１４６（３）及び１４６（４）がそれらの１又は複数のデータタイプを含まない場合、第１サービスプログラム１１２に宛てられるキャッシュ更新メッセージ１５２は、変更の影響を受けるデータタイプの識別に基づいて第２サービスプログラム２１８又は第３サービスプログラム２２０にルートされず、かかる識別の指示は例えばデータベース１３２の変更を行ったメタデータゲートウェイ２１０によって提供されてもよい。従って、そのキャッシュがデータベース１３２の変更によって影響されないサービスプログラムは、自らの個々のローカルキャッシュ１４６に関連しないキャッシュ更新メッセージ１５２を受信しない又は処理しなくてもよい。
【0059】
図３～図５は、データベース１３２内に新たなバケットを作成すること、自らのローカルキャッシュ内にバケット情報を含む幾つかのサービスの既存のローカルキャッシュ１４６をデータベースの変更によって無効化すること、及び更新されたデータベース情報を含むように幾つかのローカルキャッシュを後に更新することの一例を示す。図３～図５の例は、上記で論じた図２のシステム２００の例に部分的に対応してもよいが、解説図を明瞭にするためにクライアントノード１４２（２）は省かれている。関与していない他のコンポーネントも除外されている。
【0060】
図３は、いくつかの実装形態に係る新たなバケットを作成する一例３００を示すブロック図である。この例では、ネットワークストレージシステム１０４（図３には不図示）において新たなバケットの作成を引き起こすために、ユーザ装置１０８のユーザ１１２は書き込み要求３０２を送信すると仮定する。第１サービスプログラム２１２は書き込み要求３０２を受信してもよく、それに応答してローカルキャッシュ１４６（１）内に現在含まれているルーティング情報に基づいて等、書き込み要求３０３をメタデータゲートウェイ２１０（３）に送信してもよい。それに応答し、メタデータゲートウェイ２１０（３）は新たなバケットのための新たなレコード３０４を作成することによって等、データベース１３２内のメタデータを更新してもよい。この例では、レコード３０４はバケットの名前３０６（即ち「バケット１」）、並びに３０日の保存期間及び同期設定を含むバケットの設定３０８を含むと仮定する。バケットは、ネットワークストレージシステム１０４（図３には不図示）において作成されてもよい。メタデータゲートウェイ２１０（３）は、第１サービスプログラム２１２に書き込み応答３１０を返す。それを受けて、第１サービスプログラム２１２はバケットが作成されていることを示す書き込み応答３１２をユーザ装置１０８に返す。
【0061】
図４は、いくつかの実装形態に係る分散メッセージングキューを使用してローカルキャッシュを無効化する一例４００を示すブロック図である。この例では、図３に関して上記で論じたような新たなバケットの作成に関連し、メタデータゲートウェイ２１０（３）はメッセージキューの１つ、即ちこの例ではメッセージキュー２０８（２）を含むメッセージングノード２０４の１つにエンキュー命令４０２を送信してもよい。上記で述べたように、いくつかの例ではメッセージキュー２０８（２）及び／又はメッセージングノード２０４はメタデータゲートウェイ２１０（３）によってランダムに選択されてもよい。他の例では、メタデータゲートウェイ２１０（３）は、エンキュー命令４０２を受信するためのメッセージキュー２０８（２）／メッセージングノード２０４の１つを選択するための他の任意の適切な技術を採用してもよい。いくつかの例では、メタデータゲートウェイ２１０（３）はエンキュー命令４０２と共にデータベース内で作成されたレコード３０４を含んでもよいが、この例では、メタデータゲートウェイ２１０（３）はデータベースに加えられた変更の影響を受けるメタデータレコードのデータタイプ（即ちバケット）を単に識別すると仮定する。
【0062】
エンキュー命令４０２を受信することに基づき、メッセージングノード２０４は、バケット情報を有するローカルキャッシュを維持するサービスに送信するためのキャッシュ更新メッセージ１５２を作成してもよい。この例では、第１サービスプログラム２１２、第２サービスプログラム２１８、及び第３サービスプログラム２２０の全ては自らのローカルキャッシュ１４６（１）、１４６（３）、及び１４６（４）の中にバケット情報をそれぞれ含むと仮定する。メッセージングノード２０４はメッセージキュー２０８にキャッシュ更新メッセージ１５２を追加してもよく、２つ、サービスにキャッシュ更新メッセージ１５２を分散する。例えばメッセージングノードは、キャッシュ更新メッセージ１５２を正しくルートするために、サービスのそれぞれによって維持されるローカルキャッシュの種類を決定してもよい。従ってメッセージングノード２０４は、メッセージキュー２０８－２を使用して第１サービスプログラム２１２、第２サービスプログラム２１８、及び第３サービスプログラム２２０にキャッシュ更新メッセージ１５２を届けてもよい。それに応答し、第１サービスプログラム２１２はローカルキャッシュ１４６（１）のバケット部分を無効化し或いは更新してもよく、第２サービスプログラム２１８はローカルキャッシュ１４６（３）のバケット部分を無効化し或いは更新してもよく、第３サービスプログラム２２０はローカルキャッシュ１４６（４）のバケット部分を無効化し或いは更新してもよい。
【0063】
図５は、いくつかの実装形態に係るローカルキャッシュを更新する一例５００を示すブロック図である。この例では、ユーザ１１２はユーザ装置を使用して第１サービスプログラム２１２にｇｅｔ ｂｕｃｋｅｔ要求５０２を提出すると仮定する。それに応答し、第１サービスプログラム２１２はローカルキャッシュ１４６のバケット部分が無効化されていると判定し、バケット情報のためのｇｅｔ ｂｕｃｋｅｔ要求５０４を送信する。それに応答し、メタデータゲートウェイ２１０（３）は、第１サービスプログラム２１２によってローカルキャッシュ１４６（１）に追加されてもよいデータベース１３２からのレコード３０４のコピーを含むｇｅｔ ｂｕｃｋｅｔ応答５０６を提供してもよい。
【0064】
同様に、管理者１２０は管理者装置１１０を使用して第３サービスプログラム２２０にｇｅｔ ｏｂｊｅｃｔ要求５０８を送信すると仮定する。第３サービスプログラム２２０は、要求されたオブジェクトを含むバケット（バケット１）に関係する情報を要求するためにメタデータゲートウェイ２１０（３）をクエリするためのｇｅｔ ｂｕｃｋｅｔ要求５１０を送信してもよい。それに応答し、メタデータゲートウェイ２１０（３）は第３サービスプログラム２２０にｇｅｔ ｂｕｃｋｅｔ応答５１２を送信することができる、第３サービスプログラム２２０はローカルキャッシュ１４６（４）のバケット部分をリフレッシュするためにローカルキャッシュ１４６（４）に追加することができるメタデータレコード３０４のコピーを含んでもよい。
【0065】
更に、この例ではサービスがクエリされる、データベース１３２から新たなバケットの更新された情報を得るための要求されたメタデータゲートウェイだが、他の例では、上記で述べたように、レコード３０４は、関連するローカルキャッシュ１４６を無効化するためにサービスに前に送信されたキャッシュ更新メッセージ１５２内に含められていてもよい。従ってこの代替例では、バケットレコード３０４のために第１サービス２１２及び第３サービス２２０がメタデータゲートウェイ２１０をクエリする必要はなく、それはその情報は個々のローカルキャッシュ１４６（１）及び１４６（４）内に既に含まれているからである。
【0066】
図６は、いくつかの実装形態に係る分散メッセージングキューを使用してローカルキャッシュを更新するためのプロセス例を示す流れ図である。このプロセスは論理流れ図の中のブロックの集合として示すことができ、流れ図は、一連の操作を表し、その一部又は全てはハードウェア、ソフトウェア、又はその組み合わせによって実装されてもよい。ソフトウェアの文脈において、ブロックは、１又は複数のプロセッサによって実行されるとき、列挙される操作を実行するようにプロセッサをプログラムする１又は複数のコンピュータ可読媒体上に記憶されるコンピュータ実行可能命令を表してもよい。概してコンピュータ実行可能命令は、特定の機能を実行し又は特定のデータ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。ブロックが記載された順序は限定として解釈すべきではない。記載するブロックの任意の個数は、このプロセス又は代替的プロセスを実装するために任意の順序で及び／又は並列に組み合わせることができ、ブロックの全てを実行しなければならないわけではない。本明細書の例の中で記載される環境、枠組み、及びシステムに関してプロセスを解説目的で説明するが、このプロセスは多岐にわたる他の環境、枠組み、及びシステム内で実装されてもよい。図６では、プロセス６００はサービスプログラム２１２、２１８、又は２２０の１又は複数を実行しているクライアントノードによって少なくとも部分的に実行されてもよい。
【0067】
６０２で、サービス計算装置は、複数のデータベースノードにわたって分散される複数のパーティションを提供するために、複数のデータベースノードにわたってデータベースを区分化してもよい。
【0068】
６０４で、クライアントノードはサービスを実行してもよく、サービスはデータベース内に維持される情報のサブセットのローカルキャッシュを維持する。
【0069】
６０６で、クライアントノードは第１要求をユーザ計算装置から受信してもよく、第１要求はデータベース内のデータに影響を及ぼす。例えばクライアントノードは、データベース内のデータを変更する書き込み要求又は他の要求を受信してもよい。
【0070】
６０８で、クライアントノードは複数のデータベースノードの第１データベースノードに、第１要求に基づく第２要求を送信してもよく、第２要求は第１データベースノードにデータベース内のデータを変更させる。
【0071】
６１０で、クライアントノードは、複数の分散メッセージキューのメッセージキューから、データベース内のデータの変更に基づくキャッシュ更新メッセージを受信してもよい。
【0072】
６１２で、クライアントノードは、受信したキャッシュ更新メッセージが更新されたデータを含んでいたかどうかを判定してもよい。含んでいた場合、このプロセスは６１４に進む。含んでいなかった場合、このプロセスは６１６に進む。
【0073】
６１４で、クライアントノードは、キャッシュ更新メッセージ内に含まれる更新されたデータを含むようにローカルキャッシュを更新してもよい。
【0074】
６１６で、クライアントノードは、キャッシュ更新メッセージに応答してローカルキャッシュの少なくとも一部を無効化してもよい。
【0075】
６１８で、クライアントノードは、データベース内のデータに対応するデータにアクセスするための第３要求をユーザ計算装置から受信してもよい。
【0076】
６２０で、クライアントノードは、第３要求に関係するデータベースからの情報を決定するために、複数のデータベースノードの少なくとも１つのデータベースノードにクエリを送信してもよい。
【0077】
６２２で、クライアントノードは、データベースノードから受信されたクエリに対する応答に少なくとも部分的に基づいてローカルキャッシュを更新してもよい。
【0078】
本明細書に記載したプロセスの例は解説目的で示したプロセスの例に過ぎない。本明細書の開示に照らして数多くの他の改変形態が当業者に明らかになる。更に、本明細書の開示はプロセスを実行するのに適した枠組み、アーキテクチャ、及び環境のいくつかの例を記載したが、本明細書の実装形態は図示し解説した具体例に限定されない。更に、本開示は記載し図中に示した様々な実装例を提供する。但し本開示は、本明細書に記載し示した実装形態に限定されず、当業者に知られる又は当業者に知られることになる他の実装形態に及び得る。
【0079】
図７は、本明細書に記載したシステムの機能の少なくとも一部を実装するために使用されてもよいサービス計算装置１０２の選択されたコンポーネント例を示す。サービス計算装置１０２は、任意の数のやり方で具体化され得る１若しくは複数のサーバ又は他の種類の計算装置を含んでもよい。例えばサーバの場合、プログラム、他の機能コンポーネント、及びデータは単一のサーバ、サーバのクラスタ、サーバファーム、又はデータセンタ、クラウドによってホストされる計算サービス等の上に実装されてもよいが、他のコンピュータアーキテクチャを追加で又は代わりに使用してもよい。複数のサービス計算装置１０２は一緒に又は別々に位置し、例えば仮想サーバ、サーババンク、及び／又はサーバファームとして組織化されてもよい。記載した機能は単一のエンティティ若しくは企業のサーバによって提供されてもよく、又は複数の異なるエンティティ若しくは企業のサーバ及び／又はサービスによって提供されてもよい。
【0080】
図示の例では、サービス計算装置１０２は、１又は複数のプロセッサ７０２、１又は複数のコンピュータ可読媒体７０４、及び１又は複数の通信インタフェース７０６を含み又はそれらに関連付けられてもよい。各プロセッサ７０２は単一の処理ユニット又はいくつかの処理ユニットであってもよく、単一の若しくは複数の計算ユニット又は複数の処理コアを含んでもよい。プロセッサ７０２は、１又は複数の中央処理装置、マイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、ステートマシーン、論理回路、及び／又は動作命令に基づいて信号を操作する任意の装置として実装することができる。一例としてプロセッサ７０２は、本明細書に記載したアルゴリズム及びプロセスを実行するように特にプログラムされ又は構成された任意の適切な種類の１又は複数のハードウェアプロセッサ及び／又は論理回路を含んでもよい。プロセッサ７０２は、コンピュータ可読媒体７０４内に記憶されるコンピュータ可読命令を取り出して実行するように構成してもよく、それは、本明細書に記載した機能を実行するようにプロセッサ７０２をプログラムしてもよい。
【0081】
コンピュータ可読媒体７０４は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータ等の情報を記憶するための任意の種類の技術に実装された揮発性メモリ及び不揮発性メモリ、及び／又は取外し可能媒体及び取外し不能媒体を含んでもよい。例えばコンピュータ可読媒体７０４は、これだけに限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、光学ストレージ、ソリッドステートストレージ、磁気テープ、磁気ディスクストレージ、ストレージアレイ、ネットワーク接続ストレージ、ストレージエリアネットワーク、クラウドストレージ、又は所望の情報を記憶するために使用することができ計算装置によってアクセス可能な他の任意の媒体を含んでもよい。サービス計算装置１０２の構成にもよるが、コンピュータ可読媒体７０４は、言及するとき非一時的コンピュータ可読媒体がエネルギ、搬送波信号、電磁波、及び／又は信号自体等の媒体を除外する限りにおいて、有形の非一時的媒体であってもよい。いくつかのケースでは、コンピュータ可読媒体７０４はサービス計算装置１０２と同じ位置にあってもよい一方、他の例ではコンピュータ可読媒体７０４はサービス計算装置１０２と部分的に離れていてもよい。例えばいくつかのケースでは、コンピュータ可読媒体７０４は図１に関して上記で論じたネットワークストレージシステム１０４内のストレージの一部を含んでもよい。
【0082】
コンピュータ可読媒体７０４は、プロセッサ７０２によって実行可能な任意の数の機能コンポーネントを記憶するために使用されてもよい。多くの実装形態においてこれらの機能コンポーネントは、プロセッサ７０２によって実行可能であり、実行時に本明細書ではサービス計算装置１０２によるものとする動作を実行するようにプロセッサ７０２をとりわけプログラムする命令又はプログラムを含む。コンピュータ可読媒体７０４内に記憶される機能コンポーネントは、ユーザウェブアプリケーション１１６、管理ウェブアプリケーション１２４、ストレージプログラム１３０、データベース管理プログラム１３８、ノード管理プログラム１４８、及びメッセージングプログラム１５０を含んでもよく、それらのそれぞれは１又は複数のコンピュータプログラム、アプリケーション、実行コード、又はその一部を含んでもよい。更に、この例ではこれらのプログラムは一緒に示されているが、使用中、これらのプログラムの一部又は全ては別個のサービス計算装置１０２上で実行されてもよい。
【0083】
加えてコンピュータ可読媒体７０４は、本明細書に記載の機能及びサービスを実行するために使用されるデータ、データ構造、及び他の情報を記憶してもよい。例えばコンピュータ可読媒体７０４は、データベースパーティション１３４を含んでいるメタデータデータベース１３２を記憶してもよい。加えて、コンピュータ可読媒体はローカルキャッシュ１４６を記憶してもよい。更に、この例ではこれらのデータ構造は一緒に示されているが、使用中、これらのデータ構造の一部又は全てが別個のサービス計算装置１０２上に記憶されてもよい。サービス計算装置１０２は他の機能コンポーネント及びデータも含み又は維持してもよく、かかる機能コンポーネント及びデータは、プログラム、ドライバ等、及び機能コンポーネントによって使用され又は生成されるデータを含んでもよい。更に、サービス計算装置１０２は他の多くの論理的、プログラム的、及び物理的なコンポーネントを含んでもよく、そのうち上記で記載したものは本明細書の解説に関係する例に過ぎない。
【0084】
１又は複数の通信インタフェース７０６は、１又は複数のネットワーク１０６等による他の様々な装置との通信を可能にするための１又は複数のソフトウェア及びハードウェアコンポーネントを含んでもよい。例えば通信インタフェース７０６は、本明細書の他の箇所で更に挙げるようにＬＡＮ、インターネット、ケーブルネットワーク、セルラネットワーク、無線ネットワーク（例えばＷｉ－Ｆｉ）及び有線ネットワーク（例えばファイバチャネル、光ファイバ、イーサネット）、直接接続、並びにＢＬＵＥＴＯＯＴＨ（登録商標）等の近距離通信等のうちの１又は複数を介しての通信を可能にしてもよい。
【0085】
本明細書に記載した様々な命令、方法、及び技術は、コンピュータ可読媒体上に記憶され、本明細書のプロセッサによって実行されるコンピュータプログラム及びアプリケーション等のコンピュータ実行可能命令の全般的な脈絡で検討されてもよい。概して、プログラム及びアプリケーションという用語は交換可能に使用されてもよく、特定のタスクを実行するための又は特定のデータ型を実装するための命令、ルーチン、モジュール、オブジェクト、コンポーネント、データ構造、実行コード等を含んでもよい。これらのプログラム、アプリケーション等はネイティブコードとして実行されてもよく、又は仮想マシン若しくは他のジャストインタイムコンパイル実行環境等においてダウンロードされ実行されてもよい。典型的には、プログラム及びアプリケーションの機能は様々な実装形態において所望の通りに組み合わされ又は分散されてもよい。これらのプログラム、アプリケーション、及び技術の実装はコンピュータ記憶媒体上に記憶されてもよく、又は何らかの形の通信媒体を介して伝送されてもよい。
【0086】
本主題は、構造上の特徴及び／又は方法論的な行為に固有の言語によって説明されてきたが、添付の特許請求の範囲に定める本主題は記載した特定の特徴又は動作に必ずしも限定されないことを理解すべきである。むしろ特定の特徴及び行為は、特許請求の範囲を実装する形態の例として開示されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】