特表 2024-504803 オブジェクトストレージを用いたデータベースのためのクラウドストレージ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-01

(54)【発明の名称】オブジェクトストレージを用いたデータベースのためのクラウドストレージ

(51)【国際特許分類】

   G06F 16/182 20190101AFI20240125BHJP

【ＦＩ】

G06F16/182

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023546100

(86)(22)【出願日】2022-01-14

(85)【翻訳文提出日】2023-07-28

(86)【国際出願番号】 US2022070197

(87)【国際公開番号】W WO2022165460

(87)【国際公開日】2022-08-04

(31)【優先権主張番号】17/162,035

(32)【優先日】2021-01-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】506332063

【氏名又は名称】セールスフォース インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ジュジュリ，ベンカテスワララオ

(72)【発明者】

【氏名】ワイアット，ナサニエル

(72)【発明者】

【氏名】マーティン，ジャメイソン ベアー

(72)【発明者】

【氏名】へランド，パトリック ジェームス

(57)【要約】

低レイテンシアクセスおよび耐久性のあるストレージを有するデータの分散ストレージを管理することに関する技法が開示される。分散ストレージシステムは、共有オブジェクトストレージの前に可用性ゾーンにわたって分散されたストレージキャッシュを含み得る。ストレージキャッシュとコロケートされたデータベースノードは、ストレージキャッシュおよび共有オブジェクトストレージ内のデータの格納、取り出し、および操作を処理し得る。共有オブジェクトストレージキャッシュは、分散ストレージシステムに対してデータの永続的なストレージを提供し、ストレージキャッシュ内のデータの格納は、ストレージの低レイテンシ取り出しを提供するように実装される。可用性ゾーンにわたるストレージキャッシュは、可用性ゾーンにわたってデータを移動するのではなく、共有オブジェクトストレージを介して投入され得る。

【特許請求の範囲】

【請求項1】

分散ストレージシステムであって、
２つ以上の可用性ゾーンに分離された複数のストレージキャッシュを含むキャッシュクラスタと、
前記キャッシュクラスタに結合された共有オブジェクトストレージと、
前記可用性ゾーンのうちの少なくとも１つに位置する少なくとも１つのデータベースノードと
を備え、
前記少なくとも１つのデータベースノードは、
データセットを格納する要求を受信することと、
第１の可用性ゾーンに前記データセットを格納するために、前記第１の可用性ゾーン内の第１のストレージキャッシュに前記データセットを送信することと、
前記共有オブジェクトストレージに前記データセットを格納するために、前記データセットを前記共有オブジェクトストレージに送信することと
を行うように動作可能であり、
第２の可用性ゾーン内の第２のストレージキャッシュ内のキャッシュノードは、
前記共有オブジェクトストレージから前記データセットを取得することと
前記第２の可用性ゾーンに前記データセットを格納するために、前記第２の可用性ゾーン内の前記第２のストレージキャッシュに前記データセットを格納することと
を行うように動作可能である、システム。

【請求項2】

前記ストレージキャッシュは、キャッシュされたデータを内部の不揮発性または揮発性メモリに格納するサーバによってホストされ、前記共有オブジェクトストレージは、永続的なオブジェクトストレージである、請求項１に記載のシステム。

【請求項3】

前記第２のストレージキャッシュ内の前記キャッシュノードは、前記第２のストレージキャッシュ内のデータ障害に応答して、前記共有オブジェクトストレージから前記データセットを取り出すように動作可能である、請求項１に記載のシステム。

【請求項4】

前記第２のストレージキャッシュ内の前記キャッシュノードは、前記共有オブジェクトストレージ内の前記データセットが前記第２の可用性ゾーン内の前記第２のストレージキャッシュによって格納されたデータセットに対する更新を含むという決定に応答して、前記共有オブジェクトストレージから前記データセットを取り出すように動作可能である、請求項１に記載のシステム。

【請求項5】

２つ以上の可用性ゾーンに分離された複数のログストレージ要素を含むログストレージクラスタをさらに備え、前記ログストレージ要素の前記可用性ゾーンは、前記ストレージキャッシュの前記可用性ゾーンに対応し、前記少なくとも１つのデータベースノードは、前記ログストレージ要素に格納するために、前記少なくとも１つのデータベースノードによる動作についてのログを前記ログストレージクラスタに送信するように動作可能である、請求項１に記載のシステム。

【請求項6】

前記ストレージキャッシュの指定された可用性ゾーンついての前記ログは、前記指定された可用性ゾーンに対応する前記ログストレージ要素の可用性ゾーンに格納される、請求項５に記載のシステム。

【請求項7】

前記少なくとも１つのデータベースノードは、データベースクエリに応答して、要求されたデータを前記第１の可用性ゾーン内の前記第１のストレージキャッシュから取り出すように動作可能である、請求項１に記載のシステム。

【請求項8】

前記少なくとも１つのデータベースノードは、前記要求されたデータが前記第１の可用性ゾーン内の前記第１のストレージキャッシュで見つからない場合、前記要求されたデータを前記第２の可用性ゾーン内の前記第２のストレージキャッシュから取り出すように動作可能である、請求項７に記載のシステム。

【請求項9】

前記少なくとも１つのデータベースノードは、前記要求されたデータが前記第１の可用性ゾーン内の前記第１のストレージキャッシュまたは前記第２の可用性ゾーン内の前記第２のストレージキャッシュのいずれにも見つからない場合に、前記共有オブジェクトストレージからデータを取り出すように動作可能である、請求項８に記載のシステム。

【請求項10】

方法であって、
分散ストレージシステム内の少なくとも１つのデータベースノードが、データセットを格納する要求を受信するステップであって、前記少なくとも１つのデータベースノードは、前記分散ストレージシステムの少なくとも１つの可用性ゾーンに位置する、ステップと、
前記少なくとも１つのデータベースノードが、第１の可用性ゾーンに前記データセットを格納するために、前記第１の可用性ゾーン内の第１のストレージキャッシュに前記データセットを送信するステップと、
前記少なくとも１つのデータベースノードが、共有オブジェクトストレージに格納するために、前記共有オブジェクトストレージに前記データセットを送信するステップと、
前記少なくとも１つのデータベースノードが、第２の可用性ゾーンから前記データセットを取り出す要求を受信するステップと、
前記第２の可用性ゾーン内のキャッシュノードが、前記共有オブジェクトストレージから前記データセットを取り出すステップと、
前記キャッシュノードが、前記第２の可用性ゾーンに格納するために、前記共有オブジェクトストレージから取り出された前記データセットを前記第２の可用性ゾーン内の第２のストレージキャッシュに格納するステップと
を含む方法。

【請求項11】

前記少なくとも１つのデータベースノードが、前記キャッシュノードによって取り出された前記データセットを、前記第２の可用性ゾーンから前記データセットを取り出す前記要求を開始するエンティティに送信するステップをさらに含む、請求項１０に記載の方法。

【請求項12】

前記少なくとも１つのデータベースノードが、前記共有オブジェクトストレージおよび前記第１のストレージキャッシュに前記データセットを格納するためのメタデータをクラスタマネジャにさらに送信するステップをさらに含む、請求項１０に記載の方法。

【請求項13】

前記キャッシュノードが、前記第２の可用性ゾーンから前記データセットを取り出す前記要求に応答して、データセットを格納するための前記メタデータを前記クラスタマネジャから取り出すステップと、
前記メタデータに基づいて、前記要求を満たすために前記共有オブジェクトストレージから前記データセットを取り出すと決定するステップと
をさらに含む、請求項１２に記載の方法。

【請求項14】

前記共有オブジェクトストレージから前記データセットを取り出すと決定するステップは、前記第１のストレージキャッシュおよび前記共有オブジェクトストレージ内の前記データセットのバージョンが、前記第２のストレージキャッシュ内の前記データセットのバージョンと比較して更新されていると決定するステップを含む、請求項１３に記載の方法。

【請求項15】

前記少なくとも１つのデータベースノードが、前記第１の可用性ゾーン内の前記第１のストレージキャッシュ内の前記データセットの障害に応答して、前記共有オブジェクトストレージから前記データセットのバージョンを取り出すステップと、
前記少なくとも１つのデータベースノードが、前記第１の可用性ゾーン内の前記第１のストレージキャッシュ内の前記障害を有する前記データセットを、取り出された前記データセットのバージョンと置き換えるステップと
をさらに含む、請求項１０に記載の方法。

【請求項16】

前記少なくとも１つのデータベースノードが、前記第１の可用性ゾーン内の前記第１のストレージキャッシュへの前記データセットの格納についてのログを、複数のログストレージ要素を有するログストレージクラスタに送信するステップと、
前記キャッシュクラスタ内の前記第１の可用性ゾーンに対応する前記ログストレージ要素の第１の可用性ゾーンに前記ログを格納するステップと
をさらに含む、請求項１０に記載の方法。

【請求項17】

第３の可用性ゾーン内のキャッシュノードが、前記第３の可用性ゾーンから前記データセットを取り出す要求を受信するステップと、
前記第３の可用性ゾーン内の前記キャッシュノードが、前記共有オブジェクトストレージから前記データセットを取り出すステップと、
前記第３の可用性ゾーン内の前記キャッシュノードが、前記第３の可用性ゾーンに格納するために、前記取り出されたデータセットを前記第３の可用性ゾーン内の第３のストレージキャッシュに格納するステップと
をさらに含む、請求項１０に記載の方法。

【請求項18】

クラウドベースのキャッシュクラスタ内の分散ストレージシステムによって実行可能なプログラム命令が格納された非一時的コンピュータ可読媒体であって、前記プログラム命令は、前記分散ストレージシステムに、
前記分散ストレージシステム内の少なくとも１つのデータベースノードによって、データセットを格納する要求を受信することであって、前記少なくとも１つのデータベースノードは、前記分散ストレージシステムの少なくとも１つの可用性ゾーンに位置する、受信することと、
前記少なくとも１つのデータベースノードによって、第１の可用性ゾーンに前記データセットを格納するために、前記第１の可用性ゾーン内の第１のストレージキャッシュに前記データセットを送信することと、
前記少なくとも１つのデータベースノードによって、共有オブジェクトストレージに格納するために、前記共有オブジェクトストレージに前記データセットを送信することと、
前記少なくとも１つのデータベースノードによって、第２の可用性ゾーンから前記データセットを取り出す要求を受信することと、
前記第２の可用性ゾーン内のキャッシュノードによって、前記共有オブジェクトストレージから前記データセットを取り出すことと、
前記キャッシュノードによって、前記第２の可用性ゾーンに格納するために、前記共有オブジェクトストレージから取り出された前記データセットを前記第２の可用性ゾーン内の第２のストレージキャッシュに格納することと
を含む動作を実行させる、非一時的コンピュータ可読媒体。

【請求項19】

前記キャッシュノードは、前記第２のストレージキャッシュ内の前記データセットのバージョンが欠落している、無効である、または前記共有オブジェクトストレージ内の前記データセットのバージョンよりも古いという決定に応答して、前記共有オブジェクトストレージから前記データセットの前記バージョンを取り出すと決定する、請求項１８に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記第２の可用性ゾーンから前記データセットを取り出す前記要求は、エンティティからのデータベースクエリであり、前記プログラム命令は、前記分散ストレージシステムに、
前記キャッシュノードによって、前記取り出されたデータセットを前記エンティティに送信すること
を含む動作を実行させるために前記分散ストレージシステムによって実行可能である、請求項１８に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、ストレージシステムに関し、より具体的には、キャッシュクラスタおよびオブジェクトストレージを使用したデータの複製および取り出しに関する。

【背景技術】

【0002】

現代のデータベースシステムは、効率的にアクセスおよび操作することができる組織化された方法でユーザが情報の集合を格納することを可能にする管理システムを日常的に実装する。多くの場合、これらのデータベースシステムは、データベースサービスを実施するために協働するデータベースノードおよびストレージノードを含む。データベースノードは、多くの場合、データを読み出して操作するためにデータベーストランザクションを処理し、ストレージノードは、それらのトランザクションの結果が効率的にアクセスできる方法で格納されることを保証するように働く。管理システムはまた、多くの場合、データベースシステムのデータが、様々なゾーンにわたって十分に複製されて、データベースシステムの一部に障害が発生したり利用不可能になったりした場合にデータ損失を防止することを保証しようとする。

【図面の簡単な説明】

【0003】

【図1A】いくつかの実施形態による、クラウド環境の例示的な要素を示すブロック図である。

【図1B】いくつかの実施形態による、ストレージキャッシュの例を示すブロック図を示す。

【図2】いくつかの実施形態による、クラウドベースのサービスへの書き込み要求を処理するように構成されたクラウドベースのサービスを含むクラウド環境の例示的な要素を示すブロック図である。

【図3】いくつかの実施形態による、クラウドベースのサービスへの書き込み要求および読み出し要求を処理するように構成されたクラウドベースのサービスを含むクラウド環境の例示的な要素を示すブロック図を示す。

【図4】いくつかの実施形態による、クラウドベースのサービスへの書き込み要求および読み出し要求を処理するように構成された３つの可用性ゾーンを有するクラウドベースのサービスを含むクラウド環境の例示的な要素を示すブロック図を示す。

【図5】いくつかの実施形態による、クラウドベースのサービスへの書き込み要求および読み出し要求を、書き込み要求および読み出し要求のログに対する書き込みおよび読み出しとともに処理するように構成されたクラウドベースのサービスを含むクラウド環境の例示的な要素を示すブロック図を示す。

【図6】いくつかの実施形態による、クラウドベースのサービスおよびクラスタマネジャを含むクラウド環境の例示的な要素を示すブロック図を示す。

【図7】いくつかの実施形態による、クラウドベースのサービスにおけるローカルストレージに後で投入するために共有オブジェクトストレージに書き込み要求を直接格納するように構成されたクラウドベースのサービスを含むクラウド環境の例示的な要素を示すブロック図を示す。

【図8】いくつかの実施形態による、様々なエンティティに関連付けられたメタデータに基づいて様々なエンティティからの書き込み要求および読み出し要求を処理するように構成されたクラウドベースのサービスを含むクラウド環境の例示的な要素を示すブロック図である。

【図9】いくつかの実施形態による、第１のエンティティに関するデータを格納するためのキャッシュを識別するように構成された例示的なデータベースノードを示すブロック図である。

【図10A】いくつかの実施形態による、エンティティ分類に基づくキャッシュスペースの例示的な割り当てを示すブロック図である。

【図10B】いくつかの実施形態による、所与の可用性ゾーンにおける例示的なシステムクラッシュを示すブロック図である。

【図11】いくつかの実施形態による、クラスベースの技法を使用して書き込み要求を処理するための例示的な方法を示すフロー図である。

【図12】いくつかの実施形態による、クラスベースの技法を使用して１つまたは複数のキャッシュに格納されたデータに対する読み出し要求を処理するための例示的な方法を示すブロック図である。

【図13】いくつかの実施形態による、クラウドベースのサービスにおいて書き込み要求を処理するための例示的な方法を示すフロー図である。

【図14】いくつかの実施形態による、クラウドベースのサービスにおいて書き込み要求を処理するための別の例示的な方法を示すフロー図である。

【図15】本開示の様々な技法を実装することができる例示的なマルチテナントデータベースシステム（ＭＴＳ）を示す。

【図16】例示的なコンピュータシステムのブロック図を示す。

【発明を実施するための形態】

【0004】

クラウドコンピューティングサービス（または単に「クラウド」）は、企業がそのインフラストラクチャをクラウドに移行しようとするにつれて、ますます普及しつつある。本明細書で使用される場合、「クラウド（cloud）」という用語は、そのよく理解されている意味にしたがって使用され、インターネットを介して１つまたは複数の組織が利用可能な、データストレージおよび計算能力などのコンピュータリソースのオンデマンドの可用性を指す。パブリッククラウドの一例としては、Amazon Web Services（登録商標）（ＡＷＳ）があり、これは、ソフトウェアをホストして実行するために、Amazon（登録商標）（プロバイダ）によって複数の企業（組織）に提供されるものである。パブリッククラウドのリソース（例えば、コンピューティングハードウェア、ストレージハードウェアなど）は、多くの場合、複数の地理的エリア（「クラウド領域」と呼ばれる）にわたって分散され、各クラウド領域は、それらのリソースの複数の隔離されたネットワーク（「可用性ゾーン」と呼ばれる）を有する。企業は、地理的に適切なクラウド領域の特定のゾーン内に位置するコンピュータシステム上でそのソフトウェアをインスタンス化し得る。

【0005】

本明細書で説明されるように、分散データベースストレージシステムは、複数の可用性ゾーンにわたって分散されたストレージサーバを含むデータストレージクラスタにデータを格納し得る。各可用性ゾーン内のストレージサーバに格納されたデータは、データストレージクラスタ内の永続的なデータストレージ冗長性のために、追加の可用性ゾーン内のサーバにわたって複製され得る。多くの場合、これらのストレージサーバは、パブリッククラウド用にネイティブに設計されておらず、代わりに、ストレージサーバは、単一の集中型ネットワーク用に設計されているので、クラウド領域または可用性ゾーンの概念がない。したがって、複数の可用性ゾーンにわたって分散される分散データベースストレージシステムは、クラウド内のゾーンにわたる通信に関連付けられたレイテンシおよびコストとともに、可用性ゾーン障害を適切に考慮しない場合がある。例えば、可用性ゾーンで障害が発生した場合、この障害に応答して、可用性ゾーンにわたってデータが複製され得る。しかしながら、可用性ゾーンにわたってデータを移動させるときレイテンシが増加するので、可用性ゾーンにわたってデータを移動させると性能が低下し得る。この性能の低下は、データへの高速アクセスのために高い性能（低レイテンシ）を必要とするトランザクションデータベースにとって問題となり得る。追加的に、可用性ゾーンにわたってデータを移動させるためのコストは、高価になり得る。本開示は、可用性ゾーンにわたってデータを移動させることに関連付けられたレイテンシ問題およびコストなしにデータを複製するという少なくともこの技術的問題に対処する。

【0006】

本開示は、エフェメラルストレージキャッシュ（内部の非揮発性メモリ（ＮＶＭｅ）ベースのストレージなど）および共有オブジェクトストレージ（Amazon S3（登録商標）など）の利用を統合することによって、クラウドベースのサービスが可用性ゾーンにわたってデータを移動することを可能にするための様々な技法を説明する。共有オブジェクトストレージは、永続的なデータのためのコスト効果が高く、耐久性があり、スケーラブルなストレージを提供する。しかしながら、共有オブジェクトストレージは、トランザクションデータベースに必要な性能（データへの高速アクセスのための低レイテンシなど）を持っていない。エフェメラルストレージキャッシュは、低レイテンシのデータ転送を提供するが、停電または他の障害イベント時にデータが失われる一時的なストレージである。したがって、本開示は、トランザクションデータベースストレージを提供するシステムなどの分散データベースストレージシステムに、低コスト、低レイテンシ、および耐久性のある永続的なストレージを提供するための技法を企図する。

【0007】

以下で説明される様々な実施形態では、クラウドベースのストレージサービスは、共有オブジェクトストレージの前に複数の可用性ゾーンにわたってインスタンス化された複数のストレージキャッシュを有する。ストレージキャッシュは、可用性ゾーンにわたるデータの複製および可用性のために、複数の可用性ゾーンにわたって分散されたストレージキャッシュを有するデータストレージクラスタにおいてインスタンス化され得る。各可用性ゾーンは、別々に、共有オブジェクトストレージにデータを書き込み、共有オブジェクトストレージからデータを読み出すことができる。データストレージクラスタの背後にある共有オブジェクトストレージは、データストレージクラスタ内のデータに、永続的で耐久性のある複製ストレージを提供する。様々な場合において、Kubernetes（登録商標）またはApache Zookeeper（登録商標）などのオーケストレーションサービスまたはクラスタマネジャを使用して、異なる可用性ゾーン内のストレージキャッシュをインスタンス化する。様々な実施形態では、可用性ゾーンは、本明細書でさらに説明されるデータベースノードを含む。データベースノードは、データストレージクラスタのデータの取り出し、操作、および格納を処理する。例えば、データベースノードは、クラウドベースのストレージサービスにデータを格納する要求に応答して、ストレージキャッシュと共有オブジェクトストレージの両方にデータを書き込み得る。データベースノードは、データ取り出し要求に応答してストレージキャッシュからデータを取り出し、ストレージキャッシュの低レイテンシを利用することによって高速データ取り出しを提供し得る。共有オブジェクトストレージは、ストレージキャッシュに障害が発生した場合、データのバックアップを提供する。

【0008】

これらの技法は、データの損失を防ぐために永続的なデータストレージを提供しながら、低レイテンシのデータ取り出しを可能にするので、有利であり得る。加えて、これらの技法は、クラウド環境内でのデータの低レイテンシおよび低コストの移動を提供する。例えば、共有オブジェクトストレージからのデータ取り出しのコストが、典型的には、可用性ゾーンにわたってデータを移動させるコストよりも低いので、ストレージキャッシュ内で失われたデータは、別のストレージキャッシュではなく共有オブジェクトストレージから直接取り出され得る。さらに、ある可用性ゾーンから別の可用性ゾーンにデータを投入するのではなく、共有オブジェクトストレージを使用して、可用性ゾーンにわたってデータを投入し得る。例えば、ある可用性ゾーン内のより古いまたは無効なデータのための代替データは、別の可用性ゾーン内のより新しいまたは有効なデータの識別後に共有オブジェクトストレージから取り出され得、より新しいまたは有効なデータもまた、共有オブジェクトストレージに格納されている。ここから、図１Ａを参照しながら、これらの技法の例示的な適用例について説明する。

【0009】

次に図１Ａを参照すると、クラウド環境１００の例示的な要素のブロック図が示されている。クラウド環境１００は、ハードウェアまたはハードウェアとソフトウェアとの組み合わせを介して実装され得る構成要素のセットを含む。図示の実施形態では、クラウド環境１００は、可用性ゾーン１１０Ａおよび１１０Ｂを含むクラウドベースのサービス１０５を含む。クラウド環境１００は、様々な実施形態では、ユーザにクラウドコンピューティングサービスを提供するための様々な構成要素（例えば、ハードウェア、仮想化されたリソース、ストレージ、およびネットワークリソース）を含むクラウドインフラストラクチャである。いくつかの実施形態では、クラウド環境１００は、複数の地理的位置にわたって分散され、各位置は、クラウド環境１００の「領域」を定義し得る。領域は、一緒にクラスタ化され得るデータセンタのセットを含み得る。領域内には、１つまたは複数の可用性ゾーン１１０が存在し得る。

【0010】

本明細書で使用される場合、「可用性ゾーン（availability zones）」という用語は、地理的に分離され、それにわたってデータが複製される２つ以上のクラウドエリアを指す。可用性ゾーン１１０は、同じ領域内に位置してもよいし、別個の領域内にあってもよい。可用性ゾーン１１０は、様々な実施形態では、領域内の構成要素（例えば、コンピューティングリソース、ストレージリソースなど）の論理的または物理的なグループ化である。多くの場合、所与の可用性ゾーン１１０の構成要素は、他の可用性ゾーン１１０の構成要素の障害から隔離される。例えば、可用性ゾーン１１０Ａは、特定の領域内の第１のデータセンタであり得、可用性ゾーン１１０Ｂは、同一領域内の第２のデータセンタであり得る。可用性ゾーン１１０Ａは、可用性ゾーン１１０Ｂのデータセンタでの障害が可用性ゾーン１１０Ａのデータセンタに影響を与えないように分離され得る。場合によっては、可用性ゾーン１１０Ａおよび１１０Ｂは、同じデータセンタであり得るが、一方の可用性ゾーン１１０が他方の可用性ゾーン１１０の影響を受けないように、別個のネットワーク上の構成要素に対応し得る。

【0011】

様々な実施形態では、データストレージクラスタ（例えば、本明細書で説明されるキャッシュクラスタまたはストレージクラスタ）は、２つ以上の可用性ゾーン１１０にわたって分散され、データは可用性ゾーン間で複製される。データは、可用性ゾーン間のデータ冗長性を提供するために、可用性ゾーンにわたって複製され得る。特定の実施形態では、可用性ゾーン１１０は、ある可用性ゾーンでの外部障害（例えば、停電または自然災害）が別の可用性ゾーンに影響を与えず、格納されたデータが依然として取り出しのために利用可能となるように、ある距離だけ地理的に分離される。クラウドベースのサービス１０５の文脈において、可用性ゾーン１１０は、「コンピュータゾーン」と呼ばれることがある。図１Ａの図示の実施形態および本明細書で説明される様々な実施形態は、２つの可用性ゾーン１１０Ａおよび１１０Ｂを示すが、クラウドベースのサービス１０５が、任意の複数の数の可用性ゾーンを含んでもよいことを理解されたい。例えば、多くの企図される実施形態では、クラウドベースのサービス１０５は、図４に示されるように、３つの可用性ゾーン１１０を含む。

【0012】

特定の実施形態では、データベースノード１２０、ストレージキャッシュ１３０、およびログストレージ１４０は、可用性ゾーン１１０にわたって分散される。図示の実施形態では、可用性ゾーン１１０Ａはデータベースノード１２０Ａを含み、可用性ゾーン１１０Ｂはデータベースノード１２０Ｂを含む。本明細書で使用される場合、「データベースノード（database node）」という用語は、クラウド環境１００におけるデータの格納、取り出し、および操作を処理する構成要素を指す。データベースノードは、例えば、クラウド環境１００内のサーバ上で実行されるアプリケーションによって実装される構成要素であり得る。例えば、データベースノード１２０は、ストレージキャッシュ１３０およびログストレージ１４０とともに可用性ゾーン１１０にコロケートされたサーバ上で実行されるアプリケーションによって実行可能なソフトウェアルーチンであり得る。したがって、データベースノード１２０は、ストレージキャッシュ１３０、ログストレージ１４０、および共有オブジェクトストレージ１５０とインターフェースして、クラウド環境１００におけるデータの格納、取り出し、および操作を処理し得る。例えば、データベースノードは、クラウドベースのサービス１０５に代わって、データの読み出しおよび書き込みのために、ストレージキャッシュ１３０、ログストレージ１４０、または共有オブジェクトストレージ１５０に要求を提供し得る。

【0013】

様々な実施形態では、データベースノード１２０は、クラスタマネジャ１６０によってクラウド環境１００においてインスタンス化される。特定の実施形態では、少なくとも１つのデータベースノード１２０が各可用性ゾーン１１０内でインスタンス化され、データベースノードのインスタンスが各可用性ゾーン内に存在するようにする。可用性ゾーン１１０内の１つまたは複数のデータベースノード１２０は、データの格納およびクエリのために他のアプリケーションによって使用され得るデータベース（例えば、分散データベースストレージシステム）を実装し得る。各可用性ゾーン１１０にわたってデータベースノード１２０を分散させることで、可用性ゾーン間のデータベースノードの冗長性を提供する。したがって、１つの可用性ゾーン内のデータベースノードに障害が発生した場合、障害が発生したデータベースノードを置き換えるために、別の可用性ゾーン内のデータベースノードが利用可能であり得る。例えば、可用性ゾーン１１０Ａ内のデータベースノード１２０Ａは、データベースノード１２０Ｂに障害が発生した場合に、可用性ゾーン１１０Ｂ内のストレージキャッシュ１３０Ｂまたはログストレージ１４０Ｂとインターフェースすることが可能であり得る。

【0014】

いくつかの実施形態では、データベースノード１２０は、可用性ゾーン内に冗長性を提供するために、可用性ゾーン１１０内の複数のサーバ上でインスタンス化される。そのような実施形態では、データベースノードのプライマリインスタンスは、可用性ゾーン内の１つのサーバ上で実行されており、データベースノードの複製がバックアップとして追加のサーバ上でインスタンス化されている。したがって、データベースノードのプライマリインスタンスに障害が発生した場合、データベースノードのバックアップ（セカンダリ）インスタンスがアクティブ化されて、障害が発生したプライマリインスタンスを置き換え得る。

【0015】

いくつかの実施形態では、データベースノードの１つのインスタンスのみが可用性ゾーン１１０にわたって存在するように、１つのデータベースノード１２０のみがクラウド環境１００においてインスタンス化される。様々な実施形態では、可用性ゾーン１１０にわたってデータベースノード１２０の１つのインスタンスのみがプライマリインスタンスとしてアクティブであり、非アクティブ（複製）データベースノードは、他の可用性ゾーン（または同じ可用性ゾーン）に常駐する。したがって、データベースノードのプライマリインスタンスに障害が発生した場合、任意の可用性ゾーン（例えば、別の可用性ゾーンまたは同じ可用性ゾーン）の非アクティブ（複製）データベースノードをアクティブ化して、データベースノードの動作のための冗長性を提供し得る。

【0016】

図示の実施形態では、可用性ゾーン１１０Ａはストレージキャッシュ１３０Ａを含み、可用性ゾーン１１０Ｂはストレージキャッシュ１３０Ｂを含む。図１Ｂは、いくつかの実施形態による、ストレージキャッシュ１３０の例を示すブロック図を示す。本明細書で使用される場合、「ストレージキャッシュ（storage cache）」という用語は、データを格納するためのエフェメラル（一時的）キャッシュを指す。例えば、ストレージキャッシュ１３０は、内部の非揮発性メモリ（例えば、ＮＶＭｅ）ベースのストレージを含み得る。様々な実施形態では、ストレージキャッシュ１３０は、キャッシュノード１８０（例えば、ストレージノード）およびストレージデバイス１９０を含む。特定の実施形態では、キャッシュノード１８０は、ストレージキャッシュ１３０を実装するために実行可能なソフトウェアルーチンのセットであり、クラウドベースのサービス１０５においてストレージ機能を提供することが可能である。いくつかの実施形態では、ソフトウェアルーチンのセットを実行するために使用されるハードウェアは、キャッシュノード１８０の一部とみなされる。キャッシュノード１８０は、クラウドベースのサービス１０５に代わって、様々な事例では、具体的にはそのストレージキャッシュ１３０に代わって、データの読み出しおよび書き込みを行う要求を受信し得る。一例として、キャッシュノード１８０は、ストレージデバイス１９０に格納されたデータの書き込みまたは読み出しを行う要求を受信し得る。

【0017】

特定の実施形態では、ストレージデバイス１９０は、データがストレージキャッシュ１３０に保持されるデータストレージ要素である。様々な実施形態では、ストレージデバイス１９０は、内部の非揮発性メモリ（例えば、ＮＶＭｅ）ベースのストレージのようなエフェメラル（一時的）キャッシュストレージ要素である。限定はしないが、揮発性メモリベースのストレージなど、キャッシュストレージ要素の他の実施形態も企図され得る。特定の実施形態では、ストレージデバイス１９０は、可用性ゾーン１１０内のデータベースノード１２０とコロケートされた複数のサーバ（例えば、内部の非揮発性メモリを有するサーバブレード）を含み、サーバは、集合的に、および、キャッシュノード１８０と組み合わせて、ストレージキャッシュ１３０を提供する。いくつかの実施形態では、ストレージキャッシュ１３０は、データベースノード１２０によってインスタンス化される。様々な実施形態では、ストレージキャッシュ１３０は、低レイテンシのデータ転送を提供するが、典型的には、電力損失または障害が発生したときにデータを失いやすい。

【0018】

様々な実施形態では、ストレージキャッシュ１３０は、共有オブジェクトストレージ１５０に格納されるデータのためのキャッシュとして実装される。ストレージキャッシュ１３０は、クラウドベースのサービス１０５に代わって、様々な事例では、具体的にはその可用性ゾーン１１０に代わって、データの読み出しおよび書き込みを行う要求を受信し得る。一例として、ストレージキャッシュ１３０Ａは、ストレージキャッシュ１３０Ａを構成するサーバに格納されたデータを返す要求をデータベースノード１２０Ａから受信し得る。様々な実施形態では、ストレージキャッシュ１３０は、データベースノード１２０とともに、あるストレージキャッシュ１３０によって格納されたデータが少なくとも１つの他のストレージキャッシュ１３０によって格納されるように、データ複製を実践する。例えば、ストレージキャッシュ１３０Ａによって格納されたデータは、ストレージキャッシュ１３０Ｂによって格納され得る。場合によっては、そのデータの一部が異なるストレージキャッシュ１３０に格納され、完全なコピーが単一のストレージキャッシュ１３０によって保持されないようにされ得る。様々な実施形態では、格納されたデータは、１つの可用性ゾーン１１０が利用不可能になっても、別の可用性ゾーン１１０を通してデータが依然としてアクセス可能なように、または可用性ゾーン１１０上のクラウドベースのサービス１０５の特定の部分が利用不可能になっても、クラウドベースのサービス１０５の別の部分を通してデータがアクセス可能なように、異なる可用性ゾーン１１０にわたって複製される。

【0019】

図示の実施形態では、可用性ゾーン１１０Ａはログストレージ１４０Ａを含み、可用性ゾーン１１０Ｂはログストレージ１４０Ｂを含む。本明細書で使用される場合、「ログストレージ（log storage）」という用語は、クラウドベースのサービス１０５で管理されるデータ（例えば、ストレージキャッシュ１３０に格納され、そこから取り出されるデータ）を含む、経時的なトランザクション（例えば、格納および取り出し）のログを格納するために使用されるストレージ要素を指す。いくつかの実施形態では、ログストレージ１４０は、データベースノード１２０によってインスタンス化される。図示の実施形態に示されるように、ログストレージ１４０Ａは、可用性ゾーン１１０Ａおよびストレージキャッシュ１３０Ａに対応し、ログストレージ１４０Ｂは、可用性ゾーン１１０Ｂおよびストレージキャッシュ１３０Ｂに対応する。したがって、特定の実施形態では、ログストレージ１４０Ａは、可用性ゾーン１１０Ａおよびストレージキャッシュ１３０Ａに関連付けられたトランザクションのログを格納し、ログストレージ１４０Ｂは、可用性ゾーン１１０Ｂおよびストレージキャッシュ１３０Ｂに関連付けられたトランザクションのログを格納する。

【0020】

いくつかの実施形態では、ログストレージ１４０は、クラウドベースのサービス１０５において管理されるデータのコピーを格納し得る。例えば、ログストレージ１４０は、ログの記録とともにデータのコピーを格納し得る。いくつかの実施形態では、ログストレージ１４０に格納されたデータのコピーは、他のストレージ要素（例えば、ストレージキャッシュ１３０または共有オブジェクトストレージ１５０）のうちの１つで問題が発生した場合にデータを回復するために使用され得る。特定の実施形態では、ログストレージ１４０は、電力損失または障害発生時にログおよびデータが保持される永続的データストレージ要素を含む。例えば、ログストレージ１４０は、弾性ブロックストレージ（ＥＢＳ）要素などのブロックストレージ要素を含み得る。様々な実施形態では、ログストレージ１４０は、ストレージキャッシュ１３０に実装された機能に対応するストレージ機能をクラウドベースのサービス１０５において提供するために実行可能なソフトウェアルーチンのセットを実装する。例えば、ログストレージ１４０は、あるログストレージ１４０によって格納されたデータが少なくとも１つの他のログストレージ１４０によって格納されるように、データ複製を実践し得る。

【0021】

図１Ａに示すように、クラウド環境１００は、共有オブジェクトストレージ１５０を含む。本明細書で使用される場合、「共有オブジェクトストレージ（shared object storage）」という用語は、リソースにわたって共有され得るオブジェクトのための永続的なデータストレージを指す。共有オブジェクトストレージの一例としては、Amazon Web Services（登録商標）（ＡＷＳ）のAmazon S3（登録商標）がある。特定の実施形態では、共有オブジェクトストレージ１５０は、高帯域幅を有する任意の量のデータの格納および取り出しを可能にするウェブサービスインターフェースを実装する。データは、格納され、ウェブ上のどこからでもいつでも取り出され得る。いくつかの事例では、共有オブジェクトストレージ１５０は、データのトランザクションについてのみコストを発生させ、転送されるデータの量についてはコストを発生させない。したがって、同じコストに基づいて単一のトランザクションで任意の量のデータが格納または取り出され得る。様々な実施形態では、クラウドベースのサービス１０５は、クラウドベースのサービスによって管理されるデータの格納および取り出しのために、共有オブジェクトストレージ１５０とインターフェースする。例えば、本明細書で説明されるように、可用性ゾーン１１０内のデータベースノード１２０は、格納のために共有オブジェクトストレージにデータを提供するか、または共有オブジェクトストレージからデータを取り出すために、共有オブジェクトストレージ１５０とインターフェースし得る。特定の実施形態では、共有オブジェクトストレージ１５０は、データベースノード１２０によってメインデータストレージとして実装され、ストレージキャッシュ１３０は、共有オブジェクトストレージ１５０に格納されたデータのサブセットのためのローカルで低レイテンシのデータストレージとして実装される。

【0022】

図示の実施形態では、クラウド環境１００は、メタデータストア１７０を有するクラスタマネジャ１６０を含む。本明細書で使用される場合、「クラスタマネジャ（cluster manager）」という用語は、可用性ゾーン１１０および共有オブジェクトストレージ１５０のリソースを使用したクラウドベースのサービス１０５の展開を容易にする集中型の管理またはオーケストレーションサービスを指す。様々な実施形態では、クラスタマネジャ１６０は、管理またはオーケストレーションサービスを提供するために実行可能なソフトウェアルーチンのセットを含む。Kubernetes（登録商標）およびApache Zookeeper（登録商標）は、クラスタマネジャの例である。クラスタマネジャ１６０は、クラウドベースのサービス１０５を実装するコンテナ化されたアプリケーションを展開し得る。いくつかの実施形態では、クラスタマネジャ１６０は、領域に関連付けられ、したがって、その領域の可用性ゾーン１１０内での展開を容易にすることを担う。図１Ａに示されるように、例えば、クラスタマネジャ１６０は、可用性ゾーン１１０Ａと可用性ゾーン１１０Ｂの両方とインターフェースするので、それらの可用性ゾーン１１０内のデータベースノード１２０、ストレージキャッシュ１３０、およびログストレージ１４０の展開を容易にすることができる。クラスタマネジャ１６０は、可用性ゾーン１１０とは別に示されているが、様々な実施形態では、クラスタマネジャ１６０は、可用性ゾーン１１０（例えば、可用性ゾーン１１０Ａ）内でインスタンス化される。クラスタマネジャ１６０は、可用性ゾーン１１０のうちの１つにおいてインスタンス化され得るが、クラスタマネジャ１６０は、依然として、他の可用性ゾーン１１０（例えば、可用性ゾーン１１０Ｂ）内での展開を容易にし得る。しかしながら、いくつかの実施形態では、クラスタマネジャ１６０は、それ自体の可用性ゾーン１１０内のみでの展開を容易にし得る。したがって、各可用性ゾーン１１０の展開を管理し、クラウドベースのサービス１０５がそれらの可用性ゾーン１１０にわたって分散されることを可能にするために、複数のクラスタマネジャ１６０がインスタンス化され得る。

【0023】

様々な実施形態では、クラスタマネジャ１６０は、クラウドベースのサービス１０５を展開するためにクラスタマネジャ１６０がアクセス可能な可用性ゾーン１１０のリソース（例えば、プロセッサ、ストレージデバイス、ネットワークポート、サーバ、仮想マシンなど）を記述するリソース情報を保持する。クラスタマネジャ１６０は、クラウドベースのサービス１０５を展開するための展開要求を（例えば、組織の管理者から）受信し得る。様々な実施形態では、展開要求は、どのタイプのクラウドベースのサービス１０５を展開すべきか、およびそれをどのように展開すべきか（例えば、ストレージサービスまたはクラスタを少なくとも２つの可用性ゾーン１１０にわたって展開すべきか）を記述する仕様を含む。展開要求を受信することに基づいて、クラスタマネジャ１６０は、仕様の要件と、それらの要件を満たすためにそれが利用可能な可用性ゾーンリソースとを考慮し得る。次いで、クラスタマネジャ１６０は、可用性ゾーン１１０のリソースを使用して、要求されたクラウドベースのサービス１０５を展開することを試み得る。様々な実施形態では、クラスタマネジャ１６０は、クラスタマネジャ１６０がクラウドベースのサービス１０５の構成要素をインスタンス化した位置を記述する位置情報を格納する。一例として、情報は、図示されクラウドベースのサービス１０５のストレージキャッシュ１３０Ａが可用性ゾーン１１０Ａのリソース上でインスタンス化されることを示し得る。

【0024】

特定の実施形態では、クラスタマネジャ１６０は、データベースノード１２０、ストレージキャッシュ１３０、およびログストレージ１４０の健全性など、クラウドベースのサービス１０５の様々な要素に関する情報、ならびにデータに対する様々なエンティティからの要求をどのように処理するかを決定するために様々なノードによって使用されるメタデータを保持する。特定の実施形態では、メタデータは、メタデータストア１７０に格納され、これは、クラスタマネジャ１６０においてインスタンス化される。様々な実施形態では、メタデータストア１７０は、メタデータを格納するリポジトリであり、これは、クラウドベースのサービス１０５の動作に関連し得る。メタデータは、例えば、特定のデータがクラウドベースのサービス１０５に格納されている位置を指定し得る。一例として、メタデータは、特定のキー範囲の記録がストレージキャッシュ１３０Ａおよび１３０Ｂに格納されることを指定し得る。メタデータストア１７０は、データベースノード１２０を含むクラウド環境１００の様々な構成要素にアクセス可能であり得る。いくつかの実施形態では、クラウド環境１００は、図１Ａに示されるものとは異なって実装される。例えば、クラスタマネジャ１６０およびメタデータストア１７０は、可用性ゾーン１１０Ａおよび１１０Ｂ内のノードを使用して実装され得る。別の例として、メタデータストア１７０は、メタデータが特定の可用性ゾーン１１０に対してローカルに利用可能であるように、可用性ゾーン１１０Ａおよび１１０Ｂにわたって分散され得る。

【0025】

様々な実施形態では、クラウドベースのサービス１０５は、機能のセットを提供するサービスまたはシステムであり、クラウド環境１００のクラウドインフラストラクチャ上に展開可能である。クラウドベースのサービス１０５は、例えば、分散ストレージサービス、データベース管理システム、電子メールサービス、ウェブアプリケーションサーバなどを含み得る。様々な実施形態では、クラウドベースのサービス１０５は、プログラム命令のセットを実行することによって実装される。そのため、クラスタマネジャ１６０は、その対応するプログラム命令をそれらの可用性ゾーン１１０のリソース上で実行させることによって、クラウドベースのサービス１０５を１つまたは複数の可用性ゾーン１１０に展開し得る。図示の実施形態では、クラウドベースのサービス１０５は、可用性ゾーン１１０Ａおよび１１０Ｂにわたってインスタンス化された複数のストレージキャッシュ１３０を有するストレージサービスである。場合によっては、クラウドベースのサービス１０５のストレージキャッシュ１３０は、本明細書で説明されるように、１つまたは複数のクラスタ（例えば、キャッシュクラスタ）を形成し得る。キャッシュクラスタでは、特定のクラスタのストレージキャッシュ１３０が、そのクラスタを代表して動作する。例えば、ストレージキャッシュ１３０Ａおよび１３０Ｂは、図２に示すキャッシュクラスタ２００のようなキャッシュクラスタを形成し得る。場合によっては、クラウドベースのサービス１０５のログストレージ１４０は、本明細書で説明されるように、１つまたは複数のクラスタ（例えば、ログストレージクラスタ）を形成し得る。ログストレージクラスタでは、特定のクラスタのログストレージ１４０が、そのクラスタを代表して動作する。例えば、ログストレージ１４０Ａおよび１４０Ｂは、図５に示されるログストレージクラスタ５００などのログストレージクラスタを形成し得る。

【0026】

次に図２を参照すると、クラウドベースのサービスへの書き込み要求を処理するように構成されたクラウドベースのサービスを含むクラウド環境の例示的な要素を示すブロック図が示されている。特定の実施形態では、ストレージキャッシュ１３０Ａおよびストレージキャッシュ１３０Ｂは、キャッシュクラスタ２００の一部である。本明細書で使用される場合、「キャッシュクラスタ（cache cluster）」という用語は、可用性ゾーンにわたるデータの複製および可用性のために、複数の可用性ゾーン１１０にわたって分散されたストレージキャッシュ１３０の編成を指す。様々な実施形態では、クラウドベースのサービス１０５は、データセット２０４に対する書き込み要求２０２を受信する。要求は、クラウドベースのサービス１０５内のローカルデータベースノードにおける、例えば、ユーザ、テナント、組織、企業などのエンティティからのものであり得る。

【0027】

図示の実施形態では、データベースノード１２０Ａは、データセット２０４に対する書き込み要求２０２を受信するローカルデータベースノードである。データベースノード１２０Ａは、データセット２０４をクラウド環境１００のどこに格納するかを決定する。例えば、データベースノード１２０Ａは、書き込み要求２０２に関連付けられたメタデータ（要求を提出したエンティティのメタデータなど）に基づいて、データセット２０４をどこに格納するかを決定し得る。特定の実施形態では、データベースノード１２０Ａは、データセット２０４を共有オブジェクトストレージ１５０に格納すると決定する。いくつかの実施形態では、データベースノード１２０Ａはまた、可用性ゾーン１１０Ａにローカルに格納するために、データセット２０４をストレージキャッシュ１３０Ａに格納すると決定する。上述したように、データベースノード１２０Ａは、データセット２０４を、データセットのためのメインストレージ位置として共有オブジェクトストレージ１５０に格納し得、ストレージキャッシュ１３０Ａは、データセットをローカルに格納するために使用される。データベースノード１２０Ａは、一方のストレージ要素の次に他方のストレージ要素に格納を進めるか、または両方のストレージ要素において並行して格納を進める形で、データセット２０４を格納すると決定し得ることに留意されたい。例えば、データベースノード１２０Ａは、ストレージキャッシュ１３０Ａへの送信の低レイテンシにより、共有オブジェクトストレージ１５０の前にストレージキャッシュ１３０Ａへの格納を実行し得る。

【0028】

図２に示すように、データセット２０４がストレージキャッシュ１３０Ａと共有オブジェクトストレージ１５０の両方に格納されている場合、データセットは、データの高速取り出しのために低レイテンシのストレージ要素（ストレージキャッシュ１３０Ａ）に格納され、データセットは、データのコスト効果が高く、耐久性があり、スケーラブルな格納のために永続的なストレージ要素（共有オブジェクトストレージ１５０）に格納される。データベースノード１２０Ａは、本明細書で説明されるように、ストレージキャッシュ１３０Ａと共有オブジェクトストレージ１５０の両方にデータセット２０４を格納するためのメタデータをクラスタマネジャ１６０に送信し得る。

【0029】

特定の実施形態では、可用性ゾーン１１０Ａ内のデータベースノード１２０Ａとは異なる可用性ゾーン１１０Ｂ内にあるデータベースノード１２０Ｂは、共有オブジェクトストレージ１５０からデータセット２０４を取り出すと決定する。データベースノード１２０Ｂは、様々な理由でデータセット２０４を取り出すと決定し得る。いくつかの実施形態では、データベースノード１２０Ｂは、以下の図３の実施形態で説明されるように、データベースノード１２０Ｂがデータセットを取り出す要求を受信したことに応答して、共有オブジェクトストレージ１５０からデータセット２０４を取り出すと決定する。様々な実施形態では、データベースノード１２０Ｂは、新しいまたは更新されたデータ（例えば、データに更新がある）がクラウドベースのサービス１０５において受信されたという指示に基づいて、共有オブジェクトストレージ１５０からデータセット２０４を取り出すと決定する。例えば、クラスタマネジャ１６０からデータベースノード１２０Ｂによって受信されたメタデータは、新しいまたは更新されたデータがデータベースノード１２０Ａによって受信された（その後、共有オブジェクトストレージ１５０に格納された）という指示を含み得る。他の実施形態では、データベースノード１２０Ｂは、ストレージキャッシュ１３０Ｂ内のデータがデータ障害を被った（例えば、データが失われた、エラーが有する、または無効である）とデータベースノード１２０Ｂが決定したときに、共有オブジェクトストレージ１５０からデータセット２０４を取り出すと決定し得、これは、クラスタマネジャ１６０から受信されたメタデータに基づいて決定され得る。

【0030】

特定の実施形態では、図２に示されるように、ストレージキャッシュ１３０Ｂ（および本明細書で説明される任意の他のストレージキャッシュ）は、可用性ゾーン１１０Ｂにローカルに格納するために、共有オブジェクトストレージ１５０からデータを直接取り出す。例えば、ストレージキャッシュ１３０Ｂは、データセット２０４を取り出すために、そのコロケートされたデータベースノード１２０Ｂまたは別の可用性ゾーン内のデータベースノード１２０から受信された指示を受信し得る。様々な実施形態では、データセット２０４の取り出しは、キャッシュノード１８０（図１Ｂに示される）によって実行され、キャッシュノードは、共有オブジェクトストレージ１５０からの直接的なデータの取り出しを実装するために実行可能なソフトウェアルーチンのセットを含む。データセット２０４を共有オブジェクトストレージ１５０から直接取り出すことにより、ストレージキャッシュ１３０Ｂは、データセットがデータベースノード１２０Ｂまたは別のデータベースノードを通過することなく、データセットを取り出すことができる。いくつかの実施形態では、キャッシュノード１８０自体が、共有オブジェクトストレージ１５０からデータを取り出すと決定し、取り出しを実行することを担い得る。いくつかの実施形態では、キャッシュノード１８０はまた、データがデータベースノード１２０Ｂ（または別のデータベースノード）を通過することなく、データを共有オブジェクトストレージ１５０に送信する（書き込む）ことが可能であり得る。いくつかの企図された実施形態では、データベースノード１２０Ｂは、まず、共有オブジェクトストレージ１５０からデータセット２０４を取り出し、次いで、取り出したデータセットを、可用性ゾーン１１０Ｂにローカルに格納するためにストレージキャッシュ１３０Ｂに送信する。

【0031】

共有オブジェクトストレージ１５０からのデータ取り出しは、典型的には、可用性ゾーンにわたるデータ送信よりも安価である。例えば、共有オブジェクトストレージ１５０からのデータ取り出しは、トランザクション単位で決定され得、可用性ゾーンにわたるデータ送信は、送信におけるデータの量に基づいて決定される。したがって、可用性ゾーン１１０Ｂに格納するために、ストレージキャッシュ１３０Ａまたはデータベースノード１２０Ａからデータセットを取り出すのではなく、共有オブジェクトストレージ１５０からデータセット２０４を取り出すことで、ストレージキャッシュ１３０Ｂにデータセットを投入するコストが削減され得る。

【0032】

ストレージキャッシュ１３０Ｂにデータセット２０４をローカルに格納する場合、データセットは、可用性ゾーン１１０Ａおよび１１０Ｂにわたって複製され、どちらの可用性ゾーンでもローカルに取り出しを行うのに利用可能である。可用性ゾーン１１０Ａおよび１１０Ｂにローカルに格納することにより、データ取り出し要求に応答して、いずれかの可用性ゾーン内のデータベースノードがローカルストレージ（例えば、ローカルストレージキャッシュ）からデータを直接取り出すことができる。例えば、データベースノード１２０Ａは、要求のソースが可用性ゾーン１１０Ａに対してローカルである場合、要求されたデータをストレージキャッシュ１３０Ａから取り出し得、またはデータベースノード１２０Ｂは、要求のソースが可用性ゾーン１１０Ｂに対してローカルである場合、要求されたデータをストレージキャッシュ１３０Ｂから取り出し得る。したがって、可用性ゾーン１１０Ａおよび１１０Ｂにローカルに格納することは、クラウドベースのサービス１０５に低レイテンシのデータ取り出しを提供し、共有オブジェクトストレージ１５０への格納は、データのための耐久性のあるメインストレージを提供する。

【0033】

図３は、クラウドベースのサービスへの書き込み要求および読み出し要求を処理するように構成されたクラウドベースのサービスを含むクラウド環境の例示的な要素を示すブロック図を示す。図示の実施形態では、データベースノード１２０Ｂは、３０２データセット２０４を取り出すための読み出し要求３０２を受信する。読み出し要求３０２は、本明細書で説明されるように、エンティティから受信され得る。様々な実施形態では、読み出し要求３０２は、可用性ゾーン１１０Ｂに対してローカルエンティティから受信される（例えば、可用性ゾーン１１０Ｂは、読み出し要求を行うエンティティに対するローカル可用性ゾーンである）。読み出し要求３０２を受信したことに応答して、データベースノード１２０Ｂは、要求されたデータがストレージキャッシュ１３０Ｂにおいて利用可能であるかどうかを決定する。例えば、読み出し要求３０２を受信すると、データベースノード１２０Ｂは、データセット２０４のメタデータをクラスタマネジャ１６０から取り出し得る。次いで、データベースノード１２０Ｂは、読み出し要求３０２を満たすためにデータをどこから取り出すかを決定し得る。データがストレージキャッシュ１３０Ｂにおいて利用可能であると決定された場合、データベースノード１２０Ｂは、ストレージキャッシュ１３０Ｂ（図示せず）からデータを取り出し、読み出し要求３０２を行うエンティティにデータセットを送信し得る。

【0034】

様々な実施形態では、データベースノード１２０Ｂは、要求されたデータがストレージキャッシュ１３０Ｂにおいて利用可能でないと決定し、データベースノード１２０Ｂは、共有オブジェクトストレージ１５０からデータを取り出す。いくつかの実施形態では、データベースノード１２０Ｂは、ストレージキャッシュ１３０Ｂ内のデータがより古いと決定し、データベースノード１２０Ｂは、共有オブジェクトストレージ１５０からデータを取り出す。例えば、ストレージキャッシュ１３０Ａおよび共有オブジェクトストレージ１５０内のデータのバージョンは、ストレージキャッシュ１３０Ｂ内のデータのバージョンと比較して更新されている。いくつかの実施形態では、データベースノード１２０Ｂは、ストレージキャッシュ１３０Ｂ内のデータが無効であるか、またはエラーを有すると決定し、データベースノード１２０Ｂは、共有オブジェクトストレージ１５０からデータを取り出す。次いで、データベースノード１２０Ｂによって取り出されたデータセット２０４は、可用性ゾーン１１０Ｂにデータセットをローカルに格納する（例えば、可用性ゾーン１１０Ｂにデータセットを投入する）ためにストレージキャッシュ１３０Ｂにおよび読み出し要求３０２を行うエンティティに送信される。これらの実施形態では、データベースノード１２０Ｂは、上述したように、データを取り出すコストを削減するために、ストレージキャッシュ１３０Ａではなく共有オブジェクトストレージ１５０からデータセット２０４を取り出す。

【0035】

本明細書で説明されるように、クラウドベースのサービス１０５の実施形態は、２つを超える可用性ゾーン１１０を含み得る。そのような実施形態では、可用性ゾーン１１０Ｂに投入するための上述した実施形態と同様に、追加の可用性ゾーン１１０に投入され得る。図４は、クラウドベースのサービスへの書き込み要求および読み出し要求を処理するように構成された３つの可用性ゾーン１１０を有するクラウドベースのサービスを含むクラウド環境の例示的な要素を示すブロック図を示す。図示の実施形態では、ストレージキャッシュ１３０Ａおよびストレージキャッシュ１３０Ｂは、上記の実施形態で説明されたように、データセット２０４が投入されている。様々な実施形態では、データベースノード１２０Ｃは、データセット２０４を取り出すための読み出し要求４０２を受信する。読み出し要求４０２は、本明細書で説明されるように、エンティティから受信され得る。

【0036】

読み出し要求４０２を受信したことに応答して、データベースノード１２０Ｃは、要求されたデータを取り出すストレージ要素を決定する。例えば、データベースノード１２０Ｃは、要求されたデータをストレージキャッシュ１３０Ｃから取り出すか、共有オブジェクトストレージ１５０から取り出すかを決定する。データベースノード１２０Ｃは、上述した図４の実施形態についてデータベースノード１２０Ｂによって行われる決定と同様の方法で、要求されたデータをどこから取り出すかの決定を行い得る。次いで、データベースノード１２０Ｃによって取り出されたデータセット２０４は、読み出し要求４０２を行うエンティティに送信される。データベースノード１２０Ｃが共有オブジェクトストレージ１５０からデータセット２０４を読み出すとき、データベースノード１２０Ｃはまた、可用性ゾーン１１０Ｃにデータセットをローカルに格納する（例えば、可用性ゾーン１１０Ｃにデータセットを投入する）ために、データセット２０４をストレージキャッシュ１３０Ｃに送信する。

【0037】

図５は、クラウドベースのサービスへの書き込み要求および読み出し要求を、書き込み要求および読み出し要求のログに対する書き込みおよび読み出しとともに処理するように構成されたクラウドベースのサービスを含むクラウド環境の例示的な要素を示すブロック図を示す。図示の実施形態では、クラウドベースのサービス１０５は、データベースノード１２０およびストレージキャッシュ１３０に加えて、可用性ゾーン１１０内にログストレージ１４０を含む（図１Ａにも示される）。ログストレージ１４０Ａは、可用性ゾーン１１０Ａにおいてデータベースノード１２０Ａおよびストレージキャッシュ１３０Ａとコロケートされる。ログストレージ１４０Ｂは、可用性ゾーン１１０Ｂにおいてデータベースノード１２０Ｂおよびストレージキャッシュ１３０Ｂとコロケートされる。特定の実施形態では、ログストレージ１４０Ａおよびログストレージ１４０Ｂは、ログストレージクラスタ５００の一部である。本明細書で使用される場合、「ログストレージクラスタ（log storage cluster）」という用語は、可用性ゾーンにわたるログデータの複製および可用性のために、複数の可用性ゾーン１１０にわたって分散されたログストレージ１４０の編成を指す。

【0038】

様々な実施形態では、本明細書で説明されるように、データベースノード１２０Ａおよびデータベースノード１２０Ｂは、クラウド環境１００においてトランザクションを処理する。トランザクションの例には、図５に示されるように、ストレージキャッシュ１３０Ａ、ストレージキャッシュ１３０Ｂ、または共有オブジェクトストレージ１５０への「読み出し／書き込み要求」および「データ読み出し／書き込み」が含まれる。いくつかの実施形態では、データベースノード１２０Ａおよびデータベースノード１２０Ｂはまた、必要に応じて（例えば、データが共有オブジェクトストレージ１５０において利用可能でない場合）、データベースノード間のデータ転送（複数可）トランザクションを処理し得る。データベースノード１２０Ａまたはデータベースノード１２０Ｂは、トランザクションが発生したときにトランザクションのログを生成し、対応するログストレージ（例えば、それぞれログストレージ１４０Ａまたはログストレージ１４０Ｂのいずれか）にトランザクションのログを格納し得る（例えば、書き込み得る）。したがって、ログストレージ１４０Ａおよび１４０Ｂは、それぞれのデータベースノード１２０Ａおよび１２０Ｂによって、経時的に発生するトランザクションのログを格納するために使用される。

【0039】

特定の実施形態では、トランザクションのログは、トランザクションの時間記録およびトランザクションのデータのコピーを含む。一例として、データベースノード１２０Ａは、書き込み要求に応答して、ストレージキャッシュ１３０Ａにデータを書き込むトランザクションのログを生成し得る。そのため、データベースノード１２０Ａによってログストレージ１４０Ａに格納されたトランザクションのログは、トランザクションの時間記録とともに、ストレージキャッシュ１３０Ａに書き込まれたデータのコピーを含む。様々な実施形態では、ログストレージ１４０Ａおよびログストレージ１４０Ｂに格納されたトランザクションのログは、クラウド環境１００で問題が発生した場合のデータの回復を容易にするために使用される。例えば、ストレージキャッシュ１３０Ａへのデータの書き込みを伴うトランザクションが失敗した場合、ストレージキャッシュへのデータの１つまたは複数の書き込みをロールバックする必要があり得る。ログストレージ１４０Ａに格納されたトランザクションのログは、データベースノード１２０Ａによって読み出され、どの書き込みが実行されたか、およびどの書き込みがロールバックまたは取り消される必要があるかを決定するために使用され得る。

【0040】

いくつかの実施形態では、ある可用性ゾーン内のログストレージ（例えば、可用性ゾーン１１０Ａ内のログストレージ１４０Ａ）に格納されたトランザクションログは、他の可用性ゾーン内のログストレージ（例えば、可用性ゾーン１１０Ｂ内のログストレージ１４０Ｂ）に複製される。企図される一実施形態では、トランザクションログは、データセット（例えば、上述したデータセット２０４）の複製と同様に複製され得る。例えば、データベースノード１２０Ａによって処理されるトランザクションについてのトランザクションログは、（ログストレージ１４０Ａに格納されているトランザクションログに加えて）データセットとともに共有オブジェクトストレージ１５０に格納され得る。次いで、トランザクションログは、例えば、読み出し要求に応答して、データセットとともに、データベースノード１２０Ｂによって共有オブジェクトストレージ１５０から取り出され得る。次いで、データベースノード１２０Ｂは、ストレージキャッシュ１３０Ｂにデータセットを格納することに加えて、ログストレージ１４０Ｂにトランザクションログを格納し得る。共有オブジェクトストレージからデータを取り出すためのコストがトランザクション単位である場合、共有オブジェクトストレージ１５０からデータセットとともにトランザクションログを取り出すことでコスト効果がより高くなり得る。別の企図される実施形態では、トランザクションログを生成するデータベースノード（例えば、データベースノード１２０Ａ）は、トランザクションログを各可用性ゾーン内の各ログストレージに直接送信してもよい（ログストレージにトランザクションログを送信および格納するためのコストが妥当であり得るため）。

【0041】

様々な実施形態では、本明細書で説明されるように、メタデータは、クラウド環境１００内のデータに対する要求およびトランザクションをどのように処理するかを決定するために、様々なノード（例えば、ストレージキャッシュ１３０に関連付けられたデータベースノード１２０またはキャッシュノード１８０）によって使用され得る。図６は、クラウドベースのサービスおよびクラスタマネジャを含むクラウド環境の例示的な要素を示すブロック図を示す。図６に示すように、特定の実施形態では、メタデータは、メタデータストア１７０に格納され、クラスタマネジャ１６０によってインスタンス化される。メタデータにおいて利用可能な情報の例には、特定のデータがクラウドベースのサービス１０５に格納された位置、または特定のデータがクラウドベースのサービス１０５に格納されている位置が含まれる。メタデータにおいて利用可能な情報の他の例には、クラウドベースのサービス１０５に格納された、または格納されているデータのタイムスタンプ、タグ、または分類が含まれる。

【0042】

特定の実施形態では、クラウドベースのサービス１０５内のデータベースノード１２０は、メタデータストア１７０にアクセスすることができる。例えば、図６に示されるように、データベースノード１２０は、メタデータストア１７０からの／へのメタデータの読み出し／書き込みを実装し得る。様々な実施形態では、データベースノード１２０は、メタデータにアクセスして、データをどこに格納するかを決定するか、またはメタデータに基づいてデータがどこに格納されるかを決定する。例えば、データベースノード１２０Ａによって受信された書き込み要求の場合、データベースノードは、メタデータにアクセスして、格納のために書き込み要求におけるデータをどこに送信するかを決定し得る。いくつかの実施形態では、メタデータストア１７０内のメタデータは、クラウドベースのサービス１０５内のストレージキャッシュ１３０によって直接アクセスされ得る。データベースノード１２０およびストレージキャッシュ１３０によるメタデータの使用のための追加の実施形態が、本明細書で説明される。

【0043】

データベースノード１２０が、データベースノードのためのローカルストレージ（例えば、ストレージキャッシュ１３０）に投入する前に、共有オブジェクトストレージ１５０にデータセットを最初に格納する様々な実施形態が企図され得る。図７は、クラウドベースのサービスにおけるローカルストレージに後で投入するために共有オブジェクトストレージに書き込み要求を直接格納するように構成されたクラウドベースのサービスを含むクラウド環境の例示的な要素を示すブロック図を示す。図示の実施形態は、例えば、書き込み要求におけるデータセットが大きなデータセットである状況で実装され得る。そのような状況では、データベースノードが、共有オブジェクトストレージの高い帯域幅容量および低いトランザクション当たりのコストを利用するために、ローカルストレージキャッシュではなく共有オブジェクトストレージ１５０にデータを直接格納することがより経済的であり得る。追加的に、ローカルストレージキャッシュ１３０のサイズによっては、大きなデータセットの格納が困難な場合がある。共有オブジェクトストレージ１５０にデータを格納した後、可用性ゾーン１１０内のローカルストレージ（例えば、ストレージキャッシュ１３０）に、必要に応じて共有オブジェクトストレージ１５０から投入され得る。いくつかの事例では、ローカルストレージキャッシュ１３０に投入されたデータは、共有オブジェクトストレージ１５０に格納されたデータのサブセットであってもよい（例えば、共有オブジェクトストレージ１５０に格納されたデータセットがローカルストレージキャッシュにとって大きすぎる場合）。

【0044】

図７の図示の実施形態では、データベースノード１２０Ａは、データセット７０４を格納するための書き込み要求７０２を受信する。特定の実施形態では、データベースノード１２０Ａは、データセット７０４が、ストレージキャッシュ１３０Ａにローカルに格納される前に、共有オブジェクトストレージ１５０に格納されるべきであると決定する。例えば、データセット７０４がストレージキャッシュ１３０Ａには大きすぎることもあるし、経済的または他の理由で最初に共有オブジェクトストレージ１５０に高帯域幅格納することが好ましい場合にはデータセットが十分に大きいこともある。次いで、データベースノード１２０Ａは、共有オブジェクトストレージ１５０に格納するためのデータセット７０４を送信する。

【0045】

いくつかの実施形態では、データセット７０４が共有オブジェクトストレージ１５０に格納された後、データベースノード１２０Ａまたはデータベースノード１２０Ｂは、データセットを取り出し、それぞれストレージキャッシュ１３０Ａまたはストレージキャッシュ１３０Ｂに格納し得る。他の企図される実施形態では、ストレージキャッシュ１３０Ａまたはストレージキャッシュ１３０Ｂは、共有オブジェクトストレージ１５０からデータセット７０４を直接取り出し得る。例えば、ストレージキャッシュ１３０に実装されたキャッシュノード１８０（図１Ｂに示す）は、ストレージキャッシュに格納するために共有オブジェクトストレージ１５０からデータを直接取り出し得る。いくつかの実施形態では、キャッシュノード１８０は、そのコロケートされたデータベースノード１２０または別の可用性ゾーン内のデータベースノード１２０からの指示に応答して、データを直接取り出し得る。本明細書で説明される様々な実施形態はまた、ストレージキャッシュ１３０による（キャッシュノード１８０を介した）共有オブジェクトストレージ１５０からのデータの直接的な取り出しを含み得ることに留意されたい。

【0046】

いくつかの実施形態では、データベースノード１２０（またはストレージキャッシュ１３０）は、共有オブジェクトストレージ１５０へのデータセットの格納に応答して、データセット７０４、またはデータセットのサブセットを取り出す。例えば、データベースノード１２０は、新しいまたは更新されたデータが共有オブジェクトストレージ１５０に格納されたという指示（メタデータに基づく）を受信し、この指示に応答して、データセット７０４またはデータセットのサブセットを取り出し得る。いくつかの実施形態では、上述したように、データベースノード１２０（またはストレージキャッシュ１３０）は、データベースノードによって受信された読み出し要求に応答して、データセット７０４またはデータセットのサブセットを取り出す。いくつかの実施形態では、データベースノード１２０（またはストレージキャッシュ１３０）は、ストレージキャッシュ内のデータが無効である、欠落している、またはエラー（例えば、データ障害）を有するという決定に応答して、データセット７０４またはデータセットのサブセットを取り出す。
クラスベースのキャッシュ管理

【0047】

本開示は、分散ストレージシステムを利用する様々なエンティティの分類にしたがって、分散ストレージシステム内の複数のストレージキャッシュを管理するための様々な技法を説明する。従来、キャッシュ管理は、例えば、キャッシュミス時に明示的または暗示的なキャッシュ投入を使用してキャッシュデータが落ち、リハイドレートされた状態になることを可能にすることによって、分散ストレージシステムのアプリケーション層によって実行される。しかしながら、異なるデータセットの重要性は同じでなくてもよい。すなわち、第１のエンティティのためにキャッシュされたデータは、第２の異なるエンティティのためにキャッシュされたデータよりも貴重な場合がある。例えば、初期の格納後に頻繁かつ迅速にアクセスされるデータは、「ホット」データと呼ばれ得る。そのため、一部のエンティティのために格納されたデータ（例えば、ホットデータ）は、他のエンティティのために格納されたデータよりも高い可用性を必要とし得る。加えて、付加価値の高いデータの取り出しは、付加価値の高い低いデータよりも低いレイテンシを必要とし得る。

【0048】

具体的には、本開示は、データを格納するために分散ストレージシステムによって使用されるデータクラスタの異なる可用性ゾーンにおいて実装されるキャッシュの可変の可用性を提供する。図１Ａを参照して上述したように、キャッシュは、分散ストレージシステムのデータクラスタに含まれるデータベースノードに結合された異なる可用性ゾーンに位置する。データクラスタに含まれるデータベースノードは、それらの対応する可用性ゾーンについて、キャッシュクラスタと共有オブジェクトストレージの両方におけるデータの取り出し、操作、および格納を処理する。データストレージの通常動作中、データベースノードは、キャッシュクラスタが一時的（例えば、エフェメラル）ストレージを提供し、共有オブジェクトストレージが永続的なストレージを提供する２つのストレージ要素間でデータが複製されるように、（低レイテンシ取り出しのための）キャッシュクラスタおよび（高帯域幅を提供する）共有オブジェクトストレージの両方にデータを書き込む。通常のデータ取り出し動作中、データは、データが以前にキャッシュに格納されていたと仮定して、低レイテンシデータ取り出しのためにキャッシュクラスタから（例えば、可用性ゾーンに位置する所与のキャッシュから）読み出される。

【0049】

キャッシュはデータを一時的に格納するので、所与のキャッシュに格納されたデータは、所与のキャッシュに対する障害または電力損失の場合に失われる可能性がある。キャッシュ内のデータ損失に続いて、損失データに関連付けられたキャッシュに結合されたデータベースノードは、所与のキャッシュを再投入するために、損失データを共有オブジェクトストレージから直接取り出し得る。共有オブジェクトストレージから直接データを取り出すことは、データ損失の場合に可用性ゾーンにわたってデータを取り出すよりもコスト効果が高い。そのため、開示されるキャッシュ管理技法は、有利には、例えば、システム障害が発生した場合のデータ管理に関連付けられたコストを低減し得る。加えて、開示されるキャッシュ管理技法は、有利には、優先度が高いデータのためのスペースの可用性を増加させ、それによって、クラウドベースのサービスを介して提供されるデータベースのための応答時間を改善し得る。

【0050】

いくつかの状況では、低レイテンシデータ取り出しのためのキャッシュの使用は、高価であるか、可用性が制限されるか、またはその両方であり得る。そのため、本開示は、格納されるべきデータに関連付けられたクラスに基づいて、様々なデータを格納するためのキャッシュの可用性を変化させる技法について述べる。このようにして、限られたキャッシュストレージをより効率的に利用するために、クラスに基づいてデータに優先順位が付けられる。これは、例えば、ホットデータのために十分なスペースが利用可能であることを保証する。キャッシュクラスタに格納されるべきデータセットに割り当てられるクラスは、そのデータセットに関連付けられたエンティティ（例えば、ユーザ、テナント、組織、企業など）、またはデータセットに含まれるデータのタイプのいずれか、または両方によって決定される。いくつかの実施形態では、システム管理者は、異なるエンティティに分類を割り当てる。

【0051】

エンティティの異なるクラスは、これらのエンティティに関するデータがどのようにタグ付けされ、キャッシュに最終的に格納されるかを示す。分散ストレージシステムは、例えば、データセットに関連付けられたユーザのユーザＩＤに基づいて、データセットを格納するためのいくつかの可用性ゾーンを決定し得る。１つの特定の例として、「ゴールド」顧客は、３つの異なる可用性ゾーンにわたってデータのコピーが格納され得るが、「ブロンズ」顧客は、単一のローカル可用性ゾーンにデータの１つのコピーのみが格納され得る。顧客は、分散ストレージシステムによって提供されるデータベースサービスに対して少なくともしきい値金額を支払う場合、「ゴールド」として分類され得る。すなわち、例えば、ゴールド顧客はサービスに対してブロンズ顧客よりもり多く支払う。この特定の例では、（例えば、ブロンズ顧客がデータを格納している可用性ゾーンでの停電により）それらのローカル可用性ゾーンにおいてキャッシュ障害が発生した場合、ブロンズ顧客は、システムが、要求されたデータを共有オブジェクトストレージからフェッチするのを待たなければならない（これは、キャッシュからのデータの取り出しよりも高いレイテンシに関連している）。対照的に、それらのローカル可用性ゾーンでシステム障害が発生した場合、ゴールド顧客のデータは、ゴールド顧客からのクエリに応答するために、別の外部に位置する可用性ゾーンから取り出し可能である。別の可用性ゾーンからのデータを使用してゴールド顧客に応答する間、システムはまた、共有オブジェクトストレージからデータをプルすることによって、ゴールド顧客のために、障害が発生したキャッシュにデータを再投入する。

【0052】

「ローカル」可用性ゾーンからデータを取り出すことは、データベースノードが、データベースノードと同じ可用性ゾーンに位置するキャッシュからデータを取り出すことを含む。すなわち、キャッシュは、同じ地理的クラウド領域内の所与のデータベースノードとコロケートされている場合、所与のデータベースノードに対してローカルである。いくつかの実施形態では、分散ストレージシステムにデータを要求するためにエンティティによって利用されるコンピュータシステムは、要求されたデータを取り出すために利用されるデータベースノードとコロケートされる。対照的に、「外部の」可用性ゾーンからのデータ取り出しは、データベースノードが、データベースノードとは異なる可用性ゾーンに位置するキャッシュからデータを取り出すことを含む。例えば、データベースノードは、データベースノードと同じ地理的領域に位置していないキャッシュから、要求されたデータを取り出し得る。

【0053】

次に図８を参照すると、様々なエンティティに関連付けられたメタデータ８２２に基づいて様々なエンティティからの書き込み要求を処理するように構成されたクラウドベースのサービス１０５を含むクラウド環境の例示的な要素を示すブロック図が示されている。図示の実施形態では、クラウドベースのサービス１０５は、ローカルデータベースノード１２０Ａにおいて第１のエンティティ８１０Ａからのデータセット８０４に対する書き込み要求８０２を受信する。

【0054】

データベースノード１２０Ａは、図示の実施形態では、第１のエンティティ８１０Ａとコロケートされ得る（例えば、このエンティティによって利用されるコンピューティングデバイス）。例えば、データベースノード１２０Ａおよび第１のエンティティ８１０Ａは、同じ地理的領域内に位置する。例えば、データベースノード１２０Ａは、第１のエンティティ８１０Ａと同様の地理的位置に位置する可用性ゾーン１１０Ａに位置する。要求８０２を満たすために、データベースノード１２０Ａは、クラスタマネジャ１６０と通信して、第１のエンティティ８１０Ａのメタデータ８２２を取得する。第１のエンティティ８１０Ａは、ユーザ、顧客、テナント、組織、企業などであり得る。様々な実施形態では、第１のエンティティ８１０Ａは、識別子に関連付けられ得る。例えば、データベースノード１２０Ａは、第１のエンティティ８１０Ａの識別子（ＩＤ）をクラスタマネジャ１６０に提供し得る。

【0055】

クラスタマネジャ１６０は、メタデータストア１７０内で第１のエンティティのメタデータ８２２を位置特定し、第１のエンティティ８１０Ａのこのメタデータをデータベースノード１２０Ａに提供する。メタデータ８２２は、第１のエンティティ８１０Ａの分類を含む。この分類は、例えば、第１のエンティティ８１０Ａに関するデータをどのように格納するかを決定するために、様々なデータベースノードによって使用可能である。第１のエンティティ８１０Ａが、例えば、「ゴールド」顧客である場合、この顧客データは、例えば、「シルバー」顧客よりも高い優先度を有し得る。いくつかの実施形態では、メタデータは、異なるデータセットに関連付けられたエンティティの分類に基づいて、異なるデータセットに対してクラスタマネジャによって保持されるタグを含む。データセット８０４のタグは、例えば、データセット８０４のコピーを格納する１つまたは複数のキャッシュの可用性ゾーンを示し得る。

【0056】

第１のエンティティ８１０Ａのメタデータ８２２を取得した後、データベースノード１２０Ａは、データセット８０４をどこに格納するかを決定する。データベースノード１２０Ａは、まず、データセット８０４をストレージキャッシュ１３０Ａにローカルに格納し、次いで、データセット８０４を共有オブジェクトストレージ１５０に格納する。データベースノード１２０Ａは、ストレージ１５０に関連付けられたより低いレイテンシに起因して、共有オブジェクトストレージ１５０にデータを格納する前に、ストレージキャッシュ１３０Ａにデータを格納し得ることに留意されたい。他の状況では、データベースノード１２０Ａは、２つの異なるストレージ要素への格納を並行して実行し得る。様々な実施形態では、データベース化ノード１２０によるデータの操作は、異なるエンティティの分類の影響を受ける。例えば、データセットの格納は、エンティティのクラスに基づいてキャッシュ割り当てサイズを決定することと、決定されたサイズ制限に準拠するためにデータを追い出すべきかどうかを決定することとを伴い得る。エンティティ分類に基づくデータの操作は、図１０Ａおよび１０Ｂを参照して以下でさらに詳細に説明される。

【0057】

いくつかの実施形態では、データベースノード１２０Ａは、データセット８０４およびメタデータ８２２をデータベースノード１２０Ｂに送信する。データベースノード１２０Ｂは、データベースノード１２０Ａとは異なる可用性ゾーン１１０Ｂに位置することに留意されたい。データベースノード１２０Ｂは、データセット８０４のコピーをストレージキャッシュ１３０Ｂに格納する。次いで、データベースノード１２０Ｂは、第１のエンティティ８１０Ａのメタデータ８２２に基づいて、第３のストレージキャッシュ１３０Ｃに格納するためにデータセット８０４を第３のデータベースノード１２０Ｃに送信すべきかどうかを決定し得る。他の実施形態では、データベースノード１２０Ｂは、データベースノード１２０Ａからメタデータ８２２を受信し、メタデータ８２２に基づいて、ストレージキャッシュ１３０Ｂに格納するためにストレージキャッシュ１３０Ａからデータをプルすべきかどうかを決定する。例えば、データベースノード１２０Ｂは、データセット８０４のコピーを格納するための命令をデータベースノード１２０Ａから受信するのではなく、メタデータ８２２に基づいてそれ自体の格納決定を行う。いくつかの実施形態では、データベースノード１２０Ｂは、メタデータに基づいて、データセット８０４のコピーをストレージキャッシュ１３０Ｂにどのように格納するかを決定する。例えば、データベースノード１２０Ｂは、ストレージキャッシュ１３０Ｂに、データセット８０４をストレージに１０分間だけ保持するように命令することができ、別のエンティティに関するデータは、１時間だけ保持し得る。様々なエンティティのメタデータに含まれる情報に基づくデータの格納については、図９を参照して以下でさらに詳細に説明する。

【0058】

図１Ａを参照して上述したように、クラスタマネジャ１６０は、データベースノード１２０の健全性（例えば、どのノードがクラッシュしたか）など、クラウドベースのサービス１０５の様々な要素の情報、ならびに様々なエンティティからのデータの要求をどのように処理するかを決定するために様々なノードによって使用されるメタデータを保持する。すなわち、クラスタマネジャ１６０は、キャッシュクラスタ２００の情報を保持するように動作可能である。そのため、クラウドベースのサービス１０５はゾーンアウェアである。例えば、サービス１０５は、キャッシュされたデータの位置（可用性ゾーン１１０）を識別することができる。様々な実施形態では、データベースノード１２０は、それぞれのストレージキャッシュ１３０にデータをキャッシュした後、メタデータストア１７０に格納するために、データの位置をクラスタマネジャ１６０に提供するように構成される。これにより、クラウドベースのサービス１０５は、例えば、読み出し要求が受信されたときに、どの可用性ゾーンからデータを取り出し始めるかを識別することができる。このようにして、サービス１０５は、それがアクセスした最新の可用性ゾーン、および要求されたデータが位置するゾーンを認識している。

【0059】

いくつかの実施形態では、データベースノード１２０Ａは、１つまたは複数のエンティティから読み出し要求を受信する。例えば、第１のエンティティ８１０Ａは、書き込み要求８０２において指定されたデータセット８０４とは異なるデータセットを要求し得る。データベースノード１２０Ａは、第１のエンティティ８１０Ａのメタデータ８２２に基づいて、要求されたデータを取り出すストレージ位置（例えば、共有オブジェクトストレージ１５０、またはストレージキャッシュ１３０Ａのうちの１つ）を識別するように構成される。様々な実施形態では、読み出し要求は、異なるエンティティの分類の影響を受ける。例えば、データベースノード１２０Ａがキャッシュミスを被った場合、このノードは、より低速の共有オブジェクトストレージからデータを取り出すかどうか、または要求されたデータをより高速のストレージ、例えば、別の可用性ゾーンに位置するストレージキャッシュからプルすることによって追加の費用を負担するかどうかを決定しなければならない。そのようなクラスベースの決定は、図１０Ａおよび図１０Ｂを参照して以下でさらに詳細に説明される。

【0060】

図９は、第１のエンティティに関するデータを格納するためのキャッシュを識別するように構成された例示的なデータベースノードを示すブロック図である。図示の実施形態では、データベースノード１２０Ａは、クラス識別モジュール９１０、ストレージ決定モジュール９２０、タグ付けモジュール９３０、位置特定モジュール９４０、および取り出し決定モジュール９５０を含む。

【0061】

データベースノード１２０Ａは、図示の実施形態では、クラスタマネジャ１６０から第１のエンティティ８１０Ａのメタデータ８２２を受信し、そのメタデータをクラス識別モジュール９１０に提供する。図示の実施形態では、クラス識別モジュール９１０は、第１のエンティティ８１０Ａの分類９１２を識別し、この分類をストレージ決定モジュール９３０に送信する。例えば、クラス識別モジュール９１０は、第１のエンティティ８１０ＡのＩＤを使用して、クラスタマネジャ１６０によって保持されるテーブルにおいてこのエンティティのクラスをルックアップし得る。別の例として、このエンティティの分類は、テナントＩＤなどの第１のエンティティ８１０ＡのＩＤに含まれ得る。この特定の例では、モジュール９１０は、テナントＩＤから分類を抽出する。様々な実施形態では、クラス識別モジュール９１０は、第１のエンティティ８１０Ａが新しい顧客である（例えば、２週間だけクラウドベースのサービス１０５を利用していた）と決定し得る。この決定に基づいて、モジュール９１０は、第１のエンティティ８１０Ａを「優先度が低い」顧客として分類し得る。

【0062】

ストレージ決定モジュール９２０は、分類９１２に基づいて、書き込み要求において第１のエンティティ８１０Ａから受信されたデータ（例えば、書き込み要求８２０におけるデータセット８０４）をどこに格納するかを決定する。例えば、ストレージ決定モジュール９３０は、（例えば、データベースノード１２０Ａと同じ可用性ゾーンに位置する）ローカルキャッシュと、異なる可用性ゾーンにわたって位置するいくつかのキャッシュの両方に優先度が高いエンティティに関するデータを格納すると決定し得る。データのそのようなマルチゾーン格納は、優先度が高いエンティティが（例えば、重要なデータについて）キャッシュミスを経験することを有利に低減または防止し得る。例えば、大規模テナント（例えば、米国または世界中に散在する企業）は、複数の可用性ゾーンから同時にデータベースにアクセスする可能性が高い。この例では、あるデータベースノードでデータが必要とされる場合、同じデータが、大きなエンティティのための他の可用性ゾーン内の他のデータベースノードによっても要求される可能性が高い。そのため、開示されるシステムは、データが様々なゾーンにわたって要求されることを予期して、大きいエンティティのための可用性ゾーンにわたって様々なキャッシュにデータをプリロードし、それによってキャッシュミスを回避するように構成される。

【0063】

いくつかの実施形態では、ストレージ決定モジュール９２０は、所与のエンティティに関するデータを全くキャッシュしないと決定し得る。例えば、ストレージ決定モジュール９２０は、第２のエンティティ（例えば、優先度が低いエンティティ）に関するデータが共有オブジェクトストレージ（例えば、ストレージ１５０）にのみ格納されるべきであると決定し得る。次いで、ストレージ決定モジュール９２０は、例えば、第１のエンティティ８１０Ａから受信されたデータセット８０４を格納するために、１つまたは複数の識別されたキャッシュ９２２（例えば、キャッシュ１３０）を出力する。

【0064】

タグ付けモジュール９３０は、図示の実施形態では、識別されたキャッシュ９２２に基づいてデータセット８０４にタグを割り当てる。このタグは、データセット８０４の追加のコピーがどこに格納されるべきかを決定するために、データベースノード１２０Ａもしくは他のデータベースノード１２０、またはその両方によって使用され得る。例えば、データベースノード１２０Ａが、タグ付けされたデータセット８０４をデータベースノード１２０Ｂに送信する場合、ノード１２０Ｂは、ストレージキャッシュ１３０Ｂにデータセットを格納し、次いで、タグに基づいて、第３のストレージキャッシュ１３０Ｃに格納するためにデータセット８０４を第３のデータベースノード１２０Ｃに送信すべきかどうかを決定し得る。この例では、データベースノード１２０Ｂは、タグ付けモジュール９３０によって割り当てられたタグに基づいて、データセット８０４を格納および送信すると決定する。

【0065】

いくつかの実施形態では、データベースノード１２０Ａはまた、メタデータ８２２を位置特定モジュール９４０に提供する。例えば、データベースノード１２０Ａは、データの読み出しを試みるときに、メタデータをモジュール９４０に提供し得る。図示の実施形態では、破線によって示されるように、位置特定モジュール９４０は、データセット８０４に割り当てられたタグに基づいて、データセット８０４のコピーを現在格納している１つまたは複数の可用性ゾーン９４２を決定し得る。例えば、メタデータ８２２は、様々な異なるキャッシュを有する異なる可用性ゾーンを示す様々なタグを含み得る。本明細書で説明されるように、データベースノード１２０Ａは、クラスタマネジャ１６０によって保持されるタグにしたがって、データをキャッシュに格納する前に、タグを異なるデータセットに割り当て得る。言い換えると、データセット８０４に割り当てられ、第１のエンティティ８１０Ａのメタデータ８２２内にクラスタマネジャによって格納されたタグは、このデータが現在格納されている１つまたは複数の可用性ゾーンを示し得る。このタグで示された可用性ゾーンを位置特定した後、位置特定モジュール９４０は、識別された可用性ゾーン９４２を示す情報を取り出し決定モジュール９５０に送信する。

【0066】

取り出し決定モジュール９５０は、データセット８０４を取り出すための可用性ゾーン９４２を選択するか、または（例えば、要求エンティティが、優先度が低いと分類される場合）共有オブジェクトストレージ１５０からデータセットを取り出すと決定する。例えば、モジュール９５０は、どの可用性ゾーンがデータ８０４の最も効率的な取り出しを提供することになるかを決定し得る。すなわち、データセット８０４のコピーがデータベースノード１２０Ａと同じ可用性ゾーンに格納される場合、この同じ可用性ゾーンからのデータの取り出しは、外部の可用性ゾーンからのデータの取り出しよりも効率的であろう。取り出し決定モジュール９５０は、データセット８０４の取り出しのために、（例えば、可用性ゾーン９４２のうちの１つに位置する）識別されたキャッシュを出力する。

【0067】

データベースノード１２０Ａは、図示の実施形態では、データベース命令９２４を出力する。例えば、データベースノード１２０Ａは、タグ付けモジュール９３０によって割り当てられたタグに基づいて、データセット８０４を格納することを指定する命令９２４をストレージキャッシュ１３０Ａに送信し得る。別の例として、データベースノード１２０Ａは、取り出し決定モジュール９５０がこのデータの取り出しのためのキャッシュ１３０Ａを識別したことに基づいて、データセット８０４を取り出すことを要求する命令９２４をストレージキャッシュ１３０Ａに送信し得る。

【0068】

いくつかの実施形態では、データベースノード１２０Ａによって生成されたデータベース命令９２４は、データが１つまたは複数のキャッシュによって格納されるべき時間量を指定する。例えば、命令９２４は、例えば、第１のエンティティ８１０Ａの分類９１２および他のエンティティの分類に基づいて、データセット８０４は１時間だけ格納するが、別のエンティティに関するデータは１０分間だけ格納するように指示し得る。１つの特定の例として、ゴールド顧客に関するデータは、他の顧客に関するデータよりも長い時間格納され得る。

【0069】

図１０Ａは、エンティティ分類に基づくキャッシュスペースの例示的な割り当てを示すブロック図である。図示の実施形態では、例１０００Ａは、第１のエンティティ８１０Ａおよび第２のエンティティ１０１０Ｂに関連付けられたメタデータ８２２Ａおよび１０２２Ｂに基づく、これら２つのエンティティに対するキャッシュスペースの例示的な割り当てを示す。

【0070】

図示の実施形態では、データベースノード１２０Ａは、第１のエンティティ８１０Ａのメタデータ８２２Ａおよび第２のエンティティ１０１０Ｂのメタデータ１０２２Ｂをクラスタマネジャ１６０から取り出す。このメタデータに基づいて、データベースノード１２０Ａは、第２のエンティティよりも第１のエンティティに対してより大きな量のスペース１０３２Ａを割り当てることを指定する命令をストレージキャッシュ１３０Ａに送信する。図示の実施形態では、ストレージキャッシュ１３０Ａ内で、第１のエンティティ８１０Ａのための割り当てられたスペース１０３２Ａは、第２のエンティティ１０１０Ｂのための割り当てられたスペース１０３２Ｂよりも大きい。データベースノード１２０Ａは、２つのエンティティのメタデータ８２２Ａおよび１０２２Ｂにおいて指定された分類に基づいてこれらのスペース割り当てを決定し得る。例えば、「優先度が高い」として分類されたエンティティは、「優先度が低い」として分類された別のエンティティよりも大きい量のスペースが、様々な可用性ゾーン１０１０にわたってストレージキャッシュ１３０において割り当てられ得る。

【0071】

視認性のために図１０Ａには単一のストレージキャッシュ１３０Ａが示されているが、他の実施形態では、様々な他のストレージキャッシュ１３０のいずれかが、異なるエンティティに割り当てられるスペースの量を指定する命令をそれぞれのデータベースノード１２０から受信し得ることに留意されたい。加えて、異なるストレージキャッシュ１３０は、所与のエンティティに対して同じまたは異なる量のスペースを割り当て得る。例えば、ストレージキャッシュ１３０Ａは、ストレージキャッシュ１３０Ｂとは異なる量のスペースを第１のエンティティ８１０Ａに対して割り当て得る。

【0072】

いくつかの実施形態では、データベースノード１２０Ａによって送信されるストレージスペース命令は、タイミング命令を含む。例えば、第１のエンティティ８１０Ａに割り当てられるスペースの量を指定することに加えて、データベースノード１２０Ａは、この割り当てられたスペース１０３２Ａにおいて第１のエンティティ８１０Ａの情報を保持する時間量を指定し得る。１つの特定の例として、ストレージキャッシュ１３０Ａは、１００個のオブジェクトを格納するように構成され、これらのオブジェクトスロットのうちの１０個がゴールド顧客に割り当てられ、これらのオブジェクトスロットのうちの１個がブロンズ顧客に割り当てられる。この特定の例では、データベースノード１２０Ａは、ストレージキャッシュ１３０Ａに、ゴールド顧客に割り当てられた１０個のスロットにおいてオブジェクトを１時間だけ保持し、ブロンズ顧客に割り当てられた１つのスロットにおいてオブジェクトを１０分間だけ保持するように命令する。

【0073】

いくつかの実施形態では、所与のエンティティに関するデータセットのコピーは、異なる可用性ゾーンにわたって複数のキャッシュに格納される。他の実施形態では、所与のエンティティに関するデータセットの単一のコピーが単一のキャッシュに格納される。例えば、第１のエンティティ８１０Ａが、優先度が高い分類を有することに基づいて、データベースノード１２０Ａは、このエンティティに関するデータを、ストレージキャッシュ１３０Ａと、可用性ゾーン１１０Ａの外部に位置する１つまたは複数のキャッシュの両方に格納する。１つの特定の例として、ゴールド顧客は、（例えば、データの高可用性を保証するために）複数の異なる可用性ゾーンにデータが格納され得るが、シルバー顧客は、ローカル可用性ゾーン（例えば、データのより低い可用性を提供する）にデータの単一のコピーが格納され得る。優先度が高いエンティティに関するデータのコピーは、他の可用性ゾーン内のキャッシュに格納するために、第１の可用性ゾーン内のキャッシュから取り出され得る。しかしながら、優先度が低いエンティティに関するデータは、例えば、共有ストレージキャッシュ１５０から取り出され得る。すなわち、優先度が高いエンティティに関するデータの複製は直接的に行われる（例えば、より高速である）のに対して、優先度が低いエンティティに関するデータの複製は間接的に行われる。複数の可用性ゾーンにわたってデータを取り出すことは、より低速のストレージ（例えば、共有オブジェクトストレージ１５０）からデータを取り出すよりも高速であるが、このタイプのデータ取り出しは、より低速のデータ取り出しよりも高価である。したがって、より優先度が低いエンティティに関するデータは、可用性ゾーンにわたって提供されるのではなく、共有オブジェクトストレージから提供され得る。

【0074】

いくつかの実施形態では、第２のエンティティに関するデータは、第１のエンティティに関するデータの前にキャッシュから追い出される。例えば、ストレージキャッシュが容量に達すると、ゴールド顧客のために格納されたデータを追い出す前に、シルバー顧客のために格納されたデータを追い出す。このキャッシュの可用性ゾーン内のデータベースノードは、例えば、クラスタマネジャ１６０から受信されたメタデータに基づいて、そのような追い出しを実行するようにキャッシュに命令し得る。

【0075】

いくつかの実施形態では、データベースノード１２０Ａは、第２のエンティティ１０１０Ｂに関するデータの格納よりも第１のエンティティ８１０Ａに関するデータの格納を、これらのエンティティの分類に基づいて、優先するように構成される。例えば、データベースノード１２０Ａが第１のエンティティ８１０Ａおよび１０１０Ｂから並行して要求を受信した場合、データベースノード１２０Ａは、第２のエンティティに関するデータをキャッシュ１３０Ａに格納する前に、第１のエンティティ８１０Ａに関するデータをストレージキャッシュ１３０Ａに格納し得る。加えて、データベースノード１２０Ａが２つの書き込み要求を受信したときにストレージキャッシュ１３０Ａが容量に近い場合、データベースノード１２０Ａは、第１のエンティティ８１０Ａに関するデータをストレージキャッシュ１３０Ａに格納しが、第２のエンティティ１０１０Ｂに関するデータを共有オブジェクトストレージ１５０に格納するように構成される（例えば、第２のエンティティに関するデータはキャッシュされない）。
キャッシュミスの処理

【0076】

いくつかの実施形態では、データベースノードは、キャッシュミスに関連付けられたエンティティの分類に基づいてキャッシュミスを処理するように構成される。例えば、データベースノード１２０Ａが第１のエンティティ８１０Ａからの読み出し要求（図１０Ａには図示せず）を取得し、キャッシュミスが発生した場合、このノードは、第１のエンティティの分類に基づいて、メモリのより低速のソース（例えば、共有オブジェクトストレージ１５０）から、または別の可用性ゾーン内のストレージキャッシュからデータを取り出すように構成される。第１のエンティティ８１０Ａがゴールド顧客である場合、例えば、データベースノード１２０Ａは、別の可用性ゾーン内のキャッシュから、要求されたデータを取り出す。すなわち、第１のエンティティ８１０Ａの分類が、このエンティティに関するデータのコピーが複数の可用性ゾーンにわたって格納されていることを示す場合、データベースノード１２０Ａは、読み出し要求に応答するために、別の可用性ゾーン内のストレージキャッシュからデータをプルする。しかしながら、キャッシュに欠落データを再投入するために、データベースノード１２０Ａは、共有ストレージキャッシュ１５０からデータをプルする（例えば、より高速なゾーン間データ取り出しに関連付けられた高コストを回避するために、より低速なメモリからプルする）ように構成される。１つの特定の例として、可用性ゾーンにわたるデータの取り出しは、２ミリ秒かかり得、共有オブジェクトストレージ１５０からのデータ取り出しは、１００ミリ秒かかり得る。

【0077】

エンティティが、優先度が低い分類を有する状況では、データベースノード１２０Ａは、単に共有オブジェクトストレージ１５０からデータを取り出すように構成される。例えば、より優先度が低いエンティティは、データのコピーが可用性ゾーンにわたって格納されない場合があるので、要求されたデータを受信するためにはより長く待たなければならない。いくつかの状況では、優先度が最も低いエンティティ（例えば、ブロンズ顧客）は、データが、ミスに関連付けられたキャッシュ内に全く再投入されない可能性がある。そのような状況では、このエンティティから受信されるデータに対する将来の要求は、共有オブジェクトストレージ１５０からデータを取り出すことによって単純に満たされる。他の状況では、エンティティがデータの複製を複数の可用性ゾーンにわたって格納している場合であっても、キャッシュミスの場合には、このエンティティのデータは、このエンティティの分類（例えば、エンティティは優先度が低い）に起因して、可用性ゾーンにわたってではなく、共有オブジェクトストレージから取り出される。そのため、このエンティティは、データを取り出すときに、（例えば、そのデータが可用性ゾーンにわたって取り出される）他のエンティティよりも高いレイテンシを経験し得る。

【0078】

図１０Ｂは、所与の可用性ゾーンにおける例示的なシステムクラッシュを示すブロック図である。図示の実施形態では、例１０００Ｂは、システムクラッシュが可用性ゾーン１１０Ａ内で発生している様子を示す。

【0079】

可用性ノード１１０Ａは、図示の実施形態では、システムクラッシュを経験する。このクラッシュは、停電または何らかのシステム障害によるものであり得る。このクラッシュにより、例えば、クラウドベースのサービス１０５がこの特定の可用性ゾーン１１０Ａをオンラインに戻すことができるまで、ストレージキャッシュ１３０Ａは一時的に利用不可能になる。図示の実施形態では、可用性ゾーン１１０Ａが回復すると、ストレージキャッシュ１３０Ａは、様々なエンティティのためにどのデータを取り出して格納するかを決定するために、クラスタマネジャ１６０からメタデータ８２２を取り出す。この決定に基づいて、キャッシュ１３０Ａは、異なるエンティティに属するデータに対する要求１０２０Ａをデータベースノード１２０Ａに送信する。データベースノード１２０Ａは、共有オブジェクトストレージ１５０から、要求されたデータ１０２２を取り出す。例えば、第１のエンティティが、優先度が高いエンティティであることを第１のエンティティのメタデータ８２２が指定することに基づいて、ストレージキャッシュ１３０Ａは、別の可用性ゾーン内のキャッシュから第１のエンティティに関するデータを取り出すことを示す要求をデータベースノード１２０Ａに送信する。別の例として、第２のエンティティが、優先度が低いエンティティであることを第２のエンティティのメタデータ８２２が指定することに基づいて、ストレージキャッシュは、共有オブジェクトストレージ１５０から第２のエンティティに関するデータを取り出すことを示す要求をデータベースノード１２０Ａに送信する。さらに別の例として、キャッシュ１３０Ａは、システムクラッシュ後にオンラインに戻ると、第３のエンティティのメタデータ８２２に基づいて、このエンティティに関するデータを全く再投入しないと決定し得る。すなわち、ストレージキャッシュ１３０Ａは、この第３のエンティティに関するデータを直ちに再投入しなくてもよい。むしろ、ストレージキャッシュ１３０Ａは、データベースノード１２０Ａに共有オブジェクトストレージ１５０からデータを取り出すように依頼する前に、第３のエンティティがこのデータに対する読み出し要求を提出するまで待機し得る（その時点で、データは第３のエンティティに対してもキャッシュされる）。

【0080】

データベースノード１２０Ａは、図示の実施形態では、例えば、（共有オブジェクトストレージ１５０からではなく）可用性ゾーンにわたってデータを取り出すことを指定するストレージキャッシュ１３０Ａからのデータ要求１０２０Ａに基づいて、データベースノード１２０Ｂにデータ要求１０２０Ｂを送信し得る。データベースノード１２０Ｂは、ストレージキャッシュ１３０Ｂからデータ１０２２を取り出し得る。次いで、データベースノード１２０Ｂは、キャッシュ１３０Ａに格納するためにデータベースノード１２０Ａにデータ１０２２を提供し得る。
例示的な方法

【0081】

図１１は、いくつかの実施形態による、クラスベースの技法を使用して書き込み要求を処理するための例示的な方法を示すフロー図である。図１１に示される方法１１００は、他のデバイスの中でも、本明細書に開示されるコンピュータ回路、システム、デバイス、要素、または構成要素のうちのいずれかと併せて使用され得る。様々な実施形態では、示される方法要素のうちのいくつかは、同時に実行され得るか、示されるものと異なる順序で実行され得か、または省略され得る。必要に応じて、追加の方法要素が実行され得る。方法１１００は、例えば、データベースノード１２０Ａによって実行され得る。

【0082】

要素１１１０において、図示の実施形態では、分散ストレージシステムのデータベースノードが、複数のエンティティのうちの第１のエンティティから、データセットを格納する要求を受信する。いくつかの実施形態では、データベースノードは、複数のエンティティのうちの第２のエンティティから、第２のデータセットに対する要求を受信する。いくつかの実施形態では、データベースノードは、第２のエンティティに関連付けられたメタデータに基づいて、第２のデータセットを格納する複数のキャッシュのうちの第１のキャッシュを識別し、第１のキャッシュは、第１の可用性ゾーンに位置する。いくつかの実施形態では、データベースノードは、第２のデータセットに対する要求に応答し、応答することは、第１のキャッシュから第２のデータセットを取り出すことに基づいて実行される。

【0083】

いくつかの実施形態では、データベースノードは、第１のキャッシュにおいてキャッシュミスが発生したと決定する。いくつかの実施形態では、データベースノードは、キャッシュミスに関連付けられたエンティティの分類に基づいて、共有オブジェクトストレージからのデータを使用して、第１のキャッシュから欠落しているデータについてのクエリをサービスするかどうかを決定する。いくつかの実施形態では、データベースノードは、複数のエンティティのうちの第２のエンティティから、第２のデータセットに対する要求を受信する。いくつかの実施形態では、データベースノードは、共有オブジェクトストレージから、第２のデータセットを取り出し、取り出すことは、第２のエンティティに関連付けられたメタデータに示される分類に基づいて実行される。

【0084】

１１２０において、データベースノードが、第１のエンティティに関連付けられたメタデータを取得し、メタデータは、複数のエンティティに対して複数の分類のうちの１つを指定する。いくつかの実施形態では、データベースノードは、分散ストレージシステムのクラスタマネジャから、複数のエンティティのうちの異なるエンティティに関連付けられたメタデータを受信することによってメタデータを取得し、メタデータは、異なるデータセットに関連付けられたエンティティの分類に基づいて、異なるデータセットに対してクラスタマネジャによって保持されるタグを含む。いくつかの実施形態では、データセットのタグは、データセットのコピーを格納するいくつかのキャッシュのそれぞれの可用性ゾーンを示す。

【0085】

いくつかの実施形態では、複数のキャッシュは、第１のエンティティの分類に基づいて、異なる可用性ゾーンにわたって第１のエンティティに関するデータの複数のコピーを格納するようにさらに構成される。いくつかの実施形態では、複数のキャッシュは、複数のエンティティのうちの第２のエンティティの分類に基づいて、第２のエンティティに関するデータの単一のコピーを格納するようにさらに構成される。いくつかの実施形態では、複数のキャッシュは、第２のエンティティの分類に基づいて、第１のエンティティのために格納されたデータのキャッシュ追い出しを実行する前に、第２のエンティティのために格納されたデータのキャッシュ追い出しを実行するようにさらに構成される。様々な実施形態では、複数のキャッシュは、異なるエンティティの分類に基づいて、レイテンシ（例えば、エンティティがデータを取り出すことができる速度）、ストレージサイズ割り当て、キャッシュの高速リフレッシュなどの様々な異なる基準にしたがってデータを格納するように構成される。

【0086】

１１３０において、データベースノードが、データセットを、格納のために複数のキャッシュのうちの１つまたは複数に提供し、複数のキャッシュは、第１のエンティティに関連付けられたメタデータにおいて識別された第１のエンティティの分類に基づいてデータセットを格納するように構成され、複数のキャッシュは、２つ以上の可用性ゾーンに位置する。いくつかの実施形態では、複数のキャッシュは、第１のエンティティに関連付けられたメタデータに示される第１のエンティティの分類と、複数のエンティティのうちの第２のエンティティに関連付けられたメタデータに示される第２のエンティティの分類とに基づいて、第２のエンティティよりも多くの量のキャッシュスペースを第１のエンティティに対して割り当てるようにさらに構成される。例えば、ゴールド顧客には、複数のストレージキャッシュ内のスペースがシルバー顧客よりも多く割り当てられ得る。

【0087】

１１４０において、データベースノードが、データベースノードに結合された共有オブジェクトストレージにデータセットを格納する。いくつかの実施形態では、システム障害に応答して、複数のキャッシュは、第１のエンティティの分類に基づいて、第１のエンティティに関するデータを共有オブジェクトストレージから複数のキャッシュのうちの１つまたは複数に再投入すると決定するように構成される。いくつかの実施形態では、システム障害に応答して、複数のキャッシュは、第２のエンティティの分類に基づいて、複数のエンティティのうちの第２のエンティティに関するデータを複数のキャッシュのうちの１つまたは複数に再投入しないと決定するように構成され、第１のエンティティに関するデータを再投入することは、キャッシュミスによって引き起こされることなく実行される。

【0088】

いくつかの実施形態では、複数のキャッシュは、第１のエンティティの分類に基づいて、複数のエンティティのうちの第２のエンティティに関するデータの格納よりも第１のエンティティに関するデータの格納を優先させる。いくつかの実施形態では、第１の可用性ゾーンは、第２の可用性ゾーン内の少なくとも１つの他のキャッシュのためにデータを複製する第１のキャッシュを含む。

【0089】

図１２は、いくつかの実施形態による、クラスベースの技法を使用して１つまたは複数のキャッシュに格納されたデータに対する読み出し要求を処理するための例示的な方法を示すブロック図である。図１２に示される方法１２００は、他のデバイスの中でも、本明細書に開示されるコンピュータ回路、システム、デバイス、要素、または構成要素のうちのいずれかと併せて使用され得る。様々な実施形態では、示される方法要素のうちのいくつかは、同時に実行され得るか、示されるものと異なる順序で実行され得か、または省略され得る。必要に応じて、追加の方法要素が実行され得る。方法１２００は、例えば、データベースノード１２０Ｂによって実行され得る。

【0090】

要素１２１０において、図示の実施形態では、第１の可用性ゾーン内の第１のデータベースノードが、複数のエンティティのうちの第１のエンティティから第１のデータセットに対する要求を受信する。いくつかの実施形態では、第１のデータベースノードは、第１のエンティティから、第２のデータセットを格納する要求を受信するようにさらに構成される。いくつかの実施形態では、第１のデータベースノードはさらに、第２のデータセットを、格納のために複数のキャッシュのうちの１つまたは複数に提供し、共有オブジェクトストレージに第２のデータセットを格納するように構成される。いくつかの実施形態では、第２のデータセットを、格納のために複数のキャッシュのうちの１つまたは複数に提供することは、第２のデータセットの複数のコピーを異なる可用性ゾーンにわたって位置する複数のキャッシュに格納することを指定する命令を提供することを含み、命令は、第１のエンティティに関連付けられたメタデータにおいて指定された第１のエンティティの分類に基づいて提供される。

【0091】

１２２０において、第１のデータベースノードが、第１のエンティティに関連付けられたメタデータを取得し、メタデータは、複数のエンティティに対して複数の分類のうちの１つを指定する。いくつかの実施形態では、第１のエンティティに関連付けられたメタデータは、分散ストレージシステムのクラスタマネジャから取得され、複数のエンティティのうちの異なるエンティティのためにクラスタマネジャによって保持されるメタデータは、複数のエンティティのうちの異なるエンティティに関するデータが格納されるそれぞれの可用性ゾーンを示す。

【0092】

１２３０において、データベースノードが、第１のデータセットを取り出すために複数のストレージキャッシュのうちの第１のキャッシュと通信し、第１のキャッシュは、第１の可用性ゾーンに位置し、複数のストレージキャッシュは、複数の分類に基づいて複数のエンティティに関するデータを格納するように構成される。

【0093】

１２４０において、データベースノードが、通信に基づいて、キャッシュミスが発生したことを識別する。例えば、データベースノードが第１のデータセットを取り出そうとしていたキャッシュは、現在、第１のデータセットを格納していない。したがって、キャッシュは、データの欠如を示すメッセージをデータベースノードに返す。

【0094】

１２５０において、データベースノードが、キャッシュミスに基づいて、第１のデータセットに対する要求に、共有オブジェクトストレージを使用して応答すべきか、第２の可用性ゾーンに位置する第２のキャッシュを使用して応答すべきかを決定する。いくつかの実施形態では、システム障害に応答して、複数のキャッシュは、第１のエンティティの分類に基づいて、共有オブジェクトストレージから取り出されたデータを使用して、第１のエンティティに関するデータを複数のキャッシュのうちの１つまたは複数に再投入すると決定するようにさらに構成される。いくつかの実施形態では、システム障害に応答して、複数のキャッシュは、第２のエンティティの分類に基づいて、第２のエンティティに関するデータを複数のストレージキャッシュのうちの１つまたは複数に再投入しないと決定するようにさらに構成され、第１のエンティティに関するデータを再投入することは、キャッシュミスによって引き起こされることなく実行される。

【0095】

図１３は、いくつかの実施形態による、クラウドベースのサービスにおいて書き込み要求を処理するための例示的な方法を示すフロー図である。図１３に示される方法１３００は、他のデバイスの中でも、本明細書に開示されるコンピュータ回路、システム、デバイス、要素、または構成要素のうちのいずれかと併せて使用され得る。様々な実施形態では、示される方法要素のうちのいくつかは、同時に実行され得るか、示されるものと異なる順序で実行され得か、または省略され得る。必要に応じて、追加の方法要素が実行され得る。方法１３００は、非一時的コンピュータ可読媒体に格納されたプログラム命令のセットを実行することによって実行され得る。

【0096】

１３１０において、図示の実施形態では、データセットを格納する要求が、第１の可用性ゾーン内の第１のデータベースノードにおいて受信される。

【0097】

１３２０において、図示の実施形態では、第１のデータベースノードが、第１の可用性ゾーンにデータセットを格納するために、第１の可用性ゾーン内の第１のストレージキャッシュにデータセットを送信する。いくつかの実施形態では、第１のデータベースノードは、データベースクエリに応答して、要求されたデータを第１の可用性ゾーン内の第１のストレージキャッシュから取り出すように動作可能である。

【0098】

１３３０において、図示の実施形態では、第１のデータベースノードが、第１の可用性ゾーンにデータセットを格納するために、共有オブジェクトストレージにデータセットを送信する。

【0099】

１３４０において、図示の実施形態では、第２の可用性ゾーン内の第２のデータベースノードが、共有オブジェクトストレージからデータセットを取り出す。いくつかの実施形態では、第２の可用性ゾーン内の第２のデータベースノードは、第２のストレージキャッシュ内のデータ障害に応答して、共有オブジェクトストレージからデータセットを取り出すように動作可能である。いくつかの実施形態では、第２の可用性ゾーン内の第２のデータベースノードは、共有オブジェクトストレージ内のデータセットが第２の可用性ゾーン内の第２のストレージキャッシュによって格納されたデータセットに対する更新を含むという決定に応答して、共有オブジェクトストレージからデータセットを取り出すように動作可能である。

【0100】

１３５０において、図示の実施形態では、第２のデータベースノードが、第２の可用性ゾーンにデータセットを格納するために、データセットを第２の可用性ゾーン内の第２のストレージキャッシュに送信する。いくつかの実施形態では、第２のデータベースノードは、要求されたデータが第１の可用性ゾーン内の第１のストレージキャッシュで見つからない場合、要求されたデータを第２の可用性ゾーン内の第２のストレージキャッシュから取り出すように動作可能である。いくつかの実施形態では、第１のデータベースノードまたは第２のデータベースノードは、要求されたデータが第１の可用性ゾーン内の第１のストレージキャッシュまたは第２の可用性ゾーン内の第２のストレージキャッシュのいずれにも見つからない場合、共有オブジェクトストレージからデータを取り出すように動作可能である。

【0101】

いくつかの実施形態では、ストレージキャッシュは、キャッシュされたデータを内部の不揮発性メモリに格納するサーバによってホストされ、共有オブジェクトストレージは、永続的なオブジェクトストレージである。いくつかの実施形態では、データベースノードは、２つ以上の可用性ゾーンに分離されたログストレージ要素に格納するために、複数のデータベースノードによる動作についてのログをログストレージクラスタに送信するように動作可能であり、ログストレージ要素の可用性ゾーンは、ストレージキャッシュの可用性ゾーンに対応する。いくつかの実施形態では、ストレージキャッシュの指定された可用性ゾーンについてのログは、指定された可用性ゾーンに対応するログストレージ要素の可用性ゾーンに格納される。

【0102】

図１４は、いくつかの実施形態による、クラウドベースのサービスにおいて書き込み要求を処理するための別の例示的な方法を示すフロー図である。図１４に示される方法１４００は、他のデバイスの中でも、本明細書に開示されるコンピュータ回路、システム、デバイス、要素、または構成要素のうちのいずれかと併せて使用され得る。様々な実施形態では、示される方法要素のうちのいくつかは、同時に実行され得るか、示されるものと異なる順序で実行され得か、または省略され得る。必要に応じて、追加の方法要素が実行され得る。方法１４００は、非一時的コンピュータ可読媒体に格納されたプログラム命令のセットを実行することによって実行され得る。

【0103】

１４１０において、図示の実施形態では、分散ストレージシステム内の第１のデータベースノードが、データセットを格納する要求を受信し、第１のデータベースノードは、分散ストレージシステムの第１の可用性ゾーンに位置する。いくつかの実施形態では、第１のデータベースノードは、第１の可用性ゾーン内の第１のストレージキャッシュへのデータセットの格納についてのログを、複数のログストレージ要素を有するログストレージクラスタに送信し、ログは、キャッシュクラスタ内の第１の可用性ゾーンに対応するログストレージ要素の第１の可用性ゾーンに格納される。

【0104】

１４２０において、図示の実施形態では、第１のデータベースノードが、第１の可用性ゾーンにデータセットを格納するために、第１の可用性ゾーン内の第１のストレージキャッシュにデータセットを送信する。

【0105】

１４３０において、図示の実施形態では、第１のデータベースノードが、第１の可用性ゾーンにデータセットを格納するために、共有オブジェクトストレージにデータセットを送信する。

【0106】

１４４０において、図示の実施形態では、第２の可用性ゾーン内の第２のデータベースノードが、データセットを取り出す要求を受信する。

【0107】

１４５０において、図示の実施形態では、第２のデータベースノードが、共有オブジェクトストレージからデータセットを取り出す。いくつかの実施形態では、第２のデータベースノードは、第２のストレージキャッシュ内のデータセットのバージョンが欠落している、無効である、または共有オブジェクトストレージ内のデータセットのバージョンよりも古いという決定に応答して、共有オブジェクトストレージからデータセットのバージョンを取り出すと決定する。

【0108】

１４６０において、図示の実施形態では、第２のデータベースノードが、第２の可用性ゾーンにデータセットを格納するために、データセットを第２の可用性ゾーン内の第２のストレージキャッシュに送信する。いくつかの実施形態では、第２のデータベースノードは、取り出されたデータセットを、要求を開始するエンティティに送信する。

【0109】

いくつかの実施形態では、第１のデータベースノードは、共有オブジェクトストレージおよび第１のストレージキャッシュにおけるデータセットの送信および格納のためのメタデータをクラスタマネジャに送信する。いくつかの実施形態では、第２のデータベースノードは、要求に応答してクラスタマネジャからメタデータを取り出し、メタデータに基づいて、要求を満たすために共有オブジェクトストレージからデータセットを取り出すと決定する。いくつかの実施形態では、共有オブジェクトストレージからデータセットを取り出すと決定することは、第１のストレージキャッシュおよび共有オブジェクトストレージ内のデータセットのバージョンが、第２のストレージキャッシュ内のデータセットのバージョンと比較して更新されていると決定することを含む。

【0110】

いくつかの実施形態では、第１のデータベースノードは、第１の可用性ゾーン内の第１のストレージキャッシュ内のデータセットの障害に応答して、共有オブジェクトストレージからデータセットのバージョンを取り出し、第１の可用性ゾーン内の第１のストレージキャッシュ内の障害を有するデータセットを、取り出されたデータセットのバージョンと置き換える。

【0111】

いくつかの実施形態では、第３の可用性ゾーン内の第３のデータベースノードは、データセットを取り出す要求を受信し、共有オブジェクトストレージからデータセットを取り出し、取り出されたデータセットを、第３の可用性ゾーンに格納するために、第３の可用性ゾーン内の第３のストレージキャッシュに送信する。
例示的なマルチテナントデータベースシステム

【0112】

次に図１５を参照すると、本開示の様々な技法を実装することができる例示的なマルチテナントデータベースシステム（ＭＴＳ）１５００が示されている。図１５において、ＭＴＳ１５００は、データベースプラットフォーム１５１０と、アプリケーションプラットフォーム１５２０と、ネットワーク１５４０に接続されたネットワークインターフェース１５３０とを含む。また、示されるように、データベースプラットフォーム１５１０は、データストレージ１５１２と、データストレージ１５１２と対話するデータベースサーバ１５１４Ａ～Ｎのセットとを含み、アプリケーションプラットフォーム１５２０は、それぞれ環境１５２４を有するアプリケーションサーバ１５２２Ａ～Ｎのセットを含む。図示の実施形態では、ＭＴＳ１５００は、ネットワーク１５４０を介して様々なユーザシステム１５５０Ａ～Ｎに接続される。開示されるマルチテナントシステムは、例示の目的で含まれており、本開示の範囲を限定することを意図するものではない。他の実施形態では、本開示の技法は、クライアント／サーバ環境、クラウドコンピューティング環境、クラスタ化されたコンピュータなどの非マルチテナント環境において実装される。

【0113】

ＭＴＳ１５００は、様々な実施形態では、ＭＴＳ１５００と対話するユーザ（代替的に「テナント」と呼ばれる）に様々なサービスを一緒に提供するコンピュータシステムのセットである。いくつかの実施形態では、ＭＴＳ１５００は、テナント（例えば、企業、政府機関など）が顧客および潜在的な顧客との関係および対話を管理するための機構を提供する顧客関係管理（ＣＲＭ）システムを実装する。例えば、ＭＴＳ１５００は、テナントが、顧客の連絡先情報（例えば、顧客のウェブサイト、電子メールアドレス、電話番号、およびソーシャルメディアデータ）を格納し、販売機会を識別し、サービス問題を記録し、マーケティングキャンペーンを管理することを可能にし得る。さらに、ＭＴＳ１５００は、これらのテナントが、どのように顧客とコミュニケーションをとったか、顧客が何を購入したか、顧客が最後に品物を購入したのはいつか、および顧客がいくら支払ったかを識別することを可能にし得る。ＣＲＭシステムのサービスおよび／または他のサービスを提供するために、示されるように、ＭＴＳ１５００は、データベースプラットフォーム１５１０およびアプリケーションプラットフォーム１５２０を含む。

【0114】

データベースプラットフォーム１５１０は、様々な実施形態では、テナントデータを含むＭＴＳ１５００のデータを格納および管理するためのデータベースサービスを実装するハードウェア要素とソフトウェアルーチンとの組み合わせである。示されるように、データベースプラットフォーム１５１０は、データストレージ１５１２を含む。データストレージ１５１２は、様々な実施形態では、ネットワーク（例えば、ストレージ接続ネットワーク（ＳＡＮ））上で互いに接続され、データ損失を防ぐためにデータを冗長的に格納するように構成されたストレージデバイス（例えば、ソリッドステートドライブ、ハードディスクドライブなど）のセットを含む。様々な実施形態では、データストレージ１５１２は、情報のアクセス、格納、および操作を可能にするように編成された情報の集合を含むデータベース（例えば、クラウドベースのサービス１０５）を実装するために使用される。データストレージ１５１２は、単一のデータベース、分散データベース、分散データベースの集合、冗長オンラインもしくはオフラインバックアップまたは他の冗長性を有するデータベースなどを実装し得る。データベースを実装することの一部として、データストレージ１５１２は、それぞれのデータペイロード（例えば、データベーステーブルのフィールドの値）およびメタデータ（例えば、キー値、タイムスタンプ、記録に関連付けられたテーブルのテーブル識別子、記録に関連付けられたテナントのテナント識別子など）を有する１つまたは複数のデータベース記録を含むファイル（例えば、データセット２０４）を格納し得る。

【0115】

様々な実施形態では、データベース記録は、テーブルの行に対応し得る。テーブルは一般に、閲覧可能なスキーマの列またはフィールドとして論理的に配置された１つまたは複数のデータカテゴリを含む。したがって、テーブルの各記録は、フィールドによって定義された各カテゴリのデータのインスタンスを含み得る。例えば、データベースは、名前、住所、電話番号、ファックス番号などの基本的な連絡先情報のフィールドを有する顧客を記述するテーブルを含み得る。したがって、そのテーブルの記録は、テーブル内のフィールドの各々についての値（例えば、名前フィールドについては名前）を含み得る。別のテーブルは、顧客、製品、販売価格、日付などの情報についてのフィールドを含む注文書を記述し得る。様々な実施形態では、アカウント、連絡先、リード、および機会データのためのテーブルなどの標準的なエンティティテーブルが、すべてのテナントによる使用のために提供され、それぞれが事前定義されたフィールドを含む。ＭＴＳ１５００は、１つまたは複数のテナントについてのデータベース記録を同じテーブルに格納し得る。すなわち、テナントはテーブルを共有し得る。したがって、データベース記録は、様々な実施形態では、データベース記録の所有者を示すテナント識別子を含む。結果として、あるテナントのデータは、セキュアに保たれ、他のテナントのデータから分離されるので、そのようなデータが明示的に共有されない限り、そのテナントは、別のテナントのデータにアクセスできない。

【0116】

いくつかの実施形態では、データストレージ１５１２に格納されたデータは、ログ構造マージツリー（ＬＳＭツリー）の一部として編成される。ＬＳＭツリーは、通常、インメモリバッファおよび永続的なストレージという２つの高レベル構成要素を含む。動作中、データベースサーバ１５１４は、最初にデータベース記録をローカルインメモリバッファに書き込み、その後、これらの記録を永続的なストレージ（例えば、データストレージ１５１２）にフラッシュし得る。データベース記録をフラッシュすることの一部として、データベースサーバ１５１４は、ＬＳＭツリーの「トップ」レベルに含まれる新しいファイルにデータベース記録を書き込み得る。時間の経過とともに、データベース記録は、データベース記録がＬＳＭツリーのレベルを下に移動するにつれて、データベースサーバ１５１４によって、より低いレベルに含まれる新しいファイルに書き換えられ得る。様々な実装形態では、データベース記録が古くなり、ＬＳＭツリーを下って移動するにつれて、それらは、データストレージ１５１２のますます低速のストレージデバイスに（例えば、ソリッドステートドライブからハードディスクドライブに）移動される。

【0117】

データベースサーバ１５１４が特定のキーについてのデータベース記録にアクセスすることを望むとき、データベースサーバ１５１４は、その特定のキーについてのデータベース記録を潜在的に含むファイルについて、ＬＳＭツリーの異なるレベルをトラバースし得る。データベースサーバ１５１４が、ファイルが関連データベース記録を含み得ると決定した場合、データベースサーバ１５１４は、データストレージ１５１２からデータベースサーバ１５１４のメモリにファイルをフェッチし得る。次いで、データベースサーバ１５１４は、特定のキーを有するデータベース記録について、フェッチされたファイルをチェックし得る。様々な実施形態では、データベース記録は、一旦データストレージ１５１２に書き込まれると不変である。したがって、データベースサーバ１５１４が、（アクセスされたデータベース記録から識別され得る）テーブルの行の値を修正したいと望む場合、データベースサーバ１５１４は、新しいデータベース記録をＬＳＭツリーのトップレベルに書き出す。時間の経過とともに、そのデータベース記録は、ＬＳＭツリーのレベルの下にマージされる。したがって、ＬＳＭツリーは、データベースキーについての様々なデータベース記録を格納し得、そのキーについてのより古いデータベース記録は、より新しいデータベース記録よりもＬＳＭツリーのより低いレベルに位置する。

【0118】

データベースサーバ１５１４は、様々な実施形態では、データ格納、データ読み出し、および／またはデータ操作などのデータベースサービスを提供することが可能なハードウェア要素、ソフトウェアルーチン、またはそれらの組み合わせである。データベースサーバ１５１４は、データベースノード１２０に対応し得る。そのようなデータベースサービスは、データベースサーバ１５１４によって、ＭＴＳ１５００内の構成要素（例えば、アプリケーションサーバ１５２２）およびＭＴＳ１５００の外部の構成要素に提供され得る。一例として、データベースサーバ１５１４は、データストレージ１５１２へのデータの書き込みまたは読み出しを要求しているアプリケーションサーバ１５２２からデータベーストランザクション要求を受信し得る。データベーストランザクション要求は、ＳＱＬ ＳＥＬＥＣＴコマンドを指定して、１つまたは複数のデータベーステーブルから１つまたは複数の行を選択し得る。行のコンテンツは、データベース記録において定義され得、したがって、データベースサーバ１５１４は、選択された１つまたは複数のテーブル行に対応する１つまたは複数のデータベース記録を位置特定し、返し得る。様々な場合において、データベーストランザクション要求は、ＬＳＭツリーのための１つまたは複数のデータベース記録を書き込むようにデータベースサーバ１５１４に命令し得、データベースサーバ１５１４は、データベースプラットフォーム１５１０上に実装されたＬＳＭツリーを保持する。いくつかの実施形態では、データベースサーバ１５１４は、データストレージ１５１２に対する情報の格納および取り出しを容易にするリレーショナルデータベース管理システム（ＲＤＭＳ）またはオブジェクト指向データベース管理システム（ＯＯＤＢＭＳ）を実装する。様々な場合において、データベースサーバ１５１４は、トランザクションの処理を容易にするために互いに通信し得る。例えば、データベースサーバ１５１４Ａは、データベースサーバ１５１４Ｎと通信して、データベースサーバ１５１４Ｎが特定のキーについてそのインメモリバッファにデータベース記録を書き込んだかどうかを決定し得る。

【0119】

アプリケーションプラットフォーム１５２０は、様々な実施形態では、ＣＲＭソフトウェアアプリケーションを実装および実行するとともに、関連データ、コード、フォーム、ウェブページ、および他の情報をユーザシステム１５５０との間で提供し、データベースプラットフォーム１５１０を介して、関連データ、オブジェクト、ウェブページコンテンツ、および他のテナント情報を格納するハードウェア要素およびソフトウェアルーチンの組み合わせである。これらのサービスを容易にするために、様々な実施形態では、アプリケーションプラットフォーム１５２０は、データベースプラットフォーム１５１０と通信して、データを格納、アクセス、および操作する。いくつかの事例では、アプリケーションプラットフォーム１５２０は、異なるネットワーク接続を介してデータベースプラットフォーム１５１０と通信し得る。例えば、あるアプリケーションサーバ１５２２は、ローカルエリアネットワークを介して結合され得、別のアプリケーションサーバ１５２２は、直接ネットワークリンクを介して結合され得る。ＴＣＰ／ＩＰ（Transfer Control Protocol and Internet Protocol）は、アプリケーションプラットフォーム１５２０とデータベースプラットフォーム１５１０との間で通信するための例示的なプロトコルであるが、使用されるネットワーク相互接続に応じて他のトランスポートプロトコルが使用され得ることは当業者には明らかであろう。

【0120】

アプリケーションサーバ１５２２は、様々な実施形態では、ＭＴＳ１５００のテナントから受信した要求を処理することを含む、アプリケーションプラットフォーム１５２０のサービスを提供することが可能なハードウェア要素、ソフトウェアルーチン、またはそれらの組み合わせである。アプリケーションサーバ１５２２は、様々な実施形態では、開発者がアプリケーション（例えば、ビジネスロジック）を開発、実行、および管理するための機能を提供するなど、様々な目的のために使用可能な環境１５２４を生み出すことができる。データは、別の環境１５２４および／またはデータベースプラットフォーム１５１０から環境１５２４に転送され得る。場合によっては、環境１５２４は、他の環境１５２４からのデータが明示的に共有されない限り、そのようなデータにアクセスすることができない。いくつかの実施形態では、複数の環境１５２４を単一のテナントに関連付けることができる。

【0121】

アプリケーションプラットフォーム１５２０は、ＣＲＭアプリケーションおよび／またはテナントによって開発されたアプリケーションを含む、複数の異なるホストされた（標準および／またはカスタム）アプリケーションへのアクセスをユーザシステム１５５０に提供し得る。様々な実施形態では、アプリケーションプラットフォーム１５２０は、アプリケーションの作成、アプリケーションの試験、データストレージ１５１２におけるデータベースオブジェクトへのアプリケーションの格納、環境１５２４（例えば、プロセススペースの仮想マシン）におけるアプリケーションの実行、またはそれらの任意の組み合わせを管理し得る。いくつかの実施形態では、アプリケーションプラットフォーム１５２０は、任意の理由でいつでもサーバプールからアプリケーションサーバ１５２２を追加および除去し得、特定のアプリケーションサーバ１５２２に対するユーザおよび／または組織のサーバ親和性はなくてもよい。いくつかの実施形態では、負荷分散機能（例えば、Ｆ５Ｂｉｇ－ＩＰ負荷分散器）を実装するインターフェースシステム（図示せず）が、アプリケーションサーバ１５２２とユーザシステム１５５０との間に位置し、要求をアプリケーションサーバ１５２２に分配するように構成される。いくつかの実施形態では、負荷分散器は、最小接続アルゴリズムを使用して、ユーザ要求をアプリケーションサーバ１５２２にルーティングする。ラウンドロビンおよび観測された応答時間など、負荷分散アルゴリズムの他の例も使用され得る。例えば、特定の実施形態では、同じユーザからの３つの連続した要求が３つの異なるサーバ１５２２にヒットすることもあれば、異なるユーザからの３つの要求が同じサーバ１５２２にヒットすることもある。

【0122】

いくつかの実施形態では、ＭＴＳ１５００は、データが共有されない限り、各テナントのデータを別個に保つために、暗号化などのセキュリティ機構を提供する。２つ以上のサーバ１５１４または１５２２が使用される場合、互いに近接して（例えば、単一の建物またはキャンパスに位置するサーバファーム内に）位置してもよいし、互いから離れた場所に分散されていてもよい（例えば、１つまたは複数のサーバ１５１４が都市Ａに位置し、１つまたは複数のサーバ１５２２が都市Ｂに位置する）。したがって、ＭＴＳ１５００は、ローカルに、または１つもしくは複数の地理的ロケーションにわたって分散された、１つまたは複数の論理的および／または物理的に接続されたサーバを含み得る。

【0123】

１人または複数のユーザは（例えば、ユーザシステム１５５０を介する）、ネットワーク１５４０を介してＭＴＳ１５００と対話し得る。ユーザシステム１５５０は、例えば、ＭＴＳ１５００のテナント、ＭＴＳ１５００のプロバイダ（例えば、管理者）、または第三者に対応し得る。各ユーザシステム１５５０は、デスクトップパーソナルコンピュータ、ワークステーション、ラップトップ、ＰＤＡ、携帯電話、または任意のワイヤレスアクセスプロトコル（ＷＡＰ）対応デバイス、またはインターネットもしくは他のネットワーク接続に直接もしくは間接的にインターフェースすることが可能な任意の他のコンピューティングデバイスであり得る。ユーザシステム１５５０は、ネットワーク１５４０を介してＭＴＳ１５００とインターフェースするように構成された専用ハードウェアを含み得る。ユーザシステム１５５０は、ＭＴＳ１５００に対応するグラフィカルユーザインターフェース（ＧＵＩ）、ＨＴＴＰクライアント（例えば、MicrosoftのInternet Explorer（登録商標）ブラウザ、NetscapeのNavigator（登録商標）ブラウザ、Ｏｐｅｒａのブラウザ、または携帯電話、ＰＤＡもしくは他のワイヤレスデバイスの場合のＷＡＰ対応ブラウザなどのブラウジングプログラムなど）、またはその両方を実行して、ユーザシステム１５５０のユーザ（例えば、ＣＲＭシステムの加入者）が、ネットワーク１５４０を介してＭＴＳ１５００から利用可能な情報およびページにアクセスし、処理し、閲覧することを可能にし得る。各ユーザシステム１５５０は、ＭＴＳ１５００または他のシステムもしくはサーバによって提供されるページ、フォーム、および他の情報とともに、ディスプレイモニタスクリーン、ＬＣＤディスプレイなどの上のブラウザによって提供されるグラフィカルユーザインターフェース（ＧＵＩ）と対話するための、キーボード、マウス、タッチスクリーン、ペンなどの１つまたは複数のユーザインターフェースデバイスを含み得る。上述したように、開示される実施形態は、ネットワークの特定のグローバルインターネットワークを指すインターネットとともに使用するのに適している。しかしながら、インターネットの代わりに、イントラネット、エクストラネット、仮想私設網（ＶＰＮ）、非ＴＣＰ／ＩＰベースのネットワーク、任意のＬＡＮまたはＷＡＮなどの他のネットワークが使用され得ることは理解されたい。

【0124】

ユーザシステム１５５０のユーザは、異なる能力のユーザであり得るので、特定のユーザシステム１５５０の能力は、現在のユーザに関連付けられた１つまたは複数の許可レベルで決定され得る。例えば、販売員が、特定のユーザシステム１５５０を使用してＭＴＳ１５００と対話しているとき、そのユーザシステム１５５０は、その販売員に割り当てられた能力（例えば、ユーザ権限）を有し得る。しかしながら、管理者が、同じユーザシステム１５５０を使用してＭＴＳ１５００と対話している場合、ユーザシステム１５５０は、その管理者に割り当てられた能力（例えば、管理者権限）を有し得る。階層的な役割モデルを有するシステムでは、ある許可レベルのユーザは、より低い許可レベルのユーザによってアクセス可能なアプリケーション、データ、およびデータベース情報にアクセスすることができるが、より高い許可レベルのユーザによってアクセス可能な特定のアプリケーション、データベース情報、およびデータにアクセスすることができない。したがって、異なるユーザは、ユーザのセキュリティまたは許可レベルに応じて、アプリケーションおよびデータベース情報へのアクセスおよび修正に関して異なる能力を有し得る。ＭＴＳ１５００によって管理されるデータ構造には、テナントレベルで割り当てられるもあれば、ユーザレベルで管理されるデータ構造もある。

【0125】

いくつかの実施形態では、ユーザシステム１５５０およびその構成要素は、１つまたは複数の処理要素上で実行可能なコンピュータコードを含む、ブラウザなどのアプリケーションを使用して構成可能である。同様に、いくつかの実施形態では、ＭＴＳ１５００（および２つ以上が存在する場合には、ＭＴＳの追加のインスタンス）およびそれらの構成要素は、処理要素上で実行可能なコンピュータコードを含むアプリケーション（複数可）を使用してオペレータが構成可能である。したがって、本明細書で説明される様々な動作は、非一時的コンピュータ可読媒体に格納され、処理要素によって実行されるプログラム命令を実行することによって実行され得る。プログラム命令は、ハードディスクなどの不揮発性媒体に格納され得るか、ＲＯＭまたはＲＡＭなど、周知のように、任意の他の揮発性または非揮発性メモリ媒体またはデバイスに格納され得るか、またはコンパクトディスク（ＣＤ）媒体、デジタル多用途ディスク（ＤＶＤ）媒体、フロッピー（登録商標）ディスクなどのプログラムコードを格納することができる任意の媒体に提供され得る。追加的に、プログラムコード全体またはその一部は、周知のように、例えば、インターネットを経由して、または別のサーバから、ソフトウェアソースから送信およびダウンロードされ得るか、または周知のように、任意の通信媒体およびプロトコル（例えば、ＴＣＰ／ＩＰ、ＨＴＴＰ、ＨＴＴＰＳ、イーサネット（登録商標）など）を使用して、周知のように、任意の他の従来のネットワーク接続（例えば、エクストラネット、ＶＰＮ、ＬＡＮなど）を経由して送信され得る。開示される実施形態の態様を実装するためのコンピュータコードは、例えば、Ｃ、Ｃ＋、ＨＴＭＬ、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、またはＶＢＳｃｒｉｐｔなどの任意の他のスクリプト言語など、サーバまたはサーバシステム上で実行され得る任意のプログラミング言語で実装され得ることも理解されよう。

【0126】

ネットワーク１５４０は、ＬＡＮ（ローカルエリアネットワーク）、ＷＡＮ（ワイドエリアネットワーク）、ワイヤレスネットワーク、ポイントツーポイントネットワーク、スター型ネットワーク、トークンリングネットワーク、ハブネットワーク、または任意の他の適切な構成であり得る。ネットワークのグローバルインターネットワークは、「Ｉ」が大文字で「Internet（インターネット）」と呼ばれることがあり、ＴＣＰ／ＩＰ（Transfer Control Protocol and Internet Protocol）ネットワークの一例である。しかしながら、開示される実施形態が、様々な他のタイプのネットワークのいずれかを利用し得ることは理解されたい。

【0127】

ユーザシステム１５５０は、ＴＣＰ／ＩＰを使用してＭＴＳ１５００と通信し、より高いネットワークレベルでは、ＨＴＴＰ、ＦＴＰ、ＡＦＳ、ＷＡＰなどの他の一般的なインターネットプロトコルを使用して通信し得る。例えば、ＨＴＴＰが使用される場合、ユーザシステム１５５０は、ＭＴＳ１５００におけるＨＴＴＰサーバからＨＴＴＰメッセージを送受信するための、一般に「ブラウザ」と呼ばれるＨＴＴＰクライアントを含み得る。そのようなサーバは、ＭＴＳ１５００とネットワーク１５４０との間の唯一のネットワークインターフェースとして実装され得るが、他の技法が同様にまたは代わりに使用され得る。いくつかの実装形態では、ＭＴＳ１５００とネットワーク１５４０との間のインターフェースは、負荷を平衡させ、着信ＨＴＴＰ要求を複数のサーバにわたって均等に分配するために、ラウンドロビンＨＴＴＰ要求分配器などの負荷共有機能を含む。

【0128】

様々な実施形態では、ユーザシステム１５５０は、アプリケーションサーバ１５２２と通信して、データストレージ１５１２への１つまたは複数のクエリを必要とし得るシステムレベルおよびテナントレベルのデータをＭＴＳ１５００に要求して更新する。いくつかの実施形態では、ＭＴＳ１５００は、所望の情報にアクセスするように設計された１つまたは複数のＳＱＬステートメント（ＳＱＬクエリ）を自動的に生成する。場合によっては、ユーザシステム１５５０は、ＭＴＳ１５００の少なくとも一部に対応する特定のフォーマットを有する要求を生成し得る。一例として、ユーザシステム１５５０は、指定された複数のオブジェクトのオブジェクト関係マッピング（例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）オブジェクト表記マッピング）を記述するオブジェクト表記を使用して、データオブジェクトを特定の環境に移動させるように要求し得る。
例示的なコンピュータシステム

【0129】

次に図１６を参照すると、クラウド環境１００、クラウドベースのサービス１０５、データベースノード１２０、ストレージキャッシュ１３０、ログストレージ１４０、共有オブジェクトストレージ１５０、クラスタマネジャ１６０、ＭＴＳ１５００、および／またはユーザシステム１５５０を実装し得る、例示的なコンピュータシステム１６００のブロック図が示される。コンピュータシステム１６００は、相互接続１６６０（例えば、システムバス）を介してシステムメモリ１６２０およびＩ／Ｏインターフェース（複数可）１６４０に結合されたプロセッササブシステム１６８０を含む。Ｉ／Ｏインターフェース（複数可）１６４０は、１つまたは複数のＩ／Ｏデバイス１６５０に結合される。便宜上、図１６には単一のコンピュータシステム１６００が示されているが、システム１６００は、一緒に動作する２つ以上のコンピュータシステムとして実装されてもよい。

【0130】

プロセッササブシステム１６８０は、１つまたは複数のプロセッサまたは処理ユニットを含み得る。コンピュータシステム１６００の様々な実施形態では、プロセッササブシステム１６８０の複数のインスタンスが相互接続１６６０に結合され得る。様々な実施形態では、プロセッササブシステム１６８０（または１６８０内の各プロセッサユニット）は、キャッシュまたは他の形態のオンボードメモリを含み得る。

【0131】

システムメモリ１６２０は、システム１６００に、本明細書で説明される様々な動作を実行させるために、プロセッササブシステム１６８０によって実行可能なプログラム命令を格納するのに使用可能である。システムメモリ１６２０は、ハードディスクストレージ、フロッピー（登録商標）ディスクストレージ、取外し可能なディスクストレージ、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ－ＳＲＡＭ、ＥＤＯ ＲＡＭ、ＳＤＲＡＭ、ＤＤＲ ＳＤＲＡＭ、ＲＡＭＢＵＳ ＲＡＭなど）、読取り専用メモリ（ＰＲＯＭ、ＥＥＰＲＯＭなど）など、異なる物理メモリ媒体を使用して実装され得る。コンピュータシステム１６００内のメモリは、メモリ１６２０などのプライマリストレージに限定されない。むしろ、コンピュータシステム１６００は、プロセッササブシステム１６８０内のキャッシュメモリおよびＩ／Ｏデバイス１６５０上のセカンダリストレージ（例えば、ハードドライブ、ストレージアレイなど）などの他の形態のストレージも含み得る。いくつかの実施形態では、これらの他の形態のストレージはまた、プロセッササブシステム１６８０によって実行可能なプログラム命令を格納し得る。

【0132】

Ｉ／Ｏインターフェース１６４０は、様々な実施形態によれば、他のデバイスに結合し、他のデバイスと通信するように構成された様々なタイプのインターフェースのいずれかであり得る。一実施形態では、Ｉ／Ｏインターフェース１６４０は、フロントサイドから１つまたは複数のバックサイドバスへのブリッジチップ（例えば、サウスブリッジ）である。Ｉ／Ｏインターフェース１６４０は、１つまたは複数の対応するバスまたは他のインターフェースを介して１つまたは複数のＩ／Ｏデバイス１６５０に結合され得る。Ｉ／Ｏデバイス１６５０の例には、ストレージデバイス（ハードドライブ、光学ドライブ、リムーバブルフラッシュドライブ、ストレージアレイ、ＳＡＮ、またはそれらの関連するコントローラ）、（例えば、ローカルまたはワイドエリアネットワークへの）ネットワークインターフェースデバイス、または他のデバイス（例えば、グラフィックス、ユーザインターフェースデバイスなど）が含まれる。一実施形態では、コンピュータシステム１６００は、（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）などを介して通信するように構成された）ネットワークインターフェースデバイス１６５０を介してネットワークに結合される。

【0133】

本開示は、開示された概念の非限定的な実装である「実施形態」への言及を含む。「一実施形態（an embodiment）」、「一実施形態（one embodiment）」、「特定の実施形態（a particular embodiment）」、「いくつかの実施形態（some embodiments）」、「様々な実施形態（various embodiments）」などへの言及は、必ずしも同じ実施形態を指すとは限らない。詳細に説明される特定の実施形態、ならびに本開示の趣旨または範囲内に入る修正形態または代替形態を含む、多数の可能な実施形態が企図される。すべての実施形態が、本明細書で説明される潜在的な利点のいずれかまたはすべてを必ずしも明示するわけではない。

【0134】

本開示は、「ある実施形態（an embodiment）」または「実施形態（embodiments）」のグループ（例えば、「いくつかの実施形態」または「様々な実施形態」）への言及を含む。実施形態は、開示された概念の異なる実装形態またはインスタンスである。「一実施形態（an embodiment）」、「一実施形態（one embodiment）」、「特定の実施形態（a particular embodiment）」などへの言及は、必ずしも同じ実施形態を指すとは限らない。具体的に開示されたもの、ならびに本開示の趣旨または範囲内に入る修正形態または代替形態を含む、多数の可能な実施形態が企図される。

【0135】

本開示は、開示された実施形態から生じる可能性のある潜在的な利点を説明し得る。これらの実施形態のすべての実装形態が、潜在的な利点のいずれかまたはすべてを必ずしも明示するわけではない。特定の実装形態について利点が実現されるかどうかは、多くの要因に依存し、それらのいくつかは本開示の範囲外である。実際に、特許請求の範囲に含まれる実装形態が、開示された利点の一部または全部を示さないことがあるのには、いくつかの理由がある。例えば、特定の実装形態は、開示される実施形態のうちの１つと併せて、開示される利点のうちの１つまたは複数を無効にするか、または減少させる、本開示の範囲外の他の構成要素を含み得る。さらに、特定の実装形態（例えば、実装技法またはツール）の準最適な設計実行も、開示された利点を無効にするかまたは減少させる可能性がある。熟練した実装を想定しても、利点の実現は、依然として、実装が展開される環境状況などの他の要因に依存し得る。例えば、特定の実装形態に供給される入力は、本開示で対処される１つまたは複数の問題が特定の場合に発生することを防止し得、その結果、その解決策の利益が実現されない可能性がある。本開示の外部の可能な要因の存在を考慮すると、本明細書で説明される任意の潜在的な利点は、侵害を実証するために満たされなければならない特許請求の範囲の限定として解釈されるべきではないことが明確に意図される。むしろ、そのような潜在的な利点の識別は、本開示の利益を有する設計者に利用可能な改善のタイプ（複数可）を例示することを意図するものである。そのような利点が許容的に説明される（例えば、特定の利点が「生じ得る」と記述している）のは、そのような利点が実際に実現され得るかどうかについての疑いを伝えることを意図するものではなく、むしろ、そのような利点の実現がしばしば追加の要因に依存するという技術的現実を認識することを意図するものである。

【0136】

別段の記載がない限り、実施形態は非限定的である。すなわち、開示される実施形態は、特定の特徴に関して単一の例のみが説明されている場合であっても、本開示に基づいて起草される特許請求の範囲を限定することを意図するものではない。開示された実施形態は、本開示に反対の記述がない限り、制限的ではなく例示的であることを意図している。したがって、本出願は、開示された実施形態、ならびに本開示の利益を有する当業者には明らかであろうそのような代替形態、修正形態、および同等物を包含する特許請求の範囲を可能にすることを意図している。

【0137】

例えば、本出願における特徴は、任意の適切な方法で組み合わされ得る。したがって、本出願（またはそれに対する優先権を主張する出願）の手続き中に、特徴の任意のそのような組み合わせに対して新しい請求項が作成され得る。特に、添付の特許請求の範囲を参照すると、従属請求項からの特徴は、必要に応じて、他の独立請求項に従属する請求項を含む他の従属請求項の特徴と組み合わされ得る。同様に、それぞれの独立請求項からの特徴は、必要に応じて組み合わされ得る。

【0138】

したがって、添付の従属請求項は、各々が単一の他の請求項に従属するように起草され得るが、追加の従属性も企図される。本開示と一致する従属項における特徴の任意の組み合わせが企図され、本出願または別の出願において特許請求され得る。要するに、組み合わせは、添付の特許請求の範囲に具体的に列挙されたものに限定されない。

【0139】

必要に応じて、１つの形式または法定タイプ（例えば、装置）で起草された請求項は、別の形式または法定タイプ（例えば、方法）の対応する請求項をサポートすることを意図していることも企図される。

【0140】

本開示は法的文書であるため、様々な用語およびフレーズは、行政上および司法上の解釈の対象となり得る。以下の段落、ならびに本開示全体を通して提供される定義が、本開示に基づいて起草される特許請求の範囲をどのように解釈するかを決定する際に使用されるべきであるという公示が、本明細書によって与えられる。

【0141】

単数形の項目（すなわち、「a」、「an」、または「the」が先行する名詞または名詞句）への言及は、文脈が別途明確に指示しない限り、「１つまたは複数（one or more）」を意味することを意図している。したがって、特許請求の範囲における「ある品目（an item）」への言及は、付随する文脈がなければ、その品目の追加的な事例を排除するものではない。「複数の（plurality）」項目は、その項目の２つ以上からなるセットを指す。

【0142】

「～し得る（may）」という単語は、本明細書では、許容的な意味（すなわち、可能性を有する、可能である）で使用され、強制的な意味（すなわち、しなければならない）では使用されない。

【0143】

「備える／含む（comprising）」および「含む（including）」という用語、ならびにその形態は、オープンエンドであり、「含むが、これらに限定されない」を意味する。

【0144】

「または」という用語が、選択肢のリストに関して本開示で使用されるとき、それは、概して、文脈が別様に提供しない限り、包括的な意味で使用されることが理解されよう。したがって、「ｘまたはｙ」という記載は、「ｘもしくはｙ、または両方」と同等であり、したがって、１）ｙではなくｘ、２）ｘではなくｙ、および３）ｘおよびｙの両方を包含する。一方、「ｘまたはｙのいずれかであるが、両方ではない」などのフレーズは、「または」が排他的な意味で使用されていることを明らかにする。

【0145】

「ｗ、ｘ、ｙ、もしくはｚ、またはそれらの任意の組み合わせ」または「…ｗ、ｘ、ｙ、およびｚのうちの少なくとも１つ」という記載は、集合中の単一の要素から要素の総数までを伴うすべての可能性を包含することを意図している。例えば、集合［ｗ，ｘ，ｙ，ｚ］が与えられると、これらの言い回しは、集合の任意の単一の要素（例えば、ｗであるが、ｘ、ｙ、またはｚではない）、任意の２つの要素（例えば、ｗおよびｘであるが、ｙまたはｚではない）、任意の３つの要素（例えば、ｗ、ｘ、およびｙであるが、ｚではない）、および４つすべての要素を包含する。したがって、「…ｗ、ｘ、ｙ、およびｚのうちの少なくとも１つ」というフレーズは、集合［ｗ，ｘ，ｙ，ｚ］の少なくとも１つの要素を指し、それによって、この要素の集合中のすべての可能な組み合わせを包含する。このフレーズは、ｗの少なくとも１つの例、ｘの少なくとも１つの例、ｙの少なくとも１つの例、およびｚの少なくとも１つの例が存在することを必要とすると解釈されるべきではない。

【0146】

本開示では、様々な「ラベル」が名詞または名詞句に先行し得る。文脈により別段の定めがない限り、特徴のために使用される異なるラベル（例えば、「第１のデータベースノード」、「第２のデータベースノード」、「特定のデータベースノード」、「所与のデータベースノード」など）は、特徴の異なるインスタンスを指す。追加的に、「第１の」、「第２の」、および「第３の」というラベルは、特徴に適用されるとき、別段の記載がない限り、いかなるタイプの順序付け（例えば、スペース的、時間的、論理的など）も暗示しない。

【0147】

「～に基づく」というフレーズは、決定に影響を与える１つまたは複数の要因を説明するために使用される。この用語は、追加の要因が決定に影響を与える可能性を排除するものではない。すなわち、決定は、指定された要因のみに基づいてもよいし、指定された要因および他の指定されていない要因に基づいていてもよい。「Ｂに基づいてＡを決定する」というフレーズを考える。このフレーズは、Ｂが、Ａを決定するために使用されるか、またはＡの決定に影響を与える要因であることを指定する。このフレーズは、Ａの決定がＣのような何らかの他の要因にも基づき得ることを排除するものではない。このフレーズはまた、ＡがＢのみに基づいて決定される実施形態を包含することが意図される。本明細書で使用される場合、「～に基づく」というフレーズは、「～に少なくとも部分的に基づく」というフレーズと同義である。

【0148】

「～に応答して（in response to）」および「～に応答して（responsive to）」というフレーズは、効果を引き起こす１つまたは複数の要因を説明する。このフレーズは、追加の要因が、指定された要因と共同して、または指定された要因から独立して、効果に影響を与えるか、または他の方法で効果をトリガし得る可能性を排除するものではない。すなわち、効果は、これらの要因のみに応答し得るか、または指定された要因および他の指定されていない要因に応答し得る。「Ｂに応答してＡを実行する」というフレーズを考える。このフレーズは、Ｂが、Ａの実行をトリガする、またはＡの特定の結果をトリガする要因であることを指定する。このフレーズは、Ａを実行することが、Ｃなどの何らかの他の要因にも応答し得ることを排除するものではない。このフレーズはまた、Ａを実行することがＢおよびＣに共同で応答し得ることを排除するものではない。このフレーズはまた、ＡがＢのみに応答して実行される実施形態を包含することが意図される。本明細書で使用される場合、「～に応答して」というフレーズは、「～に少なくとも部分的に応答して（responsive at least in part to）」というフレーズと同義である。同様に、「～に応答して（in response to）」というフレーズは、「～に少なくとも部分的に応答して」というフレーズと同義である。

【0149】

本開示内で、異なるエンティティ（「ユニット」、「ノード」、他の構成要素などと様々に呼ばれることがある）は、１つまたは複数のタスクまたは動作を実行するように「構成される（configured）」ものとして説明または請求され得る。この定式化－［１つまたは複数のタスクを実行する］ように構成された［エンティティ］－は、本明細書では、構造（すなわち、何か物理的なもの）を指すために使用される。より具体的には、この定式化は、この構造が動作中に１つまたは複数のタスクを実行するように配置されることを示すために使用される。構造は、その構造が現在動作していない場合であっても、何らかのタスクを実行する「ように構成される（configured to）」と言うことができる。したがって、何らかのタスクを実行する「ように構成される」ものとして説明または記載されるエンティティは、デバイス、ノード、タスクを実施するために実行可能なプログラム命令を格納するメモリとプロセッサユニットとを有するシステムなど、何か物理的なものを指す。このフレーズは、本明細書では、無形のものを指すために使用されない。

【0150】

場合によっては、様々なユニット／ノード／構成要素が、タスクまたは動作のセットを実行するものとして本明細書で説明され得る。それらのエンティティは、特に明記されていなくても、それらのタスク／動作を実行する「ように構成される」ことが理解される。

【0151】

「ように構成される」という用語は、「ように構成可能である（configurable to）」を意味することを意図するものではない。例えば、プログラムされていないＦＰＧＡは、特定の機能を実行する「ように構成されている」とはみなされない。しかしながら、このプログラムされていないＦＰＧＡは、その機能を実行するように「構成可能」であり得る。適切なプログラミングの後、ＦＰＧＡは、特定の機能を実行するように「構成されている」と言うことができる。

【0152】

本開示に基づく米国特許出願の目的のために、構造が１つまたは複数のタスクを実行する「ように構成される」という請求項における記載は、その請求項の要素に対して米国特許法１１２条（ｆ）を行使しないことを明示的に意図するものである。出願人が、本開示に基づく米国特許出願の手続き中に１１２条（ｆ）行使することを望む場合、［機能を実行する］「ための手段］という構成を使用して請求項の要素を記載する。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【国際調査報告】