知財求人 - 知財ポータルサイト「IP Force」
▶ セールスフォース ドット コム インコーポレイティッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-07
(45)【発行日】2024-03-15
(54)【発明の名称】確率的データ構造を使用した要求の低減
(51)【国際特許分類】
G06F 16/23 20190101AFI20240308BHJP
【ＦＩ】
G06F16/23
【請求項の数】
11
(21)【出願番号】P 2022546342
(86)(22)【出願日】2021-01-15
(65)【公表番号】
(43)【公表日】2023-03-22
(86)【国際出願番号】 US2021013623
(87)【国際公開番号】W WO2021154516
(87)【国際公開日】2021-08-05
【審査請求日】2022-07-29
(31)【優先権主張番号】16/777,870
(32)【優先日】2020-01-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】506332063
【氏名又は名称】セールスフォース インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】アグラワル，アティッシュ
(72)【発明者】
【氏名】マーティン，ジャメイソン ベアー
【審査官】松尾 真人
(56)【参考文献】
【文献】米国特許出願公開第２００８／０１５５２２９（ＵＳ，Ａ１）
【文献】Tao ZHU et al.，Fault-tolerant precise data access on distributed log-structured merge-tree，Frontiers of Computer Science，中国，Higher Education Press，2019年，Vol.13, No.4，pp.760-777，Internet<https://doi.org/10.1007/s11704-018-7198-6>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
(57)【特許請求の範囲】
【請求項1】
第１データベースノードによって、データベースレコードのセットを前記第１データベースノードのインメモリキャッシュに書き込むことを伴う、データベーストランザクションを処理するステップであって、該処理するステップは、前記データベースレコードのセットに対応するデータベースキーのセットを確率的データ構造のセットのうちの特定の確率的データ構造に挿入することを含み、前記特定の確率的データ構造は、前記データベーストランザクションのトランザクションコミット番号（ＸＣＮ）に関連付けられ、前記データベースキーのセットのうちの所与のデータベースキーを前記特定の確率的データ構造に挿入することは、
ハッシュ関数を前記所与のデータベースキーに適用して、前記特定の確率的データ構造に含まれる複数のキャッシュラインのうちの特定のキャッシュラインを識別することと、
ハッシュ値のセットに基づいて前記特定のキャッシュラインのビットのセットを設定することによって、前記所与のデータベースキーを前記特定のキャッシュラインに挿入することと、
を含む、ステップと、
前記第１データベースノードによって、第２データベースノードから、特定のデータベースキーに関連付けられるデータベースレコードの最新のバージョンを求める要求を受け取るステップであって、前記要求は、前記第２データベースノードに関連付けられるＸＣＮを指定する、ステップと、
前記第１データベースノードによって、前記第２データベースノードに、前記確率的データ構造のセットうち、前記第２データベースノードに関連付けられる前記ＸＣＮより後の時点を示すＸＣＮを有する確率的データ構造のみを含む、前記要求に対する応答を送信するステップであって、送信されるデータ構造は、前記第１データベースノードからデータベースキーに関連付けられるデータベースレコードを要求するかどうかを前記第２データベースノードが判断することを可能にする、ステップと、
を含む、方法。
【請求項2】
前記所与のデータベースキーを前記特定のキャッシュラインに挿入することは、前記第１データベースノードによって、ハッシュ関数のセットを前記所与のデータベースキーに適用して、前記ハッシュ値のセットを導出すること
を含む、請求項１に記載の方法。
【請求項3】
前記データベースキーのセットを挿入することは、前記特定の確率的データ構造が、定義された閾値数のデータベースキーを含んでいることに応答して、前記第１データベースノードが、前記データベースキーのセットのうちの残りのデータベースキーを前記確率的データ構造のセットのうちの別の特定の確率的データ構造に挿入することと、
を含む、請求項１又は２に記載の方法。
【請求項4】
前記特定の確率的データ構造は、該特定の確率的データ構造にデータベースキーが挿入されたアクティブトランザクションの数を示すメタデータに関連付けられ、当該方法は、前記第１データベースノードによって、前記アクティブトランザクションの数が、前記特定の確率的データ構造についてアクティブトランザクションが存在することを示すかどうかに基づいて、前記特定の確率的データ構造をパージするかどうかを判断するステップ、
を更に含む、請求項１乃至３のいずれか一項に記載の方法。
【請求項5】
前記確率的データ構造のセットのうちの少なくとも２つの確率的データ構造は各々、前記データベーストランザクションを処理することの一部として挿入されるそれぞれのデータベースキーを含み、当該方法は、前記インメモリキャッシュに関連して前記データベーストランザクションをコミットすることに応答して、前記第１データベースノードが、前記少なくとも２つの確率的データ構造の各々について、その確率的データ構造に関連付けられる前記アクティブトランザクションの数をデクリメントするステップ、
を更に含む、請求項４に記載の方法。
【請求項6】
前記第１データベースノードによって、前記インメモリキャッシュから、前記第１データベースノードと前記第２データベースノードとの間で共有される永続的ストレージに、前記データベースレコードのセットのうちの１つ以上のデータベースレコードを書き込むステップと、前記書き込むステップに応答して、前記第１データベースノードが、前記確率的データ構造のセットのうちの所与の確率的データ構造をパージするかどうかを判断するステップと、
を更に含む、請求項１乃至５のいずれか一項に記載の方法。
【請求項7】
前記確率的データ構造のセットのうちの少なくとも１つの確率的データ構造は、複数の異なるトランザクションからのデータベースキーに関連付けられる、請求項１乃至６のいずれか一項に記載の方法。
【請求項8】
コンピュータシステムであって、少なくとも１つのプロセッサと、
請求項１乃至７のいずれか一項に記載の方法を実行するために前記少なくとも１つのプロセッサによって実行可能であるプログラム命令を有するメモリと、
を含む、コンピュータシステム。
【請求項9】
第１コンピュータシステムに、データベースレコードのセットを前記第１コンピュータシステムのインメモリキャッシュに書き込むことを伴う、データベーストランザクションを処理するステップであって、該処理するステップは、前記データベースレコードのセットに対応するデータベースキーのセットを確率的データ構造のセットのうちの特定の確率的データ構造に挿入することを含み、前記特定の確率的データ構造は、前記データベーストランザクションのトランザクションコミット番号（ＸＣＮ）に関連付けられ、前記データベースキーのセットのうちの所与のデータベースキーを前記特定の確率的データ構造に挿入することは、
ハッシュ関数を前記所与のデータベースキーに適用して、前記特定の確率的データ構造に含まれる複数のキャッシュラインのうちの特定のキャッシュラインを識別することと、
ハッシュ値のセットに基づいて前記特定のキャッシュラインのビットのセットを設定することによって、前記所与のデータベースキーを前記特定のキャッシュラインに挿入することと、
を含む、ステップと、
第２コンピュータシステムから、特定のデータベースキーに関連付けられるデータベースレコードの最新のバージョンを求める要求を受け取るステップであって、前記要求は、前記第２コンピュータシステムに関連付けられるＸＣＮを指定する、ステップと、
前記第２コンピュータシステムに、前記確率的データ構造のセットうち、前記第２コンピュータシステムに関連付けられる前記ＸＣＮより後の時点を示すＸＣＮを有する確率的データ構造のみを含む、前記要求に対する応答を送信するステップであって、送信されるデータ構造は、前記第１コンピュータシステムから特定のデータベースキーに関連付けられるデータベースレコードを要求するかどうかを前記第２コンピュータシステムが判断することを可能にする、ステップと、
を含む動作を実行させることができるプログラム命令を有する、コンピュータ読取可能媒体。
【請求項10】
前記データベースキーのセットを挿入することは、前記特定の確率的データ構造の閾値数に到達した後に、前記データベースキーのセットのうちの他のデータベースキーを、前記確率的データ構造のセットのうちの別の特定の確率的データ構造に挿入することと、
を含む、請求項９に記載のコンピュータ読取可能媒体。
【請求項11】
前記特定の確率的データ構造は、該特定の確率的データ構造にデータベースキーが挿入されたアクティブトランザクションの数を示すアクティブトランザクションカウントを指定するメタデータを含み、前記動作は、
前記データベーストランザクションをコミットすることに応答して、前記特定の確率的データ構造の前記アクティブトランザクションの数をデクリメントするステップ、
を更に含む、請求項９又は１０に記載のコンピュータ読取可能媒体。
【発明の詳細な説明】
【技術分野】
【0001】
技術分野
本開示は、一般に、データベースシステムに関し、より具体的には、確率的データ構造を使用して、データベースノード間の呼び出し／要求を低減することに関する。
本開示は、一般に、データベースシステムに関し、より具体的には、確率的データ構造を使用して、データベースノード間の呼び出し／要求を低減することに関する。
【背景技術】
【0002】
関連技術の説明
現代のデータベースシステムは、ユーザが、効率的にアクセスして操作できるように組織化された方法で情報の集合を記憶することを可能にする、管理システムを日常的に実装する。場合によっては、これらの管理システムは、各々がキー値ペアとして情報を記憶する複数のレベルを有する、ログ構造化マージツリー（ＬＳＭ（log-structured merge）ツリー）を維持する。ＬＳＭツリーは、通常、インメモリキャッシュ（in-memory cache）と永続的ストレージという２つの高レベル構成要素を含む。動作中、データベースシステムは、最初にデータベースレコードをインメモリキャッシュに書き込み、後で永続的ストレージにそれらをフラッシュする。
現代のデータベースシステムは、ユーザが、効率的にアクセスして操作できるように組織化された方法で情報の集合を記憶することを可能にする、管理システムを日常的に実装する。場合によっては、これらの管理システムは、各々がキー値ペアとして情報を記憶する複数のレベルを有する、ログ構造化マージツリー（ＬＳＭ（log-structured merge）ツリー）を維持する。ＬＳＭツリーは、通常、インメモリキャッシュ（in-memory cache）と永続的ストレージという２つの高レベル構成要素を含む。動作中、データベースシステムは、最初にデータベースレコードをインメモリキャッシュに書き込み、後で永続的ストレージにそれらをフラッシュする。
【図面の簡単な説明】
【0003】
【図1】いくつかの実施形態による、確率的データ構造を含むデータベースノードを有するシステムの例示的要素を示すブロック図である。
【0004】
【図2A】いくつかの実施形態による、確率的データ構造の例示的要素を示すブロック図である。
【0005】
【図2B】いくつかの実施形態による、確率的データ構造のキャッシュライン構造の例示的要素を示すブロック図である。
【0006】
【図3】いくつかの実施形態による、キャッシュライン構造にデータベースキーを挿入することができるトランザクションエンジンの例示的要素を示すブロック図である。
【0007】
【図4】いくつかの実施形態による、確率的データ構造を有するデータベースノード間の対話の例示的要素を示すブロック図である。
【0008】
【図5】いくつかの実施形態による、長期実行トランザクション（long-running transaction）を処理するトランザクションエンジンの例示的要素を示すブロック図である。
【0009】
【図6】いくつかの実施形態による、確率的データ構造のセットを生成して提供することに関連する例示的方法を示すフロー図である。
【0010】
【図7】いくつかの実施態様による、確率的データ構造のセットを使用することに関連する例示的方法を示すフロー図である。
【0011】
【図8】いくつかの実施形態による、長期実行トランザクションを処理することに関連する例示的方法を示すフロー図である。
【0012】
【図9】いくつかの実施形態による、例示的コンピュータシステムを示すブロック図である。
【発明を実施するための形態】
【0013】
本開示は、「一実施形態」又は「実施形態」への言及を含む。「一実施形態において」又は「実施形態において」というフレーズの出現は、必ずしも同じ実施形態を指していない。特定の特徴、構造又は特性は、本開示と矛盾しない任意の適切な方法で組み合わされてよい。
【0014】
本開示内において、異なるエンティティ（「ユニット」、「回路」、他の構成要素等と様々に称され得る）が、１つ以上のタスク又は動作を実行するよう「構成」されるとして説明され、特許請求されることがある。この定式化 －［１つ以上のタスクを実行］するよう構成される［エンティティ］－ は、本明細書では、構造（すなわち、電子回路のような何らかの物理的なもの）を指すために使用される。より具体的には、この定式化は、この構造が、動作中に１つ以上のタスクを実行するように配置されることを示すために使用される。構造は、たとえその構造が現在動作していない場合であっても、なんらかのタスクを実行するよう「構成」されるということができる。「ネットワークを介して通信するよう構成されるネットワークインタフェース」は、例えば、たとえ当該集積回路が現在使用されていない（例えば電源が接続されていない）場合であっても、動作中にこの機能を実行する回路を有する集積回路をカバーするよう意図される。したがって、あるタスクを実行するよう「構成される」として説明又は記載されるエンティティは、デバイス、回路、そのタスクを実行するために実行可能なプログラム命令を記憶しているメモリ等のような何らかの物理的なものを指す。このフレーズは、本明細書では、何かの無形のものを指すためには使用されない。したがって、「構成された」構造物は、本明細書では、アプリケーションプログラミングインタフェース（ＡＰＩ）のようなソフトウェアエンティティを指すためには使用されない。
【0015】
「よう構成される」という用語は、「よう構成可能」を意味するようには意図されていない。例えばプログラムされていないＦＰＧＡは、何らかの特定の機能を実行する「よう構成される」とは見なされないが、その機能を実行する「よう構成可能」である可能性があり、プログラミングの後に、その機能を実行する「よう構成される」可能性がある。
【0016】
本明細書において使用されるとき、「第１」、「第２」等の用語は、それらが先行する名詞のラベルとして使用され、特段の記載がない限り、いかなる種類の順序付け（例えば空間的、時間的、論理的等）も暗示しない。例えば８つの処理コアを有するプロセッサにおいて、「第１」及び「第２」処理コアという用語は、８つの処理コアのうちの任意の２つを指すために使用することができる。言い換えると、第１処理コア及び第２処理コアは、例えば処理コア０及び１に限定されない。
【0017】
本明細書中で使用されるとき、「に基づいて」という用語は、決定に影響を与える１つ以上の要因を説明するために使用される。この用語は、追加的な要因が決定に影響を与え得る可能性を除外しない。すなわち、決定は、指定された要因のみに基づくか、あるいは指定された要因並びに他の指定されていない要因に基づくものであり得る。「Ｂに基づいてＡを決定する」というフレーズを考える。このフレーズは、Ｂが、Ａを決定するために使用される要因であるか又はＡの決定に影響を与える要因であることを指定する。このフレーズは、Ａの決定がＣのような何らかの他の要因にも基づく可能性があることを除外しない。このフレーズは、ＡがＢのみに基づいて決定される実施形態を網羅するようにも意図される。本明細書で使用されるとき、「に基づいて」というフレーズは、したがって、「に少なくとも部分的に基づいて」というフレーズと同義である。
【0018】
詳細な説明
いくつかの実装では、ＬＳＭツリーを維持するデータベースシステムは、ＬＳＭツリーに関連付けられる永続的ストレージにレコードを書き込む前に、ＬＳＭツリーのインメモリキャッシュにこれらのレコードを書き込む。いくつかのアプローチでは、データベースシステムは、ＬＳＭツリーへのレコードの書き込みを担当する単一のデータベースノードを含む。他のアプローチでは、データベースシステムは、ＬＳＭツリーからレコードの読み込みも行う間に、ＬＳＭツリーにレコードを書き込む複数のデータベースノードを含む。これらのデータベースノードは、共通の永続的ストレージを共有し得るが、各々それら自身のインメモリキャッシュを有している。このシナリオでは、しかしながら、データベースノードによってそのインメモリキャッシュに書き込まれるレコードは、それらのレコードが共通の永続的ストレージにフラッシュされるまで、他のデータベースノードに対して可視ではない。本発明者らは、この配置が、ある非効率性を引き起こすことを認識している。ある特定のレコードの最新バージョン（latest version）にアクセスすることを伴うトランザクションを処理している第１データベースノードを考える。このレコードは、第２データベースノードのインメモリキャッシュに記憶されていることがあり、よって、第１データベースノードに対して可視ではない。その結果、第１データベースノードは、第２データベースノードがそのレコードの最新バージョンを有しているかどうかを判断するために、第２データベースノードに要求を発行しなければならない。
いくつかの実装では、ＬＳＭツリーを維持するデータベースシステムは、ＬＳＭツリーに関連付けられる永続的ストレージにレコードを書き込む前に、ＬＳＭツリーのインメモリキャッシュにこれらのレコードを書き込む。いくつかのアプローチでは、データベースシステムは、ＬＳＭツリーへのレコードの書き込みを担当する単一のデータベースノードを含む。他のアプローチでは、データベースシステムは、ＬＳＭツリーからレコードの読み込みも行う間に、ＬＳＭツリーにレコードを書き込む複数のデータベースノードを含む。これらのデータベースノードは、共通の永続的ストレージを共有し得るが、各々それら自身のインメモリキャッシュを有している。このシナリオでは、しかしながら、データベースノードによってそのインメモリキャッシュに書き込まれるレコードは、それらのレコードが共通の永続的ストレージにフラッシュされるまで、他のデータベースノードに対して可視ではない。本発明者らは、この配置が、ある非効率性を引き起こすことを認識している。ある特定のレコードの最新バージョン（latest version）にアクセスすることを伴うトランザクションを処理している第１データベースノードを考える。このレコードは、第２データベースノードのインメモリキャッシュに記憶されていることがあり、よって、第１データベースノードに対して可視ではない。その結果、第１データベースノードは、第２データベースノードがそのレコードの最新バージョンを有しているかどうかを判断するために、第２データベースノードに要求を発行しなければならない。
【0019】
多くの場合、データベースノードのインメモリキャッシュのサイズは非常に小さい可能性があり（例えば２ＧＢ又は１０ＧＢ）、したがって、任意の時点で限られた数のレコードしか記憶できない可能性がある。その結果、たとえ多くのレコード要求がデータベースノードによって生成されるとしても、これらの要求のほとんどではないにしてもその多くが、レコードが返されるという結果をもたらさない。したがって、要求されたレコードが、第２データベースノードのインメモリキャッシュ内に存在しないことが多いが、第１データベースノードは、レコードがそこに存在するかどうかを確かめるために、依然として第２データベースノードへの要求を行わなければならない。本発明者らは、これらの要求が多くの場合、レコードが返されるという結果をもたらさないにもかかわらず、データベースノードが、互いにレコード要求を発行するのに膨大な時間を費やすため、このことが、データベースシステムの全体的な動作を遅らせることを認識している。本開示は、他のデータベースノードには通常存在しないレコードについて、データベースノード間で送信される要求が多すぎる結果として消費されるリソースが多すぎる、というこの技術的問題に対処する。
【0020】
本開示は、データベースノードが、別のデータベースノードからのデータベースレコードを要求するかどうかを判断することを可能にする確率的データ構造を実装するための技術を説明する。本明細書で使用されるとき、「確率的データ構造」という用語は、特定のアイテムがシステム内の特定の位置に存在しないか又は存在する可能性があることを示す情報を記憶するデータ構造を指す。例えば確率的データ構造は、特定のデータベースキーについて、データベースレコードが、ある特定のデータベースノードのインメモリキャッシュに存在しないか又は存在する可能性があることを示す情報を記憶することができる。ブルームフィルタ、カッコウフィルタ（cuckoo filters）、ｈｙｐｅｒｌｏｇｌｏｇ関連構造（hyperloglog-related structures）、サーフトライ（surf tries）は確率的データ構造の例である。
【0021】
以下で説明される様々な実施形態において、システムは、それらのデータベースノードによって共有される永続的ストレージにそれらのデータベースレコードをフラッシュする前に、データベースレコードをそれら自身のローカルインメモリキャッシュに書き込むことができる複数のデータベースノードを含む。データベースレコードをインメモリキャッシュに書き込むとき、様々な実施形態において、データベースノードは、データベースレコードのデータベースキーを確率的データ構造に挿入する。本明細書で使用されるとき、「データベースキーを確率的データ構造に挿入する」というフレーズは、広く、データベースキーに基づいて確率的データ構造内の情報に対する修正をもたらすことを指す。データベースキー自体は、確率的データ構造に記憶される必要はない。例えばハッシュ関数のセットをデータベースキーに適用して、ハッシュ値のセットを導出してよい。これらのハッシュ値を使用して、確率的データ構造内のビットを設定することができる。
【0022】
データベースキーを確率的データ構造に挿入するために、様々な実施形態において、データベースノードは、ハッシュ関数のセットを適用して、対応するハッシュ値のセットを導出する。ハッシュ値のうちの１つは、確率的データ構造内の部分又は「キャッシュライン」を選択するために使用され得る。残りのハッシュ値は、データベースキーを表すようにキャッシュライン内のビットを設定するために使用され得る。動作中に、データベースノードは、様々なデータベースキーを１つ以上の確率的データ構造に挿入してよい。いくつかの実施形態において、データベースノードは、閾値数のキーが確率的データ構造に挿入されるまで、データベースキーを確率的データ構造に挿入する。（この閾値は、データ構造の何らかの最大サイズに対応してよく；これは、様々な実施形態において、システム設計選択又は構成設定とすることができる。）データベースノードは、次いで、別の確率的データ構造を作成し、データベースキーをそれに挿入し始めてもよい。その結果、様々な場合において、データベースノードは、各々がデータベースキーの異なるセットに関連付けられる確率的データ構造のスタックを作成し得る。
【0023】
データベースノードは、スタックからの確率的データ構造を第２データベースノードに提供し得る。いくつかの実施形態において、データベースノードは、指定されたデータベースキーに関連付けられるデータベースレコードについての第２データベースノードからの要求に対する応答の一部として、スタックからの確率的データ構造を提供する。いくつかの実施形態において、データベースノードは、その第２データベースノードに、第２データベースノードが確率的データ構造を最後に受け取った後に作成又は変更されたそれらの確率的データ構造のみを提供してもよい。例えば第２データベースノードが第１データベースノードと最初に通信するとき、第１データベースノードは、そのスタックからのすべての確率的データ構造を提供してよい。その後、第１データベースノードは、新しい確率的データ構造をスタックに追加することがある。第２データベースノードがデータベースレコードについて第１データベースノードに要求を送信するとき、第１データベースノードは、要求に対する応答の一部として、新しい確率的データ構造を提供し得るが、スタックからの他の確率的データ構造は提供しなくてよい。
【0024】
確率的データ構造を受け取るデータベースノードは、それらの確率的データ構造を使用して、別のデータベースノード（例えばそれらの確率的データ構造の所有者）からデータベースレコードを要求するかどうかを判断してもよい。動作中に、データベースノードは、指定されたデータベースキーについてのデータベースレコードにアクセスすることを伴う、データベーストランザクションを処理する要求を受け取ることがある。しかしながら、指定されたデータベースキーは、第２データベースノードによって管理されるキー空間内にある可能性がある。したがって、前のデータベースノード（第１データベースノード）は、第２データベースノードに関連付けられる確率的データ構造をチェックして、それが第２データベースノードからのデータベースレコードを要求すべきかどうかを判断し得る。確率的データ構造をチェックするために、いくつかの実施形態において、第１データベースノードは、データベースキーをその確率的データ構造に挿入するために第２データベースノードによって使用されたものと同じハッシュ関数のセットを、指定されたデータベースキーに適用する。指定されたデータベースキーについて導出されたハッシュ値が、確率的データ構造で設定されたビットと一致する場合、次いで第１データベースノードは、指定されたデータベースキーについてデータベースレコードが第２データベースノードに存在する可能性があると判断してよく、そうでなければ、第１データベースノードは、そのキーについて、データベースレコードが第２データベースノードに存在しないと判断する。
【0025】
これらの技術は、データベースノードが、データベースノード間で送信されるデータベースレコード要求の数を低減することを伴う、より効果的な方法で通信することを可能にするので、これらの技術は、従来のアプローチよりも有利であり得る。従来のアプローチでは、データベースノードは、そのレコードのデータベースキーが別のデータベースノードのキー空間内にある場合、データベースレコードについてその別のデータベースノードに要求を発行する。本開示において議論される確率的データ構造を使用することによって、データベースノードは、データベースレコードについて別のデータベースノードに要求を発行するかどうかを判断することができる。確率的データ構造が特定のデータベースキーを示す情報セットを有していない場合、次いで、データベースノードは、その特定のデータベースキーについてのデータベースレコードが、その別のデータベースノードに存在していないことを知り、したがって、その別のデータベースノードに要求を行う必要がない。
【0026】
これらの技術はまた、追加の利点も提供することができる。様々な場合において、データベースシステムは、確率的データ構造に対応し得るキャッシュラインと対話している複数のプロセッサを有し得る。非単一キャッシュラインアプローチでデータベースキーを確率的データ構造に挿入するとき、そのキーの複数のハッシュ値は異なるキャッシュラインにマップされる可能性がある。プロセッサがキャッシュラインの所有権を取得することを必要とするアトミック比較及びスワップ操作によって、確率的データ構造のビットの更新が起こることがあり、その間に他のプロセッサがキャッシュラインを更新することを妨げる。その結果、キーのハッシュ値が複数のキャッシュラインにマップされるとき、プロセッサは、これらのキャッシュラインの所有権をめぐって、同時実行システムにおいてより多くの回数争わなければならない。これは、より多くのプロセッサストール（processor stalls）（キャッシュラインの所有権を待つ）を引き起こし、確率的データ構造へキーの挿入の性能を低下させる可能性がある。単一キャッシュラインアプローチでは、キーのハッシュ値はすべて同じハードウェアキャッシュラインにマップされる。これは、プロセッサが、複数のキャッシュラインの代わりに、単一のキャッシュラインのみの所有権を求めることを可能にする。したがって、プロセッサは、データベースキーを挿入する能力を待つのに費やす時間を少なくすることができる。これらの技術の例示的な適用を、図１を参照して開始して、ここで議論する。
【0027】
次に、図１に移ると、システム１００のブロック図が示されている。システム１００は、ハードウェア又はハードウェアとソフトウェアのルーチンの組合せを介して実装され得る構成要素のセットを含む。図示される実施形態において、システム１００は、データベース１１０と、データベースノード１２０Ａ～１２０Ｃのセットを含む。更に図示されるように、データベースノード１２０Ａ～１２０Ｃは、各々、インメモリキャッシュ１３０（それぞれのデータベースレコード１３５Ａ～１３５Ｃを記憶する）と、確率的データ構造１４０のセットを含む。いくつかの実施形態において、システム１００は、図示されるものとは異なるように実装されてもよい。例えばシステム１００は、より多くの又はより少ないデータベースノード１２０を含んでもよい。
【0028】
システム１００は、様々な実施形態において、そのサービスのユーザがアプリケーションを開発し、実行し、管理することを可能にするプラットフォームサービスを実装する。例として、システム１００は、マルチテナントシステムによってホストされる複数のユーザ／テナントに様々な機能を提供する、マルチテナントシステムであってよい。したがって、システム１００は、様々な異なるユーザ（例えばシステム１００のプロバイダ及びテナント）からのソフトウェアルーチンを実行し、コード、ウェブページ及び他のデータを、ユーザ、データベース（例えばデータベース１１０）及びシステム１００に関連付けられる他のエンティティに提供してよい。図示されるように、システム１００は、データベース１１０と対話し、かつ、システム１００に関連付けられるユーザのためのデータを記憶してアクセスする、データベースノード１２０Ａ～１２０Ｃを含む。
【0029】
データベース１１０は、様々な実施形態において、その情報のアクセス、記憶及び操作を可能にする方法で編成される情報の集合である。したがって、データベース１１０は、データベースノード１２０がデータベース１１０内の情報に対する操作（例えばアクセス、記憶等）を実行することを可能にする支援ソフトウェアを含んでよい。図示されるように、データベース１１０は、１つのデータベースノード１２０によって書かれたデータベースレコード１３５が、他のデータベースノード１２０によってアクセス可能であるように、データベースノード１２０Ａ～１２０Ｃの間で共有される。いくつかの実施形態において、データベース１１０は、ネットワーク（例えばストレージ接続ネットワーク（ＳＡＮ：storage attached network））上で一緒に接続され、かつデータ損失を防止するために情報を冗長的に記憶するよう構成される、単一又は複数のストレージデバイスによって実装される。これらのストレージデバイスは、永続的にデータを記憶してよく、したがって、データベース１１０は、永続的ストレージとして機能し得る。
【0030】
様々な実施形態において、データベース１１０は、データベースレコード１３５の複数のレベルを有するログ構造化マージツリー（ＬＳＭ（log-structured merge）ツリー）の一部を実装する。前述のように、ＬＳＭツリーは、インメモリ部分とオンディスク部分（on-disk portion）という２つの高レベル部分を含み得る。ＬＳＭツリーの１つ以上のレベルは、インメモリキャッシュ１３０に書き込まれるデータベースレコード１３５を含み得る。ＬＳＭツリーの残りのレベルは、データベース１１０に書き込まれるデータベースレコード１３５を含み得る。したがって、インメモリキャッシュ１３０Ａ～１３０Ｃは、ＬＳＭツリーのインメモリ部分を容易にし、一方、データベース１１０は、そのＬＳＭツリーのオンディスク部分を容易にする。
【0031】
データベースノード１２０は、様々な実施形態において、データ記憶、データ取り出し及びデータ操作のようなデータベースサービスを提供することができる、ハードウェア、ソフトウェア又はそれらの組合せである。これらのデータベースサービスは、システム１００内の他の構成要素に又はシステム１００の外部の構成要素に提供され得る。図示されるように、データベースノード１２０Ｂは、データベーストランザクション要求１０５を受け取るが、この要求は、データベースレコード１３５のセットにアクセスしようと試みているアプリケーションサーバ（図示せず）から受け取られる可能性がある。例として、データベーストランザクション要求１０５は、１つ以上のデータベーステーブルから１つ以上の行を選択するＳＱＬ ＳＥＬＥＣＴコマンドを指定してよい。行の内容はデータベースレコード１３５内で定義されてよく、したがって、データベースノード１２０は、選択された１つ以上のテーブル行に対応する１つ以上のデータベースレコード１３５を返し得る。場合によっては、データベーストランザクション要求１０５は、データベースノード１２０に、ＬＳＭツリーのための１つ以上のデータベースレコード１３５を書き込むよう指示することがある。データベースノード１２０は、様々な実施形態において、データベースレコード１３５を、それらのデータベースレコードをデータベース１１０にフラッシュする前に、そのインメモリキャッシュ１３０に最初に書き込む。
【0032】
インメモリキャッシュ１３０は、様々な実施形態において、データベースノード１２０のメモリ（例えばランダムアクセスメモリ（ＲＡＭ））にデータを記憶するバッファである。ＨＢａｓｅ（登録商標）Ｍｅｍｓｔｏｒｅは、インメモリキャッシュ１３０の一例である。説明したように、データベースノード１２０は、（例えばキー値ペアの形態で）データベースレコード１３５をそのインメモリキャッシュ１３０内に最初に書き込んでよい。場合によっては、データベーステーブル内の行の最新の／最も新しいバージョンが、インメモリキャッシュ１３０に記憶されているデータベースレコード１３５内で見つかることがある。しかしながら、データベースノード１２０のインメモリキャッシュ１３０に書き込まれるデータベースレコード１３５は、様々な実施形態において、他のデータベースノード１２０に対して可視ではない。すなわち、これらの他のデータベースノード１２０は、尋ねることなしには、そのデータベースノード１２０のインメモリキャッシュ１３０内にどのような情報が記憶されているかを知らない。インメモリキャッシュ１３０が、特定のキーに関連付けられるデータベースレコード１３５を記憶しているかどうかを判断するために、場合によっては、データベースノード１２０は、インメモリキャッシュ１３０のデータベースノード１２０にデータベースレコード要求１２２を発行してよい。そのようなデータベースレコード要求１２２は特定のキーを含んでよく、データベースノード１２０は、特定のキーに対応するものが存在する場合、データベースレコード１３５を返すことができる。
【0033】
多くの場合、あるデータベースノード１２０は、データベースレコード応答１２４を別のデータベースノード１２０に返すことができ、その場合、その応答はデータベースレコード１３５を含まない。これは、様々な実施形態において、インメモリキャッシュ１３０が比較的小さなサイズであり、したがって、特定のキーに対応するデータベースレコード１３５がインメモリキャッシュ１３０内にある可能性が比較的低いためであり得る。したがって、様々な実施形態において、データベースノード１２０は、確率的データ構造１４０を使用して、それらの特定の確率的データ構造１４０を提供した別のデータベースノード１２０に発行するデータベースレコード要求１２２の量を低減する。
【0034】
確率的データ構造１４０は、様々な実施形態において、対応するデータベースキーについて、データベースレコード１３５がインメモリキャッシュ１３０内に存在する確率を示す情報を記憶する、データ構造である。説明したように、データベースノード１２０は、そのインメモリキャッシュ１３０に１つ以上のデータベースレコード１３５を書き込むことを伴い得る、データベーストランザクション要求１０５を受け取ることができる。データベースレコード１３５をそのインメモリキャッシュ１３０に書き込むとき、いくつかの実施形態において、データベースノード１２０は、データベースレコード１３５に対応するデータベースキーを確率的データ構造１４０に挿入する。データベースキーを確率的データ構造１４０に挿入するために、様々な実施形態において、データベースノード１２０は、データベースキーに対して１つ以上のハッシュ関数を実行して、ハッシュ値のセットを導出する。これらのハッシュ値は、確率的データ構造１４０の一部分を選択し、かつ、その部分内に情報のビットを設定するために使用され得る。
【0035】
確率的データ構造１４０を受け取るデータベースノード１２０は、ある特定のデータベースキーに対して同じ１つ以上のハッシュ関数を実行して、そのデータベースキーについて適切なビットが設定されているかどうかを判断することができる。そのデータベースキーについて適切なビットが設定されている場合、データベースノード１２０は、データベースキーについてのデータベースレコード１３５が、確率的データ構造１４０を提供したデータベースノード１２０のインメモリキャッシュ１３０に存在し得ると判断してよい。そのデータベースキーについて適切なビットが設定されていない場合、データベースノード１２０は、そのデータベースキーについてのデータベースレコード１３５が、その他のデータベースノード１２０のインメモリキャッシュ１３０に存在しないと判断してよい。データベースレコード１３５が存在する可能性がある場合、様々な実施形態において、データベースノード１２０は、可能性のあるデータベースレコード１３５について、データベースレコード要求１２２を他のデータベースノード１２０に送信する。
【0036】
次に、図２Ａに移ると、例示的な確率的データ構造１４０のブロック図が示されている。図示される実施形態において、確率的データ構造１４０は、キャッシュライン構造２１０、キー範囲（key range）２２０、キーの数の値２３０、アクティブトランザクションカウント２４０、最も古いトランザクションコミット番号２５０、最も新しいトランザクションコミット番号２６０、状態２７０及び識別子値２７５を含む。いくつかの実施形態において、確率的データ構造１４０は、図示されるものとは異なるように実装されてもよい。例として、確率的データ構造１４０は識別子値を含んでもよい。１つのデータベースノード１２０が確率的データ構造１４０をパージ（purge）するとき、そのデータベースノード１２０は、別のデータベースノード１２０がその確率的データ構造１４０の自身のコピーをパージし得るように、別のデータベースノード１２０にその確率的データ構造１４０の識別子値を提供してよい。
【0037】
キャッシュライン構造２１０は、様々な実施形態において、データベースキーについて、２つのデータポイントのうちの一方を示す情報、すなわち、１）そのデータベースキーについてのデータベースレコードが、確率的データ構造１４０に関連付けられるインメモリキャッシュ１３０に記憶されていないこと又は２）そのデータベースキーについてのデータベースレコードが、インメモリキャッシュ１３０に記憶されている可能性があること、のうちの一方を示す情報を記憶することができるデータ構造である。様々な実施形態において、キャッシュライン構造２１０は、複数のキャッシュラインを含み、その各々は、キャッシュライン構造２１０に挿入されるデータベースキーに基づいて設定することができる一連のビットであり得る。特定のキャッシュライン内にどのようなビットが設定されているかに基づいて、データベースノード１２０は、特定のデータベースキーについてのデータベースレコードが、別のデータベースノード１２０のインメモリキャッシュ１３０に記憶され得るかどうかを判断することができる。キャッシュライン構造２１０の例は、図２Ｂに関連してより詳細に議論される。
【0038】
キー範囲２２０は、様々な実施形態において、確率的データ構造１４０に挿入されているデータベースキーの範囲を定義するデータ値のセットである。キー範囲２２０は、データベースノード１２０によって、ある特定のデータベースキーについて、別のデータベースノード１２０にデータベースレコード１３５が存在する可能性があるかどうかを学習するために、確率的データ構造１４０をチェックするかどうかを判断するために使用されてよい。データベースノード１２０Ｂが、データベースノード１２０Ａから３つの確率的データ構造１４０を受け取る例を考える。データベースノード１２０Ｂは、該データベースノード１２０Ｂによって処理されているデータベーストランザクションにおいて識別される特定のデータベースキーについて、インメモリキャッシュ１３０Ａ内にデータベースレコード１３５が存在するかどうかを判断することを望むことがある。したがって、データベースノード１２０Ｂは、特定のデータベースキーがキー範囲２２０内にあるかどうかを判断するために、３つの確率的データ構造１４０の各々についてキー範囲２２０をチェックし得る。これは、キー範囲２２０が特定のデータベースキーを含まない場合には、確率的データ構造１４０のキャッシュライン構造２１０をチェックしないことによって、データベースノード１２０Ｂが処理リソース及び時間を節約することを可能にし得る。いくつかの実施形態において、複数の確率的データ構造１４０は、重複するキー範囲２２０を有してもよい。
【0039】
キーの数の値２３０は、様々な実施形態において、確率的データ構造１４０に挿入されているデータベースキーの数を示すデータ値である。場合によっては、キーの数の値２３０は、挿入されたデータベースキーの数に近似し得る。これは、値２３０が、同期なしでインクリメントされていることに起因する可能性があり、したがって、一部のインクリメントは同期がないために失われる可能性がある。様々な実施形態において、確率的データ構造１４０は、指定された数のデータベースキーが挿入された後にキャップされる。挿入することができるデータベースキーの数をキャップすることによって、確率的データ構造１４０についての偽陽性率（すなわち、確率的データ構造１４０は、データベースレコード１３５がインメモリキャッシュ１３０にあることを示しているが、データベースレコードは実際にはそこにない確率――したがって、データベースレコード１３５が、インメモリキャッシュ１３０にある「可能性」がある確率）を、目標の確率（例えば１％）で維持し得るが、これは、データベースキーの挿入が、偽陽性率を増分的に増加させる可能性があるからである。このように、キーの数の値２３０は、指定された数のデータベースキーが挿入されたかどうかを判断するために使用されてよい。キーの数の値２３０が、指定された数のデータベースキーに一致するか又はそれを超える値を識別した後、データベースノード１２０は、追加のデータベースキーが挿入されることを防ぐことができ、データベースキー挿入のために別の確率的データ構造１４０を生成してよい。
【0040】
アクティブトランザクションカウント２４０は、様々な実施形態において、少なくとも１つのデータベースキーを確率的データ構造１４０に挿入した後、各々まだアクティブであるトランザクションの数を示すデータ値である。例えばデータベースノード１２０は、データベーストランザクション要求１０５を受け取って、データベーストランザクションを実行し得る。そのデータベーストランザクションを処理することの一部として、データベースノード１２０は、データベースキーを確率的データ構造１４０に挿入してよい。データベースキーを挿入したことに応答して、様々な実施形態において、データベースノード１２０はアクティブトランザクションカウント２４０をインクリメントする。この例を続けると、データベースノード１２０は、別のデータベーストランザクション要求１０５を受け取って、第２データベーストランザクションを実行し得る。第２データベーストランザクションを処理することの一部として、データベースノード１２０は、データベースキーを確率的データ構造１４０に挿入してよい。データベースキーを挿入したことに応答して、データベースノード１２０は、アクティブトランザクションカウント２４０をインクリメントして、少なくとも１つのキーを確率的データ構造１４０に挿入した２つのアクティブトランザクションを示してよい。第１データベーストランザクションをコミットしたことに応答して、様々な実施形態において、データベースノード１２０は、次いで、アクティブトランザクションカウント２４０をデクリメントする。データベースノード１２０は、第２データベーストランザクションがコミットすると、アクティブトランザクションカウント２４０を再びデクリメントしてよい。様々な実施形態において、データベーストランザクションは、該データベーストランザクションが完了したことをデータベースノード１２０が認めると、コミットされ得る。トランザクションをコミットした結果、コミットされたトランザクションに関連付けられるデータベースレコード１３５が、レコード要求１２２を介して他のデータベースノード１２０に利用可能となり得る。アクティブトランザクションカウント２４０はまた、データベーストランザクションが中止（abort）するときにデクリメントされてもよい。
【0041】
アクティブトランザクションカウント２４０がゼロより大きい値を識別する間、様々な実施形態において、確率的データ構造１４０をパージすることができない。すなわち、パージャエンジン（purger engine）は、確率的データ構造１４０に関連付けられるアクティブなデータベーストランザクションが存在しない後にのみ、確率的データ構造１４０を再利用（reclaim）してよい。
【0042】
最も古いトランザクションコミット番号２５０は、様々な実施形態において、少なくとも１つのデータベースキーを確率的データ構造１４０に挿入した、（時間的に）最も古いコミットされたトランザクションを示すデータ値である。すなわち、トランザクションがデータベースノード１２０によってコミットされると、トランザクションは、該トランザクションが実行された時に基づき得るトランザクションコミット番号を割り当てられてよい。その結果、別のトランザクションよりも時間的に早くコミットされたトランザクションは、より少ない／低いトランザクションコミット番号を有する。最も古いトランザクションコミット番号２５０は、様々な実施形態において、データベースノード１２０によって、データベースキーについて確率的データ構造１４０をチェックすべきかどうかを判断するために使用される。例えばデータベースノード１２０が、最も古いトランザクションコミット番号２５０よりも小さい値のトランザクションスナップショットを処理している場合、そのデータベースノード１２０は、対応する確率的データ構造１４０をチェックしなくてよい。
【0043】
最も新しいトランザクションコミット番号２６０は、様々な実施形態において、少なくとも１つのデータベースキーを確率的データ構造１４０に挿入した、（時間的に）最も新しいコミットされたトランザクションを示すデータ値である。最も新しいトランザクションコミット番号２６０は、第１データベースノード１２０によって、どの確率的データ構造１４０を第２データベースノード１２０に送信するかを決定するために使用され得る。例えば第２データベースノード１２０が、データベースレコードについて第１データベースノード１２０に要求を送信するとき、該要求はトランザクションコミット番号を識別し得る。トランザクションコミット番号は、第２データベースノード１２０が第１データベースノード１２０から以前に受け取った確率的データ構造１４０の最新の最も新しいトランザクションコミット番号２６０に対応し得る。第１データベースノード１２０は、第２データベースノード１２０の要求で指定されたトランザクションコミット番号よりも大きい、最も新しいトランザクションコミット番号２６０を有する確率的データ構造１４０を含む応答を送信し得る。
【0044】
状態２７０は、様々な実施形態において、確率的データ構造１４０がそのライフサイクルにおいてどの段階にあるかを示すデータ値である。様々な実施形態において、確率的データ構造１４０のライフサイクルには、オープン（open）、クローズ（closed）及び未使用（unused）という３つの異なる段階がある。確率的データ構造１４０は、最初に、そのライフサイクルの「オープン」段階で開始し、したがって、「オープン」の状態２７０を有し得る。そのライフサイクルの「オープン」段階にある間、確率的データ構造１４０は、現在実行中のデータベーストランザクションから起こるデータベースキー挿入のために使用され得る。様々な実施形態において、指定された数のデータベースキーが確率的データ構造１４０に挿入された後、その状態２７０は「クローズ」に更新される。「クローズ」段階にある間、確率的データ構造１４０はデータベースノード１２０によって使用され続けてもよいが、それ以上のデータベースキーは確率的データ構造１４０に挿入されてはならない。その結果、現在実行中のデータベーストランザクションは、新しい確率的データ構造１４０への挿入に進み得る。
【0045】
識別子値２７５は、様々な実施形態において、他の確率的データ構造１４０から確率的データ構造１４０を識別する値である。様々な場合において、確率的データ構造１４０はその存在の間に複数回更新されて共有され得るので、識別子値２７５は、データベースノード１２０が確率的データ構造１４０の古くなったコピーをリフレッシュすることを可能にし得る。例として、トランザクションは、確率的データ構造１４０が別のデータベースノード１２０に提供された後に、確率的データ構造１４０にキーを挿入し続ける可能性がある。更新された確率的データ構造１４０が他のデータベースノード１２０と再び共有される場合、他のデータベースノード１２０は、更新されたバージョンと置き換えることができるように、より古いバージョンの確率的データ構造１４０を識別するために識別子値２７５を使用してよい。いくつかの実施形態において、データベースノード１２０は、データベースレコード要求１２２の一部として識別子値２７５を含んでよく、それにより、受信側のデータベースノード１２０は、対応する確率的データ構造１４０が更新されたかどうか及びデータベースレコード応答１２４の一部として返されるべきかどうかを判断することができる。
【0046】
いくつかの実施形態において、確率的データ構造１４０の最も新しいトランザクションコミット番号２６０が、フラッシャトランザクションコミット番号（データベース１１０にフラッシュされた最新のトランザクションを識別し得る）を超えた後、対応するデータベースノード１２０上で実行するパージャエンジンは、確率的データ構造１４０をリタイアする手順を開始する。パージャエンジンは、確率的データ構造１４０を「未使用」状態に遷移させてよい。したがって、状態２７０は、確率的データ構造１４０が未使用状態であることを反映するよう更新され得る。
【0047】
次に、図２Ｂに移ると、例示のキャッシュライン構造２１０のブロック図が示されている。図示される実施形態では、キャッシュライン構造２１０は、各々がそれぞれのキャッシュラインセクション２８５を有する、キャッシュライン２８０Ａ～２８０Ｄを含む。いくつかの実施形態では、キャッシュライン構造２１０は、図示されるものとは異なるように実装されてもよい。キャッシュライン２８０Ａ～２８０Ｄは接続されていないように示されているが、いくつかの実施形態において、キャッシュライン２８０Ａ～２８０Ｄは、所与のキャッシュライン２８０がオフセット値によって識別され得、そのセグメント内の設定されたバイト数にわたり得る、メモリの連続セグメントの一部である。
【0048】
キャッシュライン２８０は、様々な実施形態において、各々、データベースキーを確率的データ構造１４０に挿入することの一部として設定され得るビットの集合である。したがって、キャッシュラインセクション２８５はビット値であり得る。様々な実施形態において、キャッシュライン２８０は、ハードウェア構成であるが、他の実施形態では、キャッシュライン２８０は、ソフトウェアで実装されてもよい。図示されるように、キャッシュライン２８０当たり５つのキャッシュラインセクション２８５（すなわち、５ビット）が存在するが、キャッシュライン２８０当たりのビット量は、他の実施形態では、異なる可能性がある。場合によっては、キャッシュライン２８０当たりのビット量は、キャッシュライン構造２１０の所望のサイズと所望の偽陽性率とに基づくものであってよい。図３に関連してより詳細に議論されるように、初期ハッシュ関数を実行して、キャッシュライン２８０（例えばキャッシュライン２８０Ａ）を選択するために使用可能なハッシュ値を生成することができ、次いで、ハッシュ関数のセットを実行して、そのキャッシュライン２８０のビットを設定（例えばセクション２８５Ａ及び２８５Ｃのビットを設定）するために使用可能なハッシュ値を生成することができる。設定されるビット数は、システム１００のプロパティに基づいてもよい。例えばシステム１００は、８つの異なる位置からの同時ロードを可能にする命令を提供し得る。したがって、その命令の特性から利益を得るために、所与のデータベースキーについて、８ビットがキャッシュライン２８０内に設定され得る。
【0049】
次に、図３に移ると、例示のトランザクションエンジン３１０のブロック図が示されている。図示される実施形態では、トランザクションエンジン３１０はハッシュ関数３１５を含む。更に図示されるように、トランザクションエンジン３１０は、インメモリキャッシュ１３０及びキャッシュライン構造２１０と対話する。いくつかの実施形態において、トランザクションエンジン３１０は、図示されるものとは異なるように実装されてもよい。
【0050】
トランザクションエンジン３１０は、様々な実施形態において、データベーストランザクションを処理するために実行可能なソフトウェアルーチンのセットであり、そのようなデータベーストランザクションは、データベースレコード１３５をインメモリキャッシュ１３０に挿入し、対応するデータベースキー３２０を確率的データ構造１４０のキャッシュライン構造２１０に挿入することを含むことができる。図４に関連してより詳細に議論されるように、データベーストランザクションを処理することの一部として、トランザクションエンジン３１０は、他のインメモリキャッシュ１３０からデータベースレコード１３５を潜在的に受け取るために、他のデータベースノード１２０における他のトランザクションエンジン３１０に対してデータベースレコード要求１２２を発行し得る。
【0051】
図示されるように、トランザクションエンジン３１０は、データベーストランザクション要求１０５を受け取ることができる。様々な場合において、データベーストランザクション要求１０５を処理することは、１つ以上のデータベースレコード１３５をインメモリキャッシュ１３０に書き込むことを伴ってよい。データベースレコード１３５がインメモリキャッシュ１３０に書き込まれると、様々な実施形態において、トランザクションエンジン３１０は、対応するデータベースキー３２０をキャッシュライン構造２１０に挿入する。いくつかの実施形態において、トランザクションエンジン３１０は、そのトランザクションのデータベースキー３２０の、確率的データ構造１４０へのバルク挿入を実行し、それに続いてトランザクションコミットを開始してよく、場合によっては、バルク挿入は、トランザクションを最終的にコミットする前にデータベースノード１２０がアクションのセットを実行する、事前コミットフェーズ（pre-commit phase）の一部として実行される。
【0052】
データベースキー３２０をキャッシュライン構造２１０に挿入するために、トランザクションエンジン３１０は、ハッシュ関数３１５のセットをデータベースキー３２０に対して実行して、ハッシュ値のセットを導出し得る。ハッシュ関数３１５は、様々な実施形態において、任意のサイズのデータ（例えばデータベースキー３２０）を固定サイズの値にマップするために実行可能な関数である。ハッシュ関数３１５は、例えばＭｕｒｍｕｒＨａｓｈファミリーに見られるハッシュ関数に対応してよい。データベースキー３２０をキャッシュライン構造２１０に挿入するとき、トランザクションエンジン３１０は、最初に、ハッシュ関数３１５をデータベースキー３２０に対して実行して、キャッシュライン２８０を選択するために使用可能なハッシュ値を導出し得る。図示されるように、トランザクションエンジン３１０は、ハッシュ関数３１５Ａをデータベースキー３２０に対して実行してハッシュ値３３０Ａを導出する。ハッシュ値３３０Ａは、キャッシュライン２８０Ｃを選択するために使用される。結果として、トランザクションエンジン３１０は、キャッシュライン２８０Ｃ内のビットを設定し得る。どのビットを設定するかを決定するために、トランザクションエンジン３１０は、追加のハッシュ関数３１５を実行して、キャッシュライン２８０内のビットを設定するために使用される追加のハッシュ値を導出し得る。図示されるように、トランザクションエンジン３１０は、ハッシュ関数３１５Ｂ及び３１５Ｃをデータベースキー３２０に対して実行して、それぞれ、ハッシュ値３３０Ｂ及び３３０Ｃを導出し得る。ハッシュ値３３０Ｂ及び３３０Ｃは、キャッシュライン２８０Ｃ内のビットを設定するために使用される。
【0053】
いくつかの実施形態において、データベースキー範囲を示す情報が、キャッシュライン構造２１０に挿入されてもよい。トランザクションエンジン３１０は、データベースキー範囲内のデータベースキーの間で共有されるプレフィックス部分に対して、上述の手順を実行してよい。その結果、プレフィックス部分が、キャッシュライン構造２１０に挿入され得る。データベースノード１２０は、さらに、別のデータベースノード１２０から受け取った確率的データ構造１４０内のプレフィックス部分の挿入をチェックすることによって、別のデータベースノード１２０からキー範囲に関連付けられるデータベースレコードを要求するかどうかを判断し得る。
【0054】
次に、図４に移ると、例示のデータベースノード１２０Ａ及び１２０Ｂのブロック図が示されている。図示される実施形態において、データベースノード１２０Ａ及び１２０Ｂは、インメモリキャッシュ１３０、確率的データ構造１４０Ａ～１４０Ｃ及びトランザクションエンジン３１０を含む。図示されるように、確率的データ構造１４０Ａ及び１４０Ｂは、それらがデータベースノード１２０Ａによって生成されたという点で、データベースノード１２０Ａに対してローカルであり、一方、確率的データ構造１４０Ｃは、それがデータベースノード１２０Ｂによって生成されたという点で、データベースノード１２０Ｂに対してローカルである。図示される実施形態は、図示されるものとは異なるように実装されてもよく、例えばデータベースノード１２０Ａ及び１２０Ｂは、パージャエンジンを含んでもよい。
【0055】
以前に説明したように、データベースノード１２０は、データベースサービス（例えばデータ記憶）をシステム１００のテナント（例えば組織）に提供してよい。テナントのデータは、そのテナントに関連付けられるキー空間を定義し得る。いくつかの実施形態において、キー空間は、各々がそれぞれのデータベースノード１２０に割り当てられる、複数のキー空間区分に分割され得る。したがって、データベースノード１２０は、その割り当てられたキー空間内にあるデータベースレコードのみをそのインメモリキャッシュ１３０に書き込むことができる。その結果、データベースノード１２０によって生成される確率的データ構造１４０は、その割り当てられたキー空間に対応し得る。したがって、例として、確率的データ構造１４０Ａ及び１４０Ｂはデータベースノード１２０Ａのキー空間に対応し、確率的データ構造１４０Ｃはデータベースノード１２０Ｂのキー空間に対応する。
【0056】
データベースノード１２０がデータベースレコード１３５にアクセスすることを望むとき、その対応するデータベースキー３２０に基づいて、データベースレコード１３５がどのキー空間に属するかを決定することができる。そのデータベースレコード１３５がデータベースノード１２０の自身のキー空間に属する場合、データベースレコード１３５についてそれ自身のインメモリキャッシュ１３０をチェックしてよく、次いで、レコード１３５がそれ自身のインメモリキャッシュ１３０にない場合にはデータベース１１０に進んでよい。そのデータベースレコード１３５が別のデータベースノード１２０のキー空間に属する（例えばデータベースノード１２０Ａに属する）場合、前のデータベースノード１２０（例えばデータベースノード１２０Ｂ）は、データベースレコードのデータベースキー３２０を示す情報についてチェックされ得る、確率的データ構造１４０を有するかどうかを判断することができる。
【0057】
最初に、データベースノード１２０Ｂは、データベースノード１２０Ａからのいかなる確率的データ構造１４０も有しないことがある。データベースノード１２０Ｂは、したがって、データベースレコード１３５について、特定のデータベースキー３２０を識別するデータベースレコード要求１２２を発行し得る。様々な実施形態において、データベースレコードのルックアップの副次的効果として、データベースノード１２０Ａは、データベースレコード応答１２４の一部として、確率的データ構造１４０をデータベースノード１２０Ｂに返すことができる。データベースノード１２０Ａのインメモリキャッシュ１３０にデータベースレコード１３５が見つからない場合であっても、確率的データ構造１４０が返されてよい。いくつかの実施形態において、データベースノード１２０Ｂは、確率的データ構造１４０のために、データベースノード１２０Ａに対して確率的データ構造固有の要求を発行することができる。データベースノード１２０Ａは、最初に確率的データ構造１４０Ａのみを生成していることがあり、したがって、データベースレコード要求１２２に対するデータベースレコード応答１２４の一部として、それをデータベースノード１２０Ｂに返すことができる。
【0058】
その後、データベースノード１２０Ｂは、データベースノード１２０Ａに割り当てられたキー空間に属する別のデータベースレコード１３５にアクセスすることを望むことがある。いくつかの実施形態において、データベースノード１２０Ｂは、そのデータベースレコードのデータベースキー３２０が確率的データ構造１４０Ａのキー範囲２２０内にある場合であって、そのデータベースレコード１３５に関連付けられるトランザクションスナップショットが、最も古いトランザクションコミット番号２５０によって識別され得る、確率的データ構造１４０Ａに関連付けられる最も古いトランザクションコミットよりも早く発生する場合、（データベースノード１２０Ｂが以前に受け取った）確率的データ構造１４０Ａをチェックする。様々な場合において、データベースノード１２０Ｂは、確率的データ構造１４０をチェックすべきかどうかを判断するために、１つ又は他の又は追加のパラメータをチェックしてよい。
【0059】
該当する場合、データベースノード１２０Ｂは、特定のデータベースキー３２０に関連付けられるデータベースレコード１３５がデータベースノード１２０Ａのインメモリキャッシュ１３０に存在する可能性があるかどうかを判断するために、確率的データ構造１４０Ａをチェックしてよい。可能性がある場合、次いでデータベースノード１２０Ｂは、データベースレコード要求１２２をデータベースノード１２０Ａに送信してよい。いくつかの実施形態において、データベースレコード要求１２２は、最も新しいトランザクションコミット番号２６０を指定する。データベースノード１２０Ａは、コミット番号２６０を使用して、データベースノード１２０Ｂがデータベースレコード要求１２２を最後に発行してから、いずれか新しい確率的データ構造１４０が作成されたかどうかを判断することができる。新しい確率的データ構造１４０が存在する場合（例えばデータベースノード１２０Ａが確率的データ構造１４０Ｂを作成し得た場合）、次いで、それらの確率的データ構造１４０を、データベースレコード応答１２４を介して返すことができる。
【0060】
説明したように、データベースノード１２０は、データベースレコードをデータベース１１０にフラッシュする前に、それらのデータベースレコード１３５をそのインメモリキャッシュ１３０に最初に書き込んでよい。データベースノード１２０は、特定のトランザクションコミット番号又はエポックまでデータベースレコード１３５をフラッシュしてよい。様々な実施形態において、データベースレコード１３５をデータベース１１０にフラッシュするとき、データベースノード１２０は、最も新しいトランザクションコミット番号２６０がパージトランザクションコミット番号よりも小さい確率的データ構造１４０をパージしてよい。例えば確率的データ構造１４０Ａは、トランザクション「Ａ」にのみ関連付けられ得る。したがって、トランザクションＡに関連付けられるすべてのデータベースレコード１３５がデータベース１１０にフラッシュされるとき、データベースノード１２０Ａは、確率的データ構造１４０Ａがもはや他のデータベースノード１２０に提供されないように確率的データ構造１４０Ａをパージしてよい。いくつかの実施形態において、データベースノード１２０は、パージされた確率的データ構造１４０について他のデータベースノード１２０に通知し、その結果、それらの他のデータベースノード１２０は、それらの確率的データ構造１４０のコピーを以前に受け取った場合は、それらの確率的データ構造１４０をもはや使用しない。更に様々な実施形態において、データベースレコード１３５がデータベース１１０にフラッシュされるとき、パージトランザクションコミット番号の指示が、すべてのデータベースノード１２０に対してアクセス可能なカタログに書き込まれてもよい。したがって、データベースノード１２０はカタログから読み取って、ある特定の確率的データ構造１４０がパージされたときにそれらを使用しないことを決定してよく、パージするデータベースノード１２０は、パージされた確率的データ構造１４０について知らせるために他のデータベースノード１２０と直接通信する必要はない。データベースノード１２０は、古い確率的データ構造１４０をそのストレージから除去してよい。
【0061】
次に図５に移ると、例示の確率的データ構造１４０Ａ～１４０Ｃと対話するトランザクションエンジン３１０のブロック図が示されている。図示される実施形態は、図示されるものとは異なるように実装されてもよく、例えば図示されるものよりも、より多くの確率的データ構造１４０が存在してもよい。
【0062】
いくつかの実施形態において、データベースノード１２０は、長期実行トランザクションを非長期実行トランザクションとは異なるように処理する。説明したように、データベースノード１２０がトランザクションのためのデータベースキー３２０を確率的データ構造１４０に最初に挿入するとき、そのデータベースノード１２０は、確率的データ構造１４０のアクティブトランザクションカウント２４０をインクリメントすることによって、その確率的データ構造１４０にトランザクションを登録し得る。アクティブトランザクションカウント２４０が非ゼロの間、その確率的データ構造１４０はデータベースノード１２０からパージされ得ない。これは、長期実行トランザクションが、確率的データ構造１４０がパージされることを妨げ、データベースノード１２０が、新しい確率的データ構造１４０を作成するために割り当てられた空間が尽きるという問題を生じる可能性がある。特に、長期実行トランザクション（例えば２時間以上継続するもの）は、長期実行トランザクションがコミットしていない間にパージすることができない、複数の確率的データ構造１４０への書き込みをする可能性がある。いくつかの例において、例えば数千の確率的データ構造１４０が数時間にわたってパージされることを妨げられる複数の長期実行トランザクションが存在する可能性がある。したがって、データベースノード１２０は、これらの確率的データ構造１４０をしばらくの間パージすることができない可能性があるため、新しい確率的データ構造１４０を割り当てるのに十分な空間を有していない可能性がある。したがって、いくつかの実施形態において、データベースノード１２０は、長期実行トランザクションを、非長期実行トランザクションとは異なるように処理する。
【0063】
データベーストランザクションの処理を開始すると、データベースノード１２０は、データベーストランザクションのためのデータベースキー３２０を確率的データ構造１４０に最初に挿入してよい。例えば図示されるように、トランザクションエンジン３１０は、データベースキー３２０を確率的データ構造１４０Ａに挿入する。しかしながら、データベースノード１２０が、データベーストランザクションを長期実行データベーストランザクションとして分類すべきであると判断する場合、次いで、データベースノード１２０は、事前コミットフェーズまで、そのデータベーストランザクションのためのデータベースキーの挿入を停止してよい。データベーストランザクションを長期実行トランザクションとして分類すべきかどうかを判断するために、データベースノード１２０は、様々な基準を使用してよい。様々な実施形態において、データベーストランザクションが、指定された時間量よりも長く続く（又は超える）場合、そのデータベーストランザクションは、長期実行トランザクションとして分類され得る。例えばデータベースノード１２０がデータベーストランザクションを１２０秒間処理していた場合、そのデータベーストランザクションは、長期実行トランザクションとして分類され得る。いくつかの実施形態において、データベーストランザクションが、指定された数の確率的データ構造１４０にキーを挿入した場合、そのデータベーストランザクションは、長期実行トランザクションとして分類され得る。例として、データベーストランザクションを処理する際に、データベースノード１２０がデータベースキー３２０を１０個の異なる確率的データ構造１４０に挿入した場合、データベーストランザクションは、長期実行トランザクションとして分類され得る。
【0064】
データベースノード１２０は、データベーストランザクションが長期実行データベーストランザクションであると決定すると、様々な実施形態において、データベースノード１２０は、データベーストランザクションを、それが接触した確率的データ構造１４０から登録解除する。データベーストランザクションを所与の確率的データ構造１４０から登録解除するために、データベースノード１２０は、その所与の確率的データ構造１４０についてのアクティブトランザクションカウント２４０をデクリメントしてよい。これは、長期実行データベーストランザクションがコミットするのを待つよりも早く所与の確率的データ構造１４０がパージされることを可能にすることができる。データベーストランザクションが長期実行トランザクションであると決定した後、データベースノード１２０は、そのトランザクションについてデータベースノード１２０によって事前コミットフェーズが開始されるまで、そのトランザクションについて確率的データ構造１４０へのデータベースキー３２０の挿入を停止してよい。様々な実施形態において、トランザクションは、そのトランザクションについてすべてのデータベースレコード１３５をそのインメモリキャッシュ１３０に書き込んだ後に、データベースノード１２０によってコミットされ、ここで、コミットは、そのインメモリキャッシュ１３０に関連して行われてよい。いくつかの実施形態において、長期実行データベーストランザクションについてキー挿入を停止する代わりに、データベースノード１２０は、データベースキー３２０を単一の確率的データ構造１４０に書き込むことを開始してもよい。データベースノード１２０は、確率的データ構造１４０が、そうでない場合に許容されるよりも、キーの閾値数を超えることを可能にし得る、すなわち、データベースノード１２０は、確率的データ構造１４０が、新たな確率的データ構造１４０を作成する代わりに、オーバーフローすることを可能にし得る。
【0065】
データベースノード１２０が長期実行データベーストランザクションをコミットする前に、様々な実施形態において、データベースノード１２０は、トランザクションに関連付けられるすべてのデータベースキー３２０の、確率的データ構造１４０の新しいセットへのバルク挿入を実行する。データベースノード１２０は、次いで、前述のように、データベーストランザクション要求１０５に対する応答の一部として、確率的データ構造１４０の新しいセットを別のデータベースノード１２０に提供してよい。いくつかの実施形態において、データベースノード１２０は、そのデータベーストランザクションについてすべてのデータベースキー３２０の挿入をリスタートする代わりに、データベーストランザクションについてデータベースキー３２０の挿入を再開してよい。
【0066】
次に図６に移ると、方法６００のフロー図が示されている。方法６００は、第２データベースノード（例えばデータベースノード１２０Ｂ）に確率的データ構造（例えば確率的データ構造１４０）を提供するために、第１データベースノード（例えばデータベースノード１２０Ａ）によって実行される方法の一実施形態である。方法６００は、非一時的コンピュータ読取可能媒体上に記憶されるプログラム命令のセットを実行することによって実行され得る。いくつかの実施形態において、方法６００は、より多くの又はより少ないステップを含んでもよい。例として、方法６００は、第１データベースノードが、そのインメモリキャッシュ（例えばインメモリキャッシュ１３０Ａ）から、第１データベースノードと第２データベースノードとの間で共有される永続的ストレージ（例えばデータベース１１０）へ、データベースレコード（例えばデータベースレコード１３５）のセットのうちの１つ以上を書き込むステップを含み得る。第１データベースノードは、これらのデータベースレコードを永続的ストレージに書き込むことに応答して、１つ以上の確率的データ構造をパージするかどうかを判断し得る。
【0067】
方法６００は、ステップ６１０において開始し、ここで、第１データベースノードが、データベースレコードのセットを第１データベースノードのインメモリキャッシュに書き込むことを伴う、データベーストランザクションを処理する。該処理は、確率的データ構造のセット内に、データベースレコードのセットに対応するデータベースキーのセット（例えばデータベースキー３２０）を挿入することを含んでもよい。いくつかの実施形態において、所与のデータベースキーを所与の確率的データ構造に挿入することは、ハッシュ関数（例えばハッシュ関数３１５）を所与のデータベースキーに適用して、所与の確率的データ構造に含まれる複数のキャッシュラインのうちの特定の１つ（例えばキャッシュライン２８０）に対応するハッシュ値（例えばハッシュ値３３０）を導出することを含む。したがって、第１データベースノードは、所与のデータベースキーを特定のキャッシュラインに挿入し得る。所与のデータベースキーを特定のキャッシュラインに挿入することは、ハッシュ関数のセット（例えばハッシュ関数３１５）を所与のデータベースキーに適用してハッシュ値のセットを導出することと、ハッシュ値のセットに基づいて特定のキャッシュラインのビットのセット（例えばキャッシュラインセクション２８５のビット）を設定することとを含んでもよい。
【0068】
第１データベースノードは、データベースキーのセットのうちのデータベースキーを確率的データ構造のセットのうちの第１確率的データ構造内に挿入してよい。いくつかの例では、第１確率的データ構造が、定義された閾値数のデータベースキー（例えば２０,０００個のキー）を含むことに応答して、第１データベースノードは、データベースキーのセットのうちの残りのデータベースキーを、確率的データ構造のセットのうちの第２の異なる確率的データ構造に挿入してよい。場合によっては、確率的データ構造のセットのうちの少なくとも１つの確率的データ構造は、複数の異なるトランザクションからのデータベースキーに関連付けられてよい。
【0069】
ステップ６２０において、第１データベースノードは、第２データベースノードが、第１データベースノードからデータベースキーに関連付けられるデータベースレコードを要求するかどうかを判断することを可能にするために、確率的データ構造のセットを第２データベースノードに送信する。確率的データ構造のセットを第２データベースノードに送信した後、第１データベースノードは、１つ以上の追加の確率的データ構造を確率的データ構造のセットに追加してよい。第１データベースノードは、次いで、第２データベースノードから、特定のデータベースキーに関連付けられるデータベースレコードの最近のバージョン（most recent version）について、データベースレコード要求（例えばデータベースレコード要求１２２）を受け取ることがある。第１データベースノードは、データベースレコード要求に対する応答（例えばデータベースレコード応答１２４）において、１つ以上の追加の確率的データ構造を含めてもよい。
【0070】
いくつかの実施形態において、所与の確率的データ構造は、該所与の確率的データ構造に対応する最新のトランザクションコミットを示すメタデータ（例えば最も新しいトランザクションコミット番号２６０）に関連付けられる。場合によっては、１つ以上の追加の確率的データ構造を応答に含める前に、第１データベースノードは、１つ以上の追加の確率的データ構造の各々が、データベースレコード要求で指定された特定のトランザクションコミットより後の時点に対応する、それぞれ最後の最新のトランザクションコミットに関連付けられていることに基づいて、１つ以上の追加の確率的データ構造を含めることを決定してよい。
【0071】
いくつかの実施形態において、所与の確率的データ構造は、該所定の確率的データ構造にデータベースキーが挿入されたアクティブトランザクションの数を示すメタデータ（例えばアクティブトランザクションカウント２４０）に関連付けられる。第１データベースノードは、アクティブトランザクションの数が、所与の確率的データ構造についてアクティブトランザクションが存在することを示すかどうかに基づいて、所与の確率的データ構造をパージすることができるかどうかを判断してよい。場合によっては、確率的データ構造のセットのうちの少なくとも２つの確率的データ構造は各々、データベーストランザクションを処理することの一部として挿入される、それぞれのデータベースキーを含み得る。したがって、インメモリキャッシュに関連してデータベーストランザクションをコミットすることに応答して、第１データベースノードは、少なくとも２つの確率的データ構造の各々について、その確率的データ構造に関連付けられるアクティブトランザクションの数をデクリメントしてよい。
【0072】
次に図７に移ると、方法７００のフロー図が示されている。方法７００は、第２データベースノード（例えばデータベースノード１２０Ｂ）からデータベースレコード（例えばデータベースレコード１３５）を要求するかどうかを判断するために、第１データベースノード（例えばデータベースノード１２０Ａ）によって実行される方法の一実施形態である。方法７００は、非一時的コンピュータ読取可能媒体に記憶されたプログラム命令のセットを実行することによって実行され得る。いくつかの実施形態において、方法７００は、より多くの又はより少ないステップを含んでもよい。例として、方法７００は、第１データベースノードが、アプリケーションシステムから受け取ったトランザクション要求（例えばデータベーストランザクション要求１０５）を処理することの一部として、（第２データベースノードから受け取った）データベースレコードをアプリケーションシステムに提供するステップを含み得る。
【0073】
方法７００は、ステップ７１０において開始し、ここで、第１データベースノードが、第２データベースノードから、所与のデータベースレコードが第２データベースノードのインメモリキャッシュ（例えばインメモリキャッシュ１３０Ｂ）内に記憶されていないかどうかを判断するために使用可能な確率的データ構造（例えば確率的データ構造１４０）のセットを受け取る。ステップ７２０において、第１データベースノードは、特定のデータベースキー（例えばデータベースキー３２０）を伴うデータベーストランザクションを処理する要求（例えばデータベーストランザクション要求１０５）を受け取る。
【0074】
ステップ７３０において、第１データベースノードは、確率的データ構造のセットに基づいて、第２データベースノードから、特定のデータベースキーに関連付けられるデータベースレコードの最近のバージョンを要求するかどうかを判断する。いくつかの実施形態において、所与の確率的データ構造は複数のキャッシュラインを含む。したがって、第１データベースノードは、ハッシュ関数（例えばハッシュ関数３１５）を特定のデータベースキーに適用してハッシュ値（例えばハッシュ値３３０）を導出し得る。ハッシュ値に基づいて、第１データベースノードは、所与の確率的データ構造の複数のキャッシュラインのうちの１つを選択し得る。次いで、第１データベースノードは、キャッシュラインに記憶された情報が特定のデータベースキーを示すかどうかを判断し得る。
【0075】
キャッシュラインに記憶された情報が特定のデータベースキーを示していないと判断したことに応答して、第１データベースノードは、該第１データベースノードと第２データベースノードによって共有される永続的ストレージ（例えばデータベース１１０）からのデータベースレコードの最近のバージョンを要求してよい。キャッシュラインに記憶された情報が特定のデータベースキーを示すと判断したことに応答して、第１データベースノードは、データベースレコードの最近のバージョンについての要求（例えばデータベースレコード要求１２２）を第２データベースノードに送信してよい。したがって、第１データベースノードは、第２データベースノードから応答（例えばデータベースレコード応答１２４）を受け取ってよい。場合によっては、第２データベースノードへの要求は、確率的データ構造のセットに関連付けられる最新のトランザクションコミットを識別し得る。したがって、応答は、要求によって識別される最新のトランザクションコミットより後に発生するトランザクションコミットに各々関連付けられる、追加の確率的データ構造のセットを含み得る。
【0076】
次に図８に移ると、方法８００のフロー図が示されている。方法８００は、長期実行データベーストランザクションを処理するためにデータベースノード（例えばデータベースノード１２０）によって実行される方法の一実施形態である。方法８００は、非一時的コンピュータ読取可能媒体に記憶されたプログラム命令のセットを実行することによって実行され得る。いくつかの実施形態において、方法８００は、より多くの又はより少ないステップを含んでもよい。例として、方法８００は、データベースノードが、該データベースノードから特定のデータベースキー（例えばデータベースキー３２０）に関連付けられるデータベースレコード（例えばデータベースレコード１３５）を要求するかどうかを別のデータベースノードが判断することを可能にするために、別のデータベースノードに確率的データ構造（例えば確率的データ構造１４０）のセットを送信するステップを含んでもよい。
【0077】
方法８００は、ステップ８１０において開始し、ここで、データベースノードは、該データベースノードのインメモリキャッシュ（例えばインメモリキャッシュ１３０）にデータベースレコードのセット（例えばデータベースレコード１３５）を書き込むことと、データベースキーの対応するセット（例えばデータベースキー３２０）を確率的データ構造に挿入することとを伴う、データベーストランザクションを実行する要求（例えばデータベーストランザクション要求１０５）を受け取る。ステップ８２０において、データベースノードはデータベーストランザクションを実行する。
【0078】
ステップ８２２において、データベーストランザクションを実行することの一部として、データベーストランザクションのために少なくとも１つのデータベースキーが挿入される各確率的データ構造について、データベースノードは、データベーストランザクションをその確率的データ構造に登録する。様々な場合において、登録は、データベーストランザクションが登録されている間、その確率的データ構造が削除されることを防止するために行われる。いくつかの実施形態において、確率的データ構造のうちの特定の１つは、データベースキーがその特定の確率的データ構造に挿入されているアクティブトランザクションの数を指定するメタデータ（例えばアクティブトランザクションカウント２４０）を含む。アクティブトランザクションの数が、少なくとも１つのアクティブトランザクションが存在することを示す間、特定の確率的データ構造が削除されることが防止され得る。場合によっては、データベーストランザクションを実行することは、特定の確率的データ構造に少なくとも１つのデータベースキーを挿入することを含む。したがって、データベースノードは、特定の確率的データ構造にデータベーストランザクションを登録してよく、アクティブトランザクションの数をインクリメントするためにメタデータを更新することを含んでよい。
【0079】
ステップ８２４において、データベーストランザクションを実行することの一部として、データベースノードは、データベーストランザクションの持続時間が指定された時間量（例えば３０秒）を超えることを決定する。いくつかの実施形態において、データベースノードは、指定された数（例えば１０）の確率的データ構造が、データベーストランザクションを実行することの一部として書き込まれたと決定する。
【0080】
ステップ８２６において、データベーストランザクションを実行することの一部として、決定に応答して、データベースノードは、データベーストランザクションが以前に登録された各確率的データ構造から、データベーストランザクションを登録解除する。特定の確率的データ構造からデータベーストランザクションを登録解除することは、アクティブトランザクションの数をデクリメントするようにメタデータを更新することを含み得る。デクリメントすることにより、アクティブトランザクションの数がゼロになることがある。したがって、確率的データ構造からデータベーストランザクションを登録解除することにより、アクティブトランザクションが存在しないことを反映するようメタデータが更新されると決定した後、データベースノードは、特定の確率的データ構造を削除し得る。
【0081】
決定に応答して、データベースノードは、データベーストランザクションの事前コミットフェーズがデータベースノードによって開始されるまで、データベーストランザクションのためのデータベースキーの、確率的データ構造への挿入を遅らせてよい。場合によっては、データベーストランザクションのための事前コミットフェーズの開始に応答して、データベースノードは、データベーストランザクションのデータベースキーのセットの、確率的データ構造のセットへの挿入をリスタートしてよい。場合によっては、データベーストランザクションの事前コミットフェーズの開始に応答して、データベースノードは、データベーストランザクションのデータベースキーのセットの、確率的データ構造のセットへの挿入を再開してよい。データベーストランザクションをコミットする前に、データベースノードは、データベーストランザクションが登録解除された、確率的データ構造のうちの少なくとも１つを削除してもよい。いくつかの実施形態において、決定に応答して、データベースノードは、データベースキーのセットのうちの残りのデータベースキーを単一の確率的データ構造に挿入する。
【0082】
例示のコンピュータシステム
次に図９に移ると、システム１００、データベース１１０及び／又はデータベースノード１２０を実装し得る例示のコンピュータシステム９００のブロック図が示されている。コンピュータシステム９００は、相互接続９６０（例えばシステムバス）を介してシステムメモリ９２０及びＩ／Ｏインタフェース９４０に結合されるプロセッサ・サブシステム９８０を含む。Ｉ／Ｏインタフェース９４０は、１つ以上のＩ／Ｏデバイス９５０に結合される。コンピュータシステム９００は、これらに限定されないが、サーバシステム、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ又はノートブックコンピュータ、メインフレームコンピュータシステム、タブレットコンピュータ、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、携帯電話や音楽プレーヤ又はパーソナルデータアシスタント（ＰＤＡ）のような消費者デバイスを含む、様々なタイプのデバイスのいずれであってよい。便宜的に単一のコンピュータシステム９００が図９に示されているが、システム９００はまた、一緒に動作する２つ以上のコンピュータシステムとして実装されてもよい。
次に図９に移ると、システム１００、データベース１１０及び／又はデータベースノード１２０を実装し得る例示のコンピュータシステム９００のブロック図が示されている。コンピュータシステム９００は、相互接続９６０（例えばシステムバス）を介してシステムメモリ９２０及びＩ／Ｏインタフェース９４０に結合されるプロセッサ・サブシステム９８０を含む。Ｉ／Ｏインタフェース９４０は、１つ以上のＩ／Ｏデバイス９５０に結合される。コンピュータシステム９００は、これらに限定されないが、サーバシステム、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ又はノートブックコンピュータ、メインフレームコンピュータシステム、タブレットコンピュータ、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、携帯電話や音楽プレーヤ又はパーソナルデータアシスタント（ＰＤＡ）のような消費者デバイスを含む、様々なタイプのデバイスのいずれであってよい。便宜的に単一のコンピュータシステム９００が図９に示されているが、システム９００はまた、一緒に動作する２つ以上のコンピュータシステムとして実装されてもよい。
【0083】
プロセッサ・サブシステム９８０は、１つ以上のプロセッサ又は処理ユニットを含んでよい。コンピュータシステム９００の様々な実施形態において、プロセッサ・サブシステム９８０の複数のインスタンスを相互接続９６０に結合してよい。様々な実施形態において、プロセッサ・サブシステム９８０（又は９８０内の各プロセッサユニット）は、キャッシュ又は他の形態のオンボードメモリを含んでよい。
【0084】
システムメモリ９２０は、システム９００に本明細書で説明される様々な動作を実行させるために、プロセッサ・サブシステム９８０によって実行可能なプログラム命令を記憶するために使用可能である。システムメモリ９２０は、ハードディスクストレージ、フロッピーディスクストレージ、取り外し可能ディスクストレージ、フラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ－ＳＲＡＭ、ＥＤＯ ＲＡＭ、ＳＤＲＡＭ、ＤＤＲ ＳＤＲＡＭ、ＲＡＭＢＵＳ ＲＡＭ等）、読取専用メモリ（ＰＲＯＭ、ＥＥＰＲＯＭ等）等のような、異なる物理的なメモリ媒体を使用して実装されてよい。コンピュータシステム９００内のメモリは、メモリ９２０のような一次ストレージに限定されない。むしろ、コンピュータシステム９００は、プロセッサ・サブシステム９８０内のキャッシュメモリ及びＩ／Ｏデバイス９５０上の二次ストレージ（例えばハードドライブ、ストレージアレイ等）のような他の形態のストレージも含んでよい。いくつかの実施形態において、これらの他の形態のストレージはまた、プロセッサ・サブシステム９８０によって実行可能なプログラム命令も記憶してもよい。いくつかの実施形態において、実行されると、データベース１１０、データベースノード１２０、インメモリキャッシュ１３０及び確率的データ構造１４０を実装するプログラム命令を、システムメモリ９２０内に含むか／記憶してよい。
【0085】
Ｉ／Ｏインタフェース９４０は、様々な実施形態に従って、他のデバイスに結合して通信するよう構成される様々なタイプのインタフェースのいずれかであってよい。一実施形態において、Ｉ／Ｏインタフェース９４０は、フロントサイドから１つ以上のバックサイドバスへのブリッジチップ（例えばサウスブリッジ）である。Ｉ／Ｏインタフェース９４０は、１つ以上の対応するバス又は他のインタフェースを介して１つ以上のＩ／Ｏデバイス９５０に結合されてよい。Ｉ／Ｏデバイス９５０の例は、ストレージデバイス（ハードドライブ、光学ドライブ、取り外し可能フラッシュドライブ、ストレージアレイ、ＳＡＮ又はそれらに関連するコントローラ）、（例えばローカル又はワイドエリアネットワークへの）ネットワークインタフェースデバイス又は他のデバイス（例えばグラフィクス、ユーザインタフェースデバイス等）を含む。一実施形態において、コンピュータシステム９００は、ネットワークインタフェースデバイス９５０（例えばＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）等を介して通信するよう構成される）を介してネットワークに結合される。
【0086】
本出願の主題の実現は、以下の例１～２０を含むが、これらに限定されない。
１． 第１データベースノードによって、データベースレコードのセットを第１データベースノードのインメモリキャッシュに書き込むことを伴う、データベーストランザクションを処理するステップであって、該処理するステップは、データベースレコードのセットに対応するデータベースキーのセットを確率的データ構造のセットに挿入することを含む、ステップと、
第１データベースノードからデータベースキーに関連付けられるデータベースレコードを要求するかどうかを第２データベースノードが判断することを可能にするために、第１データベースノードによって、確率的データ構造のセットを第２データベースノードに送信するステップと、
を含む、方法。
２． データベースキーのセットのうちの所与のデータベースキーを確率的データ構造のセットのうちの所与の確率的データ構造に挿入することは、
第１データベースノードによって、ハッシュ関数を所与のデータベースキーに適用して、所与の確率的データ構造に含まれる複数のキャッシュラインのうちの特定のキャッシュラインに対応するハッシュ値を導出することと、
第１データベースノードによって、所与のデータベースキーを所与の確率的データ構造の特定のキャッシュラインに挿入することと、
を含む、例１に記載の方法。
３． 所与のデータベースキーを所与の確率的データ構造の特定のキャッシュラインに挿入することは、
第１データベースノードによって、ハッシュ関数のセットを所与のデータベースキーに適用して、ハッシュ値のセットを導出することと、
第１データベースノードによって、ハッシュ値のセットに基づいて、特定のキャッシュラインのビットのセットを設定することと、
を含む、例２に記載の方法。
４． データベースキーのセットを挿入することは、
第１データベースノードによって、データベースキーのセットのうちのデータベースキーを確率的データ構造のセットのうちの第１確率的データ構造に挿入することと、
第１確率的データ構造が、定義された閾値数のデータベースキーを含んでいることに応答して、第１データベースノードが、データベースキーのセットのうちの残りのデータベースキーを確率的データ構造のセットのうちの第２の異なる確率的データ構造に挿入することと、
を含む、例１に記載の方法。
５． 確率的データ構造のセットのうちの所与の確率的データ構造は、該所与の確率的データ構造にデータベースキーが挿入されたアクティブトランザクションの数を示すメタデータに関連付けられ、方法は、
第１データベースノードによって、アクティブトランザクションの数が、所与の確率的データ構造についてアクティブトランザクションが存在することを示すかどうかに基づいて、所与の確率的データ構造をパージすることができるかどうかを判断するステップ、
を更に含む、例１に記載の方法。
６． 確率的データ構造のセットのうちの少なくとも２つの確率的データ構造は各々、データベーストランザクションを処理することの一部として挿入されるそれぞれのデータベースキーを含み、方法は、
インメモリキャッシュに関連してデータベーストランザクションをコミットすることに応答して、第１データベースノードが、少なくとも２つの確率的データ構造の各々について、その確率的データ構造に関連付けられるアクティブトランザクションの数をデクリメントするステップ、
を更に含む、例５に記載の方法。
７． 確率的データ構造のセットを第２データベースノードに送信した後に、第１データベースノードが、１つ以上の追加の確率的データ構造を確率的データ構造のセットに追加するステップと、
第１データベースノードによって、第２データベースノードから、特定のデータベースキーに関連付けられるデータベースレコードの最近のバージョンについて、データベースレコード要求を受け取るステップと、
第１データベースノードによって、データベースレコード要求に対する応答において、１つ以上の追加の確率的データ構造を含めるステップと、
を更に含む、例１に記載の方法。
８． 確率的データ構造のセットのうちの所与の確率的データ構造は、該所与の確率的データ構造に対応する最新のトランザクションコミットを示すメタデータに関連付けられ、方法は、
含めるステップの前に、１つ以上の追加の確率的データ構造の各々が、データベースレコード要求で指定される特定のトランザクションコミットより後の時点に対応する、それぞれの最新のトランザクションコミットに関連付けられていることに基づいて、第１データベースノードが、１つ以上の追加の確率的データ構造を含めると決定するステップ、
を更に含む、例７に記載の方法。
９． 第１データベースノードによって、インメモリキャッシュから、第１データベースノードと第２データベースノードとの間で共有される永続的ストレージに、データベースレコードのセットのうちの１つ以上のデータベースレコードを書き込むステップと、
書き込むステップに応答して、第１データベースノードが、確率的データ構造のセットのうちの所与の確率的データ構造をパージするかどうかを判断するステップと、
を更に含む、例１に記載の方法。
１０． 確率的データ構造のセットのうちの少なくとも１つの確率的データ構造は、複数の異なるトランザクションからのデータベースキーに関連付けられる、
例１に記載の方法。
１１． 第１コンピュータシステムに、
データベースレコードのセットを第１コンピュータシステムのインメモリキャッシュに書き込むことを伴う、データベーストランザクションを処理するステップであって、該処理するステップは、データベースレコードのセットに対応するデータベースキーのセットを確率的データ構造のセットに挿入することを含む、ステップと、
第１コンピュータシステムから特定のデータベースキーに関連付けられるデータベースレコードを要求するかどうかを第２コンピュータシステムが判断することを可能にするために、確率的データ構造のセットを第２コンピュータシステムに送信するステップと、
を含む動作を実行させることができるプログラム命令を有する、非一時的コンピュータ読取可能媒体。
１２． データベースキーのセットのうちの所与のデータベースキーを確率的データ構造のセットのうちの所与の確率的データ構造に挿入することは、
ハッシュ関数を所与のデータベースキーに適用してハッシュ値を導出することと、
ハッシュ値に基づいて、所与の確率的データ構造の複数のキャッシュラインのうちの１つのキャッシュラインを選択することと、
所与のデータベースキーを選択されたキャッシュラインに挿入することと、
を含む、例１１に記載の非一時的コンピュータ読取可能媒体。
１３． データベースキーのセットを確率的データ構造のセットに挿入することは、
データベースキーのセットのうちのデータベースキーを、確率的データ構造のセットのうち、少なくとも閾値数のデータベースキーを含むことができる第１確率的データ構造に挿入することと、
第１確率的データ構造の閾値数に到達した後に、データベースキーのセットのうちの他のデータベースキーを、確率的データ構造のセットのうちの第２確率的データ構造に挿入することと、
を含む、例１１に記載の非一時的コンピュータ読取可能媒体。
１４． 確率的データ構造のセットのうちの特定の確率的データ構造は、該特定の確率的データ構造にデータベースキーが挿入されたアクティブトランザクションの数を示すアクティブトランザクションカウントを指定するメタデータを含み、
データベーストランザクションを処理することは、少なくとも１つのデータベースキーを特定の確率的データ構造内に挿入することを伴い、動作は、
データベーストランザクションをコミットすることに応答して、特定の確率的データ構造のアクティブトランザクションの数をデクリメントするステップ、
を更に含む、例１１に記載の非一時的コンピュータ読取可能媒体。
１５． 動作は、
第１コンピュータシステムのインメモリキャッシュから、第１コンピュータシステムと第２コンピュータシステムとの間で共有される永続的ストレージに、データベースレコードのセットを書き込むステップと、
永続的ストレージにデータベースレコードのセットを書き込むステップに応答して、確率的データ構造のセットのうちの１つ以上の確率的データ構造をパージするかどうかを判断するステップと、
を更に含む、例１１に記載の非一時的コンピュータ読取可能媒体。
１６． 第１データベースノードによって、第２データベースノードから、所与のデータベースレコードが第２データベースノードのインメモリキャッシュ内に記憶されていないかどうかを判断するために使用可能な確率的データ構造のセットを受け取るステップと、
第１データベースノードによって、特定のデータベースキーを伴うデータベーストランザクションを処理する要求を受け取るステップと、
第１データベースノードによって、確率的データ構造のセットに基づいて、第２データベースノードから、特定のデータベースキーに関連付けられるデータベースレコードの最近のバージョンを要求するかどうかを判断するステップと、
を含む、方法。
１７． 確率的データ構造のセットのうちの所与の確率的データ構造は、複数のキャッシュラインを含み、判断するステップは、
第１データベースノードによって、ハッシュ関数を特定のデータベースキーに適用してハッシュ値を導出するステップと、
ハッシュ値に基づいて、第１データベースノードが、所与の確率的データ構造の複数のキャッシュラインのうちの１つのキャッシュラインを選択するステップと、
第１データベースノードによって、キャッシュラインに記憶された情報が特定のデータベースキーを示すかどうかを判断するステップと、
を含む、例１６に記載の方法。
１８． キャッシュラインに記憶された情報が特定のデータベースキーを示していないと判断したことに応答して、第１データベースノードが、該第１データベースノードと第２データベースノードによって共有される永続的ストレージから、データベースレコードの最近のバージョンを要求するステップ、
を更に含む、例１７に記載の方法。
１９． キャッシュラインに記憶された情報が特定のデータベースキーを示すと判断したことに応答して、第１データベースノードが、データベースレコードの最近のバージョンについての要求を第２データベースノードに送信するステップと、
第１データベースノードによって、第２データベースノードからの応答を受け取るステップと、
を更に含む、例１７に記載の方法。
２０． 要求は、確率的データ構造のセットに関連付けられる最新のトランザクションコミットを識別し、応答は、追加の確率的データ構造のセットを含み、追加の確率的データ構造の各々は、要求によって識別される最新のトランザクションコミットより後に発生する最新のトランザクションコミットに関連付けられる、
例１９に記載の方法。
１． 第１データベースノードによって、データベースレコードのセットを第１データベースノードのインメモリキャッシュに書き込むことを伴う、データベーストランザクションを処理するステップであって、該処理するステップは、データベースレコードのセットに対応するデータベースキーのセットを確率的データ構造のセットに挿入することを含む、ステップと、
第１データベースノードからデータベースキーに関連付けられるデータベースレコードを要求するかどうかを第２データベースノードが判断することを可能にするために、第１データベースノードによって、確率的データ構造のセットを第２データベースノードに送信するステップと、
を含む、方法。
２． データベースキーのセットのうちの所与のデータベースキーを確率的データ構造のセットのうちの所与の確率的データ構造に挿入することは、
第１データベースノードによって、ハッシュ関数を所与のデータベースキーに適用して、所与の確率的データ構造に含まれる複数のキャッシュラインのうちの特定のキャッシュラインに対応するハッシュ値を導出することと、
第１データベースノードによって、所与のデータベースキーを所与の確率的データ構造の特定のキャッシュラインに挿入することと、
を含む、例１に記載の方法。
３． 所与のデータベースキーを所与の確率的データ構造の特定のキャッシュラインに挿入することは、
第１データベースノードによって、ハッシュ関数のセットを所与のデータベースキーに適用して、ハッシュ値のセットを導出することと、
第１データベースノードによって、ハッシュ値のセットに基づいて、特定のキャッシュラインのビットのセットを設定することと、
を含む、例２に記載の方法。
４． データベースキーのセットを挿入することは、
第１データベースノードによって、データベースキーのセットのうちのデータベースキーを確率的データ構造のセットのうちの第１確率的データ構造に挿入することと、
第１確率的データ構造が、定義された閾値数のデータベースキーを含んでいることに応答して、第１データベースノードが、データベースキーのセットのうちの残りのデータベースキーを確率的データ構造のセットのうちの第２の異なる確率的データ構造に挿入することと、
を含む、例１に記載の方法。
５． 確率的データ構造のセットのうちの所与の確率的データ構造は、該所与の確率的データ構造にデータベースキーが挿入されたアクティブトランザクションの数を示すメタデータに関連付けられ、方法は、
第１データベースノードによって、アクティブトランザクションの数が、所与の確率的データ構造についてアクティブトランザクションが存在することを示すかどうかに基づいて、所与の確率的データ構造をパージすることができるかどうかを判断するステップ、
を更に含む、例１に記載の方法。
６． 確率的データ構造のセットのうちの少なくとも２つの確率的データ構造は各々、データベーストランザクションを処理することの一部として挿入されるそれぞれのデータベースキーを含み、方法は、
インメモリキャッシュに関連してデータベーストランザクションをコミットすることに応答して、第１データベースノードが、少なくとも２つの確率的データ構造の各々について、その確率的データ構造に関連付けられるアクティブトランザクションの数をデクリメントするステップ、
を更に含む、例５に記載の方法。
７． 確率的データ構造のセットを第２データベースノードに送信した後に、第１データベースノードが、１つ以上の追加の確率的データ構造を確率的データ構造のセットに追加するステップと、
第１データベースノードによって、第２データベースノードから、特定のデータベースキーに関連付けられるデータベースレコードの最近のバージョンについて、データベースレコード要求を受け取るステップと、
第１データベースノードによって、データベースレコード要求に対する応答において、１つ以上の追加の確率的データ構造を含めるステップと、
を更に含む、例１に記載の方法。
８． 確率的データ構造のセットのうちの所与の確率的データ構造は、該所与の確率的データ構造に対応する最新のトランザクションコミットを示すメタデータに関連付けられ、方法は、
含めるステップの前に、１つ以上の追加の確率的データ構造の各々が、データベースレコード要求で指定される特定のトランザクションコミットより後の時点に対応する、それぞれの最新のトランザクションコミットに関連付けられていることに基づいて、第１データベースノードが、１つ以上の追加の確率的データ構造を含めると決定するステップ、
を更に含む、例７に記載の方法。
９． 第１データベースノードによって、インメモリキャッシュから、第１データベースノードと第２データベースノードとの間で共有される永続的ストレージに、データベースレコードのセットのうちの１つ以上のデータベースレコードを書き込むステップと、
書き込むステップに応答して、第１データベースノードが、確率的データ構造のセットのうちの所与の確率的データ構造をパージするかどうかを判断するステップと、
を更に含む、例１に記載の方法。
１０． 確率的データ構造のセットのうちの少なくとも１つの確率的データ構造は、複数の異なるトランザクションからのデータベースキーに関連付けられる、
例１に記載の方法。
１１． 第１コンピュータシステムに、
データベースレコードのセットを第１コンピュータシステムのインメモリキャッシュに書き込むことを伴う、データベーストランザクションを処理するステップであって、該処理するステップは、データベースレコードのセットに対応するデータベースキーのセットを確率的データ構造のセットに挿入することを含む、ステップと、
第１コンピュータシステムから特定のデータベースキーに関連付けられるデータベースレコードを要求するかどうかを第２コンピュータシステムが判断することを可能にするために、確率的データ構造のセットを第２コンピュータシステムに送信するステップと、
を含む動作を実行させることができるプログラム命令を有する、非一時的コンピュータ読取可能媒体。
１２． データベースキーのセットのうちの所与のデータベースキーを確率的データ構造のセットのうちの所与の確率的データ構造に挿入することは、
ハッシュ関数を所与のデータベースキーに適用してハッシュ値を導出することと、
ハッシュ値に基づいて、所与の確率的データ構造の複数のキャッシュラインのうちの１つのキャッシュラインを選択することと、
所与のデータベースキーを選択されたキャッシュラインに挿入することと、
を含む、例１１に記載の非一時的コンピュータ読取可能媒体。
１３． データベースキーのセットを確率的データ構造のセットに挿入することは、
データベースキーのセットのうちのデータベースキーを、確率的データ構造のセットのうち、少なくとも閾値数のデータベースキーを含むことができる第１確率的データ構造に挿入することと、
第１確率的データ構造の閾値数に到達した後に、データベースキーのセットのうちの他のデータベースキーを、確率的データ構造のセットのうちの第２確率的データ構造に挿入することと、
を含む、例１１に記載の非一時的コンピュータ読取可能媒体。
１４． 確率的データ構造のセットのうちの特定の確率的データ構造は、該特定の確率的データ構造にデータベースキーが挿入されたアクティブトランザクションの数を示すアクティブトランザクションカウントを指定するメタデータを含み、
データベーストランザクションを処理することは、少なくとも１つのデータベースキーを特定の確率的データ構造内に挿入することを伴い、動作は、
データベーストランザクションをコミットすることに応答して、特定の確率的データ構造のアクティブトランザクションの数をデクリメントするステップ、
を更に含む、例１１に記載の非一時的コンピュータ読取可能媒体。
１５． 動作は、
第１コンピュータシステムのインメモリキャッシュから、第１コンピュータシステムと第２コンピュータシステムとの間で共有される永続的ストレージに、データベースレコードのセットを書き込むステップと、
永続的ストレージにデータベースレコードのセットを書き込むステップに応答して、確率的データ構造のセットのうちの１つ以上の確率的データ構造をパージするかどうかを判断するステップと、
を更に含む、例１１に記載の非一時的コンピュータ読取可能媒体。
１６． 第１データベースノードによって、第２データベースノードから、所与のデータベースレコードが第２データベースノードのインメモリキャッシュ内に記憶されていないかどうかを判断するために使用可能な確率的データ構造のセットを受け取るステップと、
第１データベースノードによって、特定のデータベースキーを伴うデータベーストランザクションを処理する要求を受け取るステップと、
第１データベースノードによって、確率的データ構造のセットに基づいて、第２データベースノードから、特定のデータベースキーに関連付けられるデータベースレコードの最近のバージョンを要求するかどうかを判断するステップと、
を含む、方法。
１７． 確率的データ構造のセットのうちの所与の確率的データ構造は、複数のキャッシュラインを含み、判断するステップは、
第１データベースノードによって、ハッシュ関数を特定のデータベースキーに適用してハッシュ値を導出するステップと、
ハッシュ値に基づいて、第１データベースノードが、所与の確率的データ構造の複数のキャッシュラインのうちの１つのキャッシュラインを選択するステップと、
第１データベースノードによって、キャッシュラインに記憶された情報が特定のデータベースキーを示すかどうかを判断するステップと、
を含む、例１６に記載の方法。
１８． キャッシュラインに記憶された情報が特定のデータベースキーを示していないと判断したことに応答して、第１データベースノードが、該第１データベースノードと第２データベースノードによって共有される永続的ストレージから、データベースレコードの最近のバージョンを要求するステップ、
を更に含む、例１７に記載の方法。
１９． キャッシュラインに記憶された情報が特定のデータベースキーを示すと判断したことに応答して、第１データベースノードが、データベースレコードの最近のバージョンについての要求を第２データベースノードに送信するステップと、
第１データベースノードによって、第２データベースノードからの応答を受け取るステップと、
を更に含む、例１７に記載の方法。
２０． 要求は、確率的データ構造のセットに関連付けられる最新のトランザクションコミットを識別し、応答は、追加の確率的データ構造のセットを含み、追加の確率的データ構造の各々は、要求によって識別される最新のトランザクションコミットより後に発生する最新のトランザクションコミットに関連付けられる、
例１９に記載の方法。
【0087】
特定の実施形態を上記で説明してきたが、これらの実施形態は、たとえ単一の実施形態のみが特定の特徴に関して記載されている場合であっても、本開示の範囲を限定するように意図されていない。本開示において提供される特徴の例は、特段の記載がない限り、限定的ではなく例示的であるように意図されている。上記の説明は、本開示の利益を有する当業者に明らかであるような、そのような代替、修正及び均等物を網羅するよう意図されている。
【0088】
本開示の範囲は、本明細書で対処される問題のいずれか又はすべてを緩和するか否かにかかわらず、本明細書において（明示的又は暗示的に）開示される任意の特徴又は特徴の組合せ又はその任意の一般化を含む。したがって、新たなクレームが、本出願（又はその優先権を主張する出願）の手続中にいずれかのそのような特徴の組合せに対して考案されてもよい。特に、添付の特許請求の範囲を参照すると、従属請求項の特徴は、独立請求項の特徴と組み合わされてよく、それぞれの独立請求項の特徴は、添付の特許請求の範囲に列挙された特定の組合せだけではなく、任意の適切な方法で組み合わされてよい。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】