知財求人 - 知財ポータルサイト「IP Force」
特開2022-137795ストレージ装置、ストレージクライアント装置および制御方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022137795
(43)【公開日】2022-09-22
(54)【発明の名称】ストレージ装置、ストレージクライアント装置および制御方法
(51)【国際特許分類】
G06F 16/28 20190101AFI20220914BHJP
G06F 13/10 20060101ALI20220914BHJP
【ＦＩ】
G06F16/28
G06F13/10 320Z
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021037467
(22)【出願日】2021-03-09
(71)【出願人】
【識別番号】318010018
【氏名又は名称】キオクシア株式会社
(74)【代理人】
【識別番号】110001737
【氏名又は名称】特許業務法人スズエ国際特許事務所
(72)【発明者】
【氏名】大場 義洋
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175BA02
(57)【要約】
【課題】ＫＶＳに保持されるデータを共有する複数のノードのそれぞれにおいて、自ノードによるデータ操作とは別途行われ得る他のノードによるデータ操作の影響をなくすことができるストレージ装置を提供する。
【解決手段】実施形態によれば、ストレージ装置は、検索キーと値との組みを保持する第１テーブルと、検索キーとメンバーセットとの組みを保持する第２テーブルとを保持する。ストレージ装置は、第１検索キーと第１値とを含むset命令を受信したとき、第１検索キーに対応する第１テーブルのエントリの値と第１値とが一致する場合に、第１検索キーに対応する第２テーブルのエントリのメンバーセットにset命令を発行したメンバーを追加し、第２検索キーを含むget命令を受信したとき、第２検索キーに対応する第２テーブルのエントリのメンバーセットにget命令を発行したメンバーが含まれる場合に、第２検索キーに対応する第１テーブルのエントリの値を出力する。
【選択図】図２
【解決手段】実施形態によれば、ストレージ装置は、検索キーと値との組みを保持する第１テーブルと、検索キーとメンバーセットとの組みを保持する第２テーブルとを保持する。ストレージ装置は、第１検索キーと第１値とを含むset命令を受信したとき、第１検索キーに対応する第１テーブルのエントリの値と第１値とが一致する場合に、第１検索キーに対応する第２テーブルのエントリのメンバーセットにset命令を発行したメンバーを追加し、第２検索キーを含むget命令を受信したとき、第２検索キーに対応する第２テーブルのエントリのメンバーセットにget命令を発行したメンバーが含まれる場合に、第２検索キーに対応する第１テーブルのエントリの値を出力する。
【選択図】図２
【特許請求の範囲】
【請求項1】
記憶部と、
前記記憶部の入出力を制御する制御部と、
を具備し、
前記記憶部は、
検索キーと値との組みを保持する第１テーブルと、
前記検索キーと、前記検索キーに関連づけて前記値を前記第１テーブルに格納することを要求するset命令を発行したメンバーの集合体であるメンバーセットとの組みを保持する第２テーブルと、
を保持し、
前記制御部は、
第１検索キーと第１値とをパラメータに含む前記set命令を受信したとき、前記第１検索キーに対応する前記第１テーブルのエントリに保持されている値と前記第１値とが一致する場合に、前記第１検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットに前記set命令を発行したメンバーを追加し、
前記検索キーに基づいて前記検索キーに関連づけられている前記値を前記第１テーブルから取得することを要求するget命令であって、第２検索キーをパラメータに含む前記get命令を受信したとき、前記第２検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットに前記get命令を発行したメンバーが含まれる場合に、前記第２検索キーに対応する前記第１テーブルのエントリに保持されている値を前記第１テーブルから出力し、
前記検索キーに基づいて前記検索キーに関連づけられている前記値を前記第１テーブルから削除することを要求するdelete命令であって、第３検索キーをパラメータに含む前記delete命令を受信したとき、前記第３検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットから前記delete命令を発行したメンバーを削除し、前記メンバーセットに含まれるメンバーの数が０となった場合、前記第１テーブルから前記第３検索キーに対応するエントリを削除し、前記第２テーブルから前記第３検索キーに対応するエントリを削除する、
ストレージ装置。
前記記憶部の入出力を制御する制御部と、
を具備し、
前記記憶部は、
検索キーと値との組みを保持する第１テーブルと、
前記検索キーと、前記検索キーに関連づけて前記値を前記第１テーブルに格納することを要求するset命令を発行したメンバーの集合体であるメンバーセットとの組みを保持する第２テーブルと、
を保持し、
前記制御部は、
第１検索キーと第１値とをパラメータに含む前記set命令を受信したとき、前記第１検索キーに対応する前記第１テーブルのエントリに保持されている値と前記第１値とが一致する場合に、前記第１検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットに前記set命令を発行したメンバーを追加し、
前記検索キーに基づいて前記検索キーに関連づけられている前記値を前記第１テーブルから取得することを要求するget命令であって、第２検索キーをパラメータに含む前記get命令を受信したとき、前記第２検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットに前記get命令を発行したメンバーが含まれる場合に、前記第２検索キーに対応する前記第１テーブルのエントリに保持されている値を前記第１テーブルから出力し、
前記検索キーに基づいて前記検索キーに関連づけられている前記値を前記第１テーブルから削除することを要求するdelete命令であって、第３検索キーをパラメータに含む前記delete命令を受信したとき、前記第３検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットから前記delete命令を発行したメンバーを削除し、前記メンバーセットに含まれるメンバーの数が０となった場合、前記第１テーブルから前記第３検索キーに対応するエントリを削除し、前記第２テーブルから前記第３検索キーに対応するエントリを削除する、
ストレージ装置。
【請求項2】
前記制御部は、
前記第１検索キーと前記第１値とをパラメータに含む前記set命令を受信したとき、前記第１検索キーに対応する前記第２テーブルのエントリが存在しない場合、前記第１検索キーに対応する前記第２テーブルのエントリを作成し、前記第１検索キーと前記第１値との組みを保持する前記第１テーブルのエントリを作成し、前記第１検索キーと前記set命令を発行したメンバーのみを含むメンバーセットとの組みを保持する前記第２テーブルのエントリを作成する、
請求項１に記載のストレージ装置。
前記第１検索キーと前記第１値とをパラメータに含む前記set命令を受信したとき、前記第１検索キーに対応する前記第２テーブルのエントリが存在しない場合、前記第１検索キーに対応する前記第２テーブルのエントリを作成し、前記第１検索キーと前記第１値との組みを保持する前記第１テーブルのエントリを作成し、前記第１検索キーと前記set命令を発行したメンバーのみを含むメンバーセットとの組みを保持する前記第２テーブルのエントリを作成する、
請求項１に記載のストレージ装置。
【請求項3】
前記記憶部は、前記set命令、前記get命令および前記delete命令の発行を許可されたメンバーのメンバー識別子とメンバー情報との組みを保持する第３テーブルをさらに保持する請求項１または２に記載のストレージ装置。
【請求項4】
前記メンバー情報は、前記set命令、前記get命令および前記delete命令の発行を許可されたメンバーの公開鍵およびリプレイカウンタ値を含み、
前記set命令、前記get命令および前記delete命令は、カウンタ値とデジタル署名とをパラメータに含み、
前記制御部は、
前記set命令、前記get命令または前記delete命令を発行したメンバーのメンバー識別子に合致する前記第３テーブルのエントリが存在し、前記カウンタ値がメンバー識別子に合致する前記第３テーブルのエントリに保持されているリプレイカウンタ値以上であり、前記デジタル署名が、前記set命令、前記get命令または前記delete命令の前記デジタル署名以外のパラメータの並びに対して前記メンバー識別子に合致する前記第３テーブルのエントリに保持されている公開鍵を用いて計算されたデジタル署名と一致する場合に、前記set命令、前記get命令または前記delete命令に応じた処理を実行し、前記メンバー識別子に合致する前記第３テーブルのエントリに保持されているリプレイカウンタ値を前記リプレイカウンタ値に１を加えた値に更新する、
請求項３に記載のストレージ装置。
前記set命令、前記get命令および前記delete命令は、カウンタ値とデジタル署名とをパラメータに含み、
前記制御部は、
前記set命令、前記get命令または前記delete命令を発行したメンバーのメンバー識別子に合致する前記第３テーブルのエントリが存在し、前記カウンタ値がメンバー識別子に合致する前記第３テーブルのエントリに保持されているリプレイカウンタ値以上であり、前記デジタル署名が、前記set命令、前記get命令または前記delete命令の前記デジタル署名以外のパラメータの並びに対して前記メンバー識別子に合致する前記第３テーブルのエントリに保持されている公開鍵を用いて計算されたデジタル署名と一致する場合に、前記set命令、前記get命令または前記delete命令に応じた処理を実行し、前記メンバー識別子に合致する前記第３テーブルのエントリに保持されているリプレイカウンタ値を前記リプレイカウンタ値に１を加えた値に更新する、
請求項３に記載のストレージ装置。
【請求項5】
前記記憶部は、１次記憶部と、２次記憶部とを含み、
前記第１テーブルは、前記１次記憶部に保持される１次第１テーブルと、前記２次記憶部に保持される２次第１テーブルとを含み、
前記第２テーブルは、各エントリにおいて、前記メンバーセットに含まれるいずれかのメンバーによって前記set命令が最後に実行された時刻を保持し、
前記制御部は、現在時刻から一定値を減じた値以上の時刻が保持されている前記第２テーブルのエントリに対応する前記第１テーブルのエントリを前記１次第１テーブルに保持し、現在時刻から一定値を減じた値未満の時刻が保持されている前記第２テーブルのエントリに対応する前記第１テーブルのエントリを前記２次第１テーブルに保持する、
請求項１～４のいずれか１項に記載のストレージ装置。
前記第１テーブルは、前記１次記憶部に保持される１次第１テーブルと、前記２次記憶部に保持される２次第１テーブルとを含み、
前記第２テーブルは、各エントリにおいて、前記メンバーセットに含まれるいずれかのメンバーによって前記set命令が最後に実行された時刻を保持し、
前記制御部は、現在時刻から一定値を減じた値以上の時刻が保持されている前記第２テーブルのエントリに対応する前記第１テーブルのエントリを前記１次第１テーブルに保持し、現在時刻から一定値を減じた値未満の時刻が保持されている前記第２テーブルのエントリに対応する前記第１テーブルのエントリを前記２次第１テーブルに保持する、
請求項１～４のいずれか１項に記載のストレージ装置。
【請求項6】
前記制御部は、前記第１検索キーと前記第１値とをパラメータに含む前記set命令を受信したとき、前記第１検索キーに対応する前記第１テーブルのエントリが前記２次第１テーブルに保持されている場合、前記第１検索キーに対応する前記第１テーブルのエントリを、前記２次第１テーブルから前記１次第１テーブルに移動させる、
請求項５に記載のストレージ装置。
請求項５に記載のストレージ装置。
【請求項7】
ネットワークを介して前記記憶部にアクセスするネットワークインターフェース部をさらに具備し、
前記制御部は、前記ネットワークインターフェース部に設けられる、
請求項１～６のいずれか１項に記載のストレージ装置。
前記制御部は、前記ネットワークインターフェース部に設けられる、
請求項１～６のいずれか１項に記載のストレージ装置。
【請求項8】
検索キーと値との組みを保持する第１テーブルと、前記検索キーと、前記検索キーに関連づけて前記値を前記第１テーブルに格納することを要求するset命令を発行したメンバーの集合体であるメンバーセットとの組みを保持する第２テーブルとを保持する外部ストレージとネットワークを介して接続されるストレージクライアント装置であって、
前記ネットワークを介して接続される前記外部ストレージに関する、前記set命令に応じた処理、前記検索キーに基づいて前記検索キーに関連づけられている前記値を前記第１テーブルから取得することを要求するget命令に応じた処理、および、前記検索キーに基づいて前記検索キーに関連づけられている前記値を前記第１テーブルから削除することを要求するdelete命令に応じた処理を実行する制御部を具備し、
前記制御部は、
第１検索キーと第１値とをパラメータに含む前記set命令を受信したとき、前記第１検索キーに対応する前記第１テーブルのエントリに保持されている値と前記第１値とが一致する場合に、前記第１検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットに前記set命令を発行したメンバーを追加し、
第２検索キーをパラメータに含む前記get命令を受信したとき、前記第２検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットに前記get命令を発行したメンバーが含まれる場合に、前記第２検索キーに対応する前記第１テーブルのエントリに保持されている値を前記第１テーブルから出力し、
第３検索キーをパラメータに含む前記delete命令を受信したとき、前記第３検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットから前記delete命令を発行したメンバーを削除し、前記メンバーセットに含まれるメンバーの数が０となった場合、前記第１テーブルから前記第３検索キーに対応するエントリを削除し、前記第２テーブルから前記第３検索キーに対応するエントリを削除する、
ストレージクライアント装置。
前記ネットワークを介して接続される前記外部ストレージに関する、前記set命令に応じた処理、前記検索キーに基づいて前記検索キーに関連づけられている前記値を前記第１テーブルから取得することを要求するget命令に応じた処理、および、前記検索キーに基づいて前記検索キーに関連づけられている前記値を前記第１テーブルから削除することを要求するdelete命令に応じた処理を実行する制御部を具備し、
前記制御部は、
第１検索キーと第１値とをパラメータに含む前記set命令を受信したとき、前記第１検索キーに対応する前記第１テーブルのエントリに保持されている値と前記第１値とが一致する場合に、前記第１検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットに前記set命令を発行したメンバーを追加し、
第２検索キーをパラメータに含む前記get命令を受信したとき、前記第２検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットに前記get命令を発行したメンバーが含まれる場合に、前記第２検索キーに対応する前記第１テーブルのエントリに保持されている値を前記第１テーブルから出力し、
第３検索キーをパラメータに含む前記delete命令を受信したとき、前記第３検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットから前記delete命令を発行したメンバーを削除し、前記メンバーセットに含まれるメンバーの数が０となった場合、前記第１テーブルから前記第３検索キーに対応するエントリを削除し、前記第２テーブルから前記第３検索キーに対応するエントリを削除する、
ストレージクライアント装置。
【請求項9】
前記制御部は、
前記第１検索キーと前記第１値とをパラメータに含む前記set命令を受信したとき、前記第１検索キーに対応する前記第２テーブルのエントリが存在しない場合、前記第１検索キーに対応する前記第２テーブルのエントリを作成し、前記第１検索キーと前記第１値との組みを保持する前記第１テーブルのエントリを作成し、前記第１検索キーと前記set命令を発行したメンバーのみを含むメンバーセットとの組みを保持する前記第２テーブルのエントリを作成する、
請求項８に記載のストレージクライアント装置。
前記第１検索キーと前記第１値とをパラメータに含む前記set命令を受信したとき、前記第１検索キーに対応する前記第２テーブルのエントリが存在しない場合、前記第１検索キーに対応する前記第２テーブルのエントリを作成し、前記第１検索キーと前記第１値との組みを保持する前記第１テーブルのエントリを作成し、前記第１検索キーと前記set命令を発行したメンバーのみを含むメンバーセットとの組みを保持する前記第２テーブルのエントリを作成する、
請求項８に記載のストレージクライアント装置。
【請求項10】
前記制御部は、他の前記ストレージクライアント装置の前記制御部との間の前記set命令、前記get命令または前記delete命令の発行に関する排他制御を行う分散ロック部を具備する、
請求項８または９に記載のストレージクライアント装置。
請求項８または９に記載のストレージクライアント装置。
【請求項11】
検索キーと値との組みを保持する第１テーブルと、前記検索キーと、前記検索キーに関連づけて前記値を前記第１テーブルに格納することを要求するset命令を発行したメンバーの集合体であるメンバーセットとの組みを保持する第２テーブルとを保持するストレージ装置の制御方法であって、
第１検索キーと第１値とをパラメータに含む前記set命令を受信したとき、前記第１検索キーに対応する前記第１テーブルのエントリに保持されている値と前記第１値とが一致する場合に、前記第１検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットに前記set命令を発行したメンバーを追加し、
前記検索キーに基づいて前記検索キーに関連づけられている前記値を前記第１テーブルから取得することを要求するget命令であって、第２検索キーをパラメータに含む前記get命令を受信したとき、前記第２検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットに前記get命令を発行したメンバーが含まれる場合に、前記第２検索キーに対応する前記第１テーブルのエントリに保持されている値を前記第１テーブルから出力し、
前記検索キーに基づいて前記検索キーに関連づけられている前記値を前記第１テーブルから削除することを要求するdelete命令であって、第３検索キーをパラメータに含む前記delete命令を受信したとき、前記第３検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットから前記delete命令を発行したメンバーを削除し、前記メンバーセットに含まれるメンバーの数が０となった場合、前記第１テーブルから前記第３検索キーに対応するエントリを削除し、前記第２テーブルから前記第３検索キーに対応するエントリを削除する、
制御方法。
第１検索キーと第１値とをパラメータに含む前記set命令を受信したとき、前記第１検索キーに対応する前記第１テーブルのエントリに保持されている値と前記第１値とが一致する場合に、前記第１検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットに前記set命令を発行したメンバーを追加し、
前記検索キーに基づいて前記検索キーに関連づけられている前記値を前記第１テーブルから取得することを要求するget命令であって、第２検索キーをパラメータに含む前記get命令を受信したとき、前記第２検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットに前記get命令を発行したメンバーが含まれる場合に、前記第２検索キーに対応する前記第１テーブルのエントリに保持されている値を前記第１テーブルから出力し、
前記検索キーに基づいて前記検索キーに関連づけられている前記値を前記第１テーブルから削除することを要求するdelete命令であって、第３検索キーをパラメータに含む前記delete命令を受信したとき、前記第３検索キーに対応する前記第２テーブルのエントリに保持されているメンバーセットから前記delete命令を発行したメンバーを削除し、前記メンバーセットに含まれるメンバーの数が０となった場合、前記第１テーブルから前記第３検索キーに対応するエントリを削除し、前記第２テーブルから前記第３検索キーに対応するエントリを削除する、
制御方法。
【請求項12】
さらに、前記第１検索キーと前記第１値とをパラメータに含む前記set命令を受信したとき、前記第１検索キーに対応する前記第２テーブルのエントリが存在しない場合、前記第１検索キーに対応する前記第２テーブルのエントリを作成し、前記第１検索キーと前記第１値との組みを保持する前記第１テーブルのエントリを作成し、前記第１検索キーと前記set命令を発行したメンバーのみを含むメンバーセットとの組みを保持する前記第２テーブルのエントリを作成する請求項１１に記載の制御方法。
【請求項13】
前記ストレージ装置は、前記set命令、前記get命令および前記delete命令の発行を許可されたメンバーのメンバー識別子とメンバー情報との組みを保持する第３テーブルをさらに保持し、
前記メンバー情報は、前記set命令、前記get命令および前記delete命令の発行を許可されたメンバーの公開鍵およびリプレイカウンタ値を含み、
前記set命令、前記get命令および前記delete命令は、カウンタ値とデジタル署名とをパラメータに含み、
さらに、前記set命令、前記get命令または前記delete命令を発行したメンバーのメンバー識別子に合致する前記第３テーブルのエントリが存在し、前記カウンタ値がメンバー識別子に合致する前記第３テーブルのエントリに保持されているリプレイカウンタ値以上であり、前記デジタル署名が、前記set命令、前記get命令または前記delete命令の前記デジタル署名以外のパラメータの並びに対して前記メンバー識別子に合致する前記第３テーブルのエントリに保持されている公開鍵を用いて計算されたデジタル署名と一致する場合に、前記set命令、前記get命令または前記delete命令に応じた処理を実行し、前記メンバー識別子に合致する前記第３テーブルのエントリに保持されているリプレイカウンタ値を前記リプレイカウンタ値に１を加えた値に更新する、
請求項１２に記載の制御方法。
前記メンバー情報は、前記set命令、前記get命令および前記delete命令の発行を許可されたメンバーの公開鍵およびリプレイカウンタ値を含み、
前記set命令、前記get命令および前記delete命令は、カウンタ値とデジタル署名とをパラメータに含み、
さらに、前記set命令、前記get命令または前記delete命令を発行したメンバーのメンバー識別子に合致する前記第３テーブルのエントリが存在し、前記カウンタ値がメンバー識別子に合致する前記第３テーブルのエントリに保持されているリプレイカウンタ値以上であり、前記デジタル署名が、前記set命令、前記get命令または前記delete命令の前記デジタル署名以外のパラメータの並びに対して前記メンバー識別子に合致する前記第３テーブルのエントリに保持されている公開鍵を用いて計算されたデジタル署名と一致する場合に、前記set命令、前記get命令または前記delete命令に応じた処理を実行し、前記メンバー識別子に合致する前記第３テーブルのエントリに保持されているリプレイカウンタ値を前記リプレイカウンタ値に１を加えた値に更新する、
請求項１２に記載の制御方法。
【請求項14】
前記ストレージ装置は、１次記憶部と、２次記憶部とを含み、
前記第１テーブルは、前記１次記憶部に保持される１次第１テーブルと、前記２次記憶部に保持される２次第１テーブルとを含み、
前記第２テーブルは、各エントリにおいて、前記メンバーの集合体に含まれるいずれかのメンバーによって前記set命令が最後に実行された時刻を保持し、
さらに、現在時刻から一定値を減じた値以上の時刻が保持されている前記第２テーブルのエントリに対応する前記第１テーブルのエントリを前記１次第１テーブルに保持し、現在時刻から一定値を減じた値未満の時刻が保持されている前記第２テーブルのエントリに対応する前記第１テーブルのエントリを前記２次第１テーブルに保持する、
請求項１１～１３のいずれか１項に記載の制御方法。
前記第１テーブルは、前記１次記憶部に保持される１次第１テーブルと、前記２次記憶部に保持される２次第１テーブルとを含み、
前記第２テーブルは、各エントリにおいて、前記メンバーの集合体に含まれるいずれかのメンバーによって前記set命令が最後に実行された時刻を保持し、
さらに、現在時刻から一定値を減じた値以上の時刻が保持されている前記第２テーブルのエントリに対応する前記第１テーブルのエントリを前記１次第１テーブルに保持し、現在時刻から一定値を減じた値未満の時刻が保持されている前記第２テーブルのエントリに対応する前記第１テーブルのエントリを前記２次第１テーブルに保持する、
請求項１１～１３のいずれか１項に記載の制御方法。
【請求項15】
さらに、前記第１検索キーと前記第１値とをパラメータに含む前記set命令を受信したとき、前記第１検索キーに対応する前記第１テーブルのエントリが前記２次第１テーブルに保持されている場合、前記第１検索キーに対応する前記第１テーブルのエントリを、前記２次第１テーブルから前記１次第１テーブルに移動させる、
請求項１４に記載の制御方法。
請求項１４に記載の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、ストレージ装置、ストレージクライアント装置および制御方法に関する。
【背景技術】
【0002】
ＫＶＳ（キーバリューストア）は、検索キーと検索キーに対応した値との組みを保持するデータストアの総称である。一般的に、ＫＶＳは、複数のクライアントにより共有される。従来のＫＶＳは、共有が許可されている任意のクライアントが、ＫＶＳの操作コマンドであるgetコマンド、setコマンド、deleteコマンドを自由に発行できる。
【0003】
ＫＶＳの代表的な用途の一つにブロックチェーンシステムがある。ブロックチェーンシステムにおいては、ピアツーピア（Ｐ２Ｐ）ネットワークに参加する各ブロックチェーンノード（以下、ノード）が、（１）クライアントにより生成されたトランザクションをブロードキャストし、（２）受信したトランザクションを実行し、（３）実行済みトランザクションの実行履歴であるブロックを生成してブロードキャストし、（４）ブロック受信時には受信ブロックに対して合意形成アルゴリズムを各ノードで分散実行した上で、合意形成に成功したブロックを自身のブロックチェーンに追加する、という一連の手続きを繰り返し実行する。このとき、同一内容のブロックが各ノードで保持されることになる。つまり、Ｎ個のノードが参加するＰ２Ｐネットワークにおいては、各ブロックにつきＮ個のコピーがＰ２Ｐネットワーク上の分散ストレージに存在することになる。
【0004】
Ｐ２Ｐネットワーク上の分散ストレージとしてＮＶＭｅ－ｏＦ対応のストレージサーバを使用する場合、ストレージサーバにＮ個のブロックのコピーを保持する代わりに、Ｎ個のノード間でブロックの実体を共有して保持すれば、ストレージ容量を１／Ｎに抑えることができると期待される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許出願公開第２０２０／００８１９９８号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の１つの実施形態は、ＫＶＳに保持されるデータを複数のノードで共有する場合に、複数のノードのそれぞれにおいて、自ノードによるデータ操作とは別途行われ得る他のノードによるデータ操作の影響をなくすことができるストレージ装置、ストレージクライアント装置および制御方法を提供する。
【課題を解決するための手段】
【0007】
実施形態によれば、ストレージ装置は、記憶部と、制御部と、を具備する。制御部は、記憶部の入出力を制御する。記憶部は、第１テーブルと、第２テーブルと、を保持する。第１テーブルは、検索キーと値との組みを保持する。第２テーブルは、検索キーと、検索キーに関連づけて値を第１テーブルに格納することを要求するset命令を発行したメンバーの集合体であるメンバーセットの組みを保持する。制御部は、第１検索キーと第１値とをパラメータに含むset命令を受信したとき、第１検索キーに対応する第１テーブルのエントリに保持されている値と第１値とが一致する場合に、第１検索キーに対応する第２テーブルのエントリに保持されているメンバーセットにset命令を発行したメンバーを追加する。制御部は、検索キーに基づいて検索キーに関連づけられている値を第１テーブルから取得することを要求するget命令であって、第２検索キーをパラメータに含むget命令を受信したとき、第２検索キーに対応する第２テーブルのエントリに保持されているメンバーセットにget命令を発行したメンバーが含まれる場合に、第２検索キーに対応する第１テーブルのエントリに保持されている値を第１テーブルから出力する。制御部は、検索キーに基づいて検索キーに関連づけられている値を第１テーブルから削除することを要求するdelete命令であって、第３検索キーをパラメータに含むdelete命令を受信したとき、第３検索キーに対応する第２テーブルのエントリに保持されているメンバーセットからdelete命令を発行したメンバーを削除し、メンバーセットに含まれるメンバーの数が０となった場合、第１テーブルから第３検索キーに対応するエントリを削除し、第２テーブルから前記第３検索キーに対応するエントリを削除する。
【図面の簡単な説明】
【0008】
【図1】第１実施形態の共有制御型ＫＶＳを適用する計算機のハードウェア構成例を示す図
【図2】第１実施形態の共有制御型ＫＶＳの機能ブロック図
【図3】第１実施形態の共有制御型ＫＶＳのset命令に係るフローチャート
【図4】第１実施形態の共有制御型ＫＶＳのget命令に係るフローチャート
【図5】第１実施形態の共有制御型ＫＶＳのdelete命令に係るフローチャート
【図6】第１実施形態の共有制御型ＫＶＳを適用するネットワークストレージ装置のハードウェア構成例を示す図
【図7】第２実施形態の共有制御型ＫＶＳを適用するネットワークストレージ装置のハードウェア構成例を示す図
【図8】第２実施形態の共有制御型ＫＶＳの機能ブロック図
【図9】第２実施形態の共有制御型ＫＶＳのset命令に係るフローチャート
【図10】第２実施形態の共有制御型ＫＶＳのget命令に係るフローチャート
【図11】第２実施形態の共有制御型ＫＶＳのdelete命令に係るフローチャート
【図12】第３実施形態の分散ロックモジュールを使用しない場合の共有制御型ＫＶＳの機能ブロック図
【図13】第３実施形態の分散ロックモジュールを使用する場合の共有制御型ＫＶＳの機能ブロック図
【図14】第３実施形態の分散ロックモジュールを使用しない場合の共有制御型ＫＶＳのＫＶＳ操作命令に係るフローチャート
【図15】第３実施形態の分散ロックモジュールを使用する場合の共有制御型ＫＶＳのＫＶＳ操作命令に係るフローチャート
【図16】第４実施形態の共有制御型ＫＶＳにおけるメンバーセットＫＶおよびデータＫＶの一構成例を示す図
【発明を実施するための形態】
【0009】
以下、実施の形態について、図面を参照して説明する。
【0010】
（第１実施形態）
まず、第１実施形態について説明する。
まず、第１実施形態について説明する。
【0011】
前述したように、Ｐ２Ｐネットワーク上の分散ストレージとしてＮＶＭｅ－ｏＦ対応のストレージサーバを使用する場合、ストレージサーバにＮ個のブロックのコピーを保持する代わりに、Ｎ個のノード間でブロックの実体を共有して保持すれば、ストレージ容量を１／Ｎに抑えることができると期待される。しかしながら、ブロックの実体を従来のＫＶＳを用いて複数のノード間で共有する場合には、以下の２つの問題がある。
【0012】
第１の問題は、あるノードが受信したブロックの実体がＫＶＳに保持されている場合、別のノードは、このブロックを未受信であるにも関わらず、このブロックにアクセスできてしまうことである。
【0013】
第２の問題は、あるノードによりブロックが削除された場合、別のノードは、このブロックをまだ保持していているにも関わらず、このブロックにアクセスできなくなることである。
【0014】
上記第１の問題および第２の問題は、ともにブロックチェーンシステムの誤動作を起こす原因となる。
【0015】
第１実施形態は、ＫＶＳに保持されるデータを複数のノードで共有する場合に、複数のノードのそれぞれにおいて、自ノードによるデータ操作とは別途行われ得る他のノードによるデータ操作の影響をなくすことができる共有制御型ＫＶＳに関する。
【0016】
図１は、第１実施形態の共有制御型ＫＶＳ１０を適用する計算機（コンピュータ）１００のハードウェア構成例を示す図である。なお、図１には、共有制御型ＫＶＳ１０（１０－１～３）の３通りの実装例が示されている。
【0017】
計算機１００は、サーバやパーソナルコンピュータなどである。計算機１００は、ＣＰＵ１と、メインメモリ２と、複数のストレージ３と、複数の非ストレージＰＣＩ Express（ＰＣＩｅ）（登録商標）デバイス４とを有する。また、計算機１００は、メモリバス５と、ＰＣＩｅバス６とを有する。複数のストレージ３のそれぞれには、ストレージ３の入出力を制御するＩＯ制御モジュール３Ａが外付けされ、または、ストレージ３の入出力を制御するＩＯ制御モジュール３Ｂが内蔵される。
【0018】
ＣＰＵ１は、メモリバス５によってメインメモリ２と接続されている。また、ＣＰＵ１は、ＰＣＩｅバス６によって複数のストレージ３や複数の非ストレージＰＣＩｅデバイス４と接続されている。ＣＰＵ１は、メモリバス５によって接続されるメインメモリ２上のプログラムを実行する。ＣＰＵ１は、プログラムの記述に従い、ＰＣＩｅバス６によって接続される複数のストレージ３や複数の非ストレージＰＣＩｅデバイス４を制御する。
【0019】
第１実施形態の共有制御型ＫＶＳ１０は、ＫＶＳ処理モジュール１１と、データＫＶ１２と、メンバーセットＫＶ１３とによって構成される。ＫＶＳ処理モジュール１１は、たとえばＩＯ制御モジュール３ＡやＩＯ制御モジュール３Ｂに搭載され得る。ＫＶＳ処理モジュール１１は、電気回路などといったハードウェアによって実現されるものであってもよいし、プロセッサ（図示せず）によって実行されるプログラム（ソフトウェア）によって実現されるものであってもよい。データＫＶ１２とメンバーセットＫＶ１３とは、ストレージ３に保持される。
【0020】
前述したように、図１には、共有制御型ＫＶＳ１０（１０－１～３）の３通りの実装例が示されている。共有制御型ＫＶＳ１０－１は、ストレージ３に対してＫＶＳ処理モジュール１１が外付けされている。このＫＶＳ処理モジュール１１は、たとえば図１に示すように、外付けのＩＯ制御モジュール３Ａ内に実装されるかもしれない。共有制御型ＫＶＳ１０－２は、１つのＫＶＳ処理モジュール１１に対して複数のストレージ３が接続している。これは、たとえばＲＡＩＤコントローラのような部分にＫＶＳ処理モジュール１１の機能が搭載されている場合や、ＰＣＩｅスイッチなどのブリッジチップにストレージプロトコルを処理する機能とともにＫＶＳ処理モジュール１１の機能が搭載されている場合を想定している。このＫＶＳ処理モジュール１１は、たとえば図１に示すように、外付けのＩＯ制御モジュール３Ａ内に実装されるかもしれない。共有制御型ＫＶＳ１０－３は、ストレージ３内にＫＶＳ処理モジュール１１が統合されている。このＫＶＳ処理モジュール１１は、たとえば図１に示すように、ストレージ３内のＩＯ制御モジュール３Ｂ内に実装されるかもしれない。なお、ストレージ３の外部か内部かによってＫＶＳ処理モジュールの本質的な機能は制限されない。図２は、このように様々な様態で実装され得る第１実施形態の共有制御型ＫＶＳ１０の機能ブロック図である。
【0021】
前述したように、共有制御型ＫＶＳ１０は、ＫＶＳ処理モジュール１１と、データＫＶ１２と、メンバーセットＫＶ１３とによって構成される。
【0022】
ＫＶＳ処理モジュール１１は、たとえば図１に示されるＣＰＵ１などの外部からＫＶＳ操作命令を受信し、ＫＶＳ操作命令の内容に応じて、メンバーセットＫＶ１３を参照または更新しつつ、データＫＶ１２の所定のＫＶエントリに対する操作を実行し、ＫＶＳ操作命令の実行結果を外部に出力する。ＫＶＳ操作命令は、たとえば、set命令、get命令、delete命令である。
【0023】
set命令は、検索キーに関連づけて値（value）をデータＫＶ１２に格納することを要求する命令である。get命令は、検索キーに基づいて当該検索キーに関連づけられている値をデータＫＶ１２から取得することを要求する命令である。delete命令は、検索キーに基づいて当該検索キーに関連づけられている値をデータＫＶ１２から削除することを要求する命令である。
【0024】
データＫＶ１２は、set命令で関連づけられた、検索キーと値との組みを保持するテーブル（第１テーブル）である。図２のデータＫＶ１２は、Ｌ個のエントリを持ち、検索キーKｉ(i=1, ..., L)に対する値はVｉで表される。
【0025】
メンバーセットＫＶ１３は、データＫＶ１２に保持されている検索キーのそれぞれに対し、検索キーとメンバーセットとの組みを保持するテーブル（第２テーブル）である。メンバーセットは、同一の検索キーおよび値を指定してset命令を発行したメンバーの集合体である。図２のメンバーセットＫＶ１３は、Ｌ個のエントリを持ち、検索キーKｉ(i=1, ..., L)に対するメンバーセットはmsetｉで表される。
【0026】
次に、図３、図４、図５を用いて、図２に示した第１実施形態における共有制御型ＫＶＳ１０のＫＶＳ操作命令の動作を説明する。以下、ＫＶＳ操作命令呼出し元のメンバーにはＫＶＳ操作命令実行に必要なメンバー個別の属性や状態を保持する構造体（コンテキストと呼ぶ）が割り当てられており、呼出し元メンバーのコンテキストに付随してＫＶＳ操作命令が呼び出されるものとする。また、コンテキストの属性にはメンバー識別子が含まれるとする。以降の説明では、ホストとの接続関係や不揮発性メモリとの接続関係を特定せずに汎用的な表現で情報の入出力を述べるが、実際には各種プロトコルに基づく命令を用いることができる。
【0027】
図３は、第１実施形態における共有制御型ＫＶＳ１０のset命令に係るフローチャートである。
【0028】
本動作は、メンバー（たとえばノード上のアプリケーションプログラム）が発行したset命令をＫＶＳ処理モジュール１１が外部から受信することで開始される。set命令は、検索キー（key）および値（value）を入力引数（パラメータ）に持つ。ここでは、set命令呼出し元コンテキストのメンバー識別子をmemberIDとする。
【0029】
ＫＶＳ処理モジュール１１は、まず、getMemberSetKv(key)でメンバーセットＫＶ１３からkeyに対応するメンバーセット(member_set)を取得する（Ｓ１０１）。getMemberSetKvは、検索キー（key）を入力引数に持つ命令であって、メンバーセットＫＶ１３からkeyに対応するメンバーセットを取得することを要求する命令である。もし、メンバーセットが存在しなければ（Ｓ１０２：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、newMemberSet()で新しいメンバーセットを生成してこれをmember_setとし、setDataKv(key, value)により、データＫＶ１２のkeyに対応するエントリの値にvalueを設定する（Ｓ１０４）。メンバーセットが存在しない場合とは、対象の検索キー（key）を入力引数に含むset命令が最初に受信された場合である。newMemberSet()は、メンバーセットＫＶ１３に新しいメンバーセットを生成することを要求する命令である。setDataKvは、検索キー（key）と値(value)とを入力引数に持つ命令であって、データＫＶ１２のkeyに対応するエントリの値にvalueを設定することを要求する命令である。
【0030】
続いて、ＫＶＳ処理モジュール１１は、member_set.add(memberID)により、memberIDに対応するメンバーをmember_setに追加し、setMemberSetKv(key, member_set)により、メンバーセットＫＶ１３のkeyに対応するエントリのメンバーセットにmember_setを設定する（Ｓ１０５）。member_set.addは、メンバー識別子（memberID）を入力引数に持つ命令であって、memberIDに対応するメンバーをmember_setに追加することを要求する命令である。setMemberSetKvは、検索キー（key）とメンバーセット(member_set)とを入力引数に持つ命令であって、メンバーセットＫＶ１３のkeyに対応するエントリのメンバーセットにmember_setを設定することを要求する命令である。ステップＳ１０５を終えると、ＫＶＳ処理モジュール１１は、set命令に係る処理を終了する。
【0031】
一方、もし、メンバーセットが存在すれば（Ｓ１０２：Ｎｏ）、ＫＶＳ処理モジュール１１は、getDataKv(key)でデータＫＶ１２を検索する（Ｓ１０３）。メンバーセットが存在する場合とは、対象の検索キー（key）を入力引数に含むset命令が過去に受信されている場合である。getDataKvは、検索キー（key）を入力引数に持つ命令であって、データＫＶ１２からkeyに対応する値を取得することを要求する命令である。データＫＶ１２のkeyに対応するエントリの値がvalueと一致していれば（Ｓ１０３：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、member_set.add(memberID)により、memberIDに対応するメンバーをmember_setに追加し、setMemberSetKv(key, member_set)により、メンバーセットＫＶ１３のkeyに対応するエントリのメンバーセットにmember_setを設定する（Ｓ１０５）。ステップＳ１０５を終えると、ＫＶＳ処理モジュール１１は、set命令に係る処理を終了する。
【0032】
データＫＶ１２のkeyに対応するエントリの値がvalueと一致していない場合には（Ｓ１０３：Ｎｏ）、ＫＶＳ処理モジュール１１は、エラーを出力して（Ｓ１０６）、set命令に係る処理を終了する。
【0033】
図４は、第１実施形態における共有制御型ＫＶＳ１０のget命令に係るフローチャートである。
【0034】
本動作は、メンバーが発行したget命令をＫＶＳ処理モジュール１１が外部から受信することで開始される。get命令は、検索キー(key)を入力引数に持つ。ここでは、get命令呼出し元コンテキストのメンバー識別子をmemberIDとする。
【0035】
ＫＶＳ処理モジュール１１は、まず、getMemberSetKv(key)でメンバーセットＫＶ１３からkeyに対応するエントリのメンバーセット(member_set)を取得する（Ｓ２０１）。もし、keyに対応するエントリが存在しなければ（Ｓ２０２：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、値無し（None）を出力する（Ｓ２０５）。keyに対応するエントリが存在しない場合とは、対象の検索キー（key）を入力引数に含むset命令が受信されていない場合である。ＫＶＳ処理モジュール１１は、ステップＳ２０５を終えると、get命令に係る処理を終了する。
【0036】
一方、もし、keyに対応するエントリが存在すれば（Ｓ２０２：Ｎｏ）、ＫＶＳ処理モジュール１１は、member_set.contains(memberID)により、memberIDに対応するメンバーがmember_setに含まれるかどうかを調べる（Ｓ２０３）。member_set.containsは、メンバー識別子（memberID）を入力引数に持つ命令であって、memberIDに対応するメンバーがmember_setに含まれるかどうかを調べることを要求する命令である。member_setに含まれる場合（Ｓ２０３：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、getDataKv(key)により、データＫＶ１２からkeyに対応する値（value）を取得し、この値（value）を出力する（Ｓ２０４）。member_setに含まれる場合とは、memberIDに対応するメンバーが対象の検索キー（key）を入力引数に含むset命令を発行している場合である。ステップＳ２０４を終えると、ＫＶＳ処理モジュール１１は、get命令に係る処理を終了する。
【0037】
member_setに含まれない場合（Ｓ２０３：Ｎｏ）、ＫＶＳ処理モジュール１１は、値無し（None）を出力する（Ｓ２０５）。member_setに含まれない場合とは、memberIDに対応するメンバーが対象の検索キー（key）を入力引数に含むset命令を発行していない場合である。つまり、データＫＶ１２の値（value）は、その値に関するset命令を発行したメンバーに限り取得することができる。ステップＳ２０５を終えると、ＫＶＳ処理モジュール１１は、get命令に係る処理を終了する。
【0038】
図５は、第１実施形態における共有制御型ＫＶＳ１０のdelete命令に係るフローチャートである。
【0039】
本動作は、メンバーが発行したdelete命令をＫＶＳ処理モジュール１１が外部から受信することで開始される。delete命令は、検索キー(key)を入力引数に持つ。ここでは、delete命令呼出し元コンテキストのメンバー識別子をmemberIDとする。
【0040】
ＫＶＳ処理モジュール１１は、まず、getMemberSetKv(key)でメンバーセットＫＶ１３からkeyに対応するエントリのメンバーセット(member_set)を取得する（Ｓ３０１）。もし、keyに対応するエントリが存在しなければ（Ｓ３０２：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、エラーを出力して（Ｓ３０７）、delete命令に係る処理を終了する。
【0041】
一方、もし、keyに対応するエントリが存在すれば（Ｓ３０２：Ｎｏ）、ＫＶＳ処理モジュール１１は、member_set.delete(memberID)により、member_setからmemberIDに対応するメンバーを削除する（Ｓ３０３）。member_set.deleteは、メンバー識別子（memberID）を入力引数に持つ命令であって、member_setからmemberIDに対応するメンバーを削除することを要求する命令である。member_setが空の場合（Ｓ３０４：ＹＥＳ）、ＫＶＳ処理モジュール１１は、deleteDataKv(key)により、データＫＶ１２からkeyに対応するエントリを削除する（Ｓ３０５）。member_setが空の場合とは、対象の検索キー（key）を入力引数に含むset命令を発行したすべてのメンバーが当該検索キー（key）を入力引数に含むdelete命令を発行している場合である。deleteDataKvは、検索キー(key)を入力引数に持つ命令であって、データＫＶ１２からkeyに対応するエントリを削除することを要求する命令である。つまり、データＫＶ１２の値（value）は、その値に関するset命令を発行したすべてのメンバーがdelete命令を発行した場合に限り削除される。ステップＳ３０５を終えると、ＫＶＳ処理モジュール１１は、delete命令に係る処理を終了する。
【0042】
member_setが空でない場合（Ｓ３０４：Ｎｏ）、ＫＶＳ処理モジュール１１は、setMemberSetKv(key, member_set)により、メンバーセットＫＶ１３のkeyに対応するエントリのメンバーセットにmember_setを設定する（Ｓ３０６）。このmember_setは、ステップＳ３０３でmemberIDに対応するメンバーが削除されたmember_setである。ステップＳ３０６を終えると、ＫＶＳ処理モジュール１１は、delete命令に係る処理を終了する。
【0043】
以上が第１実施形態における共有制御型ＫＶＳ１０の動作である。これにより、同一のＫＶＳを共有するメンバー間で、あるメンバーが自らset命令を発行していないＫＶエントリに誤ってget命令やdelete命令を実行してしまうことに起因したＫＶＳ利用アプリケーションの誤動作を防げるという効果を奏する。
【0044】
ところで、図１には、第１実施形態の共有制御型ＫＶＳ１０が計算機１００に適用されている例を示した。ＫＶＳ操作命令は、たとえば図１に示されるＣＰＵ１上で動作するソフトウェアで生成する場合に限定されない。たとえば、ネットワークを介して接続する別の計算機上で実行されるソフトウェアによって生成されてもよい。図６は、第１実施形態の共有制御型ＫＶＳ１０を適用するネットワークストレージ装置２００のハードウェア構成例を示す図である。図６には、ＫＶＳ処理モジュール１１がネットワークストレージ装置２００に付随する形でシステムに取り付けられている例が示されている。
【0045】
ネットワークストレージ装置２００は、ネットワークインターフェース部（ＮＩＣ）７を有する。ネットワークインターフェース部７は、ストレージクライアント装置３００とのネットワークを介した通信を制御する。図６では、ネットワークインターフェース部７にＫＶＳ処理モジュール１１が統合されている。
【0046】
ネットワークには、ＴＣＰ／ＩＰを用いたネットワークの他、任意のネットワークを用いて良い。ＫＶＳ操作命令はストレージクライアント装置３００が発行する。また、図６では、ネットワークストレージ装置２００が、物理的に外部に設置されたサーバのように記載されているが、論理的に分かれた計算機（仮想計算機等）であってもよい。
【0047】
図６に示すネットワークストレージ装置２００においても、同一のＫＶＳを共有するメンバー間で、あるメンバーが自らset命令を発行していないＫＶエントリに誤ってget命令やdelete命令を実行してしまうことに起因したＫＶＳ利用アプリケーションの誤動作を防ぐことができる。
【0048】
以上のように、第１実施形態の共有制御型ＫＶＳ１０は、データ（データＫＶ１２の検索キーおよび値）を複数のノードで共有する場合に、複数のノードのそれぞれにおいて、自ノードによるデータ操作とは別途行われ得る他のノードによるデータ操作の影響をなくすことができる。
【0049】
（第２実施形態）
次に、第２実施形態について説明する。第２実施形態は、複数のＫＶＳ処理モジュール１１がネットワーク上に分散して存在する共有制御型ＫＶＳに関する。特に、ＫＶＳのストレージにＮＶＭｅ－ｏＦやネットワークファイルシステムなどを用いることによりネットワークを通じてアクセスする場合に有効な実施形態である。
次に、第２実施形態について説明する。第２実施形態は、複数のＫＶＳ処理モジュール１１がネットワーク上に分散して存在する共有制御型ＫＶＳに関する。特に、ＫＶＳのストレージにＮＶＭｅ－ｏＦやネットワークファイルシステムなどを用いることによりネットワークを通じてアクセスする場合に有効な実施形態である。
【0050】
図７は、第２実施形態の共有制御型ＫＶＳ１０を適用するネットワークストレージ装置２００のハードウェア構成例を示す図である。第１実施形態では、ネットワークインターフェース部７にＫＶＳ処理モジュール１１が統合されている例を示した（図６参照）。ここでは、ストレージクライアント装置３００内に後述する分散ロックモジュール１１１を有するＫＶＳ処理モジュール１１が統合されている例を示す。第２実施形態においても、ＫＶＳ処理モジュール１１は、電気回路などといったハードウェアによって実現されるものであってもよいし、プロセッサ（図示せず）によって実行されるプログラム（ソフトウェア）によって実現されるものであってもよい。データＫＶ１２とメンバーセットＫＶ１３とは、ストレージ３に保持される。
【0051】
なお、図７では、ネットワークストレージ装置２００が、物理的に外部に設置されたサーバのように記載されているが、第１実施形態と同様、論理的に分かれた計算機（仮想計算機等）であってもよい。図７に示す構成の場合、ＫＶＳ処理モジュール１１には通信機能が必要である。具体的には、ネットワークを介してＫＶＳ操作命令を実行する機能であり、物理的にネットワークに接続するためのネットワークインターフェース部やＴＣＰ／ＩＰなどの通信プロトコルやｉＳＣＳＩやＮＶＭｅ－ｏＦなどストレージプロトコルを処理するプロトコル処理部を具備する。それらを介して、データＫＶ１２およびメンバーセットＫＶ１３にアクセスするためのコマンドがＫＶＳ処理モジュール１１で入出力されるようにすればよい。
【0052】
図８は、第２実施形態の共有制御型ＫＶＳ１０の機能ブロック図である。
【0053】
第２実施形態の共有制御型ＫＶＳ１０は、１以上の各ストレージクライアント装置３００上のＫＶＳ処理モジュール１１と、ネットワークストレージ装置２００上のデータＫＶ１２およびメンバーセットＫＶ１３とで構成される。
【0054】
各ＫＶＳ処理モジュール１１は、分散ロックモジュール１１１を有する。分散ロックモジュール１１１は、複数のＫＶＳ処理モジュール１１間でＫＶＳ操作命令の排他制御を行うために使用される。分散ロックモジュール１１１の一例として、分散アプリケーション補助ツールであるZooKeeperの分散ロック機構が挙げられる。各ＫＶＳ処理モジュール１１の分散ロックモジュール１１１以外の構成は、第１実施形態のＫＶＳ処理モジュール１１と同じである。また、データＫＶ１２およびメンバーセットＫＶ１３の構成は、第１実施形態で説明されたものと同じである。
【0055】
次に、図９、図１０、図１１を用いて、図８に示した第２実施形態における共有制御型ＫＶＳ１０のＫＶＳ操作命令の動作を説明する。以下、ＫＶＳ操作命令呼出し元のメンバーにはＫＶＳ操作命令実行に必要なメンバー個別の属性や状態を保持する構造体(コンテキストと呼ぶ)が割り当てられており、呼出し元メンバーのコンテキストに付随してＫＶＳ操作命令が呼び出されるものとする。また、コンテキストの属性にはメンバー識別子が含まれるとする。以降の説明では、ホストとの接続関係や不揮発性メモリとの接続関係を特定せずに汎用的な表現で情報の入出力を述べるが、実際には各種プロトコルに基づく命令を用いることができる。
【0056】
図９は、第２実施形態における共有制御型ＫＶＳ１０のset命令に係るフローチャートである。
【0057】
本動作は、メンバーが発行したset命令をＫＶＳ処理モジュール１１が外部から受信することで開始される。set命令は、検索キー（key）および値（value）を入力引数に持つ。ここでは、set命令呼出し元コンテキストのメンバー識別子をmemberIDとする。
【0058】
ＫＶＳ処理モジュール１１は、まず、L=DistributedLock("write")で書込み用の分散ロックを獲得するまで待つ（Ｓ４０１）。DistributedLockは、分散ロックを獲得することを要求する命令である。次に、ＫＶＳ処理モジュール１１は、getMemberSetKv(key)でメンバーセットＫＶ１３からkeyに対応するエントリのメンバーセット(member_set)を取得する（Ｓ４０２）。もし、keyに対応するエントリが存在しなければ（Ｓ４０３：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、newMemberSet()で新しいメンバーセットを生成してこれをmember_setとし、setDataKv(key, value)により、データＫＶ１２のkeyに対応するエントリの値にvalueを設定する（Ｓ４０７）。また、ＫＶＳ処理モジュール１１は、member_set.add(memberID)により、memberIDに対応するメンバーをmember_setに追加し、setMemberSetKv(key, member_set)により、メンバーセットＫＶ１３のkeyに対応するエントリのメンバーセットにmember_setを設定する（Ｓ４０５）。そして、ＫＶＳ処理モジュール１１は、DistributedUnLock(L)で分散ロックを解放して（Ｓ４０６）、set命令に係る処理を終了する。DistributedUnLockは、DistributedLockで獲得した分散ロックを解放することを要求する命令である。
【0059】
一方、もし、keyに対応するエントリが存在すれば（Ｓ４０３：Ｎｏ）、ＫＶＳ処理モジュール１１は、getDataKv(key)でデータＫＶ１２を検索する（Ｓ４０４）。データＫＶ１２のkeyに対応するエントリの値がvalueと一致していれば（Ｓ４０４：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、member_set.add(memberID)により、メンバー識別子に対応するメンバーをmember_setに追加し、setMemberSetKv(key, member_set)により、メンバーセットＫＶ１３のkeyに対応するエントリのメンバーセットにmember_setを設定する（Ｓ４０５）。そして、ＫＶＳ処理モジュール１１は、DistributedUnLock(L)で分散ロックを解放して（Ｓ４０６）、set命令に係る処理を終了する。
【0060】
データＫＶ１２のkeyに対応するエントリの値がvalueと一致していない場合には（Ｓ４０４：Ｎｏ）、ＫＶＳ処理モジュール１１は、DistributedUnLock(L)で分散ロックを解放し（Ｓ４０８）、エラーを出力して（Ｓ４０９）、set命令に係る処理を終了する。
【0061】
図１０は、第２実施形態における共有制御型ＫＶＳ１０のget命令に係るフローチャートである。
【0062】
本動作は、メンバーが発行したget命令をＫＶＳ処理モジュール１１が外部から受信することで開始される。get命令は、検索キー（key）を入力引数に持つ。ここでは、get命令呼出し元コンテキストのメンバー識別子をmemberIDとする。
【0063】
ＫＶＳ処理モジュール１１は、L=DistributedLock("read")で読出し用の分散ロックを獲得するまで待つ（Ｓ５０１）。次に、ＫＶＳ処理モジュール１１は、getMemberSetKv(key)でメンバーセットＫＶ１３からkeyに対応するエントリのメンバーセット(member_set)を取得する（Ｓ５０２）。もし、メンバーセットが存在しなければ（Ｓ５０３：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、DistributedUnLock(L)で分散ロックを解放し（Ｓ５０８）、値無し（None）を出力して（Ｓ５０９）、get命令に係る処理を終了する。
【0064】
一方、もし、keyに対応するエントリが存在すれば（Ｓ５０３：Ｎｏ）、ＫＶＳ処理モジュール１１は、member_set.contains(memberID)により、メンバー識別子に対応するメンバーがmember_setに含まれるかどうかを調べる（Ｓ５０４）。member_setに含まれる場合（Ｓ５０４：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、getDataKv(key)により、データＫＶ１２からkeyに対応する値（value）を取得する（Ｓ５０５）。ＫＶＳ処理モジュール１１は、DistributedUnLock(L)で分散ロックを解放し（Ｓ５０６）、その値（value）を出力して（Ｓ５０７）、get命令に係る終了する。
【0065】
member_setに含まれない場合（Ｓ５０４：Ｎｏ）、ＫＶＳ処理モジュール１１は、DistributedUnLock(L)で分散ロックを解放し（Ｓ５０８）、値無し（None）を出力して（Ｓ５０９）、get命令に係る処理を終了する。
【0066】
図１１は、第２実施形態における共有制御型ＫＶＳ１０のdelete命令に係るフローチャートである。
【0067】
本動作は、メンバーが発行したdelete命令をＫＶＳ処理モジュール１１が外部から受信することで開始される。delete命令は、検索キー（key）を入力引数に持つ。ここでは、delete命令呼出し元コンテキストのメンバー識別子をmemberIDとする。
【0068】
ＫＶＳ処理モジュール１１は、まず、L=DistributedLock("write")で書込み用の分散ロックを獲得するまで待つ（Ｓ６０１）。次に、ＫＶＳ処理モジュール１１は、getMemberSetKv(key)でメンバーセットＫＶ１３からkeyに対応するエントリのメンバーセット(member_set)を取得する（Ｓ６０２）。もし、keyに対応するエントリが存在しなければ（Ｓ６０３：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、DistributedUnLock(L)で分散ロックを解放し（Ｓ６０９）、エラーを出力して（Ｓ６１０）、delete命令に係る処理を終了する。
【0069】
一方、もし、keyに対応するエントリが存在すれば（Ｓ６０３：Ｎｏ）、ＫＶＳ処理モジュール１１は、member_set.delete(memberID)により、member_setからmemberIDに対応するメンバーを削除する（Ｓ６０４）。member_setが空の場合（Ｓ６０５：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、deleteDataKv(key)により、データＫＶ１２からkeyに対応するエントリを削除し（Ｓ６０６）、DistributedUnLock(L)で分散ロックを解放して（Ｓ６０７）、delete命令に係る処理を終了する。
【0070】
member_setが空でない場合（Ｓ６０５：Ｎｏ）、ＫＶＳ処理モジュール１１は、setMemberSetKv(key, member_set)により、メンバーセットＫＶ１３のkeyに対応するエントリのメンバーセットにmember_setを設定し（Ｓ６０８）、DistributedUnLock(L)で分散ロックを解放して（Ｓ６０７）、delete命令に係る処理を終了する。
【0071】
以上が第２実施形態における共有制御型ＫＶＳ１０の動作である。これにより、複数のＫＶＳ処理モジュール１１がネットワーク上に分散して存在する場合にも第１実施形態と同じ効果を奏する。つまり、同一のＫＶＳを共有するメンバー間で、あるメンバーが自らset命令を発行していないＫＶエントリに誤ってget命令やdelete命令を実行してしまうことに起因したＫＶＳ利用アプリケーションの誤動作を防げるという効果を奏する。
【0072】
（第３実施形態）
次に、第３実施形態について説明する。第３実施形態は、ＫＶＳ操作命令およびＫＶＳ管理命令のセキュリティ検証機能を有する共有制御型ＫＶＳに関する。特に、攻撃者を含む不特定多数の外部エンティティがＫＶＳ操作命令およびＫＶＳ管理命令を発行する可能性がある場合に有効な実施形態である。ＫＶＳ管理命令は、たとえば、register命令やderegister命令などである。第３実施形態の共有制御型ＫＶＳは、たとえばネットワークストレージ装置に適用される。当該ネットワークストレージ装置の構成は、第２実施形態と同様であり（図７参照）、ここでは、その説明を省略する。
次に、第３実施形態について説明する。第３実施形態は、ＫＶＳ操作命令およびＫＶＳ管理命令のセキュリティ検証機能を有する共有制御型ＫＶＳに関する。特に、攻撃者を含む不特定多数の外部エンティティがＫＶＳ操作命令およびＫＶＳ管理命令を発行する可能性がある場合に有効な実施形態である。ＫＶＳ管理命令は、たとえば、register命令やderegister命令などである。第３実施形態の共有制御型ＫＶＳは、たとえばネットワークストレージ装置に適用される。当該ネットワークストレージ装置の構成は、第２実施形態と同様であり（図７参照）、ここでは、その説明を省略する。
【0073】
図１２に、第３実施形態の、（第２実施形態で説明した）分散ロックモジュール１１１を使用しない場合の共有制御型ＫＶＳ１０の機能ブロックを示す。また、図１３に、第３実施形態の、分散ロックモジュール１１１を使用する場合の共有制御型ＫＶＳ１０の機能ブロックを示す。図１２、図１３の共有制御型ＫＶＳ１０の構成は、それぞれ、図２（第１実施形態）、図８（第２実施形態）の共有制御型ＫＶＳ１０の構成にメンバーテーブル１４を追加したものとなるため、メンバーテーブル１４の構成についてのみ説明する。
【0074】
メンバーテーブル１４は、ＫＶＳ操作命令を発行可能なメンバーのそれぞれについて、メンバー識別子とメンバー情報との組みを保持するテーブルである。
【0075】
メンバー識別子は、共有制御型ＫＶＳ１０内で一意な値である。メンバー識別子として、たとえばブロックチェーンノードのＩＤが使用されるかもしれない。
【0076】
メンバーテーブル１４のメンバー情報は、公開鍵、リプレイカウンタおよび追加情報を含む。
【0077】
公開鍵は、当該メンバーが発行したＫＶＳ操作命令またはＫＶＳ管理命令に対して付与されるデジタル署名の検証に使用される公開鍵である。公開鍵は、信頼される認証局が発行するデジタル証明書に含まれるものとする。
【0078】
リプレイカウンタは、当該メンバーが発行したＫＶＳ操作命令またはＫＶＳ管理命令に対して付与されるリプレイ攻撃防止用カウンタである。リプレイカウンタの値は、ＫＶＳ操作命令またはＫＶＳ管理命令が正しく検証された場合に１だけインクリメントされる。リプレイカウンタの初期値は０である。
【0079】
追加情報は、当該メンバーに関する任意の情報である。追加情報の使用例については後述する。
【0080】
メンバーテーブル１４は、Ｍ個のエントリを持ち、メンバー識別子midi(i=1, ..., M)に対するメンバー情報は(pubkeyi, ctri, auxi)で表される。pubkeyiは公開鍵、ctriはリプレイカウンタ、auxiは追加情報を表す。
【0081】
ＫＶＳ処理モジュール１１は、外部からＫＶＳ管理命令を受信し、メンバーテーブル１４を更新するかもしれない。第３実施形態は、ＫＶＳ管理命令として、register命令とderegister命令とを定義する。
【0082】
register命令は、メンバーテーブル１４のエントリ生成に使用する命令である。register命令は、メンバー識別子（memberID）、メンバーの公開鍵（pubkey）を含むデジタル証明書（cert）、リプレイカウンタ（ctr）およびデジタル署名（sig）を入力引数に持ち、かつ、オプション引数として追加情報（aux）を入力引数に持つ。
【0083】
deregister命令は、メンバーテーブル１４のエントリ削除に使用する命令である。deregister命令は、メンバー識別子（memberID）、リプレイカウンタ（ctr）およびデジタル署名（sig）を入力引数に持つ。
【0084】
また、第３実施形態におけるＫＶＳ操作命令は、第１実施形態および第２実施形態におけるＫＶＳ操作命令での入力引数に加え、リプレイカウンタ値（ctr）およびデジタル署名（sig）を入力引数に持つ。デジタル署名（sig）には、sig以外のすべての入力引数のバイト列を入力引数が指定された順番に連結したバイト列に対してメンバーの秘密鍵を用いて計算した署名の値が入る。
【0085】
図１４に、第３実施形態の、分散ロックモジュール１１１を使用しない場合の共有制御型ＫＶＳ１０のＫＶＳ操作命令（set命令、get命令またはdelete命令）に対するセキュリティ検証手順のフローチャートを示す。ＫＶＳ操作命令の呼出し元のメンバーには、命令実行に必要なメンバー個別の属性や状態を保持する構造体(コンテキストと呼ぶ)が割り当てられており、呼出し元メンバーのコンテキストに付随してＫＶＳ操作命令が呼び出されるものとする。コンテキストの格納先としてメンバーテーブル１４を使用してもよい。ここでは、ＫＶＳ操作命令呼出し元コンテキストのメンバー識別子をmemberIDとする。
【0086】
ＫＶＳ操作命令を受信したＫＶＳ処理モジュール１１は、まず、validate_ctr(memberID, ctr)でリプレイカウンタの検証を行う（Ｓ７０１）。Validateは、リプレイカウンタの検証を要求する命令である。また、ctrは、受信命令が入力引数として含むctrの値である。リプレイカウンタの検証は、ctrの値がmemberIDに対応するメンバーのメンバーテーブル１４内のリプレイカウンタ値以上であれば成功し、そうでなければ失敗する。リプレイカウンタの検証が失敗した場合（Ｓ７０１：Ｎｏ）、ＫＶＳ処理モジュール１１は、エラーを返し（Ｓ７０４）、処理を終了する。
【0087】
一方、リプレイカウンタの検証が成功した場合（Ｓ７０１：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、validate_sig(memberID, args, sig)で署名の検証を行う（Ｓ７０２）。argsは、受信命令のsig以外の入力引数の並びであり、sigは、受信命令が入力引数として含むsigの値である。署名の検証は、argsに対してmemberIDに対応するメンバーのメンバーテーブル１４内の公開鍵を用いて署名計算を行い、計算した署名がsigに一致した場合に成功し、一致しなかった場合に失敗する。署名の検証が失敗した場合（Ｓ７０２：Ｎｏ）、ＫＶＳ処理モジュール１１は、エラーを返し（Ｓ７０４：Ｎｏ）、処理を終了する。
【0088】
署名の検証が成功した場合（Ｓ７０２：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、set_ctr(memberID, ctr+1)でmemberIDに対応するメンバーのメンバーテーブル１４内のリプレイカウンタを、ctrの値を１つインクリメントした値（ctr+1）に更新し（Ｓ７０３）、受信したＫＶＳ操作命令のセキュリティ検証後の処理を引続き行う。set_ctrは、リプレイカウンタの値を指定値に設定することを要求する命令である。ＫＶＳ操作命令のセキュリティ検証後の処理は、第１実施形態の図３、図４、図５のフローチャートで示される。
【0089】
続いて、図１５に、第３実施形態の、分散ロックモジュール１１１を使用する場合の共有制御型ＫＶＳ１０のＫＶＳ操作命令（set命令、get命令またはdelete命令）に対するセキュリティ検証手順のフローチャートを示す。ＫＶＳ操作命令の呼出し元のメンバーには、命令実行に必要なメンバー個別の属性や状態を保持する構造体(コンテキストと呼ぶ)が割り当てられており、呼出し元メンバーのコンテキストに付随してＫＶＳ操作命令が呼び出されるものとする。コンテキストの格納先としてメンバーテーブル１４を使用してもよい。ここでは、ＫＶＳ操作命令呼出し元コンテキストのメンバー識別子をmemberIDとする。
【0090】
ＫＶＳ操作命令またはＫＶＳ管理命令を受信したＫＶＳ処理モジュール１１は、まず、L=DistributedLock("write")で分散ロックを獲得するまで待つ（Ｓ８０１）。その後、ＫＶＳ処理モジュール１１は、validate_ctr(memberID, ctr)でリプレイカウンタの検証を行う（Ｓ８０２）。リプレイカウンタの検証方法は、図１４のステップＳ７０１の場合と同じである。リプレイカウンタの検証が失敗した場合（Ｓ７０１：Ｎｏ）、ＫＶＳ処理モジュール１１は、DistributedUnLock(L)で分散ロックを解放し（Ｓ８０６）、エラーを返して（Ｓ８０７）、処理を終了する。
【0091】
一方、リプレイカウンタの検証が成功した場合（Ｓ８０２：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、署名の検証を行う（Ｓ８０３）。リプレイカウンタの検証方法は、図１４のステップ７０２の場合と同じである。署名の検証が失敗した場合（Ｓ８０３：Ｎｏ）、ＫＶＳ処理モジュール１１は、DistributedUnLock(L)で分散ロックを解放し（Ｓ８０６）、エラーを返して（Ｓ８０７）、処理を終了する。
【0092】
署名の検証が成功した場合（Ｓ８０３：Ｙｅｓ）、ＫＶＳ処理モジュール１１は、set_ctr(memberID, ctr+1)でmemberIDに対応するメンバーのメンバーテーブル１４内のリプレイカウンタを、ctrの値を１つインクリメントした値（ctr+1）に更新する（Ｓ８０４）。ＫＶＳ処理モジュール１１は、DistributedUnLock(L)で分散ロックを解放し（Ｓ８０５）、受信したＫＶＳ操作命令のセキュリティ検証後の処理を引続き行う。ＫＶＳ操作命令のセキュリティ検証後の処理は、第２実施形態の図９、図１０、図１１のフローチャートで示される。
【0093】
以上が第３実施形態における共有制御型ＫＶＳ１０の動作である。これにより、所定の認証局が発行したデジタル証明書の秘密鍵を持たないような攻撃者が発行したＫＶＳ操作命令を排除することが可能となり、第１実施形態および第２実施形態と同様の効果を奏しつつ、さらに、セキュリティが向上する効果を奏する。
【0094】
（第４実施形態）
次に、第４実施形態について説明する。第４実施形態は、データＫＶ用ストレージの階層構成に関する。
次に、第４実施形態について説明する。第４実施形態は、データＫＶ用ストレージの階層構成に関する。
【0095】
第４実施形態における共有制御型ＫＶＳ１０の構成は、メンバーセットＫＶ１３とデータＫＶ１２との構成を除けば、第１実施形態、第２実施形態または第３実施形態の共有制御型ＫＶＳ１０の構成と同じである。
【0096】
図１６に、第４実施形態におけるメンバーセットＫＶ１３およびデータＫＶ１２（１２－１，１２－２）の一構成例を示す。
【0097】
メンバーセットＫＶ１３の各エントリの値には、（メンバーセット、タイムスタンプ）の組みが設定される。メンバーセットは、第１実施形態、第２実施形態または第３実施形態のメンバーセットと同じである。タイムスタンプには、このエントリに対して最後にset命令が実行された時刻が設定される。
【0098】
データＫＶ１２は、１次ストレージ３－１に格納されるデータＫＶ１２－１と、２次ストレージ３－２に格納されるデータＫＶ１２－２とに分かれる。
【0099】
ＫＶＳ処理モジュール１１は、メンバーセットＫＶ１３内の各検索キーKiについて、定期的に、または、検索キーKiに関するset命令が実行されたとき、以下のデータ移動処理を実行する。
【0100】
検索キーKiに対応するメンバーセットＫＶ１３のエントリのタイムスタンプTiが現在時刻Tnowから一定時間Tを減じた値以上（Tnow - T <= Ti）の場合には、ＫＶＳ処理モジュール１１は、検索キーKiに対して１次ストレージ３－１に格納されるデータＫＶ１２－１を使用する。その際、検索キーKiに対するデータＫＶ１２の現在の格納先が２次ストレージ３－２である場合には、ＫＶＳ処理モジュール１１は、格納先を２次ストレージ３－２から１次ストレージ３－１に移動する。一方、（Tnow - T >Ti）の場合には、ＫＶＳ処理モジュール１１は、検索キーKiに対して２次ストレージ３－２に格納されるデータＫＶ－２を使用する。その際、検索キーKiに対するデータＫＶ１２の現在の格納先が１次ストレージ３－１である場合には、ＫＶＳ処理モジュール１１は、格納先を１次ストレージ３－１から２次ストレージ３－２に移動する。
【0101】
図１６は、検索キーK1、K3、K6は、（Tnow - T <= Ti）のため、１次ストレージ３－１に格納されるデータＫＶ１２－１を使用し、一方、検索キーK2、K4、K5は、（Tnow - T >Ti）のため、２次ストレージ３－２に格納されるデータＫＶ１２－２を使用している状態を表している。
【0102】
以上が第４実施形態における共有制御型ＫＶＳ１０の動作である。これにより、set命令が長期間実行されないデータについては、このデータに対する更新頻度が低いとみなし、アクセス速度が小さいが低コストかつ大容量のストレージに格納することで、全体の処理性能を劣化させない範囲でストレージコストを削減する効果を奏する。
【0103】
なお、各実施形態におけるストレージ３は、ブロック型ストレージまたはKey-Value型ストレージのいずれであってもよく、また、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）、ＳＣＭ（Storage Class Memory）のいずれであってもよい。ＮＶＭｅ ＳＳＤにおいて、ブロック型ストレージの場合には、各実施形態のＫＶＳ処理モジュール１１と外部モジュールとの間のＩ／Ｏコマンドとして、ＮＶＭｅのReadコマンド、Writeコマンドをそれぞれ使用してもよい。ＮＶＭｅ ＳＳＤにおいて、Key-Value型ストレージの場合には、各実施形態のＫＶＳ処理モジュール１１と外部モジュールとの間のＩ／Ｏコマンドとして、ＮＶＭｅのRetrieveコマンド、Storeコマンドをそれぞれ使用してもよい。
【0104】
また、各実施形態において、メンバーセットのデータ構造は、ビットマップ、リスト、カウンタ付ブルームフィルタ、その他のデータ構造を使用するかもしれない。以下、メンバーセットのデータ構造が、ビットマップ、リストまたはカウンタ付ブルームフィルタの場合の一構成例をそれぞれ説明する。
【0105】
＜ビットマップの場合＞
ビットマップの各要素は、１か０のいずれかである。member_set.add(memberID)は、ビットマップ内のメンバー識別子（memberID）に対応するビットをオンにする処理を行う。member_set.delete(memberID)は、ビットマップ内のメンバー識別子（memberID）に対応するビットをオフにする処理を行う。member_set.contains(memberID)は、メンバー識別子（memberID）に対応するビットがオンであれば真を返し、オフであれば偽を返す。member_set.empty()は、ビットマップの全てのビットが０であれば真を返し、そうでなければ偽を返す。メンバー識別子とビットとの対応は、たとえばメンバー識別子のハッシュ値をビット番号としてもよく、メンバーテーブルを使用する場合には、各メンバー識別子に対して一意なビット番号を何らかの方法で割り当て、メンバーテーブルの追加情報に割り当てたビット番号を保持してもよい。
ビットマップの各要素は、１か０のいずれかである。member_set.add(memberID)は、ビットマップ内のメンバー識別子（memberID）に対応するビットをオンにする処理を行う。member_set.delete(memberID)は、ビットマップ内のメンバー識別子（memberID）に対応するビットをオフにする処理を行う。member_set.contains(memberID)は、メンバー識別子（memberID）に対応するビットがオンであれば真を返し、オフであれば偽を返す。member_set.empty()は、ビットマップの全てのビットが０であれば真を返し、そうでなければ偽を返す。メンバー識別子とビットとの対応は、たとえばメンバー識別子のハッシュ値をビット番号としてもよく、メンバーテーブルを使用する場合には、各メンバー識別子に対して一意なビット番号を何らかの方法で割り当て、メンバーテーブルの追加情報に割り当てたビット番号を保持してもよい。
【0106】
＜リストの場合＞
リストの各要素は、メンバー識別子である。member_set.add(memberID)は、リストにメンバー識別子（memberID）を追加する処理を行う。member_set.delete(memberID)は、リストからメンバー識別子（memberID）を削除する処理を行う。member_set.contains(memberID)は、リストにメンバー識別子（memberID）が含まれれば真を返し、含まれなければ偽を返す。member_set.empty()は、リストに含まれる要素数が０であれば真を返し、そうでなければ偽を返す。
リストの各要素は、メンバー識別子である。member_set.add(memberID)は、リストにメンバー識別子（memberID）を追加する処理を行う。member_set.delete(memberID)は、リストからメンバー識別子（memberID）を削除する処理を行う。member_set.contains(memberID)は、リストにメンバー識別子（memberID）が含まれれば真を返し、含まれなければ偽を返す。member_set.empty()は、リストに含まれる要素数が０であれば真を返し、そうでなければ偽を返す。
【0107】
＜カウンタ付きブルームフィルタの場合＞
カウンタ付きブルームフィルタは、固定長LCBFの配列で、配列先頭を０番目とし、各配列要素はカウンタ値である。カウンタ付きブルームフィルタは、０以上（LCBF－1）以下の整数値を出力するk個のハッシュ関数H1, ..., Hkを使用する。いま、メンバー識別子（memberID）に対するk個のハッシュ関数値をi1=H1(memberID), ..., ik=Hk(memberID)とする。member_set.add(memberID)は、カウンタ付きブルームフィルタ配列のi1番目、…、ik番目の値をそれぞれ１だけインクリメントする処理を行う。member_set.delete(memberID)は、カウンタ付きブルームフィルタ配列のi1番目、…、ik番目の値をそれぞれ１だけデクリメントする処理を行う。member_set.contains(memberID)は、カウンタ付きブルームフィルタ配列のi1番目、…、ik番目の値がすべて１以上であれば真を返し、そうでなければ偽を返す。member_set.empty()は、カウンタ付きブルームフィルタ配列内のすべての要素の値が０であれば真を返し、そうでなければ偽を返す。
カウンタ付きブルームフィルタは、固定長LCBFの配列で、配列先頭を０番目とし、各配列要素はカウンタ値である。カウンタ付きブルームフィルタは、０以上（LCBF－1）以下の整数値を出力するk個のハッシュ関数H1, ..., Hkを使用する。いま、メンバー識別子（memberID）に対するk個のハッシュ関数値をi1=H1(memberID), ..., ik=Hk(memberID)とする。member_set.add(memberID)は、カウンタ付きブルームフィルタ配列のi1番目、…、ik番目の値をそれぞれ１だけインクリメントする処理を行う。member_set.delete(memberID)は、カウンタ付きブルームフィルタ配列のi1番目、…、ik番目の値をそれぞれ１だけデクリメントする処理を行う。member_set.contains(memberID)は、カウンタ付きブルームフィルタ配列のi1番目、…、ik番目の値がすべて１以上であれば真を返し、そうでなければ偽を返す。member_set.empty()は、カウンタ付きブルームフィルタ配列内のすべての要素の値が０であれば真を返し、そうでなければ偽を返す。
【0108】
以上のように、各実施形態によれば、同一のＫＶＳを共有するメンバー間で、あるメンバーが自らset命令を発行していないＫＶエントリに誤ってget命令やdelete命令を実行してしまうことに起因したＫＶＳ利用アプリケーションの誤動作を誘発することなく、メンバー間で同一のＫＶエントリの実体を共有することが可能となり、その結果、ストレージ容量を１／Ｎ（Ｎ：共有メンバー数）に抑えることが可能となる。
【0109】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0110】
１…ＣＰＵ、２…メインメモリ、３…ストレージ、３Ａ，３Ｂ…ＩＯ制御モジュール、４…非ストレージＰＣＩｅデバイス、５…メモリバス、６…ＰＣＩｅバス、７…ネットワークインターフェース部、１０…共有制御型ＫＶＳ、１１…ＫＶＳ処理モジュール、１２…データＫＶ、１３…メンバーセットＫＶ、１４…メンバーテーブル、１００…計算機、１１１…分散ロックモジュール、２００…ネットワークストレージ装置、３００…ストレージクライアント装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】