ホーム > 特許ランキング > 日立ヴァンタラ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-175731ファイル転送システム、ファイル転送方法、ファイル転送プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024175731
(43)【公開日】2024-12-19
(54)【発明の名称】ファイル転送システム、ファイル転送方法、ファイル転送プログラム
(51)【国際特許分類】
G06F 16/182 20190101AFI20241212BHJP
G06F 3/06 20060101ALI20241212BHJP
H04L 67/06 20220101ALI20241212BHJP
【ＦＩ】
G06F16/182 100
G06F3/06 301X
H04L67/06
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023093677
(22)【出願日】2023-06-07
(71)【出願人】
【識別番号】524132520
【氏名又は名称】日立ヴァンタラ株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】清水 友貴
(57)【要約】
【課題】効率よくファイルを転送できる。
【解決手段】ファイル更新システムは、第１計算機において更新される対象ファイルを、対象ファイルを分割したパートごとに第２計算機へ転送するファイル更新システムであって、第１計算機における対象ファイルの更新位置をオフセットフラグとして記録する更新記録部と、オフセットフラグを参照し、対象ファイルにおけるパートごとに更新の有無を判断する更新判断部と、更新判断部が更新有りと判断したパートを第２計算機に転送する転送部と、を備え、転送部は、対象ファイルに含まれるいずれかのパートを転送部が転送を開始した以後に対象ファイルが更新される再更新が発生すると、再更新により更新されたパートである再更新パートを、すでに転送したか否かに関わらず第２計算機に送信する。
【選択図】図２
【解決手段】ファイル更新システムは、第１計算機において更新される対象ファイルを、対象ファイルを分割したパートごとに第２計算機へ転送するファイル更新システムであって、第１計算機における対象ファイルの更新位置をオフセットフラグとして記録する更新記録部と、オフセットフラグを参照し、対象ファイルにおけるパートごとに更新の有無を判断する更新判断部と、更新判断部が更新有りと判断したパートを第２計算機に転送する転送部と、を備え、転送部は、対象ファイルに含まれるいずれかのパートを転送部が転送を開始した以後に対象ファイルが更新される再更新が発生すると、再更新により更新されたパートである再更新パートを、すでに転送したか否かに関わらず第２計算機に送信する。
【選択図】図２
【特許請求の範囲】
【請求項1】
第１計算機において更新される対象ファイルを、前記対象ファイルを分割したパートごとに第２計算機へ転送するファイル転送システムであって、
前記第１計算機における前記対象ファイルの更新位置をオフセットフラグとして記録する更新記録部と、
前記オフセットフラグを参照し、前記対象ファイルにおける前記パートごとに更新の有無を判断する更新判断部と、
前記更新判断部が更新有りと判断した前記パートを前記第２計算機に転送する転送部と、を備え、
前記転送部は、前記対象ファイルに含まれるいずれかの前記パートを前記転送部が転送を開始した以後に前記対象ファイルが更新される再更新が発生すると、前記再更新により更新された前記パートである再更新パートを、すでに転送したか否かに関わらず前記第２計算機に送信する、ファイル転送システム。
前記第１計算機における前記対象ファイルの更新位置をオフセットフラグとして記録する更新記録部と、
前記オフセットフラグを参照し、前記対象ファイルにおける前記パートごとに更新の有無を判断する更新判断部と、
前記更新判断部が更新有りと判断した前記パートを前記第２計算機に転送する転送部と、を備え、
前記転送部は、前記対象ファイルに含まれるいずれかの前記パートを前記転送部が転送を開始した以後に前記対象ファイルが更新される再更新が発生すると、前記再更新により更新された前記パートである再更新パートを、すでに転送したか否かに関わらず前記第２計算機に送信する、ファイル転送システム。
【請求項2】
請求項１に記載のファイル転送システムにおいて、
前記更新判断部は、前記オフセットフラグを参照する前に前記対象ファイルを書き込み禁止状態に遷移させ、前記オフセットフラグの参照が完了すると前記対象ファイルを書き込み可能状態に遷移させる、ファイル転送システム。
前記更新判断部は、前記オフセットフラグを参照する前に前記対象ファイルを書き込み禁止状態に遷移させ、前記オフセットフラグの参照が完了すると前記対象ファイルを書き込み可能状態に遷移させる、ファイル転送システム。
【請求項3】
請求項１に記載のファイル転送システムにおいて、
前記更新判断部が更新無しと判断した前記パートを、前記第２計算機に格納される更新前の前記対象ファイルを用いて前記第２計算機に複製させる複製指示部をさらに備え、
前記第２計算機において、前記転送部により転送された前記パートと、前記複製指示部の指示に基づき複製した前記パートと、を統合することにより前記第２計算機における更新後の前記対象ファイルとする、ファイル転送システム。
前記更新判断部が更新無しと判断した前記パートを、前記第２計算機に格納される更新前の前記対象ファイルを用いて前記第２計算機に複製させる複製指示部をさらに備え、
前記第２計算機において、前記転送部により転送された前記パートと、前記複製指示部の指示に基づき複製した前記パートと、を統合することにより前記第２計算機における更新後の前記対象ファイルとする、ファイル転送システム。
【請求項4】
請求項１に記載のファイル転送システムにおいて、
前記更新判断部および前記転送部は所定の時間間隔で繰り返し実行され、
前記転送部は、前記再更新が発生しなくなるまで、前記所定の時間間隔を待つことなく、前記再更新パートの前記第２計算機への送信を繰り返す、ファイル転送システム。
前記更新判断部および前記転送部は所定の時間間隔で繰り返し実行され、
前記転送部は、前記再更新が発生しなくなるまで、前記所定の時間間隔を待つことなく、前記再更新パートの前記第２計算機への送信を繰り返す、ファイル転送システム。
【請求項5】
請求項１に記載のファイル転送システムにおいて、
前記更新判断部および前記転送部は所定の時間間隔で繰り返し実行され、
前記転送部は、前記再更新が発生しなくなるまで、前記所定の時間間隔に従い、前記再更新パートの前記第２計算機への送信を繰り返す、ファイル転送システム。
前記更新判断部および前記転送部は所定の時間間隔で繰り返し実行され、
前記転送部は、前記再更新が発生しなくなるまで、前記所定の時間間隔に従い、前記再更新パートの前記第２計算機への送信を繰り返す、ファイル転送システム。
【請求項6】
請求項１に記載のファイル転送システムにおいて、
前記転送部は、前記再更新が発生するとさらに、前記再更新における更新がされておらず、かつ従前に送信した前記パートを改めて送信する、ファイル転送システム。
前記転送部は、前記再更新が発生するとさらに、前記再更新における更新がされておらず、かつ従前に送信した前記パートを改めて送信する、ファイル転送システム。
【請求項7】
請求項１に記載のファイル転送システムにおいて、
前記転送部は、前記再更新が発生すると、前記再更新における更新がされておらず、かつ従前に送信した前記パートは改めて送信しない、ファイル転送システム。
前記転送部は、前記再更新が発生すると、前記再更新における更新がされておらず、かつ従前に送信した前記パートは改めて送信しない、ファイル転送システム。
【請求項8】
第１計算機において更新される対象ファイルを、前記第１計算機が前記対象ファイルを分割したパートごとに第２計算機へ転送するファイル転送方法であって、
前記第１計算機における前記対象ファイルの更新位置をオフセットフラグとして記録する更新記録処理と、
前記オフセットフラグを参照し、前記対象ファイルにおける前記パートごとに更新の有無を判断する更新判断処理と、
前記更新判断処理により更新有りと判断された前記パートを前記第２計算機に転送する転送部と、を含み、
前記転送部は、前記対象ファイルに含まれるいずれかの前記パートを前記転送部により転送が開始された以後に前記対象ファイルが更新される再更新が発生すると、前記再更新により更新された前記パートである再更新パートを、すでに転送したか否かに関わらず前記第２計算機に送信する、ファイル転送方法。
前記第１計算機における前記対象ファイルの更新位置をオフセットフラグとして記録する更新記録処理と、
前記オフセットフラグを参照し、前記対象ファイルにおける前記パートごとに更新の有無を判断する更新判断処理と、
前記更新判断処理により更新有りと判断された前記パートを前記第２計算機に転送する転送部と、を含み、
前記転送部は、前記対象ファイルに含まれるいずれかの前記パートを前記転送部により転送が開始された以後に前記対象ファイルが更新される再更新が発生すると、前記再更新により更新された前記パートである再更新パートを、すでに転送したか否かに関わらず前記第２計算機に送信する、ファイル転送方法。
【請求項9】
第１計算機において実行されるファイル転送プログラムであって、前記第１計算機において更新される対象ファイルを、前記対象ファイルを分割したパートごとに第２計算機へ転送するファイル転送プログラムであって、
前記第１計算機における前記対象ファイルの更新位置をオフセットフラグとして記録する更新記録部と、
前記オフセットフラグを参照し、前記対象ファイルにおける前記パートごとに更新の有無を判断する更新判断部と、
前記更新判断部が更新有りと判断した前記パートを前記第２計算機に転送する転送部と、を備え、
前記転送部は、前記対象ファイルに含まれるいずれかの前記パートを前記転送部が転送を開始した以後に前記対象ファイルが更新される再更新が発生すると、前記再更新により更新された前記パートである再更新パートを、すでに転送したか否かに関わらず前記第２計算機に送信する、ファイル転送プログラム。
前記第１計算機における前記対象ファイルの更新位置をオフセットフラグとして記録する更新記録部と、
前記オフセットフラグを参照し、前記対象ファイルにおける前記パートごとに更新の有無を判断する更新判断部と、
前記更新判断部が更新有りと判断した前記パートを前記第２計算機に転送する転送部と、を備え、
前記転送部は、前記対象ファイルに含まれるいずれかの前記パートを前記転送部が転送を開始した以後に前記対象ファイルが更新される再更新が発生すると、前記再更新により更新された前記パートである再更新パートを、すでに転送したか否かに関わらず前記第２計算機に送信する、ファイル転送プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ファイル転送システム、ファイル転送方法、およびファイル転送プログラムに関する。
【背景技術】
【0002】
ファイルの転送中に転送対象のファイルが更新される場合がある。特許文献１には、アプリケーションに提供される第１のファイルシステムと、前記第１のファイルシステムによりファイルが格納される第１のストレージシステムと、プロセッサと、を有し、第２のストレージシステムを利用可能なファイルストレージシステムであって、前記ファイルの状態を格納した状態管理情報と、前記状態管理情報を管理する状態情報管理部と、前記第１のストレージシステム及び第２のストレージシステムに格納されるファイルを管理するファイル仮想化部と、を備え、前記プロセッサは、前記アプリケーションからの前記ファイルの操作要求に基づいて、前記第１のファイルシステムの呼び出し処理を行い、前記第１のファイルシステムは、前記ファイルの操作要求を処理し、前記状態情報管理部は、前記操作要求にかかる前記第１のファイルシステムへの入力情報または操作内容に基づいて、前記ファイルの状態管理情報の更新処理を行い、前記ファイル仮想化部は、前記状態管理情報に基づいて、前記第１のストレージシステムと前記第２のストレージシステムとの間で前記ファイルの管理処理を行うことを特徴とするファイルストレージシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１５７３８１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載されている発明では、ファイルの転送方法に改善の余地がある。
【課題を解決するための手段】
【0005】
本発明の第１の態様によるファイル更新システムは、第１計算機において更新される対象ファイルを、前記対象ファイルを分割したパートごとに第２計算機へ転送するファイル更新システムであって、前記第１計算機における前記対象ファイルの更新位置をオフセットフラグとして記録する更新記録部と、前記オフセットフラグを参照し、前記対象ファイルにおける前記パートごとに更新の有無を判断する更新判断部と、前記更新判断部が更新有りと判断した前記パートを前記第２計算機に転送する転送部と、を備え、前記転送部は、前記対象ファイルに含まれるいずれかの前記パートを前記転送部が転送を開始した以後に前記対象ファイルが更新される再更新が発生すると、前記再更新により更新された前記パートである再更新パートを、すでに転送したか否かに関わらず前記第２計算機に送信する。
本発明の第２の態様によるファイル更新方法は、第１計算機において更新される対象ファイルを、前記第１計算機が前記対象ファイルを分割したパートごとに第２計算機へ転送するファイル更新方法であって、前記第１計算機における前記対象ファイルの更新位置をオフセットフラグとして記録する更新記録処理と、前記オフセットフラグを参照し、前記対象ファイルにおける前記パートごとに更新の有無を判断する更新判断処理と、前記更新判断処理により更新有りと判断された前記パートを前記第２計算機に転送する転送部と、を含み、前記転送処理では、前記対象ファイルに含まれるいずれかの前記パートを前記転送処理により転送が開始された以後に前記対象ファイルが更新される再更新が発生すると、前記再更新により更新された前記パートである再更新パートを、すでに転送したか否かに関わらず前記第２計算機に送信する。
本発明の第３の態様によるファイル転送プログラムは、第１計算機において実行されるファイル転送プログラムであって、前記第１計算機において更新される対象ファイルを、前記対象ファイルを分割したパートごとに第２計算機へ転送するファイル転送プログラムであって、前記第１計算機における前記対象ファイルの更新位置をオフセットフラグとして記録する更新記録部と、前記オフセットフラグを参照し、前記対象ファイルにおける前記パートごとに更新の有無を判断する更新判断部と、前記更新判断部が更新有りと判断した前記パートを前記第２計算機に転送する転送部と、を備え、前記転送部は、前記対象ファイルに含まれるいずれかの前記パートを前記転送部が転送を開始した以後に前記対象ファイルが更新される再更新が発生すると、前記再更新により更新された前記パートである再更新パートを、すでに転送したか否かに関わらず前記第２計算機に送信する。
本発明の第２の態様によるファイル更新方法は、第１計算機において更新される対象ファイルを、前記第１計算機が前記対象ファイルを分割したパートごとに第２計算機へ転送するファイル更新方法であって、前記第１計算機における前記対象ファイルの更新位置をオフセットフラグとして記録する更新記録処理と、前記オフセットフラグを参照し、前記対象ファイルにおける前記パートごとに更新の有無を判断する更新判断処理と、前記更新判断処理により更新有りと判断された前記パートを前記第２計算機に転送する転送部と、を含み、前記転送処理では、前記対象ファイルに含まれるいずれかの前記パートを前記転送処理により転送が開始された以後に前記対象ファイルが更新される再更新が発生すると、前記再更新により更新された前記パートである再更新パートを、すでに転送したか否かに関わらず前記第２計算機に送信する。
本発明の第３の態様によるファイル転送プログラムは、第１計算機において実行されるファイル転送プログラムであって、前記第１計算機において更新される対象ファイルを、前記対象ファイルを分割したパートごとに第２計算機へ転送するファイル転送プログラムであって、前記第１計算機における前記対象ファイルの更新位置をオフセットフラグとして記録する更新記録部と、前記オフセットフラグを参照し、前記対象ファイルにおける前記パートごとに更新の有無を判断する更新判断部と、前記更新判断部が更新有りと判断した前記パートを前記第２計算機に転送する転送部と、を備え、前記転送部は、前記対象ファイルに含まれるいずれかの前記パートを前記転送部が転送を開始した以後に前記対象ファイルが更新される再更新が発生すると、前記再更新により更新された前記パートである再更新パートを、すでに転送したか否かに関わらず前記第２計算機に送信する。
【発明の効果】
【0006】
本発明によれば、効率よくファイルを転送できる。
【図面の簡単な説明】
【0007】
【図1】ファイル転送システムの構成図
【図2】計算機の構成図
【図3】オブジェクトストレージの構成図
【図4】状態フラグを説明する概念図
【図5】フラグデータを説明する図
【図6】パートおよびオフセットにおけるイベントと状態フラグの遷移図
【図7】ファイルにおける状態フラグの遷移図
【図8】パートおよびオフセットにおける状態フラグの遷移図
【図9】ＭＰＵの転送モードが「完遂」以外の場合におけるオフセットおよびパートにおける状態フラグの遷移図
【図10】ユーザファイルのＭＰＵを示す概略図
【図11】ＭＰＵの動作概念図
【図12】ＭＰＵの動作概念図
【図13】ＭＰＵの動作概念図
【図14】ＭＰＵの動作概念図
【図15】ＭＰＵの動作概念図
【図16】レプリケータの処理を示すフローチャート
【図17】レプリケータの処理を示すフローチャート
【図27】転送モードを設定するユーザインタフェースを示す図
【発明を実施するための形態】
【0008】
【0009】
図１は、ファイル転送システム１００の構成図である。ファイル転送システムは、１つのデータセンタ１０３と複数の拠点１０１とを含む。データセンタ１０３と拠点１０１とは、広域ネットワーク１０２により接続される。それぞれの拠点１０１は、１つ以上の計算機１１１を備える。データセンタ１０３はオブジェクトストレージ１３０を備える。図１ではそれぞれの計算機１１１に枝番を付して区別しているが、計算機１１１は共通する機能構成を有するので以下では１つの計算機１１１の構成および動作を説明する。本実施の形態では、計算機１１１からオブジェクトストレージ１３０へのファイルの転送について説明する。
【0010】
ただしそれぞれの計算機１１１が以下に説明する構成や機能以外を付加的に有してもよいし、それぞれの計算機１１１が付加的に有する構成や機能がそれぞれ異なってもよい。また、ファイル転送システムに計算機１１１が複数含まれなくてもよいし、計算機１１１とオブジェクトストレージ１３０がローカル接続されてもよい。
【0011】
図２は、計算機１１１の構成図である。計算機１１１は、処理装置２０１および周辺装置２０２を備える。処理装置２０１は、主記憶装置２１１と、ＣＰＵ２１２とを備える。周辺装置２０２は、補助記憶装置２２０と、ネットワークカード２１４とを備える。主記憶装置２１１、ＣＰＵ２１２、補助記憶装置２１３、およびネットワークカード（Network Interface Card）２１４は、バスで接続される。
【0012】
主記憶装置２１１には、排他管理プログラム２３２と、ハッシュ処理プログラム２３３と、ＩＯフックプログラム２３４と、レプリケータ２３６と、が格納される。排他管理プログラム２３２は、レプリケータ２３６から受ける動作指示に基づき、ユーザファイル２２１への書き込みを制限する。ハッシュ処理プログラム２３３は、ユーザファイル２２１の全体、またはユーザファイル２２１の一部を対象としてハッシュ値を計算する。ハッシュ値の計算方法は、公知の様々な方法を用いることができ、たとえばＳＨＡ－２５６やＭＤ５を用いることができる。
【0013】
ＩＯフックプログラム２３４は、ユーザファイル２２１への書き込み処理を検出し、フラグデータ２２２のファイルフラグ２２３およびオフセットフラグ２２５に書き込む。ただし、ＩＯフックプログラム２３４がオフセットフラグ２２５に書き込む内容は、レプリケータ２３６の指示により変化する。以下では、ＩＯフックプログラム２３４を「更新記録部」とも呼ぶ。
【0014】
レプリケータ２３６は、計算機１１１に格納されるユーザファイル２２１をオブジェクトストレージ１３０に送信する。なお本実施の形態では、「送信」と「転送」を同じ意味で用いている。ただしレプリケータ２３６は、必ずしもユーザファイル２２１の全体を送信するのではなく、ユーザファイル２２１を分割して必要な一部だけを送信する。以下では、レプリケータ２３６によるユーザファイル２２１の転送をＭＰＵ（Multi Part Upload；マルチパートアップロード）とも呼ぶ。ＭＰＵには複数の転送モードが存在し、あらかじめいずれの転送モードとするかが設定される。レプリケータ２３６は、必要に応じて排他管理プログラム２３２、ハッシュ処理プログラム２３３、およびＩＯフックプログラム２３４を利用する。またレプリケータ２３６は、フラグデータ２２２の書き込みおよび読み込みを行う。レプリケータ２３６の詳しい動作は後述する。
【0015】
補助記憶装置２１３には、ユーザファイル２２１およびフラグデータ２２２が格納される。ユーザファイル２２１は、オブジェクトストレージ１３０への転送の対象となるファイルである。ユーザファイル２２１は複数存在してもよいが、以下ではある１つのユーザファイル２２１を転送の対象とした場合を主に説明する。フラグデータ２２２は、ファイルフラグ２２３と、パートフラグ２２４と、オフセットフラグ２２５とから構成される。フラグデータ２２２は、ＩＯフックプログラム２３４およびレプリケータ２３６から書き込まれる。フラグデータ２２２については後に詳述する。
【0016】
なお計算機１１１は、不図示の記憶媒体インタフェースをさらに備え、記憶媒体９９－１からプログラムを読み込んで不図示のＲＯＭおよび主記憶装置２１１に格納してもよい。さらに計算機１１１は、プログラムをデータ信号として搬送波９８－１を介して外部から受信し、受信したプログラムを不図示のＲＯＭおよび主記憶装置２１１に格納してもよい。
【0017】
図３は、オブジェクトストレージ１３０の構成図である。オブジェクトストレージ１３０は、処理装置３０１および周辺装置３０２を備える。処理装置３０１は、主記憶装置３１１およびＣＰＵ３１２を備える。主記憶装置３１１には、オブジェクトシステムプログラム３３１、およびハッシュ処理プログラム３３２が格納される。周辺装置３０２は、補助記憶装置３１３およびネットワークカード３１４を備える。補助記憶装置３１３はオブジェクトシステム３４０を備える。オブジェクトシステム３４０はバケット３４１を備える。バケット３４１にはオブジェクト３４２が格納される。オブジェクト３４２は、ユーザファイル３５１およびメタデータファイル３５２を含む。主記憶装置３１１、ＣＰＵ３１２、補助記憶装置３１３、およびネットワークカード３１４は、バスで接続される。
【0018】
図３におけるユーザファイル３５１は、図２におけるユーザファイル２２１に対応する存在である。オブジェクトシステムプログラム３３１は、計算機１１１のレプリケータ２３６と協調して動作し、ユーザファイル３５１を更新する。レプリケータ２３６による処理が正常に完了した直後では、図３におけるユーザファイル３５１は、図２におけるユーザファイル２２１と同一である。メタデータファイル３５２には、オブジェクトシステムプログラム３３１がメタデータファイル３５２の更新する際の処理中のデータが含まれる。
【0019】
具体的にはオブジェクトシステムプログラム３３１は、レプリケータ２３６からパートの複製指示を受けると指示されたパートを複製し、さらにハッシュ処理プログラム３３２を用いてその複製したパートのハッシュ値を計算し、計算したハッシュ値を計算機１１１に送信する。またオブジェクトシステムプログラム３３１は、レプリケータ２３６からパートが送信されると、ハッシュ処理プログラム３３２を用いて受信したパートのハッシュ値を計算し、計算したハッシュ値を計算機１１１に送信する。なお以下では、オブジェクトストレージ１３０を「第２計算機」とも呼ぶ。
【0020】
なおオブジェクトストレージ１３０は、不図示の記憶媒体インタフェースをさらに備え、記憶媒体９９－２からプログラムを読み込んで不図示のＲＯＭおよび主記憶装置３１１に格納してもよい。さらにオブジェクトストレージ１３０は、プログラムをデータ信号として搬送波９８－２を介して外部から受信し、受信したプログラムを不図示のＲＯＭおよび主記憶装置３１１に格納してもよい。
【0021】
図４は、状態フラグを説明する概念図である。ユーザファイル２２１は、複数のパートに分けられる。パートは、データ転送の単位である。ただしここで言うデータ転送の単位とは、１つの通信における最大のデータサイズ、たとえばＩＰパケットの最大サイズに限定されず、管理の都合等により任意のサイズが設定されてもよい。また本実施の形態では、ファイルに対する書き込みをバイト単位で記録し、これを便宜的に「オフセット」と呼ぶ。オフセットは書き込み領域に相当するので、１バイトの場合もあるし、２バイト以上の場合もある。換言すると、オフセットはある１つのパートに包含される場合もあるし、複数のパートに跨る場合もある。
【0022】
図４に示すように、本実施の形態では、転送の要否などを判断するために、ファイル、パート、およびオフセットに状態フラグを付して管理する。本実施の形態では、ファイル、パート、およびオフセットの状態フラグを、ファイルフラグ２２３、パートフラグ２２４、およぶオフセットフラグ２２５として管理する。ただし３種類のフラグを１か所でまとめて管理してもよい。すなわち図４ではファイルに状態フラグが付されているように図示しているが、実際にはファイルと状態フラグとは一体化されていない。パートと状態フラグの関係も同様であり、オフセットと状態フラグの関係も同様である。
【0023】
ユーザファイル２２１のある領域に書き込みが行われると、書き込まれた領域がオフセットとして記録され、そのオフセットの状態フラグが「Dirty」に設定される。また、状態フラグが「Dirty」のオフセットを含むパート、および書き込みが行われたファイルは、状態フラグが「Dirty」に設定される。状態フラグの詳しい遷移は後述する。
【0024】
状態フラグには、主な３状態と一時的な２状態とが含まれ、全部で５状態がある。主な３状態とは、「Clean」、「Dirty」、「More Dirty」である。一時的な２状態とは、「Copied」および「Transferred」である。ファイルは、主な３状態のいずれかの状態をとり、パートおよびオフセットは５状態のいずれかをとる。
【0025】
図４の下部は、状態フラグの優先順位を示す図である。最も優先されるのは「More Dirty」であり、２番目に優先されるのは「Dirty」であり、優先度が最も低いのが「Clean」、「Transferred」、および「Copied」である。この優先度は、パートおよびファイルの状態フラグを決定する際に考慮され、範囲内の最も高い優先度の値に設定される。すなわち、あるパートに含まれるオフセットが複数ある場合に、そのパートの状態フラグは、複数の状態フラグのうち最も優先度が高い状態フラグに設定される。また、あるファイルに含まれるパートが複数ある場合に、そのファイルの状態フラグは、複数の状態フラグのうち最も優先度が高い状態フラグに設定される。
【0026】
図５は、フラグデータ２２２を説明する図である。前述のように、フラグデータ２２２は、ファイルフラグ２２３、パートフラグ２２４、およぶオフセットフラグ２２５から構成される。図５の上段に示すファイルフラグ２２３は、それぞれのユーザファイル２２１に対する状態フラグの集合である。図５に示す例では、「File001」は状態フラグが「Dirty」、「File002」は状態フラグが「Clean」に設定されている。
【0027】
図５の中段に示すパートフラグ２２４は、ファイルごと、かつパートごとの状態フラグの集合である。パートの大きさは全ファイルに共通でもよいし、ファイルごとに異なってもよい。パートの大きさは、たとえばあらかじめ設定される。図５に示す例ではパートは一律に５ＭＢであり、「File001」は最初のパートが「Dirty」、２番目のパートは「Clean」である。「File002」は、いずれのパートも「Clean」である。すなわち、「File001」は少なくとも１つのパートが「Dirty」なのでファイル単位で「Dirty」であり、「File002」は全てのパートが「Clean」なのでファイル単位で「Clean」である。
【0028】
図５の下段に示すオフセットフラグ２２５は、ファイルごと、かつオフセットごとの状態フラグの集合である。「File001」は作図の都合により、最初のパートである０～５ＭＢの範囲に含まれるオフセットのみを記載している。ここでは、「０ｘ００１１～０ｘ００１３」に書き込みが行われて「Dirty」に設定されたことが示されている。オフセットフラグ２２５にはオフセットは任意の粒度で記録できる。たとえば「File002」は全領域が「Clean」なので１レコードで記載できる。
【0029】
図６は、パートおよびオフセットにおけるイベントと状態フラグの遷移図である。表中の「更新」とは、計算機１１１で書き込みが行われることを意味する。「転送処理中」とは、ＭＰＵの最中を意味する。表中の「X」は該当する遷移が想定されないことを意味する。
【0030】
「Clean」の状態で、転送処理中以外で更新が行われると「Dirty」に遷移する。「Clean」の状態で、転送処理中に更新が行われると「More Dirty」に遷移する。「Clean」の状態で、転送処理中の転送または転送を完了すると、「Copied」に遷移する。「Dirty」の状態で、転送処理中以外で更新が行われると「Dirty」のままで留まる。「Dirty」の状態で、転送処理中に更新が行われると「More Dirty」に遷移する。「Dirty」の状態で、転送処理中の転送または転送を完了すると、「Transferred」に遷移する。「More Dirty」の状態で、転送処理中に更新が行われると「More Dirty」のままで留まる。「More Dirty」の状態で、追加転送対象として認識されると「Dirty」に遷移する。
【0031】
「Copied」の状態で、転送処理中以外で更新が行われると「Dirty」に遷移する。「Copied」の状態で、転送処理中に更新が行われると「More Dirty」に遷移する。「Copied」の状態で、転送処理が確定すると「Clean」に遷移する。「Copied」の状態で、転送処理が中止されると「Clean」に遷移する。「Transferred」の状態で、転送処理中以外で更新が行われると「Dirty」に遷移する。「Transferred」の状態で、転送処理中に更新が行われると「More Dirty」に遷移する。「Transferred」の状態で、転送処理が確定すると「Clean」に遷移する。「Transferred」の状態で、転送処理が中止されると「Dirty」に遷移する。
【0032】
図７は、ファイルにおける状態フラグの遷移図である。前述のとおり、ファイルの状態フラグは「Clean」、「Dirty」、および「More Dirty」の３状態をとる。初期状態および最終状態は「Clean」である。「Clean」は、転送なし、または転送済みを意味する。「Dirty」は転送中処理以外で更新があり未転送を意味する。「More Dirty」は転送処理中に更新があり次回に再送が必要であることを意味する。
【0033】
状態フラグが「Clean」の状態で、転送処理中以外でそのファイルに更新があると、ＩＯフックプログラム２３４により、そのファイルの状態フラグが「Dirty」に遷移される。状態フラグが「Dirty」の状態で、そのファイルの転送が完了すると、レプリケータ２３６により、そのファイルの状態フラグが「Clean」に設定される。状態フラグが「Dirty」の状態で、そのファイルが転送処理中以外で更新されると、ＩＯフックプログラム２３４により、そのファイルの状態フラグは「Dirty」に維持される。
【0034】
状態フラグが「Dirty」の状態で、そのファイルが転送処理中に更新されると、ＩＯフックプログラム２３４により、そのファイルの状態フラグは「More Dirty」に遷移される。状態フラグが「More Dirty」の状態で、再送する必要のあるファイルとして認識されると、レプリケータ２３６により、そのファイルの状態フラグは「Dirty」に遷移される。状態フラグが「More Dirty」の状態で、そのファイルが転送処理中に更新されると、ＩＯフックプログラム２３４により、そのファイルの状態フラグは「More Dirty」に維持される。
【0035】
図８は、オフセットおよびパートにおける状態フラグの遷移図である。厳密には図８は、ＭＰＵの転送モードが「完遂」である場合の状態フラグの遷移図である。前述のとおり、ファイルの状態フラグは「Clean」、「Copied」、「Transferred」、「Dirty」、および「More Dirty」の５状態をとる。図８には状態遷移の矢印に（１）～（９）の番号を付しているが、これは単なる説明の都合であり、数字の大きさは遷移の順番や遷移の優先順位等に無関係である。
【0036】
状態フラグが「Clean」の状態で、転送処理中以外でそのオフセットおよびパートに更新があると、（１）で示すようにＩＯフックプログラム２３４により、そのオフセットおよびパートの状態フラグが「Dirty」に遷移される。状態フラグが「Dirty」の状態で、そのオフセットおよびパートが転送処理中以外で更新されると、（２）で示されているようにＩＯフックプログラム２３４により、そのオフセットおよびパートの状態フラグは「Dirty」に維持される。状態フラグが「Clean」または「Dirty」の状態で、そのオフセットおよびパートが属するファイルのＭＰＵの実行中であってそのオフセットおよびパートの転送前や転送中に更新があると、（３）で示すようにＩＯフックプログラム２３４により、そのオフセットおよびパートの状態フラグが「More Dirty」に遷移される。
【0037】
状態フラグが「More Dirty」の状態で、そのオフセットおよびパートの転送処理中にそのオフセットおよびパートが更新されると、（４）で示すようにＩＯフックプログラム２３４により、そのオフセットおよびパートの状態フラグが「More Dirty」に維持される。状態フラグが「Clean」または「Dirty」の状態で、そのオフセットおよびパートの複製処理または転送処理が完了すると、（５）で示すようにレプリケータ２３６により、そのファイルの状態フラグは「Copied」または「Transferred」に更新される。状態フラグが「Clean」または「Transferred」の状態で、そのオフセットおよびパートが属するファイルのＭＰＵの実行中であってそのオフセットおよびパートの送信後に更新があると、（６）で示すようにＩＯフックプログラム２３４により、そのオフセットおよびパートの状態フラグが「More Dirty」に遷移される。
【0038】
状態フラグが「More Dirty」の状態で、そのオフセットおよびパートが再送する必要のあるオフセットおよびパートとして認識されると、（７）で示すようにレプリケータ２３６により、そのオフセットおよびパートの状態フラグは「Dirty」に遷移される。状態フラグが「Copied」または「Transferred」の状態で、そのオフセットおよびパートが属するファイルのＭＰＵが完了すると、（８）で示すようにレプリケータ２３６により、そのオフセットおよびパートの状態フラグが「Clean」に遷移される。状態フラグが「Copied」または「Transferred」の状態で、そのオフセットおよびパートが属するファイルのＭＰＵが中止されると、（９）で示すようにレプリケータ２３６により、そのオフセットおよびパートの状態フラグが「Clean」または「Dirty」に遷移される。
【0039】
図９は、ＭＰＵの転送モードが「完遂」以外の場合の、オフセットおよびパートにおける状態フラグの遷移図である。図８と図９の違いは、（１０）が追加されている点である。それ以外は両者に相違はない。状態フラグが「Copied」または「Transferred」の状態で、転送処理中以外にそのオフセットおよびパートが更新されると、（１０）で示すようにＩＯフックプログラム２３４により、そのオフセットおよびパートの状態フラグが「Dirty」に遷移される。
【0040】
図１０は、ユーザファイル２２１のＭＰＵを示す概略図である。まず（１）で示すように、ユーザＵが計算機１１１に格納されているユーザファイル２２１を更新する。この更新はたとえば、マウスやキーボードを用いたファイルの編集である。（３）で示すようにユーザファイル２２１に書き込みが行われる。ＩＯフックプログラム２３４は、（２）で示すようにこの書き込みに伴うＩＯ情報を抽出し、フラグデータ２２２における書き込みが行われたファイル、パート、およびオフセットのフラグを書き換える。
【0041】
レプリケータ２３６は、一定時間ごとに（５）で示すようにフラグデータ２２２からフラグを読み出して、（６）で示すように更新があったファイルをＭＰＵによりオブジェクトストレージ１３０に転送する。転送が完了するとレプリケータ２３６は、（７）で示すように転送の完了に伴いフラグデータ２２２にフラグを書き込む。
【0042】
図１１～図１５は、ＭＰＵの動作概念図である。図１１に示すように、ある更新されたユーザファイル２２１を転送対象のファイルである対象ファイルとしてＭＰＵが開始される。この際に、対象ファイルは状態フラグが「Dirty」に設定されている。ＭＰＵが開始されると、まず対象ファイルに対してファイルロックを掛け、フラグデータ２２２のコピーを取得した後にたとえば、ロックが解除される。そして、転送の単位であるパートごとにオブジェクトストレージ１３０への転送の要否が判断される。すなわち、フラグデータ２２２にパートフラグ２２４は含まれなくてもよく、このタイミングでオフセットフラグ２２５に基づきパートフラグ２２４が作成されてもよい。
【0043】
対象ファイルにおいて、前回のＭＰＵ以後に書き込みがされていないパートは、状態フラグが「Clean」である。レプリケータ２３６は、オブジェクトストレージ１３０に対して、転送済みのユーザファイル３５１を用いて当該パートを複製する指示を出す。複製が完了すると、そのパートの状態フラグは「Copied」に更新される。
【0044】
図１２に進んで説明を続ける。前回のＭＰＵ以後に書き込みがされたパートは、状態フラグが「Dirty」である。レプリケータ２３６は、オブジェクトストレージ１３０にそのパートを転送し、転送が完了すると、そのパートの状態フラグは「Transferred」に更新される。次に、ケース１とケース２に分けて説明する。ケース１は、ＭＰＵ中に対象ファイルが更新されなかった場合である。この場合は、全パートの複製や転送が完了すると、レプリケータ２３６はオブジェクトストレージ１３０に対して結合および確定の指示を出す。この指示を受けたオブジェクトストレージ１３０のオブジェクトシステムプログラム３３１は、指示を受けて複製したパートおよび転送されたパートを結合し、ＭＰＵを確定させる。レプリケータ２３６はさらに、対象ファイルの状態フラグを「Dirty」から「Clean」に更新する。
【0045】
図１３に進んで説明を続ける。ケース２は、ＭＰＵ中に対象ファイルが更新された場合である。この場合は、あらかじめ設定される転送モードの値により対応が異なる。転送モードが「リトライ」および「差分転送」の場合は今回のＭＰＵは終了し、「完遂」の場合には以下に説明するようにＭＰＵを継続して追加更新を反映する。
【0046】
図１４に進んで説明を続ける。図１４および図１５は、ＭＰＵ中に対象ファイルが更新され、かつ転送モードが「完遂」の場合の処理である。この場合は、改めて対象ファイルに対してファイルロックを掛け、フラグデータ２２２のコピーを再び取得した後にロックが解除される。そして、パートごとにオブジェクトストレージ１３０への追加転送の要否が判断される。追加転送が必要なパートは、状態フラグが「Copied」や「Transferred」から「More Dirty」に更新される。
【0047】
図１５に進んで説明を続ける。追加転送が必要なパートがオブジェクトストレージ１３０に転送されると、そのパートの状態フラグは「More Dirty」から「Transferred」に更新される。なお、対象ファイルのＭＰＵが完了する前に、さらに対象ファイルの更新があった場合には、図１４の上部に示したファイルロックから処理を繰り返す。ファイルロック以後に対象ファイルの更新がなく全パートの転送および複製が完了すると、レプリケータ２３６はオブジェクトストレージ１３０に対して結合および確定の指示を出す。この指示を受けたオブジェクトストレージ１３０のオブジェクトシステムプログラム３３１は、指示を受けて複製したパートおよび転送されたパートを結合し、ＭＰＵを確定させる。レプリケータ２３６はさらに、対象ファイルの状態フラグを「More Dirty」から「Clean」に更新する。
【0048】
図１６～図１７は、レプリケータ２３６の処理を示すフローチャートである。当該処理は、たとえば５分などの一定時間ごとに計算機１１１に格納されており、更新があったユーザファイル２２１のそれぞれを順番に対象ファイルに対して実行される。なおユーザファイル２２１の更新の有無は、ファイルフラグ２２３を参照することで判別できる。
【0049】
まずステップＳ３００ではレプリケータ２３６は、対象ファイルの状態フラグが「Dirty」であるか否かを判断する。レプリケータ２３６は、対象ファイルの状態フラグが「Dirty」であると判断する場合はステップＳ３０１に進み、対象ファイルの状態フラグが「Dirty」ではない、すなわち「Clean」であると判断する場合は図１６に示す処理を終了する。なお、ファイルの状態フラグには「More Dirty」もあるが、「More Dirty」はＭＰＵを実行中のわずかな時間のみに取りうる状態フラグである。また、図１６に示す処理が実行されるタイミングでは前回のＭＰＵは完了しているので、ステップＳ３００の判断のタイミングにおいて状態フラグが「More Dirty」をとることはない。
【0050】
ステップＳ３０１ではレプリケータ２３６は、対象ファイルの複数パート転送を開始してステップＳ３０２に進む。ステップＳ３０２ではレプリケータ２３６は、対象ファイルの排他を取得する。続くステップＳ３０３ではレプリケータ２３６は、転送処理中の更新の検知を開始する。ステップＳ３０３により、これ以後にＩＯフックプログラム２３４が対象ファイルにおけるオフセットの更新を検知すると、当該オフセットは「More Dirty」に遷移される。続くステップＳ３０４ではレプリケータ２３６は、対象ファイルのオフセットフラグ２２５を取得し、続くステップＳ３０５では対象ファイルの排他を解放する。
【0051】
続くステップＳ３０６ではレプリケータ２３６は、ステップＳ３０４において取得したオフセットフラグ２２５に基づきパートフラグ２２４を生成し、更新すべきパートを認識する。パートフラグ２２４における各パートの状態フラグは、予め定められたパートのアドレス範囲におけるオフセットの状態フラグのうち、最も優先度が高い状態フラグの値が採用される。ステップＳ３０６の処理が完了すると、レプリケータ２３６は丸囲みのＡを経由して図１７に進む。
【0052】
図１７では、丸囲みのＡから処理が開始され、まずステップＳ３０７が実行される。ステップＳ３０７ではレプリケータ２３６は、処理対象のパートである対象パートを決定する。対象パートには、対象ファイルを構成するパートのうち、未処理のいずれかのパートが選択される。続くステップＳ３０７Ａではレプリケータ２３６は、対象パートの状態フラグが「Clean」と「Dirty」のいずれであるかを判断する。レプリケータ２３６は、対象パートの状態フラグが「Clean」であると判断する場合はステップＳ３０８に進み、対象パートの状態フラグが「Dirty」であると判断する場合はステップＳ３０９に進む。ステップＳ３０８およびステップＳ３０９の詳細は後述する。レプリケータ２３６は、ステップＳ３０８またはステップＳ３０９の実行が完了すると、ステップＳ３１０に進む。
【0053】
ステップＳ３１０ではレプリケータ２３６は、対象ファイルの状態フラグが「More Dirty」であるか否かを判断する。レプリケータ２３６は、対象ファイルの状態フラグが「More Dirty」であると判断する場合はステップＳ３１４に進み、対象ファイルの状態フラグが「More Dirty」ではないと判断する場合はステップＳ３１１に進む。ステップＳ３１１ではレプリケータ２３６は、対象ファイルの全てのパートが処理済みであるか否か、すなわちステップＳ３０７において対象パートに決定されたか否かを判断する。レプリケータ２３６は、対象ファイルの全てのパートが処理済みであると判断する場合はステップＳ３１２に進み、対象ファイルの少なくとも１つのパートが未処理であると判断する場合はステップＳ３０７に戻る。ステップＳ３１２ではレプリケータ２３６は、後述する結合確定処理を実行し、続くステップＳ３１３ではレプリケータ２３６は後述する後段処理を実行して図１７に示す処理を終了する。
【0054】
ステップＳ３１４ではレプリケータ２３６は、設定されている転送モードを判断する。レプリケータ２３６は、転送モードが「リトライ」であると判断する場合はステップＳ３１５に進み、転送モードが「差分転送」であると判断する場合はステップＳ３１６に進み、転送モードが「完遂」であると判断する場合はステップＳ３１７に進む。ステップＳ３１５ではレプリケータ２３６は、後述するリトライ処理を実行して図１７に示す処理を終了する。ステップＳ３１６ではレプリケータ２３６は、後述する差分転送処理を実行して図１７に示す処理を終了する。ステップＳ３１７ではレプリケータ２３６は、後述する完遂処理を実行して丸囲みのＢを経由して図１６のステップＳ３０２に戻る。
【0055】
【0056】
ステップＳ３２０ではレプリケータ２３６は、ハッシュ処理プログラム２３３を用いて転送対象パートのハッシュ値を計算する。続くステップＳ３２１ではレプリケータ２３６は、転送対象パート、およびステップＳ３２０において計算したハッシュ値をオブジェクトストレージ１３０に送信する。続くステップＳ３２２ではレプリケータ２３６は、オブジェクトストレージ１３０から転送対象パートのハッシュ値の比較結果を受信する。
【0057】
換言すると本ステップでは、ステップＳ３２２において受信した比較結果の内容を判断する。レプリケータ２３６は、ハッシュ値が同じであったと判断する場合はステップＳ３２５に進み、ハッシュ値が異なると判断する場合はステップＳ３２４に進む。ステップＳ３２４ではレプリケータ２３６は、リトライ処理、すなわち転送対象パートを再送してステップＳ３２２に戻る。
【0058】
ステップＳ３２５ではレプリケータ２３６は、転送対象パートを含むファイルの排他を取得してステップＳ３２６に進む。ステップＳ３２６ではレプリケータ２３６は、転送対象パートの状態フラグが「Dirty」であるか否かを判断する。レプリケータ２３６は、転送対象パートの状態フラグが「Dirty」であると判断する場合はステップＳ３２７に進み、状態フラグが「Dirty」ではない、すなわち「More Dirty」であると判断する場合はステップＳ３２８に進む。ステップＳ３２７ではレプリケータ２３６は、転送対象パートに含まれるオフセットの状態フラグを「Dirty」から「Transferred」に更新してステップＳ３２８に進む。ステップＳ３２７ではレプリケータ２３６は、転送対象パートを含むファイルの排他を解放して図１８に示す処理を終了する。なお、ステップＳ３２５においてファイルをロックするのは、ステップＳ３２６～Ｓ３２７の処理の最中に書き込みが発生することを避けるためである。
【0059】
図１９は図１７のステップＳ３０８に示したパート複製処理を示すフローチャートである。本処理が開始される前に、複製対象のパートである複製対象パートはあらかじめ決定されている。なおレプリケータ２３６は、以下に説明するようにオブジェクトストレージ１３０に対してパートの複製を指示するので「複製指示部」とも呼べる。
【0060】
ステップＳ３３０ではレプリケータ２３６は、複製対象パートのハッシュ値を計算する。続くステップＳ３３１ではレプリケータ２３６は、複製対象パートの複製指示、およびステップＳ３３０において計算したハッシュ値をオブジェクトストレージ１３０に送信する。続くステップＳ３３２ではレプリケータ２３６は、オブジェクトストレージ１３０から複製対象パートのハッシュ値の比較結果を受信する。
【0061】
続くステップＳ３３３ではレプリケータ２３６は、ハッシュ値が同じであるか否かを判断する。換言すると本ステップでは、ステップＳ３３２において受信した比較結果の内容を判断する。レプリケータ２３６は、ハッシュ値が同じであったと判断する場合はステップＳ３３５に進み、ハッシュ値が異なると判断する場合はステップＳ３３４に進む。ステップＳ３３４ではレプリケータ２３６は、リトライ処理、すなわち複製指示を再送してステップＳ３３２に戻る。
【0062】
ステップＳ３３５ではレプリケータ２３６は、複製対象パートを含むファイルの排他を取得してステップＳ３３６に進む。ステップＳ３３６ではレプリケータ２３６は、複製対象パートの状態フラグが「Clean」であるか否かを判断する。レプリケータ２３６は、複製対象パートの状態フラグが「Clean」であると判断する場合はステップＳ３３７に進み、状態フラグが「Clean」ではない、すなわち「More Dirty」であると判断する場合はステップＳ３３８に進む。ステップＳ３３７ではレプリケータ２３６は、複製対象パートに含まれるオフセットの状態フラグを「Clean」から「Copied」に更新してステップＳ３３８に進む。ステップＳ３３７ではレプリケータ２３６は、複製対象パートを含むファイルの排他を解放して図１９に示す処理を終了する。なお、ステップＳ３２５においてファイルをロックするのは、ステップＳ３３６～Ｓ３３７の処理の最中に書き込みが発生することを避けるためである。
【0063】
図２０は、図１７のステップＳ３１２に示した結合確定処理を示すフローチャートである。まずステップＳ３４０ではレプリケータ２３６は、パートを結合してファイルを生成する。続くステップＳ３４１ではレプリケータ２３６は、複数パート転送を確定させる。本ステップの処理は図１６におけるＳ３０１の対となる処理である。続くステップＳ３４２ではレプリケータ２３６は、計算機１１１からオブジェクトのハッシュ値を受信する。続くステップＳ３４３ではレプリケータ２３６は、ステップＳ３４０において結合して得られたファイルのハッシュ値を計算する。続くステップＳ３４４ではレプリケータ２３６は、ステップＳ３４２において受信したハッシュ値と、ステップＳ３４３において計算したハッシュ値とを比較する。
【0064】
続くステップＳ３４５ではレプリケータ２３６は、ハッシュ値が同じであるか否か、換言するとステップＳ３４４における比較の結果を判断する。レプリケータ２３６は、２つのハッシュ値が同じであると判断する場合はステップＳ３４６に進み、２つのハッシュ値が異なると判断する場合はステップＳ３４７に進む。ステップＳ３４６ではレプリケータ２３６は、必要に応じてパート情報をオブジェクトストレージ１３０に送信して図２０に示す処理を終了する。ステップＳ３４７ではレプリケータ２３６は、複数パート転送の確定異常フラグを有効にする。続くステップＳ３４８ではレプリケータ２３６は、オブジェクトを削除して図２０に示す処理を終了する。
【0065】
図２１は、図１７のステップＳ３１５に示したリトライ処理を示すフローチャートである。レプリケータ２３６は、まずステップＳ３５０において、対象ファイルの排他を取得する。続くステップＳ３５１ではレプリケータ２３６は、転送処理中の更新の検知を終了してステップＳ３５２に進む。ステップＳ３５１はステップＳ３０３の対となる処理であり、これ以後にＩＯフックプログラム２３４が対象ファイルにおけるオフセットの更新を検知すると、当該オフセットは「More Dirty」ではなく「Dirty」に遷移される。続くステップＳ３５２ではレプリケータ２３６は、対象ファイルの状態フラグを「More Dirty」から「Dirty」に更新してステップＳ３５３に進む。
【0066】
ステップＳ３５３ではレプリケータ２３６は、対象オフセットを決定する。対象オフセットは、対象ファイルにおけるいずれかの未処理のオフセットが決定される。続くステップＳ３５３Ａではレプリケータ２３６は、対象オフセットの状態フラグの値を判断する。レプリケータ２３６は、対象オフセットの状態フラグが「More Dirty」と判断する場合はＳ３５４に進み、「Transferred」と判断する場合はＳ３５５に進み、「Copied」と判断する場合はＳ３５６に進み、「Clean」または「Dirty」と判断する場合はステップＳ３５８に進む。
【0067】
ステップＳ３５４ではレプリケータ２３６は、対象オフセットの状態フラグを「More Dirty」から「Dirty」に更新してステップＳ３５８に進む。ステップＳ３５５ではレプリケータ２３６は、対象オフセットの状態フラグを「Transferred」から「Dirty」に更新してステップＳ３５８に進む。ステップＳ３５６ではレプリケータ２３６は、対象オフセットの状態フラグを「Copied」から「Dirty」に更新してステップＳ３５８に進む。
【0068】
ステップＳ３５８ではレプリケータ２３６は、対象ファイルに含まれる全てのオフセットが処理済みか否かを判断する。レプリケータ２３６は、対象ファイルに含まれる全てのオフセットが処理済みであると判断する場合はステップＳ３５９に進み、未処理のオフセットが存在すると判断する場合はステップＳ３５３に戻る。
【0069】
ステップＳ３５９ではレプリケータ２３６は、対象ファイルの排他を解放する。続くステップＳ３６０ではレプリケータ２３６は、複数パート転送の中止フラグを有効にする。続くステップＳ３６１ではレプリケータ２３６は、後述する後段処理を実行して図２１に示す処理を終了する。なおこの後段処理は、複製や転送パートの削除を含むものである。
【0070】
図２２は、図１７のステップＳ３１６に示した差分転送処理を示すフローチャートである。レプリケータ２３６は、まずステップＳ３７０において、対象ファイルの排他を取得する。続くステップＳ３７１ではレプリケータ２３６は、転送処理中の更新の検知を終了してステップＳ３７２に進む。ステップＳ３７１はステップＳ３０３の対となる処理であり、これ以後にＩＯフックプログラム２３４が対象ファイルにおけるオフセットの更新を検知すると、当該オフセットは「More Dirty」ではなく「Dirty」に遷移される。続くステップＳ３７２ではレプリケータ２３６は、対象ファイルの状態フラグを「More Dirty」から「Dirty」に更新してステップＳ３７３に進む。
【0071】
ステップＳ３７３ではレプリケータ２３６は、対象オフセットを決定する。対象オフセットは、対象ファイルにおけるいずれかの未処理のオフセットが決定される。続くステップＳ３７４ではレプリケータ２３６は、対象オフセットの状態フラグが「More Dirty」であるか否かを判断する。レプリケータ２３６は、対象オフセットの状態フラグが「More Dirty」であると判断する場合はステップＳ３７５に進み、対象オフセットの状態フラグが「More Dirty」ではないと判断する場合は特段の処理を行わずにステップＳ３７６に進む。ステップＳ３７５ではレプリケータ２３６は、対象オフセットの状態フラグを「More Dirty」から「Dirty」に更新してステップＳ３７６に進む。
【0072】
ステップＳ３７６ではレプリケータ２３６は、対象ファイルの全てのオフセットが処理済であるか否かを判断する。レプリケータ２３６は、対象ファイルの全てのオフセットが処理済であると判断する場合はステップＳ３７７に進み、対象ファイルのいずれかのオフセットが未処理であると判断する場合はステップＳ３７３に戻る。ステップＳ３７７ではレプリケータ２３６は、対象ファイルの排他を開放して図２２に示す処理を終了する。
【0073】
図２３は、図１７のステップＳ３１７に示した完遂処理を示すフローチャートである。レプリケータ２３６は、まずステップＳ３８０において、対象ファイルの排他を取得する。続くステップＳ３８１ではレプリケータ２３６は、対象ファイルの状態フラグを「More Dirty」から「Dirty」に更新する。続くステップＳ３８２ではレプリケータ２３６は、対象ファイルの排他を開放して図２３に示す処理を終了する。
【0074】
図２４～図２６は、図１７のステップＳ３１３に示した後段処理を示すフローチャートである。図１６から継続している一連の処理は、前述のように処理対象とするファイルである対象ファイルがあらかじめ決定されて実行されている。
【0075】
まずステップＳ３９０においてレプリケータ２３６は、対象ファイルの確定異常フラグが有効か否かを判断する。レプリケータ２３６は、対象ファイルの確定異常フラグが有効と判断する場合はステップＳ３９４に進み、対象ファイルの確定異常フラグが有効ではないと判断する場合はステップＳ３９１に進む。ステップＳ３９１ではレプリケータ２３６は、対象ファイルの中止フラグが有効か否かを判断する。レプリケータ２３６は、対象ファイルの中止フラグが有効と判断する場合はステップＳ３９４に進み、対象ファイルの中止フラグが有効ではないと判断する場合はステップＳ３９２に進む。
【0076】
レプリケータ２３６は、ステップＳ３９２では対象ファイルの排他を取得し、丸囲みのＣを経由して図２５のステップＳ４００に進む。レプリケータ２３６は、ステップＳ３９４では対象ファイルの排他を取得し、丸囲みのＤを経由して図２６のステップＳ４２０に進む。
【0077】
図２５に進んで説明を続ける。ステップＳ３９３から丸囲みのＣを経由して実行されるステップＳ４００では、レプリケータ２３６は、対象ファイルの状態フラグが「More Dirty」であるか否かを判断する。レプリケータ２３６は、対象ファイルの状態フラグが「More Dirty」であると判断する場合はステップＳ４１０に進み、対象ファイルの状態フラグが「More Dirty」ではないと判断する場合はステップＳ４０１に進む。
【0078】
ステップＳ４０１ではレプリケータ２３６は、対象ファイルの状態フラグを「Dirty」から「Clean」に更新してステップＳ４０２に進む。続くステップＳ４０２ではレプリケータ２３６は、処理対象とするオフセットである対象オフセットを決定する。対象オフセットは、対象ファイル中のオフセットであって本ステップにおいて対象オフセットとして選択されていないオフセットのいずれかが決定される。
【0079】
続くステップＳ４０３ではレプリケータ２３６は、対象オフセットの状態フラグを判断する。レプリケータ２３６は、対象オフセットの状態フラグが「Transferred」であると判断する場合はステップＳ４０５に進み、対象オフセットの状態フラグが「Copied」であると判断する場合はステップＳ４０４に進み、対象オフセットの状態フラグが「Clean」または「Dirty」であると判断する場合はステップＳ４０６に進む。
【0080】
ステップＳ４０４ではレプリケータ２３６は、対象オフセットの状態フラグを「Transferred」から「Clean」に変更してステップＳ４０６に進む。ステップＳ４０５ではレプリケータ２３６は、対象オフセットの状態フラグを「Copied」から「Clean」に変更してステップＳ４０６に進む。ステップＳ４０６ではレプリケータ２３６は、対象ファイルのすべてのオフセットが処理済みであるか否かを判断する。レプリケータ２３６は、全てのオフセットが処理済であると判断する場合はステップＳ４０７に進み、未処理のオフセットが存在すると判断する場合はステップＳ４０２に戻る。
【0081】
ステップＳ４００において肯定判断されると実行されるステップＳ４１０ではレプリケータ２３６は、対象ファイルの状態フラグを「More Dirty」から「Dirty」に更新してステップＳ４１１に進む。ステップＳ４１１ではレプリケータ２３６は、処理対象とするオフセットである対象オフセットを決定する。対象オフセットは、対象ファイル中のオフセットであって本ステップにおいて対象オフセットとして選択されていないオフセットのいずれかが決定される。
【0082】
続くステップＳ４１２ではレプリケータ２３６は、対象オフセットの状態フラグが「More Dirty」であるか否かを判断する。レプリケータ２３６は、対象オフセットの状態フラグが「More Dirty」であると判断する場合はステップＳ４１３に進み、対象オフセットの状態フラグが「More Dirty」ではないと判断する場合はステップＳ４１４に進む。
【0083】
ステップＳ４１３ではレプリケータ２３６は、対象オフセットの状態フラグを「More Dirty」から「Dirty」に変更してステップＳ４１４に進む。ステップＳ４１４ではレプリケータ２３６は、対象ファイルのすべてのオフセットが処理済みであるか否かを判断する。レプリケータ２３６は、全てのオフセットが処理済であると判断する場合はステップＳ４０７に進み、未処理のオフセットが存在すると判断する場合はステップＳ４１１に戻る。
【0084】
ステップＳ４０６において肯定判断された場合、またはステップＳ４１４において肯定判断された場合に実行されるステップＳ４０７ではレプリケータ２３６は、対象ファイルの排他を開放して図２５に示す処理を終了する。なお、ステップＳ４０７における排他の開放は、図２４のステップＳ３９２における排他の取得に対応するものである。
【0085】
図２６に進んで説明を続ける。ステップＳ３９５から丸囲みのＤを経由して実行されるステップＳ４２０では、レプリケータ２３６は、対象ファイルの状態フラグが「More Dirty」であるか否かを判断する。レプリケータ２３６は、対象ファイルの状態フラグが「More Dirty」であると判断する場合はステップＳ４２２に進み、対象ファイルの状態フラグが「More Dirty」ではないと判断する場合はステップＳ４２１に進む。
【0086】
ステップＳ４２２ではレプリケータ２３６は、対象ファイルの状態フラグを「More Dirty」から「Clean」に更新してステップＳ４２３に進む。ステップＳ４２３ではレプリケータ２３６は、処理対象とするオフセットである対象オフセットを決定する。対象オフセットは、対象ファイル中のオフセットであって本ステップにおいて対象オフセットとして選択されていないオフセットのいずれかが決定される。
【0087】
続くステップＳ４２４ではレプリケータ２３６は、対象オフセットの状態フラグが「More Dirty」であるか否かを判断する。レプリケータ２３６は、対象オフセットの状態フラグが「More Dirty」であると判断する場合はステップＳ４２５に進み、対象オフセットの状態フラグが「More Dirty」ではないと判断する場合はステップＳ４２６に進む。
【0088】
ステップＳ４２５ではレプリケータ２３６は、対象オフセットの状態フラグを「More Dirty」から「Dirty」に変更してステップＳ４２６に進む。ステップＳ４２６ではレプリケータ２３６は、対象ファイルのすべてのオフセットが処理済みであるか否かを判断する。レプリケータ２３６は、全てのオフセットが処理済であると判断する場合はステップＳ４２１に進み、未処理のオフセットが存在すると判断する場合はステップＳ４２３に戻る。
【0089】
ステップＳ４２１ではレプリケータ２３６は、対象ファイルの排他を開放してステップＳ４２７に進む。なおステップＳ４２１における排他の開放は、図２４のステップＳ３９４における排他の取得に対応するものである。ステップＳ４２７ではレプリケータ２３６は、対象ファイルの中止フラグが有効か否かを判断する。レプリケータ２３６は、中止フラグが有効と判断する場合はステップＳ４２８に進み、中止フラグが無効と判断する場合は図２６に示す処理を終了する。レプリケータ２３６は、ステップＳ４２８では転送パートを削除し、続くステップＳ４２９では複数パート転送を中止し、図２６に示す処理を終了する。
【0090】
図２７は、転送モードを設定するユーザインタフェースを示す図である。転送モード設定画面４００は、対象となる記憶装置を選択する装置選択欄４０１および転送モードを設定するモード設定欄４０２を備える。図２に示した計算機１１１の構成では補助記憶装置２１３が１つのみであったが、複数の補助記憶装置２１３を備える場合や計算機１１１の外部に設けられた記憶装置、たとえばＮＡＳ（Network Attached Storage）を利用可能な場合には、装置選択欄４０１を操作することでモードを設定する装置を変更できる。
【0091】
モード設定欄４０２は、ＭＰＵで利用可能な３つのモード、すなわち「リトライ」、「差分転送」、および「完遂」のいずれかが選択できる。ユーザが装置選択欄４０１およびモード設定欄４０２における選択を行い、転送モード設定画面４００の右下に示す設定ボタン４０３を押すと、設定が計算機１１１の不図示の領域に記録される。なお、転送モードの設定は記憶装置の単位でなくてもよく、たとえばユーザファイル２２１の単位で設定できてもよい。
【0092】
上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）ファイル転送システム１００は、計算機１１１において更新される対象ファイルを、対象ファイルを分割したパートごとにオブジェクトストレージ１３０へ転送する。ファイル転送システム１００は、計算機１１１における対象ファイルの更新位置をオフセットフラグ２２５として記録するＩＯフックプログラム２３４と、オフセットフラグ２２５を参照し、対象ファイルにおけるパートごとに更新の有無を判断するレプリケータ２３６の図１６のＳ３０６の処理と、レプリケータ２３６が更新有りと判断したパートをオブジェクトストレージ１３０に転送するレプリケータ２３６と、を備える。レプリケータ２３６は、対象ファイルに含まれるいずれかのパートをレプリケータ２３６がＭＰＵにより転送を開始した以後に対象ファイルが更新される再更新が発生すると、再更新により更新されたパートである再更新パートを、すでに転送したか否かに関わらずオブジェクトストレージ１３０に送信する。そのためファイル転送システム１００は、対象ファイルを一時的にコピーすることなく対象ファイルにおける更新の発生を検出することで、効率よく対象ファイルを計算機１１１からオブジェクトストレージ１３０に転送できる。
（１）ファイル転送システム１００は、計算機１１１において更新される対象ファイルを、対象ファイルを分割したパートごとにオブジェクトストレージ１３０へ転送する。ファイル転送システム１００は、計算機１１１における対象ファイルの更新位置をオフセットフラグ２２５として記録するＩＯフックプログラム２３４と、オフセットフラグ２２５を参照し、対象ファイルにおけるパートごとに更新の有無を判断するレプリケータ２３６の図１６のＳ３０６の処理と、レプリケータ２３６が更新有りと判断したパートをオブジェクトストレージ１３０に転送するレプリケータ２３６と、を備える。レプリケータ２３６は、対象ファイルに含まれるいずれかのパートをレプリケータ２３６がＭＰＵにより転送を開始した以後に対象ファイルが更新される再更新が発生すると、再更新により更新されたパートである再更新パートを、すでに転送したか否かに関わらずオブジェクトストレージ１３０に送信する。そのためファイル転送システム１００は、対象ファイルを一時的にコピーすることなく対象ファイルにおける更新の発生を検出することで、効率よく対象ファイルを計算機１１１からオブジェクトストレージ１３０に転送できる。
【0093】
（２）レプリケータ２３６は、オフセットフラグ２２５を参照する前に対象ファイルを書き込み禁止状態に遷移させ（図１６のＳ３０２）、オフセットフラグの参照が完了すると対象ファイルを書き込み可能状態に遷移させる（図１６のＳ３０５）。そのため、対象ファイルに書き込みができない時間をごくわずかな時間に収めることができる。
【0094】
（３）ファイル転送システム１００は、レプリケータ２３６が更新無しと判断したパートを、オブジェクトストレージ１３０に格納される更新前の対象ファイルを用いてオブジェクトストレージ１３０に複製させるレプリケータ２３６（図１７のＳ３０８、図１９）を備える。オブジェクトストレージ１３０において、レプリケータ２３６により転送されたパートと、レプリケータ２３６の指示に基づき複製したパートと、を統合することにより第２計算機における更新後の対象ファイルとする（図１２、図１５）。そのため、従前に転送したデータを利用することで、データ転送量およびデータ転送に要する時間を減らすことができる。
【0095】
（４）レプリケータ２３６によるＭＰＵは所定の時間間隔で繰り返し実行される。レプリケータ２３６は、転送モードが「完遂」の場合には（図１７のＳ３１４→Ｓ３１７）、再更新が発生しなくなるまで、所定の時間間隔を待つことなく、再更新パートのオブジェクトストレージ１３０への送信を繰り返す。そのため、早期に転送を完了させることができる。
【0096】
（５）レプリケータ２３６によるＭＰＵは所定の時間間隔で繰り返し実行される。レプリケータ２３６は、転送モードが「リトライ」または「差分転送」の場合には（図１７のＳ３１４→Ｓ３１５、Ｓ３１６）、レプリケータ２３６は、再更新が発生しなくなるまで、所定の時間間隔に従い、再更新パートのオブジェクトストレージ１３０への送信を繰り返す。そのため、定期的に実行されるそれぞれのＭＰＵの実行時間を短くできる。
【0097】
（６）レプリケータ２３６は、転送モードが「リトライ」の場合には、再更新が発生するとさらに、再更新における更新がされておらず、かつ従前に送信したパートを改めて送信する（図１７のＳ３１５、図２１）。そのため、念のために送信済みのパートを再送できる。
【0098】
（７）レプリケータ２３６は、転送モードが「差分転送」の場合には、再更新が発生すると、再更新における更新がされておらず、かつ従前に送信したパートは改めて送信しない（図１７のＳ３１６、図２２）。そのため、再更新により必要となったデータのみを改めて送信することで処理時間を節約できる。
【0099】
（変形例１）
図１７において、ステップＳ３１０とステップＳ３１１の順番を入れ替えてもよい。すなわち、ＭＰＵの最中に対象ファイルが更新されて状態フラグが「More Dirty」に変更されたか否かは、対象ファイルの全パートについてパート複製処理またはパート転送処理が完了した後に判断してもよい。また、レプリケータ２３６の動作モードが予め設定され、他の転送モードには対応しなくてもよい。
図１７において、ステップＳ３１０とステップＳ３１１の順番を入れ替えてもよい。すなわち、ＭＰＵの最中に対象ファイルが更新されて状態フラグが「More Dirty」に変更されたか否かは、対象ファイルの全パートについてパート複製処理またはパート転送処理が完了した後に判断してもよい。また、レプリケータ２３６の動作モードが予め設定され、他の転送モードには対応しなくてもよい。
【0100】
（変形例２）
上述した実施の形態では、計算機１１１がオブジェクトストレージ１３０に送信するユーザファイル２２１は、計算機１１１に格納された。しかしユーザファイル２２１は計算機１１１に格納されなくてもよい。たとえばユーザファイル２２１は、計算機１１１とネットワーク接続された他の装置に格納されてもよい。
上述した実施の形態では、計算機１１１がオブジェクトストレージ１３０に送信するユーザファイル２２１は、計算機１１１に格納された。しかしユーザファイル２２１は計算機１１１に格納されなくてもよい。たとえばユーザファイル２２１は、計算機１１１とネットワーク接続された他の装置に格納されてもよい。
【0101】
上述した実施の形態および変形例において、機能ブロックの構成は一例に過ぎない。別々の機能ブロックとして示したいくつかの機能構成を一体に構成してもよいし、１つの機能ブロック図で表した構成を２以上の機能に分割してもよい。また各機能ブロックが有する機能の一部を他の機能ブロックが備える構成としてもよい。
【0102】
上述した各実施の形態および変形例において、計算機１１１のプログラムは不図示のＲＯＭに格納されるとしたが、プログラムは補助記憶装置２１３に格納されていてもよい。また、計算機１１１が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースと計算機１１１が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、たとえば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝播する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。
【0103】
上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【0104】
１００ ：ファイル転送システム
１１１ ：計算機
１３０ ：オブジェクトストレージ
２２１ ：ユーザファイル
２２２ ：フラグデータ
２２３ ：ファイルフラグ
２２４ ：パートフラグ
２２５ ：オフセットフラグ
２３４ ：ＩＯフックプログラム
２３６ ：レプリケータ
３３１ ：オブジェクトシステムプログラム
１１１ ：計算機
１３０ ：オブジェクトストレージ
２２１ ：ユーザファイル
２２２ ：フラグデータ
２２３ ：ファイルフラグ
２２４ ：パートフラグ
２２５ ：オフセットフラグ
２３４ ：ＩＯフックプログラム
２３６ ：レプリケータ
３３１ ：オブジェクトシステムプログラム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】