(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6474367
(24)【登録日】2019年2月8日
(45)【発行日】2019年2月27日
(54)【発明の名称】分散システム用ファイル処理方法、および装置
(51)【国際特許分類】
G06F 12/00 20060101AFI20190218BHJP
【FI】
G06F12/00 545A
【請求項の数】8
【全頁数】10
(21)【出願番号】特願2016-160184(P2016-160184)
(22)【出願日】2016年8月17日
(65)【公開番号】特開2017-76370(P2017-76370A)
(43)【公開日】2017年4月20日
【審査請求日】2016年8月17日
(31)【優先権主張番号】201510661956.0
(32)【優先日】2015年10月14日
(33)【優先権主張国】CN
【前置審査】
(73)【特許権者】
【識別番号】514322098
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際特許業務法人
(72)【発明者】
【氏名】ジェン チュエンガン
【審査官】
田中 啓介
(56)【参考文献】
【文献】
特開平09−050438(JP,A)
【文献】
特表2015−515042(JP,A)
【文献】
特開2007−158822(JP,A)
【文献】
特開2012−088880(JP,A)
【文献】
特開2008−159015(JP,A)
【文献】
米国特許出願公開第2014/0172824(US,A1)
【文献】
米国特許出願公開第2014/0207913(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F9/46−54
G06F12/00、17/30
G06F19/10−19/28
G06Q10/00−99/00
(57)【特許請求の範囲】
【請求項1】
受信ユニット、分割ユニットおよび並行ユニットを備えるファイル処理装置と、複数のサーバーとを有する分散システムにてファイル処理を行う方法であって、
前記受信ユニットが所定マークを含むファイルを受信するステップであって、前記ファイルは、遺伝子情報ファイルである、ステップと、
前記分割ユニットが、前記ファイルのサイズ、前記ファイルにおける所定マークの数、および前記分散システムに含まれるサーバーの数に基づいて、前記ファイルを、それぞれ同じ数の所定マークを含む複数のサブファイルに分割するステップであって、前記サブファイルのサイズは、個々のサーバーのサイズより小さい、ステップと、
前記並行ユニットが、前記分散システムに含まれるサーバーのうちの少なくとも1つのサーバーから送信されたファイルの処理要求に応答し、相応のサーバーへサブファイルを送信して前記ファイルを並行処理するステップと、を含むことを特徴とする、分散システム用ファイル処理方法。
【請求項2】
前記サブファイルの数は、前記分散システムに含まれるサーバーの数の整数倍であることを特徴とする、請求項1に記載の方法。
【請求項3】
前記並行ユニットが前記の相応のサーバーへサブファイルを送信して前記ファイルを並行処理するステップの後で、前記方法は、
前記並行ユニットが前記相応のサーバーにより処理されたサブファイルをマージしてマージファイルを生成するステップと、
前記並行ユニットが前記マージファイルのアクセス権限を、共有権限または非共有権限に設定するステップとをさらに含むことを特徴とする、請求項1に記載の方法。
【請求項4】
前記分割ユニットが、前記ファイルのサイズ、前記ファイルにおける所定マークの数、および前記分散システムに含まれるサーバーの数に基づいて、前記ファイルを複数のサブファイルに分割するステップにおいては、
前記分割ユニットが、前記ファイルのサイズ、前記ファイルにおける所定マークの数、および前記分散システムに含まれるサーバーの数に基づいて、分割・生成しようとするサブファイルの数、および各サブファイルに含まれる所定マークの数を確定するステップと、
前記分割ユニットが、前記分割・生成しようとするサブファイルの数および各サブファイルに含まれる所定マークの数に基づいて、前記ファイルを複数のサブファイルに分割するステップとを含むことを特徴とする、請求項1または2に記載の方法。
【請求項5】
分散システム用ファイル処理装置であって、
所定マークを含むファイルを受信するための受信ユニットであって、前記ファイルは、遺伝子情報ファイルである、受信ユニットと、
前記ファイルのサイズ、前記ファイルにおける所定マークの数、および前記分散システムに含まれるサーバーの数に基づいて、前記ファイルをそれぞれ同じ数の所定マークを含む複数のサブファイルに分割するための分割ユニットであって、前記サブファイルのサイズは、個々のサーバーのサイズより小さい、分割ユニットと、
前記分散システムに含まれるサーバーのうちの少なくとも1つのサーバーから送信されたファイルの処理要求に応答し、相応のサーバーへサブファイルを送信して前記ファイルを並行処理するための並行ユニットと、を備えることを特徴とする、分散システム用ファイル処理装置。
【請求項6】
前記サブファイルの数は、前記分散システムに含まれるサーバーの数の整数倍であることを特徴とする、請求項5に記載の装置。
【請求項7】
前記並行ユニットは、さらに、
前記相応のサーバーにより処理されたサブファイルをマージしてマージファイルを生成し、
前記マージファイルのアクセス権限を、共有権限または非共有権限に設定するために構成されることを特徴とする、請求項5に記載の装置。
【請求項8】
前記分割ユニットは、具体的に、
前記ファイルのサイズ、前記ファイルにおける所定マークの数、および前記分散システムに含まれるサーバーの数に基づいて、分割・生成しようとするサブファイルの数、および各サブファイルに含まれる所定マークの数を確定し、
前記分割・生成しようとするサブファイルの数および各サブファイルに含まれる所定マークの数に基づいて、前記ファイルを複数のサブファイルに分割するために構成されることを特徴とする、請求項5または6に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータ技術分野に関し、具体には、インターネット技術分野に関し、特に分散システム用ファイル処理方法、および装置に関する。
【背景技術】
【0002】
ユーザは、通常、遺伝子情報ファイルを検出処理して処理後のファイルを取得し、さらに処理後のファイルに基づいて人の将来の疾患リスクを予測する。遺伝子情報ファイルが大きいため、遺伝子情報ファイルの検出処理は、時間がかかり、繁雑になることをもたらす。
【0003】
従来技術において、遺伝子情報ファイルを処理するシステムには、通常、単一のサーバーのみ備えている。そのため、システムにおける単一のサーバーの助けを借りて遺伝子情報ファイルを処理するしかないので、処理時間が長くなってしまう。また、遺伝子情報ファイルが大きすぎる場合、遺伝子情報ファイルを処理するシステムのメモリ不足に起因してこのような遺伝子情報ファイルを処理することができなくなる恐れもある。
【0004】
したがって、遺伝子情報ファイルの処理効率をさらに向上させるために、遺伝子情報ファイルを並列処理する方法を必要としている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、改善された分散システム用ファイル処理方法、および装置を提供することにより、上記の背景技術に記載された技術的問題を解決することを目的とする。
【課題を解決するための手段】
【0006】
第1の態様において、本発明は、分散システム用ファイル処理方法を提供し、この方法は、所定マークを含むファイルを受信するステップと、前記ファイルのサイズ、前記ファイルにおける所定マークの数、および前記分散システムに含まれるサーバーの数に基づいて、前記ファイルをそれぞれ同じ数の所定マークを含む複数のサブファイルに分割するステップと、前記分散システムに含まれるサーバーのうちの少なくとも1つのサーバーから送信されたファイルの処理要求に応答し、相応のサーバーへサブファイルを送信して前記ファイルを並行処理するステップとを含むことを特徴とする。
【0007】
いくつかの実施例において、前記サブファイルの数は、前記分散システムに含まれるサーバーの数の整数倍である。
いくつかの実施例において、前記の相応のサーバーへサブファイルを送信して前記ファイルを並行処理するステップの後で、前記方法は、前記相応のサーバーにより処理されたサブファイルをマージしてマージファイルを生成するステップと、前記マージファイルのアクセス権限を、共有権限または非共有権限に設定するステップとをさらに含む。
【0008】
いくつかの実施例において、前記ファイルは、遺伝子情報ファイルである。
前記ファイルのサイズ、前記ファイルにおける所定マークの数、および前記分散システムに含まれるサーバーの数に基づいて、前記ファイルを複数のサブファイルに分割するステップにおいては、前記ファイルのサイズ、前記ファイルにおける所定マークの数、および前記分散システムに含まれるサーバーの数に基づいて、分割・生成しようとするサブファイルの数、および各サブファイルに含まれる所定マークの数を確定するステップと、前記分割・生成しようとするサブファイルの数および各サブファイルに含まれる所定マークの数に基づいて、前記ファイルを複数のサブファイルに分割するステップとを含む。
【0009】
第2の態様において、本発明は、分散システム用ファイル処理装置を提供し、この装置は、所定マークを含むファイルを受信するための受信ユニットと、前記ファイルのサイズ、前記ファイルにおける所定マークの数、および前記分散システムに含まれるサーバーの数に基づいて、前記ファイルをそれぞれ同じ数の所定マークを含む複数のサブファイルに分割するための分割ユニットと、前記分散システムに含まれるサーバーのうちの少なくとも1つのサーバーから送信されたファイルの処理要求に応答し、相応のサーバーへサブファイルを送信して前記ファイルを並行処理するための並行ユニットとを備えることを特徴とする。
【0010】
いくつかの実施例において、前記サブファイルの数は、前記分散システムに含まれるサーバーの数の整数倍である。
いくつかの実施例において、前記並行ユニットは、さらに、前記相応のサーバーにより処理されたサブファイルをマージしてマージファイルを生成し、前記マージファイルのアクセス権限を、共有権限または非共有権限に設定するように構成される。
【0011】
いくつかの実施例において、前記ファイルは、遺伝子情報ファイルである。
いくつかの実施例において、前記分割ユニットは、具体的に、前記ファイルのサイズ、前記ファイルにおける所定マークの数、および前記分散システムに含まれるサーバーの数に基づいて、分割・生成しようとするサブファイルの数、および各サブファイルに含まれる所定マークの数を確定し、前記分割・生成しようとするサブファイルの数および各サブファイルに含まれる所定マークの数に基づいて、前記ファイルを複数のサブファイルに分割するように構成される。
【発明の効果】
【0012】
本発明の実施例に係る分散システム用ファイル処理方法、および装置では、遺伝子情報ファイルの処理効率を向上させ、ロードバランシングを実現した。
【図面の簡単な説明】
【0013】
以下、図面を参照しながら非限定的な実施例を詳細に説明することにより、本発明の他の特徴、目的、および利点は、より明らかになる。
【
図1】本発明が適用された例示的なシステムアーキテクチャ図である。
【
図2】本発明に係る分散システム用ファイル処理方法の一実施例を示すフローチャートである。
【
図3】本発明に係る分散システム用ファイル処理方法の一応用場面の模式図である。
【
図4】本発明に係る分散システム用ファイル処理装置の一実施例の構造模式図である。
【
図5】本発明の実施例を実現するための端末装置またはサーバーに適されるコンピュータシステムを示す構造概略図である。
【発明を実施するための形態】
【0014】
以下、図面および実施例を参照しながら、本発明をさらに詳しく説明する。ただし、ここで説明されている具体的な実施例は、係る発明を解釈するためのものに過ぎず、本発明の範囲を制限するものではないと理解されるべきである。また、説明の便宜上、図面に本発明と関連する部分のみが示されている。
【0015】
ただし、衝突がない限り、本願における実施例、および実施例における特徴は、互いに組み合せてもよい。以下、図面を参照しながら実施例に基づいて本発明を詳細に説明する。
【0016】
図1は、本発明に係る分散システム用ファイル処理方法、または分散システム用ファイル処理装置の実施例を適用できる例示的なシステムアーキテクチャ100を示した。
図1に示すように、システムアーキテクチャ100は、端末装置101、102、103、ネットワーク104、および分散システム105(分散システム105は、サーバー106、107、108を含み)を備えてもよい。ネットワーク104は、端末装置101、102、103とサーバー105との間に通信リンクの媒質を提供することに用いられる。ネットワーク104は、例えば有線、無線通信リンク、または光ファイバケーブルなどのさまざまな接続タイプを備えてもよい。
【0017】
ユーザは、メッセージ等を受信したり送信したりするために、端末装置101、102、103を使用してネットワーク104を介してサーバー105と対話することができる。端末装置101、102、103には、様々な通信クライアントアプリ、例えば、文書処理アプリ、買い物アプリ、検索アプリ、即時通信ツール、電子メールクライアント、ソーシャルプラットフォームソフトウェアなどがインストールされてもよい。
【0018】
端末装置101、102、103は、スクリーンを備え、且つデータ処理をサポートする各種の電子機器であってもよく、スマートフォン、タブレットPC、電子ブックリーダー、MP3(Moving Picture Experts Group Audio Layer III)プレーヤー、MP4(Moving Picture Experts Group Audio Layer IV)プレーヤー、ノートブック型パソコンやデスクトップコンピュータなどを含むが、これらに限らない。
【0019】
分散システム105は、サーバー106、107、108を備え、サーバー106、107、108は、各種のサービスを提供可能なサーバー、例えば、端末装置101、102、103へアップロードされたファイルにサポートを提供するバックエンドサーバーであってもよい。バックエンドサーバーは、受信されたデータに対して分析等の処理を行い、処理後のファイルを端末装置にフィードバックすることができる。
【0020】
ここで、本発明の実施例に係る分散システム用ファイル処理方法は、通常、分散システム105により実行され、それに応じて、分散システム用ファイル処理装置は、通常、分散システム105に設けられていることを注意すべきである。
【0021】
図1における端末装置、ネットワーク、およびサーバーの数は、例示的なものに過ぎないと理解すべきである。実際の必要に応じて、任意の数の端末装置、ネットワーク、およびサーバーを備えてもよい。
【0022】
続いて、本発明に係る分散システム用ファイル処理方法の一実施例のフローチャート200を示す
図2を参照する。前記分散システム用ファイル処理方法は、以下のステップを含む。
【0023】
ステップ201:所定マークを含むファイルを受信する。
本実施例において、分散システム用ファイル処理方法が実行される電子機器(例えば、
図1に示す分散システム105)は、有線接続形態、または無線接続形態により、ユーザがファイルを閲覧するために用いる端末から、所定マークを含むファイルを受信してもよく、その中で、前記所定マークを含むファイルはユーザが処理しようとするファイルを含み、当該ファイルは所定マークを有する。ただし、前記無線接続形態は、3G/4G接続、WiFi接続、ブルートゥース(Bluetooth)接続、WiMAX接続、Zigbee接続、UWB(ultra wideband)接続、および他の従来既知のまたは将来に開発される無線接続方式を含むが、これらに限定されない。
【0024】
通常、ユーザは、端末にインストールされたファイル処理クライアントを利用してファイルを送信する場合、直接にファイルの内容を入力したり、ファイルをアップロードしたりして分散システム105へ所定マークを含むファイルを送信してもよい。本実施例において、前記ファイルは、fasta形式、fastq形式のファイルまたは他の将来に開発される形式のファイルを含んでもよく、前記所定マークは、「>」または「@」であってもよい。
【0025】
本実施例のいくつかの代替的な実現形態において、前記ファイルは、遺伝子情報ファイルである。
ステップ202:ファイルのサイズ、ファイルにおける所定マークの数、および分散システムに含まれるサーバーの数に基づいて、ファイルを複数のサブファイルに分割し、その中で、各サブファイルが同じ数の所定マークを含む。
本実施例において、ステップ201により所定マークを含むファイルが得られ、前記電子機器(例えば、
図1に示す分散システム105)は、まず、前記ファイルを取得し、その後、様々な分析手段を利用して前記ファイルおよびファイルの内容を分析し、それにより検出してファイルのサイズ、ファイルにおける所定マークの数が得られ、さらに、検出して分散システムに含まれるサーバーの数が得られる。その後、前記ファイルのサイズ、前記ファイルにおける所定マークの数、および前記分散システムに含まれるサーバーの数に基づいて、前記ファイルを複数のサブファイルに分割し、その中で、各サブファイルにおける所定マークの数が同じである。
【0026】
具体的な実施例において、前記ファイルのサイズが100Mで、前記ファイルにおける所定マークの数が200個の「@」で、前記分散システムに含まれるサーバーの数が10個であると仮定すれば、ファイルを10個のサブファイルに分割し、各サブファイルが20個の所定マークを含むように確保する。
【0027】
本実施例のいくつかの代替的な実現形態において、前記サブファイルの数は、前記分散システムに含まれるサーバーの数の整数倍である。以上で述べたように、前記分散システムに含まれるサーバーの数が10個である場合、サブファイルの数を10、20、30などの10の整数倍にするように考えればよく、サブファイルの数を確定した後に、さらにファイルを複数のサブファイルに分割する。
【0028】
本実施例のいくつかの代替的な実現形態において、ファイルのサイズ、ファイルにおける所定マークの数、および分散システムに含まれるサーバーの数に基づいて、分割・生成しようとするサブファイルの数、および各サブファイルに含まれる所定マークの数を確定し、分割・生成しようとするサブファイルの数および各サブファイルに含まれる所定マークの数に基づいて、ファイルを複数のサブファイルに分割する。以上で述べたように、前記ファイルのサイズが100Mで、前記ファイルにおける所定マークの数が200個の「@」で、前記分散システムに含まれるサーバーの数が10個であると仮定すれば、前記ファイルを10の倍数のサブファイルに分割し、分割・生成しようとするサブファイルの数が10個であり、且つ各サブファイルに20個の所定マークを含むように設定し、分割・生成しようとするサブファイルの数、および各サブファイルに含まれる所定マークの数に基づいて、各サブファイルが20個の所定マークを含むことを確保すると共に、ファイルを10個のサブファイルに分割する。
【0029】
ステップ203:前記分散システムに含まれるサーバーのうちの少なくとも1つのサーバーから送信されたファイルの処理要求に応答し、相応のサーバーへサブファイルを送信して前記ファイルを並行処理する。
本実施例において、まず、前記分散システムに含まれるサーバーのうちの少なくとも1つのサーバーは、ファイルの処理要求を送信し、分散システムは、前記ファイルの処理要求を受信した後に、相応のサーバーへサブファイルを送信することで前記ファイルの処理要求に応答し、したがって、前記分散システムに含まれるサーバーのうちの少なくとも1つのサーバーで前記ファイルの処理を並行し、分散システムにおける複数のサーバーにより、ファイルの処理要求のロードバランシングを実現する。
【0030】
本実施例のいくつかの代替的な実現形態において、前記相応のサーバーにより処理されたサブファイルをマージしてマージファイルを生成し、前記マージファイルのアクセス権限を、共有権限または非共有権限に設定する。その中で、テキストまたはパターンの表示形態により、所定マークのファイルおよびマージファイルを表示する。非共有権限は、予め設定されたユーザのダウンロード、閲覧、変更、呼び出し、または削除が可能な権限であり、共有権限は、全てのユーザが読み取りおよびコピーが可能な権限である。
【0031】
続いて、本実施例に係る分散システム用ファイル処理方法の応用場面の1つの模式
図300を参照する。
図3の応用場面において、分散システムは、まず、所定マークを含むファイル301を受信し、その後、前記ファイル301のサイズ、ファイル301における所定マークの数、および分散システムに含まれるサーバー303の数に基づいて、ファイルを複数のサブファイル302に分割し、その中で、各サブファイル302が同じ数の所定マークを含み、それから、分散システムに含まれるサーバー303のうちの少なくとも1つのサーバーから送信されたファイルの処理要求に応答し、相応のサーバー303へサブファイルを送信して前記ファイルを並行処理する。前記相応のサーバー303により処理されたサブファイルをマージしてマージファイル304を生成する。
【0032】
本発明の実施例により、遺伝子情報ファイルの処理効率を向上させ、負荷均衡を実現した。
さらに、
図4を参照し、本発明は、前記各図に示す方法の実現形態として、分散システム用ファイル処理装置の一実施例を提供した。当該装置の実施例は、
図2に示す方法の実施例に対応している。
【0033】
図4に示すように、本実施例に係る分散システム用ファイル処理装置400は、所定マークを含むファイルを受信するための受信ユニット401と、
前記ファイルのサイズ、前記ファイルにおける所定マークの数、および前記分散システムに含まれるサーバーの数に基づいて、前記ファイルをそれぞれ同じ数の所定マークを含む複数のサブファイルに分割するための分割ユニット402と、
前記分散システムに含まれるサーバーのうちの少なくとも1つのサーバーから送信されたファイルの処理要求に応答し、相応のサーバーへサブファイルを送信して前記ファイルを並行処理するための並行ユニット403とを備える。
【0034】
本実施例において、分散システム用ファイル処理装置400の受信ユニット401は、有線接続形態、または無線接続形態により、ユーザがファイルを閲覧するために用いる端末から、所定マークを含むファイルを受信してもよく、その中で、前記所定マークを含むファイルはユーザが処理しようとするファイルを含み、当該ファイルは所定マークを有する。
【0035】
本実施例において、ユニット401によりファイルが得られ、前記分割ユニット402は、まず、前記ファイルを取得することができ、その後、さらに様々な分析手段を利用して前記ファイルおよびファイルの内容を分析し、それにより検出してファイルのサイズ、ファイルにおける所定マークの数が得られ、さらに、検出して分散システムに含まれるサーバーの数が得られる。
【0036】
本実施例において、並行ユニット403は、前記分散システムに含まれるサーバーのうちの少なくとも1つのサーバーから送信されたファイルの処理要求に応答し、相応のサーバーへサブファイルを送信して前記ファイルを並行処理する。
【0037】
前記分散システム用ファイル処理装置400が、プロセッサ、メモリなどのいくつかの他の公知の構造をさらに備えてもよく、本発明の実施例を曖昧にすることを回避するために、これらの公知の構造を
図4に示さなかったことを、当業者は理解することができる。
【0038】
以下、本発明の実施例を実現するための端末装置またはサーバーに適用されるコンピュータシステム500を示す構造模式図である
図5を参照する。
図5に示すように、コンピュータシステム500は、読み出し専用メモリ(ROM)502に記憶されているプログラムまたは記憶部508からランダムアクセスメモリ(RAM)503にロードされたプログラムに基づいて様々な適当な動作および処理を実行することができる中央処理装置(CPU)501を備える。RAM503には、システム500の操作に必要な様々なプログラムおよびデータがさらに記憶されている。CPU501、ROM502およびRAM503は、バス504を介して互いに接続されている。入力/出力(I/O)インターフェース505もバス504に接続されている。
【0039】
キーボード、マウスなどを含む入力部506、陰極線管(CRT)、液晶ディスプレイ(LCD)など、およびスピーカなどを含む出力部507、ハードディスクなどを含む記憶部508、およびLANカード、モデムなどを含むネットワークインターフェースカードの通信部509は、I/Oインターフェース505に接続されている。通信部509は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ510は、必要に応じてI/Oインターフェース505に接続される。リムーバブルメディア511は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ510に取り付けられ、したがって、ドライバ510から読み出されたコンピュータプログラムが必要に応じて記憶部508にインストールされる。
【0040】
特に、本発明の実施例によれば、上記のフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、機械可読媒体に有形に具現化されるコンピュータプログラムを含み、前記コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部509を介してネットワークからダウンロードされてインストールされてもよく、および/またはリムーバブルメディア511からインストールされてもよい。
【0041】
図面におけるフローチャートおよびブロック図は、本発明の各実施例に係るシステム、方法およびコンピュータプログラム製品により実現可能なアーキテクチャ、機能および操作を示す。ここで、フローチャートまたはブロック図における各枠は、1つのモジュール、プログラムセグメント、またはコードの一部を代表してもよく、前記モジュール、プログラムセグメント、またはコードの一部は、規定された論理機能を実現するための1つ以上の実行可能な命令を含む。なお、いくつかの代替実施態様として、枠に示された機能は、図面に示された順番と異なる順番で実行されてもよい。例えば、連続して示された2つの枠は、関連する機能に応じて、実際にほぼ並行に実行されてもよく、逆の順番で実行されてもよい。なお、ブロック図および/またはフローチャートにおける各枠と、ブロック図および/またはフローチャートにおける枠の組合せは、規定された機能または操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、あるいは、専用ハードウェアとコンピュータの命令との組合せで実行されてもよい。
【0042】
本発明の実施例に記載されたユニットは、ソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。記載されたユニットは、プロセッサに設定されてもよく、例えば、「受信ユニット、分析ユニット、情報選取ユニット、および生成ユニットを備えるプロセッサ」として記載されてもよい。その中でも、これらのユニットの名称は、ある場合において当該ユニットその自体を限定するものではなく、例えば、受信ユニットは、「ユーザのウェブページ閲覧の請求を受信するユニット」として記載されてもよい。
【0043】
一方、本発明は、不揮発性コンピュータ記憶媒体をさらに提供し、当該不揮発性コンピュータ記憶媒体は、上記の実施例の前記装置に含まれる不揮発性コンピュータ記憶媒体であってもよく、独立に存在して端末に組み立てられていない不揮発性コンピュータ記憶媒体であってもよい。前記不揮発性コンピュータ記憶媒体は、1つ以上のプログラムが記憶され、前記1つ以上のプログラムが1つの機器により実行された場合、前記機器に、所定マークを含むファイルを受信し、前記ファイルのサイズ、前記ファイルにおける所定マークの数、および前記分散システムに含まれるサーバーの数に基づいて、前記ファイルをそれぞれ同じ数の所定マークを含む複数のサブファイルに分割し、前記分散システムに含まれるサーバーのうちの少なくとも1つのサーバーから送信されたファイルの処理要求に応答し、相応のサーバーへサブファイルを送信して前記ファイルを並行処理するようにさせる。
【0044】
以上の記載は、本発明の好ましい実施例、および使用された技術的原理の説明に過ぎない。本発明に係る特許請求の範囲が、上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本発明の趣旨を逸脱しない範囲で、上記の技術的特徴または同等の特徴の任意の組合せからなる他の技術案をも含むべきであることを、当業者は理解すべきである。例えば、上記の特徴と、本発明に開示された類似の機能を持っている技術的特徴(これらに限定されていない)とを互いに置き換えてなる技術案が挙げられる。