特許 5915905 分散処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5915905

(24)【登録日】2016年4月15日

(45)【発行日】2016年5月11日

(54)【発明の名称】分散処理システム

(51)【国際特許分類】

   G06F 15/173 20060101AFI20160422BHJP

【ＦＩ】

   G06F15/173 660D

【請求項の数】3

【全頁数】11

(21)【出願番号】特願2012-210307(P2012-210307)

(22)【出願日】2012年9月25日

(65)【公開番号】特開2014-67114(P2014-67114A)

(43)【公開日】2014年4月17日

【審査請求日】2015年9月24日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500112146

【氏名又は名称】サイレックス・テクノロジー株式会社

(72)【発明者】

【氏名】福永 善隆

【審査官】 清木 泰

(56)【参考文献】

【文献】 特開平０９−２６１２５５（ＪＰ，Ａ）

【文献】 特開平０５−３４７６２３（ＪＰ，Ａ）

【文献】 特開平０４−００６９２８（ＪＰ，Ａ）

【文献】 特開平０１−２０９８３５（ＪＰ，Ａ）

【文献】 南端邦彦，佐藤文明，水野忠則，共有仮想環境のための高信頼マルチキャスト方式，情報処理学会研究報告，日本，社団法人情報処理学会，１９９８年 ６月 ４日，Vol:98，No:55，(98-DPS-89)，Pages:37〜42

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ１５／１６−１５／１７７

Ｇ０６Ｆ ９／４６− ９／５４

Ｇ０６Ｔ １／００− １／４０

Ｇ０６Ｔ ３／００− ５／５０

Ｇ０６Ｔ ９／００− ９／４０

Ｈ０４Ｌ１２／２８

Ｈ０４Ｌ１２／４０−１２／４１７

Ｈ０４Ｌ１２／４４−１２／４６

Ｈ０４Ｗ ８／２６

Ｈ０４Ｗ２４／００

Ｈ０４Ｗ２８／０２

Ｈ０４Ｗ７２／０４

Ｈ０４Ｗ７４／０４−７４／０８

Ｈ０４Ｗ８４／１２

Ｈ０４Ｗ８８／０８

(57)【特許請求の範囲】

【請求項1】

任意のデータから順序情報を含んで分割された処理前データを，ネットワークを介して受信し，所定の処理を施し，処理後データを所定の受信側装置に向けて送信する分散処理装置であって，
順序情報（１）が含まれた処理前データに前記所定の処理を施して処理後データとし，一時記憶させる手段と，
前記ネットワークを介して前記所定の受信側装置から受信する同報通信に含まれる順序情報（２）を取得する手段と，
前記順序情報（１）と前記順序情報（２）とを比較して，前記順序情報（２）が前記順序情報（１）の１つ前の順序を示す場合，一時記憶された前記処理後データを前記ネットワークを介して前記所定の受信側装置に送信する手段と，
を備える分散処理装置。

【請求項2】

任意のデータから順序情報を含んで分割された処理前データを，ネットワークを介して受信し，所定の処理を施し，処理後データを所定の受信側装置に向けて送信する分散処理装置として，ネットワーク端末を機能させるプログラムであって，
順序情報（１）が含まれた処理前データに所定の処理を施して処理後データとし，一時記憶させる手段と，
ネットワークを介して所定の受信側装置から受信する同報通信に含まれる順序情報（２）を取得する手段と，
前記順序情報（１）と前記順序情報（２）とを比較して，前記順序情報（２）が前記順序情報（１）の１つ前の順序を示す場合，一時記憶された前記処理後データを前記ネットワークを介して前記所定の受信側装置に送信する手段，
として機能させるプログラム。

【請求項3】

他の端末に所定の処理をさせる依頼側装置と，受信側装置と，複数の分散処理装置とが，ネットワークで接続された分散処理システムであって，
（Ａ）前記依頼側装置は，
任意のデータを順序情報が付されたデータに分割する手段と，当該分割した各々のデータを処理前データとして前記ネットワークを介して前記複数の分散処理装置に送信する手段とを備え，
（Ｂ）前記受信側装置は，
（Ｂ−１）分散処理装置から前記ネットワークを介して送信された処理後データを受信するデータ受信手段と，
（Ｂ−２）前記データ受信手段が受信した処理後データに含まれる順序情報を抽出する順序情報抽出手段と，
（Ｂ−３）前記順序情報抽出手段が抽出した前記順序情報が含まれる通信であって，前記データ受信手段が処理後データの受信を完了した旨の通信を，同報通信にて前記ネットワークを介して分散処理装置に向けて送信する受信完了通知手段と，
を備え，
（Ｃ）前記分散処理装置は，
前記依頼側装置から順序情報を含む処理前データを前記ネットワークを介して受信する手段と，
前記処理前データに所定の処理を施して処理後データとし，一時記憶させる手段と，
前記ネットワークを介して前記受信側装置から送信された前記同報通信に含まれる順序情報を取得する手段と，
一時記憶した前記処理後データの前記順序情報（１）と前記同報通信に含まれる順序情報（２）とを比較して，前記順序情報（２）が前記順序情報（１）の１つ前の順序を示す場合，前記一時記憶された処理後データを前記ネットワークを介して前記所定の受信側装置に送信する手段とを備える，
分散処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は分散処理システムに関し，特に，処理されたデータの順序を厳密に守ることのできるシステムに関する。

【背景技術】

【0002】

コンピュータネットワークの発達により，単一の大きな処理を小さな処理単位に分割して，これを複数の比較的小規模なネットワーク端末にて処理させ，その処理結果を１つに結合することによって，当該単一の大きな処理を高速に行うことのできるシステム（以下，分散処理システム）が普及している（たとえば特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−２９３２７８号公報

【0004】

上述したような「単一の大きな処理」とは，あらゆるものが存在するが，たとえば動画像のエンコード（符号化）処理もその一例である。近年の動画像の品質向上に対する要求は著しく，これに伴いデータサイズも非常に大きなものとなっているためである。

【0005】

さらに，動画像のフォーマットは多くの種類が存在する。このため動画像再生装置によっては対応していないフォーマットもあることから，対応していないフォーマットの動画像を再生するには，あらかじめフォーマット変換を行う必要がある。一般的には，ＰＣなどのコンピュータ上で動作するソフトウェアによって変換することとなるが，このフォーマット変換には非常に多くの時間を要する。

【0006】

ところで，このような動画像のフォーマット変換を上述した分散処理システムで行うこともできる。元のフォーマットの動画像を持つネットワーク端末（依頼元ネットワーク端末）が，動画像を任意の小さな処理単位（たとえばフレーム単位）に分割し，それを他のネットワーク端末（処理側ネットワーク端末）に送信し，当該処理側ネットワーク端末はそれぞれのフレームに対してフォーマットの変換処理を施し，これを元の依頼元ネットワーク端末に返送するわけである。

【0007】

しかし，このような手段では，依頼元ネットワーク端末により受信・蓄積される変換後の返送データ（フレーム）の順序は，必ずしも元の動画像の順序でない場合がある。このため，当該依頼元ネットワーク端末において変換後のデータの並び替えを実施する手間が生じる。この並び替えの処理は，フレーム単位で変換する場合を想定すると，所定数の連続したフレームがすべて揃わないと並び替えることができない。このため，変換が完了したものから随時再生を行うというストリーミング再生には不向きである。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本願発明は，かかる課題を解決しようとするものである。分散処理システムにおいて順序性を有するデータを処理する場合に，処理後のデータの並び替えを実施することなく正確な順序の処理後のデータを得ることができ，当該処理後のデータを処理後すぐに利用することができ，さらに，分散処理の効率を容易に調整することのできる分散処理システムを提供することである。

【課題を解決するための手段】

【0009】

本願発明にかかる第１の形態は，任意のデータから順序情報を含んで分割された処理前データを，ネットワークを介して受信し，所定の処理を施し，処理後データを所定の受信側装置に向けて送信する分散処理装置であって，順序情報（１）が含まれた処理前データに所定の処理を施して処理後データとし，一時記憶させる手段と，ネットワークを介して所定の受信側装置から受信する同報通信に含まれる順序情報（２）を取得する手段と，順序情報（１）と順序情報（２）とを比較して，順序情報（２）が順序情報（１）の１つ前の順序を示す場合，一時記憶された処理後データをネットワークを介して所定の受信側装置に送信する手段と，を備える分散処理装置である。

【0010】

本願発明にかかる第２の形態は，任意のデータから順序情報を含んで分割された処理前データを，ネットワークを介して受信し，所定の処理を施し，処理後データを所定の受信側装置に向けて送信する分散処理装置として，ネットワーク端末を機能させるプログラムであって，順序情報（１）が含まれた処理前データに所定の処理を施して処理後データとし，一時記憶させる手段と，ネットワークを介して所定の受信側装置から受信する同報通信に含まれる順序情報（２）を取得する手段と，順序情報（１）と順序情報（２）とを比較して，順序情報（２）が順序情報（１）の１つ前の順序を示す場合，一時記憶された処理後データをネットワークを介して所定の受信側装置に送信する手段，として機能させるプログラムである。

【0011】

本願発明にかかる第３の形態は，他の端末に所定の処理をさせる依頼側装置と，受信側装置と複数の分散処理装置とが，ネットワークで接続された分散処理システムであって，
（Ａ）依頼側装置は，任意のデータを順序情報が付されたデータに分割する手段と，当該分割した各々のデータを処理前データとしてネットワークを介して複数の分散処理装置に送信する手段とを備え，（Ｂ）受信側装置は，（Ｂ−１）分散処理装置からネットワークを介して送信された処理後データを受信するデータ受信手段と，（Ｂ−２）データ受信手段が受信した処理後データに含まれる順序情報を抽出する順序情報抽出手段と，（Ｂ−３）順序情報抽出手段が抽出した順序情報が含まれる通信であって，データ受信手段が処理後データの受信を完了した旨の通信を，同報通信にてネットワークを介して分散処理装置に向けて送信する受信完了通知手段と，を備え，（Ｃ）分散処理装置は依頼側装置から順序情報を含む処理前データをネットワークを介して受信する手段と，処理前データに所定の処理を施して処理後データとし，一時記憶させる手段と，ネットワークを介して受信側装置から送信された同報通信に含まれる順序情報を取得する手段と，一時記憶した処理後データの順序情報（１）と同報通信に含まれる順序情報（２）とを比較して，順序情報（２）が順序情報（１）の１つ前の順序を示す場合，一時記憶された処理後データをネットワークを介して所定の受信側装置に送信する手段と，を備える分散処理システムである。

【発明の効果】

【0012】

本願発明にかかる分散処理システムによれば，処理後のデータを受信した受信側ネットワーク端末が，当該処理後のデータを受信した旨（受信完了通知）を同報通信にて送信する。この同報通信には受信したデータの順序情報が含まれているため，同報通信を受信した処理側ネットワーク端末は，当該順序情報に基づいて，自身が処理したデータを送信するかどうかを判断することができる。したがって，自身の処理データを送信可能な時にのみ送信することができる。

【0013】

結果として，処理後のデータの並び替えを受信側ネットワーク端末で行うことなく，順序情報が保たれた状態で処理後のデータを得ることができる。

【0014】

また，受信した処理後のデータはすでに正しい順序で並んでいるため，受信後すぐに利用することが可能である。たとえば，動画像の場合には順次再生（ストリーミング再生）することが可能である。

【0015】

さらに同報通信にて通知することにより，すべての処理側ネットワーク端末に通知が到達することから，処理側ネットワーク端末の数が途中で増減した場合であっても特別な手順を必要とすることなく分散データ処理を継続することができる。たとえば，処理スピードを上げたい場合は，単に処理側ネットワーク端末を増やし，当該ネットワーク端末に処理の必要なデータを割り当てるだけでよい。

【発明を実施するための形態】

【0016】

以下では図面を参照し本願発明に係る分散処理システムの実施例を説明する。なお，以下では，動画像のフォーマット変換処理を上述した分散処理システムにて行うことを例に説明する。
［実施例１］
［システム全体図］

【0017】

図１は本実施例にかかるシステムの全体図である。依頼側ネットワーク端末１０１は，フォーマット変換が必要な動画像を有するネットワーク端末である。つまり，処理を依頼する側のネットワーク端末である。なお，本実施例で示す動画像は複数のフレーム単位の静止画により構成されており，フォーマット変換はフレーム単位で行うことが可能である。

【0018】

分散処理装置１０２〜１０４はすべて同じ機能を持つネットワーク端末である。具体的には，依頼側ネットワーク端末１０１から送信されたフォーマット変換前の動画像データをフレーム単位で受信し，受信したフレームデータのフォーマット変換を行い，これを所定のタイミングにて後述する受信側ネットワーク端末１０５に送信する。

【0019】

受信側ネットワーク端末１０５は，分散処理装置１０２〜１０４から送信されたフォーマット変換後のフレームデータを蓄積する端末である。

【0020】

システム全体の動きとしては，依頼側ネットワーク端末１０１が各分散処理装置１０２〜１０４に向けてフォーマット変換前のフレームデータを送信し，分散処理装置は受信したフレームデータのフォーマット変換を行ったあと，所定のタイミングにて受信側ネットワーク端末１０５に送信する。こうすることで，フォーマット変換後のフレームデータが受信側ネットワーク端末１０５に蓄積され，結果として当該ネットワーク端末にて動画像を得ることができる。

【0021】

もちろん，フォーマット変換後のフレームデータを依頼元である依頼側ネットワーク端末１０１にて蓄積したい場合には，分散処理装置は，受信側ネットワーク端末１０５ではなく，依頼側ネットワーク端末１０１に向けて送信すればよい。
［シーケンス図］

【0022】

図２は本実施例にかかるシステム全体のシーケンス図である。

【0023】

まずステップ２１１〜２１３にて，依頼側ネットワーク端末１０１は，フォーマット変換前のフレームデータF(1)〜F(3)を各分散処理装置１０２〜１０４に送信する。ここで，どの分散処理装置にどのフレームを送信するかは，各分散処理装置の個々の能力等を考慮して自在に決めることができる事項であるが，本実施例では，すべての分散処理装置の処理能力は同等とし，単純に１フレームずつの処理を各分散処理装置に割り当てる。

【0024】

ステップ２２１にて，フォーマット変換を完了した分散処理装置１０２は，フォーマット変換後フレームデータ（変換後F(1)）を受信側ネットワーク端末１０５に送信する。なお，フレームの先頭であるF(1)のみ，後述する受信完了通知を受信することなく，受信側ネットワーク端末１０５に向けて送信する。

【0025】

ステップ２５１にて，変換後F(1)を受信した受信側ネットワーク端末１０５は，これを自身が備える記憶領域（図示せず）に保存する。

【0026】

ステップ２５２にて，受信側ネットワーク端末１０５は，変換後F(1)の受信が完了した旨（受信完了通知）を同報通信にて送信する。ここでの同報通信とは，同じネットワークに属するすべての端末に送信するブロードキャスト通信だけでなく，特定のグループに送信するマルチキャスト通信が含まれる。特定の１つの宛先（ユニキャスト通信）でないことが本実施例における同報通信の特徴となる。

【0027】

変換後F(1)の受信完了通知を受信した分散処理装置１０３は，フレームデータF(1)の次のフレームであるF(2)が自身が保持するフレームデータであることを認識し，ステップ２３１にて，フォーマット変換後のフレームデータ（変換後F(2)）を受信側ネットワーク端末１０５に向けて送信する。

【0028】

なお，この時点（ステップ２５２の受信完了通知を受信した時点）において，分散処理装置１０４は，フォーマット変換を完了していたとしても，このフレームデータ（変換後F(3)）を送信せず，自身の所定の記憶領域に一時保存する。なぜなら，自身が保持する変換後F(3)の１つ前のフレームデータである変換後F(2)の受信完了通知をまだ受信していないためである。

【0029】

その後，分散処理装置１０４は，ステップ２５４にて，受信側ネットワーク端末１０５から送信された変換後F(2)の受信完了通知を受信すると，ステップ２４１にて，フォーマット変換後のフレームデータ（変換後F(3)）を受信側ネットワーク端末１０５に送信する。

【0030】

この間も各分散処理装置は依頼側ネットワーク端末１０１から送信されたフォーマット変換前のフレームデータを随時受信し，変換を実施したうえで自身の有する記憶領域に保持している。そして，受信側ネットワーク端末１０５からの受信完了通知にもとづいて，適時，フォーマット変換後のフレームデータを送信している。

【0031】

このような処理を繰り返すことで，受信側ネットワーク端末１０５には，フレームの順序が維持された状態で変換後のフレームデータが蓄積されることとなる。
[受信側ネットワーク端末の機能ブロック図]

【0032】

図３は受信側ネットワーク端末１０５の機能ブロック図である。

【0033】

ネットワーク接続手段３０１は，ネットワークを通じてデータを送受信する手段である。

【0034】

データ受信手段３０２は，分散処理装置から送信されたフォーマット変換後のフレームデータを受信する手段である。受信したフレームデータは記憶装置３０３に保存する。

【0035】

順序情報抽出手段３０４は，受信したフレームデータの順序情報を抽出する。ここでの順序情報とは，元の動画像における当該フレームデータの時間的位置のことを意味する。たとえばフレームデータF(1)とF(2)であれば，F(1)のほうが時間的前方に位置するフレームデータである。

【0036】

受信完了通知手段３０５は，順序情報抽出手段３０４が抽出した順序情報を同報通信にて送信する手段である。これにより，受信側ネットワーク端末１０５が所定のフレームデータの受信が完了した旨を，分散処理装置に通知することができる。
[受信側ネットワーク端末の動作フロー]

【0037】

図４は，受信側ネットワーク端末１０５の動作フローである。

【0038】

ステップ４０１にて，依頼側ネットワーク端末１０１から送信されたフォーマット変換後のフレームデータを受信したかどうかを判断する。判断の結果，受信していれば次のステップに進み，そうでなければ当該判断処理を繰り返す。

【0039】

ステップ４０２にて，受信したフレームデータを記憶装置３０３に保存する。

【0040】

ステップ４０３にて，受信したフレームデータに含まれる順序情報を抽出する。

【0041】

ステップ４０４にて，フレームデータを受信した旨が含まれる受信完了通知を同報通信にて送信する。
[分散処理装置の動作フロー]

【0042】

図５は分散処理装置１０２〜１０４の動作フローである。図示する通り動作フローは２つの独立したタスクにより構成されている。

【0043】

まずは，フレームデータのフォーマットを変換するタスク（ステップ５０１〜５０４）について説明する。

【0044】

ステップ５０１にて，依頼側ネットワーク端末１０１からフォーマット変換前のフレームデータを受信したかどうかを判断する。判断の結果，受信していれば，次のステップに進み，そうでなければ当該判断を繰り返す。

【0045】

ステップ５０２にて，フォーマット変換前のフレームデータを受信する。

【0046】

ステップ５０３にて，受信したフレームデータのフォーマットを所定のフォーマットに変換する。

【0047】

ステップ５０４にて，フォーマット変換後のフレームデータを所定の記憶領域（図示せず）に保存して，ステップ５０１に戻る。

【0048】

なお，分散処理における先頭データ，つまり本実施例の場合の先頭フレームF(1)の場合のみ，後述するステップ５１１〜５１３を経ることなく，直接，受信側ネットワーク端末１０５に向けて送信する（ステップ５１４）。

【0049】

次いで，フォーマット変換後のフレームデータを送信するタスク（ステップ５１１〜５１４）について説明する。

【0050】

ステップ５１１にて，受信側ネットワーク端末１０５からの受信完了通知を受信したかどうかを判断する。判断の結果，受信していれば次のステップに進み，そうでなければ当該判断処理を繰り返す。

【0051】

ステップ５１２にて，受信した受信完了通知に含まれる順序情報を抽出する。

【0052】

ステップ５１３にて，抽出した順序情報にもとづいて，自身が保持するフォーマット変換後のフレームデータを送信すべきかどうかについて判断する。判断の結果，送信すべきであれば，次のステップに進み，そうでなければ当該判断を繰り返す。

【0053】

ステップ５１４にて，ステップ５０４にて保存したフォーマット変換後のフレームデータを所定の記憶領域から読み出し，受信側ネットワーク端末１０５に向けて送信する。
[他の実施例]

【0054】

上述の実施例における分散処理システムでは，３台の分散処理装置が存在したが，この台数は処理の途中で増減させることも可能である。もちろん，処理の途中に限らず，３台とは異なる台数を予め準備しておいてもよい。

【0055】

たとえば，処理スピードの向上を意図して分散処理装置の数を途中で増やした場合，依頼側ネットワーク端末１０１は，必要に応じて，各分散処理装置にフォーマット変換前のフレームデータを割り当てることで，特別な手段を講じることなく継続して分散処理を行うことが可能である。

【0056】

これは，受信側ネットワーク端末１０５が送信する受信完了通知が，同報通信によって送信されるためである。同報通信を用いることにより，分散処理装置の増減にかかわりなく，受信が完了したフレームデータの順序情報が伝わり，これに基づいて，分散処理装置が，変換後のフレームデータを送信すべきか否かを判断できるためである。

【0057】

さらに，個々の分散処理装置は，必ずしも同等の処理能力である必要はない。たとえば，データの種類に応じて，異なる能力を持つ分散処理装置を使用することも可能である。

【0058】

また，実施例１で示した動画像のフォーマット変換処理は，本願発明適用の一例にすぎない。順序情報を有するデータの分散処理を行うものであれば，どのようなものにも本願発明は適用可能である。
［まとめ］

【0059】

本願発明にかかる分散処理システムによれば，処理後のデータを受信した受信側ネットワーク端末が，当該処理後のデータを受信した旨（受信完了通知）を同報通信にて送信する。この同報通信には受信したデータの順序情報が含まれているため，同報通信を受信した処理側ネットワーク端末は，当該順序情報に基づいて，自身が処理したデータを送信するかどうかを判断することができる。したがって，自身の処理データが送信可能な時にのみ送信することとなる。

【0060】

結果として，処理後のデータの並び替えを受信側ネットワーク端末で行うことなく，順序情報が保たれた状態で処理後のデータを得ることができる。

【0061】

また，受信した処理後のデータはすでに正しい順序で並んでいるため，受信後すぐに利用することが可能である。たとえば，動画像の場合には順次再生（ストリーミング再生）することが可能である。

【0062】

さらに同報通信にて通知することにより，すべての処理側ネットワーク端末に通知が到達することから，処理側ネットワーク端末の数が途中で増減した場合であっても特別な手順を必要とすることなく分散データ処理を継続することができる。たとえば，処理スピードを上げたい場合は，単に処理側ネットワーク端末を増やし，当該ネットワーク端末に処理の必要なデータを割り当てるだけでよい。

【図面の簡単な説明】

【0063】

【図1】システム全体図

【図2】シーケンス図

【図3】受信側ネットワーク端末の機能ブロック図

【図4】受信側ネットワーク端末の動作フロー

【図5】分散処理装置の動作フロー

【符号の説明】

【0064】

３０２ データ受信手段
３０４ 順序情報抽出手段
３０５ 受信完了通知手段
４０１ データ受信判断
４０３ 順序情報抽出
４０４ 受信完了通知送信
５０３ フォーマット変換
５１１ 通知受信判断
５１２ 順序情報抽出
５１３ データ送信判断
５１４ データ送信

【図1】

【図2】

【図3】

【図4】

【図5】