特開 2017-91460 計算ノードネットワークシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-91460(P2017-91460A)

(43)【公開日】2017年5月25日

(54)【発明の名称】計算ノードネットワークシステム

(51)【国際特許分類】

   G06F 15/173 20060101AFI20170421BHJP

【ＦＩ】

   G06F15/173 683C

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【全頁数】12

(21)【出願番号】特願2015-224988(P2015-224988)

(22)【出願日】2015年11月17日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２７年度、総務省、ＳＣＯＰＥ若手ＩＣＴ研究者等育成型研究開発「光無線によるビッグデータ処理向け相互結合網の研究開発」に係る委託業務、産業技術力強化法第１９条の適用を受ける特許出願

(71)【出願人】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(71)【出願人】

【識別番号】504202472

【氏名又は名称】大学共同利用機関法人情報・システム研究機構

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】中野 浩嗣

(72)【発明者】

【氏名】藤田 聡

(72)【発明者】

【氏名】鯉渕 道紘

(72)【発明者】

【氏名】藤原 一毅

【テーマコード（参考）】

5B045

【Ｆターム（参考）】

5B045BB28

5B045KK06

(57)【要約】

【課題】ネットワークの直径が極力小さい計算ノードネットワークシステムを提供する。
【解決手段】計算ノードネットワークシステム（１００Ａ）は、矩形領域（３０）に収まるように２次元配置された複数の計算ノード（１０）と、複数の計算ノード（１０）の任意のものどうしを接続する複数の通信リンク（２０）とを備え、複数の計算ノード（１０）のそれぞれが仮想的な第１のグリッド（４０）の格子点に配置されており、複数の通信リンク（２０）のそれぞれが仮想的な第２のグリッド（５０）に沿って配線されており、第１のグリッド（４０）の向きと第２のグリッド（５０）の向きとが一致しており、第１のグリッド（４０）および第２のグリッド（５０）が矩形領域（３０）に対して４５°傾いている。
【選択図】図１

【特許請求の範囲】

【請求項1】

矩形領域に収まるように２次元配置された複数の計算ノードと、
前記複数の計算ノードの任意のものどうしを接続する複数の通信リンクとを備え、
前記複数の計算ノードのそれぞれが仮想的な第１のグリッドの格子点に配置されており、
前記複数の通信リンクのそれぞれが仮想的な第２のグリッドに沿って配線されており、
前記矩形領域の縦横方向、前記第１のグリッドの向き、および前記第２のグリッドの向きの三つのうち少なくとも二つが互いに異なる
ことを特徴とする計算ノードネットワークシステム。

【請求項2】

前記第１のグリッドの向きと前記第２のグリッドの向きとが一致しており、
前記第１のグリッドおよび前記第２のグリッドが前記矩形領域に対して４５°傾いている、請求項１に記載の計算ノードネットワークシステム。

【請求項3】

前記矩形領域の縦横方向と前記第１のグリッドの向きとが一致しており、
前記第２のグリッドが前記矩形領域および前記第１のグリッドに対して４５°傾いている、請求項１に記載の計算ノードネットワークシステム。

【請求項4】

前記矩形領域の縦横方向と前記第２のグリッドの向きとが一致しており、
前記第１のグリッドが前記矩形領域および前記第２のグリッドに対して４５°傾いている、請求項１に記載の計算ノードネットワークシステム。

【請求項5】

前記複数の通信リンクが、ランダムにネットワークを構成した後、ネットワークの直径および平均ホップ数が小さくなるように局所的に任意の通信リンクを置き換えることを繰り返して得られたものである、請求項１ないし請求項４のいずれかに記載の計算ノードネットワークシステム。

【請求項6】

前記計算ノードがスーパーコンピュータを構成する個々のラックである、請求項１ないし請求項５のいずれかに記載の計算ノードネットワークシステム。

【請求項7】

前記計算ノードがＮｏＣ（ネットワーク・オン・チップ）における個々のプロセッサコアである、請求項１ないし請求項５のいずれかに記載の計算ノードネットワークシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の計算ノードを通信リンクで接続した計算ノードネットワークシステムに関する。

【背景技術】

【0002】

プロセッサのメニーコア化、計算機システムの大規模並列化（チップ内：数十コア、チップ間：１０万ノード規模）が進むにつれて、計算機システムのメモリ、ストレージ、プロセッサコアなどの構成要素間を接続するネットワークである相互結合網（Interconnection Networks）の通信遅延が、計算システム全体に与える性能の割合が大きくなってきている。例えば、次世代の高性能システムにおける多くのマルチコア並列アプリケーションは、数百ナノ秒〜１マイクロ秒のＭＰＩ（Message Passing Interface）通信遅延を必要とすることが予測されている。また、そのメニーコアプロセッサチップ内の（パケット）ネットワークに関しては、プロセッサコア間通信遅延、およびＬ２キャッシュとの通信遅延が高々数サイクルであることが求められている。これらの設計では、コア間をどのように効率的に相互接続すべきか？というネットワーク構成（以下、ネットワークトポロジと呼ぶ）の設計の問題に直面している。

【0003】

チップ間、チップ内ともに、相互結合網の通信遅延を削減する有効な１つの方法は、直径・平均最短パス長の小さいネットワークトポロジを採用することである。実際に、チップ内、チップ間とも直径、平均最短パス長の小さなネットワークトポロジを採用することにより、多くの並列アプリケーションの性能が向上することがシミュレーション、解析結果から報告されている。現在、興味深いことに、有力なグラフはランダム性を持つグラフ（例：リンクにランダムなショートカットリンクを加えたトポロジ）である。

【0004】

実際にランダムトポロジをチップ内ネットワーク、スパコンで用いる場合、通信リンク長に関する制約がある。例えば、チップ内ネットワークにおいて、メタル配線のリンク遅延は、６５ｎｍプロセスにおいて、理想的には５０ｐｓ／ｍｍ以下となる。そのため動作周波数に合った配線長に抑える必要がある。また、チップ間ネットワークでは、４０Ｇｂｐｓ以上のリンクバンド幅が標準となりつつある。この場合、電気ケーブルは、ＩｎｆｉｎｉＢａｎｄの場合７ｍ、イーサネット（登録商標）の場合５ｍまでに限定される。ビット化けなどのソフトエラー率を重視した場合、さらにケーブル長が短くなる。下記非特許文献１には、ランダムトポロジの生成アルゴリズムが開示されている。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】高藤大介、藤田聡、中野浩嗣、藤原一毅、鯉渕道紘、「ランダムトポロジの生成アルゴリズムの改良」、信学技報、電子情報通信学会、2015年8月、第115巻、第174号、p.217-221

【発明の概要】

【発明が解決しようとする課題】

【0006】

図７は、従来の計算ノードネットワークシステムを模式的に示す平面図である。従来の計算ノードネットワークシステムでは、複数の計算ノード１０が矩形領域３０において仮想的なグリッド４０の格子点に配置され、任意の計算ノード１０どうしが仮想的なグリッド５０（実質的にグリッド４０と同じグリッド）に沿って配線された通信リンク２０によって接続されている。例えば、図７では、８×８＝６４個の計算ノード１０が格子状に並んでいる。

【0007】

一般に、計算ノードネットワークシステムにおいて対角に位置する計算ノード間のリンク距離が最も長くなるという問題がある。例えば、図７に示した計算ノードネットワークシステムでは、左上の計算ノード１０と右下の計算ノード１０との間のリンク距離が最も長くなる。そのため、通信リンク長に厳しい制限がある場合、これらノード間のホップ数が直径（ネットワークの直径ともいう）となる可能性が極めて高い。ネットワークの直径が大きくなると最大通信遅延が大きくなるため、ネットワークの直径はできるだけ小さいことが望ましい。

【0008】

上記問題に鑑み、本発明は、ネットワークの直径が極力小さい計算ノードネットワークシステムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の一局面に従った計算ノードネットワークシステムは、矩形領域に収まるように２次元配置された複数の計算ノードと、複数の計算ノードの任意のものどうしを接続する複数の通信リンクとを備え、複数の計算ノードのそれぞれが仮想的な第１のグリッドの格子点に配置されており、複数の通信リンクのそれぞれが仮想的な第２のグリッドに沿って配線されており、矩形領域の縦横方向、第１のグリッドの向き、および第２のグリッドの向きの三つのうち少なくとも二つが互いに異なるものである。

【0010】

これによると、計算ノード間の最長リンク距離を従来よりも短くすることができ、ネットワークの直径を低減することができる。

【0011】

例えば、第１のグリッドの向きと第２のグリッドの向きとが一致しており、第１のグリッドおよび第２のグリッドが矩形領域に対して４５°傾いている。

【0012】

あるいは、矩形領域の縦横方向と第１のグリッドの向きとが一致しており、第２のグリッドが矩域領域および第１のグリッドに対して４５°傾いている。

【0013】

あるいは、矩形領域の縦横方向と第２のグリッドの向きとが一致しており、第１のグリッドが矩形領域および第２のグリッドに対して４５°傾いている。

【0014】

また、複数の通信リンクが、ランダムにネットワークを構成した後、ネットワークの直径および平均ホップ数が小さくなるように局所的に任意の通信リンクを置き換えることを繰り返して得られたものであることが好ましい。

【発明の効果】

【0015】

本発明によると、ネットワークの直径が極力小さい計算ノードネットワークシステムを実現することができる。これにより、計算ノードネットワークシステムにおける計算ノード間の通信遅延を小さくすることができる。

【図面の簡単な説明】

【0016】

【図1】本発明の第１の実施形態に係る計算ノードネットワークシステムを模式的に示す平面図

【図2】本発明の第２の実施形態に係る計算ノードネットワークシステムを模式的に示す平面図

【図3】本発明の第３の実施形態に係る計算ノードネットワークシステムを模式的に示す平面図

【図4】本発明の第４の実施形態に係る計算ノードネットワークシステムを模式的に示す平面図

【図5】配線最適化処理のフローチャート

【図6】２つの通信リンクの入れ替えを説明する図

【図7】従来の計算ノードネットワークシステムを模式的に示す平面図

【発明を実施するための形態】

【0017】

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0018】

なお、発明者らは、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。また、図面に描かれた各要素の大きさ、細部の詳細形状などは実際のものとは異なることがある。

【0019】

≪第１の実施形態≫
図１は、本発明の第１の実施形態に係る計算ノードネットワークシステムを模式的に示す平面図である。本実施形態に係る計算ノードネットワークシステム１００Ａは、矩形領域３０に収まるように２次元配置された複数の計算ノード１０と、これら計算ノード１０の任意のものどうしを接続する複数の通信リンク２０とを備える。なお、便宜上、図１では通信リンク２０を数本しか描いていないが、実際にはもっと多くの通信リンク２０が配線される。また、計算ノード１０の上を通過する通信リンク２０はその計算ノード１０に接続されていないことを表す。

【0020】

計算ノードネットワークシステム１００Ａは、具体的にはスーパーコンピュータやＮｏＣ（ネットワーク・オン・チップ）などである。スーパーコンピュータの場合、計算ノード１０は、ＣＰＵやメモリなどが搭載されたシステムボード、磁気ディスク装置、電源装置、Ｉ／Ｏシステムボード（スイッチ装置）、冷却機構等を収容した個々のラックに相当する。スーパーコンピュータは、計算機室にこのようなラックを数百個規則的に並べて構成される。ＮｏＣの場合、計算ノード１０は、演算回路、論理回路、キャッシュメモリ、通信ポート（スイッチ回路）等が実装された個々のプロセッサコアに相当する。ＮｏＣは、半導体基板上にこのようなプロセッサコアを数百個規則的に並べて構成される。

【0021】

計算ノードネットワーク１００Ａにおいて、各計算ノード１０（具体的にはラックやプロセッサコア）は仮想的なグリッド４０の格子点に配置されている。ここで、グリッド４０は、矩形領域３０の縦横方向に対して４５°傾いている。

【0022】

通信リンク２０は、仮想的なグリッド５０に沿って配線されている。スーパーコンピュータの場合、通信リンク２０は、光ファイバーや電気ケーブルなどに相当する。ＮｏＣの場合、通信リンク２０は、メタル配線などに相当する。ここで、グリッド５０もまた矩形領域３０の縦横方向に対して４５°傾いており、グリッド５０とグリッド４０は実質的に同じグリッドである。

【0023】

すなわち、計算ノードネットワーク１００Ａでは、計算ノード１０の配置の基準となるグリッド４０の向きと通信リンク２０の配線の基準となるグリッド５０の向きとが一致しており、グリッド４０およびグリッド５０が矩形領域３０に対して４５°傾いている。

【0024】

本実施形態によると、計算ノードネットワークシステム１００Ａにおいて最も距離が離れた対角の２つの計算ノード１０を対角線で接続することができる。これにより、計算ノード間の最長リンク距離を従来比で１／√２（約７０％）に低減することができる。

【0025】

また、本実施形態では、いずれの計算ノード１０も平面視略正方形の縦辺または横辺、すなわち、計算ノード１０の側方辺部に通信リンク２０を接続することができる。一般に、計算ノード１０において通信リンク２０の引き出し口は計算ノード１０の辺部に配置されているため、上記のように通信リンク２０は計算ノード１０の側方辺部に接続可能にすることは好ましいことである。

【0026】

≪第２の実施形態≫
図２は、第２の実施形態に係る計算ノードネットワークシステム１００Ｂを模式的に示す平面図である。本実施形態に係る計算ノードネットワークシステム１００Ｂは、矩形領域３０に収まるように２次元配置された複数の計算ノード１０と、これら計算ノード１０の任意のものどうしを接続する複数の通信リンク２０とを備える。なお、便宜上、図２では通信リンク２０を数本しか描いていないが、実際にはもっと多くの通信リンク２０が配線される。また、計算ノード１０の上を通過する通信リンク２０はその計算ノード１０に接続されていないことを表す。

【0027】

計算ノードネットワークシステム１００Ｂは、具体的にはスーパーコンピュータやＮＯＣなどである。計算ノードネットワーク１００Ｂにおいて、各計算ノード１０（具体的にはラックやプロセッサコア）は仮想的なグリッド４０の格子点に配置されている。ここで、グリッド４０の向きは、矩形領域３０の縦横方向と一致している。

【0028】

通信リンク２０は、仮想的なグリッド５０に沿って配線されている。ここで、グリッド５０は、グリッド４０の格子点を斜めに結ぶようなグリッドであり、矩形領域３０およびグリッド４０に対して４５°傾いている。

【0029】

すなわち、計算ノードネットワーク１００Ｂでは、複数の計算ノード１０が配置される矩形領域３０の縦横方向と計算ノード１０の配置の基準となるグリッド４０の向きとが一致しており、通信リンク２０の配線の基準となるグリッド５０が矩形領域３０およびグリッド４０に対して４５°傾いている。

【0030】

本実施形態では、計算ノード１０の角部に通信リンク２０を接続する必要があるため、第１の実施形態と比較して、計算ノード１０への通信リンク２０の接続が複雑になるものの、計算ノードネットワークシステム１００Ｂにおいて最も距離が離れた対角の２つの計算ノード１０を対角線で接続することができる。これにより、計算ノード間の最長リンク距離を従来比で１／√２（約７０％）に低減することができる。

【0031】

特に、本実施形態では計算ノード１０の配置自体は従来の構成と同じ格子状であるから、従来の計算ノードネットワークシステムにおける計算ノード１０の配列はそのままで通信リンク２０の配線パターンを変えるだけで、従来の計算ノードネットワークシステムを本実施形態に係る計算ノードネットワークシステム１００Ｂに変更することができる。例えば、既存のスーパーコンピュータにおいてラックの配置を変えることなく、通信リンク２０を本実施形態のように配線するだけで計算ノード間の最長リンク距離を低減する効果が得られる。

【0032】

≪第３の実施形態≫
図３は、本発明の第３の実施形態に係る計算ノードネットワークシステムを模式的に示す平面図である。本実施形態に係る計算ノードネットワークシステム１００Ｃは、矩形領域３０に収まるように２次元配置された複数の計算ノード１０と、これら計算ノード１０の任意のものどうしを接続する複数の通信リンク２０とを備える。なお、便宜上、図３では通信リンク２０を数本しか描いていないが、実際にはもっと多くの通信リンク２０が配線される。また、計算ノード１０の上を通過する通信リンク２０はその計算ノード１０に接続されていないことを表す。

【0033】

計算ノードネットワークシステム１００Ｃは、具体的にはスーパーコンピュータやＮＯＣなどである。計算ノードネットワーク１００Ｃにおいて、各計算ノード１０（具体的にはラックやプロセッサコア）は仮想的なグリッド４０の格子点に配置されている。ここで、グリッド４０は、矩形領域３０の縦横方向に対して４５°傾いている。

【0034】

通信リンク２０は、仮想的なグリッド５０に沿って配線されている。ここで、グリッド５０は、グリッド４０の格子点を斜めに結ぶようなグリッドであり、グリッド５０の向きは、矩形領域３０の縦横方向と一致している。

【0035】

すなわち、計算ノードネットワーク１００Ｃでは、複数の計算ノード１０が配置される矩形領域３０の縦横方向と通信リンク２０の配線の基準となるグリッド５０の向きとが一致しており、計算ノード１０の配置の基準となるグリッド４０が矩形領域３０およびグリッド５０に対して４５°傾いている。

【0036】

本実施形態では、計算ノード１０の角部に通信リンク２０を接続する必要があるため、第１の実施形態と比較して、計算ノード１０への通信リンク２０の接続が複雑になるものの、最小の通信リンク長で接続できる計算ノード１０の数を増やすことができる。すなわち、本実施形態および第１の実施形態のいずれにおいてもある計算ノード１０の周りに８個の計算ノード１０が配置されているが、第１の実施形態では最小の通信リンク長で接続できる計算ノード１０は４個であるのに対して、本実施形態では周りの８個すべての計算ノード１０に最小の通信リンク長で接続可能となる。これにより、平均ホップ数を低減することができる。

【0037】

≪第４の実施形態≫
図４は、本発明の第４の実施形態に係る計算ノードネットワークシステムを模式的に示す平面図である。本実施形態に係る計算ノードネットワークシステム１００Ｄは、矩形領域３０に収まるように２次元配置された複数の計算ノード１０と、これら計算ノード１０の任意のものどうしを接続する複数の通信リンク２０とを備える。なお、便宜上、図４では通信リンク２０を数本しか描いていないが、実際にはもっと多くの通信リンク２０が配線される。また、計算ノード１０の上を通過する通信リンク２０はその計算ノード１０に接続されていないことを表す。

【0038】

計算ノードネットワークシステム１００Ｄは、具体的にはスーパーコンピュータやＮＯＣなどである。計算ノードネットワーク１００Ｄにおいて、各計算ノード１０（具体的にはラックやプロセッサコア）は仮想的なグリッド４０の格子点に配置されている。ここで、グリッド４０は、矩形領域３０の縦横方向に対しておよそ１８．５°傾いている。

【0039】

通信リンク２０は、仮想的なグリッド５０に沿って配線されている。ここで、グリッド５０は、グリッド４０の格子点を斜めに結ぶようなグリッドであり、グリッド４０に対して４５°傾き、かつ、矩形領域３０に対しておよそ２６．５°傾いている。

【0040】

すなわち、計算ノードネットワーク１００Ｄでは、複数の計算ノード１０が配置される矩形領域３０の縦横方向、計算ノード１０の配置の基準となるグリッド４０の向き、および通信リンク２０の配線の基準となるグリッド５０の向きの三つが互いに異なっている。

【0041】

本実施形態では、第１の実施形態と同様に、いずれの計算ノード１０も平面視略正方形の縦辺または横辺、すなわち、計算ノード１０の側方辺部に通信リンク２０を接続することができる。さらに、本実施形態では、最小の通信リンク長で接続できる計算ノード１０の数を、第１の実施形態よりも増やすことができる。すなわち、本実施形態および第１の実施形態のいずれにおいてもある計算ノード１０の周りに８個の計算ノード１０が配置されているが、第１の実施形態では最小の通信リンク長で接続できる計算ノード１０は４個であるのに対して、本実施形態では周りの８個すべての計算ノード１０に最小の通信リンク長で接続可能となる。これにより、平均ホップ数を低減することができる。

【0042】

以上のように、第１ないし第４の各実施形態によると、計算ノードネットワークにおいて、計算ノード間の最長リンク距離を短くしたり、平均ホップ数を低減したりすることができる。これにより、計算ノードネットワークシステムにおけるネットワークの直径を極力小さくすることができる。

【0043】

≪配線最適化≫
一般に、計算ノードネットワークシステムは計算ノードと通信リンクで定義され、グラフ理論ではそれぞれノードとエッジで表される。そして、計算ノードネットワークシステムの性能は、ネットワークの直径とＡＳＰＬ（Average Shortest Path Length）（平均最短パス長あるいは平均ホップ数）で評価される。直径は、ノード間の最小ホップ数の最大値である。平均ホップ数は、全ノード間の最小ホップ数の平均値である。

【0044】

通信リンクが長いと通信遅延が大きくなるため、通信リンク長には上限が設けられる。例えば、スーパーコンピュータにおいて電気ケーブルを用いて伝送速度４０Ｇｂｐｓを実現するには、通信リンク長は７ｍが限界だと言われている。したがって、通信リンクで直接つながっていない遠く離れたノード間で通信を行う場合、他のノードを経由（ホップ）して通信を行う必要がある。しかし、経由数（ホップ数）が多いほどノード間遅延が大きくなり、また、消費電力も大きくなる。したがって、計算ノードネットワークシステムでは直径および平均ホップ数をともに少なくすることが望まれる。

【0045】

そこで、計算ノードネットワークシステムにおいて直径および平均ホップ数をともに少なくするような配線最適化アルゴリズムを開示する。図５は、配線最適化処理のフローチャートである。なお、当該配線最適化処理は、図略のコンピュータを用いて実行することができる。

【0046】

まず、計算ノードネットワークシステムにおいて通信リンクをランダムに設定する（Ｓ１）。ただし、通信リンク長の上限および計算ノードのポート数は超えないようにする。一般に、通信リンクに長さ制限がなければこのようなランダムネットワークは優れた配線であることが知られている、しかし、通信リンクに強い長さ制限があればランダムネットワークはさほどよくない。

【0047】

ランダムネットワークが完了すると、任意の２つの通信リンクを選択する（Ｓ２）。そして、選択した２つの通信リンクの代替候補となる２つの通信リンクを設定する（Ｓ３）。

【0048】

図６は、２つの通信リンクの入れ替えを説明する図である。ステップＳ２で２つの通信リンクＬ１、Ｌ２を選択したとする。通信リンクＬ１は、計算ノードＡと計算ノードＢとを繋ぐリンクである。通信リンクＬ２は、計算ノードＣと計算ノードＤとを繋ぐリンクである。この場合、代替候補として２つの通信リンクＬ３、Ｌ４が設定される。通信リンクＬ３は、計算ノードＡと計算ノードＣとを繋ぐリンクである。通信リンクＬ４は、計算ノードＢと計算ノードＤとを繋ぐリンクである。

【0049】

図５へ戻り、ステップＳ２で選択した２つの通信リンクをステップＳ３で設定した代替候補の２つの通信リンクに置換した場合に、通信リンクの長さ制限の条件を満たすか否かを判定する。なお、各計算ノードには接続可能な通信リンク数、すなわちポート数の制限もあるが、図６に示したように通信リンクを置換するのであれば置換前後で各計算ノードに接続された通信リンク数は変化しないため、ポート数の制限については考慮しなくてもよくなる。

【0050】

もし、通信リンクの長さ制限の条件を満たしていない、すなわち、代替候補の２つの通信リンクに置換することで、通信リンクの上限を超えるようであれば（Ｓ４でＮＯ）、ステップＳ２に戻り、別の２つの通信リンクを選択する。一方、通信リンクの長さ制限の条件を満たしていれば（Ｓ４でＹＥＳ）、代替候補の２つの通信リンクに置換後の計算ノードネットワークシステムについて、ネットワークの直径と平均ホップ数を計算する（Ｓ５）。

【0051】

そして、ステップＳ５で計算したネットワークの直径と平均ホップ数が、代替候補の２つの通信リンクに置換前の計算ノードネットワークシステムのネットワークの直径と平均ホップ数よりも小さくなるか否かを判定する。もし、小さくならなければ（Ｓ６でＮＯ）、ステップＳ２に戻り、別の２つの通信リンクを選択する。一方、２つの通信リンクを置換することでネットワークの直径と平均ホップ数がともに以前よりも小さくなるようであれば（Ｓ６でＹＥＳ）、ステップＳ２で選択した２つの通信リンク（図６の例では通信リンクＬ１、Ｌ２）を削除して、ステップＳ３で設定した代替候補の２つの通信リンク（図６の例では通信リンクＬ３、Ｌ４）を採用し、ステップＳ２に戻って新たな２つの通信リンクを選択する。

【0052】

以上のステップを繰り返すことで計算ノードネットワークシステムの直径と平均ホップ数はローカルミニマム値に収束する。

【0053】

次に、従来構成（図７参照）、第１の実施形態、および第２の実施形態の各タイプの計算ノードネットワークシステムを上記の配線最適化アルゴリズムで配線した例を示す。なお、各例において、隣接する２つの計算ノードを接続するときの通信リンク長を１単位として、通信リンクの長さ上限を４単位とする。また、各計算ノードの最大ポート数を４とする。

【0054】

≪比較例≫
比較例では、３２×３２＝１０２４個の計算ノードを用いて従来タイプ（図７参照）の計算ノードネットワークシステムを構成した。比較例に係る計算ノードネットワークシステムにおいてランダムネットワークを形成したところ、直径が２３、平均ホップ数が９．５７６５０６であった。このようなランダムネットワークに上記の配線最適化アルゴリズムを適用すると、直径が１６、平均ホップ数が６．６８５４８６に低下した。この直径は、３２×３２＝１０２４個の計算ノードからなる計算ノードネットワークシステムにおける最適値である。

【0055】

≪実施例１≫
実施例１では、２３×４６＝１０５８個の計算ノードを用いて第１の実施形態のタイプの計算ノードネットワークシステムを構成した。実施例１に係る計算ノードネットワークシステムを上記の配線最適化アルゴリズムで配線したところ、直径が１２、平均ホップ数が６．７９０２７４であった。

【0056】

実施例１と比較例とを比較すると、計算ノード数が比較例よりもわずかに多いにもかかわらず直径が小さくなっている。この直径は、２３×４６＝１０５８個の計算ノードからなる第１の実施形態のタイプの計算ノードネットワークシステムにおける最適値である。

【0057】

≪実施例２≫
実施例１では、３２×３２＝１０２４個の計算ノードを用いて第２の実施形態のタイプの計算ノードネットワークシステムを構成した。実施例２に係る計算ノードネットワークシステムを上記の配線最適化アルゴリズムで配線したところ、直径が１１、平均ホップ数が６．６０４４９７であった。なお、厳密に言うと、実施例２では通信リンクを斜めに配線する都合上、通信リンクの長さ上限は３√２（およそ４．２）単位となる。

【0058】

実施例２と比較例とを比較すると、計算ノード数が比較例と同じでも直径が小さくなっている。この直径は、３２×３２＝１０２４個の計算ノードからなる第２の実施形態のタイプの計算ノードネットワークシステムにおける最適値である。

【0059】

以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

【0060】

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

【0061】

例えば、計算ノード１０の平面視形状は略正方形である必要はなく矩形であってもよい。また、計算ノード１０の配置間隔は等間隔でなくてもよい。例えば、行間隔よりも列間隔を広めにしてもよい。したがって、グリッド４０の傾きも４５度である必要はない。計算ノード１０の平面視形状や配置間隔に応じてグリッド４０の傾きを変えてもよい。

【0062】

また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【符号の説明】

【0063】

１００Ａ、１００Ｂ、１００Ｃ 計算ノードネットワークシステム
１０ 計算ノード
２０ 通信リンク
３０ 矩形領域
４０ グリッド（第１のグリッド）
５０ グリッド（第２のグリッド）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】