特開 2019-169775 ネットワークシステム、制御装置、通信経路特定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-169775(P2019-169775A)

(43)【公開日】2019年10月3日

(54)【発明の名称】ネットワークシステム、制御装置、通信経路特定方法及びプログラム

(51)【国際特許分類】

   H04L 12/70 20130101AFI20190906BHJP

   H04L 12/751 20130101ALI20190906BHJP

【ＦＩ】

   H04L12/70 100Z

   H04L12/751

   H04L12/70 D

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【全頁数】23

(21)【出願番号】特願2018-54251(P2018-54251)

(22)【出願日】2018年3月22日

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(71)【出願人】

【識別番号】000232254

【氏名又は名称】日本電気通信システム株式会社

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(74)【代理人】

【識別番号】100119415

【弁理士】

【氏名又は名称】青木 充

(74)【代理人】

【識別番号】100168310

【弁理士】

【氏名又は名称】▲高▼橋 幹夫

(72)【発明者】

【氏名】鈴木 洋司

(72)【発明者】

【氏名】久保田 一志

(72)【発明者】

【氏名】加瀬 知博

(72)【発明者】

【氏名】矢部 辰也

(72)【発明者】

【氏名】田中 裕樹

【テーマコード（参考）】

5K030

【Ｆターム（参考）】

5K030GA14

5K030HC20

5K030MA04

5K030MB09

5K030MD07

(57)【要約】

【課題】オーバーレイ型のネットワークにおける端末間の通信経路をエンドツーエンドで確認可能とするネットワークシステムを提供する。
【解決手段】ネットワークシステムは、複数の中継装置と、複数の終端装置と、制御装置と、含む。複数の中継装置は、アンダーレイネットワークを形成する。複数の終端装置は、トンネル接続することでアンダーレイネットワーク上にオーバーレイネットワークを形成する。制御装置は、複数の中継装置及及び複数の終端装置を制御する。制御装置は、複数の中継装置及び複数の終端装置から、第１のフローに属するパケットが各装置の入力ポート、出力ポートを通過した数を取得する。制御装置は、取得した入力ポート、出力ポートのパケット通過数に基づき、第１のフローの送信元から宛先までの複数の中継装置を含む通信経路を特定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

アンダーレイネットワークを形成する、複数の中継装置と、
トンネル接続することで前記アンダーレイネットワーク上にオーバーレイネットワークを形成する、複数の終端装置と、
前記複数の中継装置及び前記複数の終端装置を制御する制御装置と、
を含み、
前記制御装置は、
前記複数の中継装置及び前記複数の終端装置から、第１のフローに属するパケットが各装置の入力ポート、出力ポートを通過した数を取得し、
前記取得した入力ポート、出力ポートのパケット通過数に基づき、前記第１のフローの送信元から宛先までの前記複数の中継装置を含む通信経路を特定する、ネットワークシステム。

【請求項2】

前記制御装置は、
前記パケット通過数が同じ入力ポート、出力ポートを接続することで、前記第１のフローの通信経路を特定する、請求項１のネットワークシステム。

【請求項3】

前記制御装置は、
前記複数の中継装置及び前記複数の終端装置に関するネットワークトポロジに、前記第１のフローの通信経路をマッピングする、請求項２のネットワークシステム。

【請求項4】

前記制御装置は、
前記第１のフローを識別するための識別条件を、前記複数の中継装置及び前記複数の終端装置に設定し、
前記複数の中継装置は、前記設定された識別条件に合致して処理したパケットを入力ポート、出力ポートごとにカウントし、
前記複数の終端装置は、前記設定された識別条件に合致して処理したパケットを入力ポート、出力ポートごとにカウントする、請求項１乃至３のいずれか一項に記載のネットワークシステム。

【請求項5】

前記制御装置は、
前記終端装置に設定する識別条件を、前記トンネル接続に伴うパケットのカプセリング前後における前記第１のフローを一意に識別するための情報に基づき決定する、請求項４のネットワークシステム。

【請求項6】

前記複数の中継装置のそれぞれは、外部から設定された処理規則に基づいてパケットを処理し、
前記複数の終端装置のそれぞれは、外部から設定された処理規則に基づいてパケットを処理し、
前記制御装置は、
第２のフローに関するパケット転送経路上の前記中継装置及び前記終端装置に対し、前記パケット転送経路によるパケット転送を実現するための処理規則を設定する、請求項１乃至５のいずれか一項に記載のネットワークシステム。

【請求項7】

前記制御装置は、
前記第２のフローに属するパケットを識別するための識別条件を、前記トンネル接続に伴うパケットのカプセリング前後における前記第２のフローを一意に識別するための情報に基づき決定する、請求項６のネットワークシステム。

【請求項8】

アンダーレイネットワークを形成する、複数の中継装置と、トンネル接続することで前記アンダーレイネットワーク上にオーバーレイネットワークを形成する、複数の終端装置と、に接続され、
前記複数の中継装置及び前記複数の終端装置から、第１のフローに属するパケットが各装置の入力ポート、出力ポートを通過した数を取得し、
前記取得した入力ポート、出力ポートのパケット通過数に基づき、前記第１のフローの送信元から宛先までの前記複数の中継装置を含む通信経路を特定する、制御装置。

【請求項9】

アンダーレイネットワークを形成する、複数の中継装置と、トンネル接続することで前記アンダーレイネットワーク上にオーバーレイネットワークを形成する、複数の終端装置と、に接続された制御装置において、
前記複数の中継装置及び前記複数の終端装置から、第１のフローに属するパケットが各装置の入力ポート、出力ポートを通過した数を取得するステップと、
前記取得した入力ポート、出力ポートのパケット通過数に基づき、前記第１のフローの送信元から宛先までの前記複数の中継装置を含む通信経路を特定するステップと、
を含む、通信経路特定方法。

【請求項10】

アンダーレイネットワークを形成する、複数の中継装置と、トンネル接続することで前記アンダーレイネットワーク上にオーバーレイネットワークを形成する、複数の終端装置と、に接続された制御装置に搭載されたコンピュータに、
前記複数の中継装置及び前記複数の終端装置から、第１のフローに属するパケットが各装置の入力ポート、出力ポートを通過した数を取得するステップと、
前記取得した入力ポート、出力ポートのパケット通過数に基づき、前記第１のフローの送信元から宛先までの前記複数の中継装置を含む通信経路を特定するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ネットワークシステム、制御装置、通信経路特定方法及びプログラムに関する。

【背景技術】

【0002】

近年、トンネリング技術を利用した種々のオーバレイネットワーク技術が用いられている。ＲＦＣ（Request for Comments）７３４８等には、ネットワークの仮想化を実現するＶＸＬＡＮ（Virtual Extensible LAN）が規定されている。

【0003】

ＶＸＬＡＮでは、パケット（フレーム）にＶＸＬＡＮヘッダを付加することでパケットをカプセル化し、レイヤ３（Ｌ３）のネットワーク上に論理的なレイヤ２（Ｌ２）ネットワークを構築する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２００７−５１１９３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

【0006】

トンネル技術を用いたオーバーレイネットワークによるネットワーク制御を行う場合、ユーザはトンネルエンドポイント（オーバーレイネットワークの端点）を制御すれば良い。そのため、ネットワーク全体を制御する場合と比較し、シンプルな運用が可能となる。また、既存のＩＰ（Internet Protocol）ネットワークをアンダーレイネットワークとして流用することにより安価にシステム構築が出来る利点もある。

【0007】

一方で、基本的にはアンダーレイネットワークはオーバーレイネットワークの制御対象外となるため、端末間の通信をエンドツーエンド（End-to-End）で確認することができない。例えば、ある通信がどのトンネルエンドポイントから流入してどのエンドポンドから出力されたかを認識することはできるが、アンダーレイネットワークのどのような経路を通過したかを確認できない。従って、アンダーレイネットワークで通信障害が発生した際、障害箇所の特定が難しいことが多い。

【0008】

本発明は、オーバーレイ型のネットワークにおける端末間の通信経路をエンドツーエンドで確認可能とすることに寄与する、ネットワークシステム、制御装置、通信経路特定方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明乃至開示の第１の視点によれば、アンダーレイネットワークを形成する、複数の中継装置と、トンネル接続することで前記アンダーレイネットワーク上にオーバーレイネットワークを形成する、複数の終端装置と、前記複数の中継装置及び前記複数の終端装置を制御する制御装置と、を含み、前記制御装置は、前記複数の中継装置及び前記複数の終端装置から、第１のフローに属するパケットが各装置の入力ポート、出力ポートを通過した数を取得し、前記取得した入力ポート、出力ポートのパケット通過数に基づき、前記第１のフローの送信元から宛先までの前記複数の中継装置を含む通信経路を特定する、ネットワークシステムが提供される。

【0010】

本発明乃至開示の第２の視点によれば、アンダーレイネットワークを形成する、複数の中継装置と、トンネル接続することで前記アンダーレイネットワーク上にオーバーレイネットワークを形成する、複数の終端装置と、に接続され、前記複数の中継装置及び前記複数の終端装置から、第１のフローに属するパケットが各装置の入力ポート、出力ポートを通過した数を取得し、前記取得した入力ポート、出力ポートのパケット通過数に基づき、前記第１のフローの送信元から宛先までの前記複数の中継装置を含む通信経路を特定する、制御装置が提供される。

【0011】

本発明乃至開示の第３の視点によれば、アンダーレイネットワークを形成する、複数の中継装置と、トンネル接続することで前記アンダーレイネットワーク上にオーバーレイネットワークを形成する、複数の終端装置と、に接続された制御装置において、前記複数の中継装置及び前記複数の終端装置から、第１のフローに属するパケットが各装置の入力ポート、出力ポートを通過した数を取得するステップと、前記取得した入力ポート、出力ポートのパケット通過数に基づき、前記第１のフローの送信元から宛先までの前記複数の中継装置を含む通信経路を特定するステップと、を含む、通信経路特定方法が提供される。

【0012】

本発明乃至開示の第４の視点によれば、アンダーレイネットワークを形成する、複数の中継装置と、トンネル接続することで前記アンダーレイネットワーク上にオーバーレイネットワークを形成する、複数の終端装置と、に接続された制御装置に搭載されたコンピュータに、前記複数の中継装置及び前記複数の終端装置から、第１のフローに属するパケットが各装置の入力ポート、出力ポートを通過した数を取得するステップと、前記取得した入力ポート、出力ポートのパケット通過数に基づき、前記第１のフローの送信元から宛先までの前記複数の中継装置を含む通信経路を特定するステップと、を実行させるプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

【発明の効果】

【0013】

本発明乃至開示の各視点によれば、オーバーレイ型のネットワークにおける端末間の通信経路をエンドツーエンドで確認可能とすることに寄与する、ネットワークシステム、制御装置、通信経路特定方法及びプログラムが、提供される。

【図面の簡単な説明】

【0014】

【図1】一実施形態の概要を説明するための図である。

【図2】第１の実施形態に係るネットワークシステムの概略構成の一例を示す図である。

【図3】第１の実施形態に係る中継装置の処理構成の一例を示す図である。

【図4】第１の実施形態に係るトンネル終端装置の処理構成の一例を示す図である。

【図5】記憶部が記憶する情報の一例を示す図である。

【図6】第１の実施形態に係る制御装置の処理構成の一例を示す図である。

【図7】トンネル終端装置に設定する入力ＡＣＬ（Access Control List）の一例を示す図である。

【図8】トンネル終端装置に設定する出力ＡＣＬの一例を示す図である。

【図9】中継装置に設定する入力ＡＣＬの一例を示す図である。

【図10】中継装置に設定する出力ＡＣＬの一例を示す図である。

【図11】経路特定部の動作の一例を示すフローチャートである。

【図12】第１の実施形態に係るネットワークシステムの動作を説明するための図である。

【図13】第１の実施形態に係るネットワークシステムの動作を説明するための図である。

【図14】第１の実施形態に係る制御装置のハードウェア構成の一例を示すブロック図である。

【図15】第２の実施形態に係る中継装置の処理構成の一例を示す図である。

【図16】第２の実施形態に係るトンネル終端装置の処理構成の一例を示す図である。

【図17】第２の実施形態に係る制御装置の処理構成の一例を示す図である。

【図18】トンネル終端装置に設定する処理規則の一例を示す図である。

【図19】中継装置に設定する処理規則の一例を示す図である。

【図20】第２の実施形態に係るネットワークシステムの動作を説明するための図である。

【図21】オープンフローによるカウント値取得動作を説明するための図である。

【発明を実施するための形態】

【0015】

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インターフェイスも同様である。

【0016】

一実施形態に係るネットワークシステムは、複数の中継装置１０１と、複数の終端装置１０２と、制御装置１０３と、含む（図１参照）。複数の中継装置１０１は、アンダーレイネットワークを形成する。複数の終端装置１０２は、トンネル接続することでアンダーレイネットワーク上にオーバーレイネットワークを形成する。制御装置１０３は、複数の中継装置１０１及び複数の終端装置１０２を制御する。制御装置１０３は、複数の中継装置１０１及び複数の終端装置１０２から、第１のフローに属するパケットが各装置の入力ポート、出力ポートを通過した数を取得する。制御装置１０３は、取得した入力ポート、出力ポートのパケット通過数に基づき、第１のフローの送信元から宛先までの複数の中継装置１０１を含む通信経路を特定する。

【0017】

上記制御装置１０３は、中継装置１０１及び終端装置１０２の各ポートからパケットが転送される際に、各ポートにて処理したパケット数に基づき特定フローに属するパケットの転送経路を特定する。具体的には、制御装置１０３は、同一フローに属するパケットを処理した場合に、入力ポートと出力ポートにて同じパケット処理数（カウント数）となることを利用し、通信フローにおけるエンドツーエンドでの通信経路を特定する。

【0018】

その結果、オーバーレイネットワークにおいてもエンドツーエンドで必要最低限（特定通信）の通信確認、通信監視が実現できる。つまり、トンネル技術を用いたオーバーレイネットワークにおいて、制御対象外であるアンダーレイネットワークの通信確認、通信監視が実現される。

【0019】

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。

【0020】

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

【0021】

図２は、第１の実施形態に係るネットワークシステムの概略構成の一例を示す図である。図２を参照すると、ネットワークシステムには、中継装置１０−１〜１０−９と、トンネル終端装置２０−１〜２０−４と、制御装置３０と、端末４０−１〜４０−４と、が含まれる。

【0022】

なお、以降の説明において、中継装置１０−１〜１０−９を区別する特段の理由がない場合には、単に「中継装置１０」と表記する。他の構成についても同様に、ハイフンより左側の数字にて各構成を代表して表記する。

【0023】

中継装置１０は、その内部に設定された内容（Ｌ２／Ｌ３プロトコルの設定等）に従って、自律分散によりパケットを転送する装置（例えば、スイッチ、ルータ等の装置）である。複数の中継装置１０は、アンダーレイネットワークを形成する。

【0024】

トンネル終端装置２０は、ＶＸＬＡＮ等の仮想トンネルを終端する装置（トンネルエンドポイント）である。トンネル終端装置２０は、他のトンネル終端装置２０との間に形成される仮想トンネルを終端する。トンネル終端装置２０は、対になる装置とトンネル接続することで仮想ネットワーク（オーバレイネットワーク）を構築する。このように、複数のトンネル終端装置２０は、トンネル接続することでアンダーレイネットワーク上にオーバーレイネットワークを形成する。

【0025】

制御装置３０は、ネットワークシステムに含まれる通信装置（中継装置１０、トンネル終端装置２０）を制御するコントローラである。制御装置３０と通信装置群は、専用の制御線（制御コネクション）により接続されている。

【0026】

端末４０は、トンネル終端装置２０に接続された情報処理装置（例えば、パーソナルコンピュータ、サーバ）である。図２では、一台のトンネル終端装置２０に一台の端末４０が接続される様子を図示しているが、実際には複数の端末４０が各トンネル終端装置２０に接続される。

【0027】

なお、図２に示す構成は例示であって、中継装置１０やトンネル終端装置２０の数等を限定する趣旨ではないことは勿論である。また、図２において、端末４０は、物理的に独立した装置として記載されているが、必ずしもその必要はなく、仮想的な装置であってもよい。また、トンネル終端装置２０に関しても同様であり、物理的な装置でなくとも仮想的な装置であってもよい。

【0028】

制御装置３０は、トンネル終端装置２０に対して通信制御のための設定を行う。また、制御装置３０は、各トンネル終端装置２０に、トラフィックカウンタを取得するための設定を行う。具体的には、制御装置３０は、トンネル終端装置２０のポート（受信ポート、送信ポート）に対してＡＣＬ（Access Control List）を設定し、トンネル終端装置２０が処理したパケットの数をフローごとに取得する。

【0029】

一方、制御装置３０は、中継装置（アンダーレイ装置）１０に対しては、基本的には通信制御のための設定を行わず、中継装置を通過する通信経路形成は中継装置１０（中継装置群）に委ねる。但し、制御装置３０は、中継装置１０に対してもＡＣＬを設定し、各中継装置１０が処理したパケットの数をフローごとに取得する。

【0030】

このように、制御装置３０は、中継装置１０及びトンネル終端装置２０から、特定のフロー（第１のフロー）に属するパケットが各装置の入力ポート、出力ポートを通過した数を取得する。制御装置３０は、各装置における取得した入力ポート、出力ポートのパケット通過数に基づき、特定フロー（第１のフロー）の送信元から宛先までの複数の中継装置１０を含む通信経路をエンドツーエンドで特定する。

【0031】

続いて、第１の実施形態をなす各装置の処理構成について説明する。

【0032】

［中継装置］
図３は、中継装置１０の処理構成（処理モジュール）の一例を示す図である。図３を参照すると、中継装置１０は、制御装置通信部２０１と、中継装置通信部２０２と、ＡＣＬ処理部２０３と、パケット転送部２０４と、を含む。

【0033】

制御装置通信部２０１は、制御装置３０との間の通信を制御する手段（インターフェイス）である。

【0034】

中継装置通信部２０２は、他の中継装置１０との間のデータ転送用の通信を制御する手段（インターフェイス）である。

【0035】

ＡＣＬ処理部２０３は、制御装置３０から設定されるＡＣＬに関する処理を実行する手段である。ＡＣＬ処理部２０３は、制御装置３０から設定された識別条件に合致するパケットを転送すると、当該識別条件に対応するカウンタ（トラフィックカウント値）をインクリメントする。なお、ＡＣＬ処理部２０３は、パケット転送部２０４から処理対象のパケットを受信し、当該パケットのヘッダ等を参照することで、対応するトラフィックカウント値を変更する。

【0036】

パケット転送部２０４は、ＶＸＬＡＮプロトコルに従って受信したパケットを他の中継装置１０に転送する。

【0037】

［トンネル終端装置］
図４は、トンネル終端装置２０の処理構成（処理モジュール）の一例を示す図である。図４を参照すると、トンネル終端装置２０は、制御装置通信部３０１と、ＡＣＬ処理部３０２と、パケット送受信部３０３と、カプセル化部３０４と、記憶部３０５と、パケット転送部３０６と、を含む。

【0038】

制御装置通信部３０１は、制御装置３０との間の通信を制御する手段（インターフェイス）である。

【0039】

ＡＣＬ処理部３０２は、制御装置３０から設定されるＡＣＬに関する処理を実行する手段である。ＡＣＬ処理部３０２は、中継装置１０のＡＣＬ処理部２０３と同等の動作を行う。

【0040】

パケット送受信部３０３は、端末４０とデータ転送用の通信を行う手段（インターフェイス）である。

【0041】

カプセル化部３０４は、端末４０から受信したパケットのカプセル化（ＶＸＬＡＮカプセル化）と、中継装置１０から受信したパケットのカプセル化解除（ＶＸＬＡＮカプセル化解除）と、を行う手段である。

【0042】

記憶部３０５は、トンネル終端装置２０の動作に必要な情報を記憶する。例えば、記憶部３０５は、送信先の端末情報とトンネル終端装置２０の情報を記憶する手段である。

【0043】

図５は、記憶部３０５が記憶する情報の一例を示す図である。記憶部３０５は、図５（ａ）に示すように、端末４０をパケットの宛先とする場合に、対応するトンネル終端装置２０との関係を規定する情報（送信先端末情報）を記憶する。例えば、図５（ａ）を参照すると、端末４０−１に向けて送信するパケットは、トンネル終端装置２０−１を宛先としてＶＸＬＡＮパケットを送信すれば良いことが分かる。

【0044】

また、記憶部３０５は、図５（ｂ）に示すように、トンネル終端装置２０のアドレスとＶＸＬＡＮによる仮想ネットワークを識別するための識別子ＶＮＩ（VXLAN Network Identifier）を対応付けた情報（トンネル終端装置情報）を記憶する。図５（ｂ）を参照することで、ＶＮＩが「１」であり、トンネル終端装置２０−１との間に形成されるＶＸＬＡＮにパケットを収容するための情報（ＶＸＬＡＮカプセル化のために必要な情報；宛先のアドレス）が得られる。

【0045】

制御装置３０は、図５に示すような送信先端末情報やトンネル終端装置情報をトンネル終端装置２０に設定する。

【0046】

カプセル化部３０４は、記憶部３０５に送信先端末情報が存在する場合に、該当する情報によりＶＸＬＡＮカプセル化を行って（受信パケットにＶＸＬＡＮヘッダを付与して）、当該カプセル化されたパケットをパケット転送部３０６から送出する。あるいは、カプセル化部３０４は、パケット転送部３０６からＶＸＬＡＮカプセル化されたパケットを受信した場合に、当該受信パケットのＶＸＬＡＮカプセル化を解除し、パケット送受信部３０３から端末４０に向けて送信する。

【0047】

パケット転送部３０６は、中継装置１０と通信し、端末４０からのパケットを中継装置１０に転送する手段である。あるいは、パケット転送部３０６は、中継装置１０からパケットを受信し、受信パケットをカプセル化部３０４に引き渡す。

【0048】

［制御装置］
図６は、制御装置３０の処理構成（処理モジュール）の一例を示す図である。図６を参照すると、制御装置３０は、通信部４０１と、ＡＣＬ設定部４０２と、経路特定部４０３と、記憶部４０４と、を含んで構成される。なお、図６において、制御装置３０からトンネル終端装置２０に制御情報を設定する手段の図示を省略している。

【0049】

通信部４０１は、中継装置１０、トンネル終端装置２０との間の通信を制御する手段（インターフェイス）である。

【0050】

記憶部４０４は、制御装置３０の動作に必要な情報を記憶する。例えば、記憶部４０４は、ネットワークトポロジを記憶する。システムの管理者等は、例えば、図２に示すようなネットワークトポロジ（物理トポロジ）を制御装置３０に入力する。あるいは、制御装置３０が、ＬＬＤＰ（Link Layer Discovery Protocol）等を用いてネットワークトポロジを生成してもよい。

【0051】

ＡＣＬ設定部４０２は、中継装置１０及びトンネル終端装置２０にＡＣＬを設定する手段である。ＡＣＬ設定部４０２は、トラフィックカウンタ取得手段として、通信装置群（中継装置１０、トンネル終端装置２０）への設定／情報取得にＡＣＬを用いる。

【0052】

ＡＣＬ設定部４０２は、特定すべき通信のフロー条件により、ネットワークシステムに含まれる制御対象である全ての通信装置（中継装置１０、トンネル終端装置２０）が有する全てのポートに対し、トラフィックカウンタ取得のためのＡＣＬを設定する。トンネル終端装置２０に指定するフロー条件（トンネリングによるカプセリング前）と、中継装置１０に指定するフロー条件（トンネリングによるカプセリング後）では、設定する条件（内容）が異なる。

【0053】

ＡＣＬ設定部４０２は、トンネル終端装置２０のトンネル設定に基づき、カプセリング前後で通信（フロー）の同一性のマッピングが得られるようにフロー条件を設定する。ＡＣＬ設定部４０２は、ネットワークシステムの各通信装置のフロー（レイヤ１〜レイヤ７の特定ｋｅｙの組み合わせにより一意に特定される通信フロー）のトラフィックカウンタ値をＡＣＬを使って取得する。

【0054】

初めに、トンネル終端装置２０に設定するＡＣＬについて説明する。

【0055】

ＡＣＬ設定部４０２は、トンネル終端装置２０の入力ポート用に「入力ＡＣＬ（Ingress ACL）」をトンネル終端装置２０に設定する。入力ＡＣＬは、入力ポート及びトラフィックを識別する識別条件（Ｋｅｙ）と、アクションと、を含む。

【0056】

入力ＡＣＬの識別条件には、例えば、端末４０の送信元ＭＡＣ（Media Access Control）アドレス、端末４０の宛先ＭＡＣアドレス、ＶＬＡＮ ＩＤ等が用いられる。

【0057】

アクションには、トラフィックカウンタの取得が目的（ポートを通過したパケットのカウントが目的）であるため、許可（Permit）が設定される。

【0058】

ＡＣＬ設定部４０２は、各トンネル終端装置２０について、入力ポートの条件を変え、全ての入力ポート用のエントリ（識別条件とアクションの組み）を設定する。

【0059】

ＡＣＬ設定部４０２は、例えば、トンネル終端装置２０−１用の入力ＡＣＬとして、図７に示すようなＡＣＬを生成する。

【0060】

ＡＣＬ設定部４０２は、トンネル終端装置２０の出力ポート用に「出力ＡＣＬ（Egress ACL）」をトンネル終端装置２０に設定する。出力ＡＣＬも入力ＡＣＬと同様に、入力ポート及びトラフィックを識別する識別条件（Ｋｅｙ）と、アクションと、を含む。

【0061】

出力ＡＣＬの識別条件には、例えば、端末４０の送信元ＭＡＣアドレス、端末４０の宛先ＭＡＣアドレス、ＶＬＡＮ ＩＤ等が用いられる。アクションには、許可（Permit）が設定される。

【0062】

ＡＣＬ設定部４０２は、各トンネル終端装置２０について、出力ポートの条件を変え、全ての出力ポート用のエントリ（識別条件とアクションの組み）を設定する。

【0063】

ＡＣＬ設定部４０２は、例えば、トンネル終端装置２０−１用の出力ＡＣＬとして、図８に示すようなＡＣＬを生成する。

【0064】

次に、中継装置１０に設定するＡＣＬについて説明する。

【0065】

ＡＣＬ設定部４０２は、中継装置１０の入力ポート用に「入力ＡＣＬ（Ingress ACL）」を中継装置１０に設定する。入力ＡＣＬは、入力ポート及びトラフィックを識別する識別条件（Ｋｅｙ）と、アクションと、を含む。

【0066】

入力ＡＣＬの識別条件には、例えば、トンネル終端装置２０の送信元ＭＡＣアドレス、トンネル終端装置２０の宛先ＭＡＣアドレス、ＶＮＩ等が用いられる。アクションには、トラフィックカウンタの取得が目的であるため、許可（Permit）が設定される。

【0067】

ＡＣＬ設定部４０２は、各中継装置１０について、入力ポートの条件を変え、全ての入力ポート用のエントリ（識別条件とアクションの組み）を設定する。ＡＣＬ設定部４０２は、例えば、中継装置１０−３用の入力ＡＣＬとして、図９に示すようなＡＣＬを生成する。

【0068】

ＡＣＬ設定部４０２は、中継装置１０の出力ポート用に「出力ＡＣＬ（Egress ACL）」を中継装置１０に設定する。出力ＡＣＬも入力ＡＣＬと同様に、入力ポート及びトラフィックを識別する識別条件（Ｋｅｙ）と、アクションと、を含む。

【0069】

出力ＡＣＬの識別条件には、例えば、トンネル終端装置２０の送信元ＭＡＣアドレス、トンネル終端装置２０の宛先ＭＡＣアドレス、ＶＮＩ等が用いられる。アクションには、許可（Permit）が設定される。

【0070】

ＡＣＬ設定部４０２は、各中継装置１０について、出力ポートの条件を変え、全ての出力ポート用のエントリ（識別条件とアクションの組み）を設定する。ＡＣＬ設定部４０２は、例えば、中継装置１０−３用の出力ＡＣＬとして、図１０に示すようなＡＣＬを生成する。

【0071】

記憶部４０４には、トンネル終端装置２０におけるカプセリング前後のトラフィック（フロー）を一意に識別するための関係性が記憶されている。ＡＣＬ設定部４０２は、上記関係性を考慮して、各ＡＣＬに設定する識別条件を決定する。とりわけ、ＡＣＬ設定部４０２は、上記関係性を考慮して、中継装置１０に設定するＡＣＬの識別条件（Ｋｅｙ）を決定する。

【0072】

具体的には、端末４０−１と端末４０−４間のＶＬＡＮ ＩＤが「ａ」であるトラフィックは、トンネル終端装置２０−１とトンネル終端装置２０−４間のＶＮＩが「Ａ」のトラフィックに対応する（マッピングされる）という関係性が記憶されている。つまり、あるＬ２面に所属する端末情報｛端末４０−１、４０−４、ＶＬＡＮ ＩＤ＝ａ｝は、｛トンネル終端装置２０−１、２０−４、ＶＮＩ＝Ａ｝というＬ２面に対応するトンネル面にマッピングされるという関係性が記憶部４０４に格納されている。このように、記憶部４０４は、各端末情報とトンネル面のマッピングの関係をトラフィックごとに記憶する。ＡＣＬ設定部４０２は、このような関係性を用いて各通信装置に設定するＡＣＬを生成する。

【0073】

なお、トンネル終端装置２０−１は、端末４０−１が所属するトンネル終端装置２０であり、トンネル終端装置２０−４は、端末４０−４が所属するトンネル終端装置２０である。このように、制御装置４０は、マッピングに関する情報を有し、トンネルによるカプセリング前後の関係性を踏まえて、識別条件（Ｋｅｙ）を決定する。

【0074】

このように、制御装置３０は、特定フローを識別するための識別条件を、複数の中継装置１０及び複数のトンネル終端装置２０に設定する。各中継装置１０は、設定された識別条件に合致して処理したパケットを入力ポート、出力ポートごとにカウントする。同様に、各トンネル終端装置２０は、設定された識別条件に合致して処理したパケットを入力ポート、出力ポートごとにカウントする。その際、制御装置３０は、少なくともトンネル終端装置２０に設定する識別条件を、トンネル接続に伴うパケットのカプセリング前後における特定フローを一意に識別するための情報に基づき決定する。

【0075】

経路特定部４０３は、端末４０間のエンドツーエンドでのパケット転送経路を特定する手段である。より具体的には、経路特定部４０３は、複数の通信装置を含むネットワークシステムにおいて、パケット通過数が同じ入力ポート、出力ポートを接続することで、特定フローの通信経路を特定する。また、経路特定部４０３は、複数の中継装置１０及び複数のトンネル終端装置２０に関するネットワークトポロジに、特定フローの通信経路をマッピングする。

【0076】

経路特定部４０３の動作を図面を参照しつつ説明する。図１１は、経路特定部４０３の動作の一例を示すフローチャートである。

【0077】

経路特定部４０３は、ＡＣＬの設定から所定期間経過した後に、ネットワークシステム上の全ての通信装置（中継装置１０、トンネル終端装置２０）からトラフィックカウンタ値を取得する（ステップＳ１０１）。

【0078】

次に、経路特定部４０３は、取得したトラフィックカウンタのうち、値が増加（変化）しているトラフィックカウンタの値を用いて、トラフィックを物理トポロジにマッピングする（マッピング情報の生成；ステップＳ１０２）。

【0079】

経路特定部４０３が生成する上記マッピング情報には、特定すべき通信（トラフィック）のエンドツーエンドでの経路に関する情報が含まれる。また、経路特定部４０３は、ネットワークトポロジ及び特定したエンドツーエンドでの通信経路に関する情報を外部に出力してもよい。例えば、経路特定部４０３は、上記情報を液晶パネル等に表示する、印刷する、外部にメールを出力する、といった対応を行う。

【0080】

続いて、図面を参照しつつ第１の実施形態に係るネットワークシステムの動作を説明する。

【0081】

図１２には、ＡＣＬを各装置に設定してから一定時間経過した後のトラフィックカウンタ値を表記している。なお、図１２を含む図面において、各装置の近傍にてシャープ（＃）と共に記載した数字はポート番号を示す。また、図１２に表記するトラフィックカウンタ値は、図７〜図１０に記載した端末４０−１から端末４０−４までのトラフィックに対応するものである。

【0082】

各装置には、入力ポート及び出力ポートごとにトラフィックを識別（特定）する識別条件が設定されており、該当トラフィックに属するパケットが各ポートを通過するたびにトラフィックカウント値はインクリメントされる。そのため、各装置において、トラフィックカウント値が同じ入力ポートと出力ポートがパケットが通過したポートとなる。

【0083】

図１２の例では、中継装置１０−３において、ポート１にて受信したパケットはポート３から出力されていることがわかる。つまり、図１２に示すように、実際にトラフィックを入力したポートに関連する入力ＡＣＬのカウンタ、及び実際にトラフィックを出力したポートに関連する出力ＡＣＬのカウンタがインクリメントされることになる。

【0084】

経路特定部４０３は、取得したカウンタ情報のうち、トラフィックカウンタが同じポートを物理トポロジにマッピングし、特定すべき通信のエンドツーエンドの経路を特定する。例えば、上述の図１２の例では、図１３にて太い実線で示す経路が特定される。

【0085】

このように、制御装置３０は、通信装置群から取得したＡＣＬのカウンタ情報と予め有しているネットワークシステムのトポロジ（物理トポロジ）をマッピングしてアンダーレイネットワークを含むエンドツーエンドの通信経路を特定する。

【0086】

次に、第１の実施形態に係るネットワークシステムを構成する各装置のハードウェア構成を説明する。

【0087】

図１４は、第１の実施形態に係る制御装置３０のハードウェア構成の一例を示すブロック図である。

【0088】

制御装置３０は、情報処理装置（コンピュータ）により構成可能であり、図１４に例示する構成を備える。例えば、制御装置３０は、内部バスにより相互に接続される、ＣＰＵ（Central Processing Unit）５１、メモリ５２、入出力インターフェイス５３及び通信手段であるＮＩＣ（Network Interface Card）５４等を備える。

【0089】

但し、図１４に示す構成は、制御装置３０のハードウェア構成を限定する趣旨ではない。制御装置３０は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス５３を備えていなくともよい。また、制御装置３０に含まれるＣＰＵ等の数も図１４の例示に限定する趣旨ではなく、例えば、複数のＣＰＵ５１が制御装置３０に含まれていてもよい。

【0090】

メモリ５２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。

【0091】

入出力インターフェイス５３は、図示しない表示装置や入力装置のインターフェイスとなる手段である。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。

【0092】

制御装置３０の機能は、上述の各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ５２に格納されたプログラムをＣＰＵ５１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能を何らかのハードウェア、及び／又は、ソフトウェアで実行する手段があればよい。

【0093】

なお、中継装置１０やトンネル終端装置２０の基本的なハードウェア構成は制御装置３０と同様とすることができるので説明を省略する。

【0094】

以上のように、第１の実施形態に係る制御装置３０は、各通信装置に確認したい通信のトラフィックカウンタ取得のためのＡＣＬを設定する。制御装置３０は、経路の特定対象となるトラフィックに対応するトラフィックカウント値であって、値が同じトラフィックカウント値のポートを接続していく（繋ぎ合わせていく）ことで、実通信の通信経路、通信状況が確認できる。即ち、第１の実施形態に係るネットワークシステムは、特定の端末間の通信経路を、エンドツーエンドで確認することができる。

【0095】

［第２の実施形態］
続いて、第２の実施形態について図面を参照して詳細に説明する。

【0096】

第２の実施形態では、制御装置３０にオープンフローコントローラとしての機能を追加し、中継装置１０及びトンネル終端装置２０にオープンフロースイッチとしての機能を追加する。これらの機能追加により、制御装置３０は、特定通信のエンドツーエンドの通信経路を制御する。つまり、ネットワークシステムを構成する各通信装置は、外部から設定された処理規則に基づいてパケットを処理し、制御装置３０は、各通信装置に処理規則を設定することで、特定通信の通信経路を制御する。

【0097】

制御装置３０は、フロー（受信パケット）を識別するための条件（マッチ条件）とパケットを転送するための指示（インストラクション）からなるフローエントリを通信装置に設定し、特定通信のエンドツーエンドの通信経路を制御する。つまり、制御装置３０は、オープンフローのマッチ条件でフロー条件を指定し、ｏｕｔｐｕｔアクションで出力先を指定する。

【0098】

［中継装置］
図１５は、第２の実施形態に係る中継装置１０の処理構成の一例を示す図である。図３及び図１５を参照すると、第２の実施形態に係る中継装置１０には、テーブル管理部２０５と、記憶部２０６と、転送処理部２０７と、が追加されている。当該処理ブロックにより、オープンフロースイッチとしての機能が実現される。

【0099】

テーブル管理部２０５は、記憶部２０６に保持されているフローテーブルを管理する手段である。より具体的には、テーブル管理部２０５は、制御装置３０から指示された処理規則（フローエントリ）を記憶部２０６に登録する。また、テーブル管理部２０５は、転送処理部２０７から新規パケットを受信したことを通知されると、制御装置３０に対し、処理規則の設定を要求する。

【0100】

記憶部２０６には、転送処理部２０７が受信パケットの処理を行う際に参照するフローテーブルを１つ以上格納可能なデータベースが構成される。

【0101】

転送処理部２０７は、テーブル検索部２１１と、アクション実行部２１２と、を含んで構成される。

【0102】

テーブル検索部２１１は、記憶部２０６に格納されたテーブルから、受信パケットに適合するマッチフィールドを持つエントリを検索する手段である。

【0103】

アクション実行部２１２は、テーブル検索部２１１にて検索されたエントリのインストラクションフィールドに示す処理内容に従ってパケット処理を行う手段である。

【0104】

転送処理部２０７は、受信パケットに適合するマッチフィールドを持つエントリが見つからなかった場合は、その旨をテーブル管理部２０５に通知する。

【0105】

なお、中継装置１０は、基本的には、第１の実施形態と同様、制御装置３０から制御情報を必要とせず、自律的にパケットを転送するものとする。但し、記憶部２０６に１以上のフローエントリが設定されている場合には、中継装置１０は、当該フローエントリによる動作を優先し、パケットを転送するものとする。

【0106】

［トンネル終端装置］
図１６は、第２の実施形態に係るトンネル終端装置２０の処理構成の一例を示す図である。図４と図１６を参照すると、第１の実施形態に係るトンネリング機能（パケット送受信部３０３、カプセル化部３０４、パケット転送部３０６）はオープンフロースイッチの機能に置き替えられている。

【0107】

具体的には、第２の実施形態に係るトンネル終端装置２０は、テーブル管理部３０７及び転送処理部３０８を備えている。なお、これらの処理モジュールは、中継装置１０の対応する処理モジュールと同様の動作とすることができるので説明を省略する。

【0108】

［制御装置］
図１７は、第２の実施形態に係る制御装置３０の処理構成の一例を示す図である。図６と図１７を参照すると、第２の実施形態に係る制御装置３０は、処理規則設定部４０５をさらに備える。

【0109】

処理規則設定部４０５は、記憶部４０４に格納された情報に基づき、中継装置１０上の特定経路によるパケット転送を実現する処理規則を生成し、中継装置１０及びトンネル終端装置２０に設定する。

【0110】

なお、記憶部４０４には、管理者（ユーザ）により指定されたパケット転送経路に関する情報が格納される。例えば、端末４０−１と端末４０−４の間の転送経路に関し、何らの設定を行わない場合には、｛トンネル終端装置２０−１、中継装置１０−１、１０−２、１０−３、１０−６、１０−９、トンネル終端装置２０−４｝という経路でパケットは転送される。

【0111】

管理者は、制御装置３０に、希望するパケット転送経路を設定することで、上記転送経路とは異なるパケット転送を実現する。例えば、｛トンネル終端装置２０−１、中継装置１０−１、１０−４、１０−５、１０−８、１０−９、トンネル終端装置２０−４｝といったパケット転送経路が設定される。

【0112】

処理規則設定部４０５は、指定されたパケット転送経路を実現する処理規則を中継装置１０及びトンネル終端装置２０に設定する。

【0113】

処理規則設定部４０５は、制御すべき特定通信のフロー条件で、ネットワークシステム上の対象装置（指定した通信経路上の装置）に対して経路指定の設定を行う。

【0114】

なお、その際、処理規則設定部４０５は、トンネル終端装置２０で指定するフロー条件（トンネルによるカプセリング前）とアンダーレイの各中継装置１０（トンネリングによるカプセリング後）では、指定すべき条件が異なる。処理規則設定部４０５は、トンネル終端装置２０のトンネル設定に基づき、カプセルリングの前後で通信の同一性のマッピングが取れるように、フロー条件（識別条件、マッチ条件）を指定する必要がある。

【0115】

ここでは、上記経路｛トンネル終端装置２０−１、中継装置１０−１、１０−４、１０−５、１０−８、１０−９、トンネル終端装置２０−４｝の実現を例にとり、処理規則設定部４０５が生成する処理規則を説明する。

【0116】

処理規則設定部４０５は、図１８に示すような処理規則を生成し、トンネル終端装置２０−１に設定する。図１８を参照すると、当該処理規則（オープンフローエントリ）のマッチ条件には、入力ポート条件及び識別すべきトラフィックのｋｅｙが指定されている。

【0117】

なお、図１８の例では、トラフィックのｋｅｙとして、端末４０−１の送信元ＭＡＣアドレス、端末４０−４の宛先ＭＡＣアドレス、値が「ａ」であるＶＬＡＮ ＩＤがＬ２トラフィック識別用のｋｅｙとして指定されている。また、図１８の例では、マッチ条件にヒットしたパケットは、ＶＸＬＡＮによるカプセル化の後、ポート２から出力することがインストラクションフィールドに指定されている。

【0118】

さらに、中継装置１０に関しては、処理規則設定部４０５は、図１９に示すような処理規則を生成し、中継装置１０−１に設定する。図１９を参照すると、当該処理規則（オープンフローエントリ）のマッチ条件には、入力ポート条件及び識別すべきトラフィックのｋｅｙが指定されている。

【0119】

なお、図１９の例では、トラフィックのｋｅｙとして、トンネル終端装置２０−１の送信元ＭＡＣアドレス、トンネル終端装置２０−４の宛先ＭＡＣアドレス、値が「Ａ」であるＶＩＮがＬ２トラフィック識別用のｋｅｙとして指定されている。

【0120】

なお、第１の実施形態と同様に、記憶部４０４には、トンネル終端装置２０におけるカプセリング前後のトラフィック（フロー）を一意に識別するための関係性が記憶されている。処理規則設定部４０５は、当該関係性を用いて、各装置に設定する処理規則を生成する。

【0121】

このように、制御装置３０は、特定フロー（第２のフロー）に関するパケット転送経路上の中継装置１０及びトンネル終端装置２０に対し、当該パケット転送経路によるパケット転送を実現するための処理規則を設定する。その際、制御装置３０は、特定フローに属するパケットを識別するための識別条件を、トンネル接続に伴うパケットのカプセリング前後における特定フローを一意に識別するための情報に基づき決定する。

【0122】

制御装置３０が、中継装置１０及びトンネル終端装置２０に処理規則を設定することで、図２０の太い実線で示すパケット転送経路が実現できる。つまり、処理規則が設定されなければ、中継装置１０の自律的なパケット転送により図２０の点線で示す経路にてパケットは転送される。しかし、中継装置１０等に処理規則を設定することで、管理者が意図したとおりの他のオーバーレイ通信とは異なる通信経路により特定のトラフィックに属するパケットを転送することができる。

【0123】

以上のように、第２の実施形態に係る制御装置３０は、ネットワークシステムの（特定通信の）対象となる通信装置に通信制御のための設定（処理規則）を設定することにより、対象となる特定通信の通信経路を制御できる。その結果、特定の端末間の通信がエンドツーエンドで制御可能となる。

【0124】

なお、第２の実施形態に係るネットワークシステムのようにオープンフローの仕組みを使わなければ、アンダーレイヤーを含むパケット転送経路を自由に設定することはできない。つまり、既存のオーバーレイネットワークでは、アンダーレイネットワークの制御ができず、特定の通信（例えば重要な特定通信）のために専用のルート（例えば、高帯域、低遅延及び高度なセキュリティにより保護されたルート）を設定することはできない。つまり、レガシープロトコルの範囲で特定通信を優先する程度の対応しか行えない。このために、緊急時のための専用経路や高価格プランに入っている特定ユーザを優遇するようなサービスなどを実現することが難しい。対して、第２の実施形態では、緊急時の専用経路の設定等が可能である。

【0125】

［変形例］
上記実施形態にて説明したネットワークシステムの構成及び動作は例示であって、種々の変形が可能である。例えば、中継装置１０のパケット転送部２０４がＡＣＬ処理を実行しても良い。この点、トンネル終端装置２０に関しても同様である。

【0126】

また、第１の実施形態では、制御装置３０が、ＡＣＬを用いて、特定フローに属するパケットが各通信装置の入力ポート、出力ポートを通過した数を取得している。しかし、制御装置３０は、各通信装置（中継装置１０、トンネル終端装置２０）に対し、特定フローに属するパケットが各装置の入力ポート、出力ポートを通過した数を取得するためのオープンフローエントリを設定しても良い。

【0127】

例えば、図２１に示すように、中継装置１０、トンネル終端装置２０のそれぞれに対して、入力ポートでのパケット処理数をカウントする入力ポート用エントリと、出力ポートでのパケット処理数をカウントする出力ポート用エントリと、を設定する。図２１（ａ）に示す入力ポート用エントリでは、マッチ条件にヒットすれば統計情報のカウント値がインクリメントされると共に、出力ポート用エントリを格納する出力ポートテーブルの参照が指示される。図２１（ｂ）に示す出力ポート用エントリでは、マッチ条件にヒットすれば統計情報のカウント値がインクリメントされ、所定のポートからパケットが送出される。このように、制御装置３０は、オープンフローを用いてトラフィックカウント値を取得してもよい。より具体的には、制御装置３０は、オープンフローのマッチ条件でフロー条件を指定し、統計情報であるカウント値を取得すればよい。

【0128】

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
上述の第１の視点に係るネットワークシステムのとおりである。
［付記２］
前記制御装置は、
前記パケット通過数が同じ入力ポート、出力ポートを接続することで、前記第１のフローの通信経路を特定する、好ましくは付記１のネットワークシステム。
［付記３］
前記制御装置は、
前記複数の中継装置及び前記複数の終端装置に関するネットワークトポロジに、前記第１のフローの通信経路をマッピングする、好ましくは付記２のネットワークシステム。
［付記４］
前記制御装置は、
前記第１のフローを識別するための識別条件を、前記複数の中継装置及び前記複数の終端装置に設定し、
前記複数の中継装置は、前記設定された識別条件に合致して処理したパケットを入力ポート、出力ポートごとにカウントし、
前記複数の終端装置は、前記設定された識別条件に合致して処理したパケットを入力ポート、出力ポートごとにカウントする、好ましくは付記１乃至３のいずれか一に記載のネットワークシステム。
［付記５］
前記制御装置は、
前記終端装置に設定する識別条件を、前記トンネル接続に伴うパケットのカプセリング前後における前記第１のフローを一意に識別するための情報に基づき決定する、好ましくは付記４のネットワークシステム。
［付記６］
前記複数の中継装置のそれぞれは、外部から設定された処理規則に基づいてパケットを処理し、
前記複数の終端装置のそれぞれは、外部から設定された処理規則に基づいてパケットを処理し、
前記制御装置は、
第２のフローに関するパケット転送経路上の前記中継装置及び前記終端装置に対し、前記パケット転送経路によるパケット転送を実現するための処理規則を設定する、好ましくは付記１乃至５のいずれか一に記載のネットワークシステム。
［付記７］
前記制御装置は、
前記第２のフローに属するパケットを識別するための識別条件を、前記トンネル接続に伴うパケットのカプセリング前後における前記第２のフローを一意に識別するための情報に基づき決定する、好ましくは付記６のネットワークシステム。
［付記８］
前記制御装置は、
ＡＣＬ（Access Control List）を用いて、前記第１のフローに属するパケットが各装置の入力ポート、出力ポートを通過した数を取得する、好ましくは付記１乃至７のいずれか一に記載のネットワークシステム。
［付記９］
前記制御装置は、
前記第１のフローに属するパケットが各装置の入力ポート、出力ポートを通過した数を取得するためのオープンフローエントリを、前記中継装置及び前記終端装置に設定する、好ましくは付記１乃至７のいずれか一に記載のネットワークシステム。
［付記１０］
上述の第２の視点に係る制御装置のとおりである。
［付記１１］
上述の第３の視点に係る通信経路特定方法のとおりである。
［付記１２］
上述の第４の視点に係るプログラムのとおりである。
なお、付記１０〜付記１２の形態は、付記１の形態と同様に、付記２の形態〜付記９の形態に展開することが可能である。

【0129】

なお、引用した上記の特許文献の開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

【符号の説明】

【0130】

１０、１０−１〜１０−９、１０１ 中継装置
２０、２０−１〜２０−４ トンネル終端装置
３０、１０３ 制御装置
４０、４０−１〜４０−４ 端末
５１ ＣＰＵ（Central Processing Unit）
５２ メモリ
５３ 入出力インターフェイス
５４ ＮＩＣ（Network Interface Card）
１０２ 終端装置
２０１、３０１ 制御装置通信部
２０２ 中継装置通信部
２０３、３０２ ＡＣＬ処理部
２０４、３０６ パケット転送部
２０５、３０７ テーブル管理部
２０６、３０５、４０４ 記憶部
２０７、３０８ 転送処理部
２１１、３１１ テーブル検索部
２１２、３１２ アクション実行部
３０３ パケット送受信部
３０４ カプセル化部
４０１ 通信部
４０２ ＡＣＬ設定部
４０３ 経路特定部
４０５ 処理規則設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】