特許第6082164号(P6082164)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アルカテル−ルーセントの特許一覧

特許6082164仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法
<>
  • 特許6082164-仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法 図000002
  • 特許6082164-仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法 図000003
  • 特許6082164-仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法 図000004
  • 特許6082164-仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法 図000005
  • 特許6082164-仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法 図000006
  • 特許6082164-仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法 図000007
  • 特許6082164-仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法 図000008
  • 特許6082164-仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法 図000009
  • 特許6082164-仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法 図000010
  • 特許6082164-仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法 図000011
  • 特許6082164-仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法 図000012
  • 特許6082164-仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法 図000013
  • 特許6082164-仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6082164
(24)【登録日】2017年1月27日
(45)【発行日】2017年2月15日
(54)【発明の名称】仮想拡張可能ローカルエリアネットワーク(VXLAN)セグメントデータパス故障を検出するためのシステムおよび方法
(51)【国際特許分類】
   H04L 12/70 20130101AFI20170206BHJP
【FI】
   H04L12/70 D
   H04L12/70 100Z
【請求項の数】10
【全頁数】19
(21)【出願番号】特願2016-515353(P2016-515353)
(86)(22)【出願日】2014年5月13日
(65)【公表番号】特表2016-522645(P2016-522645A)
(43)【公表日】2016年7月28日
(86)【国際出願番号】US2014037792
(87)【国際公開番号】WO2014189709
(87)【国際公開日】20141127
【審査請求日】2016年1月15日
(31)【優先権主張番号】13/902,190
(32)【優先日】2013年5月24日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】391030332
【氏名又は名称】アルカテル−ルーセント
(74)【代理人】
【識別番号】110001173
【氏名又は名称】特許業務法人川口國際特許事務所
(72)【発明者】
【氏名】ジャイン,プラディープ・ジー
(72)【発明者】
【氏名】シン,カンワル・ディー
【審査官】 大石 博見
(56)【参考文献】
【文献】 特開2012−182760(JP,A)
【文献】 特開2006−135803(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 12/70
(57)【特許請求の範囲】
【請求項1】
VXLANデータパス故障を決定するための方法であって、
エコー要求を備える第1のデータパケットをネットワーク内の発信トンネルエンドポイントデバイスにおいて生成することであって、エコー要求が、エコー要求のペイロード部分に配置された、かつ選択されたVXLANセグメントに関連付けられたVXLANネットワーク識別子(VNI)を含む、生成することと、
VXLAN技術に関するフォーマットを有するヘッダを備える第2のデータパケットを生成することであって、ヘッダが、VXLANネットワーク識別子(VNI)を含むネットワーク識別子部分を備える、生成することと、
第1のデータパケットを第2のデータパケット内にカプセル化することと、
選択されたVXLANセグメントを介して第2のデータパケットを送信することと
を備える方法。
【請求項2】
第2のデータパケットのヘッダが、ルータアラートを示す所定の値に設定された所定のビットを有する予約部分を備える、請求項1に記載の方法。
【請求項3】
第1のデータパケットが、インターネットプロトコル技術に関するフォーマットを有するヘッダを備える、請求項1に記載の方法。
【請求項4】
非応答モードまたはIPパケット使用応答モードのうちの1つをエコー要求に設定することをさらに備える、請求項1に記載の方法。
【請求項5】
第1のデータパケット内のエコー要求が、割り当てられたUDP宛先ポート番号を含む、請求項1に記載の方法。
【請求項6】
VXLAN技術に関するフォーマットを有するヘッダを備えるデータパケットをネットワーク内のノードにおいて受信することと、
パケット処理例外に基づいてデータパケットがエコー要求を備えると決定することであって、エコー要求が、エコー要求のペイロード部分に配置された、かつ選択されたVXLANセグメントに関連付けられたVXLANネットワーク識別子(VNI)を含む、決定することと、
VXLANネットワーク識別子(VNI)に基づいて、ノードが、選択されたVXLANセグメントに対する意図する終端トンネルエンドポイントであるかを決定することと
を備える方法。
【請求項7】
パケット処理例外が、ルータアラートまたは127/8アドレス範囲内の宛先アドレスのうちの1つである、請求項6に記載の方法。
【請求項8】
割り当てられたUDP宛先ポート番号に基づいて、データパケットがエコー要求を備えると決定することをさらに備える、請求項6に記載の方法。
【請求項9】
エコー要求が、インターネットプロトコル技術に関するフォーマットを有するヘッダを備える、請求項6に記載の方法。
【請求項10】
エコー要求内のIPパケット使用応答モードに応じてエコー応答を生成することと、
エコー要求の送信機にエコー応答を送信することと
をさらに備える、請求項6に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に通信ネットワークにおいて情報を送信するためのシステムおよび方法に関し、より詳細には、仮想拡張可能ローカルエリアネットワーク(VXLAN)トンネリング機構におけるデータパス故障を検出するためのシステムおよび方法に関する。
【背景技術】
【0002】
VXLANは、大規模なクラウドコンピューティングの配備に関するスケーラビリティの問題を改善するように構成されたネットワーク仮想化技術である。VXLANは、たとえば、VLANのようなカプセル化技法を用いて、MACベースのレイヤ2イーサネット(登録商標)フレームをレイヤ3UDPパケット内にカプセル化することができる。VXLANトンネリング機構によれば、発信トンネルエンドポイントと呼ばれる第1のデバイスが、VXLANプロトコルに関するフォーマットを用いてデータパケットをカプセル化し、カプセル化されたパケットを、終端トンネルエンドポイントと呼ばれる第2のデバイスに送信する。終端トンネルエンドポイントは、データパケットをデカプセル化し、意図する宛先デバイスに転送する。
【発明の概要】
【課題を解決するための手段】
【0003】
VXLANセグメントデータパス故障を検出するための方法および装置が提供される。一実施形態によれば、エコー要求を備える第1のデータパケットが、ネットワーク内の発信トンネルエンドポイントデバイスにおいて生成される。エコー要求は、選択されたVXLANセグメントに関連付けられたVXLANネットワーク識別子(VNI:VXLAN network identifier)を含む。VXLAN技術に関するフォーマットを有するヘッダを備える第2のデータパケットが生成され、ヘッダは、VXLANネットワーク識別子(VNI)を含むネットワーク識別子部分を備える。第1のデータパケットは、第2のデータパケット内にカプセル化され、第2のデータパケットは、選択されたVXLANセグメントを介して送信される。ヘッダは、ルータアラートを示す所定の値に設定された所定のビットを有する予約部分を備えることができる。
【0004】
一実施形態によれば、第1のデータパケットは、インターネットプロトコル技術に関するフォーマットを有するヘッダを備えることができる。
【0005】
一実施形態によれば、非応答モードまたはIPパケット使用応答モードのうちの1つを、エコー要求に設定することができる。
【0006】
一実施形態によれば、エコー要求は、割り当てられたUDP宛先ポート番号を含むことができる。
【0007】
一実施形態によれば、VXLAN技術に関するフォーマットを有するヘッダを備えるデータパケットが、ネットワーク内のノードにおいて受信される。パケット処理例外に基づいて、データパケットはエコー要求を備えると決定され、ここでエコー要求は、選択されたVXLANセグメントに関連付けられたVXLANネットワーク識別子(VNI)を含む。VXLANネットワーク識別子(VNI)に基づいて、ノードは、選択されたVXLANセグメントに対する意図する終端トンネルエンドポイントであると決定される。
【0008】
一実施形態によれば、パケット処理例外は、ルータアラートまたは127/8アドレス範囲内の宛先アドレスのうちの1つとすることができる。
【0009】
一実施形態によれば、割り当てられたUDP宛先ポート番号に基づいて、データパケットはエコー要求を備えると決定される。
【0010】
一実施形態によれば、エコー要求は、インターネットプロトコル技術に関するフォーマットを有するヘッダを備えることができる。
【0011】
一実施形態によれば、エコー応答を、エコー要求内のIPパケット使用応答モードに応じて生成することができ、エコー応答を、エコー要求の送信機に送信することができる。
【0012】
本発明のこれらおよび他の利点は、以下の詳細な説明および添付の図面を参照することによって、当業者にとって明らかとなろう。
【図面の簡単な説明】
【0013】
図1】一実施形態による通信システムの図である。
図2】VXLANパケットの図である。
図3】一実施形態による送信元デバイス、発信トンネルエンドポイントデバイス、終端トンネルエンドポイントデバイス、および宛先デバイスの図である。
図4】一実施形態によるVXLANデータパケット内で情報を送信する方法のフローチャートである。
図5】一実施形態によるVXLANパケットの図である。
図6】一実施形態によるVXLANパケット内のアラートを検出しアラートに応答する方法のフローチャートである。
図7】一実施形態によるVXLANエコーアプリケーションデータパケットの図である。
図8】一実施形態によるエコー要求をカプセル化したVXLANデータパケットの図である。
図9】一実施形態によるVXLANエコー要求を生成する方法のフローチャートである。
図10】一実施形態によるVXLANエコー要求を受信する方法のフローチャートである。
図11】一実施形態によるエコー応答を生成する方法のフローチャートである。
図12】一実施形態によるエコー応答を受信する方法のフローチャートである。
図13】本発明の特定の実施形態を実装するのに使用可能な一例示的コンピュータのコンポーネントの図である。
【発明を実施するための形態】
【0014】
仮想拡張可能ローカルエリアネットワーク(VXLAN)トンネルセグメントにおけるデータパス故障を検出するための方法が開示される。検出方法は、エコー要求および応答フォーマットを用いることによって、データパス障害の位置を特定する。エコー要求フォーマットは、データパスが正常に動作しているかを決定し、(たとえばパケットが意図する終端トンネルエンドポイントに到着するかを決定し)、また、データパスを制御パスに照らして検証するのに十分な情報を提供する。さらに、より頑健な障害分離を可能にするために、信頼性の高いエコー応答チャネルが決定される。
【0015】
図1に、一実施形態による通信システムを示す。通信システム100は、ネットワーク105と、ネットワークエレメント135−A、135−B、135−C、135−D、135−Eなどを含む複数のネットワークエレメントとを備える。便宜上、「ネットワークエレメント135」という用語は、本明細書では、ネットワークエレメント135−A、135−B、135−C、135−Dおよび135−Eのいずれか1つに言及するために用いられる。したがって、「ネットワークエレメント135」に言及する本明細書のいかなる議論も、ネットワークエレメント135−A、135−B、135−C、135−Dおよび135−Eの各々に等しく適用可能である。通信システム100が2つより多いまたは少ないネットワークエレメントを備えることができ、「135」がネットワークエレメントのいずれかを指すことができることに留意されたい。
【0016】
ネットワーク105は、任意の種類のネットワークを備えることができる。たとえばネットワーク105は、いくつかの異なる種類のネットワーク、たとえばインターネット、イントラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、ワイヤレスネットワーク、ファイバチャネルベースのストレージエリアネットワーク(SAN)、またはイーサネットなどのうちの1つまたは複数を備えることができる。他のネットワークを用いてもよい。あるいは、ネットワーク105は、異なる種類のネットワークの組み合わせを備えてもよい。
【0017】
一実施形態では、各ネットワークエレメント135は、ネットワーク105に接続されたデバイスを備え、ネットワーク105を介して通信可能である。たとえば、ネットワークエレメント135は、サーバコンピュータたとえばEメールサーバ、データベースサーバ、仮想マシン、ソフトウェアアプリケーションなどとすることができる。あるいは、ネットワークエレメント135は、ルータでもよい。
【0018】
一実施形態によれば、通信システム100内の少なくとも2つのネットワークエレメントは、VXLAN技術を用いて通信する。VXLANは、大規模なクラウドコンピューティングの配備に関するスケーラビリティの問題を改善するように構成されたネットワーク仮想化技術である。VXLANは、VLANのようなカプセル化技法を用いて、MACベースのレイヤ2イーサネットフレームをレイヤ3UDPパケット内にカプセル化する。VXLANトンネリング機構に従って、発信トンネルエンドポイントと呼ばれる第1のデバイスは、VXLANプロトコルに関するフォーマットを用いてデータパケットをカプセル化し、カプセル化されたパケットを、終端トンネルエンドポイントと呼ばれる第2のデバイスに送信する。終端トンネルエンドポイントは、データパケットをデカプセル化し、データパケットを意図する宛先デバイスに転送する。
【0019】
カプセル化されたVXLANデータパケットは、VXLANプロトコルに準拠したフォーマットを有するヘッダを備える。図2に、VXLANパケットを示す。VXLANパケットは、ヘッダ210およびペイロード260を備える。
【0020】
VXLANプロトコルに従って、ヘッダ210は、情報セクション201、第1の予約セクション215、VXLANネットワーク識別子セクション231、および第2の予約セクション237を含む複数のセクションを備える。
【0021】
一実施形態によれば、発信トンネルエンドポイントデバイスは、特定のデータパケットがさらなる処理を要することを終端トンネルエンドポイントデバイスに知らせるために、VXLANデータパケットのヘッダ内の所定の位置に情報を挿入する。図3に、一実施形態による送信元デバイス310、発信トンネルエンドポイントデバイス320、終端トンネルエンドポイントデバイス330、および宛先デバイス340を示す。送信元デバイス310、発信トンネルエンドポイントデバイス320、終端トンネルエンドポイントデバイス330、および宛先デバイス340は、通信システム100内のそれぞれのネットワークエレメントである。発信トンネルエンドポイントデバイス320および終端トンネルエンドポイントデバイス330は、リンク393を介して接続される。
【0022】
発信トンネルエンドポイントデバイス320は、VXLANプロトコルに従ってデータパケットをカプセル化し、VXLANパケットを選択された終端トンネルエンドポイントデバイスに送信するように構成されたカプセル化モジュール382を備える。終端トンネルエンドポイントデバイス330は、VXLANパケットをデカプセル化し、VXLANパケット内からデカプセル化されたデータを選択された宛先デバイスに送信するように構成されたデカプセル化モジュール386を備える。
【0023】
一実施形態によれば、カプセル化モジュール382は、指定された情報をVXLANパケットのヘッダ内に所定の位置に挿入するようにさらに構成されている。デカプセル化モジュール386は、VXLANパケットのヘッダ内の所定の位置に情報が存在することを検出するようにさらに構成されている。
【0024】
図3の実施形態では、発信トンネルエンドポイントデバイス320は、発信アプリケーション362をさらに備える。発信アプリケーション362は、任意の種類の機能性を有する任意の種類のアプリケーションとすることができる。例示的実施形態では、発信アプリケーション362は、運用保守管理(OAM:operations,administration,and maintenance)アプリケーションである。たとえば、発信アプリケーション362は、特定のデータパケットに情報を挿入する必要があると決定し、それに従ってカプセル化モジュール382に指示するように構成することができる。一実施形態では、発信アプリケーション362は、エコー要求を備えるデータパケットを生成するように構成されたエコーアプリケーション(pingアプリケーションとも呼ばれる)とすることができる。
【0025】
同様に、終端トンネルエンドポイントデバイス330は、終端アプリケーション365を備える。終端アプリケーション365は、任意の種類の機能性を有する任意の種類のアプリケーションとすることができる。例示的実施形態では、終端アプリケーション365は、運用保守管理(OAM)アプリケーションである。たとえば、終端アプリケーション365は、ネットワーク105内の要求デバイスからのエコー要求を検出し、それに応答してエコー応答を要求デバイスに送信するように構成することができる。
【0026】
一例示的実施形態によれば、送信元デバイス310は、データパケット、たとえばインターネットプロトコル(IP)データパケットを生成し、IPデータパケットを発信トンネルエンドポイントデバイス320に送信する。他の実施形態では、発信アプリケーション362は、IPデータパケットを生成し、IPデータパケットをカプセル化モジュール382に送信する。
【0027】
カプセル化モジュール382は、IPデータパケットを受信し、VXLANプロトコルに従ってパケットをカプセル化して、VXLANデータパケットを生成する。したがってVXLANデータパケットは、図2に示されたヘッダ200と同様のヘッダを含む。
【0028】
図4に、一実施形態によるVXLANデータパケット内で情報を送信する方法のフローチャートを示す。一例示的実施形態では、送信元デバイス310は、宛先デバイス340を意図する宛先として指定してIPデータパケットを生成し、IPデータパケットを発信トンネルエンドポイントデバイス320に送信する。他の例示的実施形態では、発信アプリケーション362は、エコー要求を生成し、エコー要求を含むIPデータパケットを生成し、IPデータパケットをカプセル化モジュール382に送信する。発信トンネルエンドポイントデバイス320は、IPデータパケットを受信する。
【0029】
ステップ410において、VXLAN技術に関するフォーマットを有するヘッダを備えるデータパケットが、ネットワーク内の発信トンネルエンドポイントデバイスで生成される。(発信トンネルエンドポイントデバイス320の)カプセル化モジュール382は、VXLANプロトコルに従ってIPデータパケットをカプセル化して、図5に示されたようなVXLANパケットを生成する。VXLANパケット500は、ヘッダ510およびペイロード560を備える。ヘッダ510は、情報セクション501、第1の予約セクション515、VXLANネットワーク識別子セクション531、第2の予約セクション537を含む。
【0030】
例示的実施形態では、発信アプリケーション362は、VXLANパケット500に所定の情報を挿入するようにカプセル化モジュール382に指示する。これに応答して、カプセル化モジュール382は、VXLANパケット500のヘッダ内の所定の位置に情報を挿入する。
【0031】
具体的には、ステップ420において、第1の予約セクション515の所定のビット518が、所定の値に設定される。例示的実施形態では、カプセル化モジュール382は、ビット518に「1」を挿入する。図5は例示的なものにすぎず、他の実施形態では、予約部分515内の任意のビットが使用可能である。
【0032】
ステップ430において、ネットワーク内の選択されたVXLANセグメントに関連付けられた第2の値が、ヘッダのVXLANネットワーク識別子部分に挿入される。カプセル化モジュール382は、VXLANセグメント383に関連付けられた識別子(「VNI」)をVXLANネットワーク識別子セクション531に挿入する。
【0033】
ステップ440において、データパケットは、選択されたVXLANセグメントを介して送信される。発信トンネルエンドポイントデバイス320は、VXLANパケットを(指定されたVXLANセグメントとしての役目をする)リンク383を介して終端トンネルエンドポイントデバイス330に送信する。
【0034】
図6に、一実施形態によるVXLANパケット内のアラートを検出しアラートに応答する方法のフローチャートを示す。ステップ610において、仮想拡張可能LAN(VXLAN)技術に関するフォーマットを有するヘッダを備えるデータパケットが、ネットワーク内の終端トンネルエンドポイントデバイスで受信される。例示的実施形態では、終端トンネルエンドポイントデバイス330は、VXLANパケット500を受信する。デカプセル化モジュール386は、パケットをデカプセル化する。
【0035】
ステップ620において、ヘッダの予約部分内の所定のビットが所定の値を有するという決定がなされる。デカプセル化モジュール386は、予約部分515内のビット518を検出する。
【0036】
ステップ630において、ヘッダの予約部分内の所定のビットが所定の値を有すると決定したことに応答して、データパケットの少なくとも一部が、終端トンネルエンドポイントデバイスに常駐している選択されたアプリケーションに転送される。例示的実施形態では、デカプセル化モジュール386は、ビット518を検出したことに応答して、VXLANパケット500からペイロード560を抽出し、ペイロード560を終端アプリケーション365に送信する。
【0037】
一例示的実施形態では、終端アプリケーション365は、ペイロード560を受信し、ペイロード560が発信トンネルエンドポイントデバイス320からのエコー要求を備えていると決定する。それに応答して、終端アプリケーション365は、適切な応答を発信トンネルエンドポイントデバイス320に送信することができる。
【0038】
エコーアプリケーションは、選択されたVXLANセグメント(本明細書では選択されたセグメントとも呼ばれる)に属するパケットが、それらのデータパスを、意図する終端トンネルエンドポイントデバイス、たとえば終端トンネルエンドポイントデバイス330において実際に終了することを検証するためのOAMアプリケーションである。たとえば、選択されたセグメントがユーザトラフィックを配信できなかった疑いがある場合に、エコー要求により、合理的な期間内のトラフィックブラックホールまたは誤ルーティングの検出が可能となり、障害を分離する機構を提供することができる。エコー要求は、選択されたVXLANセグメントにトラフィックをマッピングする前のデータパステストに利用することもできる。
【0039】
一実施形態では、エコー要求を備えるペイロード(たとえばペイロード560)は、データパス故障をテストするために選択されたVXLANセグメントに関する識別情報と、エコー応答モードとを含む。上記で論じられたように、エコー要求は、選択されたセグメントを介してVXLANパケット(たとえばVXLANパケット500)内で、選択されたVXLANセグメントにルーティングされる他のデータパケットと同じデータパスに沿って送信される。
【0040】
エコー要求を含むパケットは、選択されたVXLANセグメントの終端、たとえば終端トンネルエンドポイントデバイス330において受信されるはずである。上述のように、VXLANパケット500は、デカプセル化モジュール386によりデカプセル化される。デカプセル化モジュール386は、ヘッダの予約部分内の所定のビット518が所定の値を有すると決定し、これは例示的実施形態ではエコー要求を示す。ビット518を検出したことに応答して、デカプセル化モジュール386は、エコー要求を含むペイロード560をVXLANパケット500から抽出し、ペイロード560を終端アプリケーション365(これは終端トンネルエンドポイントデバイス330の制御プレーンとも呼ばれ得る)に送信する。
【0041】
基本的な接続性確認のために、終端アプリケーション365は、終端トンネルエンドポイントデバイス330が、選択されたVXLANセグメントに対する意図する受信ノードであるか決定する。そして終端アプリケーション365は、エコー要求内で指定されたエコー応答モードに従って、監視機能または応答機能を実施する。たとえば、終端アプリケーション365は、エコー応答モードに従ってエコー応答を生成して発信トンネルエンドポイントデバイス320に送信することができる。
【0042】
図7に、一実施形態によるVXLANエコーアプリケーションデータパケットを示す。例示的実施形態では、エコーデータパケット700は、インターネットプロトコルバージョン4(IPv4)ユーザデータグラムプロトコル(UDP)パケットとして構成される。しかしながら、他のIPプロトコルバージョンが利用可能であり、エコーデータパケットを構成するための本明細書の実施形態が特定のIPプロトコルバージョンに限定されないことに留意されたい。
【0043】
エコーデータパケット700は、UDP/IPヘッダ710およびペイロード760を備える。UDP/IPヘッダ710は、送信元IPアドレスセクション712、宛先IPアドレスセクション714、IP有効期限(TTL:time−to−live)セクション716、送信元UDPポートセクション718、宛先UDPポートセクション720、およびルータアラートオプション722を含む複数のセクションを備える。UDP/IPヘッダ710に関して記述されたセクションが、単に本明細書の実施形態を例示するためのものであり、網羅的であるよう意図されていないことに当業者であれば気付くであろう。さらに、UDP/IPヘッダが、記述されたものに加えて様々なセクションまたはサブセクションを備えることができることは理解されよう。
【0044】
エコーデータパケット700において、送信元IPアドレス712は、送信機、たとえば発信トンネルエンドノードデバイス320のルーティング可能アドレスを識別する。宛先IPアドレス714をランダムに選択して処理例外を作成することができる。たとえば、宛先IPアドレス714は、範囲127/8からのIPv4アドレス、または、範囲0:0:0:0:0:FFFF:127/104からのIPv6アドレスとすることができる。
【0045】
IP(有効期限)TTL716は、ネットワークにおけるデータの生存期間(lifespan)または寿命(lifetime)を制限する。最大TTL値は255、すなわち1オクテットの最大値である。
【0046】
送信元UDPポートセクション718は、エコー要求/応答アプリケーションが用いるための、発信トンネルエンドポイントデバイス320などの発信ノードで選択された任意の空きポート番号を識別する。たとえば、送信元UDPポートセクション718を用いて、(たとえば選択されたエコー応答モードに従って)エコー応答用の宛先ポート番号を識別することができる。
【0047】
宛先UDPポートセクション720は、エコー要求/応答アプリケーションに割り当てられた宛先ノード上のポート番号を識別する。たとえば、宛先UPDポート720は、VXLANエコー要求用にインターネットアドレス管理機構(IANA:Internet Assigned Numbers Authority)により割り当てられた値とすることができる。
【0048】
ルータアラートオプション722は、さらなる処理が必要であることを宛先ノードに示すように設定することができる。たとえば、ルータアラートオプション722は、ヘッダ710の予約部分に割り当てられた所定のビットとすることができる。
【0049】
IPv4UDPに従って、ペイロード760は、バージョン番号セクション762、グローバルフラグセクション764、メッセージタイプセクション766、応答モードセクション768、返信コードセクション770、返信サブコードセクション772、送信機ハンドルセクション774、シーケンス番号セクション776、秒単位送信タイムスタンプセクション(time stamp sent in seconds section)778、マイクロ秒単位送信タイムスタンプセクション780、秒単位受信タイムスタンプセクション(time stamp received in seconds section)782、マイクロ秒単位受信タイムスタンプセクション784、および時間長さ値(TLV:time,length and value)セクション786を含む複数のセクションを備える。
【0050】
一実施形態では、メッセージタイプセクション766がエコー要求を表す値に設定されている場合、応答モードセクション768は、(1)非応答(do not reply)、(2)IPv4UDPパケット使用応答(reply via an IPv4 UDP packet)、を含む様々な選択値に設定することができる。
【0051】
非応答の値は、一方向接続性テストに用いることができる。たとえば、非応答モードでは、終端トンネルエンドポイントデバイス330は、エコー応答を発信トンネルエンドポイントデバイス320(すなわち、エコー要求の送信機)に送信することはない。しかしながら、終端トンネルエンドポイントデバイス330は、複数のエコー要求のシーケンス番号776の間隔を記録するか、遅延/ジッタ統計値を保持するか、または、選択されたVXLANセグメントに関する他のメトリクスを追跡することができる。
【0052】
IPv4UDPパケット使用応答の値は、終端トンネルエンドポイントデバイス330からのエコー応答の要求を示す。エコー応答が成功するためには、全ての中間ノードが、エコー応答を転送可能となるのに必要な情報を備えている必要があることに留意されたい。したがって、(後述の)エコー応答は、受信されたエコー要求と同じIPバージョンを使用し、たとえばIPv4カプセル化エコー応答が、IPv4カプセル化エコー要求に応答して送信される。さらに、通常のIP復路(return path)が信頼できないと見なされる場合、ルータアラート値を有するIPv4UDPパケット使用応答を選択して、エコー応答を要求することができる。
【0053】
送信機ハンドルセクション774は、エコー要求の送信機(たとえば、発信トンネルエンドポイントデバイス320)により値が割り当てられ、(もしあれば)エコー応答内で受信機により無変更のまま返信される。一般に、送信機ハンドルセクション774には何の意味(semantics)も関連付けられていないが、送信機はこのフィールドを用いて以前に送信したエコー要求を受信したエコー応答と一致させることができる。
【0054】
シーケンス番号セクション776もまた、エコー要求の送信機により値(すなわちシーケンス番号)が割り当てられる。たとえば、複数のエコー要求のシーケンス番号を用いて、見落とされたエコー応答または受信されていないエコー応答を検出することができる。
【0055】
秒単位送信タイプスタンプセクション778およびマイクロ秒単位送信タイムスタンプセクション780は、送信機のクロックに従うエコー要求送信時のネットワークタイムプロトコル(NTP:Network Time Protocol)フォーマットの時刻(time of day)を示す。秒単位受信タイプスタンプセクション782およびマイクロ秒単位受信タイムスタンプセクション784は、エコー応答内で、受信機のクロックに従う対応するエコー要求受信時のNTPフォーマットの時刻を示す。
【0056】
TLVセクション786において、長さセクション788は、値セクション790の長さをオクテット単位で示し、値セクション790は型セクション792に依存する。たとえば、値セクション790をゼロ詰めして、4オクテット境界に調整することができる。たとえば、エコー要求内のTLVセクションに対する値は、図示されたように、型=1(VXLANエコー)、長さ=5、値=VXLAN VNIとすることができる。
【0057】
一実施形態では、TLVセクションを他のTLVセクション内に入れ子にすることができ、その場合、入れ子にされたTLVセクションはサブTLVセクションを備える。サブTLVセクションは、型フィールド792内に、対応するTLVセクションに関して独立した値を有することができ、同様に4オクテット調整することもできる。
【0058】
上記のように、エコー要求を用いて、選択されたVXLANセグメントをテストすることができ、選択されたVXLANセグメントはVXLANネットワーク識別子(VNI)により識別することができる。したがって、サブTLVセクションは、選択されたセグメントを一意に識別する情報を含むのに用いることができる。エコー要求が受信された場合、受信ノードは、選択されたVXLANセグメントの制御プレーンおよびデータプレーンが正常に動作しており同期していることを検証することができる。
【0059】
図8に、一実施形態によるエコー要求をカプセル化したVXLANデータパケットを示す。VXLANエコー要求に関して、エコーデータパケット700は、VXLANパケット800内にカプセル化される。VXLANパケット800は、上述のVXLANパケット500に類似しているが、ヘッダ802は、VXLANエコー要求用に修正されている。したがって、VXLANパケット800のヘッダ802は、所定のビット518と同様にヘッダ802の予約部分に配置可能なルータアラートビット804を含む。ルータアラートビット804は、VXLANパケットがさらなる処理のためのルータ要求を含むことを受信ノードにアラートするように設定される。加えて、ヘッダ802は、VXLANネットワーク識別子セクション806を含む。一実施形態では、VXLANネットワーク識別子セクション806は、エコー要求ペイロード760の値セクション790と同一のVNI値を含む。
【0060】
図9に、一実施形態によるVXLANエコー要求を生成する方法のフローチャートを示す。上記のように、発信アプリケーション362は、エコー要求を備えるデータパケットを生成するように構成されたエコーアプリケーションとすることができる。したがって、発信アプリケーション362は、902において、データパス故障の兆候(indication)に応答して、エコー要求用のUDP/IPヘッダ、たとえばUDP/IPヘッダ710を生成することができる。たとえば、発信アプリケーション362は、送信元IPアドレス712を発信トンネルエンドノードデバイス320などの送信機のルーティング可能アドレスに設定し、宛先IPアドレス714を範囲127/8からランダムに選択されたIPv4アドレスまたは範囲0:0:0:0:0:FFFF:127/104からランダムに選択されたIPv6アドレスに設定し、IP TTL716を255に設定することができる。発信アプリケーション362はまた、送信元UDPポート718を選択し、宛先UDPポート720を、VXLANエコー要求用にインターネットアドレス管理機構(IANA)により割り当てられた値などの割当値に設定することができる。ルータアラートオプション722は、さらなる処理が必要であることを宛先ノードに示すように設定される。
【0061】
904において、発信アプリケーション362は、エコー要求ペイロード、たとえばエコー要求ペイロード760を生成する。図7に示されるように、エコー要求ペイロード760は、テストされる選択されたVXLANセグメントに対応するVNIを含む。加えて、ペイロード760は、送信機により選択された送信機ハンドル774およびシーケンス番号776を含む。たとえば、後続のエコー要求を送信する場合に、発信トンネルエンドノードデバイス320は、後続のエコー要求ごとにシーケンス番号をインクリメントすることができる。あるいは、発信トンネルエンドノードデバイス320は、特定のシーケンス番号を有する少なくとも1つのパケットの到着の可能性を改善するために、同一のシーケンス番号を有する複数のエコー要求を送信することを選択してもよい。
【0062】
秒単位送信タイムスタンプセクション778およびマイクロ秒単位送信タイムスタンプセクション780は、発信トンネルエンドノードデバイス320によりエコー要求が送信される時刻(それぞれ、秒単位およびマイクロ秒単位)に設定される。秒単位受信タイムスタンプセクション782およびマイクロ秒単位受信タイムスタンプセクション784は、ゼロに設定される。返信コードセクション770および返信サブコードセクション772も、ゼロに設定される。
【0063】
一実施形態では、発信アプリケーション362は、エコー要求に対する所望の応答モードを選択する。上述のように、応答モードセクション768は、エコー要求を受信した時に様々な機能を実施するよう受信ノードに指示するように設定することができる。たとえば、応答モードセクション768は、(1)非応答、および(2)IPv4UDPパケット使用応答、を含む応答指示値(reply indicator value)を含むことができる。
【0064】
906において、発信アプリケーション362は、エコー要求をカプセル化モジュール382に送信してVXLANパケット、たとえばVXLANパケット800内にカプセル化し、所定の情報をVXLANパケットに挿入するようにカプセル化モジュール382に指示する。これに応答して、908においてカプセル化モジュール382は、VXLANパケット800のヘッダ802内のルータアラートビット804を設定する。
【0065】
910において、VXLANエコー要求をカプセル化したVXLANパケットは、選択されたVXLANセグメントを介して送信される。たとえば、発信トンネルエンドポイントデバイス320は、VXLANパケットを(選択されたVXLANセグメントとして機能する)リンク393を介して終端トンネルエンドポイントデバイス330に送信する。
【0066】
図10に、一実施形態によるVXLANエコー要求を受信する方法のフローチャートを示す。1002において、エコー要求は受信ノード、たとえば終端トンネルエンドポイントデバイス330において識別される。終端トンネルエンドポイントデバイス330がエコー要求を含むVXLANパケット800を受信した場合、デカプセル化モジュール386は、図6で上述したように、あるいは1つまたは複数のパケット処理例外に基づいて、エコー要求ペイロードを識別することができる。たとえば、パケット処理例外は、(たとえばルータアラートビット804を介した)ルータアラート、127/8アドレス範囲内の宛先アドレス、またはエコー要求パケットを通常のトラフィックパケットと区別可能な他の異例(anomalies)を含むことができる。さらに、エコー要求は、VXLANエコー要求用にIANAにより割り当てられた値に設定されたUDP宛先ポート720により識別することができる。
【0067】
識別した時に、デカプセル化モジュール386は、1004において終端アプリケーション365に従ってVXLANパケットからエコー要求をデカプセル化する。1006において終端アプリケーション365は、エコー要求が整形式(well−formed)であるかを決定することによって、エコー要求の完全性を検証する。エコー要求が整形式でない(たとえば破損している)場合、終端アプリケーション365は1008においてエコー応答を生成する。たとえば、VXLANエコー応答の返信コードセクション770を「不正形式エコー要求受信(malformed echo request received)」に設定することができ、返信サブコードセクション772をゼロに設定することができる。そのような場合、ヘッダセクション、送信機ハンドルセクション、シーケンス番号セクション、および送信タイムスタンプセクションは、エコー応答に含まれ得るが、検査されないことがある。
【0068】
パケットが整形式である場合、終端アプリケーション365は、1010においてエコー要求がVNIエントリを含むか決定することによってエコー要求を検証する。エコー要求内にVNIに関するエントリが存在しない場合、終端アプリケーション365は1012において、一時的または永久的なVNI同期問題が存在すると決定し、エラーを報告するためのエコー応答を生成する。エコー要求がVNIエントリを含む場合、終端アプリケーション365は1014においてVNIマッピングを検証する。VNIマッピングは、VXLANセグメントで受信されたトラフィックがさらに処理される方法を記述し、トラフィックが関連付けられているアプリケーションを識別することができる。VNIマッピングが存在しない場合、終端アプリケーション365は、応答ノードがVNIに対するマッピングを有していないことを示すように返信コードセクション770を設定する。VNIマッピングが存在する場合、終端アプリケーション365は、最良返信コード(best−return−code)を示す返信コードセクション770と最良返信サブコード(best−return−subcode)を示す返信サブコードセクション772とを有するエコー応答を生成する。終端アプリケーション365は、1016においてVNIマッピングに基づいてエコー応答を生成する。
【0069】
図11に、一実施形態によるエコー応答データパケットを生成する方法のフローチャートを示す。エコー応答は、たとえば終端アプリケーション365によりVXLANエコー要求に応答して生成されるUDP/IPパケットとすることができる。たとえばエコー要求は、たとえばIPv4UDPパケットを使用して応答するように受信ノードに指示することができる。
【0070】
したがって終端アプリケーション365は、1102においてエコー応答用のIPヘッダを生成する。たとえば終端アプリケーション365は、送信元IPアドレスを応答ノード(たとえば終端トンネルエンドポイントノード330)のルーティング可能アドレスに設定することができ、送信元ポートはVXLANエコー用の所定のUDPポートに設定することができる。宛先IPアドレスおよびUDPポートは、エコー要求の送信元IPアドレスおよびUDPポートからコピーすることができる。IP TTLは255に設定することができる。エコー要求内の応答モードセクション768が応答するように設定されている場合、終端アプリケーション365は、モジュール386(ここではカプセル化用に構成されている)にUDP/IPヘッダルータアラートオプション722を設定するように指示することができる。
【0071】
終端アプリケーション365は、1104において図7に記載のエコー要求と同様にエコー応答ペイロードを生成することができる。たとえば、終端アプリケーション365は、エコー要求から、送信機ハンドル774、シーケンス番号776、ならびに送信タイムスタンプ778および780に対する値をコピーすることができる。受信タイムスタンプ値782および784は、エコー要求が受信された時刻に設定することができる。終端アプリケーション365はまた、図9において上記で決定されたように、返信コード770および返信サブコード772の値を設定する。1106において、エコー応答は送信される。あるいは、エコー応答を、上述のエコー要求のように、VXLANパケット内にカプセル化して送信することができる。
【0072】
図12に、一実施形態によるエコー応答を受信する方法のフローチャートを示す。受信ノード(たとえば発信トンネルエンドポイントデバイス320)は、以前に送信したエコー要求に応答したエコー応答のみを受信するはずである。したがって、1202においてカプセル化モジュール382または発信アプリケーション362において整形式のエコー応答を受信した場合、発信アプリケーション362は、1204においてエコー応答の宛先UDPポート720および送信機ハンドル774の値に基づいてエコー応答が以前に送信したエコー要求に一致する(対応する)かを決定する。一致が見つからない場合、1206においてエコー応答は削除される。そうでない場合、発信アプリケーション362は、1208において、特定のシーケンス番号が以前に送信したエコー要求の対応するシーケンス番号と一致すると決定する。
【0073】
様々な実施形態において、図4図6図9図10図11および/または図12に記載の方法ステップを含む本明細書に記載の方法ステップは、記載または図示された特定の順序と異なる順序で実施可能である。他の実施形態では、他のステップが与えられてもよいし、または、記載の方法からステップを除去してもよい。
【0074】
本明細書に記載のシステム、装置および方法は、デジタル回路を用いるか、または、よく知られているコンピュータプロセッサ、メモリユニット、記憶デバイス、コンピュータソフトウェア、および他のコンポーネントを用いた1つまたは複数のコンピュータを用いて実装可能である。通常は、コンピュータは、命令を実行するためのプロセッサと、命令およびデータを記憶するための1つまたは複数のメモリとを含む。また、コンピュータは、1つまたは複数の大容量記憶デバイス、たとえば1つまたは複数の磁気ディスク、内蔵ハードディスクおよびリムーバブルディスク、光磁気ディスク、光ディスクなどを含むか、またはこれらに接続することができる。
【0075】
本明細書に記載のシステム、装置および方法は、クライアント−サーバ関係で動作するコンピュータを用いて実装可能である。通常、そのようなシステムでは、クライアントコンピュータはサーバコンピュータから離れて配置されており、ネットワークを介して相互作用する。クライアント−サーバ関係は、クライアントコンピュータおよびサーバコンピュータ上でそれぞれ動作するコンピュータプログラムにより定義し制御することができる。
【0076】
本明細書に記載のシステム、装置および方法は、ネットワークベースのクラウドコンピューティングシステム内で使用可能である。そのようなネットワークベースのクラウドコンピューティングシステムでは、ネットワークに接続されたサーバまたは他のプロセッサは、1つまたは複数のクライアントコンピュータとネットワークを介して通信する。クライアントコンピュータは、たとえば、クライアントコンピュータ上に常駐し動作するネットワークブラウザアプリケーションを介してサーバと通信することができる。クライアントコンピュータは、サーバ上にデータを格納し、データにネットワークを介してアクセスすることができる。クライアントコンピュータは、データの要求またはオンラインサービスの要求を、サーバにネットワークを介して送信することができる。サーバは、要求されたサービスを実施し、データをクライアントコンピュータに提供することができる。サーバはまた、クライアントコンピュータに指定機能を実施させる、たとえば計算を行わせる、画面へ指定データを表示させるように構成されたデータを送信することができる。たとえば、サーバは、図4図6図9図10図11および/または図12のステップのうちの1つまたは複数を含む本明細書に記載の方法ステップのうちの1つまたは複数をクライアントコンピュータに実施させるように構成された要求を送信することができる。図4図6図9図10図11および/または図12のステップのうちの1つまたは複数を含む本明細書に記載の方法の特定のステップは、ネットワークベースのクラウドコンピューティングシステム内のサーバまたは他のプロセッサにより実施可能である。図4図6図9図10図11および/または図12のステップのうちの1つまたは複数を含む本明細書に記載の方法の特定のステップは、ネットワークベースのクラウドコンピューティングシステム内のクライアントコンピュータにより実施可能である。図4図6図9図10図11および/または図12のステップのうちの1つまたは複数を含む本明細書に記載の方法のステップは、ネットワークベースのクラウドコンピューティングシステム内のサーバおよび/またはクライアントコンピュータにより、任意の組み合わせで実施可能である。
【0077】
本明細書に記載のシステム、装置および方法は、プログラム可能プロセッサによる実行のために、たとえば一時的でない機械可読記憶デバイスなどの情報担体に有形に具体化されたコンピュータプログラム製品を用いて実装可能であり、図4図6図9図10図11および/または図12のステップのうちの1つまたは複数を含む本明細書に記載の方法ステップは、そのようなプロセッサにより実行可能な1つまたは複数のコンピュータプログラムを用いて実装可能である。コンピュータプログラムは、特定の活動を行うかまたは特定の結果をもたらすためにコンピュータにおいて直接または間接的に使用可能なコンピュータプログラム命令のセットである。コンピュータプログラムは、コンパイラ型言語またはインタープリタ型言語を含む任意の形式のプログラミング言語で記述することができ、任意の形態で、たとえばスタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に適した他のユニットとして、展開することができる。
【0078】
本明細書に記載のシステム、装置および方法を実装するのに使用可能な一例示的コンピュータの上位レベルブロック図を図13に示す。コンピュータ1300は、データ記憶デバイス1320およびメモリ1330に動作可能に接続されたプロセッサ1310を備える。プロセッサ1310は、コンピュータ1300の全体の動作を、そのような動作を定義するコンピュータプログラム命令を実行することによって制御する。コンピュータプログラム命令は、データ記憶デバイス1320または他のコンピュータ可読媒体に記憶することができ、コンピュータプログラム命令の実行が望まれる場合にメモリ1330にロードすることができる。したがって、図4図6図9図10図11および/または図12の方法ステップは、メモリ1330および/またはデータ記憶デバイス1320に記憶されたコンピュータプログラム命令により定義することができ、コンピュータプログラム命令を実行するプロセッサ1310により制御することができる。たとえば、コンピュータプログラム命令は、図4図6図9図10図11および/または図12の方法ステップにより定義されたアルゴリズムを実施するように当業者によりプログラムされたコンピュータ実行可能コードとして実装可能である。したがって、コンピュータプログラム命令を実行することによって、プロセッサ1310は、図4図6図9図10図11および/または図12の方法ステップにより定義されたアルゴリズムを実行する。コンピュータ1300は、他のデバイスとネットワークを介して通信するための1つまたは複数のネットワークインターフェース1340をさらに含む。コンピュータ1300は、コンピュータ1300とのユーザインタラクションを可能にする1つまたは複数の入力/出力デバイス1350(たとえばディスプレイ、キーボード、マウス、スピーカー、ボタンなど)をさらに含む。
【0079】
プロセッサ1310は、汎用および専用マイクロプロセッサの両方を含むことができ、コンピュータ1300の唯一のプロセッサまたは複数のプロセッサのうちの1つとすることができる。プロセッサ1310は、たとえば1つまたは複数の中央処理装置(CPU)を備えることができる。プロセッサ1310、データ記憶デバイス1320および/またはメモリ1330は、1つまたは複数の特定用途向け集積回路(ASIC)および/または1つまたは複数のフィールドプログラマブルゲートアレイ(FPGA)を含むか、これらにより補完されるか、またはこれらに組み込まれてもよい。
【0080】
データ記憶デバイス1320およびメモリ1330は各々、有形で一時的でないコンピュータ可読記憶媒体を備える。データ記憶デバイス1320およびメモリ1330は各々、高速ランダムアクセスメモリ、たとえばダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、ダブルデータレート同期式ダイナミックランダムアクセスメモリ(DDR RAM)、または他のランダムアクセスソリッドステートメモリデバイスを含むことができ、また、不揮発性メモリ、たとえば1つまたは複数の磁気ディスク記憶デバイスたとえば内部ハードディスクおよびリムーバブルディスク、光磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、半導体メモリデバイス、たとえば消去可能プログラム可能読み出し専用メモリ(EPROM)、電気的消去可能プログラム可能読み出し専用メモリ(EEPROM)、コンパクトディスク読み出し専用メモリ(CD−ROM)、デジタル多用途ディスク読み出し専用メモリ(DVD−ROM)ディスク、または他の不揮発性ソリッドステート記憶デバイスを含むことができる。
【0081】
入力/出力デバイス1350は、周辺機器、たとえばプリンタ、スキャナ、表示画面などを含むことができる。たとえば、入力/出力デバイス1350は、情報をユーザに対して表示するためのブラウン管(CRT)または液晶ディスプレイ(LCD)モニタなどの表示デバイスと、キーボードと、ユーザがコンピュータ1300に入力を提供可能なマウスまたはトラックボールなどのポインティングデバイスとを含むことができる。
【0082】
ネットワークエレメント135、送信元デバイス310、発信トンネルエンドポイントデバイス320、終端トンネルエンドポイントデバイス330、および宛先デバイス340を含む本明細書で論じられたシステムおよび装置、ならびに、カプセル化モジュール382、発信アプリケーション362、デカプセル化モジュール386、および終端アプリケーション365を含むそれらのコンポーネントのうちのいずれかまたは全ては、コンピュータ1300などのコンピュータを用いて実装可能である。
【0083】
実際のコンピュータまたはコンピュータシステムの実装が、他の構造を有することができ、他のコンポーネントを含むこともでき、図13が、例示目的のためのそのようなコンピュータのコンポーネントのうちのいくつかのコンポーネントの上位レベル表現であることを当業者は認識するであろう。
【0084】
前述の詳細な説明は、あらゆる点で説明的および例示的であるが限定的でないものと理解されるべきであり、本明細書で開示された本発明の範囲は、発明を実施するための形態からではなく、特許法により許可された全範囲に従って解釈される特許請求の範囲から決定されるべきである。本明細書に図示および記載された実施形態が、本発明の原理を例示するものにすぎず、様々な修正例が本発明の範囲および趣旨から逸脱することなく当業者により実装可能であることを理解されたい。当業者は、様々な他の特徴の組み合わせを、本発明の範囲および趣旨から逸脱することなく実装できるであろう。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13