(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-27
(45)【発行日】2022-07-05
(54)【発明の名称】インターネットにおけるトラフィック障害検出
(51)【国際特許分類】
H04L 43/06 20220101AFI20220628BHJP
H04L 43/10 20220101ALI20220628BHJP
【FI】
H04L43/06
H04L43/10
(21)【出願番号】P 2020541343
(86)(22)【出願日】2018-09-25
(86)【国際出願番号】 US2018052660
(87)【国際公開番号】W WO2019070457
(87)【国際公開日】2019-04-11
【審査請求日】2020-06-02
(32)【優先日】2018-06-20
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2017-10-06
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520118614
【氏名又は名称】サウザンドアイズ・インコーポレーテッド
【氏名又は名称原語表記】ThousandEyes, Inc.
【住所又は居所原語表記】201 Mission Street, Suite 1700, San Francisco,CA 94105 U.S.A.
(74)【代理人】
【識別番号】110000028
【氏名又は名称】弁理士法人明成国際特許事務所
(72)【発明者】
【氏名】オリベイラ・リカルド・ブイ.
(72)【発明者】
【氏名】フォンタニニ・マティアス
【審査官】羽岡 さやか
(56)【参考文献】
【文献】米国特許出願公開第2013/0311832(US,A1)
【文献】特開2007-300249(JP,A)
【文献】明石 修 Osamu Akashi,IM-VIS: 情報統合機能を用いたネットワーク状態可視化システムの提案 IM-VIS: Inter-domain network-status visualization system based on information integration,情報処理学会研究報告 Vol.2009 No.6 IPSJ SIG Technical Reports,日本,社団法人情報処理学会 Information Processing Society of Japan,2009年01月21日,第2009巻,P.75-82
(58)【調査した分野】(Int.Cl.,DB名)
H04L 12/00-69/40
(57)【特許請求の範囲】
【請求項1】
システムであって、
プロセッサであって、
複数のエージェントを配備し、前記配備されたエージェントによって実行される複数のテストを配備し、
1以上の終了イベントを特定するために、前記複数のエージェントから前記複数のテストが実行されることで生成されるパストレースデータを収集し、
前記1以上の終了イベントに基づいて、動的障害インターフェース閾値によって設定された条件を満たすネットワーク障害を検出するよう構成された、プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されたメモリと、を備え、
前記動的障害インターフェース閾値は、特定の地理的位置内における
IPアドレスとしてのインターフェースの数に基づいて算出され、
前記複数のテストは、所定の宛先の最終サーバをターゲットとするように設定されており、
前記終了イベントは、実行された前記複数のテストのうちで、前記所定の宛先に到達しないテストのイベントであ
り、特定の前記インターフェースで終了するパストレースを有するイベントである、システム。
【請求項2】
請求項1に記載のシステムであって、前記複数のエージェントの各々は、エージェントコントローラによって制御される、システム。
【請求項3】
請求項1に記載のシステムであって、前記ネットワーク障害のグラフィカルな可視化が、Web層によって生成される、システム。
【請求項4】
請求項1に記載のシステムであって、前記エージェントによって実行されうる前記複数のテストの各々は、構成可能である、システム。
【請求項5】
請求項1に記載のシステムであって、前記プロセッサは、さらに、
前記複数のテストについて前記複数のエージェントの各々からテスト結果を収集するよう構成されている、システム。
【請求項6】
請求項1に記載のシステムであって、前記プロセッサは、さらに、
前記複数のテストについて前記複数のエージェントの各々から収集した前記パストレースデータをフィルタリングするよう構成されている、システム。
【請求項7】
請求項1に記載のシステムであって、前記プロセッサは、さらに、
複数のフィルタリング動作を用いて、前記パストレースデータをフィルタリングするよう構成されている、システム。
【請求項8】
請求項1に記載のシステムであって、前記プロセッサは、さらに、
障害イベントをマージするよう構成されている、システム。
【請求項9】
請求項1に記載のシステムであって、前記プロセッサは、さらに、
前記障害検出のグラフィカルな可視化を生成するよう構成されている、システム。
【請求項10】
請求項1に記載のシステムであって、前記プロセッサは、さらに、
前記障害検出のグラフィカルな可視化を生成し、
前記障害検出の前記グラフィカルな可視化を出力するよう構成されている、システム。
【請求項11】
方法であって、
複数のエージェントを配備し、前記配備されたエージェントによって実行される複数のテストを配備する工程と、
1以上の終了イベントを特定するために、前記複数のエージェントから前記複数のテストが実行されることで生成されるパストレースデータを収集する工程と、
前記1以上の終了イベントに基づいて、動的障害インターフェース閾値によって設定された条件を満たすネットワーク障害を検出する工程と、
を備え、
前記動的障害インターフェース閾値は、特定の地理的位置内における
IPアドレスとしてのインターフェースの数に基づいて算出され、
前記複数のテストは、所定の宛先の最終サーバをターゲットとするように設定されており、
前記終了イベントは、実行された前記複数のテストのうちで、前記所定の宛先に到達しないテストのイベントであ
り、特定の前記インターフェースで終了するパストレースを有するイベントである、方法。
【請求項12】
請求項11に記載の方法であって、前記複数のエージェントは、エージェントコントローラによって制御される、方法。
【請求項13】
請求項11に記載の方法であって、グラフィカルな可視化が、Web層によって生成される、方法。
【請求項14】
請求項11に記載の方法であって、前記エージェントによって実行されうる前記複数のテストの各々は、構成可能である、方法。
【請求項15】
請求項11に記載の方法であって、さらに、
前記複数のテストについて前記複数のエージェントの各々から収集した前記パストレースデータをフィルタリングする工程を備える、方法。
【請求項16】
コンピュータが実行するコンピュータプログラムであって、
複数のエージェントを配備し、前記配備されたエージェントによって実行される複数のテストを配備するためのコンピュータ命令と、
1以上の終了イベントを特定するために、前記複数のエージェントから前記複数のテストが実行されることで生成されるパストレースデータを収集するためのコンピュータ命令と、
前記1以上の終了イベントに基づいて、動的障害インターフェース閾値によって設定された条件を満たすネットワーク障害を検出するためのコンピュータ命令と、をコンピュータに実現させ、
前記動的障害インターフェース閾値は、特定の地理的位置内における
IPアドレスとしてのインターフェースの数に基づいて算出され、
前記複数のテストは、所定の宛先の最終サーバをターゲットとするように設定されており、
前記終了イベントは、実行された前記複数のテストのうちで、前記所定の宛先に到達しないテストのイベントであ
り、特定の前記インターフェースで終了するパストレースを有するイベントである、コンピュータプログラム。
【請求項17】
請求項16に記載のコンピュータプログラムであって、前記複数のエージェントは、エージェントコントローラによって制御される、コンピュータプログラム。
【請求項18】
請求項16に記載のコンピュータプログラムであって、グラフィカルな可視化が、Web層によって生成される、コンピュータプログラム。
【請求項19】
請求項16に記載のコンピュータプログラムであって、さらに、
前記複数のテストについて前記複数のエージェントの各々から収集した前記パストレースデータをフィルタリングするためのコンピュータ命令を備える、コンピュータプログラム。
【請求項20】
システムであって、
プロセッサであって、
1以上の終了イベントを特定するために、複数のエージェントから複数のテストが実行されることで生成されるパストレースデータを収集し、
前記1以上の終了イベントに基づいて、動的障害インターフェース閾値によって設定された条件を満たすインターネットにおけるネットワーク障害を検出し、
インターネットにおける前記ネットワーク障害に基づいて、警告、報告、および/または、可視化を生成するよう構成された、プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されたメモリと、
を備え、
前記動的障害インターフェース閾値は、特定の地理的位置内における
IPアドレスとしてのインターフェースの数に基づいて算出され、
前記複数のテストは、所定の宛先の最終サーバをターゲットとするように設定されており、
前記終了イベントは、実行された前記複数のテストのうちで、前記所定の宛先に到達しないテストのイベントであ
り、特定の前記インターフェースで終了するパストレースを有するイベントである、システム。
【発明の詳細な説明】
【背景技術】
【0001】
(他の出願の相互参照)
本願は、2017年10月6日出願の米国仮特許出願第62/569,266号「TRAFFIC OUTAGE DETECTION IN THE INTERNET」の優先権を主張し、その出願は、すべての目的のために参照により本明細書に組み込まれる。
【0002】
ウェブサービスが、インターネットなどのネットワーク上で電子/コンピュータデバイス間の通信を提供するために利用されうる。ウェブサイトは、ウェブサービスのタイプの一例である。ウェブサイトは、典型的には、ウェブドメインから供給されうる1セットの関連ウェブページである。ウェブサイトは、ウェブサーバ上にホストされうる。パブリックにアクセス可能なウェブサイトは、一般に、インターネットなどのネットワークを介してアクセスされうる。パブリックにアクセス可能な一群のウェブサイトは、一般に、ワールドワイドウェブ(WWW)と呼ばれる。
【0003】
クラウドコンピューティングは、一般に、ネットワーク(例えば、典型的には、インターネット)上でサービスとして提供されるコンピューティングリソース(例えば、ハードウェアおよびソフトウェア)を利用することを指す。クラウドコンピューティングは、リモートサービスを利用して、ユーザのデータ、ソフトウェア、および、計算を提供することを含む。
【0004】
分散型アプリケーションは、一般に、クラウドコンピューティング技術を用いて提供されうる。例えば、分散型アプリケーションは、ユーザがネットワーク上でアプリケーションソフトウェアおよびデータベースへのアクセスを提供されるクラウドコンピューティングモデルを用いて提供されうる。クラウドプロバイダは、一般に、アプリケーションが実行されるインフラおよびプラットフォーム(例えば、サーバ/電化製品)を管理する。様々なタイプの分散型アプリケーションが、インターネットなどのネットワーク上で、クラウドサービスとして、または、サービスとしてのソフトウェア(SaaS)として提供されうる。
【図面の簡単な説明】
【0005】
以下の詳細な説明と添付の図面において、本発明の様々な実施形態を開示する。
【0006】
【
図1】いくつかの実施形態に従って、障害コンテキストを重ねたパス可視化を示す図。
【0007】
【
図2】いくつかの実施形態に従って、特定のZayo Bandwidthイベントについて障害の影響を受ける地理的位置を表示する世界地図可視化を示す図。
【0008】
【
図3A】いくつかの実施形態に従って、グループ化されていないインターフェース(IPアドレス)を表示する障害トポロジ可視化を示す図。
【0009】
【
図3B】いくつかの実施形態に従って、ネットワークおよび位置でグループ化されたインターフェースを表示する障害トポロジ可視化を示す図。
【0010】
【
図3C】いくつかの実施形態に従って、ドメインでグループ化されたターゲットを表示する障害トポロジ可視化を示す図。
【0011】
【
図4A】いくつかの実施形態に従って、障害がポート443をターゲットとするトラフィックに影響する利用例の可視化を示す図。
【0012】
【
図4B】いくつかの実施形態に従って、障害がポート443をターゲットとするトラフィックに影響する利用例の別の可視化を示す図。
【0013】
【
図4C】いくつかの実施形態に従って、障害がポート443をターゲットとするトラフィックに影響する利用例の別の可視化を示す図。
【0014】
【
図4D】いくつかの実施形態に従って、障害がポート443をターゲットとするトラフィックに影響する利用例の別の可視化を示す図。
【0015】
【
図5】いくつかの実施形態に従って、ホスティングプロバイダ障害の利用例の可視化を示す図。
【0016】
【
図6】いくつかの実施形態に従って、インターネットにおけるトラフィック障害検出を実行するためのプラットフォームアーキテクチャを示すシステム図。
【0017】
【
図7】いくつかの実施形態に従って、インターネットにおけるトラフィック障害検出を実行するための処理を示すフローチャート。
【発明を実施するための形態】
【0018】
本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および/または、プロセッサ(プロセッサに接続されたメモリに格納および/またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ)を含め、様々な形態で実装されうる。本明細書では、これらの実装または本発明が取りうる任意の他の形態を、技術と呼ぶ。一般に、開示された処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、ある時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、1または複数のデバイス、回路、および/または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。
【0019】
以下では、本発明の原理を示す図面を参照しつつ、本発明の1または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。
【0020】
分散型アプリケーションは、一般に、クラウドコンピューティング技術を用いて提供されうる。例えば、分散型アプリケーションは、ユーザがネットワーク上でアプリケーションソフトウェアおよびデータベースへのアクセスを提供されるクラウドコンピューティングモデルを用いて提供されうる。クラウドプロバイダは、一般に、アプリケーションが実行されるインフラおよびプラットフォーム(例えば、サーバ/電化製品)を管理する。様々なタイプの分散型アプリケーションが、インターネットなどのネットワーク上で、クラウドサービスとして、または、サービスとしてのソフトウェア(SaaS)として提供されうる。一例として、分散型アプリケーションは、インターネットを介してアクセスできるウェブサイトを介して利用可能なSaaSベースのウェブサービスとして実装されうる。別の例として、分散型アプリケーションは、クラウドプロバイダを用いてクラウドベースのサービスを提供することで実装されうる。
【0021】
ユーザは、通例、ウェブブラウザ、ライトウェイトデスクトップ、および/または、モバイルアプリケーション(例えば、モバイルアプリ)を通して、クラウドベース/ウェブベースのサービス(例えば、インターネットを介してアクセス可能な分散型アプリケーション)にアクセスするが、企業ソフトウェアおよびユーザのデータは、通例、リモート位置のサーバに格納される。例えば、クラウドベース/ウェブベースのサービスを利用すれば、企業は、管理の容易性を改善すると共にメンテナンスを低減しつつ、より迅速にアプリケーションを立ち上げて実行することが可能になり、企業ITは、変動的で予測不能なビジネス要求に合わせて、迅速にリソースを調整することが可能になりうる。したがって、クラウドベース/ウェブベースのサービスを利用すれば、企業が、ハードウェアおよびソフトウェアのメンテナンスおよびサポートをクラウドプロバイダにアウトソーシングすることによって、情報技術(IT)の運用コストを削減することが可能になりうる。
【0022】
しかしながら、クラウドベース/ウェブベースのサービス(例えば、ウェブサイトを介しておよび/または分散型アプリケーションのその他のクラウドベースの実装を用いてウェブサービスとして利用可能な分散型アプリケーションおよびSaaSベースソリューション)の重大な欠点は、パフォーマンスの問題のトラブルシューティングが、非常に困難であり時間がかかりうることである。例えば、パフォーマンスの問題が、クラウドベース/ウェブベースサービスプロバイダ、顧客自身の内部ITネットワーク(例えば、顧客の企業ITネットワーク)、ユーザのクライアントデバイス、および/または、ユーザのクライアントデバイス/内部ITネットワークと(例えば、インターネット内の)分散型アプリケーションおよび/またはウェブサイトのクラウドベース/ウェブベースサービスプロバイダとの間の中間ネットワークプロバイダ、に起因するのを判定することは、かかるネットワーキング関連のパフォーマンスの問題を検出し、かかるネットワーキング関連のパフォーマンスの問題の位置および/または根本原因を決定する際に、重大な技術的課題を提示しうる。
【0023】
求められているのは、例えば、様々なネットワーキング関連のパフォーマンスの問題の検出、ならびに、かかるネットワーキング関連のパフォーマンスの問題の位置および/または根本原因の決定を容易にするために、クラウドベース/ウェブベースのサービス(例えば、ウェブサイトを介しておよび/または分散型アプリケーションのその他のクラウドベースの実装を用いてウェブサービスとして利用可能な分散型アプリケーションおよびSaaSベースソリューション)のパフォーマンスを監視、可視化、および、トラブルシューティングする新規の改良技術である。
【0024】
インターネットにおけるトラフィック障害検出のための技術の概要
【0025】
インターネットにおけるトラフィック障害検出を実行するための様々な技術が開示されている。例えば、インターネットにおけるトラフィック障害検出のための開示技術は、エージェント(例えば、クラウドおよび/または企業配備されたエージェント)から収集されたパストレースデータに基づいて、異なるサービスプロバイダ(例えば、インターネットサービスプロバイダ(ISP))にわたってインターネット全体における障害を検出することを容易にする。データプレーンデータが、クラウドベース/ウェブベースのサービス(例えば、ウェブサイトを介しておよび/または分散型アプリケーションのその他のクラウドベースの実装を用いてウェブサービスとして利用可能な分散型アプリケーションおよびSaaSベースソリューション)のアプリケーションエンドポイントなど、アプリケーションエンドポイントへのパストレースを定期的に実行するエージェントから収集および/または受信されうる。障害に関するコンテキスト情報を用いて、アプリケーションのパフォーマンス低下を特定することができ、また、障害に関するコンテキスト情報を用いて、イベントの根本原因を具体的なプロバイダおよび地理的位置に特定することもできる。
【0026】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、(例えば、インターネットにわたる複数のISPに対して)アクティブネットワークテストを実行するエージェントからネットワークトラフィックデータを収集し;収集したネットワークトラフィックデータをフィルタリングし;インターネット上のネットワークトラフィック障害イベントを判定することを含む。例えば、アクティブネットワークテストは、後にさらに説明するパストレーステストを含みうる。一実施例において、(例えば、パストレーステストに基づいた)収集したネットワークトラフィックデータのフィルタリングは、以下(例えば、後にさらに説明する)の内の1以上を実行または利用することを含みうる:ソースおよびスタブネットワーク内のインターフェースの除外、自律システム番号(ASN)ブラックリスト、ブラックリストフィルタ、ホワイトリストフィルタ、ノイズフィルタ、地理ベース(ジオベース)のフィルタ、ならびに、ハイパーテキスト・トランスファ・プロトコル(HTTP)ポート80および443。
【0027】
様々な実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、さらに、障害検出イベントをメターデータで強化することと、強化された障害検出イベントの可視化、警告、および/または、障害検出イベントに関連するその他の報告のためのユーザインターフェース(例えば、グラフィカルユーザインターフェース(GUI))を生成することと、を含みうる。例えば、グラフィカルな可視化は、後に詳述するように、障害コンテキストを重ねたパス可視化、障害マップ(例えば、経時的/ホットスポット)、および/または、障害トポロジの可視化を含みうる。別の例として、様々なタイプの警告が、後に詳述するように、障害検出イベントに基づいて自動的に生成されうる。
【0028】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、複数のエージェントと、配備されたエージェントによって実行される複数のテストとを配備することと;1または複数の終了イベントを識別するために複数のエージェントからのパストレースデータを収集することと;1または複数の終了イベントに基づいてネットワーク障害を検出することと、を含む。例えば、ネットワークトラフィックテストの結果を、複数のインターネットサービスプロバイダ(ISP)について収集することで、後述の技術を用いてインターネットにおけるネットワーク障害を検出することができる。
【0029】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、さらに、複数のテストについて複数のエージェントの各々からテスト結果を収集することを含む。
【0030】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、さらに、複数のテストについて複数のエージェントの各々から収集されたパストレースデータをフィルタリングすることを含む。例えば、パストレースデータは、後に詳述するように、様々なフィルタリング動作を用いてフィルタリングされうる。
【0031】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、さらに、障害イベントをマージすることを含む。例えば、様々な検出された障害は、後に詳述するように、プラットフォームを用いてASNベースで終了イベントの集合に基づいてマージされうる。
【0032】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、さらに、障害検出のグラフィカルな可視化(例えば、経時的におよび/またはホットスポット上に障害を表示できる障害マップおよび/またはその他の可視化)を生成することと、障害検出のグラフィカルな可視化を出力することと、を含む。
【0033】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、さらに、障害検出の報告を生成することと、障害検出の報告を出力することと、を含む。
【0034】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、さらに、障害検出の警告を生成することを含む。
【0035】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、さらに、後に詳述するように、ソースおよびスタブネットワーク内のインターフェースを除外することを含む。
【0036】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、さらに、ノイズのあるインターフェースを除外することを含む。例えば、ノイズのあるインターフェースをフィルタリングするための様々な技術が開示されている。
【0037】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、さらに、ノイズのあるターゲットを除外することを含む。例えば、ノイズのあるターゲットをフィルタリングするための様々な技術が開示されている。
【0038】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、さらに、後に詳述するように、ASNブラックリストを適用することを含む。
【0039】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、さらに、後に詳述するように、ジオベースフィルタ(例えば、ジオフィルタ)を適用することを含む。
【0040】
いくつかの実施形態において、インターネットにおけるトラフィック障害検出のためのシステム、処理、および/または、コンピュータプログラム製品は、さらに、後に詳述するように、(例えば、HTTPポート80および/または443に対する)ポートベースフィルタを適用することを含む。
【0041】
後に詳述するように、インターネットにおけるトラフィック障害検出を実行のためのこれらおよび様々なその他の特徴および技術が開示されている。
【0042】
パストレースおよび終了パス
【0043】
一実施形態において、パストレースが、構成されたテストを有するエージェントから収集および/または受信される。エージェントは、ネットワーク監視サービスプロバイダによって管理されてもよいし(例えば、ThousandEyes社などのネットワーク監視サービスプロバイダによって管理されるクラウドエージェント)、企業顧客によってインストールおよび管理されてもよい(例えば、企業ネットワーク上の顧客内にインストールされた企業エージェント)。パストレースは、2016年9月27日に与えられた米国特許第9,455,890号「DEEP PATH ANALYSIS OF APPLICATION DELIVERY OVER A NETWORK」に記載されたものなど、ソースからターゲットアプリケーションまたは別のエージェントに至るまでパケットによってトラバースされた一連のルータを表しており、その特許はすべての目的のために参照によって本明細書に組み込まれる。パストレースは、ネットワーク監視サービスプロバイダおよび/または企業顧客によって構成されうるテストに基づいて生成される。例えば、顧客(ACME社)が、アプリケーションEXAMPLE-APP(例えば、ウェブサイトを介しておよび/または分散型アプリケーションのその他のクラウドベースの実装を用いてウェブサービスとして利用可能な任意のタイプの分散型アプリケーションおよびSaaSベースソリューション)を監視することを決定した場合、ACME社のネットワーク内の企業エージェントが、ソースから宛先(例えば、EXAMPLE-APPのアプリケーションエンドポイント)までのL3パスを定期的に発見するよう構成されうる。
【0044】
終了パスは、宛先でも最終サーバでもない特定のインターフェースで終わるパスである。終了パス内の最後のノード(例えば、後に詳述する終了ノードとも呼ばれる)は、特定のアプリケーションに対してパケットを転送したことが知られている最後の既知のインターフェースである。これは、典型的には、上流インターフェース(例えば、通常は、隣接する)がパケットロスの原因であることを意味する。後に詳述するように、終了パスは、インターネットにおける障害を検出するために識別および利用されうる。
【0045】
障害検出
【0046】
一実施形態において、すべてのエージェントから収集および/または受信されたパストレースが、開示システムを用いて定期的に処理され、終了パスを有するパストレースは、後に詳述するようにフィルタリングされる。終了パス内の最後のホップは、本明細書では終了ノードと呼ばれる。終了ノードは、パケットを転送したことが知られている最後のインターフェースである。
【0047】
例えば、開示システムは、300秒ビン(例えば、5分の時間窓または別の時間窓が利用されうる)で時間をスライスすることによって終了ノードの時系列を生成することができ、各ビンにおいて、システムは、終了ノード、ならびに、終了ノードに影響をされるテスト、エージェント、および、アプリケーションを追跡することができる。
【0048】
この例では、終了インターフェースイベントが、タプル(ASN,location_id,interface_ip)によって表される。ASNは、最長プレフィックスマッチングを用いてIPアドレスが対応するBGP自律システムである。位置ID(例えば、タプル内のlocation_id)は、典型的には都市または大都市に対応する地理的領域である。インターフェースIP(例えば、タプル内のinterface_ip)は、ネットワークインターフェースのIPアドレスである。
【0049】
フィルタリング動作
【0050】
ここで記載するように、ファイアウォール、NAT、負荷バランサ、および/または、様々なミドルボックスにより終了イベントが比較的頻繁でありうるネットワークの端で特に、インターフェース上のノイズをフィルタリングするためにシステムが利用できるいくつかのメカニズムがある。
【0051】
第1例のフィルタとして、ソースおよびスタブネットワーク内のインターフェースを除外できる。具体的には、エージェントと同じASN内のインターフェースを除外でき、スタブであるインターフェースASNも除外できる。例えば、Oliveira et al.(「Quantifying the Completeness of the Observed Internet AS-level Structure」、UCLAコンピュータサイエンス学部-技術報告TR-080026-2008、http://irl.cs.ucla.edu/~rveloso/papers/completeness_tr.pdf)に記載されたアルゴリズムは、スタブまたはサービスプロバイダにおけるASNを分類するために利用できる。主要なコンテンツ・デリバリ・ネットワーク(CDN)およびドメイン名システム(DSN)のプロバイダに属するASNのホワイトリストを利用することで、それらのASNを含む障害が、ANSがスタブでありうるとしてもフィルタリングされないようにすることができる。また、インターフェースがプライベートIPレンジを有するケースを除外できる。
【0052】
第2例のフィルタとして、ノイズのあるインターフェースを除外できる。具体的には、一部のインターフェースは、インターネット制御メッセージプロトコル(ICMP)時間超過を抑えるので、後に詳述するように、指数関数的なペナルティの減衰を伴うボーダ・ゲートウェイ・プロトコル(BGP)ルート・プラップ・ダンプニング(RFD)アルゴリズムと同様のペナルティシステムも、これらのインターフェースを除外するために実行できる。
【0053】
第3例のフィルタとして、ノイズのあるインターフェースを除外できる。具体的には、一部のエージェントは、特定のターゲットドメイン名に至る問題を絶えず有しうる。ノイズのあるインターフェースに用いられるのと同じペナルティが、それらのエージェント/ターゲットの組みあわせのためのパストレースを除外するために同様に適用されうる。
【0054】
第4例のフィルタとして、ASNブラックリストを適用できる。具体的には、障害を持ち続けるか、または、エージェントプローブ(例えば、Internap社)を抑え続けるASNのブラックリストが、識別されて適用されうる(例えば、かかるASNブラックリストは、主にスタブASNを含んでよい)。
【0055】
第5例のフィルタとして、ジオフィルタを適用できる。具体的には、ジオフィルタを用いて、正確にジオロケートできないインターフェースを除外できる。
【0056】
終了イベント(またはインターフェースイベント)
【0057】
一実施形態において、単一のテストおよびインターフェースXが上記の条件によってフィルタリングされるならば、テスト内の1または複数のエージェントがXで終了するトレースを有する場合、インターフェースXを含む終了イベントが、単一のテストの範囲で規定される。この例において、タプルは、(ASN、ジオ、インターフェース)である。
【0058】
障害イベント
【0059】
一実施形態において、障害イベントは、ASNベース(すなわち、(ASN)タプル)の終了イベントの集合である。例えば、障害は、位置(例えば、min=1)ならびにエージェント(例えば、min=2)およびテスト(例えば、min=2)に関するいくつかの閾値を超えるイベントとして規定されうる。
【0060】
例えば、障害に関与するインターフェースが、比較的長い期間にわたって頻繁にパケットを落としている場合、(例えば、閾値またはその他の設定可能なパラメータに基づいて)かかるインターフェースを(最終的に)抑制することができ、障害状態を解消できる。この例において、各300秒ビンは、障害トリガの目的で個別に評価されうる。
【0061】
インターフェースペナルティ
【0062】
例えば、開示システムは、インターフェースでどれだけの頻度でパスの終了が見られるのかを示す各インターフェースのペナルティ値を追跡できる:
【数1】
ここで、
H:half-life=ln(2/y)は、ペナルティがその値の半分まで減少するのにかかる時間である;
t0:ペナルティが更新された最後のラウンド;
p:増分ペナルティ。システムは、インターフェースでパスの終了が見られる度にこれを追加できる;
max_p:最大ペナルティ。これは、それ以降は値が大きくならないペナルティの最大値であり、ペナルティは、max_p(0~100%)によって正規化されうる;
reuse_p:この値より下では、インターフェースが抑制状態ではなくなるペナルティの値;
suppress_p:この値より上では、インターフェースが抑制されるペナルティの値。
【0063】
この実施例では、すべてのインターフェースのペナルティが、定期的にデータベースへ格納されるので、障害プロセスが再開する場合、ペナルティ状態が復元されうる。
【0064】
動的障害インターフェース閾値
【0065】
いくつかのASが特定の地理的位置においてより大きい存在感を有すると仮定すると、影響を受けるインターフェースの数が、イベントを障害であると見なすのに十分に多いか否かを判定することが望ましい。一実施例において、影響を受ける地理的位置内のASに属するインターフェースの総数の内の割合(最小値および最大値で境界された割合)を利用する動的閾値が実施される。各AS/位置に対して見られるインターフェースの数は、エージェントによって収集されたパストレースデータの一部に基づいて常に計算される。例えば、用いられる閾値は、ASN/位置あたりの最小被影響インターフェース、ASN/位置あたりの最大被影響インターフェース、および、ASN/位置あたりの被影響インターフェースの割合、で構成されうる。この実施例において、ASN/位置あたりの最小被影響インターフェースが3であり、ASN/位置あたりの最大被影響インターフェースが10である場合、ASN/位置あたりの被影響インターフェースの割合は、30%である。
【0066】
パス可視化への障害コンテキストの追加
【0067】
図1は、いくつかの実施形態に従って、障害コンテキストを重ねたパス可視化を示す。テストの各パス可視化ビューについて、可視化が参照する時刻に検出された障害があった場合、システムは、それに関する示唆を追加できる。
図1において、システムは、以下のものでパス可視化102を拡張するよう構成されている(例えば、様々な可視化およびスクリーンショットの例は、偽の/例示のIPアドレス、ドメイン名/URL、ネットワーク、および、エージェントテスト名で匿名化されている):(1)障害が発生したネットワーク(符号104)(例えば、名称およびASN);(2)影響を受けたアカウント内テスト(符号106);(3)障害の影響を受ける地理的位置の数/リスト(符号108);および、(4)障害の影響を受けるインターフェースの数/リスト(例えば、IPアドレスおよびリバースDNS名を伴う)(符号110)(例えば、この例のスクリーンショットでは、「影響を受けるテスト」がドリルダウンのために選択されており、図に示すように、テスト例:80および2つのインターフェースが障害の影響を受けていることが表示されている。「位置」(符号108)および「インターフェース」(符号110)を同様に選択することで、それぞれ、障害の影響を受ける地理的位置の数/リストおよび障害の影響を受けるインターフェースの数/リストについての詳細情報のためにドリルダウンすることができる)。
【0068】
複数のネットワークへの障害の一般化
【0069】
一部の例において、開示システムは、障害(特に、サービスプロバイダ側での障害をトリガするエッジネットワークでの障害)における実質的なノイズレベルを検出することができる。このノイズ問題に対処するために、一実施形態において、システムは、パストレース内の以下のネットワークに障害位置をシフトするためにさらなる前処理工程を実行するよう構成される。ほとんどの例において、これはエッジネットワークである。開示システムは、ネットワークA内のIP1/IP2がラウンドNでは終了インターフェースであるがラウンドN-1(前の時間間隔)ではネットワークB内のIP3に接続されている以下のようなファネルパターンを検出することができ、したがって、問題は、実際には、ネットワークAではなく、ネットワークB上にある可能性が非常に高い。
IP1(A)-IP3(B)
IP2(A)-IP3(B)
【0070】
したがって、システムは、以下に示すように、元々の障害オブジェクト(上記A)から受信ファネルインターフェースを除去し、新たな障害オブジェクト(上記B)に送信インターフェースを追加するよう構成されうる。
●Bにおける障害
○IP3
○IP1(ピアリング)
○IP2(ピアリング)
●Aにおける障害
○IP1(除去)
○IP2(除去)
【0071】
障害マップ
【0072】
図2は、いくつかの実施形態に従って、特定のZayo Bandwidthイベントについて障害の影響を受ける地理的位置を示す世界地図可視化を示す。一実施形態において、システムは、
図2に示す世界地図に障害の影響を受ける各地理的位置を、204、206、および、208で示す地理的位置ごとの終了イベントの数を付して表示できるユーザインターフェース202(例えば、グラフィカルユーザインターフェース(GUI))を生成する。この例のGUIには、ビン当たりの終了イベントの数を示し、影響を受けるインターフェース数が高いスパイクをユーザが見つけることを可能にするナビゲーションタイムライン210が提供されている。また、
図2に示すように、検出された障害ごとに1行を有する表212が提供されており、ここで、ユーザインターフェースは、影響を受けるインターフェース、テスト、および、位置も表示する。
【0073】
障害トポロジ
【0074】
図3Aは、いくつかの実施形態に従って、グループ化されていないインターフェース(IPアドレス)を示す障害トポロジ可視化を示す。一実施形態において、システムは、時間窓[N-2,N](Nは、障害が検出された最初のラウンド)における障害に関係するすべてのパストレースの集合として、
図3Aに示すような、障害トポロジを表示できるユーザインターフェース302(例えば、GUI)を生成する(例えば、ここでは、IPアドレスとして、例示/偽のIPアドレスが提供され、ドメイン名として、例示/偽のドメイン名が提供されており、その他のノードについても、それらに対応するIPアドレスを含むが、この可視化のために匿名化されている)。障害が検出される前の時間間隔を含めることにより、ユーザインターフェースは、障害周辺のコンテキストを提供できる。これは、障害が起きた場合に一般には障害時間を知ることができないことを考慮すると、終了パスにとって特に興味深い。
【0075】
図3Bは、いくつかの実施形態に従って、ネットワークおよび位置でグループ化されたインターフェースを表示する障害トポロジ可視化を示す。
図3Bに示すように、インターフェース310のトポロジでは、例えば、以下に従って、異なるタイプのインターフェースグループ化が可能である:ネットワークおよび位置(例えば、ポイント・オブ・プレゼンス(PoP));ネットワーク(例えば、ASN);位置;および、IPアドレス。右側の宛先は、例えば、以下に従ってグループ化されてもよい:ネットワーク(例えば、ASN);および、ドメイン(例えば、パブリックサフィックスリスト+1レベル)。
【0076】
例えば、ユーザインターフェースは、コンテキストとしてトポロジの各側に2つまでのIPホップを表示することができ、非ISPインターフェースを、ユーザのログインしているアカウント内でのテストにそれらが属する場合を除いて、隠すことができる。
【0077】
図3Cは、いくつかの実施形態に従って、ドメインでグループ化されたターゲットを表示する障害トポロジ可視化を示す。
図3Cに示すように、インターフェース320のトポロジは、ターゲットがドメインでグループ化された障害トポロジ可視化である。
【0078】
障害に関する警告
【0079】
一実施形態において、ユーザは、特定のテスト/宛先IP、インターフェース、位置、および、サービスプロバイダ;ならびに、影響を受けるテスト、インターフェース、および、位置の数、を含みうるいくつかの基準に従って、特定の障害に関して警告を受けることができる。ルーティング障害について、フィルタは、本明細書で記載するように、特定のテスト/プレフィックス、国、根本原因におけるサービスプロバイダ;ならびに、影響を受けるテストおよびプレフィックスの数、を含みうる。
【0080】
利用例1:障害がポート443をターゲットとするトラフィックに影響する
【0081】
図4Aは、いくつかの実施形態に従って、障害がポート443をターゲットとするトラフィックに影響する利用例の可視化を示す。このように、
図4Aは、RightNow-Example Test404として示されたテストを実行した結果である、障害がポート443をターゲットとするトラフィックに影響する利用例の可視化402を示しており、テストは、IPアドレス1.1.1.1として示されたポート443上のサーバをターゲットとするよう設定されたEx-Agent-1、Ex-Agent-2、Ex-Agent-3、Ex-Agent-4、および、Ex-Agent-5として示された複数のエージェントを利用している。この第1利用例において、トラフィックは、テストにおいて構成されたエージェントの1つ(Ex-Agent-1)から宛先に到達しておらず、その代わりに、
図4Aの406で示すように、ASN6327に属するノードで終了している。
【0082】
図4Bは、いくつかの実施形態に従って、障害がポート443をターゲットとするトラフィックに影響する利用例の別の可視化を示す。図に示すように、
図4Bは、障害がポート443をターゲットとするトラフィックに影響する利用例の別の可視化412を示す。具体的には、終了ノード上へマウス操作すると、414で示すような円グラフが表示され、これは、
図4Bで示すように、そのノードを利用したいくつのテストがノードの影響を受けたのかを示す。
【0083】
図4Cは、いくつかの実施形態に従って、障害がポート443をターゲットとするトラフィックに影響する利用例の別の可視化を示す。図に示すように、
図4Cは、障害がポート443をターゲットとするトラフィックに影響する利用例の別の可視化422を示す。具体的には、障害の詳細をチェックすると、この障害が、
図4Cに424で示す複数のネットワークに影響を与えたことがわかる。これは、他のネットワーク(例えば、この利用例ではASN2914および3257)に属する終了ノードが複数のテストで見つかったが、実際には、それらの両方が接続されたASN6327における問題によって障害が引き起こされたことを意味する。
【0084】
図4Dは、いくつかの実施形態に従って、障害がポート443をターゲットとするトラフィックに影響する利用例の別の可視化を示す。図に示すように、
図4Dは、障害がポート443をターゲットとするトラフィックに影響する利用例の別の可視化432を示す。具体的には、別のテストが、この同じ障害の影響を受けたが、
図4Dに434で示すように、その中の終了ノードはASN3257に属することがわかる。これらのテストはすべて、同じ障害の影響を受けたものとしてマークされ、その障害は、
図4Dに436で示したASN6327、3257、および、2914における問題に関係したものである。
【0085】
利用例2:ホスティングプロバイダ障害
【0086】
図5は、いくつかの実施形態に従って、ホスティングプロバイダ障害の利用例の可視化を示す。この第2利用例では、ホスティングプロバイダ(例えば、example.netのホスティングプロバイダ)が、いくつかのテストに影響を与えた障害を持っていた。前の利用例(例えば、上述の利用例1)と同様に、障害の影響を受けたすべてのインターフェースを見ることができ、すべての影響を受けたテストにジャンプして、
図5に図示する可視化502に示すようにテストへの影響を見ることができる。
【0087】
インターネットにおけるトラフィック障害検出を実行するためのプラットフォームのシステムアーキテクチャ
【0088】
インターネットにおけるトラフィック障害検出を実行するためのプラットフォームのシステムアーキテクチャの一例が、以下に記載するように
図6に示されている。
【0089】
図6は、いくつかの実施形態に従って、インターネットにおけるトラフィック障害検出を実行するためのプラットフォームアーキテクチャを示すシステム図である。例えば、
図6に記載の動作は、様々な実施形態に関して上述した技術を実行するよう構成されうる。
【0090】
特に、
図6は、インターネットにおけるトラフィック障害検出を実行するためのプラットフォーム600が、構成されたテストに基づいてデータを収集するエージェント616~620(例えば、本明細書で同様に記載したような、特定のテストを実行する、ラベルを有する、および/または、イベント/コンテキストでトリガされたおよび/またはスケジュールされたテストをオンデマンドで実行するよう構成可能なクラウドおよび/または企業エージェント)を備え、エージェント616~620が、このデータをコントローラ614(例えば、エージェントコントローラ)に送信する環境を示す。コントローラ614は、同様に上述したように、様々な可視化、警告、および/または、報告など、クライアント/エンドポイントデバイス606および608(例えば、コンピュータ、ラップトップ、スマートフォン、および/または、様々なその他のコンピュータデバイス)を用いてプラットフォーム600にアクセスするユーザへの可視化、警告、および/または、報告を生成するためにWeb層604によって利用可能なデータをストレージ層612(例えば、永久ストレージを提供する)に格納する。
【0091】
様々な実施形態において、プラットフォーム600は、拡張性および柔軟性のあるアーキテクチャであり、1または複数のサードパーティによって提供されたコンポーネントなど、いくつかの分散型コンポーネントを備えてもよい。さらに、プラットフォーム600が、データの格納またはデータの処理などのタスクを実行すると言う場合に、プラットフォーム600の1つのサブコンポーネントまたは複数のサブコンポーネントが(個々に、または、サードパーティコンポーネントと協働して)、そのタスクを実行するよう協働してもよいことを理解されたい。
【0092】
開示技術を用いてインターネットにおけるトラフィック障害検出を実行するための処理の例を、以下に記載する。
【0093】
インターネットにおけるトラフィック障害検出を実行するための処理
【0094】
図7は、いくつかの実施形態に従って、インターネットにおけるトラフィック障害検出を実行するための処理を示すフローチャートである。いくつかの実施形態において、処理700は、
図6に示したプラットフォーム600および様々な実施形態に関して上述した技術を用いて実行される。
【0095】
工程702で、複数のエージェントの配備と、配備されたエージェントによって実行されるテストの配備が実行される。例えば、複数のエージェントは、同様に上述したように、様々なアクティブネットワークテストを実行するよう構成可能なクラウドおよび/または企業エージェントであってよい。
【0096】
工程704で、複数のエージェントの各々からのパストレースデータの収集が実行される。例えば、複数のエンドポイントエージェントの各々からのパストレースデータテスト結果が、上述のプラットフォームを用いて収集されうる。
【0097】
工程706で、収集されたパストレースデータのフィルタリングが実行される。例えば、システムがインターフェース上のノイズをフィルタリングするために利用ができる様々なフィルタリング動作が、上述のプラットフォームを用いて実行されてよい。図に示すように、このフィルタリング工程の出力が、終了イベントを含む。
【0098】
工程708で、終了イベントに基づいて、障害の検出が実行される。例えば、動的な障害インターフェース閾値動作が、同様に上述したように、終了イベントに基づいて障害の検出を容易にするために上述のプラットフォームを用いて実行されてよい。図に示すように、この障害検出工程の出力が、障害イベントを含む。
【0099】
工程710で、障害イベントのマージが実行される。例えば、様々な検出された障害は、同様に上述したように、プラットフォームを用いてASNベースで終了イベントの集合に基づいてマージされてよい。図に示すように、このフィルタリング工程の出力が、障害集積イベントを含む。
【0100】
工程712で、マージされた障害イベントに基づいて、警告、報告、および/または、可視化の生成が実行される。例えば、マージおよび集積された障害イベントに基づいて、様々な警告、報告、および/または、可視化が、同様に上述したように、プラットフォームを用いて実行されてよい。
【0101】
上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。例えば、本開示は以下の形態として実現できる。
[形態1]
システムであって、
プロセッサであって、
複数のエージェントを配備し、前記配備されたエージェントによって実行される複数のテストを配備し、
1以上の終了イベントを特定するために、前記複数のエージェントからパストレースデータを収集し、
前記1以上の終了イベントに基づいて、ネットワーク障害を検出するよう構成された、プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されたメモリと、
を備える、システム。
[形態2]
形態1に記載のシステムであって、前記複数のエージェントの各々は、エージェントコントローラによって制御される、システム。
[形態3]
形態1に記載のシステムであって、前記ネットワーク障害のグラフィカルな可視化が、Web層によって生成される、システム。
[形態4]
形態1に記載のシステムであって、前記エージェントによって実行されうる前記複数のテストの各々は、構成可能である、システム。
[形態5]
形態1に記載のシステムであって、前記プロセッサは、さらに、
前記複数のテストについて前記複数のエージェントの各々からテスト結果を収集するよう構成されている、システム。
[形態6]
形態1に記載のシステムであって、前記プロセッサは、さらに、
前記複数のテストについて前記複数のエージェントの各々から収集した前記パストレースデータをフィルタリングするよう構成されている、システム。
[形態7]
形態1に記載のシステムであって、前記プロセッサは、さらに、
複数のフィルタリング動作を用いて、前記パストレースデータをフィルタリングするよう構成されている、システム。
[形態8]
形態1に記載のシステムであって、前記プロセッサは、さらに、
障害イベントをマージするよう構成されている、システム。
[形態9]
形態1に記載のシステムであって、前記プロセッサは、さらに、
前記障害検出のグラフィカルな可視化を生成するよう構成されている、システム。
[形態10]
形態1に記載のシステムであって、前記プロセッサは、さらに、
前記障害検出のグラフィカルな可視化を生成し、
前記障害検出の前記グラフィカルな可視化を出力するよう構成されている、システム。
[形態11]
方法であって、
複数のエージェントを配備し、前記配備されたエージェントによって実行される複数のテストを配備する工程と、
1以上の終了イベントを特定するために、前記複数のエージェントからパストレースデータを収集する工程と、
前記1以上の終了イベントに基づいて、ネットワーク障害を検出する工程と、
を備える、方法。
[形態12]
形態11に記載の方法であって、前記複数のエージェントは、エージェントコントローラによって制御される、方法。
[形態13]
形態11に記載の方法であって、グラフィカルな可視化が、Web層によって生成される、方法。
[形態14]
形態11に記載の方法であって、前記エージェントによって実行されうる前記複数のテストの各々は、構成可能である、方法。
[形態15]
形態11に記載の方法であって、さらに、
前記複数のテストについて前記複数のエージェントの各々から収集した前記パストレースデータをフィルタリングする工程を備える、方法。
[形態16]
コンピュータプログラム製品であって、有形のコンピュータ読み取り可能な記憶媒体内に具現化され、
複数のエージェントを配備し、前記配備されたエージェントによって実行される複数のテストを配備するためのコンピュータ命令と、
1以上の終了イベントを特定するために、前記複数のエージェントからパストレースデータを収集するためのコンピュータ命令と、
前記1以上の終了イベントに基づいて、ネットワーク障害を検出するためのコンピュータ命令と、
を備える、コンピュータプログラム製品。
[形態17]
形態16に記載のコンピュータプログラム製品であって、前記複数のエージェントは、エージェントコントローラによって制御される、コンピュータプログラム製品。
[形態18]
形態16に記載のコンピュータプログラム製品であって、グラフィカルな可視化が、Web層によって生成される、コンピュータプログラム製品。
[形態19]
形態16に記載のコンピュータプログラム製品であって、さらに、
前記複数のテストについて前記複数のエージェントの各々から収集した前記パストレースデータをフィルタリングするためのコンピュータ命令を備える、コンピュータプログラム製品。
[形態20]
システムであって、
プロセッサであって、
1以上の終了イベントを特定するために、複数のエージェントからパストレースデータを収集し、
前記1以上の終了イベントに基づいて、インターネットにおけるネットワーク障害を検出し、
インターネットにおける前記ネットワーク障害に基づいて、警告、報告、および/または、可視化を生成するよう構成された、プロセッサと、
前記プロセッサに接続され、前記プロセッサに命令を提供するよう構成されたメモリと、
を備える、システム。