特許 6193578 障害対応訓練システム及び障害対応訓練方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6193578

(24)【登録日】2017年8月18日

(45)【発行日】2017年9月6日

(54)【発明の名称】障害対応訓練システム及び障害対応訓練方法

(51)【国際特許分類】

   G09B 9/00 20060101AFI20170828BHJP

   G06Q 50/20 20120101ALI20170828BHJP

【ＦＩ】

   G09B9/00 Z

   G06Q50/20

【請求項の数】4

【全頁数】19

(21)【出願番号】特願2013-18705(P2013-18705)

(22)【出願日】2013年2月1日

(65)【公開番号】特開2014-149450(P2014-149450A)

(43)【公開日】2014年8月21日

【審査請求日】2016年1月22日

(73)【特許権者】

【識別番号】000211307

【氏名又は名称】中国電力株式会社

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】110000176

【氏名又は名称】一色国際特許業務法人

(72)【発明者】

【氏名】福岡 利治

(72)【発明者】

【氏名】吉田 潤

(72)【発明者】

【氏名】島津 典彦

(72)【発明者】

【氏名】李 殷実

【審査官】 上田 泰

(56)【参考文献】

【文献】 特開平０９−１２７８５７（ＪＰ，Ａ）

【文献】 特開平０８−２７８９２６（ＪＰ，Ａ）

【文献】 特開平０９−０５１３３１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ １／００−９／５６，１７／００−１９／２６

Ｇ０６Ｆ １１／０７，１１／２８−１１／３６，１３／００，１５／００，１９／００

Ｇ０６Ｑ １０／００−１０／１０，３０／００−３０／０８，５０／００−５０／２０，５０／２６−９９／００

Ｈ０４Ｌ １２／００−１２／２８，１２／４４−１３／００

(57)【特許請求の範囲】

【請求項1】

ＩＰ装置及びＩＰ装置間の伝送路を含むネットワークにおいて発生する障害への対応を訓練するシステムであって、
障害対応の訓練を行う指導者の操作に応じて、前記ネットワークにおける障害発生の指示を送信する第１端末と、
前記第１端末から前記障害発生の指示を受信して、前記ネットワークに障害を発生させる障害制御サーバと、
ＩＰ装置に接続され、テスト用データを送信する第２端末と、
前記ＩＰ装置とは別のＩＰ装置に接続され、前記テスト用データを受信する第３端末と、
を備え、
前記第３端末は、前記テスト用データの受信状況を、障害対応の訓練を受ける研修者に向けて出力する
ことを特徴とする障害対応訓練システム。

【請求項2】

請求項１に記載の障害対応訓練システムであって、
前記伝送路の途中に接続され、前記伝送路に擬似障害を発生させる模擬伝送路装置をさらに備え、
前記障害制御サーバは、前記第１端末から前記障害発生の１つであるトラフィック障害発生の指示を受信したときに、前記模擬伝送路装置に対してトラフィック障害制御を行い、
前記模擬伝送路装置は、前記障害制御サーバから前記トラフィック障害制御を受けたときに、前記伝送路にトラフィック障害を発生させる
ことを特徴とする障害対応訓練システム。

【請求項3】

請求項１に記載の障害対応訓練システムであって、
前記障害制御サーバは、前記第１端末から前記障害発生の１つであるネットワーク情報誤設定のコンフィグ情報を受信したときに、当該コンフィグ情報を当該コンフィグ情報で指定されたＩＰ装置に送信し、
前記コンフィグ情報を受信した前記ＩＰ装置は、
前記障害制御サーバから前記コンフィグ情報を受信したときに、記憶しているコンフィグ情報を、受信した前記コンフィグ情報に書き換える
ことを特徴とする障害対応訓練システム。

【請求項4】

請求項１ないし請求項３のいずれか一項に記載の障害対応訓練システムを用いて、前記指導者が前記研修者に前記ネットワークにおいて発生する障害への対応を訓練させる方法であって、
前記指導者が前記第１端末に前記ネットワークにおける障害発生の指示を入力するステップと、
前記研修者が前記第３端末の画面により前記ネットワークにおける障害発生を認識し、障害対応を実施するステップと、
前記研修者が前記第３端末の画面により前記障害対応の結果として前記ネットワークにおける障害復旧を確認するステップと、
を含むことを特徴とする障害対応訓練方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＩＰネットワークにおいて発生する障害への対応を訓練するシステム及び方法に関する。

【背景技術】

【0002】

従来、社内通信網の構築に使用している通信装置に関しては、ハードウェア技術を理解しておけば、ソフトウェア技術をあまり理解していなくても、当該通信装置の取替え等に関する研修や訓練を受けることにより、当該通信装置を維持、運用することができていた。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４−２８９４０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、近年、スイッチやルータ等のＩＰ（Internet Protocol）装置を使用して、社内通信網を構築することが主流になってきている。ＩＰ装置を維持、運用するためには、ハードウェア技術に関する知識に併せて、ソフトウェア技術に関しても一定レベル以上の知識（例えば、プロトコル等）が必要とされる。ＩＰ装置が故障した場合に、保守員にソフトウェア技術の知識がなければ、故障の対応や復旧に多大な時間を費やすことになってしまう。

【0005】

なお、特許文献１には、試験端末からルータに障害コマンドを送信することにより、ルータで擬似障害を発生させて、障害ログの保存やリカバリの処理を行い、試験端末でルータの状況を監視し、ルータから障害ログを採取する「ルータＲＡＳ試験方法およびルータＲＡＳ試験プログラム」が開示されているが、ルータ自体の信頼性を検証するものであり、保守員の訓練を目的としたものでない。

【0006】

本発明は、上記課題を鑑みてなされたものであり、その主たる目的は、ＩＰネットワークの障害対応の訓練を可能とすることにある。

【課題を解決するための手段】

【0013】

上記課題を解決するために、本発明は、ＩＰ装置及びＩＰ装置間の伝送路を含むネットワークにおいて発生する障害への対応を訓練するシステム（障害対応訓練システム）であって、障害対応の訓練を行う指導者の操作に応じて、前記ネットワークにおける障害発生の指示を送信する第１端末と、前記第１端末から前記障害発生の指示を受信して、前記ネットワークに障害を発生させる障害制御サーバと、ＩＰ装置に接続され、テスト用データを送信する第２端末と、前記ＩＰ装置とは別のＩＰ装置に接続され、前記テスト用データを受信する第３端末と、を備え、前記第３端末が、前記テスト用データの受信状況を、障害対応の訓練を受ける研修者に向けて出力することを特徴とする。

【0014】

この構成によれば、ネットワークの障害対応の訓練において、指導者は第１端末から障害発生の指示を行い、研修者は第３端末によりテスト用データの受信状況からネットワークにおける障害の発生を知る。これによれば、研修者は、障害対応を行ってネットワークが復旧したときに、ネットワークの復旧を確認することができる。そして、テスト用データの送受信により、ＩＰ装置が検出することのできない、データの抜けや遅延等の、原因追求が難しい障害への対応の訓練を行うことができる。

【0015】

また、本発明の上記障害対応訓練システムにおいて、前記伝送路の途中に接続され、前記伝送路に擬似障害を発生させる模擬伝送路装置をさらに備え、前記障害制御サーバが、前記第１端末から前記障害発生の１つであるトラフィック障害発生の指示を受信したときに、前記模擬伝送路装置に対してトラフィック障害制御を行い、前記模擬伝送路装置が、前記障害制御サーバから前記トラフィック障害制御を受けたときに、前記伝送路にトラフィック障害を発生させることとしてもよい。

【0016】

この構成によれば、ネットワークの障害対応の訓練において、研修者は、トラフィック障害が発生した場合に、ネットワークの正常化に向けた復旧技術を習得することができる。なお、トラフィック障害には、ネットワーク内におけるトラフィックの高負荷や、ネットワークの想定外利用に起因するデータ遅延トラブル等がある。

【0017】

また、本発明の上記障害対応訓練システムにおいて、前記障害制御サーバは、前記第１端末から前記障害発生の１つであるネットワーク情報誤設定のコンフィグ情報を受信したときに、当該コンフィグ情報を当該コンフィグ情報で指定されたＩＰ装置に送信し、前記コンフィグ情報を受信した前記ＩＰ装置は、前記障害制御サーバから前記コンフィグ情報を受信したときに、記憶しているコンフィグ情報を、受信した前記コンフィグ情報に書き換えることとしてもよい。

【0018】

この構成によれば、ネットワークの障害対応の訓練において、研修者は、ＩＰ装置にコンフィグ情報の誤設定に起因するトラブルが発生した場合に、現場でその原因を探査し、処理する技術を習得することができる。

【0019】

なお、本発明は、障害対応訓練方法を含む。その他、本願が開示する課題及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。

【発明の効果】

【0020】

本発明によれば、ＩＰネットワークの障害対応の訓練が可能になる。これによれば、ＩＰネットワークの障害対応に関する技術を習得することができる。

【図面の簡単な説明】

【0021】

【図1】障害対応訓練システム１の構成を示す図である。

【図2】ＩＰ網の構成を示す図であり、（ａ）は系統運用用ＩＰ網の構成を示し、（ｂ）は業務用ＩＰ網の構成を示す。

【図3】各装置のハードウェア構成を示す図である。

【図4】訓練指令用端末２の記憶部２５に記憶されるデータの構成を示す図であり、（ａ）は電源故障選択情報２５Ａの構成を示し、（ｂ）は伝送路故障選択情報２５Ｂの構成を示し、（ｃ）は転送コンフィグ選択情報２５Ｃの構成を示す。

【図5】模擬故障制御サーバ３の記憶部３５に記憶されるデータの構成を示す図であり、転送コンフィグ情報３５Ａの構成を示す。

【図6】障害対応訓練システム１の電源模擬故障の処理を示すフローチャートである。

【図7】障害対応訓練システム１の伝送路模擬故障の処理を示すフローチャートである。

【図8】障害対応訓練システム１のコンフィグ障害の処理を示すフローチャートである。

【図9】電源故障指令画面の構成を示す図である。

【図10】故障項目一覧画面の構成を示す図である。

【図11】故障履歴一覧画面の構成を示す図である。

【図12A】伝送路故障指令画面の構成を示す図である。

【図12B】伝送路故障指令画面の構成を示す図である。

【図13A】コンフィグ転送画面の構成を示す図である。

【図13B】コンフィグ転送画面の構成を示す図である。

【発明を実施するための形態】

【0022】

以下、図面を参照しながら、本発明を実施するための形態を説明する。本発明の実施の形態に係る障害対応訓練システムは、実際に系統運用用及び業務用として運用されているものと同じ、又は、それに近い訓練用のＩＰ網（ＩＰネットワーク）を構築し、その訓練用ＩＰ網とは別に訓練指令用端末及び模擬故障制御サーバを設け、それらの端末及びサーバを用いて、訓練指導者が訓練用ＩＰ網に障害を擬似的に発生させて、訓練用の管理端末にいる研修者に対して障害対応の訓練を行わせるものである。障害には、物理障害、論理障害及びトラフィック障害が含まれる。また、訓練には、障害発生に関する警報等の確認から機器交換等による復旧・確認までの対応作業が含まれる。

【0023】

警報等の確認から障害復旧までの作業は、基本的に以下のようなステップで行われる。
（１）障害発生時、ＩＰ網管理端末及び通信網運用管理端末へ出力されるログを分析し、障害部位を特定する。
（２）障害復旧の方法及びその手順を検討し、実施する。
（３）障害が復旧したことをＩＰ網管理端末及び通信網運用管理端末で確認する。

【0024】

≪システムの構成と概要≫
図１は、障害対応訓練システム１の構成を示す図である。障害対応訓練システム１は、訓練指令用端末２及び模擬故障制御サーバ３と、レガシー系装置の通信網に係る装置群と、ＩＰ網に係る装置群とを含んで構成される。レガシー系装置とは、マイクロ波無線機や光伝送装置等、従来の（ＩＰ装置以外の）ネットワークを構成する装置であり、その通信網に係る装置群には、模擬伝送路装置及び模擬故障発生装置がある。その詳細説明は割愛する。ＩＰ網に係る装置群には、ＩＰ模擬故障発生装置である電源制御装置４及びＩＰ模擬伝送路装置５、ＩＰ網管理装置６、ＩＰ網管理端末７、通信網運用管理装置８、通信網運用管理端末９、ＩＰ装置であるルータＲＴ及びスイッチＳＷがある。

【0025】

訓練指令用端末２は、訓練指導者が障害の監視や制御を行う操作端末であり、訓練対象装置の状態をグラフィカルに表示し、各装置に対する模擬故障指令の発行を可能とする。すなわち、訓練指導者が訓練指令用端末２にトリガを与えて、模擬故障制御サーバ３を動作させる。模擬故障制御サーバ３は、訓練対象装置の監視及び制御を司る装置であり、ＩＰ模擬故障発生装置等から訓練対象装置の状態情報を収集し、訓練指令用端末２に通知するとともに、訓練指令用端末２からの模擬故障指令を、ＩＰ模擬故障発生装置等を介して訓練対象装置に伝送する。なお、訓練指令用端末２及び模擬故障制御サーバ３は、レガシー系装置の通信網に係る装置群にも関係する。また、模擬故障制御サーバ３は、ＩＰ網内にあるすべてのＩＰ装置につながる。

【0026】

電源制御装置４は、ルータＲＴ及びスイッチＳＷに出力する電圧値を低下させて、電源障害を発生させるための装置である。ＩＰ模擬伝送路装置５は、模擬故障制御サーバ３と、ルータＲＴ及びスイッチＳＷとの間を仲介する装置であり、模擬故障制御サーバ３からの模擬故障指令を受けて、ＩＰ網の伝送路に擬似的な障害を発生させる。

【0027】

ＩＰ網管理装置６は、ＩＰ網の保守、管理を行う装置であり、ルータＲＴやスイッチＳＷから受けた通知をＩＰ網管理端末７に転送する。ＩＰ網管理端末７は、ＩＰ網管理装置６から受けた通知をディスプレイ（表示部）に表示して、研修者にＩＰ網の状態を知らせる。通信網運用管理装置８は、ＮＭＳ（Network Management System）とも呼ばれ、ＩＰ網管理装置６とは別にＩＰ網全体を管理する装置であり、図２に示す系統運用用ＩＰ網及び業務用ＩＰ網の連携やソフトウェアの状況を総合的に監視し、障害が発生した場合に、ＩＰ網内に原因があるのか、外部からの影響を受けているのかを判断する。そして、ルータＲＴやスイッチＳＷから受けた通知やＩＰ網管理装置６から受けたメッセージを通信網運用管理端末９に転送する。通信網運用管理端末９は、通信網運用管理装置８から受けた通知やメッセージをディスプレイ（表示部）に表示する。ルータＲＴ及びスイッチＳＷは、ＩＰ網を構成するＩＰ装置である。

【0028】

訓練指令用端末２、模擬故障制御サーバ３及びＩＰ模擬伝送路装置５は、１００Ｂａｓｅ−ＴＸのファストイーサネット（Fast Ethernet）を介して相互通信可能に接続され、同一のセグメント内に存在する。模擬故障制御サーバ３と、ルータＲＴ及びスイッチＳＷとの間は、同じファストイーサネットで接続され、異常通知やコンフィグ情報転送が行われる。模擬故障制御サーバ３と、電源制御装置４（＃１）と、電源制御装置４（＃２）との間は、シリアルインタフェースであるＲＳ−２３２Ｃで接続され、電源制御装置４がＩＰ装置に出力する電圧値の設定等が行われる。

【0029】

電源制御装置４（＃１）はルータＲＴに直流電源を供給し、電源制御装置４（＃２）はスイッチＳＷに直流電源を供給するが、それらの電圧値は模擬故障制御サーバ３からの設定により変動する。

【0030】

なお、障害対応訓練システム１は、レガシー系装置の通信網に係る装置群を含む従来のシステムに対して、訓練指令用端末２及び模擬故障制御サーバ３にＩＰ網の障害に関する機能（ソフトウェア）を追加し、さらにＩＰ模擬故障発生装置、ＩＰ網、管理装置及び管理端末を新規に追加した構成になっている。

【0031】

図２は、ＩＰ網の構成を示す図である。図２（ａ）は、系統運用用ＩＰ網の構成を示す。系統運用用ＩＰ網は、通信の高速化や機能の付加を図る技術であるＭＰＬＳ（Multi-Protocol Label Switching）で構成され、通信実習室Ｂ局のＭＰＬＳルータ（ルータＲＴ）と、中央通信所のＭＰＬＳルータとの間にＩＰ模擬伝送路装置５が設けられる。通信実習室Ａ局では、ＦＷ（Fire Wall）を介してＭＰＬＳルータにテスト用端末Ｔａが接続される。通信実習室Ｂ局では、ＦＷ（Fire Wall）を介してＭＰＬＳルータにテスト用端末Ｔｂが接続される。テスト用端末Ｔａと、テスト用端末Ｔｂとの間には、テスト用データが送受信されるが、ＩＰ模擬伝送路装置５が擬似障害を発生させると、テスト用データの送受信に支障が出る。

【0032】

図２（ｂ）は業務用ＩＰ網の構成を示す。業務用ＩＰ網は、セグメントプロトコルであるＲＥＰ（Resilient Ethernet Protocol）で構成され、通信実習室Ｂ局内にある２つのＬ２ＳＷ（スイッチＳＷ）の間にＩＰ模擬伝送路装置５が設けられる。通信実習室Ａ局では、Ｌ２ＳＷにテスト用端末Ｔａが接続される。通信実習室Ｂ局では、Ｌ２ＳＷにテスト用端末Ｔｂが接続される。テスト用端末Ｔａと、テスト用端末Ｔｂとの間には、テスト用データが送受信されるが、ＩＰ模擬伝送路装置５が擬似障害を発生させると、テスト用データの送受信に支障が出る。

【0033】

図３は、各装置のハードウェア構成を示す図である。ここでいう装置には、訓練指令用端末２、模擬故障制御サーバ３、各管理端末及び各管理装置が含まれる。装置は、通信部、表示部、入力部、処理部及び記憶部を備え、各部がバスを介してデータを送受信可能なように接続されている。通信部は、ネットワークを介して他の装置とＩＰ（Internet Protocol）通信等を行う部分であり、例えば、ＮＩＣ（Network Interface Card）等によって実現される。表示部は、処理部からの指示によりデータを表示する部分であり、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）等によって実現される。入力部は、オペレータがデータ（例えば、模擬故障指令のデータ）を入力する部分であり、例えば、キーボードやマウス等によって実現される。

【0034】

処理部は、所定のメモリを介して各部間のデータの受け渡しを行うととともに、装置全体の制御を行うものであり、ＣＰＵ（Central Processing Unit）が所定のメモリに格納されたプログラムを実行することによって実現される。記憶部は、処理部からデータを記憶したり、記憶したデータを読み出したりするものであり、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の不揮発性記憶装置によって実現される。特に、訓練指令用端末２では記憶部２５とし、模擬故障制御サーバ３では記憶部３５とする。なお、訓練指令用端末２及び各管理端末は、ＰＣ（Personal Computer）等により実現され、模擬故障制御サーバ３及び各管理装置は、サーバ用コンピュータ等により実現される。

【0035】

電源制御装置４には、例えば、高砂製作所のＺＸ−８００Ｌが用いられる。ＩＰ模擬伝送路装置５には、例えば、アンリツのＭＤ１２３０Ｂが用いられる。

【0036】

≪データの構成≫
図４は、訓練指令用端末２の記憶部２５に記憶されるデータの構成を示す図である。図４（ａ）は、電源故障選択情報２５Ａの構成を示す。電源故障選択情報２５Ａは、訓練指令用端末２に電源故障指令画面を表示する際に用いられるデータであり、局２５Ａ１、ＩＰ装置２５Ａ２及び故障項目２５Ａ３を含むレコードからなる。局２５Ａ１は、ＩＰ装置を管理する単位であり、例えば、各通信実習室に設置された一まとまりのＩＰ装置群を示す。ＩＰ装置２５Ａ２は、当該局に含まれるＩＰ装置の名称である。故障項目２５Ａ３は、当該ＩＰ装置に発生させることができる故障の種類である。

【0037】

電源故障選択情報２５Ａの局２５Ａ１、ＩＰ装置２５Ａ２及び故障項目２５Ａ３は、階層的に設定されるので、図９に示す電源故障指令画面において、局が選択されると、その局に設置されている装置の名称が表示され、装置が選択されると、その装置に発生可能な故障項目が表示される。

【0038】

図４（ｂ）は、伝送路故障選択情報２５Ｂの構成を示す。伝送路故障選択情報２５Ｂは、訓練指令用端末２に伝送路故障指令画面を表示する際に用いられるデータであり、局間２５Ｂ１、伝送路装置２５Ｂ２、模擬伝送路名２５Ｂ３及び故障項目２５Ｂ４を含むレコードからなる。局間２５Ｂ１は、故障を発生させる伝送路の両端の局を特定するものであり、例えば、Ａ局−Ｂ局、Ａ局−Ｃ局等が設定される。伝送路装置２５Ｂ２は、当該局間の伝送路に接続される伝送路装置の種類を示し、例えば、ＩＰ模擬伝送路や光ファイバ伝送路等が設定されるが、ＩＰ網に限れば、ＩＰ模擬伝送路が設定される。模擬伝送路名２５Ｂ３は、当該模擬伝送路の名称を示す。故障項目２５Ｂ４は、当該伝送路装置に発生させることができる故障の種類であり、例えば、トラヒック高負荷、パケットロス、エラーフレーム挿入、リンク断、コリジョン発生等が設定される。

【0039】

伝送路故障選択情報２５Ｂの局間２５Ｂ１、伝送路装置２５Ｂ２、模擬伝送路名２５Ｂ３及び故障項目２５Ｂ４は、階層的に設定されるので、図１２Ｂの伝送路故障指令の画面において、局間が選択されると、その局間に接続されている装置の種類が表示され、その装置の種類が選択されると、その種類の装置の伝送路名が表示され、その伝送路名が選択されると、その伝送路名の装置に発生させることのできる故障項目が表示される。

【0040】

図４（ｃ）は、転送コンフィグ選択情報２５Ｃの構成を示す。転送コンフィグ選択情報２５Ｃは、訓練指令用端末２にコンフィグ転送画面を表示する際に用いられるデータであり、局２５Ｃ１、ＩＰ装置２５Ｃ２及びコンフィグ２５Ｃ３を含むレコードからなる。局２５Ｃ１は、ＩＰ装置を管理する単位である。ＩＰ装置２５Ｃ２は、当該局に含まれるＩＰ装置の名称である。コンフィグ２５Ｃ３は、当該ＩＰ装置に論理障害を発生させ、又は、復旧させるために用いられるコンフィグの種類であり、正常、異常（リンク断）等が設定される。

【0041】

転送コンフィグ選択情報２５Ｃの局２５Ｃ１、ＩＰ装置２５Ｃ２及びコンフィグ２５Ｃ３は、階層的に設定されるので、図１３Ｂのコンフィグ転送画面において、局が選択されると、その局に含まれるＩＰ装置の名称が表示され、ＩＰ装置が選択されると、そのＩＰ装置用に用意されているコンフィグの種類が表示される。

【0042】

図５は、模擬故障制御サーバ３の記憶部３５に記憶されるデータの構成を示す図であり、転送コンフィグ情報３５Ａの構成を示す。転送コンフィグ情報３５Ａは、模擬故障制御サーバ３からルータＲＴやスイッチＳＷ等のＩＰ装置に転送されるコンフィグ情報であり、コンフィグ種類３５Ａ１及びコンフィグ情報３５Ａ２を含むレコードからなる。コンフィグ種類３５Ａ１は、転送されるコンフィグ情報の種類であり、正常、Ｓｐｅｅｄ設定不整合、Ｆｉｒｅ Ｗａｌｌ設定ミス等が設定される。コンフィグ情報３５Ａ２は、転送されるコンフィグ情報のデータ自体である。なお、転送コンフィグ情報３５Ａは、ＩＰ装置の種類（ルータ、スイッチ等）ごとに記憶されてもよいし、ＩＰ装置ごとに記憶されてもよい。

【0043】

≪システムの処理≫
図６〜８は、障害対応訓練システム１の処理を示すフローチャートである。障害対応訓練システム１は、訓練指導者がＩＰ網の擬似障害発生のトリガを与えて、研修者が障害の発生を知って対応を行うものである。なお、訓練に対する評価機能として、障害を見つけてから、原因の究明及び対策、復旧までの時間を制限し、その制限時間（例えば、１時間）以内にＩＰ網の復旧ができなければ、研修者に対してペナルティ（罰則）を課すようにしてもよい。ペナルティには、例えば、再度同じ障害への対応を訓練し、制限時間以内に復旧できるまで繰り返すこと等が考えられる。

【0044】

［電源模擬故障］
図６は、電源模擬故障の処理を示すフローチャートである。本処理では、訓練指導者の指示操作に応じてＩＰ装置の電源に故障を発生させ、研修者に電源故障を通知し、その対応を行わせるとともに、訓練指導者の指示操作に応じてＩＰ装置の電源を復旧させる。

【0045】

まず、訓練指令用端末２は、訓練指導者の操作に応じて電源故障指令画面を表示部に表示する（Ｓ６０１）。図９は、電源故障指令画面の構成を示す図である。電源故障指令画面に対して、訓練指導者は、故障指令対象項目として「局」→「装置」→「故障項目」の順に指定する。「局」、「装置」、「故障項目」の選択エリア内には、制御可能な局、装置、故障項目が一覧表示される。一覧表示から各項目を選択することにより、模擬故障発生項目を指定する。

【0046】

ツリー画面（例えば、図１２Ａに示す画面）により故障発生項目が選択済み、かつ、その項目が制御可能な場合には、「局」、「装置」、「故障項目」の選択した項目にフォーカスが当てられた状態で、電源故障指令画面が開かれる。訓練指導者は、故障項目を選択し直すことなく、該当項目を模擬故障発生項目として選択し、故障指令を行う。ツリー画面により選択された項目が制御可能でない場合には、その上位項目（例えば、故障項目が制御できなければ、選択されている装置の項目）にフォーカスが当てられた状態で、電源故障指令画面が開かれる。

【0047】

訓練指導者は、訓練指令用端末２の表示部に表示された電源故障指令画面に対して、所望の故障項目を指定する。訓練指令用端末２は、電源故障指令画面に指定された項目に応じて、電源故障指令を模擬故障制御サーバ３に送信する（Ｓ６０２）。模擬故障制御サーバ３は、訓練指令用端末２から電源故障指令を受信し（Ｓ６０２）、当該電源故障指令に応じた、ＩＰ装置の動作に支障を来たす異常電圧値を設定するコマンドを電源制御装置４に送信する（Ｓ６０３）。電圧の範囲は、例えば、０〜４２［Ｖ］が設定可能であり、模擬故障制御サーバ３からのリモート制御だけでなく、電源制御装置４の前面パネルからの手動操作による設定も可能である。実際には、直流電源の電圧を±１０〜１５％変動させることができるが、ここでは、ルータやスイッチの動作電圧を下げることにより、異常な動作を起こさせる。

【0048】

電源制御装置４は、模擬故障制御サーバ３から、異常電圧値の設定コマンドを受信し（Ｓ６０３）、ＩＰ装置に異常電圧を出力する（Ｓ６０４）。ＩＰ装置は、電源制御装置４から異常電圧の出力を受けると（Ｓ６０４）、今まで正常だった電源が異常になったことを検知し、電源異常の通知を模擬故障制御サーバ３及びＩＰ網管理装置６に送信する（Ｓ６０５、Ｓ６０６）。電源異常の通知は、ＳＮＭＰ（Simple Network Management Protocol）によるトラップ通知を用いて送受信される。

【0049】

模擬故障制御サーバ３は、ＩＰ装置から電源異常の通知を受けて（Ｓ６０５）、ＩＰ網の状態に変化が発生したことの通知を訓練指令用端末２に送信する（Ｓ６０７）。訓練指令用端末２は、模擬故障制御サーバ３から状態変化の通知を受けて（Ｓ６０７）、故障項目一覧画面を表示部に表示する（Ｓ６０８）。これにより、訓練指導者は、自分が電源故障指令画面に指定した故障が実際に発生したことを確認することができる。

【0050】

図１０は、故障項目一覧画面の構成を示す図である。故障項目一覧画面は、現在発生中の、ＩＰ網の故障項目が一覧表形式により出力されるものであり、リアルタイムに表示内容が更新される。故障項目一覧画面の表示中に新たな故障項目が発生すると、一覧の最下段に追加され、最新の故障項目が常に表示されるように自動的にスクロールされる。一覧の表示内容は、条件の指定による絞り込み表示が可能である。また、ＣＳＶ形式で保存できるため、Ｅｘｃｅｌ（登録商標）を使用して編集や印刷をすることができる。なお、故障項目一覧画面は、伝送路模擬故障やコンフィグ障害にも適用される。

【0051】

一方、ＩＰ網管理装置６は、ＩＰ装置から電源異常の通知を受けて（Ｓ６０６）、ＩＰ網管理端末７に当該電源異常の通知を送信する（Ｓ６０９）。ＩＰ網管理端末７は、ＩＰ網管理装置６から電源異常の通知を受けて（Ｓ６０９）、故障項目一覧画面を表示部に表示する（Ｓ６１０）。これにより、研修者は、ＩＰ装置の電源異常が発生していることを知って、障害対応を開始することになる。なお、通信網運用管理端末９が、通信網運用管理装置８経由でＩＰ装置やＩＰ網管理装置６からの通知を受信し、故障項目一覧画面を表示部に表示することにより、研修者が通信網運用管理端末９の画面で障害発生を確認するようにしてもよい（伝送路模擬故障やコンフィグ障害も同様）。

【0052】

訓練指導者は、障害対応訓練の時間が制限されている場合には、電源故障の指示を行ってから所定時間が経過すると、訓練を終了する。また、障害対応訓練を行うべき時間帯が決まっている場合には、その時間帯の終了時刻になると、訓練を終了する。訓練を終了する際に、訓練指導者は、訓練指令用端末２の表示画面（図示せず）のメニューバーにより「訓練終了」を選択する。これは、伝送路模擬故障やコンフィグ障害の場合も同様である。なお、研修者が障害に対応できなかった場合にも、訓練指導者の「訓練終了」選択による障害復旧が必要になる。

【0053】

そのとき、訓練指令用端末２は、入力部から訓練終了指示を取得するが（Ｓ６１１）、障害対応訓練を終了する際にはＩＰ網を元の正常な状態に戻す必要があるので、模擬故障制御サーバ３に電源復旧指令を送信する（Ｓ６１２）。模擬故障制御サーバ３は、訓練指令用端末２から電源復旧指令を受信し（Ｓ６１２）、当該電源復旧指令に応じた正常電圧値を設定するコマンドを電源制御装置４に送信する（Ｓ６１３）。電源制御装置４は、模擬故障制御サーバ３から正常電圧値の設定コマンドを受信し（Ｓ６１３）、ＩＰ装置に正常電圧を出力する（Ｓ６１４）。ＩＰ装置は、電源制御装置４から正常電圧の出力を受けると（Ｓ６０４）、今まで異常だった電源が正常になったことを検知し、電源正常の通知を模擬故障制御サーバ３及びＩＰ網管理装置６に送信する（Ｓ６１５、Ｓ６１６）。

【0054】

模擬故障制御サーバ３は、ＩＰ装置から電源正常の通知を受けて（Ｓ６１５）、ＩＰ網の状態に変化が発生したことの通知を訓練指令用端末２に送信する（Ｓ６１７）。訓練指令用端末２は、模擬故障制御サーバ３から状態変化の通知を受けて（Ｓ６１７）、図１１に示す故障履歴一覧画面を表示部に表示する（Ｓ６１８）。これにより、訓練指導者は、訓練の終了に際して、ＩＰ装置の電源が復旧したことを確認することができる。

【0055】

図１１は、故障履歴一覧画面の構成を示す図である。本図の故障履歴一覧画面は、訓練指令用端末２の表示部に表示される画面であり、ＩＰ網に発生したすべての故障項目に対し、設定条件による絞り込みにより、故障の発生／復旧状況を時系列に一覧表形式で出力する。一覧に表示される内容は、条件を指定した絞りこみ表示をすることができる。また、ＣＳＶ形式で保存できるため、Ｅｘｃｅｌ（登録商標）を使用して編集や印刷をすることができる。なお、故障履歴一覧画面は、伝送路模擬故障、コンフィグ障害にも適用される。

【0056】

一方、ＩＰ網管理装置６は、ＩＰ装置から電源正常の通知を受けて（Ｓ６１６）、ＩＰ網管理端末７に当該電源正常の通知を送信する（Ｓ６１９）。ＩＰ網管理端末７は、ＩＰ網管理装置６から電源正常の通知を受けて（Ｓ６１９）、故障履歴一覧画面（図示せず）を表示部に表示する（Ｓ６２０）。これにより、研修者は、ＩＰ装置の電源が復旧していることを確認することができる。なお、故障履歴一覧画面により、自らの障害対応の結果を確認することもできる。

【0057】

［伝送路模擬故障］
図７は、伝送路模擬故障の処理を示すフローチャートである。本処理では、訓練指導者の指示操作に応じて２局間の伝送路に故障を発生させ、研修者に伝送路故障を通知し、その対応を行わせる。なお、研修者が伝送路故障の発生を知るためには、テスト用データを受信するテスト用端末Ｔｂの表示部を自分が直接見ていてもよいし、テスト用端末Ｔｂの表示部を見ているユーザから申告を受けるようにしてもよい。

【0058】

ＩＰ網においては、テスト用端末Ｔａ、ＩＰ装置ａ、伝送路、ＩＰ装置ｂ及びテスト用端末Ｔｂがつながっていて、ＩＰ装置ａとＩＰ装置ｂとの間の伝送路の途中にＩＰ模擬伝送路装置５が設けられる。テスト用端末Ｔａは、定期的にテスト用データを送信しており（Ｓ７０１）、そのテスト用データは、ＩＰ装置ａ→伝送路→ＩＰ模擬伝送路装置５→伝送路→ＩＰ装置ｂを経由して、テスト用端末Ｔｂに受信される（Ｓ７０２）。テスト用端末Ｔｂがテスト用データを正常に受信したことを表示することにより、研修者は、テスト用端末Ｔａと、Ｔｂとの間のデータ送受信が正常に行われていることを認識する。

【0059】

なお、テスト用データとして、テレビカメラの映像データを送受信してもよい。これによれば、テスト用端末Ｔｂで表示される映像が少しでも乱れると、異常が発生したことがすぐに分かる。また、テスト用端末Ｔａが所定量のデータを送信し続けて、テスト用端末Ｔｂは、受信するデータが少なくなると、警報を出すようにしてもよい。これによれば、異常が発生したことがすぐに分かる。

【0060】

訓練指令用端末２は、訓練指導者の操作に応じて伝送路故障指令画面を表示部に表示する（Ｓ７１１）。図１２Ｂは、伝送路故障指令画面の構成を示す図である。伝送路故障指令画面において、訓練指導者は、伝送路故障対象項目として、「局間」→「装置」→「模擬伝送路名」→「故障項目」の順に指定する。「局間」、「装置」、「模擬伝送路名」及び「故障項目」の選択エリア内には、制御可能な局間、装置、模擬伝送路名及び故障項目を一覧表示する。一覧表示から各項目を選択し、伝送路故障発生項目を指定する。

【0061】

訓練指導者は、訓練指令用端末２の表示部に表示された伝送路故障指令画面に対して、所望の故障項目を指定する。訓練指令用端末２は、電源故障指令画面に指定された項目に応じて、伝送路故障指令を模擬故障制御サーバ３に送信する（Ｓ７１２）。模擬故障制御サーバ３は、訓練指令用端末２から伝送路故障指令を受信し（Ｓ７１２）、当該伝送路故障指令に応じたトラフィック障害を制御するコマンドをＩＰ模擬伝送路装置５に送信する（Ｓ７１３）。ＩＰ模擬伝送路装置５は、模擬故障制御サーバ３からトラフィック障害制御のコマンドを受けて（Ｓ７１３）、当該コマンドの指定内容に応じてトラフィック障害を発生させる。

【0062】

ＩＰ模擬伝送路装置５がトラフィック障害を発生させると、テスト用端末Ｔａがテスト用データを送信しても（Ｓ７２１）、テスト用端末Ｔｂは、定期的に来るはずのテスト用データを受信できない（Ｓ７２２）。テスト用端末Ｔｂがテスト用データを受信できないことを表示することにより、研修者は、テスト用端末Ｔａと、Ｔｂとの間のデータ送受信が正常に行われていないことを認識し、障害対応を開始することになる。なお、ＩＰ模擬伝送路装置５により故障になった伝送路は、訓練指令用端末２の伝送路故障指令画面において、「故障復旧」ボタンを操作することにより、模擬故障制御サーバ３からＩＰ模擬伝送路装置５に正常コマンドが発行され、異常状態から正常状態に復旧する。

【0063】

なお、トラフィック障害には、トラフィック高負荷、エラーフレーム、パケットロス、コリジョン（信号の衝突）等がある。それらに関しては、少なくとも伝送路上の通信は行われるので、ＩＰ装置が異常を検出することはなく、模擬故障制御サーバ３やＩＰ網管理装置６等には何も通知されず、テスト用端末Ｔｂだけで異常を検出することになる。

【0064】

詳細には、ＩＰ模擬伝送路装置５でトラフィック高負荷を発生させて、通常は１０〜１５％のトラフィックを８０％に上げると、テスト用端末Ｔｂでデータ遅延が発生する。ＩＰ模擬伝送路装置５でエラーフレームを挿入すると、テスト用端末Ｔｂでエラーフレームの発生を検出する。ＩＰ模擬伝送路装置５でパケットを破棄すると、テスト用端末Ｔｂでパケットロスの発生を検出する。ＩＰ模擬伝送路装置５で伝送路に対してトラフィックを発生させると、テスト用端末Ｔａ、Ｔｂ間でコリジョンの発生を検出する。

【0065】

［コンフィグ障害］
図８は、コンフィグ障害の処理を示すフローチャートである。本処理では、訓練指導者の指示操作に応じてＩＰ装置にコンフィグ障害を発生させ、研修者にコンフィグ障害を通知し、その対応を行わせるとともに、訓練指導者の指示操作に応じてコンフィグ障害を復旧させる。すなわち、模擬故障制御サーバ３からＩＰ装置に対して間違ったコンフィグ情報を書き込むことにより論理障害を擬似的に発生させ、正しいコンフィグ情報に書き換えることにより論理障害を復旧させる。

【0066】

まず、訓練指令用端末２は、訓練指導者の操作に応じてコンフィグ転送画面を表示部に表示する（Ｓ８０１）。図１３Ｂのコンフィグ転送画面において、訓練指導者は、コンフィグ転送対象項目として、「局」→「装置」→「コンフィグ」の順に指定する。「局」、「装置」、「コンフィグ」の選択エリア内には、コンフィグ情報が転送可能な装置及び転送用コンフィグ情報の種類が一覧表示される。なお、同一のＩＰ装置に対して、複数のコンフィグ情報を同時に転送することはできない。また、転送用の正常／異常のコンフィグ情報は、メンテナンス機能により事前に模擬故障制御サーバ３に登録することができる。

【0067】

図１３Ａのコンフィグ転送画面において、例えば、左側に示すネットワーク構成図のツリー表示項目の中から「ネットワーク構成図」を選択すると、該当するＩＰネットワーク図が表示され、コンフィグ転送を行いたいＭＰＬＳルータのボックスを選択すると、局及び装置が選択済の図１３Ｂのコンフィグ転送画面が表示される。

【0068】

訓練指導者は、訓練指令用端末２の表示部に表示されたコンフィグ転送画面に対して、所望の項目を指定する。訓練指令用端末２は、コンフィグ転送画面に指定された項目に応じて、コンフィグ障害指令を模擬故障制御サーバ３に送信する（Ｓ８０２）。模擬故障制御サーバ３は、訓練指令用端末２からコンフィグ障害指令を受信し（Ｓ８０２）、当該コンフィグ障害指令に応じた異常コンフィグ情報をＩＰ装置に送信する（Ｓ８０３）。ＩＰ装置は、模擬故障制御サーバ３から異常コンフィグ情報を受信すると（Ｓ８０３）、記憶しているコンフィグ情報を、受信した異常コンフィグ情報に書き換える。その後、コンフィグ情報が異常であることを検知し、コンフィグ情報の誤設定によるアラーム通知を模擬故障制御サーバ３及びＩＰ網管理装置６に送信する（Ｓ８０４、Ｓ８０５）。

【0069】

模擬故障制御サーバ３は、ＩＰ装置からアラーム通知を受けて（Ｓ８０４）、ＩＰ網の状態に変化が発生したことの通知を訓練指令用端末２に送信する（Ｓ８０６）。訓練指令用端末２は、模擬故障制御サーバ３から状態変化の通知を受けて（Ｓ８０６）、故障項目一覧画面を表示部に表示する（Ｓ８０７）。これにより、訓練指導者は、自分がコンフィグ転送画面に指定した異常コンフィグ情報により、論理障害が実際に発生したことを確認することができる。

【0070】

一方、ＩＰ網管理装置６は、ＩＰ装置からアラーム通知を受けて（Ｓ８０５）、ＩＰ網管理端末７に当該アラーム通知を送信する（Ｓ８０８）。ＩＰ網管理端末７は、ＩＰ網管理装置６からアラーム通知を受けて（Ｓ８０８）、故障項目一覧画面を表示部に表示する（Ｓ８０９）。これにより、研修者は、論理障害が発生していることを知って、障害対応を開始することになる。そして、コンフィグ情報の誤設定が原因であることが分かれば、ＩＰ網管理端末７を操作して、ＩＰ装置に設定されたコンフィグ情報を修正する。

【0071】

訓練指令用端末２は、障害訓練が終了したとき等に、訓練指導者の操作に応じてコンフィグ転送画面を表示部に再度表示する（Ｓ８１１）。訓練指導者は、ＩＰ装置のコンフィグ情報を元に戻すために、コンフィグの「normalConfig」を選択する。「normalConfig」の選択に応じて、訓練指令用端末２は、模擬故障制御サーバ３にコンフィグ復旧指令を送信する（Ｓ８１２）。模擬故障制御サーバ３は、訓練指令用端末２からコンフィグ復旧指令を受信し（Ｓ８１２）、当該コンフィグ復旧指令に応じた正常コンフィグ情報をＩＰ装置に送信する（Ｓ８１３）。ＩＰ装置は、模擬故障制御サーバ３から正常コンフィグ情報を受信すると（Ｓ８１３）、記憶しているコンフィグ情報を、受信した正常コンフィグ情報を書き換える。その後、コンフィグ情報が正常に戻ったことを検知し、復旧通知を模擬故障制御サーバ３及びＩＰ網管理装置６に送信する（Ｓ８１４、Ｓ８１５）。

【0072】

模擬故障制御サーバ３は、ＩＰ装置から復旧通知を受けて（Ｓ８１４）、ＩＰ網の状態に変化が発生したことの通知を訓練指令用端末２に送信する（Ｓ８１６）。訓練指令用端末２は、模擬故障制御サーバ３から状態変化の通知を受けて（Ｓ８１６）、図１１に示す故障履歴一覧画面を表示部に表示する（Ｓ８１７）。これにより、訓練指導者は、正常コンフィグ情報の選択により、ＩＰ装置のコンフィグ障害が復旧したことを確認することができる。

【0073】

一方、ＩＰ網管理装置６は、ＩＰ装置から復旧通知を受けて（Ｓ８１５）、ＩＰ網管理端末７に当該復旧通知を送信する（Ｓ８１８）。ＩＰ網管理端末７は、ＩＰ網管理装置６から復旧通知を受けて（Ｓ８１８）、故障履歴一覧画面（図示せず）を表示部に表示する（Ｓ８１９）。これにより、研修者は、ＩＰ装置の電源が復旧していることを確認することができる。なお、故障履歴一覧画面により、自らの障害対応の結果を確認することもできる。

【0074】

なお、上記に説明したのは、Ｉ／Ｆに対しＤｉｓａｂｌｅが設定されたコンフィグ情報をＩＰ装置に転送したときの処理である。それ以外の入力ミスのコンフィグ情報を用いたときには、ＩＰ装置からアラーム通知や復旧通知は上がらず、図７の伝送路模擬故障の処理と同様に、テスト用端末Ｔａ、Ｔｂ間のデータ送受信が正常に行われないことで障害の発生が検出される。

【0075】

≪論理障害（コンフィグ障害）の詳細≫
コンフィグ障害には、Ｓｐｅｅｄ設定不整合、ＦｉｒｅＷａｌｌ設定ミス、ＩＰアドレス設定ミス、サブネット設定ミス、ＶＰＮ設定間違い、ｓｉｔｅ設定間違い、Ｉ／Ｆに対しＤｉｓａｂｌｅ及びｓｉｔｅに対しｉｎａｃｔｉｖｅがある。以下に、コンフィグ情報の誤設定の内容及びＩＰ装置の動作について説明する。

【0076】

Ｓｐｅｅｄ設定不整合に関して、例えば、通信速度の１０ＭＢ／Ｓを５ＭＢ／Ｓに誤設定する。コンフィグ情報に設定されたｓｐｅｅｄが実際の通信速度と不一致の場合には、リンクアップしない。Ｄｕｐｌｅｘが違う場合には、リンクアップするが、常に通信ができないことがある。ＡｕｔｏＮＥＧＯ及び１００ＭＦｕｌｌに固定した設定を行った場合には、１００ＭＨａｌｆでリンク接続する。

【0077】

ＦｉｒｅＷａｌｌ設定ミスに関して、接続方法に関するデータの設定を間違えた場合には、ＬＡＮ間通信ができない。スループットの設定を間違えた場合には、データ転送の遅延やデータの廃棄が発生する。すなわち、受信すべきデータが受信できないという事象が発生する。

【0078】

ＩＰアドレス及びサブネットの設定ミスの場合には、ルータ間のデータ通信はできないが、リンクアップはする。ＶＰＮ（Virtual Private Network）設定間違いに関して、暗号化に関する内容を間違えた場合には、ＶＰＮ（Ｔｕｎｎｅｌ）間の通信ができない。

【0079】

ｓｉｔｅ設定間違いの場合には、ルータ間のデータ通信ができないが、リンクアップはする。なお、ｓｉｔｅとはＮＥＣ製のＩＰ管理端末上で使用している用語であり、一般的にはサブインタフェース（論理インタフェース）のことを示す。Ｉ／Ｆに対しＤｉｓａｂｌｅの場合には、ＩＰ装置のＩ／Ｆ（インタフェース）を不使用にし、リンクダウンする。ｓｉｔｅに対しｉｎａｃｔｉｖｅの場合には、ルータ間のデータ通信ができないが、リンクアップはする。

【0080】

なお、上記実施の形態では、図１に示す障害対応訓練システム１の各装置を機能させるために、処理部（ＣＰＵ）で実行されるプログラムをコンピュータにより読み取り可能な記録媒体に記録し、その記録したプログラムをコンピュータに読み込ませ、実行させることにより、本発明の実施の形態に係る障害対応訓練システム１が実現されるものとする。この場合、プログラムをインターネット等のネットワーク経由でコンピュータに提供してもよいし、プログラムが書き込まれた半導体チップ等をコンピュータに組み込んでもよい。

【0081】

以上説明した本発明の実施の形態によれば、ＩＰ装置及び伝送路を含むネットワークの障害に対応する訓練が可能になる。詳細には、以下のような技術を習得することができる。
（１）ルータやスイッチ等のＩＰ装置に物理障害（ハード障害）が発生した場合に、現場で障害部位を特定し、交換する技術を習得できる。
（２）ＩＰ網内におけるトラフィックの高負荷や、ユーザによるＩＰ網の想定外利用に起因するデータ遅延トラブル等を擬似体験し、ネットワークの正常化に向けた復旧技術を習得できる。特に、ＩＰ模擬伝送路装置５を用いることにより、ＩＰ装置が検出することのできない、データの抜けや遅延等の、原因追求が難しい障害への対応の訓練を行うことができるので、非常に有用である。
（３）ＩＰ装置で論理障害（コンフィグ入力ミス）に起因するトラブルが発生した場合に、現場でその原因を探査し、処理する技術を習得できる。

【0082】

以上、本発明を実施するための形態について説明したが、上記実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得るとともに、本発明にはその等価物も含まれる。例えば、上記実施の形態では、ＩＰ網管理端末７等の各端末がＩＰ網の状態を表示するように記載したが、例えば、音声出力したり、通信部により当該ＩＰ網とは別のネットワークを経由して他の端末（ＰＣ、携帯端末等）に送信したりするようにしてもよい。

【符号の説明】

【0083】

１ 障害対応訓練システム
２ 訓練指令用端末（第１端末）
３ 模擬故障制御サーバ（障害制御サーバ）
４ 電源制御装置
５ ＩＰ模擬伝送路装置
６ ＩＰ網管理装置（監視サーバ）
７ ＩＰ網管理端末（第２端末）
８ 通信網運用管理装置
９ 通信網運用管理端末
ＲＴ ルータ（ＩＰ装置）
ＳＷ スイッチ（ＩＰ装置）
Ｔａ テスト用端末（第２端末）
Ｔｂ テスト用端末（第３端末）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13A】

【図13B】