特表 2024-546470 ネットワークデバイス試験システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-24

(54)【発明の名称】ネットワークデバイス試験システムおよび方法

(51)【国際特許分類】

   H04L 43/20 20220101AFI20241217BHJP

   H04W 28/084 20230101ALI20241217BHJP

   H04L 43/50 20220101ALI20241217BHJP

   H04W 24/06 20090101ALI20241217BHJP

   G06F 11/22 20060101ALI20241217BHJP

   H04B 17/00 20150101ALI20241217BHJP

【ＦＩ】

H04L43/20

H04W28/084

H04L43/50

H04W24/06

G06F11/22 621

H04B17/00 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024533316

(86)(22)【出願日】2022-04-29

(85)【翻訳文提出日】2024-06-04

(86)【国際出願番号】 US2022026892

(87)【国際公開番号】W WO2023211454

(87)【国際公開日】2023-11-02

(81)【指定国・地域】

(71)【出願人】

【識別番号】319010088

【氏名又は名称】楽天モバイル株式会社

(74)【代理人】

【識別番号】100109380

【弁理士】

【氏名又は名称】小西 恵

(74)【代理人】

【識別番号】100109036

【弁理士】

【氏名又は名称】永岡 重幸

(74)【代理人】

【識別番号】100188879

【弁理士】

【氏名又は名称】渡邉 未央子

(72)【発明者】

【氏名】トリベディ，シッダールタ

(72)【発明者】

【氏名】ムハマッド，オーン

【テーマコード（参考）】

5K067

【Ｆターム（参考）】

5K067AA21

5K067AA41

5K067EE10

5K067EE16

5K067LL08

(57)【要約】

コンピュータネットワークのためのデバイスを試験するシステムおよび方法が開示される。いくつかの実施形態では、試験シナリオは、少なくとも１つのコンピュータデバイスによって実装された１つまたは複数の仮想マシン（ＶＭ）上で実行され、その結果、１つまたは複数のＶＭは、試験シナリオを実行した結果として入力データを生成する。被試験ネットワークデバイス（ＮＤＵＴ）は、１つまたは複数のＶＭからの入力データに応答して試験シナリオを実行し、試験結果データを生成する。ＮＤＵＴが試験シナリオに合格したかどうかは、試験結果データに基づいて検出される。

【特許請求の範囲】

【請求項1】

コンピュータネットワーク用のデバイスを試験する方法であって、
少なくとも１つのコンピュータデバイスによって実装される１つまたは複数の仮想マシン（ＶＭ）上で試験シナリオを実行して、前記１つまたは複数のＶＭが前記試験シナリオを実行した結果としての入力データを生成することと、
前記１つまたは複数のＶＭからの前記入力データに応答して被試験ネットワークデバイス（ＮＤＵＴ）を動作させて試験結果データを生成させることと、
前記試験結果データに基づいて、前記ＮＤＵＴが前記試験シナリオに合格したかどうかを検出することと
を含む、方法。

【請求項2】

前記ＮＤＵＴが前記試験シナリオに合格したことに応答して、前記ＮＤＵＴを前記コンピュータネットワークに組み込むこと
をさらに含む、請求項１に記載の方法。

【請求項3】

前記１つまたは複数のＶＭは、仮想ネットワーク（ＶＮ）として動作するように構成され、
前記ＶＮはセルラネットワークの少なくとも一部をシミュレートする、
請求項１に記載の方法。

【請求項4】

前記１つまたは複数のＶＭ上で前記試験シナリオを実行する前に、前記方法は、
前記１つまたは複数のＶＭを実装することと、
前記１つまたは複数のＶＭの各々が動作可能であるかどうかを検出することと、
前記１つまたは複数のＶＭによる実施のために前記試験シナリオをロードすることと
をさらに含む、請求項１に記載の方法。

【請求項5】

前記１つまたは複数のＶＭによる実施のために前記試験シナリオを前記ロードする前に、前記方法は、
前記１つまたは複数のＶＭによる実施のために複数の試験シナリオから前記試験シナリオを選択すること
をさらに含む、請求項４に記載の方法。

【請求項6】

前記１つまたは複数のＶＭ上で前記試験シナリオを実行する前に、前記方法は、
前記ＮＤＵＴのインターフェースと前記１つまたは複数のＶＭとの間の接続を確立すること
をさらに含む、請求項１に記載の方法。

【請求項7】

前記ＮＤＵＴが前記試験シナリオに合格するかどうかを判定するために１つまたは複数のベンチマークを規定するベンチマークデータを生成すること
をさらに含み、
前記試験結果データに基づいて前記ＮＤＵＴが前記試験シナリオに合格するかどうかを前記検出することが、
前記試験結果データが前記ベンチマークデータに規定された前記ベンチマークを満たすかどうかを検出すること
を含む、請求項１に記載の方法。

【請求項8】

コンピュータネットワーク用のデバイスを試験するための装置であって、
コンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体と、
１つまたは複数のプロセッサを含み、前記１つまたは複数のプロセッサが前記コンピュータ実行可能命令を実行することに応答して、前記１つまたは複数のプロセッサが、
１つまたは複数の仮想マシン（ＶＭ）上で試験シナリオを実行し、その結果、前記１つまたは複数のＶＭは、試験シナリオを実行した結果として入力データを生成し、
前記１つまたは複数のＶＭからの前記入力データに応答して被試験ネットワークデバイス（ＮＤＵＴ）を動作させて試験結果データを生成させ、
前記試験結果データに基づいて、前記ＮＤＵＴが前記試験シナリオに合格したかどうかを検出する
ように構成されている、装置。

【請求項9】

前記１つまたは複数のＶＭは、仮想ネットワーク（ＶＮ）として動作するように構成され、
前記ＶＮはセルラネットワークの少なくとも一部をシミュレートする、
請求項８に記載の装置。

【請求項10】

前記１つまたは複数のＶＭ上で前記試験シナリオを実行する前に、前記１つまたは複数のプロセッサは、
前記１つまたは複数のＶＭを実装し、
前記１つまたは複数のＶＭの各々が動作可能であるかどうかを検出し、
前記１つまたは複数のＶＭによる実施のために前記試験シナリオをロードする
ようにさらに構成されている、請求項８に記載の装置。

【請求項11】

前記１つまたは複数のＶＭによる実施のために前記試験シナリオを前記ロードする前に、前記１つまたは複数のプロセッサは、
前記１つまたは複数のＶＭによる実施のために複数の試験シナリオから前記試験シナリオを選択する
ようにさらに構成されている、請求項１０に記載の装置。

【請求項12】

前記１つまたは複数のＶＭ上で前記試験シナリオを実行する前に、前記１つまたは複数のプロセッサは、
前記ＮＤＵＴのインターフェースと前記１つまたは複数のＶＭとの間の接続を確立する
ようにさらに構成されている、請求項８に記載の装置。

【請求項13】

前記１つまたは複数のプロセッサは、
前記ＮＤＵＴが前記試験シナリオに合格するかどうかを判定するために１つまたは複数のベンチマークを規定するベンチマークデータを生成する
ようにさらに構成されており、
前記１つまたは複数のプロセッサは、前記試験結果データが前記ベンチマークデータに規定された前記ベンチマークを満たすかどうかを検出することにより、
前記試験結果データに基づいて前記ＮＤＵＴが前記試験シナリオに合格するかどうかを検出するように構成されている、請求項８に記載の装置。

【請求項14】

前記試験シナリオは試験スクリプトを含む、請求項８に記載の装置。

【請求項15】

コンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体であって、１つまたは複数のプロセッサが前記コンピュータ実行可能命令を実行することに応答して、前記１つまたは複数のプロセッサが、
１つまたは複数の仮想マシン（ＶＭ）上で試験シナリオを実行し、その結果、前記１つまたは複数のＶＭが、前記試験シナリオを実行した結果として入力データを生成し、
前記１つまたは複数のＶＭからの前記入力データに応答して被試験ネットワークデバイス（ＮＤＵＴ）を動作させて試験結果データを生成させ、
前記試験結果データに基づいて、前記ＮＤＵＴが前記試験シナリオに合格したかどうかを検出する
ように構成される、非一時的コンピュータ可読媒体。

【請求項16】

前記１つまたは複数のＶＭは、仮想ネットワーク（ＶＮ）として動作するように構成され、
前記ＶＮはセルラネットワークの少なくとも一部をシミュレートする、
請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項17】

前記１つまたは複数のＶＭ上で前記試験シナリオを実行する前に、前記１つまたは複数のプロセッサは、
前記１つまたは複数のＶＭを実装し、
前記１つまたは複数のＶＭの各々が動作可能であるかどうかを検出し、
前記１つまたは複数のＶＭによる実施のために前記試験シナリオをロードする
ようにさらに構成されている、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項18】

前記１つまたは複数のＶＭによる実施のために前記試験シナリオを前記ロードする前に、前記１つまたは複数のプロセッサは、
前記１つまたは複数のＶＭによる実施のために複数の試験シナリオから前記試験シナリオを選択する
ようにさらに構成されている、請求項１７に記載の非一時的コンピュータ可読媒体。

【請求項19】

前記１つまたは複数のＶＭ上で前記試験シナリオを実行する前に、前記１つまたは複数のプロセッサは、
前記ＮＤＵＴのインターフェースと前記１つまたは複数のＶＭとの間の接続を確立する
ようにさらに構成されている、請求項１５に記載の非一時的コンピュータ可読媒体。

【請求項20】

前記１つまたは複数のプロセッサは、
前記ＮＤＵＴが前記試験シナリオに合格するかどうかを判定するために１つまたは複数のベンチマークを規定するベンチマークデータを生成する
ようにさらに構成されており、
前記１つまたは複数のプロセッサは、前記試験結果データが前記ベンチマークデータに規定された前記ベンチマークを満たすかどうかを検出することにより、
前記試験結果データに基づいて前記ＮＤＵＴが前記試験シナリオに合格するかどうかを検出するように構成されている、請求項１５に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

電気通信ネットワークシステムは、ネットワークデバイスおよび他のタイプのハードウェアを含む。このハードウェアのいくつかは、ネットワーク機能を実行するためのソフトウェアを実装する。場合によっては、新しいハードウェアおよび／またはソフトウェアがネットワークに組み込まれる。しかしながら、このハードウェアおよび／またはソフトウェアは、ハードウェアおよび／またはソフトウェアが適切に動作し、コンピュータネットワーク上で他の問題を引き起こすことがありえないことを確実にするために、コンピュータネットワークへの組み込み前に試験される。ハードウェアおよび／またはソフトウェアは、コンピュータネットワークにおけるコンピュータネットワーク機器と同様のコンピュータネットワーク機器を伴う実験室で試験される。このようにして、ハードウェア／ソフトウェアは、コンピュータネットワークへの組み込みの前にハードウェア／ソフトウェアをトラブルシューティングするために試験される。

【0002】

本開示の態様は、以下の詳細な説明を添付の図と併せて読めば最もよく理解される。業界の標準的習慣に従い、種々の特徴は、原寸に比例して描かれていない。実際には、種々の特徴の寸法は、説明を明確にするために、任意に増減されている。

【図面の簡単な説明】

【0003】

【図1】いくつかの実施形態に係る、コンピューティングシステムのブロック図である。

【0004】

【図2】いくつかの実施形態に係る、ＶＮに接続されたＮＤＵＴのブロック図である。

【0005】

【図3】いくつかの実施形態に係る、ＮＤＵＴに対して試験を実行する方法の流れ図である。

【0006】

【図4】いくつかの実施形態に係る、ＮＤＵＴの試験シナリオを説明する表である。

【0007】

【図5】いくつかの実施形態に係る、ＮＤＵＴの試験シナリオを説明する表である。

【0008】

【図6】いくつかの実施形態に係る、試験結果データである。

【0009】

【図7】いくつかの実施形態に係る、試験結果データである。

【0010】

【図8】いくつかの実施形態に係る、試験結果データである。

【0011】

【図9】いくつかの実施形態に係る、コンピュータネットワークのデバイスを試験する方法の流れ図である。

【発明を実施するための形態】

【0012】

以下の開示は、提供される主題の異なる特徴を実装するための多くの異なる実施形態または例を提供する。本開示を簡単にするために、構成要素、値、動作、材料、配置などの例が以下で説明される。当然ながら、これらは例であり、限定することを意図するものではない。他の構成要素、値、動作、材料、配置などが企図される。例えば、以下の説明における第２の特徴の上または上方での第１の特徴の形成は、第１の特徴と第２の特徴とが直接接触して形成される実施形態を含み、また第１の特徴と第２の特徴とが直接接触できないように、第１の特徴と第２の特徴との間に追加の特徴が形成される実施形態をさらに含む。加えて、本開示は、種々の例において参照符号および／または文字を繰り返す。この繰り返しは、簡潔さおよび明瞭さを目的としたものであり、説明される様々な実施形態間および／または構成間の関係を規定するものではない。

【0013】

さらに、真下（ｂｅｎｅａｔｈ）、下方（ｂｅｌｏｗ）、下方（ｌｏｗｅｒ）、上方（ａｂｏｖｅ）、上方（ｕｐｐｅｒ）などの空間的に相対的な語は、本明細書では、図面に示すような１つの要素または特徴と、別の１つまたは複数の要素または特徴との関係を説明するための説明を容易にするために使用される。空間的相対語は、図に示す向きに加えて、使用中または動作中のデバイスの異なる向きを包含することを意図するものである。装置は他の方向に向けられ（９０度または他の向きに回転され）、本明細書で使用されている空間的相対記述子（spatially relative descriptor）も、同様に適宜解釈される。

【0014】

コンピュータネットワークのためのデバイスを試験するシステムおよび方法が開示される。いくつかの実施形態では、コンピュータネットワークはセルラネットワークであるか、またはセルラネットワークを含む。デバイスは、被試験ネットワークデバイス（ＮＤＵＴ）と呼ばれる。ＮＤＵＴは、ＮＤＵＴがコンピュータネットワークにおいて動作可能であるか、または物理デバイスが適切に動作できないか、または試験がコンピュータネットワークに組み込まれたことに応答してコンピュータネットワーク内で問題または障害をもたらすかどうかを判定するために試験されるべき物理デバイスである。しかしながら、いくつかの実施形態では、コンピュータネットワークは、多数の、物理的コンピュータネットワークデバイスを含む。実験室での物理コンピュータネットワークデバイスの複製の作成は、面倒で高価である。したがって、本開示は、１つまたは複数の仮想マシン（ＶＭ）を実装することによってＮＤＵＴを試験する実施形態を含む。いくつかの実施形態では、ＶＭは仮想ネットワーク（ＶＮ）として構成される。ＶＮにおけるＶＭは、コンピュータデバイス（例えば、サーバ）上に実装され、および物理ネットワークデバイスの挙動をエミュレートする。いくつかの実施形態では、ＶＭは、コンピュータネットワークに組み込まれたときにＮＤＵＴが受信するのと同じ入力データを生成する。ＶＮにおけるＶＭを利用することにより、コンピュータネットワークからの物理コンピュータネットワークデバイスの一部または全部なしでＮＤＵＴが試験される。このようにして、いくつかの実施形態によれば、ＮＤＵＴは、それほど面倒でなく、安価な方式で試験される。

【0015】

図１は、いくつかの実施形態に係る、コンピューティングシステム１００のブロック図である。

【0016】

コンピューティングシステム１００は、コンピュータネットワーク試験デバイス１０２、少なくとも１つのデータベース１０４、コンピュータネットワーク１０５、およびユーザデバイス１０７を含む。図１では、コンピュータネットワーク１０５は、セルラネットワーク１０６およびインターネットプロトコル（ＩＰ）ネットワーク１０８を含む。いくつかの実施形態では、コンピュータネットワーク１０５は、ＩＰネットワーク１０８のみを含む。いくつかの実施形態では、コンピュータネットワーク１０５はセルラネットワーク１０６のみを含む。いくつかの実施形態では、コンピュータネットワーク１０５は、ＩＰネットワーク１０８のような複数のＩＰネットワークを含む。いくつかの実施形態では、コンピュータネットワーク１０５は、セルラネットワーク１０６のような複数のセルラネットワークを含む。

【0017】

いくつかの実施形態では、コンピュータネットワーク試験デバイス１０２およびセルラネットワーク１０６は、ＩＰネットワーク１０８を介して互いに接続される。いくつかの実施形態では、ＩＰネットワーク１０８は、広域ネットワーク（ＷＡＮ）（すなわち、インターネット）、ローカルエリアネットワーク（ＬＡＮ）、広域ローカルエリアネットワーク（ＷＬＡＮ）などを含む。いくつかの実施形態では、セルラネットワーク１０６は無線ＷＡＮ（ＷＷＡＮ）を含む。

【0018】

セルラネットワーク１０６は無線アクセスネットワーク（ＲＡＮ）１６０を含む。ＲＡＮ１６０は、セルラネットワーク１０６の無線要素である。ＲＡＮ１６０は、１つまたは複数の無線送受信機を含む基地局などのネットワーク要素を含む。基地局は、セルと呼ばれるランド領域をカバーする。携帯電話、スマートフォン、ラップトップなどのユーザ機器は、セルをカバーする基地局の各々に接続する。ＲＡＮ１６０は、トランスポート１８０によって提供されるバックホールリンクを介してコア１７０に接続する。

【0019】

コア１７０は、セルラネットワーク１０６全体の一部である。コア１７０は、モバイル加入者がサービス（例えば、国際通話、テキストメッセージング、ローカルセルラ通話）にアクセスすることを可能にする。いくつかの実施形態では、コア１７０は、加入者プロファイル情報、加入者の位置、サービスの認証、音声セッションおよびデータセッションに必要な切り替え機能の維持などの機能を担当する。コア１７０は、ネットワーク要素を含む。いくつかの実施形態では、ネットワーク要素は、モビリティ管理エンティティ（ＭＭＥ）、サービングゲートウェイ、マルチメディアブロードキャストマルチキャストサービス（ＭＢＭＳ）ゲートウェイ、ブロードキャストマルチキャストサービスセンタ（ＢＭ－ＳＣ）、およびパケットデータネットワーク（ＰＤＮ）ゲートウェイを含む。いくつかの実施形態では、ＭＭＥはホーム加入者サーバ（ＨＳＳ）と通信している。ＭＭＥは、ユーザ機器とコア１７０との間のシグナリングを処理する制御ノードである。一般に、ＭＭＥはベアラおよび接続管理を提供する。いくつかの実施形態では、インターネットプロトコル（ＩＰ）パケットは、ＩＰネットワーク１０８に接続された、サービングゲートウェイを介して転送される。

【0020】

トランスポート１８０は、セルラネットワーク１０６のコア１７０とＲＡＮ１６０とを接続するトランスポートネットワークを指す。トランスポート１８０は、バックホールリンク、コネクタ、リレー、ボイスオーバＩＰデバイス、または本開示の実施形態内の他の適切なネットワーク要素などのネットワーク要素１８２を含む。いくつかの実施形態では、トランスポート１８０は、マクロセルをスモールセル、無線ユニット、デジタルユニットなどに接続するフロントホールを含む。

【0021】

コンピュータネットワーク試験デバイス１０２（いくつかの実施形態ではサーバ１０２）は、少なくとも１つのプロセッサ１２６および非一時的コンピュータ可読媒体１２８を含むコンピュータデバイスである。非一時的コンピュータ可読媒体１２８は、コンピュータ実行可能命令１２４を記憶する。いくつかの実施形態では、非一時的コンピュータ可読媒体１２８は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、光ディスク記憶装置、磁気ディスク記憶装置、他の磁気記憶装置、前述のタイプのコンピュータ可読媒体の組み合わせ、またはコンピュータデバイスによってアクセスされる命令もしくはデータ構造の形態でコンピュータ実行可能コードを記憶するために使用されるいずれかの他の媒体を含む。プロセッサ１２６がコンピュータ実行可能命令１２４を実行すると、プロセッサ１２６はコンピュータネットワーク試験ソフトウェア１２７を実行する。

【0022】

いくつかの実施形態では、１つまたは複数の新しいネットワークデバイス（例えば、ネットワーク要素（ＮＥ））がコンピュータネットワーク１０５に組み込まれる。しかしながら、ネットワークデバイスをコンピュータネットワーク１０５に組み込まれる前に、これらの新しいネットワークデバイスの性能を試験して、新しいネットワークデバイスが問題を引き起こすことなくコンピュータネットワーク１０５に適切に組み込まれることを確実にする。したがって、トラブルシューティングおよびシステム性能は、ネットワークデバイスの組み込みの前に試験される。図１では、コンピュータネットワーク１０５への組み込み前に試験されているネットワークデバイスは、被試験ネットワークデバイス（ＮＤＵＴ）１３０と呼ばれる。いくつかの実施形態では、ＮＤＵＴ１３０またはＮＤＵＴ１３０のようなネットワークデバイスは、ＩＰネットワーク１０８に組み込まれるべきである。いくつかの実施形態では、ＮＤＵＴ１３０またはＮＤＵＴ１３０のようなネットワークデバイスは、ＲＡＮ１６０に組み込まれるべきである。いくつかの実施形態では、ＮＤＵＴ１３０またはＮＤＵＴ１３０のようなネットワークデバイスは、コア１７０に組み込まれるべきである。いくつかの実施形態では、ＮＤＵＴ１３０またはＮＤＵＴ１３０のようなネットワークデバイスは、トランスポート１８０に組み込まれるべきである。

【0023】

ＮＤＵＴ１３０の性能を試験するために、コンピュータネットワーク試験コンピュータソフトウェア１２７は、１つまたは複数の仮想マシン（ＶＭ）１３２を実装するように構成される。ＶＭ１３２は、物理的なコンピュータデバイスの動作をシミュレートするコンピュータソフトウェアである。いくつかの実施形態では、ＶＭ１３０は、ソフトウェアコードの実装を通じて存在するサーバ１０２内で動作するソフトウェア定義コンピュータである。いくつかの実施形態では、専用量のＣＰＵ、メモリ、およびストレージを伴う、コンピュータデバイスの仮想バージョンは、サーバ１０２（例えば、クラウドプロバイダのデータセンタにおけるサーバ）から借用される。いくつかの実施形態では、ＶＭ１３２は、ＶＭ１３２をコンピュータデバイスのように動作するように構成するコンピュータファイル（例えば、画像ファイル）によって定義される。いくつかの実施形態では、ＶＭ１３２は、ＶＭ１３２を実装しているサーバ１０２のコンピューティング環境とは異なる別個のコンピューティング環境として動作する。例えば、いくつかの実施形態では、ＶＭ１３２は、ＶＭ１３２を実装しているサーバ１０２とは異なるオペレーティングシステムを実行する。いくつかの実施形態では、ＶＭ１３２は、ＶＭ１３２内に実装されたソフトウェアがサーバ１０２のオペレーティングシステムと干渉しないように、サーバ１０２の残りの部分から分割される。

【0024】

コンピュータネットワーク試験ソフトウェア１２７は、１つまたは複数のＶＭ１３２が試験シナリオ１４８を実行した結果として入力データ１５０を生成するように、コンピュータネットワーク試験コンピューティングデバイス１０２によって実装されたＶＭ１３２上で試験シナリオ１４８を実行する変更要求を自動化するように構成される。いくつかの実施形態では、試験シナリオ１４８は、データベース１０４に記憶された試験スクリプトである。いくつかの実施形態では様々な状況で様々なタイプのＮＤＵＴ１３０を試験するために、様々な試験シナリオ１４８がデータベース１０４に記憶される。

【0025】

いくつかの実施形態では、試験シナリオ１４８は、ＶＭ１３２による実装のための複数の試験シナリオ１４８から選択される。いくつかの実施形態では、ＶＭ１３２によって実施されるべき試験シナリオ１４８は、ユーザデバイス１０７を介してユーザ１３０によって選択される。ユーザデバイス１０７は、非一時的コンピュータ可読媒体１３５および少なくとも１つのプロセッサ１３９を含む。非一時的コンピュータ可読媒体１３５は、コンピュータ実行可能命令１３７を記憶する。プロセッサ１３９がコンピュータ実行可能命令１３７を実行することに応答して、ユーザデバイス１０７は、ユーザ入力を受信し、コンピュータネットワーク試験コンピュータソフトウェア１２７にユーザ入力を送信するように構成される。コンピュータネットワーク試験コンピュータソフトウェア１２７は、ユーザ入力を処理して適切な試験シナリオ１４８を選択し、ユーザデバイス１０７から試験シナリオの関連パラメータ値を受信する。

【0026】

いくつかの実施形態では、ＶＭ１３２は、仮想ネットワーク（ＶＮ）１３４として動作するように構成される。いくつかの実施形態では、ＶＮ１３４は、コンピュータネットワーク１０５の少なくとも一部をシミュレートする。いくつかの実施形態では、ＶＮ１３４は、ＩＰネットワーク１０８の少なくとも一部をシミュレートする。いくつかの実施形態では、ＶＮ１３４は、セルラネットワーク１０６の少なくとも一部をシミュレートする。

【0027】

いくつかの実施形態では、入力データ１５０は、コンピュータネットワーク１０５に組み込まれているＮＤＵＴ１３２に応答してＮＤＵＴ１３２にデータを供給しているコンピュータネットワーク１０５の部分によって生成される同じ入力データである。入力データは、１つまたは複数のインターフェースを介してＮＤＵＴ１３２によって受信される。したがって、いくつかの実施形態では、ＶＮ１３４におけるＶＭ１３２は、ＮＤＵＴ１３２がコンピュータネットワーク１０５に組み込まれたことに応答してＮＤＵＴ１３２にデータを供給しているコンピュータネットワーク１０５の部分によって、入力データと同じフォーマットおよび同じシグナリングで入力データ１５０を生成する。いくつかの実施形態では、入力データ１５０は、ＶＮ１３４におけるＶＭ１３２からＮＤＵＴ１３０に直接供給される。いくつかの実施形態では、入力データ１５０は、データベース１０４にログとして記憶される。いくつかの実施形態では、ＮＤＵＴ１３０は、ＶＭ１３２によってデータベース１０４に記憶された後に入力データ１５０を受信する。

【0028】

ＮＤＵＴ１３０は、１つまたは複数のＶＭ１３２からの入力データ１５０に応答して試験結果データ１５２を生成する。試験結果データ１５２は、ＶＭ１３２によって実装された試験シナリオ１４８の下でのＮＤＵＴ１３０の性能を示す。コンピュータネットワーク試験コンピュータソフトウェア１２７は、試験結果データ１５２に基づいて、ＮＤＵＴ１３０が実施された試験シナリオ１４８に合格するかどうかを検出するように構成される。いくつかの実施形態では、試験結果データ１５２は、データベース１０４に記憶される。いくつかの実施形態では、ＮＤＵＴ１３０が実施された試験シナリオ１４８に合格するかどうかを判定するために、ＮＤＵＴが実施された試験シナリオ１４８に合格するかどうかを判定するための１つまたは複数のベンチマークを規定するコンピュータネットワーク試験コンピュータソフトウェア１２７によってベンチマークデータ１５４が生成される。いくつかの実施形態では、ベンチマークデータ１５４によって記述されるベンチマークは、ユーザデバイス１０７から受信されるユーザ入力に基づいて判定される。試験結果データ１５２に基づいてＮＤＵＴ１３０が試験シナリオ１４８に合格するかどうかを検出するために、コンピュータネットワーク試験コンピュータソフトウェア１２７は、試験結果データ１５２がベンチマークデータ１５４に規定されたベンチマークを満たすかどうかを検出するように構成される。試験シナリオ１４８（または複数の試験シナリオ１４８）に合格したことに応答して、ＮＤＵＴ１３０またはＮＤＵＴ１３０のようなネットワークデバイスがコンピュータネットワーク１０５に組み込まれる。

【0029】

図２は、いくつかの実施形態に係る、ＮＤＵＴ２００を試験するためにＶＮ２０２に接続されたＮＤＵＴ２００のブロック図である。

【0030】

ＮＤＵＴ２００は、いくつかの実施形態に係る、図１におけるＮＤＵＴ１３０の一例である。ＶＮ２０２は、いくつかの実施形態に係る、ＶＮ１３４の一例である。いくつかの実施形態では、ＶＮ２０２は、コンピュータネットワーク試験コンピュータソフトウェア１２７によって実装される。

【0031】

図２において、ＮＤＵＴ１３０は、集中ユニット（ＣＵ）である。より具体的には、ＣＵは、オープンＲＡＮ（ＯＲＡＮ）用であり、被試験（ＤＵＴ）のオープンＣＵ（ＯＣＵ）デバイスである。ＶＮ２０２を用いて１つまたは複数の試験シナリオを実装することによって、ＮＤＵＴ２００が実際にコンピュータネットワーク１０５に組み込まれると、ＮＤＵＴ２００が容量およびネットワークトラフィックを処理することができることを確実にするシステム試験が実行される。ハンドオーバ、データコール、ＰＷＳ配信、Ｆ１手順、Ｘ２Ｃ手順、Ｉｐ－Ｓｅｃ、またはソフトウェア過負荷状態中のソフトウェア品質およびピーク使用時間でのハードウェア性能を確保する本開示の実施形態に対する他の動作材料中にＮＤＵＴ２００が実行するかどうかを判定するために、異なるタイプの試験シナリオが実装される。試験シナリオの実装から生じる試験結果データを使用して、ネットワーク設計者は、ソフトウェアおよびハードウェアリソース効率を最大化するトポロジ設計を策定する。

【0032】

５Ｇ ＲＡＮは、ＣＵ（Ｃｅｎｔｒａｌｉｚｅｄ Ｕｎｉｔ（集中ユニット））およびＤＵ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｕｎｉｔ（分散ユニット））と命名される２つの物理エンティティに分割される。オープンシステム相互接続（ＯＳＩは、コンピュータシステムがネットワークを介して通信するために使用する７つのレイヤを記述するモデルである）レイヤの説明に関連して、ＣＵは、サービスデータ適応プロトコル（ＳＤＡＰは、３ＧＰＰ（登録商標）によって指定されるプロトコルであり、サービスフローの品質をベアラサービスにマッピングする）、パケットデータコンバージェンスプロトコル（ＰＤＣＰは、ＲＲＣおよびユーザプレーン上位レイヤ、例えばＵＥにおけるＩＰまたは基地局におけるリレーにサービスを提供する）、および無線リソース制御（ＲＲＣは、ＵＥと基地局との間で使用されるネットワークレイヤプロトコルである）などのプロトコルスタックの上位レイヤのサポートを提供し、ＤＵは、無線リンク制御（ＲＬＣは、ＵＭＴＳ、ＬＴＥ、および５Ｇで使用されるレイヤ２無線リンクプロトコルである）、メディアアクセス制御（ＭＡＣは、ネットワークセグメント内の通信でネットワークアドレスとして使用するためにネットワークインターフェースコントローラ（ＮＩＣ）に割り当てられた一意の識別子である）、および物理レイヤなどのプロトコルスタックの下位レイヤのサポートを提供する。１つのＣＵは複数のＤＵを制御し、例えば１００を超えるＤＵが１つのＣＵに接続される。各ＤＵは、セル５１４のような１つまたは複数のセルをサポートするので、１つのＣＵは数百のセルを制御する。

【0033】

ＶＭは形容詞仮想によって示され、非仮想マシンおよび物理マシンは、この説明を通じて形容詞物理によって示される。この実施形態では、ＮＤＵＴ２００は、ＶＮ２０２に加えてネットワークデバイスに接続されている。ネットワークデバイスは、オープン分散ユニット（Ｏ－ＤＵ）２０４を含む。Ｏ－ＤＵ２０４およびＮＤＵＴ２００は、Ｆ１－Ｃ／Ｕインターフェースを介して接続されている。Ｆ１インターフェースは、ｇＮＢ ＣＵをｇＮＢ ＤＵに接続する。このインターフェースは、ＣＵ－ＤＵ分割ｇＮＢアーキテクチャに適用可能である。Ｆ１（Ｆ１－Ｃ）の制御プレーンはＣＵとＤＵとの間のシグナリングを可能にし、Ｆ１（Ｆ１－Ｕ）のユーザプレーンはアプリケーションデータの転送を可能にする。Ｏ－ＤＵ２０４は、オープン無線ユニット（Ｏ－ＲＵ）２０６に接続されている。無線ユニット（ＲＵ）の目的は、アンテナとの間で送信される無線信号を、フロントホールを介してＤＵに送信されるデジタル信号に変換することである。いくつかの実施形態では、Ｏ－ＤＵ２０４は、オープンフロントホール（Ｏ－ＦＨ）インターフェースを介してＯ－ＲＵ２０６に接続されている。フロントホールインターフェースは、Ｏ－ＲＡＮフロントホール仕様に従って、Ｏ－ＤＵとＯ－ＲＵとの間の通信を実行し、複数のハードウェア（ＨＷ）およびソフトウェア（ＳＷ）構成要素からなる。ＮＤＵＴ２００は、Ｘ２－Ｃ／Ｕインターフェースを介してＬＴＥ ｅＮＢ２０８と接続されている。Ｏ－ＲＵ２０６とＬＴＥ ｅＮＢ２０８との両方は、ユーザ機器（ＵＥ）２１０に接続されている。Ｘ２インターフェースは、Ｘ２－ＣおよびＸ２－Ｕインターフェースに分割され、前者は制御プレーン用であり、後者はユーザプレーン用である。両方とも、４ＧネットワークのｅＮＢ間、またはｅＮＢと５Ｇネットワークのｅｎ－ｇＮＢとの間で情報を送信するために３ＧＰＰによって元々設計されている。Ｏ－ＲＡＮアライアンスのドキュメントでは、インターフェースは同じ原理およびプロトコルを有する。

【0034】

ＮＤＵＴ２００はＶＮ２０２にも結合されている。ＶＮ２０２は、複数のＶＭを含む。ＶＭは、ＬＴＥ仮想コア２１２および５Ｇ仮想コア２１４を含む。ＬＴＥ仮想コア２１２および５Ｇ仮想コア２１４は、インターネット２１６に接続される。いくつかの実施形態では、インターネット２１６は、図１のＩＰネットワーク１０８の一例である。ＬＴＥ仮想コア２１２は、Ｓ１－Ｃ／Ｕインターフェースを介してＮＤＵＴ２００に接続されている。ＬＴＥ仮想コア２１２は、Ｓ１－Ｃ／Ｕインターフェースを介してＬＴＥ ｅＮＢ２０８と接続されている。５Ｇ仮想コア２１４は、ＮＧＡＰインターフェースを介してＮＤＵＴ２００に接続されている。Ｓ１－ＣＰは制御プレーンであり、Ｓ１－ＵはＬＴＥ ｅＮｏｄｅＢとＬＴＥサービングゲートウェイ（Ｓ－ＧＷ）との間で定義されるユーザプレーン外部インターフェース（Ｓ１－Ｕ）である。

【0035】

ＶＮ２０２は、仮想Ｏ－ＤＵ２１８をさらに含む。仮想Ｏ－ＤＵ２１８の各々は、Ｆ１－Ｃ／Ｕインターフェースを介してＮＤＵＴ２００に接続されている。仮想Ｏ－ＤＵ２１８の各々は、仮想Ｏ－ＦＨインターフェースを介して仮想Ｏ－ＲＵ２２０に接続されている。仮想Ｏ－ＲＵ２２０の各々は、仮想ＵＥ２２２に接続されている。仮想ＵＥ２２２は、仮想ＬＴＥ ｅＮＢ２２４に接続されている。仮想ＬＴＥ ｅＮＢ２２４は、Ｘ２－Ｃ／ＣＵインターフェースを介してＮＤＵＴ２００に接続されている。

【0036】

次いで、試験シナリオは、ＶＮ２０２を使用して、異なるトラフィックおよびネットワーク条件におけるＮＤＵＴ２００の性能を判定し、ＮＤＵＴ２００が何らかの性能問題を有するかどうかを判定するように実装される。そうでない場合、ＮＤＵＴ２００またはＮＤＵＴ２００と同様の（例えば、同じ）ネットワークデバイスがセルラネットワーク１０６に組み込まれる。いくつかの実施形態では、ＶＮ２０２によってエミュレートされるネットワークデバイスをＮＤＵＴ２００の試験のために実験室に持ち込むための費用およびロジスティクスからすると、ＶＮ２０２を使用する利点は明らかである。

【0037】

図３は、いくつかの実施形態に係る、ＮＤＵＴに対して試験を実行する方法の流れ図３００である。

【0038】

流れ図３００はブロック３０２～３１８を含む。いくつかの実施形態では、流れ図３００は、図１に示すコンピュータネットワーク試験コンピュータソフトウェア１２７によって実行される。いくつかの実施形態では、ＮＤＵＴは図２に示すＮＤＵＴ２００であり、試験は図２に示すＶＮ２０２を用いて実行される。流れはブロック３０２で開始する。

【0039】

ブロック３０２において、コンピュータネットワーク試験コンピュータデバイス１０２は、ＮＤＵＴ２００に対する試験を実行するために準備され、コンピュータネットワーク試験コンピュータソフトウェア１２７の事前チェックが実行される。いくつかの実施形態では、これは、ＶＮ２０２にＶＭ（例えば、ＶＭ２１２、２１４、２１８、２２０、２２２、および２２４）を実装すること、およびＶＭが動作可能であるかどうかを検出することを含む。いくつかの実施形態では、ユーザデバイス１０７を用いてユーザ１３０は、ＶＭが動作していること、およびＶＭの動作における問題を示すアラームまたはフラグがないことを確認する。その後、流れはブロック３０４に進む。

【0040】

ブロック３０４において、実行のために複数の試験シナリオから試験シナリオが選択される。いくつかの実施形態では、ユーザ１３０は、ユーザデバイス１０７を用いて試験シナリオを選択する。いくつかの実施形態では、ユーザ１３０はまた、ユーザデバイス１０７を用いて試験シナリオのためにユーザ入力を生成する。ユーザ入力は、選択された試験シナリオのパラメータ値を提供する。試験シナリオには、ＤＵ設定シナリオ（すなわち、Ｆ１設定手順）、Ｉｐ－ｓｅｃトンネル確立シナリオ、ハンドオーバプロファイル、およびハンドオーバ転送なしシナリオが含まれる。ユーザ入力は、実装されるべきいくつかのタイプのＶＭ、試験期間、ネットワークトラフィックの記述およびネットワークトラフィックの量などを含む。いくつかの実施形態では、試験シナリオは試験スクリプトである。いくつかの実施形態では、試験スクリプトは、試験スクリップの選択および試験スクリプトに関連するユーザ入力に応答してロードされる。その後、流れはブロック３０６に進む。

【0041】

ブロック３０６において、ＮＤＵＴ２００のインターフェースとＶＭとの間の接続が確立される。ＮＤＵＴ２００のインターフェースの例には、Ｆ１－Ｃ／Ｕ、Ｘ２－Ｃ／Ｕ、ＮＧＡＰ（ＮＧ－ＲＡＮノードとアクセスおよびモビリティ管理機能（ＡＭＦ）との間の制御プレーンシグナリングを提供する）などが含まれる。その後、流れはブロック３０８に進む。

【0042】

ブロック３０８において、コンピュータネットワーク試験コンピュータソフトウェア１２７は、ＶＮ２０２およびＮＤＵＴ２００におけるＶＭを用いて選択された試験シナリオを実施する。図１に関して前述したように、ＶＮ２０２におけるＶＭは、試験シナリオの下で対応するネットワークデバイスと同じ方式で入力データを生成する。入力データは、ＮＤＵＴ２００に入力される。その後、流れはブロック３１０に進む。

【0043】

ブロック３１０において、ＮＤＵＴ２００は、ブロック３０８から生じる入力データに応答して試験結果データを生成する。いくつかの実施形態では、試験結果データは、ＮＤＵＴの性能、システム安定性パラメータ、３ＧＰＰ仕様コールフローの統計的検証、およびＮＤＵＴ２００によるあらゆるクラッシュまたは異常な挙動を示す報告を含む。

【0044】

ブロック３１２において、試験結果データが解析されて、ＮＤＵＴ２００がベンチマークに準拠しているかどうかが判定される。ＮＤＵＴ２００によって生成された試験結果データがベンチマークに準拠していると判定したことに応答して、ＮＤＵＴ２００はブロック３１４において試験シナリオに合格する。いくつかの実施形態では、次いで、ユーザ１３０は、別の試験シナリオを実施するために再びブロック３０２に進む。他の実施形態では、それ以上の試験シナリオは実装されず、ＮＤＵＴ２００またはＮＤＵＴ２００のようなネットワークデバイスはセルラネットワーク１０６に組み込まれる。

【0045】

ＮＤＵＴ２００によって生成された試験結果データがベンチマークに準拠していないと判定したことに応答して、ＮＤＵＴ２００は、ブロック３１６において試験シナリオに合格しない。ＮＤＵＴ２００が試験シナリオに合格しないことに応答して、コンピュータネットワーク試験コンピュータソフトウェア１２７は、ブロック３１８において、試験シナリオから生じる何らかのソフトウェアまたはハードウェアの問題に関する報告を生成する。

【0046】

図４は、いくつかの実施形態に係る、ＮＤＵＴの様々な試験シナリオを説明する表４００である。

【0047】

表４００に示す試験シナリオは、ＮＤＵＴがＯ－ＣＵであるときの試験シナリオの一実施形態に関する。表４００はまた、試験シナリオがＬＴＥ、５Ｇ ＮＳＡ、５Ｇ ＳＡ、および試験プロファイルの技術に関連するかどうかを示す。

【0048】

試験シナリオ１～５は、セルラネットワークの一部をＮＤＵＴでセットアップし、セルラネットワークの一部の安定性を、ＮＤＵＴを用いてチェックするための試験シナリオに関する。いくつかの実施形態では、試験シナリオ１～５は、エンドツーエンド（Ｅ２Ｅ）Ｏ－ＲＡＮ実環境を実行するＤＵシミュレーション環境であるＶＮ（例えば、ＶＮ２０２）に関連する。

【0049】

試験シナリオ１は、ＮＤＵＴの最小負荷（すなわち、この例では、Ｏ－ＣＵ）を判定するためにＦ１セットアップシナリオを実装する試験シナリオである。

【0050】

試験シナリオ２は、ＮＤＵＴのピーク負荷（すなわち、Ｏ－ＣＵあたりの最大サポートＤＵ／セル）を判定する試験シナリオである。

【0051】

試験シナリオ３は、ＩＰ－Ｓｅｃを用いたＮＤＵＴのピーク負荷の試験シナリオである。

【0052】

試験シナリオ４は、ＮＤＵＴと接続可能な関連するＸ２Ｃ／Ｘ２Ｕインターフェースの最大数を検証する試験シナリオである。

【0053】

試験シナリオ５は、ＮＤＵＴと接続可能な関連するＮＧＡＰインターフェースの最大数を検証する試験シナリオである。

【0054】

試験シナリオ６～１１は、ＶＮによってシミュレートされているＵＥに関連する特定のシナリオの場合の、ＮＤＵＴの性能の試験に関連する。

【0055】

試験シナリオ６は、ＮＤＵＴに接続するサポートされているユーザの最大数を検出する試験シナリオである。

【0056】

試験シナリオ７は、ＮＤＵＴからデタッチするユーザの最大数を検出する試験シナリオである。

【0057】

試験シナリオ８は、最大数のユーザデバイスをＮＤＵＴに登録する最大数のユーザを検出する試験シナリオである。

【0058】

試験シナリオ９は、ＮＤＵＴから登録解除するユーザの数を検出する試験シナリオである。

【0059】

試験シナリオ１０は、ＮＤＵＴに接続されたセルごとに分割されたデータアップロードおよびデータダウンロードを提供する最大サポートユーザを試験する試験シナリオである。

【0060】

試験シナリオ１１は、ＮＤＵＴに接続されたセルごとに分割されないデータアップロードおよびデータダウンロードを提供する最大サポートユーザを試験する試験シナリオである。

【0061】

図５は、いくつかの実施形態に係る、ＮＤＵＴの様々な試験シナリオを説明する表５００である。

【0062】

試験シナリオ１２～１８は、ＶＮによってシミュレートされている試験シナリオを実行することによって、長期間にわたってＮＤＵＴの性能を試験することに関する。

【0063】

試験シナリオ１２は、いくつかのユーザがそれらのユーザデバイスを用いて長期間にわたるウェブブラウジングする場合の、ＮＤＵＴの性能を検出する試験シナリオである。

【0064】

試験シナリオ１３は、いくつかのユーザがそれらのユーザデバイスを用いて長期間にわたってファイルをアップロードおよびダウンロードする場合の、ＮＤＵＴの性能を検出する試験シナリオである。

【0065】

試験シナリオ１４は、いくつかのユーザがそれらのユーザデバイスを用いて長期間にわたって音声サービスを実施する場合の、ＮＤＵＴの性能を検出する試験シナリオである。

【0066】

試験シナリオ１５は、いくつかのユーザがそれらのユーザデバイスを用いて長期間にわたってビデオストリーミングサービスを実施する場合の、ＮＤＵＴの性能を検出する試験シナリオである。

【0067】

試験シナリオ１６は、いくつかのユーザがそれらのユーザデバイスを用いて長期間にわたって試験シナリオ１２～１５で実装されているサービスの混合を実装する場合の、ＮＤＵＴの性能を検出する試験シナリオである。

【0068】

試験シナリオ１７は、いくつかのユーザがそれらのユーザデバイスを用いて長期間にわたって、地震または津波警報システム（ＥＴＷＳは、地震または津波のような緊急事態の特定のエリアにおけるＵＥに通知するための公共警報システム（ＰＷＳ）の一種である）試験を実施する場合の、ＮＤＵＴの性能を検出する試験シナリオである。

【0069】

試験シナリオ１８は、いくつかのユーザがそれらのユーザデバイスを用いて長期間にわたってネットワークスライシングを実施する場合の、ＮＤＵＴの性能を検出する試験シナリオである。５Ｇネットワークスライシングは、同じ物理ネットワークインフラストラクチャ上の仮想化された独立した論理ネットワークの多重化を可能にするネットワークアーキテクチャである。各ネットワークスライスは、特定のアプリケーションによって要求される多様な要件を満たすように調整された分離されたエンドツーエンドネットワークである。このため、この技術は、異なるサービスレベル要件（ＳＬＲ）を伴う多数のサービスを効率的に包含するように設計された５Ｇモバイルネットワークをサポートする。ネットワークのこのサービス指向のビューの実現は、一般的なネットワークインフラストラクチャの上で柔軟でスケーラブルなネットワークスライスの実装を可能にするソフトウェア定義ネットワーキング（ＳＤＮ）およびネットワーク機能仮想化（ＮＦＶ）の概念を活用する。

【0070】

ビジネスモデルの観点から、各ネットワークスライスは、モバイル仮想ネットワークオペレータ（ＭＶＮＯ）によって管理される。インフラストラクチャプロバイダ（電気通信インフラストラクチャの所有者）は、基礎となる物理ネットワークを共有するＭＶＮＯに物理リソースをリースする。割り当てられたリソースの可用性により、ＭＶＮＯは、ユーザに提供される様々なアプリケーションにカスタマイズされた複数のネットワークスライスを自律的に展開する。

【0071】

図６は、いくつかの実施形態に係る、試験結果データである。

【0072】

図６は、図４の試験シナリオ８の試験結果データである。試験結果データは、データ構造６００である。データ構造６００はｄｕ＿ｉｎｆｏ構造６０２、６０４を含む。ｄｕ＿ｉｎｆｏ構造６０２、６０４の各々は、ＤＵ（すなわち、ｄｕ＿ｉｎｆｏ構造６０２、６０４におけるＤＵＩＤ）の識別フィールドを含む。ｄｕ＿ｉｎｆｏ構造６０２は、キャリア情報サブ構造６０６、６０８、６１０（すなわち、ｄｕ＿ｉｎｆｏ構造６０２におけるｃａｒｒｉｅｒ＿ｉｎｆｏ）を含む。ｄｕ＿ｉｎｆｏ構造６０４は、キャリア情報サブ構造６１２、６１４、６１６（すなわち、ｄｕ＿ｉｎｆｏ構造６０４におけるｃａｒｒｉｅｒ＿ｉｎｆｏ）を含む。

【0073】

キャリア情報サブ構造６０６、６０８、６１０、６１２、６１４、６１６の各々は、セルのアイデンティティ（すなわち、キャリア情報サブ構造６０６、６０８、６１０、６１２、６１４、６１６におけるｃｅｌｌｉｄｅｎｔｉｔｙ）を含む。キャリア情報サブ構造６０６、６０８、６１０、６１２、６１４、６１６の各々は、ＸＸＸ（すなわち、キャリア情報サブ構造６０６、６０８、６１０、６１２、６１４、６１６におけるｎｒｐｃｉ）を含む。各５Ｇ ｎｅｗ ｒａｄｉｏ（ＮＲ）セルは物理セルＩＤ（ＰＣＩ）に対応し、ＰＣＩは無線側のセルを区別するために使用される。５Ｇ ＮＲのためのＰＣＩ計画は、ＬＴＥのためのＰＣＩ計画および３Ｇ ＵＭＴＳのためのスクランブリングコード計画と同様である。キャリア情報サブ構造６０６、６０８、６１０、６１２、６１４、６１６の各々は、セルの状態（すなわち、キャリア情報サブ構造６０６、６０８、６１０、６１２、６１４、６１６におけるｃｅｌｌ＿ｓｔａｔｅ）を識別するフィールドを含む。キャリア情報サブ構造６０６、６０８、６１０、６１２、６１４、６１６の各々は、セル（すなわち、キャリア情報サブ構造６０６、６０８、６１０、６１２、６１４、６１６におけるｓｅｒｖｉｃｅ＿ｓｔａｔｅ）に関連するサービス状態を識別するフィールドを含む。

【0074】

図７は、いくつかの実施形態に係る、試験結果データである。

【0075】

図７は、図４における試験シナリオ１の試験結果データである。試験結果データは、ＮＤＵＴ上に実装されている異なるソフトウェアアプリケーションを識別する表７００である。表７００は、ＮＤＵＴが２１時間の長期間の間アプリケーションを実行したことを識別する。この実施形態では、試験結果データは、ベンチマークが、アプリケーションがＮＤＵＴ上で２１時間連続して正常に実行されるかどうかであるため、試験シナリオが成功したことを示す。

【0076】

図８は、いくつかの実施形態に係る、試験結果データである。

【0077】

図８は、図５における試験シナリオ１５の試験結果データである。試験結果データは、ＮＤＵＴが特定のＩＰアドレスを伴うユーザデバイスに接続するかどうかを識別する表８００である。表８００は、ＮＤＵＴがユーザデバイスとの接続を確立したことを識別する。この実施形態では、試験結果データは、ベンチマークが、ＮＤＵＴがＩＰアドレスによって識別されるユーザデバイスの各々への接続の確立に成功したかどうかであるため、試験シナリオが成功したことを示す。

【0078】

図９は、いくつかの実施形態に係る、コンピュータネットワークのデバイスを試験する方法の流れ図９００である。

【0079】

いくつかの実施形態では、流れ図９００は、コンピュータネットワーク試験コンピュータデバイス１０２のコンピュータネットワーク試験コンピュータソフトウェア１２７によって実施される。流れ図９００は、ブロック９０２～９１８を含む。流れはブロック９０２において開始する。

【0080】

ブロック９０２において、１つまたは複数のＶＭが実装される。ＶＭの例は、図１のＶＭ１３２、図２のＶＭ２１２、２１４、２１８、２２０、２２２、２２４を含む。いくつかの実施形態では、ＶＭは、図１のＶＮ１３４および図２のＶＮ２０２などのＶＮとして構成される。その後、流れはブロック９０４に進む。

【0081】

ブロック９０４において、１つまたは複数のＶＭが動作しているかどうかの判定が行われる。その後、流れはブロック９０６に進む。

【0082】

ブロック９０６において、ＮＤＵＴのインターフェースと１つまたは複数のＶＭとの間に接続が確立される。ＮＤＵＴの例は、図１のＮＤＵＴ１３０および図２のＮＤＵＴ２００である。いくつかの実施形態によれば、インターフェースの一例は、図１に示すＮＤＵＴ１３０のインターフェースである。いくつかの実施形態によれば、インターフェースの他の例は、図２に示すＦ１－Ｃ／Ｕ、Ｘ２－Ｃ／Ｕ、およびＮＧＡＰインターフェースである。その後、流れはブロック９０８に進む。

【0083】

ブロック９０８において、試験シナリオが、１つまたは複数のＶＭの実装のための複数のシナリオから選択される。試験シナリオの一例は、図１の試験シナリオ１４８である。試験シナリオの他の例は、図４および図５で説明した試験シナリオ１～１８である。その後、流れはブロック９１０に進む。

【0084】

ブロック９１０において、ＮＤＵＴが試験シナリオに合格するかどうかを判定するために１つまたは複数のベンチマークを規定したベンチマークデータが生成される。ベンチマークデータの一例は、図１のベンチマークデータ１５４である。その後、流れはブロック９１２に進む。

【0085】

ブロック９１２において、試験シナリオは、１つまたは複数のＶＭによる実装のためにロードされる。いくつかの実施形態では、試験シナリオは試験スクリプトである。その後、流れはブロック９１４に進む。

【0086】

ブロック９１４において、試験シナリオは、少なくとも１つのコンピュータデバイスによって実装された１つまたは複数のＶＭ上で実行され、その結果、１つまたは複数のＶＭは、試験シナリオを実行した結果として入力データを生成する。入力データの一例は、図１に示す入力データ１５０である。その後、流れはブロック９１６に進む。

【0087】

ブロック９１６において、ＮＤＵＴが動作させられ、 が生成される。試験結果データの一例は、図１に示す試験結果データ１５２である。試験結果データの他の例を図６、図７および図８に示す。その後、流れはブロック９１８に進む。

【0088】

ブロック９１８において、試験結果データに基づいて、ＮＤＵＴが試験シナリオに合格したかどうかに関する検出が行われる。いくつかの実施形態では、ＮＤＵＴが試験シナリオに合格するかどうかは、ベンチマークデータのベンチマークに基づく。

【0089】

いくつかの実施形態では、コンピュータネットワーク用のデバイスを試験する方法は、少なくとも１つのコンピュータデバイスによって実装される１つまたは複数の仮想マシン（ＶＭ）上で試験シナリオを実行して、１つまたは複数のＶＭが試験シナリオを実行した結果としての入力データを生成すること、前記１つまたは複数のＶＭからの前記入力データに応答して被試験ネットワークデバイス（ＮＤＵＴ）を動作させて試験結果データを生成させること、および試験結果データに基づいて、ＮＤＵＴが試験シナリオに合格したかどうかを検出することを含む。いくつかの実施形態では、本方法は、ＮＤＵＴが試験シナリオに合格したことに応答して、ＮＤＵＴまたはＮＤＵＴと同様の第２のネットワークデバイスをコンピュータネットワークに組み込むことをさらに含む。いくつかの実施形態では、コンピュータネットワークはセルラネットワークを含み、１つまたは複数のＶＭは、仮想ネットワーク（ＶＮ）として動作するように構成され、ＶＮはセルラネットワークの少なくとも一部をシミュレートする。いくつかの実施形態では、１つまたは複数のＶＭ上で試験シナリオを実行する前に、本方法は、１つまたは複数のＶＭを実装すること、１つまたは複数のＶＭが動作可能であるかどうかを検出すること、および１つまたは複数のＶＭによる実施のために試験シナリオをロードすることをさらに含む。いくつかの実施形態では、１つまたは複数のＶＭによる実施のために試験シナリオをロードする前に、本方法は、１つまたは複数のＶＭによる実施のために複数の試験シナリオから試験シナリオを選択することをさらに含む。いくつかの実施形態では、１つまたは複数のＶＭ上で試験シナリオを実行する前に、本方法は、ＮＤＵＴのインターフェースと１つまたは複数のＶＭとの間の接続を確立することをさらに含む。いくつかの実施形態では、本方法は、ＮＤＵＴが試験シナリオに合格するかどうかを判定するために１つまたは複数のベンチマークを規定するベンチマークデータを生成することをさらに含み、試験結果データに基づいてＮＤＵＴが試験シナリオに合格するかどうかを検出することが、試験結果データがベンチマークデータに規定されたベンチマークを満たすかどうかを検出することを含む。

【0090】

いくつかの実施形態では、コンピュータネットワーク用のデバイスを試験するための装置は、コンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体と、１つまたは複数のプロセッサを含み、１つまたは複数のプロセッサがコンピュータ実行可能命令を実行することに応答して、１つまたは複数のプロセッサは、１つまたは複数の仮想マシン（ＶＭ）上で試験シナリオを実行し、その結果、１つまたは複数のＶＭは、試験シナリオを実行した結果として入力データを生成し、前記１つまたは複数のＶＭからの前記入力データに応答して被試験ネットワークデバイス（ＮＤＵＴ）を動作させて試験結果データを生成させ、試験結果データに基づいて、ＮＤＵＴが試験シナリオに合格したかどうかを検出するように構成される。いくつかの実施形態では、１つまたは複数のＶＭは、仮想ネットワーク（ＶＮ）として動作するように構成され、ＶＮはセルラネットワークの少なくとも一部をシミュレートする。いくつかの実施形態では、１つまたは複数のＶＭ上で試験シナリオを実行する前に、１つまたは複数のプロセッサは、１つまたは複数のＶＭを実装し、１つまたは複数のＶＭが動作可能であるかどうかを検出し、１つまたは複数のＶＭによる実施のために試験シナリオをロードするようにさらに構成される。いくつかの実施形態では、１つまたは複数のＶＭによる実施のために試験シナリオをロードする前に、１つまたは複数のプロセッサは、１つまたは複数のＶＭによる実施のために複数の試験シナリオから試験シナリオを選択するようにさらに構成される。いくつかの実施形態では、１つまたは複数のＶＭ上で試験シナリオを実行する前に、１つまたは複数のプロセッサは、ＮＤＵＴのインターフェースと１つまたは複数のＶＭとの間の接続を確立するようにさらに構成される。いくつかの実施形態では、１つまたは複数のプロセッサは、ＮＤＵＴが試験シナリオに合格するかどうかを判定するために１つまたは複数のベンチマークを規定するベンチマークデータを生成するようにさらに構成され、１つまたは複数のプロセッサは、試験結果データがベンチマークデータに規定されたベンチマークを満たすかどうかを検出することにより、試験結果データに基づいてＮＤＵＴが試験シナリオに合格するかどうかを検出するように構成される。いくつかの実施形態では、試験シナリオは試験スクリプトを含む。

【0091】

いくつかの実施形態では、コンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体であって、１つまたは複数のプロセッサがコンピュータ実行可能命令を実行することに応答して、１つまたは複数のプロセッサは、１つまたは複数の仮想マシン（ＶＭ）上で試験シナリオを実行し、その結果、１つまたは複数のＶＭは、試験シナリオを実行した結果として入力データを生成し、前記１つまたは複数のＶＭからの前記入力データに応答して被試験ネットワークデバイス（ＮＤＵＴ）を動作させて試験結果データを生成させ、試験結果データに基づいて、ＮＤＵＴが試験シナリオに合格したかどうかを検出するように構成される。いくつかの実施形態では、１つまたは複数のＶＭは、仮想ネットワーク（ＶＮ）として動作するように構成され、ＶＮはセルラネットワークの少なくとも一部をシミュレートする。いくつかの実施形態では、１つまたは複数のＶＭ上で試験シナリオを実行する前に、１つまたは複数のプロセッサは、１つまたは複数のＶＭを実装し、１つまたは複数のＶＭが動作可能であるかどうかを検出し、１つまたは複数のＶＭによる実施のために試験シナリオをロードするようにさらに構成される。いくつかの実施形態では、１つまたは複数のＶＭによる実施のために試験シナリオをロードする前に、１つまたは複数のプロセッサは、１つまたは複数のＶＭによる実施のために複数の試験シナリオから試験シナリオを選択するようにさらに構成される。いくつかの実施形態では、１つまたは複数のＶＭ上で試験シナリオを実行する前に、１つまたは複数のプロセッサは、ＮＤＵＴのインターフェースと１つまたは複数のＶＭとの間の接続を確立するようにさらに構成される。いくつかの実施形態では、１つまたは複数のプロセッサは、ＮＤＵＴが試験シナリオに合格するかどうかを判定するために１つまたは複数のベンチマークを規定するベンチマークデータを生成するようにさらに構成され、１つまたは複数のプロセッサは、試験結果データがベンチマークデータに規定されたベンチマークを満たすかどうかを検出することにより、試験結果データに基づいてＮＤＵＴが試験シナリオに合格するかどうかを検出するように構成される。

【0092】

以上は、当業者が本開示の態様をよりよく理解するように、いくつかの実施形態の特徴を概説している。当業者は、本明細書で紹介した実施形態の同じ目的を実行し、および／または同じ利点を達成するための他のプロセスおよび構造を設計または修正するための基礎として、本開示の容易な使用を理解する。当業者はまた、かかる同等の構成が本開示の趣旨および範囲から逸脱しないこと、ならびに本開示の趣旨および範囲から逸脱することなく、本明細書において種々の変更、置換、および変更が行われることも理解する。

【0093】

本開示の態様は、上記の詳細な説明を添付の図と併せて読めば最もよく理解される。業界の標準的習慣に従い、種々の特徴は、原寸に比例して描かれていない。実際には、種々の特徴の寸法は、説明を明確にするために、任意に増減されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】