特開 2024-84931 試験システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024084931

(43)【公開日】2024-06-26

(54)【発明の名称】試験システム

(51)【国際特許分類】

   H04B 17/10 20150101AFI20240619BHJP

   H04M 1/24 20060101ALI20240619BHJP

   H04B 17/20 20150101ALI20240619BHJP

【ＦＩ】

H04B17/10

H04M1/24 B

H04B17/20

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022199136

(22)【出願日】2022-12-14

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】森部 智也

(72)【発明者】

【氏名】禹 周仁

(72)【発明者】

【氏名】小野寺 貴之

(72)【発明者】

【氏名】荻原 知洋

(72)【発明者】

【氏名】青木 秀憲

【テーマコード（参考）】

5K127

【Ｆターム（参考）】

5K127BA03

5K127NA02

5K127NA05

(57)【要約】      （修正有）

【課題】端末装置の使用用途に即した試験を効率的に行える試験システムを提供する。
【解決手段】端末装置１０、外部装置２０および試験項目選択サーバ３０が、ネットワークＮに接続され、端末装置１０の通信性能に関する試験を実行する試験システム１であって、外部装置２０は、使用用途受付部が、端末装置１０の使用用途を指定する指定情報を受け付け、挙動情報取得部が、使用用途で端末装置１０を使用した場合の端末装置１０の挙動を示す挙動情報を取得し、実行制御部が、試験項目選択サーバ３０の試験項目選択部が選択した、指定情報と、挙動情報とに基づいた複数の試験項目の中から、試験項目選択部が選択した端末装置１０に課す１以上の試験項目の試験を端末装置１０に実行させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

端末装置の通信性能に関する試験を実行する試験システムであって、
前記端末装置の使用用途を指定する指定情報を受け付ける第１受付部と、
前記使用用途で前記端末装置を使用した場合の前記端末装置の挙動を示す挙動情報を取得する挙動情報取得部と、
前記指定情報と、前記挙動情報とに基づいて、複数の試験項目の中から前記端末装置に課す１以上の試験項目を選択する選択部と、
前記選択部によって選択された前記１以上の試験項目の前記試験を前記端末装置に実行させる実行制御部と、
を備える試験システム。

【請求項2】

前記選択部によって選択された前記１以上の試験項目の中から、前記端末装置に実行させる実行項目の指定をユーザから受け付ける第２受付部を更に備え、
前記実行制御部は、前記実行項目の前記試験を前記端末装置に実行させる、
請求項１記載の試験システム。

【請求項3】

前記実行制御部は、前記１以上の試験項目のそれぞれについて、合格または不合格を判定し、
前記１以上の試験項目のいずれかが前記不合格と判定された場合に、当該不合格の原因を示す原因情報を取得する原因情報取得部を更に備える、
請求項１記載の試験システム。

【請求項4】

前記実行制御部は、前記試験の実行中における前記端末装置の処理の履歴を示すログを取得し、
前記原因情報取得部は、前記ログに基づいて生成された前記原因情報を取得する、
請求項３記載の試験システム。

【請求項5】

前記原因情報に基づいて、前記複数の試験項目への新規の試験項目の追加、前記複数の試験項目のいずれかの削除、または、前記複数の試験項目のうちいずれかの変更、のうち少なくともいずれかを行う試験項目変更部を更に備える、
請求項３記載の試験システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、試験システムに関する。

【背景技術】

【0002】

新規に開発された端末装置に対して、例えば通信ネットワークとの接続性等の通信性能を確認する試験が課される場合がある。例えば、下記特許文献１には、複数の無線通信システムに対応可能なソフトウェア無線機の認定試験を行うための認定試験システムが開示されている。認定試験システムは、無線通信システム毎に設けられる、当該無線通信システムに対する試験のために標準化されたテストプログラムと、該テストプログラムをインストールした被試験端末に対する試験を行うためのテストベンチとを備える。認定試験システムは、被試験端末が動作可能な複数の無線通信システムの各々について、対応するテストプログラムおよびテストベンチを用いて当該無線通信システムの試験を行うことによって、被試験端末の認定試験を行う。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１－１８９７００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

コストの削減および効率化の観点から、多くの場合、端末装置に課される試験は、一般化された試験項目であることが多く、端末装置の具体的な使用用途（ユースケース）を想定した試験は実施されていない。このため、実際に端末装置が利用された場合に、予期しない不具合が生じる場合がある。

【0005】

本発明の目的は、端末装置の使用用途に即した試験を効率的に行うことにある。

【課題を解決するための手段】

【0006】

本発明の一態様にかかる試験システムは、端末装置の通信性能に関する試験を実行する試験システムであって、前記端末装置の使用用途を指定する指定情報を受け付ける第１受付部と、前記使用用途で前記端末装置を使用した場合の前記端末装置の挙動を示す挙動情報を取得する挙動情報取得部と、前記指定情報と、前記挙動情報とに基づいて、複数の試験項目の中から前記端末装置に課す１以上の試験項目を選択する選択部と、前記選択部によって選択された前記１以上の試験項目の前記試験を前記端末装置に実行させる実行制御部と、を備える。

【発明の効果】

【0007】

本発明の一態様によれば、端末装置の使用用途に即した試験を効率的に行うことができる。

【図面の簡単な説明】

【0008】

【図1】実施形態にかかる試験システム１の構成を示すブロック図である。

【図2】端末装置１０の構成を示すブロック図である。

【図3】外部装置２０の構成を示すブロック図である。

【図4】試験項目選択サーバ３０の構成を示すブロック図である。

【図5】試験項目データベースＤＢを模式的に示す図である。

【図6】試験システム１の動作フロー図である。

【発明を実施するための形態】

【0009】

Ａ．第１実施形態
Ａ－１．システム構成
図１は、実施形態にかかる試験システム１の構成を示すブロック図である。試験システム１は、端末装置１０、外部装置２０および試験項目選択サーバ３０を含む。試験システム１は、端末装置１０の通信性能に関する試験を実行する。端末装置１０、外部装置２０および試験項目選択サーバ３０は、ネットワークＮに接続されている。ネットワークＮは、所定のネットワーク事業者（後述するネットワーク事業者サーバ５０の設置者）が提供する通信網である。図１には、端末装置１０および外部装置２０を１台ずつ図示しているが、試験システム１には、複数台の端末装置１０および外部装置２０が接続されてもよい。

【0010】

端末装置１０は、試験の対象となる機器である。端末装置１０は、例えばパーソナルコンピュータ、スマートフォン、タブレット、ドライブレコーダ、ウェラブルデバイス、スマートメータまたはルータなどの通信機能を有する製品である。または、端末装置１０は、上述した製品に搭載される通信モジュールであってもよい。端末装置１０は、何らかの使用用途に使用される。例えば端末装置１０がドライブレコーダまたはスマートメータである場合には、機器の種類がそのまま使用用途となる。また、例えば端末装置１０がパーソナルコンピュータ、スマートフォンまたはタブレット等である場合は、映像伝送、状態監視または遠隔会議等、様々な使用用途に使用され得る。

【0011】

外部装置２０は、例えばパーソナルコンピュータ等の情報処理装置である。外部装置２０は、端末装置１０とネットワークＮを介さずに接続されている。外部装置２０は、端末装置１０における試験の実行を制御する試験装置として機能する。外部装置２０には、試験アプリケーションがインストールされている。ユーザは、外部装置２０と端末装置１０とを接続した上で試験アプリケーションを起動させ、画面上に表示される指示に従って操作を行うことによって、端末装置１０の試験を行うことができる。

【0012】

試験項目選択サーバ３０は、端末装置１０に実行する試験における試験項目を選択する。詳細は後述するが、試験項目選択サーバ３０は、端末装置１０の使用用途と、当該使用用途で端末装置１０を使用した場合の端末装置１０の挙動とに基づいて、試験項目を選択する。

【0013】

本実施形態において、ユーザとは、端末装置１０に対する試験の実行者である。ユーザは、例えば端末装置１０を開発した端末メーカの試験担当者であってもよいし、端末メーカから端末装置１０を購入して自社のソリューションに採用するかを検討する顧客であってもよい。

【0014】

また、ネットワークＮには、上述した端末装置１０、外部装置２０および試験項目選択サーバ３０に加えて、サービスサーバ４０およびネットワーク事業者サーバ５０が接続されている。サービスサーバ４０は、端末装置１０の使用用途に関する処理を行うサーバである。例えば端末装置１０の使用用途が映像伝送である場合、サービスサーバ４０は、端末装置１０から送信した画像を他の装置に配信する画像配信サーバである。

【0015】

ネットワーク事業者サーバ５０は、ネットワークＮを提供するネットワーク事業者によって設置されている。詳細は後述するが、ネットワーク事業者サーバ５０は、端末装置１０で実行した試験項目のうち不合格の項目がある場合に、不合格の原因に関する問い合わせを受け付ける。不合格の原因が解明されることによって、端末装置１０を使用用途に用いる際に問題が発生する可能性が低減する。

【0016】

Ａ－２．端末装置１０
図２は、端末装置１０の構成を示すブロック図である。端末装置１０の実際の構成は、端末装置１０がどのような機器であるかによって異なる。図２では、端末装置１０が、例えばパーソナルコンピュータ、スマートフォンまたはタブレットであるものとして説明する。端末装置１０は、表示装置１０１と、入力装置１０２と、通信装置１０３と、記憶装置１０５と、処理装置１０６と、これらの装置を相互に接続するバス１０９とを備える。

【0017】

表示装置１０１は、外部に対して情報を表示する表示デバイス（例えば、液晶表示パネルまたは有機ＥＬ表示パネル等の各種の表示パネル）である。入力装置１０２は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、スイッチ、ボタンまたはセンサなど）である。入力装置１０２は、音を収音するマイクであってもよい。また、表示装置１０１および入力装置１０２は、一体となった構成（例えば、タッチパネル）であってもよい。

【0018】

通信装置１０３は、ネットワークＮに接続可能な通信インターフェースを備え、ネットワークＮを介して他の装置と通信する。通信装置１０３の通信インターフェースは、無線通信インターフェースであってもよいし、有線通信インターフェースであってもよい。

【0019】

接続インターフェース（Ｉ／Ｆ）１０４は、端末装置１０が外部装置２０と接続するためのインターフェースである。接続インターフェース１０４は、端末装置１０と外部装置２０とを有線で接続するインターフェースであってもよいし、無線で接続するインターフェースであってもよい。接続インターフェース１０４は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等が接続されるコネクタであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ（登録商標）等の近距離無線通信を利用する通信モジュールであってもよい。

【0020】

記憶装置１０５は、処理装置１０６が読み取り可能な記録媒体である。記憶装置１０５は、例えば、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。揮発性メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。記憶装置１０５は、プログラムＰＧ１を記憶する。プログラムＰＧ１は、端末装置１０を動作させるためのプログラムである。

【0021】

処理装置１０６は、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む。１または複数のＣＰＵは、１または複数のプロセッサの一例である。プロセッサおよびＣＰＵの各々は、コンピュータの一例である。

【0022】

処理装置１０６は、記憶装置１０５からプログラムＰＧ１を読み取る。処理装置１０６は、プログラムＰＧ１を実行することによって、処理実行部１１１およびログ生成部１１２として機能する。処理実行部１１１およびログ生成部１１２の少なくとも一部の機能は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）およびＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路によって構成されてもよい。

【0023】

処理実行部１１１は、外部装置２０から指示された処理を実行する。例えば処理実行部１１１は、端末装置１０の使用用途に関する処理を実行する。処理実行部１１１は、例えば通信装置１０３を用いてサービスサーバ４０に接続し、使用用途に関する処理の実行に必要なデータを送受信する。また、処理実行部１１１は、外部装置２０から指示された試験項目に関する処理を実行する。例えば試験項目がＰｉｎｇの実行である場合、処理実行部１１１は、指定された送信先にＰｉｎｇを送信し、送信先から応答を受信するまでの時間（Ｐｉｎｇ値）を測定する。

【0024】

ログ生成部１１２は、端末装置１０の処理の履歴を示すログを生成する。ログには、例えばネットワークＮを介した通信の履歴、端末装置１０に対する操作の履歴および端末装置１０におけるエラーの履歴等が含まれる。ログ生成部１１２によって生成されたログは、記憶装置１０５に記憶される。

【0025】

Ａ－３．外部装置２０
図３は、外部装置２０の構成を示すブロック図である。外部装置２０は、表示装置２０１と、入力装置２０２と、通信装置２０３と、接続インターフェース（Ｉ／Ｆ）２０４と、記憶装置２０５と、処理装置２０６と、これらの装置を相互に接続するバス２０９とを備える。

【0026】

表示装置２０１、入力装置２０２、通信装置２０３、接続インターフェース２０４、記憶装置２０５および処理装置２０６は、端末装置１０の表示装置１０１、入力装置１０２、通信装置１０３、接続インターフェース１０４、記憶装置１０５および処理装置１０６と同様の構成であるため、詳細な説明を省略する。

【0027】

記憶装置２０５は、プログラムＰＧ２を記憶する。プログラムＰＧ２は、外部装置２０を動作させるためのプログラムである。処理装置２０６は、プログラムＰＧ２を実行することによって、使用用途受付部２１１、挙動情報取得部２１２、試験項目取得部２１３、実行項目受付部２１４、実行制御部２１５および原因情報取得部２１６として機能する。使用用途受付部２１１、挙動情報取得部２１２、試験項目取得部２１３、実行項目受付部２１４、実行制御部２１５および原因情報取得部２１６の少なくとも一部の機能は、ＤＳＰ、ＡＳＩＣ、ＰＬＤおよびＦＰＧＡ等の回路によって構成されてもよい。使用用途受付部２１１、挙動情報取得部２１２、試験項目取得部２１３、実行項目受付部２１４、実行制御部２１５および原因情報取得部２１６の詳細は後述する。

【0028】

Ａ－４．試験項目選択サーバ３０
図４は、試験項目選択サーバ３０の構成を示すブロック図である。試験項目選択サーバ３０は、通信装置３０１と、記憶装置３０２と、処理装置３０３と、これらの装置を相互に接続するバス３０９とを備える。

【0029】

通信装置３０１、記憶装置３０２および処理装置３０３は、端末装置１０の表示装置１０１、記憶装置１０５および処理装置１０６と同様の構成であるため、詳細な説明を省略する。

【0030】

記憶装置３０２は、プログラムＰＧ３および試験項目データベースＤＢを記憶する。プログラムＰＧ３は、試験項目選択サーバ３０を動作させるためのプログラムである。試験項目データベースＤＢは、端末装置１０の使用用途を指定する指定情報と、端末装置１０の挙動を示す挙動情報と、端末装置１０に課す試験の試験項目とを対応付ける。試験項目データベースＤＢの詳細は後述する。

【0031】

処理装置３０３は、プログラムＰＧ３を実行することによって、試験項目選択部３１０および試験項目変更部３１１として機能する。試験項目選択部３１０および試験項目変更部３１１の少なくとも一部の機能は、ＤＳＰ、ＡＳＩＣ、ＰＬＤおよびＦＰＧＡ等の回路によって構成されてもよい。試験項目選択部３１０および試験項目変更部３１１の詳細は後述する。

【0032】

Ａ－５．処理装置２０６および処理装置３０３の詳細
つぎに、処理装置２０６がプログラムＰＧ２を実行することによって実現する、使用用途受付部２１１、挙動情報取得部２１２、試験項目取得部２１３、実行項目受付部２１４、実行制御部２１５および原因情報取得部２１６、並びに、処理装置３０３がプログラムＰＧ３を読み取ることで実現する、試験項目選択部３１０および試験項目変更部３１１について説明する。

【0033】

使用用途受付部２１１は、端末装置１０の使用用途を指定する指定情報を受け付ける。使用用途受付部２１１は、第１受付部の一例である。使用用途受付部２１１は、例えば、端末装置１０の使用用途の候補を示す語句（例えば「映像伝送」または「状態監視」等）を表示装置２０１に一覧表示する。ユーザは、表示された語句の一覧から少なくとも１つの語句を選択する。使用用途受付部２１１は、ユーザに選択された語句が示す内容を、端末装置１０の使用用途として受け付ける。

【0034】

挙動情報取得部２１２は、使用用途受付部２１１で受け付けた使用用途で端末装置１０を使用した場合の端末装置１０の挙動を示す挙動情報を取得する。挙動情報取得部２１２は、端末装置１０とサービスサーバ４０とを接続させ、端末装置１０に使用用途の処理を一定期間行わせる。挙動情報取得部２１２は、この一定期間における端末装置１０の挙動を監視し、挙動情報を生成する。挙動情報取得部２１２は、端末装置１０が生成した挙動情報を取得してもよい。挙動情報は、例えばログ生成部１１２によって生成されたログであってもよい。

【0035】

試験項目取得部２１３は、端末装置１０に課す試験の具体的な内容（試験項目）を示す試験項目情報を取得する。試験項目取得部２１３は、使用用途受付部２１１で受け付けた指定情報と、挙動情報取得部２１２で取得した挙動情報を、試験項目選択サーバ３０に送信する。試験項目取得部２１３は、試験項目情報を試験項目選択サーバ３０から受信する。

【0036】

試験項目選択サーバ３０では、処理装置３０３が試験項目選択部３１０として機能し、試験項目情報を生成する。試験項目選択部３１０は、指定情報と、挙動情報とに基づいて、複数の試験項目の中から端末装置１０に課す１以上の試験項目を選択する。試験項目選択部３１０は、選択部の一例である。試験項目選択部３１０は、外部装置２０から送信された指定情報と、挙動情報と、試験項目データベースＤＢとを用いて試験項目を選択する。

【0037】

図５は、試験項目データベースＤＢを模式的に示す図である。試験項目データベースＤＢのレコードＲ（Ｒ１～Ｒ６）は、それぞれ使用用途Ｃ１、挙動Ｃ２および試験項目Ｃ３を含む。例えばレコードＲ１は、使用用途Ｃ１が「映像伝送」、挙動Ｃ２が「低遅延向けのスライスを使用」、試験項目Ｃ３が「Ｐｉｎｇの実行」である。レコードＲ１は、使用用途が「映像伝送」に指定された端末装置１０において、「低遅延向けのスライスを使用」という挙動がある場合、試験項目「Ｐｉｎｇの実行」が選択されることを示す。

【0038】

図示を省略するが、試験項目Ｃ３には、試験項目に示される試験を行った場合の評価基準も含まれる。レコードＲ１の評価基準は、例えばＰｉｎｇを実行した結果得られるＰｉｎｇ値で示される。例えば評価基準を「αｍｓ以下」とすると、Ｐｉｎｇ値がαｍｓ以下の場合は合格、αｍｓを超える場合（Ｐｉｎｇが通らない場合を含む）は不合格と判定される。この試験項目は、端末装置１０とネットワークＮとの間における低遅延性を評価するための試験である。

【0039】

同様に、レコードＲ２は、使用用途が「映像伝送」に指定された端末装置１０において、「上りおよび下りで発生するデータ量（図中「データ送受信量」と表記）がβＭｂｐｓ以上」という挙動がある場合、試験項目「スループット評価」が選択されることを示す。レコードＲ２の評価基準は、スループット評価の結果、すなわち単位時間当たりの処理データ量とすることができる。例えば評価基準を「βＭｂｐｓ以上」とすると、スループット評価の結果がβＭｂｐｓ以上の場合は合格、βＭｂｐｓ未満の場合は不合格と判定される。この試験項目は、端末装置１０とネットワークＮとの間におけるスループットを評価するための試験である。

【0040】

レコードＲ３は、使用用途が「映像伝送」または「状態監視」に指定された端末装置１０において、「連続通信時間がγ時間を超過」という挙動がある場合、試験項目「連続通信試験」が選択されることを示す。レコードＲ３の評価基準は、連続通信の継続時間（例えばγ時間とする）、許容遅延時間（例えばδｍｓとする）および連続通信時のスループット（例えばεＭｂｐｓとする）とすることができる。この場合、スループットεＭｂｐｓ以上かつ遅延δｍｓ以内で、γ時間以上連続して通信できる場合は合格、できない場合は不合格と判定される。この試験項目は、端末装置１０とネットワークＮとの間における長時間の連続通信を評価するための試験である。

【0041】

レコードＲ４は、使用用途が「状態監視」に指定された端末装置１０において、「ハンドオーバー（以下、図中「ＨＯ」と表記）が発生していない」という挙動がある場合、試験項目「通信復帰試験」が選択されることを示す。通信復帰試験は、ハンドオーバー以外の契機によって、端末装置１０とネットワークＮとの間の通信の復帰が行われることを確認する試験である。端末装置１０がスマートフォン等の移動を伴う機器である場合には、通信先の基地局が切り替わる「ハンドオーバー」が発生する。端末装置１０の通信に何らかの問題がある状態でハンドオーバーが発生すると、ハンドオーバーを契機として通信が通常の状態に復帰する場合がある。一方で、端末装置１０が監視カメラ等、１つの箇所に固定設置される機器の場合、ハンドオーバーが発生しないため、通信に何らかの問題があってもハンドオーバーを契機とした通信の復帰は発生し得ない。よって、通信復帰試験を行い、ハンドオーバー以外の契機によって通信の復帰が行えるかを検証する。この場合、通信復帰試験において通信の復帰ができた場合は合格、通信の復帰ができなかった場合は不合格と判定される。この試験項目は、端末装置１０の移動性の有無を評価するための試験である。

【0042】

レコードＲ５は、使用用途が「ドライブレコーダ」に指定された端末装置１０において、「ＶｏＬＴＥを用いた通話中に連続したデータ通信が行われている」という挙動がある場合、試験項目「通話中データ送信試験」が選択されることを示す。通話中データ送信試験は、ＶｏＬＴＥを用いた通話中にＰｉｎｇコマンドを利用して最大容量のデータを所定期間連続して送信する試験である。この場合、通話中データ送信試験が成功した場合は合格、成功しなかった場合は不合格と判定される。この試験項目は、通話とデータ送信の同時実行性を評価するための試験である。

【0043】

レコードＲ６は、使用用途が「ウェラブルデバイス」に指定された端末装置１０において、「在圏セルの変更回数が基準値以上」という挙動がある場合、試験項目「ＨＳＴ（Ｈｉｇｈ Ｓｐｅｅｄ Ｔｒａｉｎ）サポート試験」が選択されることを示す。ＨＳＴサポート試験は、ＨＳＴをサポートしているセルを利用してハンドオーバーができているかを確認する試験である。在圏セルの変更回数の基準値は、例えば「ζ分以内にη回」のように定められる。この試験項目は、高速移動状態での通信を評価するための試験である。

【0044】

試験項目選択部３１０は、指定情報によって指定される使用用途と使用用途Ｃ１が一致し、かつ、挙動情報によって示される挙動と挙動Ｃ２とが一致するレコードＲを検索する。該当するレコードＲを検索した場合、試験項目選択部３１０は、当該レコードの試験項目Ｃ３を、試験項目情報として外部装置２０に送信する。なお、試験項目選択部３１０によって選択される試験項目は、１つであってもよいし、複数であってもよい。

【0045】

外部装置２０の実行項目受付部２１４は、試験項目選択部３１０によって選択された１以上の試験項目の中から、実行制御部２１５に実行させる実行項目の指定をユーザから受け付ける。実行項目受付部２１４は、第２受付部の一例である。実行項目受付部２１４は、例えば試験項目選択部３１０によって選択された試験項目の一覧と決定ボタンを表示装置２０１に表示する。試験項目の一覧にはチェックボックスが付加されており、ユーザは、実行項目として指定する試験項目にチェックを入れる。ユーザが決定ボタンを押下すると、実行項目の指定が完了する。

【0046】

図５に示す試験項目データベースＤＢに示す試験項目はごく一例であり、１台の端末装置１０に対して多数の試験項目が選択される場合がある。一般的には、実行する試験項目が増えるほど、試験にかかるコストおよび時間が増大し、ユーザの負担が大きくなる。実行項目受付部２１４を用いてユーザが必要と判断する試験項目を選択することで、ユーザの負担を軽減するとともに、試験を効率的に実行することができる。なお、実行項目受付部２１４を設けずに、試験項目選択部３１０によって選択された試験項目の全てを実行するようにしてもよい。

【0047】

実行制御部２１５は、試験項目選択部３１０によって選択された１以上の試験項目の試験を端末装置１０に実行させる。より詳細には、実行制御部２１５は、１以上の試験項目のうち、実行項目として指定された項目の試験を端末装置１０に実行させる。実行制御部２１５は、１以上の試験項目（実行項目）のそれぞれについて、合格または不合格を判定する。

【0048】

また、実行制御部２１５は、試験の実行中における端末装置１０の処理の履歴を示すログを、端末装置１０のログ生成部１１２から取得する。ログの取得は、試験の実行中に行われてもよいし、試験終了後に行われてもよい。ログを取得することで、特に不合格の試験項目があった場合の原因の解明が効率的に行われる。

【0049】

原因情報取得部２１６は、１以上の試験項目のいずれかが不合格と判定された場合に、当該不合格の原因を示す原因情報を取得する。不合格の試験項目があった場合、端末装置１０を使用用途に利用した際に不具合が生じる場合がある。原因情報を取得することで、端末装置１０の本格的な使用を開始するまでに、不合格の原因を取り除くことが可能となる。

【0050】

本実施形態では、原因情報取得部２１６は、不合格の原因をネットワーク事業者サーバ５０に問い合わせる。問い合わせを受けたネットワーク事業者サーバ５０は、例えば不合格の原因が端末装置１０にあるのか、ネットワークＮにあるのかを特定する。不合格の原因が端末装置１０にある場合、ネットワーク事業者サーバ５０は、原因を取り除く方法（例えば設定の変更、プログラムのアップデートまたはパッチの適用など）を示す原因情報を原因情報取得部２１６に送信する。不合格の原因がネットワークＮにある場合、ネットワーク事業者サーバ５０は、ネットワークＮの設定または構成等を変更し、不合格の原因を取り除いたことを示す原因情報を原因情報取得部２１６に送信する。

【0051】

原因情報取得部２１６は、問い合わせを行う際に、不合格だった試験項目の実行中におけるログをネットワーク事業者サーバ５０に送信するのが好ましい。ネットワーク事業者サーバ５０は、ログを参照することで、不合格の原因を特定しやすくなる。すなわち、原因情報取得部２１６は、ログに基づいて生成された原因情報を取得してもよい。

【0052】

また、原因情報取得部２１６は、端末装置１０で実行された試験項目、並びにそれぞれの試験項目の合否を試験項目選択サーバ３０に送信する。この時、不合格だった試験項目の原因情報が試験項目選択サーバ３０に送信されてもよい。試験項目選択サーバ３０の試験項目変更部３１１は、試験項目の合否および原因情報に基づいて、試験項目データベースＤＢ内の試験項目を評価し、必要があれば試験項目を追加、削除または変更する。例えば、試験項目変更部３１１は、端末装置１０の使用用途ごとに不合格となりやすい試験項目を集計し、試験項目の追加、削除または評価基準の変更等を行う。すなわち、試験項目変更部３１１は、原因情報に基づいて、複数の試験項目への新規の試験項目の追加、複数の試験項目のいずれかの削除、または、複数の試験項目のうちいずれかの変更、のうち少なくともいずれかを行う。このようにすることで、端末装置１０およびネットワークＮの実情に合わせて試験項目が更新され、より適切な内容の試験が実行可能となる。

【0053】

Ａ－６．試験システム１の動作
図６は、試験システム１の動作フロー図である。外部装置２０の処理装置２０６は、使用用途受付部２１１として機能し、ユーザから端末装置１０の使用用途を指定する指定情報を受け付ける（ステップＳ１０）。処理装置２０６は、挙動情報取得部２１２として機能し、使用用途の処理の実行を端末装置１０に指示する（ステップＳ１１）。

【0054】

端末装置１０の処理装置１０６は、処理実行部１１１として機能し、使用用途の処理を実行する（ステップＳ１２）。具体的には、処理装置１０６は、使用用途の処理に関する送信データをサービスサーバ４０に送信するとともに、使用用途の処理に関する受信データ（例えば送信データをサービスサーバ４０で処理したデータ）をサービスサーバ４０から受信する。処理装置２０６は、挙動情報取得部２１２として機能し、使用用途の処理を実行する端末装置１０の挙動を観察し、挙動情報を生成する（ステップＳ１３）。

【0055】

処理装置２０６は、試験項目取得部２１３として機能し、指定情報および挙動情報を試験項目選択サーバ３０に送信する（ステップＳ１４）。試験項目選択サーバ３０の処理装置３０３は、試験項目選択部３１０として機能し、指定情報、挙動情報および試験項目データベースＤＢに基づいて、試験項目を選択する（ステップＳ１５）。処理装置３０３は、試験項目選択部３１０として機能し、選択した試験項目を示す試験項目情報を外部装置２０に送信する（ステップＳ１６）。

【0056】

処理装置２０６は、実行項目受付部２１４として機能し、試験項目選択部３１０によって選択された試験項目のうち、端末装置１０に実行させる実行項目の指定をユーザから受け付ける（ステップＳ１７）。処理装置２０６は、実行制御部２１５として機能し、ステップＳ１７で選択された実行項目の実行を端末装置１０に指示する（ステップＳ１８）。端末装置１０の処理装置１０６は、処理実行部１１１として機能し、実行項目の処理を実行する（ステップＳ１９）。

【0057】

処理装置２０６は、実行制御部２１５として機能し、実行項目の処理を実行する端末装置１０の挙動を観察するとともに（ステップＳ２０）、端末装置１０の挙動に基づいて、各実行項目について合格または不合格を判定する（ステップＳ２１）。処理装置２０６は、ユーザに試験の結果（合格または不合格）を提示する。また、不合格の実行項目がある場合、処理装置２０６は、原因情報取得部２１６として機能し、不合格の原因を示す原因情報をネットワーク事業者サーバ５０に問い合わせる（ステップＳ２２）。試験の結果は、原因情報とともにユーザに提示されてもよい。

【0058】

また、処理装置２０６は、原因情報取得部２１６として機能し、原因情報を試験項目選択サーバ３０に送信する（ステップＳ２３）。試験項目選択サーバ３０の処理装置３０３は、試験項目変更部３１１として機能し、原因情報に基づいて、試験項目データベースＤＢ内の試験項目を必要に応じて変更（試験項目を追加、削除または変更）する（ステップＳ２４）。

【0059】

Ａ－７．実施形態のまとめ
以上説明したように、実施形態にかかる試験システム１は、端末装置１０の使用用途を示す指定情報および使用用途で端末装置１０を使用した場合の挙動情報に基づいて、端末装置１０に課す試験の試験項目を選択する。よって、一般化された項目の試験を端末装置１０に課すのと比較して、使用用途に特有の課題が発見されやすくなる。

【0060】

また、使用用途および挙動情報を組み合わせることによって、端末装置１０が実際に使用される環境において必要十分な試験項目が選択され得る。例えば端末装置１０の使用用途のみを指定した場合でも、試験項目を一定程度絞ることができる。一方で、使用用途によっては試験項目の数が多すぎる場合がある。この場合、挙動情報を用いて更に試験項目を絞り込むことができる。

【0061】

また、挙動情報を用いることより、端末装置１０の使用用途がより具体的に特定され得る。例えば、使用用途の「状態監視」には、スマートメータのように端末装置１０の位置が変化しない場合と、車両に搭載されたドライブレコーダのように端末装置１０の位置が変化する場合とがある。端末装置１０がどちらの形態で使用されるのか、ユーザが指定してもよいが、挙動情報を用いて自動的に判定することで、ユーザの負担が軽減される。

【0062】

また、挙動情報を用いることより、各試験項目における評価基準をより適切に設定され得る。例えば、試験項目が「Ｐｉｎｇの実行」である場合に、合否の判定基準となるＰｉｎｇ値を、挙動情報に基づいて適切な値に設定し得る。

【0063】

また、実施形態にかかる試験システム１は、試験項目選択サーバ３０によって選択された試験項目の中から、端末装置１０に実行させる実行項目の指定をユーザから受け付ける。よって、ユーザによって必要と判断された試験項目のみを実行するので、ユーザの負担が軽減される。

【0064】

また、実施形態にかかる試験システム１は、いずれかの試験項目が不合格と判定された場合に、当該不合格の原因を示す原因情報を取得する。よって、端末装置１０を本格的に使用開始する前に不合格の原因を取り除くことが可能となり、端末装置１０とネットワークＮとの間の不具合を回避できる。

【0065】

また、実施形態にかかる試験システム１は、試験の実行中における端末装置１０の処理の履歴を示すログを取得する。よって、試験項目に不合格があった場合に、その原因を特定しやすくなり、端末装置１０とネットワークＮとの間の問題点を効率的に取り除くことができる。

【0066】

また、実施形態にかかる試験システム１は、原因情報に基づいて、試験項目データベースＤＢ内の試験項目への新規の試験項目の追加、削除または変更のうち少なくともいずれかを行う。よって、端末装置１０およびネットワークＮの実情に合わせて試験項目が更新され、より適切な内容の試験が実行可能となる。

【0067】

Ｂ：変形例
上述の実施形態における変形の態様を以下に示す。以下の変形の態様から任意に選択された２以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。

【0068】

Ｂ１：第１変形例
上述した実施形態では、試験項目選択サーバ３０が試験項目を選択した。これに限らず、例えば外部装置２０が試験項目の選択を行ってもよい。具体的には、例えば外部装置２０が試験項目データベースＤＢを記憶するとともに、処理装置２０６が試験項目選択部３１０として機能してもよい。第１変形例によれば、試験項目選択サーバ３０を設ける必要がなく、試験システム１の構成が簡素化される。

【0069】

Ｂ２：第２変形例
上述した実施形態では、試験アプリケーションがインストールされた外部装置２０が端末装置１０に接続され、外部装置２０の制御によって端末装置１０の試験が行われた。これに限らず、端末装置１０に試験アプリケーションをインストールし、外部装置２０を接続せずに端末装置１０が自律的に試験を行ってもよい。この場合、端末装置１０が試験項目選択サーバ３０に接続し、試験項目情報を取得する。特に、端末装置１０がパーソナルコンピュータ、スマートフォンまたはタブレット等のオペレーションシステムを搭載した機器の場合、端末装置１０に試験アプリケーションをインストールすることが可能となる。

【0070】

または、例えば試験アプリケーションを試験項目選択サーバ３０にインストールし、端末装置１０と試験項目選択サーバ３０とを直接接続してもよい。この場合、試験項目選択サーバ３０が試験アプリケーションを実行し、端末装置１０に試験を実行させる。

【0071】

第２変形例によれば、外部装置２０を設ける必要がなく、試験システム１の構成が簡素化される。

【0072】

Ｂ３：第３変形例
上述した実施形態では、外部装置２０が端末装置１０のログを取得可能であった。一方で、端末装置１０のログを外部装置２０が取得できない場合もある。この場合、外部装置２０は、例えば端末装置１０の製造メーカに問い合わせを行ってもよい。具体的には、端末装置１０に接続された外部装置２０ではログを取得できない場合でも、端末装置１０の製造メーカではログを取得できている場合がある。よって、不合格だった試験項目の試験実行時のログの開示を、製造メーカに依頼してもよい。

【0073】

Ｃ：その他
（１）上述した実施形態では、記憶装置１０５、２０５および３０３としてＲＯＭ及びＲＡＭ等が例示されたが、記憶装置１０５、２０５および３０３は、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック、キードライブ）、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体であってもよい。

【0074】

（２）上述した実施形態において、説明した情報、信号等は、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0075】

（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0076】

（４）上述した実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Ｂｏｏｌｅａｎ：ｔｒｕｅ又はｆａｌｓｅ）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0077】

（５）上述した実施形態において例示した処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序が入れ替えられてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素が提示されており、提示された特定の順序に限定されない。

【0078】

（６）図２～図４に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線等を用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0079】

（７）上述した実施形態で例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能等を意味するよう広く解釈されるべきである。

【0080】

また、ソフトウェア、命令、情報等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）等）及び無線技術（赤外線、マイクロ波等）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0081】

（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。

【0082】

（９）本開示において説明した情報、パラメータ等は、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

【0083】

（１０）上述した実施形態において、携帯機器には、移動局（ＭＳ：Ｍｏｂｉｌｅ Ｓｔａｔｉｏｎ）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（ｕｓｅｒ ｔｅｒｍｉｎａｌ）」、「ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）」、「端末」等の用語は、互換的に使用され得る。

【0084】

（１１）上述した実施形態において、「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は、「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギー等を用いて、互いに「接続」又は「結合」されると考えることができる。

【0085】

（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0086】

（１３）本開示で使用する「判断（ｄｅｔｅｒｍｉｎｉｎｇ）」、「決定（ｄｅｔｅｒｍｉｎｉｎｇ）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（ｊｕｄｇｉｎｇ）、計算（ｃａｌｃｕｌａｔｉｎｇ）、算出（ｃｏｍｐｕｔｉｎｇ）、処理（ｐｒｏｃｅｓｓｉｎｇ）、導出（ｄｅｒｉｖｉｎｇ）、調査（ｉｎｖｅｓｔｉｇａｔｉｎｇ）、探索（ｌｏｏｋｉｎｇ ｕｐ、ｓｅａｒｃｈ、ｉｎｑｕｉｒｙ）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ａｓｃｅｒｔａｉｎｉｎｇ）した事を「判断」「決定」したとみなす事等を含み得る。また、「判断」、「決定」は、受信（ｒｅｃｅｉｖｉｎｇ）（例えば、情報を受信すること）、送信（ｔｒａｎｓｍｉｔｔｉｎｇ）（例えば、情報を送信すること）、入力（ｉｎｐｕｔ）、出力（ｏｕｔｐｕｔ）、アクセス（ａｃｃｅｓｓｉｎｇ）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事等を含み得る。また、「判断」、「決定」は、解決（ｒｅｓｏｌｖｉｎｇ）、選択（ｓｅｌｅｃｔｉｎｇ）、選定（ｃｈｏｏｓｉｎｇ）、確立（ｅｓｔａｂｌｉｓｈｉｎｇ）、比較（ｃｏｍｐａｒｉｎｇ）等した事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（ａｓｓｕｍｉｎｇ）」、「期待する（ｅｘｐｅｃｔｉｎｇ）」、「みなす（ｃｏｎｓｉｄｅｒｉｎｇ）」等で読み替えられてもよい。

【0087】

（１４）上述した実施形態において、「含む（ｉｎｃｌｕｄｅ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。

【0088】

（１５）本開示において、例えば、英語でのａ， ａｎ及びｔｈｅのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0089】

（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢが夫々Ｃと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。

【0090】

（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
から選択された複数の態様を組み合わせてもよい。

【符号の説明】

【0091】

１…試験システム、１０…端末装置、２０…外部装置、３０…試験項目選択サーバ、４０…サービスサーバ、５０…ネットワーク事業者サーバ、１１１…処理実行部、１１２…ログ生成部、２１１…使用用途受付部、２１２…挙動情報取得部、２１３…試験項目取得部、２１４…実行項目受付部、２１５…実行制御部、２１６…原因情報取得部、３１０…試験項目選択部、３１１…試験項目変更部、Ｎ…ネットワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】