特許 6992039 テストデータ作成システムおよびテストデータ作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-10

(45)【発行日】2022-01-13

(54)【発明の名称】テストデータ作成システムおよびテストデータ作成方法

(51)【国際特許分類】

   G06F 11/263 20060101AFI20220105BHJP

   G06F 11/22 20060101ALI20220105BHJP

【ＦＩ】

G06F11/263

G06F11/22 675Z

【請求項の数】 20

(21)【出願番号】P 2019216818

(22)【出願日】2019-11-29

(65)【公開番号】P2021077307

(43)【公開日】2021-05-20

【審査請求日】2019-12-02

(31)【優先権主張番号】108140848

(32)【優先日】2019-11-11

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】599060434

【氏名又は名称】財團法人資訊工業策進會

(74)【代理人】

【識別番号】100082418

【弁理士】

【氏名又は名称】山口 朔生

(74)【代理人】

【識別番号】100167601

【弁理士】

【氏名又は名称】大島 信之

(74)【代理人】

【識別番号】100201329

【弁理士】

【氏名又は名称】山口 真二郎

(72)【発明者】

【氏名】林佩儀

(72)【発明者】

【氏名】黄亭鈞

(72)【発明者】

【氏名】蔡宗達

(72)【発明者】

【氏名】田家▲イ▼

【審査官】三坂 敏夫

(56)【参考文献】

【文献】特開２０１８－０９８７０７（ＪＰ，Ａ）

【文献】国際公開第２００８／１２０５５２（ＷＯ，Ａ１）

【文献】特開２０１０－２３６３０２（ＪＰ，Ａ）

【文献】特開２０１７－１９４８９５（ＪＰ，Ａ）

【文献】特開平０１－２３３５２６（ＪＰ，Ａ）

【文献】特開２００６－２２７８２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １１／２２－１１／２７７

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの第１装置のテストに用いる第１テストデータ、および第２装置のテストに用いる第２テストデータを記憶し、該第１テストデータおよび該第２テストデータは同じプロトコルに適合する記憶装置と、
該記憶装置と電気的に接続し、少なくとも該第１テストデータおよび該第２テストデータに基づいて、ファズデータを作成するプロセッサと、
該プロセッサと電気的に接続し、該ファズデータを該第２装置に伝送し、これにより該第２装置に対して異常状態を引き起こすテストを行うトランシーバと、を含む、
テストデータ作成システム。

【請求項2】

該第１テストデータは該少なくとも１つの第１装置から該トランシーバに伝送され、該第２テストデータは該第２装置から該トランシーバに伝送される、請求項１に記載のテストデータ作成システム。

【請求項3】

該プロセッサは、さらに該第１テストデータおよび該第２テストデータを合わせて、該ファズデータを作成する、請求項１に記載のテストデータ作成システム。

【請求項4】

該プロセッサは、さらに該第１テストデータおよび該第２テストデータに基づき、機械学習モデルにより、該同じプロトコルに適合する第３テストデータを作成し、該第１テストデータ、該第２テストデータおよび該第３テストデータを合わせて、該ファズデータを作成する、請求項１に記載のテストデータ作成システム。

【請求項5】

該プロセッサは、さらに該第１テストデータおよび該第２テストデータを変異させ、変異後の第１テストデータおよび変異後の第２テストデータを合わせて、該ファズデータを作成する、請求項１に記載のテストデータ作成システム。

【請求項6】

該プロセッサは、さらに該第２装置の前回のテスト結果に基づいて、該第１テストデータおよび該第２テストデータの変異パターンの重みを決定する、請求項１に記載のテストデータ作成システム。

【請求項7】

該プロセッサは、さらに該第１テストデータを複数の第１ブロックに分割し、該第２テストデータを複数の第２ブロックに分割し、さらに各該複数の第２ブロックのブロック差異率を計算し、該複数の第２ブロックはそれぞれ該複数の第１ブロックに対応し、該複数の第２ブロック中のブロック差異率が所定の閾値より低い１つまたは複数の第２ブロックの内容に基づき、該１つまたは複数の第２ブロックとそれぞれ対応する１つまたは複数の第１ブロックの内容を調整して、調整した第１テストデータを作成し、少なくとも該調整後の第１テストデータおよび該第２テストデータを合わせて、該ファズデータを作成する、請求項１に記載のテストデータ作成システム。

【請求項8】

該プロセッサは、さらに該調整後の第１テストデータおよび該第２テストデータに基づき、機械学習モデルにより、該同じプロトコルに適合する第３テストデータを作成し、該調整後の第１テストデータ、該第２テストデータおよび該第３テストデータを合わせて、該ファズデータを作成する、請求項７に記載のテストデータ作成システム。

【請求項9】

該プロセッサは、さらに該第１テストデータを複数の第１ブロックに分割し、該第２テストデータを複数の第２ブロックに分割し、さらに各該複数の第２ブロックのブロック差異率を計算し、該複数の第２ブロックはそれぞれ該複数の第１ブロックに対応し、該複数の第２ブロック中のブロック差異率が所定の閾値より低い１つまたは複数の第２ブロックの内容に基づき、該１つまたは複数の第２ブロックとそれぞれ対応する１つまたは複数の第１ブロックの内容を調整して、調整した第１テストデータを作成し、該調整後の第１テストデータおよび該第２テストデータを変異させ、変異後の第１テストデータおよび変異後の第２テストデータを合わせて、該ファズデータを作成する、請求項１に記載のテストデータ作成システム。

【請求項10】

該プロセッサは、さらに該第２装置の前回のテスト結果に基づいて、該調整後の第１テストデータおよび該第２テストデータの変異パターンの重みを決定する、請求項９に記載のテストデータ作成システム。

【請求項11】

テストデータ作成システムが、少なくとも第１テストデータおよび第２テストデータに基づいてファズデータを作成し、このうち該第１テストデータは少なくとも１つの第１装置のテストに用いられ、該第２テストデータは第２装置のテストに用いられること、該テストデータ作成システムが、該ファズデータを該第２装置に伝送し、これにより該第２装置に対して異常状態を引き起こすテストを行うこと、を含む、テストデータ作成方法。

【請求項12】

該テストデータ作成システムが、該少なくとも１つの第１装置から該第１テストデータを受信すること、該テストデータ作成システムが、該第２装置から該第２テストデータを受信すること、をさらに含む、請求項１１に記載のテストデータ作成方法。

【請求項13】

該テストデータ作成システムが、該第１テストデータおよび該第２テストデータを合わせて、該ファズデータを作成することをさらに含む、請求項１１に記載のテストデータ作成方法。

【請求項14】

該テストデータ作成システムが、該第１テストデータおよび該第２テストデータに基づき、機械学習モデルにより、該同じプロトコルに適合する第３テストデータを作成すること、該テストデータ作成システムが、該第１テストデータ、該第２テストデータおよび該第３テストデータを合わせて、該ファズデータを作成すること、をさらに含む、請求項１１に記載のテストデータ作成方法。

【請求項15】

該テストデータ作成システムが、該第１テストデータおよび該第２テストデータを変異させること、該テストデータ作成システムが、変異後の第１テストデータおよび変異後の第２テストデータを合わせて、該ファズデータを作成すること、をさらに含む、請求項１１に記載のテストデータ作成方法。

【請求項16】

該テストデータ作成システムが、該第２装置の前回のテスト結果に基づいて、該第１テストデータおよび該第２テストデータの変異パターンの重みを決定すること、をさらに含む、請求項１５に記載のテストデータ作成方法。

【請求項17】

該テストデータ作成システムが、該第１テストデータを複数の第１ブロックに分割すること、該テストデータ作成システムが、該第２テストデータを複数の第２ブロックに分割し、さらに各該複数の第２ブロックのブロック差異率を計算し、該複数の第２ブロックはそれぞれ該複数の第１ブロックに対応すること、該テストデータ作成システムが、該複数の第２ブロック中のブロック差異率が所定の閾値より低い１つまたは複数の第２ブロックの内容に基づき、該１つまたは複数の第２ブロックとそれぞれ対応する１つまたは複数の第１ブロックの内容を調整して、調整した第１テストデータを作成すること、該テストデータ作成システムが、少なくとも該調整後の第１テストデータおよび該第２テストデータを合わせて、該ファズデータを作成すること、をさらに含む、請求項１１に記載のテストデータ作成方法。

【請求項18】

該テストデータ作成システムが、該調整後の第１テストデータおよび該第２テストデータに基づき、機械学習モデルにより、該同じプロトコルに適合する第３テストデータを作成すること、該テストデータ作成システムが、該調整後の第１テストデータ、該第２テストデータおよび該第３テストデータを合わせて、該ファズデータを作成すること、をさらに含む、請求項１７に記載のテストデータ作成方法。

【請求項19】

該テストデータ作成システムが、該第１テストデータを複数の第１ブロックに分割すること、該テストデータ作成システムが、該第２テストデータを複数の第２ブロックに分割し、さらに各該複数の第２ブロックのブロック差異率を計算し、該複数の第２ブロックはそれぞれ該複数の第１ブロックに対応すること、該テストデータ作成システムが、該複数の第２ブロック中のブロック差異率が所定の閾値より低い１つまたは複数の第２ブロックの内容に基づき、該１つまたは複数の第２ブロックとそれぞれ対応する１つまたは複数の第１ブロックの内容を調整して、調整した第１テストデータを作成すること、該テストデータ作成システムが、該調整後の第１テストデータおよび該第２テストデータを変異させること、該テストデータ作成システムが、変異後の第１テストデータおよび変異後の第２テストデータを合わせて、該ファズデータを作成すること、をさらに含む、請求項１１に記載のテストデータ作成方法。

【請求項20】

該テストデータ作成システムが、該第２装置の前回のテスト結果に基づいて、該調整後の第１テストデータおよび該第２テストデータの変異パターンの重みを決定すること、をさらに含む、請求項１９に記載のテストデータ作成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、テストデータ作成システムおよびテストデータ作成方法に関する。より具体的には、本開示は、多様化したテストデータを作成できるテストデータ作成システムおよびテストデータ作成方法に関する。

【背景技術】

【0002】

サイバー攻撃のいくつかは、すでに単一的なサイバー攻撃から多様化したサイバー攻撃へと進化している。いわゆる単一的なサイバー攻撃とは、攻撃者が単一の特定装置の弱点のみを狙って攻撃する（単一攻撃方式）ことを指し、多様化したサイバー攻撃とは、該特定装置の弱点を狙って攻撃する以外に、その他の装置の弱点に基づいて該特定装置も攻撃する（複数攻撃方式）ことを指す。この状況では、単一的なサイバー攻撃を阻止するためにある特定装置に対して行う従来のテスト方式は、その他の装置に対するテストデータが不足するため、多様化したサイバー攻撃に抵抗できない。このため、多様化したサイバー攻撃に抵抗できるテスト方式を提供することの重要性は高い。

【発明の概要】

【課題を解決するための手段】

【0003】

少なくとも上記問題を解決するため、本開示はテストデータ作成システムを提供する。該テストデータ作成システムは記憶装置、該記憶装置と電気的に接続するプロセッサ、および該プロセッサと電気的に接続するトランシーバを含むことができる。該記憶装置は少なくとも１つの第１装置のテストに用いる第１テストデータ、および第２装置のテストに用いる第２テストデータを記憶できる。該第１テストデータおよび該第２テストデータは、同じプロトコルに適合する。該プロセッサは、少なくとも該第１テストデータおよび該第２テストデータに基づいて、ファズデータを作成できる。該トランシーバは該ファズデータを該第２装置に伝送でき、これにより該第２装置をテストする。

【0004】

少なくとも上記問題を解決するため、本開示はさらにテストデータ作成方法を提供する。該テストデータ作成方法は、
テストデータ作成システムが、少なくとも第１テストデータおよび第２テストデータに基づいてファズデータを作成し、このうち該第１テストデータは少なくとも１つの第１装置のテストに用いられ、該第２テストデータは第２装置のテストに用いられること、
該テストデータ作成システムが、該ファズデータを該第２装置に伝送し、これにより該第２装置をテストすること、を含むことができる。

【0005】

上記のように、第２装置のテストに用いられるファズデータは、それ自体の第２テストデータおよび少なくとも１つの第１装置の第１テストデータを合わせて作成される。言い換えると、ファズデータは少なくとも１つの第１装置のテストに用いる第１テストデータを余分に含むため、第２テストデータの不足を補うことができ、さらには第２装置に対するテストの深さおよび広さを高め、これにより該テストは多様性を有する。
したがって、本開示中のテストデータ作成システムおよび方法が作成するファズデータによりテストするテスト方式は、従来のテスト方式と比較して、多様化したサイバー攻撃に効果的に抵抗できる。

【図面の簡単な説明】

【0006】

【図1】本発明の１つまたは複数の実施例に基づくテストデータ作成システムを示す。

【図2】図１に示すテストデータ作成システムがどのようにしてファズデータを作成するかを示す。

【図3A】本発明の１つまたは複数の実施例に基づく第１テストデータおよび第２テストデータを示す。

【図3B】どのようにして該第２テストデータに基づき、該第１テストデータを調整するかを示す。

【図3C】該第１テストデータおよび該第２テストデータを合わせた後の結果を示す。

【図4】図１に示すテストデータ作成システムが、どのようにして変異パターンの重みを調整して、より容易に装置の異常状態を引き起こすテストデータを作成するかを示す。

【図5】本発明の１つまたは複数の実施例に基づくテストデータ作成方法を示す。

【発明を実施するための形態】

【0007】

以下に記載する各種の実施例は、記載する環境、応用、構造、プロセス、工程のみで本発明を実施すると制限するものではない。図中、本発明の実施例と直接関係のない要素はいずれも省略した。図中、各要素の寸法および各要素間の比率は模範例に過ぎず、本発明を制限するものではない。特に説明する以外、以下の内容において、同じ（または似た）要素の符号は同じ（または似た）要素に対応できる。実現できる状況で、特に説明していない場合、以下の記載における各要素の数量は、１つまたは複数を指す。

【0008】

図１は、本発明の１つまたは複数の実施例に基づくテストデータ作成システムを示す。図１に示す内容は、本発明の実施例を説明するためのものに過ぎず、本発明を制限するものではない。

【0009】

図１を参照されたい。テストデータ作成システム１１は、少なくとも１つの第１装置１２１および第２装置１２２（被験装置）と通信でき、さらに少なくとも第１装置１２１からの第１テストデータＴＤ１および第２装置１２２からの第２テストデータＴＤ２に基づいて、第２装置１２２のテストに用いるファズデータＦＴＤを作成する。
テストデータ作成システム１１は、単一の実体コンピュータまたは互いに相互に接続する複数の実体コンピュータにより実現できる。テストデータ作成システム１１は、基本的に記憶装置１１１、プロセッサ１１２およびトランシーバ１１３を含むことができ、プロセッサ１１２は記憶装置１１１およびトランシーバ１１３とそれぞれ電気的に接続できる。

【0010】

記憶装置１１１は、テストデータ作成システム１１が作成したデータ、または外部から伝送されたデータ、例えば第１テストデータＴＤ１および第２テストデータＴＤ２を記憶できる。記憶装置１１１は１次記憶装置（主記憶装置または内部記憶装置とも称する）を含むことができ、プロセッサ１１２は１次記憶装置内に記憶された命令セットを直接読み込むことができ、必要なときはこれらの命令セットを実行する。
記憶装置１１１は２次記憶装置（外部記憶装置または補助記憶装置とも称する）を選択的に含むことができ、この記憶装置はデータバッファを介して、記憶したデータを１次記憶装置に伝送できる。例を挙げると、２次記憶装置は、ハードディスク、光ディスクなどでよいがこれに限定されない。記憶装置１１１は３次記憶装置を選択的に含むことができ、つまり、直接挿入できる、またはコンピュータから抜くことができる記憶装置であり、例えばフラッシュドライブである。いくつかの実施例において、記憶装置１１１はさらにクラウド記憶ユニットを選択的に含むことができる。

【0011】

プロセッサ１１２は、信号処理機能を備えたマイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）またはマイクロコントローラ（ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ）などでよい。マイクロプロセッサまたはマイクロコントローラは、プログラム可能な特殊集積回路であり、演算、記憶、出力／入力などの機能を有する。さらに各種コード化命令を受信して処理でき、これにより各種論理演算および算術演算を行い、相応の演算結果を出力する。プロセッサ１１２は、テストデータ作成システム１１中で各種演算またはプログラムを実行するようにプログラミングされることができる。

【0012】

トランシーバ１１３は、第１装置１２１および第２装置１２２と有線または無線で通信でき、トランスミッタ（ｔｒａｎｓｍｉｔｔｅｒ）およびレシーバ（ｒｅｃｅｉｖｅｒ）を含むことができる。無線通信を例とすると、トランシーバ１１３はアンテナ、アンプ、変調器、復調器、検出器、アナログデジタルコンバータ、デジタルアナログコンバータなどの通信要素を含むことができるがこれに限定されない。
有線通信を例とすると、トランシーバ１１３は、例えばギガビットイーサネットトランシーバ（ｇｉｇａｂｉｔ Ｅｔｈｅｒｎｅｔ ｔｒａｎｓｃｅｉｖｅｒ）、ギガビットインターフェイスコンバータ（ｇｉｇａｂｉｔ ｉｎｔｅｒｆａｃｅ ｃｏｎｖｅｒｔｅｒ、ＧＢＩＣ）、スモールフォームファクタプラガブルトランシーバ（ｓｍａｌｌ ｆｏｒｍ－ｆａｃｔｏｒ ｐｌｕｇｇａｂｌｅ（ＳＦＰ）ｔｒａｎｓｃｅｉｖｅｒ）、１０ギガビットスモールフォームファクタプラガブルトランシーバ（ｔｅｎ ｇｉｇａｂｉｔ ｓｍａｌｌ ｆｏｒｍ－ｆａｃｔｏｒ ｐｌｕｇｇａｂｌｅ（ＸＦＰ）ｔｒａｎｓｃｅｉｖｅｒ）などでよいがこれに限定されない。

【0013】

図２は、図１に示すテストデータ作成システム１１がどのようにしてファズデータＦＴＤを作成するかを示す。図２に示す内容は、本発明の実施例を説明するためのものに過ぎず、本発明を制限するものではない。

【0014】

第２装置１２２を被験装置と仮定する。図２に示すように、ファズデータの作成プロセス２において、まず、プロセッサ１１２は記憶装置１１１から第１テストデータＴＤ１および第２テストデータＴＤ２を取り込む（動作２０１と表示する）ことができる。
第１テストデータＴＤ１は、第１装置１２１のテストに適したテストデータであり、第２テストデータＴＤ２は第２装置１２２のテストに適したテストデータである。第２装置１２２は、被験装置である。いくつかの実施例において、第１テストデータＴＤ１は第１装置１２１からトランシーバ１１３に伝送され、第２テストデータＴＤ２は第２装置１２２からトランシーバ１１３に伝送される。いくつかの実施例において、第１テストデータＴＤ１は第１装置１２１以外のその他の装置からトランシーバ１１３に伝送されることができ、第２テストデータＴＤ２は第２装置１２２以外のその他の装置からトランシーバ１１３に伝送されることができる。
第１テストデータＴＤ１を調整する必要がなく、第３テストデータを増やす必要が無く、テストデータを変異させる必要もない場合、動作２０２～２０７を省略でき、動作２０１の後に続けて動作２０８を行う。したがって、いくつかの実施例において、プロセッサ１１２は直接第１テストデータＴＤ１および第２テストデータＴＤ２を合わせてファズデータＦＴＤにでき、さらにトランシーバ１１３がファズデータＦＴＤを第２装置１２２に伝送することにより、第２装置１２２をテストする。

【0015】

いくつかの実施例において、ファズデータＦＴＤを作成する前、プロセッサ１１２は先に第１テストデータＴＤ１を調整することもできる。
以下、図３Ａ～３Ｃを例として説明する。図３Ａは、本発明の１つまたは複数の実施例に基づく第１テストデータおよび第２テストデータを示し、図３Ｂはどのようにして該第２テストデータに基づき、該第１テストデータを調整するかを示し、図３Ｃは、該第１テストデータおよび該第２テストデータを合わせた後の結果を示す。図３Ａ～図３Ｃに示す内容は、本発明の実施例を説明するためのものに過ぎず、本発明を制限するものではない。

【0016】

図３Ａに示すように、第１テストデータＴＤ１は複数のサブテストデータＴＤ１＿１、ＴＤ１＿２、ＴＤ１＿３、…を含むことができ、第２テストデータＴＤ２は複数のサブテストデータＴＤ２＿１、ＴＤ２＿２、ＴＤ２＿３、…を含むことができる。
第１テストデータＴＤ１および第２テストデータＴＤ２は、同じプロトコルの形式に適合するテストデータであり、第１テストデータＴＤ１および第２テストデータＴＤ２は、それぞれ互いに対応する複数のブロックに区分できる。例を挙げると、第１装置１２１および第２装置１２２が採用するプロトコルがメッセージキューイングテレメトリ伝送（Ｍｅｓｓａｇｅ Ｑｕｅｕｉｎｇ Ｔｅｌｅｍｅｔｒｙ Ｔｒａｎｓｐｏｒｔ、ＭＱＴＴ）である場合、第１テストデータＴＤ１および第２テストデータＴＤ２は、例えば「ヘッダ」、「ペイロード（ｐａｙｌｏａｄ）長」、「トピック長」、「トピック内容」、「メッセージ認証コード」、および「メッセージ内容」などのブロックに区分できる。

【0017】

さらに、第１テストデータＴＤ１および第２テストデータＴＤ２が適合するプロトコルが既知である状況で、プロセッサ１１２は例えば「ＰｙＳｈａｒｋ」などのツールにより、第１テストデータＴＤ１を複数の第１ブロック（例えば、第１ブロックＢ１１、Ｂ１２、Ｂ１３およびＢ１４）に区分し、第２テストデータＴＤ２を複数の第２ブロック（例えば、第２ブロックＢ２１、Ｂ２２、Ｂ２３およびＢ２４）に区分でき、このうち該複数の第１ブロックはそれぞれ該複数の第２ブロックと対応する。
第１テストデータＴＤ１および第２テストデータＴＤ２が適合するプロトコルがわからない状況では、プロセッサ１１２は例えばニードルマン－ブンシュアルゴリズム（Ｎｅｅｄｌｅｍａｎ－Ｗｕｎｓｃｈ ａｌｇｏｒｉｔｈｍ）により、第１テストデータＴＤ１を該複数の第１ブロックに区分し、第２テストデータＴＤ２を該複数の第２ブロックに区分できる。

【0018】

第１テストデータＴＤ１および第２テストデータＴＤ２は同じプロトコルに適合するが、第１装置１２１および第２装置１２２の操作環境および機能は異なることがあるため、第１テストデータＴＤ１は第２テストデータＴＤ２と同じように、第２装置１２２のテストに充分に適することができない可能性がある。この状況で、プロセッサ１１２は第２テストデータＴＤ２中の各ブロックのデータが異なる程度を分析することにより、第１テストデータＴＤ１を調整して（動作２０２と表示する）、第２装置１２２のテストへの使用により適するようにする必要があるかどうかを判断できる。

【0019】

具体的に、プロセッサ１１２は第２テストデータＴＤ２における第２ブロックＢ２１、Ｂ２２、Ｂ２３およびＢ２４の数値の変化に基づいて、それぞれそのブロック差異率を計算できる。例を挙げると、プロセッサ１１２は「ニードルマン－ブンシュアルゴリズム」、「スミス－ウォーターマンアルゴリズム（Ｓｍｉｔｈ－Ｗａｔｅｒｍａｎ ａｌｇｏｒｉｔｈｍ）」、または「ヒルシュベルグアルゴリズム（Ｈｉｒｓｃｈｂｅｒｇ’ｓ ａｌｇｏｒｉｔｈｍ）」などのアルゴリズムにより、それぞれ第２ブロックＢ２１、Ｂ２２、Ｂ２３およびＢ２４の最長共通部分列（Ｌｏｎｇｅｓｔ Ｃｏｍｍｏｎ Ｓｕｂｓｅｑｕｅｎｃｅ、ＬＣＳ）を計算でき、その後、これにより第２ブロックＢ２１、Ｂ２２、Ｂ２３およびＢ２４それぞれの数値の変化を求める。
図３Ａを例とすると、第２ブロックＢ２１、Ｂ２２、Ｂ２３およびＢ２４のブロック差異率Ｄ１、Ｄ２、Ｄ３およびＤ４がそれぞれ「０％」、「３０％」、「４０％」および「９０％」であると仮定する。ブロック差異率Ｄ１が「０％」であるとは、第２ブロックＢ２１中のデータ内容にどのような差異も存在しないことを表し（例えば、いずれも「１０」）、ブロック差異率Ｄ２が「３０％」であるとは、第２ブロックＢ２２中のデータ内容の変化率が３０％であることを表し、これにより類推する。

【0020】

第２テストデータＴＤ２中の各ブロックのブロック差異率を算出した後、プロセッサ１１２は各該ブロック差異率が所定の閾値より低いかどうかを判断して、第１テストデータＴＤ１を相応に調整するかどうかを決定できる。例を挙げると、該所定の閾値が「５％」であると仮定すると、プロセッサ１１２はブロック差異率Ｄ１が該所定の閾値より低いこと（動作２０２で表す部分の判断結果が「はい」である）に基づいて、第１テストデータＴＤ１中の第１ブロックＢ１１を相応に調整でき（動作２０３と表示する）、これにより第１テストデータＴＤ１に対する第２装置１２２の受容程度を高める。
図３Ｂを例とすると、プロセッサ１１２は第１ブロックＢ１１を第２ブロックＢ２１と同じ内容に調整でき、つまり、「１０」に調整する。いくつかの実施例において、ブロックＢ２１のブロック差異率Ｄ１が「０％」でない（例えば３％）と仮定すると、プロセッサ１１２はブロックＢ１１の内容をブロックＢ２１中の重複率が最も高い数値に調整できる。

【0021】

プロセッサ１１２が第１テストデータＴＤ１を調整した後、第３テストデータを増やす必要が無く、テストデータを変異させる必要もない場合、動作２０４～２０７を省略でき、動作２０３の後に続けて動作２０８を行う。したがって、いくつかの実施例において、プロセッサ１１２は、第１テストデータＴＤ１を調整した後、調整後の第１テストデータＴＤ１および第２テストデータＴＤ２を合わせてファズデータＦＴＤにできる。
図３Ｃを例とすると、プロセッサ１１２は調整後の第１テストデータＴＤ１および第２テストデータＴＤ２を合わせて複数のサブファズデータＦＴＤ＿１、ＦＴＤ＿２、ＦＴＤ＿３、ＦＴＤ＿４、ＦＴＤ＿５、ＦＴＤ＿６を含むファズデータＦＴＤにできる。その後、トランシーバ１１３は、例えば図３に示すファズデータＦＴＤを第２装置１２２に伝送でき、これにより第２装置１２２をテストする。

【0022】

いくつかの実施例において、プロセッサ１１２は同じプロトコルに適合する第３テストデータを増やす必要があるかどうかを判断でき（動作２０４と表示する）、これによりテストデータの多様性を高める。動作２０４部分の判断結果が「はい」である場合、プロセッサ１１２は第２テストデータＴＤ２、および動作２０１からの第１テストデータＴＤ１または動作２０３からの調整後の第１テストデータＴＤ１の形式および内容に基づいて、機械学習アルゴリズムによりデータ作成モデルを構築でき、さらに該データ作成モデルを使用して、該第３テストデータを作成する（動作２０５と表示する）。例を挙げると、該機械学習アルゴリズムは、長・短期記憶モデル（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ、ＬＳＴＭ）、再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＲＮＮ）、ディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＤＮＮ）などの深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）に関するアルゴリズムでよいがこれに限定されない。

【0023】

プロセッサ１１２が第３テストデータを追加で作成した後、テストデータを変異させる必要がない場合、動作２０６～２０７を省略でき、動作２０５の後に続けて動作２０８を行う。したがって、いくつかの実施例において、プロセッサ１１２は、第３テストデータを作成した後、第１テストデータＴＤ１（または調整後の第１テストデータＴＤ１）、第２テストデータおよび第３テストデータを合わせてファズデータＦＴＤにできる。その後、トランシーバ１１３は、ファズデータＦＴＤを第２装置１２２に伝送でき、これにより第２装置１２２をテストする。

【0024】

いくつかの実施例において、プロセッサ１１２はテストデータを変異させるかどうかを判断できる（動作２０６と表示する）。動作２０６部分の判断結果が「はい」である場合、テストデータを変異させて（動作２０７と表示する）、第２装置１２２のテスト過程でより多くの異常状態が出現する可能性を高める。いくつかの実施例において、プロセッサ１１２は第１テストデータＴＤ１および第２テストデータＴＤ２を読み込んだ（すなわち動作２０１）後、第１テストデータＴＤ１および第２テストデータＴＤ２を変異させることができ、その後変異させた該データを合わせてファズデータＦＴＤにする。いくつかの実施例において、プロセッサ１１２は第１テストデータＴＤ１を調整した（すなわち動作２０３）後、調整後の第１テストデータＴＤ１および第２テストデータＴＤ２を変異させることができ、その後変異させた該データを合わせてファズデータＦＴＤにする。いくつかの実施例において、プロセッサ１１２は第３テストデータを増やした（すなわち動作２０５）後、第２テストデータＴＤ２、第３テストデータおよび第１テストデータＴＤ１（または調整後の第１テストデータＴＤ１）を変異させることができ、その後変異させた該データを合わせてファズデータＦＴＤにする。
プロセッサ１１２は、様々な変異パターンに基づいてテストデータを変異させることができ、このうち各変異パターンは、テストデータ中のあるブロックを変異させる変異方式で示す。このうち変異方式は、例えばビット変異、キャラクタ変異または長さ変異などでよい。

【0025】

いくつかの実施例において、プロセッサ１１２は第２装置の前回のテスト結果に基づいて、テストデータの変異パターンの重みを決定することもできる。以下、図４を例として説明する。図４はテストデータ作成システム１１が、どのようにして変異パターンの重みを調整して、より容易に装置に異常状態を引き起こすテストデータを作成するかを示す。図４に示す内容は、本発明の実施例を説明するために過ぎず、本発明を制限するためではない。

【0026】

いくつかの実施例において、プロセッサ１１２は先に第２装置１２２の前回のテスト結果に基づいて、テストデータの変異パターンの重みを調整することもでき、これにより第２装置１２２のテスト時に異常な変異パターンが容易に出現する選択確率を高める。
図４に示すように、全部で５つの変異パターンＭ１～Ｍ５があると仮定する。第２装置１２２の前回のテスト結果で、変異パターンＭ１が第２装置１２２に異常状態Ｓ１およびＳ２を生じさせ、変異パターンＭ２は第２装置１２２に異常状態Ｓ３を生じさせ、変異パターンＭ３は第２装置１２２に異常状態Ｓ２およびＳ３を生じさせ、変異パターンＭ４は第２装置１２２に異常状態Ｓ１を生じさせ、変異パターンＭ５は第２装置１２２に異常状態Ｓ１およびＳ３を生じさせる。このうち、状態Ｓ１は第２装置１２２の応答時間が過度に長いことを表し、状態Ｓ２は第２装置１２２を再起動しなければならないことを表し、状態Ｓ３は第２装置１２２の接続をリセットしなければならないことを表す。

【0027】

さらに、変異パターンの重みを調整しない状況では、変異パターンＭ１～Ｍ５の重みはいずれも「１」であるため、その選択確率もいずれも同じである。第２装置１２２に異常状態が発生する確率を高めるため、いくつかの実施例において、プロセッサ１１２は変異戦略Ａを用いることができる。つまり異常状態Ｓ１～Ｓ３の重みの総和に基づいて、変異パターンＭ１～Ｍ５の重みを設定する。この状況で、変異パターンＭ１～Ｍ５の重みは、それぞれ「２」、「１」、「２」、「１」、「２」に調整され、これにより第２装置１２２に複数の異常状態が同時に発生する確率を高める。いくつかの実施例において、プロセッサ１１２は変異戦略Ｂを用いることができる。つまり先に異常状態Ｓ１～Ｓ３の深刻さの程度に基づいて、異常状態Ｓ１～Ｓ３の重みを調整し、その後さらに異常状態Ｓ１～Ｓ３の調整後の重みの総和に基づいて、変異パターンＭ１～Ｍ５の重みを設定する。この状況では、変異パターンＭ１～Ｍ５の重みは、それぞれ「９」、「３」、「１０」、「２」、「５」に調整され、これにより第２装置１２２に複数の異常状態が同時に発生する確率を高めただけでなく、第２装置１２２に深刻な異常が発生する確率も高めた。その他の実施例において、プロセッサ１１２はその他の変異戦略を用いて変異パターンＭ１～Ｍ５の重みを調整することもでき、図４に示す変異戦略Ａおよび変異戦略Ｂに限定されない。

【0028】

いくつかの実施例において、第２装置１２２はテスト完了後、そのテスト結果および／またはそのテストデータをテストデータ作成システム１１に戻すことができ、次にテストデータを作成する参考、基準とする。

【0029】

図５は、本発明の１つまたは複数の実施例に基づくテストデータ作成方法を示す。図５に示す内容は、本発明の実施例を説明するために過ぎず、本発明を制限するためではない。

【0030】

図５を参照されたい。テストデータ作成方法５は、以下の工程を含むことができる。
テストデータ作成システムは、少なくとも第１テストデータおよび第２テストデータに基づいてファズデータを作成し、このうち該第１テストデータは少なくとも第１装置のテストに用いられ、該第２テストデータは第２装置のテストに用いられる（工程５０１と表示する）。
該テストデータ作成システムは、該ファズデータを該第２装置に伝送し、これにより該第２装置をテストする（工程５０２と表す）。

【0031】

いくつかの実施例において、テストデータ作成方法５は以下の工程を含むこともできる。
該テストデータ作成システムは、該少なくとも１つの第１装置から該第１テストデータを受信する。
該テストデータ作成システムは、該第２装置から該第２テストデータを受信する。

【0032】

いくつかの実施例において、テストデータ作成方法５は、以下の工程を含むこともできる。該テストデータ作成システムは、該第１テストデータおよび該第２テストデータを合わせて、該ファズデータを作成する。

【0033】

いくつかの実施例において、テストデータ作成方法５は以下の工程を含むこともできる。
該テストデータ作成システムは、該第１テストデータおよび該第２テストデータに基づき、機械学習モデルにより、該同じプロトコルに適合する第３テストデータを作成する。
該テストデータ作成システムは、該第１テストデータ、該第２テストデータおよび該第３テストデータを合わせて、該ファズデータを作成する。

【0034】

いくつかの実施例において、テストデータ作成方法５は以下の工程を含むこともできる。
該テストデータ作成システムは、該第１テストデータおよび該第２テストデータを変異させる。
該テストデータ作成システムは、変異後の第１テストデータおよび変異後の第２テストデータを合わせて、該ファズデータを作成する。これらの実施例において、テストデータ作成方法５は、該テストデータ作成システムが該第２装置の前回のテスト結果に基づいて、該第１テストデータおよび第２テストデータの変異パターンの重みを決定することを選択可能に含むこともできる。

【0035】

いくつかの実施例において、テストデータ作成方法５は以下の工程を含むこともできる。
該テストデータ作成システムは、該第１テストデータを複数の第１ブロックに分割する。
該テストデータ作成システムは、該第２テストデータを複数の第２ブロックに分割し、さらに各該複数の第２ブロックのブロック差異率を計算し、該複数の第２ブロックはそれぞれ該複数の第１ブロックに対応する。
該テストデータ作成システムは、該複数の第２ブロック中のブロック差異率が所定の閾値より低い１つまたは複数の第２ブロックの内容に基づき、該１つまたは複数の第２ブロックとそれぞれ対応する１つまたは複数の第１ブロックの内容を調整して、調整した第１テストデータを作成する。
該テストデータ作成システムは、少なくとも該調整後の第１テストデータおよび該第２テストデータを合わせて、該ファズデータを作成する。

【0036】

いくつかの実施例において、テストデータ作成方法５は以下の工程を含むこともできる。
該テストデータ作成システムは、該第１テストデータを複数の第１ブロックに分割する。
該テストデータ作成システムは、該第２テストデータを複数の第２ブロックに分割し、さらに各該複数の第２ブロックのブロック差異率を計算し、該複数の第２ブロックはそれぞれ該複数の第１ブロックに対応する。
該テストデータ作成システムは、該複数の第２ブロック中のブロック差異率が所定の閾値より低い１つまたは複数の第２ブロックの内容に基づき、該１つまたは複数の第２ブロックと対応する１つまたは複数の第１ブロックの内容をそれぞれ調整して、調整した第１テストデータを作成する。
該テストデータ作成システムは、該調整後の第１テストデータおよび該第２テストデータに基づき、機械学習モデルにより、該同じプロトコルに適合する第３テストデータを作成する。
該テストデータ作成システムは、該調整後の第１テストデータ、該第２テストデータおよび該第３テストデータを合わせて、該ファズデータを作成する。

【0037】

いくつかの実施例において、テストデータ作成方法５は以下の工程を含むこともできる。
該テストデータ作成システムは、該第１テストデータを複数の第１ブロックに分割する。
該テストデータ作成システムは、該第２テストデータを複数の第２ブロックに分割し、さらに各該複数の第２ブロックのブロック差異率を計算し、該複数の第２ブロックはそれぞれ該複数の第１ブロックに対応する。
該テストデータ作成システムは、該複数の第２ブロック中のブロック差異率が所定の閾値より低い１つまたは複数の第２ブロックの内容に基づき、該１つまたは複数の第２ブロックとそれぞれ対応する１つまたは複数の第１ブロックの内容を調整して、調整した第１テストデータを作成する。
該テストデータ作成システムは、該調整後の第１テストデータおよび該第２テストデータを変異させる。
該テストデータ作成システムは、変異後の第１テストデータおよび変異後の第２テストデータを合わせて、該ファズデータを作成する。これらの実施例において、テストデータ作成方法５は、該テストデータ作成システムが該第２装置の前回のテスト結果に基づいて、該調整後の第１テストデータおよび該第２テストデータの変異パターンの重みを決定することを選択可能に含むこともできる。

【0038】

上記実施例以外に、テストデータ作成方法５はテストデータ作成システム１１の上記すべての実施例と対応するその他の実施例も含む。当業者は、前文のテストデータ作成システム１１に対する説明に基づいて、テストデータ作成方法５のこれらその他の実施例を理解できるため、ここでは言及しない。

【0039】

本文は複数の実施例を開示したが、該実施例は本発明を制限しない。本発明の趣旨および範囲を逸脱しない状況で、該実施例の均等物または方法（例えば、上記実施例を修正および／または合わせる）も、本発明の一部分である。本発明の範囲は、特許請求の範囲で画定した内容を基準とする。

【符号の説明】

【0040】

１１ テストデータ作成システム
１１１ 記憶装置
１１２ プロセッサ
１１３ トランシーバ
１２１ 第１装置
１２２ 第２装置
２ ファズデータの作成プロセス
２０１、２０２、２０３、２０４、２０５、２０６、２０７、２０８ 動作
５ テストデータ作成方法
５０１、５０２ 工程
Ｂ１１、Ｂ１２、Ｂ１３、Ｂ１４ 第１ブロック
Ｂ２１、Ｂ２２、Ｂ２３、Ｂ２４ 第２ブロック
Ｄ１、Ｄ２、Ｄ３、Ｄ４ ブロック差異率
ＦＴＤ ファズデータ
ＦＴＤ＿１、ＦＴＤ＿２、ＦＴＤ＿３、ＦＴＤ＿４、ＦＴＤ＿５、ＦＴＤ＿６ サブファズデータ
Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５ 変異パターン
Ｓ１、Ｓ２、Ｓ３ 異常状態
ＴＤ１ 第１テストデータ
ＴＤ１＿１、ＴＤ１＿２、ＴＤ１＿３ 第１サブテストデータ
ＴＤ２ 第２テストデータ
ＴＤ２＿１、ＴＤ２＿２、ＴＤ２＿３ 第２サブテストデータ

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】