特開 2024-123950 試験装置、試験方法、および試験プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024123950

(43)【公開日】2024-09-12

(54)【発明の名称】試験装置、試験方法、および試験プログラム

(51)【国際特許分類】

   G06F 11/36 20060101AFI20240905BHJP

【ＦＩ】

G06F11/36 188

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023031799

(22)【出願日】2023-03-02

(71)【出願人】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】下澤 昌史

【テーマコード（参考）】

5B042

【Ｆターム（参考）】

5B042HH07

5B042HH12

5B042HH49

(57)【要約】

【課題】試験の合否判定精度の向上を図ること。
【解決手段】試験装置は、試験対象に動作を実行させる命令および前記命令の順序と、動作に要求される第１期待値と、が規定された試験シナリオに従って、試験対象の試験を実行し、順序と対応付けられた動作に関する時系列な第１測定値である第１時系列データを試験対象から取得し、第１時系列データと、試験シナリオに従って動作に関する順序と対応付けられた時系列な第２測定値が規定された第２時系列データとに基づいて、第１測定値の第１測定時間と第２測定値の第２測定時間との対応関係を特定し、第１測定時間と第２測定時間との時間差に基づいて、第１測定時間を調整し、調整後の第１測定時間に対応する第１測定値と、調整後の第１測定時間での順序に対応する第１期待値と、に基づいて、試験対象についての試験の合否を判定する。
【選択図】図７

【特許請求の範囲】

【請求項1】

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する試験装置であって、
前記プロセッサは、
試験対象に動作を実行させる命令および前記命令の順序と、前記動作に要求される第１期待値と、が規定された試験シナリオに従って、前記試験対象の試験を実行する試験処理と、
前記試験処理によって得られた前記順序と対応付けられた前記動作に関する時系列な第１測定値である第１時系列データを、前記試験対象から取得する取得処理と、
前記取得処理によって取得された第１時系列データと、前記試験シナリオに従って前記動作に関する前記順序と対応付けられた時系列な第２測定値が規定された第２時系列データとに基づいて、前記第１測定値の第１測定時間と前記第２測定値の第２測定時間との対応関係を特定し、前記第１測定時間と前記第２測定時間との時間差に基づいて、前記第１測定時間を調整する調整処理と、
前記調整処理による調整後の第１測定時間に対応する前記第１測定値と、前記調整後の第１測定時間での前記順序に対応する前記第１期待値と、に基づいて、前記試験対象についての試験の合否を判定する判定処理と、
前記判定処理による判定結果を出力する出力処理と、
を実行することを特徴とする試験装置。

【請求項2】

請求項１に記載の試験装置であって、
前記判定結果は、前記調整後の第１測定時間に対応する前記第１測定値と前記調整後の第１測定時間での前記動作の前記順序に対応する前記第１期待値との第１比較結果と、前記時間差と、を含む、
ことを特徴とする試験装置。

【請求項3】

請求項１に記載の試験装置であって、
前記試験シナリオには、前記順序に従った前記第１期待値の配列に要求される第２期待値と、が規定されており、
前記調整処理では、前記プロセッサは、前記第１時系列データと前記第２時系列データとの類似度を算出し、
前記判定処理では、前記プロセッサは、前記調整処理によって算出された類似度と、前記第２期待値と、に基づいて、前記試験の合否を判定する、
ことを特徴とする試験装置。

【請求項4】

請求項３に記載の試験装置であって、
前記判定結果は、前記類似度と前記第２期待値との第２比較結果を含む、
ことを特徴とする試験装置。

【請求項5】

請求項１に記載の試験装置であって、
前記調整処理では、前記プロセッサは、動的時間伸縮法に基づいて、前記対応関係を特定する、
ことを特徴とする試験装置。

【請求項6】

請求項３に記載の試験装置であって、
前記調整処理では、前記プロセッサは、動的時間伸縮法に基づいて、前記類似度を算出する、
ことを特徴とする試験装置。

【請求項7】

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する試験装置による試験方法であって、
前記プロセッサは、
試験対象に動作を実行させる命令および前記命令の順序と、前記動作に要求される第１期待値と、が規定された試験シナリオに従って、前記試験対象の試験を実行する試験処理と、
前記試験処理によって得られた前記順序と対応付けられた前記動作に関する時系列な第１測定値である第１時系列データを、前記試験対象から取得する取得処理と、
前記取得処理によって取得された第１時系列データと、前記試験シナリオに従って前記動作に関する前記順序と対応付けられた時系列な第２測定値が規定された第２時系列データとに基づいて、前記第１測定値の第１測定時間と前記第２測定値の第２測定時間との対応関係を特定し、前記第１測定時間と前記第２測定時間との時間差に基づいて、前記第１測定時間を調整する調整処理と、
前記調整処理による調整後の第１測定時間に対応する前記第１測定値と、前記調整後の第１測定時間での前記順序に対応する前記第１期待値と、に基づいて、前記試験対象についての試験の合否を判定する判定処理と、
前記判定処理による判定結果を出力する出力処理と、
を実行することを特徴とする試験方法。

【請求項8】

プロセッサに、
試験対象に動作を実行させる命令および前記命令の順序と、前記動作に要求される第１期待値と、が規定された試験シナリオに従って、前記試験対象の試験を実行する試験処理と、
前記試験処理によって得られた前記順序と対応付けられた前記動作に関する時系列な第１測定値である第１時系列データを、前記試験対象から取得する取得処理と、
前記取得処理によって取得された第１時系列データと、前記試験シナリオに従って前記動作に関する前記順序と対応付けられた時系列な第２測定値が規定された第２時系列データとに基づいて、前記第１測定値の第１測定時間と前記第２測定値の第２測定時間との対応関係を特定し、前記第１測定時間と前記第２測定時間との時間差に基づいて、前記第１測定時間を調整する調整処理と、
前記調整処理による調整後の第１測定時間に対応する前記第１測定値と、前記調整後の第１測定時間での前記順序に対応する前記第１期待値と、に基づいて、前記試験対象についての試験の合否を判定する判定処理と、
前記判定処理による判定結果を出力する出力処理と、
を実行させることを特徴とする試験プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、試験対象を試験する試験装置、試験方法、および試験プログラムに関する。

【背景技術】

【0002】

一般的に自動試験を行う際には、事前に試験シナリオを作成する必要があり、試験シナリオには操作手順、並びに判定に用いる期待値、判定ポイントを記述する必要がある。上記試験シナリオを試験対象に入力し、時系列な出力波形データを取得し、出力波形データと該当する判定ポイント（時間）における期待値とを比較し、試験合否結果を出力する。

【0003】

特許文献１は、内燃機関において失火が発生したことを検知する失火検知方法を開示する。この失火検知方法は、内燃機関の排気温度を測定する測定工程と、測定工程によって測定された排気温度の対象波形と予め定められた参照波形とを相互相関が高くなるように同期させる同期工程と、該同期後の対象波形を同期後の参照波形に対して動的時間伸縮法に基づいてアライメントし、該アライメント後の対象波形と参照波形との差異に基づいて失火の有無を判定する判定工程とを有する。

【0004】

特許文献２は、装置において実行されるプログラムの動作を検証する検証システムを開示する。この検証システムでは、試験者は、ＵＭＬモデリングツール５０（以下、ツール）を介して、検証方法を表すテスト仕様を例えばシーケンス図の形式で視覚的に認識可能に作成することができる。ツールを介して試験者により作成されたシーケンス図を表す情報は、ツールにおけるスクリプトの生成機能により、ＣＡＮバスモニタが認識及び実行可能なテストスクリプトに変換される。ＣＡＮバスモニタは、検証対象であるＥＣＵの動作を監視し、そのＥＣＵの実際の動作が、テストスクリプトが表すテスト仕様に合致するか否かを判断し、判断結果を表すテストレポートを外部に出力する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２－９７６０３号公報

【特許文献2】特開２０１０－１５２４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、リアルタイムシミュレーション（特にハードウェアを含めたリアルタイムシミュレーション）の場合、全く同じ試験シナリオを実施したとしても、取得した出力波形データは完全に一致はしない。理由としては、ハードウェア要因であるレイテンシ、並びにシナリオを実行する処理精度（リアルタイム性能）による処理遅延が発生するためである。そのため、期待した判定ポイントからのズレが生じることで試験結果の不合格が発生してしまう。

【0007】

現状では、不合格となってしまった試験は再度試験シナリオの見直し（判定ポイントの調整）を行い、再度自動試験を実施することになる。または、不合格理由の原因説明を行い正しく試験として問題ないことを立証する必要がある。

【0008】

また、上記判定ポイントでの試験では、波形の特徴（形状）を自動試験項目に含めることができない。現状では、波形の特徴（形状）を含めた試験を行う際は取得したデータを可視化し、目視で波形の形状を判定することとなる。

【0009】

本発明は、試験の合否判定精度の向上を図ることを目的とする。

【課題を解決するための手段】

【0010】

本願において開示される発明の一側面となる試験装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する試験装置であって、前記プロセッサは、試験対象に動作を実行させる命令および前記命令の順序と、前記動作に要求される第１期待値と、が規定された試験シナリオに従って、前記試験対象の試験を実行する試験処理と、前記試験処理によって得られた前記順序と対応付けられた前記動作に関する時系列な第１測定値である第１時系列データを、前記試験対象から取得する取得処理と、前記取得処理によって取得された第１時系列データと、前記試験シナリオに従って前記動作に関する前記順序と対応付けられた時系列な第２測定値が規定された第２時系列データとに基づいて、前記第１測定値の第１測定時間と前記第２測定値の第２測定時間との対応関係を特定し、前記第１測定時間と前記第２測定時間との時間差に基づいて、前記第１測定時間を調整する調整処理と、前記調整処理による調整後の第１測定時間に対応する前記第１測定値と、前記調整後の第１測定時間での前記動作の前記順序に対応する前記第１期待値と、に基づいて、前記試験対象についての試験の合否を判定する判定処理と、前記判定処理による判定結果を出力する出力処理と、を実行する。

【発明の効果】

【0011】

本発明の代表的な実施の形態によれば、試験の合否判定精度の向上を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0012】

【図1】図１は、試験装置のハードウェア構成例を示すブロック図である。

【図2】図２は、試験装置の機能的構成例を示すブロック図である。

【図3】図３は、第１自動試験実行判定プロセスの一例を示す説明図である。

【図4】図４は、第１試験シナリオの一例を示す説明図である。

【図5】図５は、時系列データの一例を示す説明図である。

【図6】図６は、第１試験結果の一例を示す説明図である。

【図7】図７は、第２自動試験実行判定プロセスの一例を示す説明図である。

【図8】図８は、第２試験シナリオの一例を示す説明図である。

【図9】図９は、参照時系列データの一例を示す説明図である。

【図10】図１０は、第２試験結果の一例を示す説明図である。

【図11】図１１は、ＤＴＷによるデータマッピング例を示すグラフである。

【図12】図１２は、試験装置による参照時系列データ生成処理手順例を示すフローチャートである。

【図13】図１３は、試験装置による時系列データ生成処理手順例を示すフローチャートである。

【図14】図１４は、試験装置による自動判定ポイント調整試験実行処理手順例を示すフローチャートである。

【発明を実施するための形態】

【0013】

＜試験装置のハードウェア構成例＞
図１は、試験装置のハードウェア構成例を示すブロック図である。試験装置１００は、プロセッサ１０１と、記憶デバイス１０２と、入力デバイス１０３と、出力デバイス１０４と、通信インターフェース（通信ＩＦ）１０５と、を有する。プロセッサ１０１、記憶デバイス１０２、入力デバイス１０３、出力デバイス１０４、および通信ＩＦ１０５は、バス１０６により接続される。プロセッサ１０１は、試験装置１００を制御する。記憶デバイス１０２は、プロセッサ１０１の作業エリアとなる。また、記憶デバイス１０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス１０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス１０３は、データを入力する。入力デバイス１０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナ、マイク、センサがある。出力デバイス１０４は、データを出力する。出力デバイス１０４としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信ＩＦ１０５は、ネットワークと接続し、データを送受信する。

【0014】

＜試験装置１００の機能的構成例＞
図２は、試験装置１００の機能的構成例を示すブロック図である。試験装置１００は、自動試験実行部２０１と、判定部２０２と、第１通信部２０３と、試験シナリオ２０４と、時系列データ２０５と、試験結果２０６と、参照時系列データ２０７と、を有する。試験装置１００は、試験対象２１０のシミュレーション動作の遅延を考慮に入れた判定ポイントを自動調整し、期待している判定ポイントで試験判定が可能な自動判定ポイント調整機能を有する。

【0015】

自動試験実行部２０１、判定部２０２および第１通信部２０３は、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより実現される機能である。試験シナリオ２０４、時系列データ２０５、試験結果２０６、および参照時系列データ２０７は、記憶デバイス１０２に記憶されるデータである。

【0016】

また、試験対象２１０は、試験装置１００により試験される装置である。試験対象２１０は、経時的に動作する装置であればよい。試験対象２１０は、たとえば、自動車などの移動体である。本実施例では、自動車のシミュレーション動作試験を例に挙げて説明する。試験対象２１０は、試験対象２１０をシミュレーション動作させるソフトウェア２１１と、第２通信部２１２と、を有する。

【0017】

＜第１自動試験実行判定プロセス＞
図３は、第１自動試験実行判定プロセスの一例を示す説明図である。第１自動試験実行判定プロセス３１０は、試験装置１００により実行されるプロセスであるが、上述した自動判定ポイント調整機能を適用しない場合のプロセスである。具体的には、たとえば、試験装置１００は、第１自動試験実行判定プロセス３１０により、試験シナリオ実行処理３１１と、第１通信処理３１２と、時系列データ取得処理３１３と、試験判定処理３１４と、を実行する。

【0018】

試験シナリオ実行処理３１１は、自動試験実行部２０１により、第１試験シナリオ３０４を読み込んで、試験対象２１０を第１試験シナリオ３０４に記述された命令どおりに実行する処理である。

【0019】

第１通信処理３１２は、通信ＩＦ１０６である第１通信部２０３により、試験対象２１０と通信する処理である。

【0020】

時系列データ取得処理３１３は、試験シナリオ実行処理３１１により、試験対象２１０から第１通信処理３１２に受信された時系列データ２０５を取得する処理である。

【0021】

試験判定処理３１４は、判定部２０２により、時系列データ２０５と該当する判定ポイント（時間）における期待値とを比較して試験の合否を判定し、時系列データ２０５と第１試験結果３０６とを出力する処理である。

【0022】

試験対象環境３２０は、試験対象２１０における試験環境であり、ソフトウェア２１１により、通信ＩＦである第２通信部２１２を制御して、第１通信部２０３との第２通信処理３２１を実行する。

【0023】

＜第１試験シナリオ３０４＞
図４は、第１試験シナリオ３０４の一例を示す説明図である。第１試験シナリオ３０４は、自動判定ポイント調整機能に対応していない試験シナリオである。第１試験シナリオ３０４は、試験対象２１０に動作を実行させる命令および命令の順序と、動作に要求される期待値と、が規定されたデータである。

【0024】

第１試験シナリオ３０４は、フィールドとして、シーケンスＮｏ．４０１と、指示４０２と、設定値４０３と、期待値４０４と、を有する。

【0025】

シーケンスＮｏ．４０１は、試験対象２１０に実行させる動作の順序を示す昇順の番号であり、昇順に指示４０２が実行される。シーケンスＮｏ．４０１の値＃（＃は１以上の整数）を「シーケンス（＃）」と表記する場合がある。なお、「ｓ」は秒（ｓｅｃ）の略である（他の図も同様）。

【0026】

指示４０２は、試験対象２１０に動作を実行させる命令である。設定値４０３は、指示４０２において試験対象２１０に設定される値である。期待値４０４は、設定値４０３で指示４０２が与えられた場合に期待される値である。本例では、期待値４０４は、シーケンス（５）の指示４０２である故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）で故障発生の有無をＦａｉｌ＿ｆｌａｇで示す。「０」は故障が発生していないことを示し、「１」は故障が発生したことを示す。

【0027】

第１試験シナリオ３０４をシーケンスＮｏ．４０１順に説明する。

【0028】

シーケンス（１）
試験装置１００は、試験対象２１０のＩＧＮ（イグニッション）をＯＮにする。

【0029】

シーケンス（２）
５秒待機する。

【0030】

シーケンス（３）
アクセルペダルの踏み込み量を４０％増加させる。

【0031】

シーケンス（４）
５秒待機する。

【0032】

シーケンス（５）
故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）をＯＮにして、試験対象２１０に故障を発生させる。

【0033】

シーケンス（６）～（８）
ＪｕｄｇｅＰｏｉｎｔは、試験装置１００が、設定値４０３に記述した累積時間の経過後に、故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）により試験対象２１０に故障が発生したか否かを判定する機能である。

【0034】

シーケンス（６）において、故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）がＯＮになってから０．１秒経過後の期待値４０４を「０」とする。シーケンス（７）において、故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）がＯＮになってから０．２秒経過後の期待値４０４は「１」とする。シーケンス（８）において、故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）がＯＮになってから０．３秒経過後の期待値４０４は「０」とする。

【0035】

このように、第１試験シナリオ３０４は、シーケンス（５）の指示４０２である故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）がＯＮ（設定値４０３）になってから０．２秒後に、Ｆａｉｌ＿ｆｌａｇが０．１秒間で「１」となることを確認するための試験シナリオである。

【0036】

＜時系列データ２０５＞
図５は、時系列データ２０５の一例を示す説明図である。時系列データ２０５は、シーケンス（＃）と対応付けられた指示４０２および設定値４０３による試験対象２１０の動作に関する時系列な測定値である。時系列データ２０５は、第１試験シナリオ３０４が試験対象２１０に入力された結果得られるログである。時系列データ２０５は、フィールドとして、シミュレーション時間５０１と、シーケンスＮｏ．４０１と、判定値５０２と、を有する。

【0037】

シミュレーション時間５０１は、試験の開始からの現実の経過時間である。判定値５０２は、故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）による故障発生の有無（Ｆａｉｌ＿ｆｌａｇ）を示す測定値である。

【0038】

時系列データ２０５は、シミュレーション時間５０１が１０．５（ｓ）～１０．７（ｓ）の０．３秒間で、シーケンス（５）の指示４０２である故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）がＯＮ（設定値４０３）になったことを示している（符号５１０）。

【0039】

また、時系列データ２０５は、シミュレーション時間５０１が１０．５（ｓ）以降で判定値５０２が「１」になるまでの期間を示している（符号５２０）。

【0040】

すなわち、時系列データ２０５では、試験対象２１０でのシーケンス（５）に処理遅延が発生したために、シーケンス（５）の指示４０２である故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）の処理に０．３（ｓ）かかってしまったことを示している。そのため、時系列データ２０５は、期待値４０４とは異なるデータとなる。

【0041】

＜第１試験結果３０６＞
図６は、第１試験結果３０６の一例を示す説明図である。第１試験結果３０６は、フィールドとして、シーケンスＮｏ．４０１と、指示４０２と、設定値４０３と、第１判定結果６００と、を有する。第１判定結果６００は、期待値４０４と判定値５０２とを比較した結果を示す。

【0042】

「－」は、指示４０２が「ＪｕｄｇｅＰｏｉｎｔ」ではないため、期待値４０４と判定値５０２との比較が行われていないことを示す。

【0043】

「ＯＫ」は、判定値５０２と期待値４０４とが一致したことを示す。「ＮＧ ｘ（ｙ）」は、判定値５０２と期待値４０４とが不一致であることを示す。「ｘ」は判定値５０２を示し、「（ｙ）」は期待値４０４を示す。

【0044】

すなわち、シーケンス（７）では、判定値５０２が「０」で期待値４０４が「１」であるため、不一致になったことを示し、シーケンス（８）では、判定値５０２が「１」で期待値４０４が「０」であるため、不一致になったことを示す。このため、試験結果は不合格となる。

【0045】

＜第２自動試験実行判定プロセス＞
図７は、第２自動試験実行判定プロセスの一例を示す説明図である。第２自動試験実行判定プロセス７１０は、試験装置１００により実行されるプロセスであり、上述した自動判定ポイント調整機能を適用する場合のプロセスである。具体的には、たとえば、試験装置１００は、第２自動試験実行判定プロセス７１０により、試験シナリオ実行処理３１１と、第１通信処理３１２と、時系列データ取得処理３１３と、自動判定ポイント調整処理７１１と、試験判定処理３１４と、を実行する。

【0046】

試験シナリオ実行処理３１１は、自動試験実行部２０１により、第２試験シナリオ７０４を読み込んで、試験対象２１０を第２試験シナリオ７０４に記述された命令どおりに実行する処理である。

【0047】

自動判定ポイント調整処理７１１は、判定部２０２により、参照時系列データ２０７を用いて時系列データ２０５における判定ポイント（時間）を自動調整する処理である。

【0048】

試験判定処理３１４は、判定部２０２により、自動判定ポイント調整処理７１１による調整結果に基づいて、時系列データ２０５と該当する判定ポイント（時間）における期待値とを比較して試験の合否を判定し、時系列データ２０５と第２試験結果７０６とを出力する処理である。

【0049】

＜第２試験シナリオ７０４＞
図８は、第２試験シナリオ７０４の一例を示す説明図である。第２試験シナリオ７０４は、自動判定ポイント調整機能に対応する試験シナリオである。第２試験シナリオ７０４は、フィールドとして、シーケンスＮｏ．４０１と、指示４０２と、設定値４０３と、期待値４０４と、ＤＴＷ期待値８０５と、を有する。第２試験シナリオ７０４におけるシーケンスＮｏ．４０１、指示４０２、設定値４０３および期待値４０４の値は、第１試験シナリオ３０４と同一である。

【0050】

ＤＴＷ期待値８０５は、設定値４０３で指示４０２が与えられた場合のシーケンスＮｏ．４０１に従ったＦａｉｌ＿ｆｌａｇの経時的変化を示す波形に供給される期待値である。ＤＴＷは、Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ（動的時間伸縮法）の略称である。

【0051】

本例では、ＤＴＷ期待値８０５が「０」であるため、参照時系列データ２０７におけるＦａｉｌ＿ｆｌａｇの経時的変化を示す波形と第２試験シナリオ７０４におけるＦａｉｌ＿ｆｌａｇの経時的変化を示す波形とが一致することが要求される。ＤＴＷ期待値８０５は、０以上１以下の範囲で設定される。

【0052】

＜参照時系列データ２０７＞
図９は、参照時系列データ２０７の一例を示す説明図である。参照時系列データ２０７は、たとえば、事前に、第２試験シナリオ７０４と同一の試験シナリオで試験対象２１０をシミュレーションした結果得られた時系列データである。また、過去に合格と判定された試験結果が得られた時の時系列データでもよい。

【0053】

参照時系列データ２０７は、フィールドとして、シミュレーション時間５０１と、シーケンスＮｏ．４０１と、参照判定値９０２と、を有する。

【0054】

参照判定値９０２は、参照時系列データ２０７の生成時において、故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）による故障発生の有無（Ｆａｉｌ＿ｆｌａｇ）を示す測定値である。

【0055】

参照時系列データ２０７は、シーケンス（５）において処理遅延が発生していない。このため、シーケンス（５）が実行されたシミュレーション時間５０１である１０．５（ｓ）（符号９１０）から０．２秒後の１０．７（ｓ）に、参照判定値９０２が「１」になっている（符号９２０）。

【0056】

＜第２試験結果７０６＞
図１０は、第２試験結果７０６の一例を示す説明図である。第２試験結果７０６は、フィールドとして、シーケンスＮｏ．４０１と、指示４０２と、設定値４０３と、第２判定結果１０００と、ＤＴＷ判定結果１００１と、を有する。第２判定結果１０００は、期待値４０４と自動判定ポイント調整処理７１１による調整済みの判定値５０２とを比較した結果を示す。

【0057】

「ＯＫ（ｚｓ）」は、自動判定ポイント調整処理７１１による調整済みの判定値５０２と期待値４０４とが一致したことを示す。「ｚ」は、時系列データ２０５に基づいてＤＴＷによって補正されたＪｕｄｇｅＰｏｉｎｔでの調整時間（ｓ）である。

【0058】

すなわち、図５の時系列データ２０５において、シミュレーション時間５０１の１０．６（ｓ）、１０．７（ｓ）、１０．８（ｓ）の判定値５０２（０，０，１）（符号５２０）が期待値４０４と比較されたが、ＤＴＷの補正により、シミュレーション時間５０１の１０．７（ｓ）、１０．８（ｓ）、１０．９（ｓ）の判定値５０２（０，１，０）（符号５３０）で期待値４０４と比較される。本例の場合、シーケンス（６）～（８）において、ＤＴＷの補正によりＪｕｄｇｅＰｏｉｎｔの判定タイミングが０．１（ｓ）増加したため、第２判定結果１０００に「ｚ」（＝＋０．１）が調整時間（ｓ）として追記されることになる。

【0059】

図６の第１試験結果３０６ではシーケンス（７）、（８）のＪｕｄｇｅＰｏｉｎｔの第１判定結果６００は「ＮＧ」であるが、第２試験結果７０６では、「ＯＫ」になる。

【0060】

ＤＴＷ判定結果１００１は、ＤＴＷ値が第２試験シナリオ７０４のＤＴＷ期待値８０５と一致するか否かを示す指標値である。たとえば、ＤＴＷ期待値８０５は「０」であるため、ＤＴＷ値が「０」であれば、ＤＴＷ判定結果１００１は「ＯＫ」、ＤＴＷ値が「０」よりも大きい値であれば、ＤＴＷ判定結果１００１は「ＮＧ」となる。

【0061】

なお、ＤＴＷ期待値８０５は「０」に限定されず、０．０≦ＤＴＷ期待値８０５＜しきい値ｔｈのような範囲であってもよい。ＤＴＷ値は０．０以上の値をとるため、しきい値ｔｈは０．０以上の任意の値を設定できるが、ＤＴＷ値が０．０に近い値である場合も、ＤＴＷ判定結果１００１を「ＯＫ」にするために、しきい値ｔｈは０．５以下の値に設定するのが好ましい。

【0062】

ここで、ＤＴＷ値の計算について説明する。２つの時系列データをｘ，ｙとし、時刻ｔ（１≦ｔ≦Ｔ）における時系列データｘ，ｙの値ｘ_ｔ，ｙ_ｔで波形を表現することとする。時系列データｘの時刻ｔ＝ｗ^ｘと時系列データｙの時刻ｔ＝ｗ^ｙがアライメントによって対応することをｗ＝（ｗ^ｘ，ｗ^ｙ）とし、波形のアライメント全体をＫ個の対応関係の集合をワーピングパスＷ＝｛ｗ_１，ｗ_２，…，ｗ_Ｋ｝で表す。ここでｗ_ｋ＝（ｗ_ｋ ^ｘ，ｗ_ｋ ^ｙ）（ｋは１≦ｋ≦Ｋを満たす整数）とおくと、ＤＴＷ値は下記式（１）で定義される。

【0063】

【数1】

【0064】

ＤＴＷ値は、時系列データｘ，ｙの類似度を示す。ＤＴＷ値は、ＤＴＷ期待値８０５と同様、０以上１以下の範囲を取る。２つの時系列データｘ，ｙを、参照時系列データ２０７におけるＦａｉｌ＿ｆｌａｇ（参照判定値９０２）と、第２試験シナリオ７０４におけるＦａｉｌ＿ｆｌａｇ（判定値５０２）と、にすることにより、ＤＴＷ値が算出される。

【0065】

ＤＴＷ期待値８０５が小さくなるほど、参照時系列データ２０７におけるＦａｉｌ＿ｆｌａｇ（参照判定値９０２）の経時的変化を示す波形と第２試験シナリオ７０４におけるＦａｉｌ＿ｆｌａｇ（判定値５０２）の経時的変化を示す波形とが類似する。

【0066】

＜ＤＴＷによるデータマッピング＞
図１１は、ＤＴＷによるデータマッピング例を示すグラフである。グラフ１１００は、横軸１１１０と、第１縦軸１１２１と、第２縦軸１１２２と、を有する。横軸１１１０は、シミュレーション時間５０１である。第１縦軸１１２１は、参照時系列データ２０７の参照判定値９０２である。第２縦軸１１２２は、時系列データ２０５の判定値５０２である。丸図形近傍の（＃）ｔｔ．ｔｓは、シーケンス（＃）のシミュレーション時間５０１の値ｔｔ．ｔを示す。たとえば、（５）１０．６ｓは、シーケンス（５）のシミュレーション時間５０１の値１０．６ｓを示す。

【0067】

第１波形Ｗ１および第２波形Ｗ２の重なりを避けるため、便宜的に第２波形Ｗ２を第１縦軸１１２１の方向にずらして表示する。

【0068】

第１波形Ｗ１は、参照時系列データ２０７における参照判定値９０２の経時的変化を示す。第１波形Ｗ１は、調整元の波形である。第２波形Ｗ２は、時系列データ２０５における判定値５０２の経時的変化を示す。第２波形Ｗ２は、調整先の波形である。第１波形Ｗ１および第２波形Ｗ２において、同一の丸図形で囲まれた点どうしがマッピングされる。

【0069】

ＤＴＷの実行により、具体的には、たとえば、第１波形Ｗ１における値が「０」のシーケンス（６）１０．６ｓと第２波形Ｗ２における値が「０」のシーケンス（５）１０．７ｓとの対応関係と、その時間差＋１．０ｓ（＝１０．７ｓ－１０．６ｓ）と、が特定される。

【0070】

また、第１波形Ｗ１における値が「１」のシーケンス（７）１０．７ｓと第２波形Ｗ２における値が「１」のシーケンス（６）１０．８ｓとの対応関係と、その時間差＋１．０ｓ（＝１０．８ｓ－１０．７ｓ）と、が特定される。

【0071】

また、第１波形Ｗ１における値が「０」のシーケンス（８）１０．８ｓと第２波形Ｗ２における値が「０」のシーケンス（７）１０．９ｓとの対応関係と、その時間差＋１．０ｓ（＝１０．８ｓ－１０．７ｓ）と、が特定される。

【0072】

また、上記式（１）を用いて、シミュレーション時間５０１が横軸１１１０で示す９ｓ～１２ｓの区間内でのＤＴＷ値を計算すると、ＤＴＷ値はＤＴＷ＝０になる。

【0073】

このように、ＤＴＷを適用することにより、試験装置１００は、第１波形Ｗ１および第２波形Ｗ２内の点の対応関係や第１波形Ｗ１および第２波形Ｗ２に関するＤＴＷ値を取得することができる。

【0074】

＜参照時系列データ生成処理＞
図１２は、試験装置１００による参照時系列データ生成処理手順例を示すフローチャートである。図１２は、第２自動試験実行判定プロセスにおいて、試験装置１００が、試験シナリオ実行処理３１１、第１通信処理３１２、時系列データ取得処理３１３により、シミュレーションで参照時系列データ２０７を生成する処理である。シミュレーション実行前の参照時系列データ２０７のエントリは空の状態である。

【0075】

試験装置１００は、第２試験シナリオ７０４を読み込み、シーケンスＮｏ．４０１、指示４０２および設定値４０３の解析（スクリプトファイルへの変換）を実行する（ステップＳ１２０１）。

【0076】

試験装置１００は、自動試験の判定で用いる測定信号、本例では参照判定値９０２（Ｆａｉｌ＿ｆｌａｇ）の測定を開始する（ステップＳ１２０２）。

【0077】

試験装置１００は、シーケンスＮｏ．４０１のすべてのシーケンスの実行が終了したか否かを判断する（ステップＳ１２０３）。シーケンスＮｏ．４０１のすべてのシーケンスの実行が終了していない場合（ステップＳ１２０３：Ｎｏ）、現在のシミュレーション時間５０１（現シミュレーション時間）がシーケンスＮｏ．実行時間以上であるか否かを判断する（ステップＳ１２０４）。

【0078】

現シミュレーション時間は、ステップＳ１２０２の開始時点では「０．０ｓ」であり、ステップＳ１２０７において、シミュレーションにより１ステップ（０．１ｓ）刻みで増加する。

【0079】

シーケンスＮｏ．実行時間とは、現在までのシーケンスＮｏ．４０１のシーケンス（以下、現シーケンス（＃））の実行までの累積時間である。シーケンス（＃）は、シーケンスＮｏ．４０１の昇順に実行されるため、現シーケンス（＃）は未実行でかつ最も若いシーケンスＮｏ．４０１である。シーケンスＮｏ．実行時間は、ステップＳ１２０２の開始時点では「０．０ｓ」であり、シーケンス（＃）の実行によりステップＳ１２０６で累積される。

【0080】

現シミュレーション時間がシーケンスＮｏ．実行時間以上である場合（ステップＳ１２０４：Ｙｅｓ）、ステップＳ１２０５に移行する。一方、現シミュレーション時間がシーケンスＮｏ．実行時間以上でない場合（ステップＳ１２０４：Ｎｏ）、ステップＳ１２０７に移行する。

【0081】

ステップＳ１２０２の開始時点では、現シミュレーション時間およびシーケンスＮｏ．実行時間はともに「０．０ｓ」であるため、ステップＳ１２０４に移行する。

【0082】

試験装置１００は、現シーケンス（＃）の指示４０２を実行する（ステップＳ１２０５）。ステップＳ１２０２の開始時点では、現シーケンス（＃）は、シーケンス（１）である。したがって、試験装置１００は、シーケンス（１）の指示４０２である「ＩＧＮ」を設定値４０３である「ＯＮ」にする処理を実行する。これにより、参照判定値９０２が測定信号の値として出力される。

【0083】

シーケンス（１）は、指示４０２が故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）ではないため、故障が疑似発生しない。したがって、故障発生の有無を示す参照判定値９０２（Ｆａｉｌ＿ｆｌａｇ）の値は「０」である。

【0084】

試験装置１００は、現在のシーケンスＮｏ．実行時間を更新する（ステップＳ１２０６）。具体的には、たとえば、試験装置１００は、シーケンスＮｏ．実行時間に、ステップＳ１２０４での現シーケンス（＃）の指示４０２の実行に要した時間を加算することにより、シーケンスＮｏ．実行時間を更新する。

【0085】

たとえば、シーケンス（１）に０．１ｓ要したとする。この場合、シーケンスＮｏ．実行時間は、「０．０ｓ」から「０．１ｓ」に更新される。

【0086】

つぎに、試験装置１００は、現シミュレーション時間を１ステップ進める（ステップＳ１２０７）。具体的には、たとえば、試験装置１００は、現シミュレーション時間に０．１ｓ加算する。これにより、現シミュレーション時間は、「０．０ｓ」から「０．１ｓ」に更新される。

【0087】

つぎに、試験装置１００は、現シミュレーション時間、現シーケンス（＃）およびステップＳ１２０５の実行結果である測定信号の値を参照時系列データ２０７に書込む（ステップＳ１２０８）。現シミュレーション時間が「０．１ｓ」の場合、現シミュレーション時間「０．１ｓ」、現シーケンス（１）のシーケンスＮｏ．４０１である「１」、および現シーケンス（１）の実行結果である測定信号の値「０」を、エントリとして参照時系列データ２０７に書込む。そして、ステップＳ１２０３に戻る。

【0088】

現シーケンス（＃）のシーケンスＮｏ．４０１は「１」であるため、全シーケンスの実行が終了していない（ステップＳ１２０３：Ｎｏ）。したがって、ステップＳ１２０４に移行する。

【0089】

ステップＳ１２０４では、現シミュレーション時間が「０．１ｓ」であり、シーケンスＮｏ．実行時間も「０．１ｓ」であるため、ステップＳ１２０４を充足する（ステップＳ１２０４：Ｙｅｓ）。したがって、ステップＳ１２０５に移行する。

【0090】

ステップＳ１２０５では、試験装置１００は、シーケンス（２）を実行する。この場合、試験装置１００は、シーケンス（２）の指示４０２である「Ｗａｉｔ」を設定値４０３である「５ｓ」にする処理を実行する。これにより、参照判定値９０２が測定信号の値として出力される。

【0091】

シーケンス（２）も、指示４０２が故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）ではないため、故障が疑似発生しない。したがって、故障発生の有無を示す参照判定値９０２（Ｆａｉｌ＿ｆｌａｇ）の値は「０」である。

【0092】

試験装置１００は、現在のシーケンスＮｏ．実行時間を更新する（ステップＳ１２０６）。シーケンス（２）の指示４０２である「Ｗａｉｔ」は、待機する処理であるため、「Ｗａｉｔ」の実行に要した時間は、設定値４０３の値「５ｓ」になる。したがって、試験装置１００は、シーケンスＮｏ．実行時間である「０．１ｓ」に、ステップＳ１２０４での現シーケンス（２）の指示４０２の実行に要した時間「５ｓ」を加算することにより、シーケンスＮｏ．実行時間を「５．１ｓ」に更新する。

【0093】

つぎに、試験装置１００は、現シミュレーション時間である「０．１ｓ」に０．１ｓ加算する（ステップＳ１２０７）。これにより、現シミュレーション時間は、「０．１ｓ」から「０．２ｓ」に更新される。

【0094】

つぎに、試験装置１００は、現シミュレーション時間「０．２ｓ」、現シーケンス（２）のシーケンスＮｏ．４０１である「２」およびステップＳ１２０５の実行結果である測定信号の値「０」を、エントリとして参照時系列データ２０７に書込む（ステップＳ１２０８）。そして、ステップＳ１２０３に戻る。

【0095】

現シーケンス（＃）のシーケンスＮｏ．４０１は「２」であるため、全シーケンスの実行が終了していない（ステップＳ１２０３：Ｎｏ）。したがって、ステップＳ１２０４に移行する。

【0096】

ステップＳ１２０４では、現シミュレーション時間は「０．２ｓ」であり、シーケンスＮｏ．実行時間は「５．１ｓ」であるため、ステップＳ１２０４を充足しない（ステップＳ１２０４：Ｎｏ）。したがって、ステップＳ１２０７に移行する。

【0097】

ステップＳ１２０７では、試験装置１００は、現シミュレーション時間である「０．２ｓ」に０．１ｓ加算する（ステップＳ１２０７）。これにより、現シミュレーション時間は、「０．２ｓ」から「０．３ｓ」に更新される。

【0098】

試験装置１００は、ステップＳ１２０４：Ｎｏ、Ｓ１２０７、Ｓ１２０８、Ｓ１２０３：Ｎｏのループを、現シミュレーション時間がステップＳ１２０７によりシーケンスＮｏ．実行時間である「５．１ｓ」以上になるまで継続することになる。

【0099】

このあと、現シミュレーション時間がシーケンスＮｏ．実行時間である「５．１ｓ」以上になれば（ステップＳ１２０４：Ｙｅｓ）、試験装置１００は、ステップＳ１２０５～Ｓ１２０８を実行し、ステップＳ１２０３に戻る。

【0100】

最終的に、試験装置１００は、全シーケンスの実行が終了したと判断した場合（ステップＳ１２０３：Ｙｅｓ）、参照時系列データ生成処理を終了する。これにより、図９に示したような参照時系列データ２０７が生成される。

【0101】

＜時系列データ生成処理＞
図１３は、試験装置１００による時系列データ生成処理手順例を示すフローチャートである。図１３は、第２自動試験実行判定プロセスにおいて、試験装置１００が、試験シナリオ実行処理３１１、第１通信処理３１２、時系列データ取得処理３１３により、試験対象２１０を用いたリアルタイムシミュレーションで時系列データ２０５を生成する処理である。試験対象２１０を用いたリアルタイムシミュレーション実行前の時系列データ２０５のエントリは空の状態である。

【0102】

試験装置１００は、第２試験シナリオ７０４を読み込み、シーケンスＮｏ．４０１、指示４０２および設定値４０３の解析（スクリプトファイルへの変換）を実行する（ステップＳ１３０１）。

【0103】

試験装置１００は、自動試験の判定で用いる測定信号、本例では参照判定値９０２（Ｆａｉｌ＿ｆｌａｇ）の測定を開始する（ステップＳ１３０２）。ステップＳ１３０２により、リアルタイムのシミュレーション時間５０１の経時が開始する。

【0104】

試験装置１００は、ステップＳ１３０２の測定開始信号を試験対象２１０に送信する（Ｃ１）。

【0105】

試験装置１００は、シーケンスＮｏ．４０１のすべてのシーケンスの実行が終了したか否かを判断する（ステップＳ１３０３）。シーケンスＮｏ．４０１のすべてのシーケンスの実行が終了していない場合（ステップＳ１３０３：Ｎｏ）、現在のシミュレーション時間５０１（現シミュレーション時間）がシーケンスＮｏ．実行時間以上であるか否かを判断する（ステップＳ１２０４）。

【0106】

現シミュレーション時間は、図１２とは異なり、ステップＳ１３０２の測定開始からの現実の経過時間である。ステップＳ１３０２の開始時点では「０．０ｓ」であり、現実の時間経過に従って増加する。シーケンスＮｏ．実行時間およびシーケンス（＃）は、図１２と同様である。シーケンスＮｏ．実行時間は、ステップＳ１３０２の開始時点では「０．０ｓ」であり、シーケンス（＃）の実行によりステップＳ１３０６で累積される。

【0107】

現シミュレーション時間がシーケンスＮｏ．実行時間以上である場合（ステップＳ１３０４：Ｙｅｓ）、ステップＳ１３０５に移行する。一方、現シミュレーション時間がシーケンスＮｏ．実行時間以上でない場合（ステップＳ１３０４：Ｎｏ）、ステップＳ１３０３に移行する。

【0108】

ステップＳ１３０２の開始時点では、現シミュレーション時間およびシーケンスＮｏ．実行時間はともに「０．０ｓ」であるため、ステップＳ１３０５に移行する。

【0109】

試験装置１００は、現シーケンス（＃）の指示４０２を実行する（ステップＳ１３０５）。ステップＳ１３０２の開始時点では、現シーケンス（＃）は、シーケンス（１）である。したがって、試験装置１００は、シーケンス（１）の指示４０２である「ＩＧＮ」を設定値４０３である「ＯＮ」にする処理を試験対象２１０に対して実行する。すなわち、試験装置１００は、「ＩＧＮ」を「ＯＮ」にする命令を試験対象２１０に送信する（Ｃ２）。

【0110】

試験対象２１０は、第２通信処理３２１により、試験装置１００から測定開始信号を受信（Ｃ１）したあと、試験装置１００から命令（Ｃ２）を受信する都度、ソフトウェア２１１により、命令（Ｃ２）に基づく動作を実行して、当該動作によって生成される測定信号の値を逐次読み出す（ステップＳ１３１０）。

【0111】

シーケンス（１）は、指示４０２が故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）ではないため、故障が疑似発生しない。したがって、故障発生の有無を示す判定値５０２（Ｆａｉｌ＿ｆｌａｇ）の値は「０」である。試験対象２１０は、第２通信処理３２１により、読み出した測定信号の値を判定値５０２として試験装置１００に送信する（Ｃ３）。

【0112】

つぎに、試験装置１００は、測定結果（現シミュレーション時間、現シーケンス（＃）およびステップＳ１３１０の実行結果である測定信号の値）をエントリとして時系列データ２０５に書込む（ステップＳ１３０６）。現シミュレーション時間が時間経過により「０．１ｓ」になったとする。この場合、試験装置１００は、現シミュレーション時間「０．１ｓ」、現シーケンス（１）のシーケンスＮｏ．４０１である「１」、および現シーケンス（１）の実行結果である測定信号の値「０」を、エントリとして時系列データ２０５に書込む。

【0113】

試験装置１００は、現在のシーケンスＮｏ．実行時間を更新する（ステップＳ１３０６）。具体的には、たとえば、試験装置１００は、試験装置１００から命令を送信（Ｃ２）してから測定信号の値を受信（Ｃ３）するまでの時間を現シーケンス（＃）の指示４０２の実行に要した時間とし、シーケンスＮｏ．実行時間に加算することにより、シーケンスＮｏ．実行時間を更新する。

【0114】

たとえば、シーケンス（１）に０．１ｓ要したとする。この場合、シーケンスＮｏ．実行時間は、「０．０ｓ」から「０．１ｓ」に更新される。

【0115】

現シーケンス（＃）のシーケンスＮｏ．４０１は「１」であるため、全シーケンスの実行が終了していない（ステップＳ１３０３：Ｎｏ）。したがって、ステップＳ１３０４に移行する。

【0116】

ステップＳ１３０４では、現シミュレーション時間が「０．１ｓ」であり、シーケンスＮｏ．実行時間も「０．１ｓ」であるため、ステップＳ１３０４を充足する（ステップＳ１３０４：Ｙｅｓ）。したがって、ステップＳ１３０５に移行する。

【0117】

ステップＳ１３０５では、試験装置１００は、シーケンス（２）を実行する。この場合、試験装置１００は、シーケンス（２）の指示４０２である「Ｗａｉｔ」を設定値４０３である「５ｓ」にする命令を試験対象２１０に送信する（Ｃ２）。

【0118】

シーケンス（２）も、指示４０２が故障を引き起こす命令（Ｆａｉｌ＿Ｉｎｊｅｃｔｉｏｎ）ではないため、故障が疑似発生しない。したがって、故障発生の有無を示す判定値５０２（Ｆａｉｌ＿ｆｌａｇ）の値は「０」である。試験対象２１０は、読み出した測定信号の値を判定値５０２として試験装置１００に送信する（Ｃ３）。

【0119】

なお、シーケンス（２）の指示４０２である「Ｗａｉｔ」により、試験対象２１０は、設定値４０３である「５ｓ」経過するまで待機し続ける。その間、試験対象２１０は、読み出した測定信号の値「０」を判定値５０２として試験装置１００に送信し続けることになる（Ｃ３）。

【0120】

測定結果（現シミュレーション時間、現シーケンス（＃）およびステップＳ１３１０の実行結果である測定信号の値）をエントリとして時系列データ２０５に書込む（ステップＳ１３０６）。現シミュレーション時間が時間経過により「０．２ｓ」になったとする。この場合、試験装置１００は、現シミュレーション時間「０．２ｓ」、現シーケンス（１）のシーケンスＮｏ．４０１である「２」、および現シーケンス（２）の実行結果である測定信号の値「０」を、エントリとして時系列データ２０５に書込む。

【0121】

試験装置１００は、現在のシーケンスＮｏ．実行時間を更新する（ステップＳ１３０７）。シーケンス（２）の指示４０２である「Ｗａｉｔ」は、試験対象２１０を待機させる処理であるため、「Ｗａｉｔ」の実行に要した時間は、設定値４０３の値「５ｓ」になる。したがって、試験装置１００は、シーケンスＮｏ．実行時間である「０．２ｓ」に、設定値４０３の値「５ｓ」を加算することにより、シーケンスＮｏ．実行時間を「５．１ｓ」に更新する。そして、ステップＳ１３０３に戻る。

【0122】

現シーケンス（＃）のシーケンスＮｏ．４０１は「２」であるため、全シーケンスの実行が終了していない（ステップＳ１３０３：Ｎｏ）。したがって、ステップＳ１３０４に移行する。

【0123】

ステップＳ１３０４では、現シミュレーション時間は「０．２ｓ」であり、シーケンスＮｏ．実行時間は「５．１ｓ」であるため、ステップＳ１３０４を充足しない（ステップＳ１３０４：Ｎｏ）。したがって、ステップＳ１３０３に移行する。

【0124】

試験装置１００は、ステップＳ１３０４：Ｎｏ、Ｓ１３０３：Ｎｏのループを、現シミュレーション時間がシーケンスＮｏ．実行時間である「５．１ｓ」以上になるまで継続することになる。

【0125】

このあと、現シミュレーション時間が時間経過によりシーケンスＮｏ．実行時間である「５．１ｓ」以上になれば（ステップＳ１３０４：Ｙｅｓ）、試験装置１００は、ステップＳ１３０５～Ｓ１３０７を実行し、ステップＳ１３０３に戻る。

【0126】

最終的に、試験装置１００は、全シーケンスの実行が終了したと判断した場合（ステップＳ１３０３：Ｙｅｓ）、時系列データ生成処理を終了する。これにより、図５に示したような時系列データ２０５が生成される。

【0127】

＜自動判定ポイント調整試験実行処理＞
図１４は、試験装置１００による自動判定ポイント調整試験実行処理手順例を示すフローチャートである。図１４は、第２自動試験実行判定プロセスにおいて、試験装置１００が、自動判定ポイント調整処理７１１および試験判定処理３１４により、参照時系列データ２０７と図１３で取得した時系列データ２０５とを用いて、自動判定ポイント調整試験を実行する処理である。なお、図１４は、１種類の測定信号について自動判定ポイント調整試験を実行する例を示すが、１つの第２試験シナリオ７０４に測定信号が複数種類存在する場合は、測定信号の種類数分、自動判定ポイント調整試験が実行される。

【0128】

試験装置１００は、参照時系列データ２０７と図１３で取得した時系列データ２０５とを読み込む（ステップＳ１４０１）。

【0129】

試験装置１００は、参照時系列データおよび時系列データの各々から調整対象となるＪｕｄｇｅ Ｐｏｉｎｔの時系列な値を取得する（ステップＳ１４０２）。具体的には、たとえば、試験装置１００は、参照時系列データ２０７のシミュレーション時間５０１が０．１ｓ～１２．０ｓにおける参照判定値９０２と、時系列データ２０５のシミュレーション時間５０１が０．１ｓ～１２．０ｓにおける判定値５０２と、を取得する。

【0130】

試験装置１００は、ＤＴＷアルゴリズムを用いて、Ｊｕｄｇｅ Ｐｏｉｎｔごとに調整先の時間および調整元からの調整時間を特定し、ＤＴＷ値を算出する（ステップＳ１４０３）。ＤＴＷアルゴリズムにより、調整元の時間と調整先の時間とが対応付けられる。

【0131】

調整元とは、上述したように、参照時系列データ２０７における時系列なＪｕｄｇｅ Ｐｏｉｎｔの参照判定値９０２である。調整元の時間は、その参照判定値９０２におけるシミュレーション時間５０１である。図１１の例では、第１波形Ｗ１のシーケンス（６）１０．６ｓ、シーケンス（７）１０．７ｓ、シーケンス（８）１０．８ｓが、調整元の時間である。

【0132】

調整先とは、上述したように、時系列データ２０５における時系列なＪｕｄｇｅ Ｐｏｉｎｔの判定値５０２であり、調整先の時間は、その判定値５０２におけるシミュレーション時間５０１である。図１１の例では、第２波形Ｗ２のシーケンス（５）１０．７ｓ、シーケンス（６）１０．８ｓ、シーケンス（７）１０．９ｓが、調整先の時間である。

【0133】

調整元からの調整時間は、調整先の時間から対応付けされた調整元の時間を引いた時間差である。

【0134】

試験装置１００は、時間調整されたＪｕｄｇｅ Ｐｏｉｎｔで第２試験シナリオ７０４の期待値４０４と時系列データ２０５の判定値５０２とを比較して第２判定結果１０００を生成する（ステップＳ１４０４）。

【0135】

時間調整されたＪｕｄｇｅ Ｐｏｉｎｔは、調整元である参照時系列データ２０７におけるシーケンス（６）～（８）に対応する調整先である時系列データ２０５におけるシーケンス（５）～（７）である。このシーケンス（５）～（７）の判定値５０２は、（０，１，０）である。第２試験シナリオ７０４におけるシーケンス（６）～（８）の期待値４０４は（０，１，０）である。

【0136】

したがって、参照時系列データ２０７におけるシーケンス（６）から時間調整後の時系列データ２０５におけるシーケンス（５）の判定値５０２は「０」であり、第２試験シナリオ７０４におけるシーケンス（６）の期待値４０４は「０」であるため、両者は一致する。

【0137】

また、調整元である参照時系列データ２０７におけるシーケンス（６）から調整先である時系列データ２０５におけるシーケンス（５）への調整時間は、＋１．０ｓである。したがって、第２試験シナリオ７０４におけるシーケンス（６）の第２判定結果１０００の値は、「ＯＫ＋１．０ｓ」になる。

【0138】

また、参照時系列データ２０７におけるシーケンス（７）から時間調整後の時系列データ２０５におけるシーケンス（６）の判定値５０２は「１」であり、第２試験シナリオ７０４におけるシーケンス（７）の期待値４０４は「１」であるため、両者は一致する。

【0139】

また、調整元である参照時系列データ２０７におけるシーケンス（７）から調整先である時系列データ２０５におけるシーケンス（６）への調整時間は、＋１．０ｓである。したがって、第２試験シナリオ７０４におけるシーケンス（７）の第２判定結果１０００の値は、「ＯＫ＋１．０ｓ」になる。

【0140】

また、参照時系列データ２０７におけるシーケンス（８）から時間調整後の時系列データ２０５におけるシーケンス（７）の判定値５０２は「０」であり、第２試験シナリオ７０４におけるシーケンス（８）の期待値４０４は「０」であるため、両者は一致する。

【0141】

また、調整元である参照時系列データ２０７におけるシーケンス（８）から調整先である時系列データ２０５におけるシーケンス（７）への調整時間は、＋１．０ｓである。したがって、第２試験シナリオ７０４におけるシーケンス（８）の第２判定結果１０００の値は、「ＯＫ＋１．０ｓ」になる。

【0142】

試験装置１００は、ＤＴＷ期待値８０５とＤＴＷ値とを比較して、ＤＴＷ判定結果１００１を生成する（ステップＳ１４０５）。図８に示したように、ＤＴＷ期待値８０５は「０」である。また、第１波形Ｗ１および第２波形Ｗ２はＤＴＷにより一致するため、ＤＴＷ値＝「０」になる。したがって、ＤＴＷ期待値８０５とＤＴＷ値とは一致するため、ＤＴＷ判定結果１００１は「ＯＫ」になる。

【0143】

試験装置１００は、図１０に示したように、第２試験結果７０６を出力する（ステップＳ１４０６）。

【0144】

このように、本実施例によれば、試験装置１００は、処理遅延を考慮に入れた判定ポイントを自動調整し、期待している判定ポイントで試験判定を行う。具体的には、試験装置１００は、時系列データ同士の類似度を測るＤＴＷアルゴリズムを用いることで判定ポイントの自動調整を行い、算出したＤＴＷ値を試験判定に用いる。したがって、試験精度の向上を図ることができる。

【0145】

具体的には、試験対象２１０のハードウェア要因であるレイテンシ、並びに試験シナリオを実行する際の処理遅延が発生した場合でも、時系列データの波形の特徴も自動試験項目に含まれているため、判定ポイントのずれによる試験結果の誤判定（不合格）を抑制することができる。また、試験結果の誤判定（不合格）が抑制されたことにより、試験結果の誤判定（不合格）によって生じる試験シナリオの見直しや不合格理由の原因究明、再試験の実施といった無駄な作業が抑制される。したがって、テスト期間の短縮化を図ることができる。

【0146】

特に車両開発におけるＶ字プロセスでは、前段で行った抽象度の高いシミュレーション環境（ＰＣシミュレータ）で行った試験で用いた第２試験シナリオ７０４と当該試験の出力結果である参照時系列データ２０７とを、後段まで活用することで、プロセス全体での一気通貫な自動試験構成を実現することが可能となる。

【0147】

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。たとえば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。

【0148】

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、たとえば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

【0149】

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の記録媒体に格納することができる。

【0150】

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

【符号の説明】

【0151】

１００ 試験装置
１０１ プロセッサ
１０２ 記憶デバイス
２０１ 自動試験実行部
２０２ 判定部
２０３ 第１通信部
２０４ 試験シナリオ
２０５ 時系列データ
２０６ 試験結果
２０７ 参照時系列データ
２１０ 試験対象
２１１ ソフトウェア
２１２ 第２通信部
３０４ 第１試験シナリオ
３０６ 第１試験結果
３１０ 第１自動試験実行判定プロセス
３１１ 試験シナリオ実行処理
３１２ 第１通信処理
３１３ 時系列データ取得処理
３１４ 試験判定処理
３２０ 試験対象環境
３２１ 第２通信処理
７０４ 第２試験シナリオ
７０６ 第２試験結果

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】