特許 6703971 テスト支援システム、テスト支援方法及びテスト支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6703971

(24)【登録日】2020年5月13日

(45)【発行日】2020年6月3日

(54)【発明の名称】テスト支援システム、テスト支援方法及びテスト支援プログラム

(51)【国際特許分類】

   G06F 11/277 20060101AFI20200525BHJP

   G06F 11/36 20060101ALI20200525BHJP

【ＦＩ】

   G06F11/277

   G06F11/36 180

【請求項の数】11

【全頁数】15

(21)【出願番号】特願2017-211576(P2017-211576)

(22)【出願日】2017年11月1日

(65)【公開番号】特開2019-86804(P2019-86804A)

(43)【公開日】2019年6月6日

【審査請求日】2017年11月1日

(73)【特許権者】

【識別番号】592131906

【氏名又は名称】みずほ情報総研株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】石井 宏明

【審査官】 漆原 孝治

(56)【参考文献】

【文献】 特開２０１６−０７１７３０（ＪＰ，Ａ）

【文献】 特開２０１３−２５００８５（ＪＰ，Ａ）

【文献】 特開２００７−０８６８９９（ＪＰ，Ａ）

【文献】 特開２０１０−０２０５６２（ＪＰ，Ａ）

【文献】 特開２０１１−０６００５２（ＪＰ，Ａ）

【文献】 特開２００６−２６８６６６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １１／２７７

Ｇ０６Ｆ １１／３６

(57)【特許請求の範囲】

【請求項1】

テスト対象システムに接続され、テストケースを実行する制御部と、
前記テストケースの出力を記憶する出力情報記憶部とを備えたテスト支援システムであって、
前記制御部が、
前記テスト対象システムの端末装置において、前記テストケースの実行に応じて、ディスプレイにおいて出力が期待される第１期待画像及びプリンタにおいて出力が期待される第２期待画像を前記出力情報記憶部に記録し、
前記端末装置のエミュレータを、前記テスト対象システムに接続させてテストケースを実行させ、
前記テストケースに応じて、前記ディスプレイに出力される第１テスト画像及び前記プリンタに出力される第２テスト画像を前記出力情報記憶部に記録し、
前記第１期待画像と前記第１テスト画像とを画素毎に比較するとともに、前記第２期待画像と前記第２テスト画像とを画素毎に比較し、比較によって異なる部分を検出した場合には差分画像を生成し、
前記第１期待画像に対して前記第１テスト画像、前記第２期待画像に対して前記第２テスト画像を並べて表示し、異なる部分を検出した場合には前記差分画像を更に並べた比較結果表を出力することを特徴とするテスト支援システム。

【請求項2】

前記比較によって異なる部分を検出しなかった場合には、前記比較結果表に差分を検出しなかったことを示すメッセージを表示することを特徴とする請求項１に記載のテスト支援システム。

【請求項3】

前記エミュレータを、稼働システムに接続させ、
前記エミュレータが、前記稼働システムにおいて、前記テストケースの実行に応じて出力された第１及び第２出力画像を取得し、前記第１及び前記第２出力画像を、それぞれ前記第１及び前記第２期待画像として前記出力情報記憶部に記録することを特徴とする請求項１又は２に記載のテスト支援システム。

【請求項4】

前記第１期待画像のバイナリコードと前記第１テスト画像のバイナリコードの排他的論
理和により、差分の数値データを算出するとともに、前記第２期待画像のバイナリコードと前記第２テスト画像のバイナリコードの排他的論理和により、差分の数値データを算出し、前記数値データをビットマップ画像に変換した差分画像を生成することを特徴とする請求項１〜３の何れか一項に記載のテスト支援システム。

【請求項5】

前記差分の数値データに対して、予め設定された比較対象外領域の画素における論理値を用いて、論理計算を行ない、比較対象外領域を除いた差分の数値データをビットマップ画像に変換した結果を生成することを特徴とする請求項４に記載のテスト支援システム。

【請求項6】

前記第１及び前記第２期待画像及び前記第１及び前記第２テスト画像において、予め定められた比較領域を特定し、
前記第１期待画像の比較領域と前記第１テスト画像の比較領域とを比較するとともに、前記第２期待画像の比較領域と前記第２テスト画像の比較領域とを比較することを特徴とする請求項１〜５のいずれか一項に記載のテスト支援システム。

【請求項7】

前記第１期待画像において出力されるガイド音声の期待音声情報を取得し、
前記第１テスト画像において出力されるガイド音声のテスト音声情報を取得し、
前記期待音声情報と前記テスト音声情報とを比較した結果を、画面の比較結果に関連付けて出力することを特徴とする請求項１〜６のいずれか一項に記載のテスト支援システム。

【請求項8】

前記期待音声情報及び前記テスト音声情報は、取得したガイド音声を周波数変換した値であることを特徴とする請求項７に記載のテスト支援システム。

【請求項9】

前記テスト対象システムの端末装置の第１のエミュレータにおいて、前記テストケースの実行に応じて出力された第１及び第２出力画像を、それぞれ前記第１及び前記第２期待画像として前記出力情報記憶部に記録し、
前記テスト対象システムの端末装置の第２のエミュレータにおいて、前記テストケースの実行に応じて出力された第１及び第２出力画像を、それぞれ前記第１及び前記第２テスト画像として前記出力情報記憶部に記録することを特徴とする請求項１〜８のいずれか一項に記載のテスト支援システム。

【請求項10】

テスト対象システムに接続され、テストケースを実行する制御部と、
前記テストケースの出力を記憶する出力情報記憶部とを備えたテスト支援システムを用いて、テストを支援する方法であって、
前記制御部が、
前記テスト対象システムの端末装置において、前記テストケースの実行に応じて、ディスプレイにおいて出力が期待される第１期待画像及びプリンタにおいて出力が期待される第２期待画像を前記出力情報記憶部に記録し、
前記端末装置のエミュレータを、前記テスト対象システムに接続させてテストケースを実行させ、
前記テストケースに応じて、前記ディスプレイに出力される第１テスト画像及び前記プリンタに出力される第２テスト画像を前記出力情報記憶部に記録し、
前記第１期待画像と前記第１テスト画像とを画素毎に比較するとともに、前記第２期待画像と前記第２テスト画像とを画素毎に比較し、比較によって異なる部分を検出した場合には差分画像を生成し、
前記第１期待画像に対して前記第１テスト画像、前記第２期待画像に対して前記第２テスト画像を並べて表示し、異なる部分を検出した場合には前記差分画像を更に並べた比較結果表を出力することを特徴とするテスト支援方法。

【請求項11】

テスト対象システムに接続され、テストケースを実行する制御部と、
前記テストケースの出力を記憶する出力情報記憶部とを備えたテスト支援システムを用いて、テストを支援するためのプログラムであって、
前記制御部を、
前記テスト対象システムの端末装置において、前記テストケースの実行に応じて、ディスプレイにおいて出力が期待される第１期待画像及びプリンタにおいて出力が期待される第２期待画像を前記出力情報記憶部に記録し、
前記端末装置のエミュレータを、前記テスト対象システムに接続させてテストケースを実行させ、
前記テストケースに応じて、前記ディスプレイに出力される第１テスト画像及び前記プリンタに出力される第２テスト画像を前記出力情報記憶部に記録し、
前記第１期待画像と前記第１テスト画像とを画素毎に比較するとともに、前記第２期待画像と前記第２テスト画像とを画素毎に比較し、比較によって異なる部分を検出した場合には差分画像を生成し、
前記第１期待画像に対して前記第１テスト画像、前記第２期待画像に対して前記第２テスト画像を並べて表示し、異なる部分を検出した場合には前記差分画像を更に並べた比較結果表を出力する手段として機能させることを特徴とするテスト支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、システムからの出力のテストを支援するためのテスト支援システム、テスト支援方法及びテスト支援プログラムに関する。

【背景技術】

【0002】

例えば、現行で使用しているシステムを更改して新規システムを導入する場合、現行の使用を再現できていることを確認するためのテストを行なう。このテストのために、各種システムが検討されている（例えば、特許文献１、２）。この特許文献１に記載されたシステムは、実環境でのオペレーションログからテストデータを自動的に生成し、新旧バージョンのプログラムの出力結果の差分を比較する。

【0003】

また、特許文献２に記載されたシステムは、情報システムの移行テストにおいて、ミドルウェアの実装が異なる場合でも、情報システムによる通信のトレース結果に基づくテストを実行可能とする。この文献に記載されたシステムでは、端末エージェントが、現行ホストシステムと端末との間で行われたメッセージの送受信を、新ホストシステムとの間で実行する。手動操作再生部は、端末が現行ホストシステムへ送信したメッセージのうち、手動操作により発生したメッセージを再生する。自動応答部は、新ホストシステムから受信したメッセージに基づき、端末に表示させる画面の画面データを生成する。比較部は、自動応答部により生成された画面データと、現行ホストシステムから受信したメッセージに基づき端末が生成した画面の画面データとを比較する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−１０５３５８号公報

【特許文献2】特開２０１６−７１７３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

新たなシステムを利用する場合、このシステムのユーザインターフェースからの実際の出力が、期待される出力と一致していることが望ましい。例えば、現行システムから新規システムに更改することにより、端末装置における出力情報が変化した場合、ユーザインターフェースが変化し、エンドユーザの使い勝手が悪くなる場合がある。

【課題を解決するための手段】

【0006】

上記課題を解決するテスト支援システムは、テスト対象システムに接続され、テストケースを実行する制御部と、前記テストケースの出力を記憶する出力情報記憶部とを備える。そして、前記制御部が、前記テスト対象システムの端末装置において、前記テストケースの実行に応じて出力が期待される期待画像を前記出力情報記憶部に記録し、前記端末装置のエミュレータを、前記テスト対象システムに接続させてテストケースを実行させ、前記テストケースに応じて出力されたテスト画像を前記出力情報記憶部に記録し、前記期待画像とテスト画像とを比較した結果を出力する。

【発明の効果】

【0007】

本発明によれば、テスト対象システムのユーザインターフェースからの出力を効率的に確認することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態のシステム概略図。

【図2】本実施形態の処理手順の説明図であって、（ａ）は現行出力取得処理、（ｂ）はテスト出力取得処理の説明図。

【図3】本実施形態の処理手順の説明図であって、（ａ）は画面比較処理、（ｂ）は帳票比較処理の説明図。

【図4】本実施形態で用いる画面の説明図であって、（ａ）は現行画面、（ｂ）はテスト画面、（ｃ）は差分画像の説明図。

【図5】本実施形態で用いる帳票画像の説明図であって、（ａ）は現行帳票の画像、（ｂ）はテスト帳票の画像、（ｃ）は差分画像の説明図。

【図6】本実施形態の比較結果の説明図。

【図7】他の実施形態の処理手順の説明図。

【図8】他の実施形態の処理手順の説明図。

【発明を実施するための形態】

【0009】

以下、図１〜図６を用いて、テスト支援システムの一実施形態を説明する。本実施形態では、金融機関に設置された取引端末において、現行システムと新規システムにおいて、取引に用いられる画像の同一性を確認するテストを行なう場合を想定する。

【0010】

図１に示すように、現金自動預払機１０、ＨＵＢ層１１０，１１１、サービス層１２０，１２１、評価装置２０を用いる。ここで、ＨＵＢ層１１０、サービス層１２０は現行システム（稼働システム）であり、ＨＵＢ層１１１、サービス層１２１はテスト対象の新規システム（テスト対象システム）である。

【0011】

現金自動預払機１０は、金融機関との取引を行なうために、利用者が用いる取引端末装置（ＡＴＭ：automatic teller machine）である。この現金自動預払機１０は、情報を入力したり出力したりするためのタッチパネルディスプレイ、利用者との間で現金を払い出したり、収納したりするための現金取扱部、取引結果等を印字するプリンタ等を備えている。このタッチパネルディスプレイ、プリンタが出力部として機能する。

【0012】

ＨＵＢ層１１０，１１１は、現金自動預払機１０とサービス層１２０，１２１との間で取引電文を中継するコンピュータ装置である。
サービス層１２０，１２１は、利用者に対してサービスを提供するコンピュータシステム（ホストシステム）である。本実施形態では、サービス層１２０，１２１は、金融機関に開設された利用者の口座を管理したり、利用者からの送金依頼や出金依頼等の取引電文に基づいて、各種サービスを提供したりする。

【0013】

評価装置２０は、テスト対象のシステムを評価するためのコンピュータシステムである。本実施形態では、現行システム（ＨＵＢ層１１０，サービス層１２０）について、新たに開発した新規システム（ＨＵＢ層１１１，サービス層１２１）をテスト対象として、現行システムと同じ動作ができているかどうかを評価する。この評価装置２０は、制御部２１、テストケース記憶部２２、比較領域情報記憶部２３、現行出力情報記憶部２４、テスト出力情報記憶部２５を備えている。ここでは、現行出力情報記憶部２４、テスト出力情報記憶部２５が出力情報記憶部として機能する。
更に、評価装置２０は、入力部３１、出力部３２に接続される。

【0014】

制御部２１は、制御手段（ＣＰＵ、ＲＡＭ、ＲＯＭ等）を備え、後述する処理（エミュレーション段階、評価段階等の各処理等）を行なう。そのための評価プログラムを実行することにより、制御部２１は、エミュレータ２１１、評価部２１２として機能する。

【0015】

エミュレータ２１１は、現金自動預払機１０における動作の模倣（エミュレーション）を行なう。そして、エミュレータ２１１は、現金自動預払機１０のユーザインターフェースから出力される情報を予測して記録する処理を実行する。
評価部２１２は、記録されたエミュレーション結果を用いて、テスト対象を評価する処理を実行する。この評価部２１２は、現行システムの出力情報と新規システムの出力情報との差分を記録するメモリを備える。

【0016】

テストケース記憶部２２には、テスト対象システムを評価するためのテストケースに関するデータが記録される。本実施形態では、現金自動預払機１０を用いて行なわれる取引について、テスト対象の新規システム（ＨＵＢ層１１１，サービス層１２１）をテストするためのテストデータ（要求電文、サービス層の設定値等）が記録される。このテストデータには、現金自動預払機１０において出力される出力コードが記録される。

【0017】

比較領域情報記憶部２３には、テストにおいて取得した画像において、比較する領域に関するデータが記録される。具体的には、出力画面において、評価対象から除外する比較対象外領域が、テストで取得する画面の出力コード毎に設定されている。例えば、出力画面において、取引毎に変化する画素領域や、変化してもよい画素領域を比較対象外領域と設定する。具体的には、比較対象外領域の画素には「０」が記録され、比較対象領域の画素には「１」が記録されたフィルタリングマスクを用いる。また、出力帳票において、画像比較のために画像を切り出すトリミング領域（比較領域）が、帳票の出力コード毎に設定されている。このトリミング領域は、現行システム、新規システム毎に、出力帳票のトリミング開始行、トリミング終了行により設定される。

【0018】

現行出力情報記憶部２４には、現行システムにおいて出力される画面や帳票についての現行出力管理レコードが記録される。この現行出力管理レコードは、現行システムにおいてテストケースを実行した場合に記録される。現行出力管理レコードには、出力コード、出力所要時間に対して現行画像に関するデータが記録される。

【0019】

出力コードデータ領域には、テストケースにおいて、現金自動預払機１０のタッチパネルやプリンタに出力される現行画像（画面や帳票等）を特定するための識別子に関するデータが記録される。

【0020】

出力所要時間データ領域には、テストケースの実行開始から、現金自動預払機のタッチパネルやプリンタに画像（画面や帳票等）が出力されるまでの経過時間に関するデータが記録される。
現行画像データ領域には、現行システムにおいてテストケースを実行して取得した画像に関するデータが記録される。

【0021】

テスト出力情報記憶部２５には、テスト対象の新規システムにおいて出力される画面や帳票についてのテスト出力管理レコードが記録される。このテスト出力管理レコードは、新規システムにおいてテストケースを実行した場合に記録される。テスト出力管理レコードには、出力コード、出力所要時間に対してテスト画像に関するデータが記録される。

【0022】

出力コードデータ領域には、テストケースにおいて、現金自動預払機１０のタッチパネルやプリンタに出力されるテスト画像（画面や帳票等）を特定するための識別子に関するデータが記録される。

【0023】

出力所要時間データ領域には、テストケースの実行開始から、現金自動預払機のタッチパネルやプリンタに画像（画面や帳票等）が出力されるまでの経過時間に関するデータが記録される。
テスト画像データ領域には、新規システムにおいてテストケースを実行して取得した画像に関するデータが記録される。

【0024】

入力部３１は、キーボードやポインティングデバイス等、各種情報を入力するために用いられる。
出力部３２は、ディスプレイやプリンタ等、各種情報を出力するために用いられる。

【0025】

（テスト支援処理）
次に、図２〜図６を用いて、評価装置２０におけるテスト支援処理を説明する。
（現行出力取得処理）
まず、図２（ａ）を用いて、現行出力取得処理を説明する。この処理においては、評価装置２０を、現行システムのＨＵＢ層１１０に接続し、テストケースを実行する。

【0026】

まず、評価装置２０は、エミュレート処理を実行する（ステップＳ１−１）。具体的には、入力部３１を用いて、評価装置２０にエミュレーションの実行を指示する。この場合、評価装置２０のエミュレータ２１１は、テストケース記憶部２２に記録されたテストケースの要求電文を、ＨＵＢ層１１０を介してサービス層１２０に送信する。

【0027】

次に、評価装置２０は、出力内容の取得処理を実行する（ステップＳ１−２）。具体的には、評価装置２０のエミュレータ２１１は、ＨＵＢ層１１０を介して、サービス層１２０からの応答電文を受信する。この応答電文には、現金自動預払機１０の出力部に各種情報（画面、帳票内容）を出力するための内容が含まれる。そして、エミュレータ２１１は、受信した応答電文の出力内容を、テストケースの実行開始からの経過時間（出力所要時間）に関連付けて現行出力情報記憶部２４に記録する。

【0028】

（テスト出力取得処理）
次に、図２（ｂ）を用いて、テスト出力取得処理を説明する。この場合には、評価装置２０を、新規システムのＨＵＢ層１１１に接続し、テストケースを実行する。

【0029】

まず、評価装置２０は、ステップＳ１−１と同様に、エミュレート処理を実行する（ステップＳ２−１）。
次に、評価装置２０は、出力内容の取得処理を実行する（ステップＳ２−２）。具体的には、評価装置２０のエミュレータ２１１は、ＨＵＢ層１１１を介して、サービス層１２１からの応答電文を受信する。そして、エミュレータ２１１は、受信した応答電文の出力内容を、テストケースの実行開始からの経過時間（出力所要時間）に関連付けてテスト出力情報記憶部２５に記録する。

【0030】

次に、評価装置２０は、比較処理を実行する（ステップＳ２−３）。具体的には、評価装置２０の評価部２１２は、現行出力情報記憶部２４に記録された出力情報と、テスト出力情報記憶部２５に記録された出力情報とを比較する。ここでは、出力画面、帳票内容の画像に含まれる画素毎に比較する。この場合、比較領域情報記憶部２３に記録された比較対象外領域については、現行出力情報と新規出力情報とに違いがある場合でも、評価対象外とする。詳細は、後述する図３を用いて説明する。

【0031】

次に、評価装置２０は、比較結果の出力処理を実行する（ステップＳ２−４）。具体的には、評価装置２０の評価部２１２は、出力部３２に比較結果表を出力する。この比較結果表には、現行システムの出力情報と、新規システム（テスト対象システム）の出力情報とを対比した一覧が含まれる。詳細は、後述する図６を用いて説明する。

【0032】

（比較処理）
図３を用いて、比較処理（ステップＳ２−３）を説明する。
ここでは、画面比較処理及び帳票比較処理を行なう。
（画面比較処理）
まず、図３（ａ）を用いて、画面比較処理を説明する。
ここでは、評価装置２０は、現行画面の取得処理を実行する（ステップＳ３−１）。具体的には、評価装置２０の評価部２１２は、現行出力情報記憶部２４に記録されている現行画面（現行画像）を取得する。

【0033】

次に、評価装置２０は、現行画面のバイナリ化処理を実行する（ステップＳ３−２）。具体的には、評価装置２０の評価部２１２は、現行画像の各画素をバイナリコードに変換してバイナリ化を行なう。ここでは、１画素あたり、ＲＧＢ値を２４ビットの数値データに変換する。

【0034】

次に、評価装置２０は、テスト画面の取得処理を実行する（ステップＳ３−３）。具体的には、評価装置２０の評価部２１２は、テスト出力情報記憶部２５に記録されているテスト画面（テスト画像）を取得する。

【0035】

次に、評価装置２０は、テスト画面のバイナリ化処理を実行する（ステップＳ３−４）。具体的には、評価装置２０の評価部２１２は、テスト画像の各画素をバイナリコード（数値データ）に変換してバイナリ化を行なう。ここでも、１画素あたり、ＲＧＢ値を２４ビットの数値データに変換する。

【0036】

次に、評価装置２０は、差分抽出処理を実行する（ステップＳ３−５）。具体的には、評価装置２０の評価部２１２は、画素毎に、現行画像のバイナリコードと、テスト画像のバイナリコードとを比較して、差分の有無を確認する。ここでは、両画像の排他的論理和（ＸＯＲ）を算出することにより、一致画素は論理値「０」が出力される。そして、評価部２１２は、画素毎の差分値（差分画像）をメモリに仮記憶する。

【0037】

次に、評価装置２０は、フィルタリング処理を実行する（ステップＳ３−６）。具体的には、評価装置２０の評価部２１２は、比較領域情報記憶部２３から、出力コードに関連付けられた比較対象外領域を特定し、この比較対象外領域の差分のフィルタリングを行なう。ここでは、差分画像とフィルタリングマスクとの論理積（ＡＮＤ）を算出した乗算差分画像を生成し、更に、この乗算差分画像とフィルタリングマスクとの排他的論理和（ＸＯＲ）を算出する。これにより、一致した画素は論理値「１」が算出され、不一致の画素は差分値が論理値として算出され、比較対象外の画素は論理値「０」が算出される。

【0038】

次に、評価装置２０は、ビットマップ化処理を実行する（ステップＳ３−７）。具体的には、評価装置２０の評価部２１２は、メモリに仮記憶された差分値を、画素を配置したビットマップに展開した差分画像（ビットマップ画像）を生成する。

【0039】

例えば、図４（ａ）に示す現行画面５００と、図４（ｂ）に示すテスト画面５１０とを比較した場合を説明する。図４（ｃ）に示すように、差分画像５２０において、差分領域５２１と比較対象外領域５２２とが表示される。この場合、現行画面５００とテスト画面５１０で一致する画素は白色で出力され、比較対象外の画素は黒色で出力される。

【0040】

次に、評価装置２０は、全画面について終了かどうかについての判定処理を実行する（ステップＳ３−８）。具体的には、評価装置２０の評価部２１２は、現行出力情報記憶部２４、テスト出力情報記憶部２５に記録され、未処理の出力コードを検索する。未処理の出力コードを特定した場合には、全画面について終了ではないと判定する。

【0041】

全画面について終了ではないと判定した場合（ステップＳ３−８において「ＮＯ」の場合）、評価装置２０は、現行画面の取得処理（ステップＳ３−１）以降の処理を繰り返す。
一方、全画面について終了と判定した場合（ステップＳ３−８において「ＹＥＳ」の場合）、評価装置２０は、画面比較処理を終了する。

【0042】

（帳票比較処理）
次に、図３（ｂ）を用いて、帳票比較処理を説明する。
ここでは、評価装置２０は、現行印字画像の取得処理を実行する（ステップＳ４−１）。具体的には、評価装置２０の評価部２１２は、現行出力情報記憶部２４に記録されている現行印字画像を取得する。

【0043】

次に、評価装置２０は、現行印字画像のバイナリ化処理を実行する（ステップＳ４−２）。具体的には、評価装置２０の評価部２１２は、現行印字画像の各画素をバイナリコードに変換してバイナリ化を行なう。

【0044】

次に、評価装置２０は、比較領域の切り出し処理を実行する（ステップＳ４−３）。具体的には、評価装置２０の評価部２１２は、比較領域情報記憶部２３から、出力コードに関連付けられた現行システムのトリミング領域を特定し、現行印字画像においてトリミング領域を切り出す。

【0045】

次に、評価装置２０は、テスト印字画像の取得処理を実行する（ステップＳ４−４）。具体的には、評価装置２０の評価部２１２は、テスト出力情報記憶部２５に記録されているテスト印字画像を取得する。

【0046】

次に、評価装置２０は、テスト印字画像のバイナリ化処理を実行する（ステップＳ４−５）。具体的には、評価装置２０の評価部２１２は、テスト印字画像の各画素をバイナリコードに変換してバイナリ化を行なう。

【0047】

次に、評価装置２０は、比較領域の切り出し処理を実行する（ステップＳ４−６）。具体的には、評価装置２０の評価部２１２は、比較領域情報記憶部２３から、出力コードに関連付けられた新規システムのトリミング領域を特定し、テスト印字画像においてトリミング領域を切り出す。

【0048】

次に、評価装置２０は、ステップＳ３−５と同様に、差分抽出処理を実行する（ステップＳ４−７）。具体的には、評価装置２０の評価部２１２は、現行印字画像のトリミング領域のバイナリコードと、テスト印字画像のトリミング領域のバイナリコードとを比較して、画素毎の差分値をメモリに仮記憶する。

【0049】

次に、評価装置２０は、ビットマップ化処理を実行する（ステップＳ４−８）。具体的には、評価装置２０の評価部２１２は、メモリに仮記憶された画素毎の差分値を、画素を配置したビットマップに展開した差分画像（ビットマップ画像）を生成する。

【0050】

例えば、図５（ａ）に示す帳票の現行画像５３０と、図５（ｂ）に示す帳票のテスト画像５４０とを比較した場合を説明する。図５（ｃ）に示すように、差分画像５５０において、差分領域５５１と位置ずれ領域５５２とが表示される。

【0051】

次に、評価装置２０は、全画像について処理終了かどうかについての判定処理を実行する（ステップＳ４−９）。具体的には、評価装置２０の評価部２１２は、現行出力情報記憶部２４、テスト出力情報記憶部２５に記録され、未処理の出力コードを検索する。未処理の出力コードを特定した場合には、全画面について終了ではないと判定する。

【0052】

全画像について終了ではないと判定した場合（ステップＳ４−９において「ＮＯ」の場合）、評価装置２０は、現行印字画像の取得処理（ステップＳ４−１）以降の処理を繰り返す。
一方、全画像について終了と判定した場合（ステップＳ４−９において「ＹＥＳ」の場合）、評価装置２０は、画面比較処理を終了する。

【0053】

（比較結果表）
次に、図６を用いて、比較結果の出力処理（ステップＳ２−４）において出力される比較結果表を説明する。評価装置２０の評価部２１２は、比較結果表６００を生成する。比較結果表６００においては、出力コード毎に、現行画像欄、テスト画像欄、突合結果欄が並べられている。突合結果欄においては、差分を検出した場合には差分画像が表示され、差分を検出しない場合には、「ＯＫ」が表示される。

【0054】

以上、本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態によれば、評価装置２０は、エミュレート処理（ステップＳ１−１，Ｓ２−１）、出力内容の取得処理（ステップＳ１−２，Ｓ２−２）を実行する。これにより、実際の現金自動預払機１０を用いることなく、現行システムや新規システムの出力情報を、効率的に取得することができる。

【0055】

（２）本実施形態によれば、評価装置２０は、比較処理（ステップＳ２−３）、比較結果の出力処理（ステップＳ２−４）を実行する。これにより、共通した出力が期待される２つのシステムにおいて、ユーザインターフェースの相違を把握することができる。この場合、比較結果表６００を出力するので、相違点を一覧で把握することができる。また、現行システム、新規システムにおいて同じ情報が出力される場合にも、この情報が出力される画面（出力タイミング）の相違を、相違点として確認することができる。

【0056】

（３）本実施形態によれば、評価装置２０は、現行画面のバイナリ化処理（ステップＳ３−２）、テスト画面のバイナリ化処理（ステップＳ３−４）を実行する。そして、評価装置２０は、差分抽出処理（ステップＳ３−５）、ビットマップ化処理（ステップＳ３−７）を実行する。これにより、バイナリデータにより相違を検出し、相違点を画像により確認することができる。

【0057】

（４）本実施形態によれば、評価装置２０は、フィルタリング処理を実行する（ステップＳ３−６）。これにより、現金自動預払機１０における出力情報に変化が想定される領域を比較対象から除外することができる。

【0058】

（５）本実施形態によれば、評価装置２０は、現行印字画像のバイナリ化処理（ステップＳ４−２）、テスト印字画像のバイナリ化処理（ステップＳ４−５）を実行する。そして評価装置２０は、差分抽出処理を実行する（ステップＳ４−７）。これにより、印字により出力される帳票についても、相違点を画像により把握することができる。

【0059】

（６）本実施形態によれば、評価装置２０は、比較領域の切り出し処理を実行する（ステップＳ４−６）。これにより、出力される帳票の相対的な位置を考慮して比較を行なうことができる。

【0060】

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、評価装置２０は、比較結果の出力処理（ステップＳ２−４）において、比較結果表６００を作成し出力する。ここで、違いがある部分を明確に表示するようにしてもよい。

【0061】

図７に示すように、評価装置２０は、現行画面５００とテスト画面５１０を取得した場合、差分フィルタ７００を生成する。この場合、差分フィルタ７００は、差分領域の外縁のみを、現行画面５００、テスト画面５１０の画素とは異なる配色で表示する透過フィルタである。そして、現行画面５００、テスト画面５１０に、差分フィルタ７００を重畳させて、比較結果表を生成する。これにより、現行及びテスト画面において、違いがある部分を明確にできる。

【0062】

・上記実施形態では、評価装置２０は、画面比較処理及び帳票比較処理を行なう。評価装置２０が比較する対象は、端末装置に出力されるものであれば、画像や帳票に限定されるものではない。例えば、出力される音声を比較してもよい。この場合、評価装置２０には、音声の一致を判定するための許容範囲に関するデータを保持させておく。

【0063】

図８を用いて、音声比較処理を説明する。
まず、評価装置２０は、現行画面に応じたガイド音声の取得処理を実行する（ステップＳ５−１）。具体的には、評価装置２０のエミュレータ２１１は、現行システム（ＨＵＢ層１１０，サービス層１２０）において、テストケースの実行により、現行画面に応じたガイド音声を取得する。

【0064】

次に、評価装置２０は、現行画面に応じたガイド音声のフーリエ変換処理を実行する（ステップＳ５−２）。具体的には、評価装置２０の評価部２１２は、取得したガイド音声を、単位時間毎にフーリエ変換を行なうことにより、単位時間毎の現行周波数分布を算出する。単位時間としては、例えば３秒間隔を用いる。

【0065】

次に、評価装置２０は、テスト画面に応じたガイド音声の取得処理を実行する（ステップＳ５−３）。具体的には、評価装置２０のエミュレータ２１１は、新規システム（ＨＵＢ層１１１，サービス層１２１）において、テストケースの実行により、テスト画面に応じたガイド音声を取得する。

【0066】

次に、評価装置２０は、テスト画面に応じたガイド音声のフーリエ変換処理を実行する（ステップＳ５−４）。具体的には、評価装置２０の評価部２１２は、取得したガイド音声を、単位時間毎にフーリエ変換を行なうことにより、単位時間毎のテスト周波数分布を算出する。

【0067】

次に、評価装置２０は、周波数分布の比較処理を実行する（ステップＳ５−５）。具体的には、評価装置２０の評価部２１２は、単位時間毎に、現行周波数分布とテスト周波数分布とを比較する。

【0068】

次に、評価装置２０は、一致かどうかについての判定処理を実行する（ステップＳ５−６）。具体的には、評価装置２０の評価部２１２は、テスト周波数分布が、現行周波数分布の許容範囲を超えて相違がある場合には、不一致と判定する。

【0069】

不一致と判定した場合（ステップＳ５−６において「ＮＯ」の場合）、評価装置２０は、画面に関連付けて音声相違の表示処理を実行する（ステップＳ５−７）。具体的には、評価装置２０の評価部２１２は、出力画面の出力コードに関連付けてガイド音声について相違情報を出力する。この相違情報には、現行周波数分布とテスト周波数分布とが不一致となった時間帯（単位時間）に関する情報を含める。

【0070】

一方、一致と判定した場合（ステップＳ５−６において「ＹＥＳ」の場合）、評価装置２０は、画面に関連付けて音声相違の表示処理（ステップＳ５−７）をスキップする。
次に、評価装置２０は、ステップＳ３−８と同様に、全画面の終了かどうかについての判定処理を実行する（ステップＳ５−８）。

【0071】

全画面の終了でないと判定した場合（ステップＳ５−８において「ＮＯ」の場合）、評価装置２０は、現行画面の取得処理（ステップＳ５−１）以降の処理を繰り返す。
一方、全画面の終了と判定した場合（ステップＳ５−８において「ＹＥＳ」の場合）、評価装置２０は、画面比較処理を終了する。

【0072】

・上記実施形態では、評価装置２０は、比較処理を実行する（ステップＳ２−３）。ここでは、出力画面や出力帳票等の出力内容の比較を行なう。これに加えて、現金自動預払機１０に出力されるタイミングを比較するようにしてもよい。この場合、評価装置２０には、出力所要時間の一致を判定するための許容範囲に関するデータを保持させておく。そして、現行出力情報記憶部２４及びテスト出力情報記憶部２５に記録されている各出力コードに対応した出力所要時間を比較する。そして、出力所要時間が許容範囲を超えて異なる場合には、相違があると判定し、比較結果表に記録する。これにより、出力内容が同じであっても、タイミングが異なることにより、ユーザインターフェースに変化があることを把握することができる。

【0073】

・上記実施形態では、稼働システムとして現行システム（ＨＵＢ層１１０、サービス層１２０）、テスト対象システムとして新規システム（ＨＵＢ層１１１、サービス層１２１）を用いた。同じ出力が期待される二つのシステムであれば、現行システム、新規システムに限定されるものではない。例えば、異なる場所に配置された同一システムのテストに用いることも可能である。
・上記実施形態では、評価装置２０は、テスト画面の取得処理（ステップＳ３−３）、テスト画面のバイナリ化処理（ステップＳ３−４）において、ＲＧＢ値を用いる。画面の表示色を表現する表示出力値はＲＧＢ値に限定されるものではない。

【0074】

・上記実施形態では、現行出力取得処理において、エミュレート処理（ステップＳ１−１）、出力内容の取得処理（ステップＳ１−２）を実行する。出力の期待値の取得方法は、エミュレーションに限定されるものではない。例えば、テスト対象の出力の期待値を予め予測して用いてもよい。この場合には、出力の期待値を、期待画像として現行出力情報記憶部２４に記憶させておく。
・上記実施形態では、稼働システムとして現行システム（ＨＵＢ層１１０、サービス層１２０）、テスト対象システムとして新規システム（ＨＵＢ層１１１、サービス層１２１）を用いた。テスト対象システムは、これらに限定されるものではない。ＨＵＢ層やサービス層の一部や、現金自動預払機１０を含めてテスト対象としてもよい。現金自動預払機１０の変更をテスト対象とする場合には、現行の現金自動預払機１０の第１のエミュレータと、テスト対象の新規の現金自動預払機１０の第２のエミュレータとを準備する。そして、第１のエミュレータの出力と、第２のエミュレータの出力とを比較する。
更に、現金自動預払機１０のみを変更した場合をテスト対象としてもよい。この場合には、稼働システムとして現行システム（ＨＵＢ層１１０、サービス層１２０）に、現行の現金自動預払機１０の第１のエミュレータと、テスト対象の新規の現金自動預払機１０の第２のエミュレータを接続する。そして、第１のエミュレータの出力画像を期待画像として現行出力情報記憶部２４に記録し、第２のエミュレータの出力画像をテスト画像としてテスト出力情報記憶部２５に記録する。次に、評価装置２０は、期待画像とテスト画像とを比較した結果を出力する。そして、現金自動預払機１０の機能変更において出力される画面の変更を、画像により確認する。これにより、ハードウェア（制御部や記憶部等）に依存しない機能の確認を行なうことができる。例えば、現金自動預払機１０の出力画面において、サービスフローの追加に対応した取引ボタンの追加や、表示する案内文言等の変更を確認することができる。

【0075】

・上記実施形態では、評価装置２０の制御部２１を、エミュレータ２１１、評価部２１２として機能させる。ハードウエア構成は、これに限定されるものではない。例えば、エミュレータ２１１と評価部２１２とを別個のハードウエアで構成したり、異なるオペレーションシステム（ＯＳ）で動作させたりすることも可能である。この場合も、エミュレータ２１１が、テストケース記憶部２２を用いてエミュレーションした結果を、現行出力情報記憶部２４、テスト出力情報記憶部２５に記録し、評価部２１２は、比較領域情報記憶部２３、現行出力情報記憶部２４、テスト出力情報記憶部２５を用いて評価を行なう。

【符号の説明】

【0076】

１０…現金自動預払機、１１０，１１１…ＨＵＢ層、１２０，１２１…サービス層、２０…評価装置、２０…評価装置、２１…制御部、２１１…エミュレータ、２１２…評価部、２２…テストケース記憶部、２３…比較領域情報記憶部、２４…現行出力情報記憶部、２５…テスト出力情報記憶部、５２２…比較対象外領域、５００，５３０…現行画像、５１０，５４０…テスト画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】