特許 6805903 表示差異検出プログラム、装置、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6805903

(24)【登録日】2020年12月8日

(45)【発行日】2020年12月23日

(54)【発明の名称】表示差異検出プログラム、装置、及び方法

(51)【国際特許分類】

   G06F 16/00 20190101AFI20201214BHJP

【ＦＩ】

   G06F16/00

【請求項の数】7

【全頁数】22

(21)【出願番号】特願2017-44295(P2017-44295)

(22)【出願日】2017年3月8日

(65)【公開番号】特開2018-147400(P2018-147400A)

(43)【公開日】2018年9月20日

【審査請求日】2019年11月12日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(74)【代理人】

【識別番号】100099025

【弁理士】

【氏名又は名称】福田 浩志

(72)【発明者】

【氏名】田中 宏

【審査官】 ▲はま▼中 信行

(56)【参考文献】

【文献】 特開２０１６−０１８２５４（ＪＰ，Ａ）

【文献】 特開２０１２−０６４１９１（ＪＰ，Ａ）

【文献】 丹野 治門，画像処理を活用したＵＩレイアウト崩れ検出支援手法の提案，情報処理学会研究報告，日本，一般社団法人情報処理学会，２０１６年１１月１０日，Vol.2016-SE-194 No.9，1-8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００ − １６／９５８

Ｇ０６Ｆ ４０／００ − ４０／５８

(57)【特許請求の範囲】

【請求項1】

第１画像を解析して表示要素群を抽出し、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第２画像から、前記表示要素群の各表示要素に類似する対象要素を検索し、
前記各表示要素に対して、前記検索した少なくとも１つの対象要素を対応付け、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に対応付ける対象要素を選択し、
前記各表示要素の前記第１画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第２画像における相対的な位置関係との差異を検出する、
処理をコンピュータに実行させることを特徴とする表示差異検出プログラム。

【請求項2】

前記対象要素を選択する際に、前記表示要素群の位置及び前記対象要素群の位置を同一座標系で表した場合、前記表示要素の基準点の座標値と前記対象要素の基準点の座標値との差が最も小さい対象要素を選択することを特徴とする請求項１に記載の表示差異検出プログラム。

【請求項3】

前記表示要素と前記対象要素との相対的な位置関係に応じて、前記差により示される基準点間の第１距離と、前記第１距離よりも短い第２距離と、を選択的に用いることを特徴とする請求項２に記載の表示差異検出プログラム。

【請求項4】

前記第２距離は、前記第１距離と、前記基準点間の水平方向における水平距離及び前記基準点間の垂直方向における垂直距離のいずれか短い方との平均値であり、
前記対象要素が前記表示要素の上下方向又は左右方向に位置する場合、前記第１距離を用い、
前記対象要素が前記表示要素の斜め下方向に位置する場合、前記第２距離を用いることを特徴とする請求項３に記載の表示差異検出プログラム。

【請求項5】

前記対象要素を検索する際に、前記表示要素との類似度が所定値以上となる部分領域を対象要素として検索することを特徴とする請求項１〜４のいずれか１項に記載の表示差異検出プログラム。

【請求項6】

第１画像を解析して表示要素群を抽出する抽出部と、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第２画像から、前記表示要素群の各表示要素に類似する対象要素を検索する検索部と、
前記各表示要素に対して、前記検索部により検索した少なくとも１つの対象要素を対応付ける対応付け部と、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に対応付ける対象要素を選択する選択部と、
前記各表示要素の前記第１画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第２画像における相対的な位置関係との差異を検出する検出部と、
を備えたことを特徴とする表示差異検出装置。

【請求項7】

第１画像を解析して表示要素群を抽出し、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第２画像から、前記表示要素群の各表示要素に類似する対象要素を検索し、
前記各表示要素に対して、前記検索した少なくとも１つの対象要素を対応付け、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に対応付ける対象要素を選択し、
前記各表示要素の前記第１画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第２画像における相対的な位置関係との差異を検出する、
処理をコンピュータが実行することを特徴とする表示差異検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示差異検出プログラム、表示差異検出装置、及び表示差異検出方法に関する。

【背景技術】

【0002】

近年、インターネットの普及と共に、Hyper Text Markup Language (ＨＴＭＬ)文書を画像として表示させるＷｅｂブラウザの種類が増加している。このＷｅｂブラウザは、種類毎の描画特性の違い等により、同一の画像であっても表示結果が異なる場合がある。また、同一の種類でも、バージョンの違いやOperating System（ＯＳ）の違いにより、表示結果が異なる場合がある。

【0003】

このため、ＨＴＭＬ文書を作成する作成者は、２つのＷｅｂブラウザの各々を用いて、同一のＨＴＭＬ文書で定義された画像を表示させた場合に、意図した表示結果になるか否かを検証するブラウザ表示テストを行っている。すなわち、同一の画像を２つのＷｅｂブラウザを用いて表示させた場合に、一方のＷｅｂブラウザでの表示結果と、他方のＷｅｂブラウザでの表示結果とが同様であるか否かが検証される。

【0004】

従来、２つのＷｅｂブラウザを用いて同一の画像を実際に表示させ、各々の表示結果を目視により確認する方法が一般的であった。しかし、この方法では、作業負荷が大きく、見落とし等の恐れがある。

【0005】

これに対して、ＨＴＭＬソース（以下、ソース情報という。）を用いて、２つのＷｅｂブラウザの各々の表示結果から複数のページ要素を抽出する技術が提案されている。なお、ソース情報とは、ＨＴＭＬ文書を構成する複数のページ要素の各々のサイズや配置、文字列等を定義するための情報である。また、ページ要素とは、ＨＴＭＬ文書を構成する基本要素であり、例えば、ＨＴＭＬタグで囲まれた要素として示される。この技術では、一方のＷｅｂブラウザの表示結果から抽出された複数のページ要素の各々と、他方のＷｅｂブラウザの表示結果から抽出された複数のページ要素の各々との対応付けを行い、２つのＷｅｂブラウザ間での表示結果の差異が検出される。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１６−１８２５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、従来技術によれば、ＨＴＭＬ文書で定義された画像のようにソース情報を持つ画像を対象としており、ソース情報を持たない画像の場合、ページ要素を抽出することが難しかった。そこで、ソース情報を持たない２つの画像の各々を解析して、これら２つの画像の各々からページ要素に対応する表示要素を抽出する技術を用いることが考えられる。しかしこの場合、表示要素の位置ずれ等により２つの画像間で抽出結果が異なる可能性がある。このため、２つの画像間での表示要素の対応付けが正しく行われず、画像間での差異を適切に検出できない場合がある。

【0008】

本発明は、一つの側面として、ソース情報を持たない画像であっても、画像間での差異を適切に検出することを目的とする。

【課題を解決するための手段】

【0009】

一つの態様として、第１画像を解析して表示要素群を抽出する。前記表示要素群の対応付けの対象となる他の対象要素群を含む第２画像から、前記表示要素群の各表示要素に類似する対象要素を検索する。前記各表示要素に対して、前記検索した少なくとも１つの対象要素を対応付ける。複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に対応付ける対象要素を選択する。前記各表示要素の前記第１画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第２画像における相対的な位置関係との差異を検出する。

【発明の効果】

【0010】

一つの側面として、ソース情報を持たない画像であっても、画像間での差異を適切に検出することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る表示差異検出システムの構成の一例を示す図である。

【図2】実施形態に係る表示差異検出装置の機能的な構成の一例を示すブロック図である。

【図3】実施形態に係る第１画像及び第２画像の一例を示す図である。

【図4】実施形態に係る表示要素と対象要素とが一対多で対応付けされた状態の一例を示す模式図である。

【図5】実施形態に係る選択部による処理の一例を説明するための模式図である。

【図6】実施形態に係る表示要素と対象要素とが一対一で対応付けされた状態の一例を示す模式図である。

【図7】実施形態に係る表示差異検出装置として機能するコンピュータの構成の一例を示すブロック図である。

【図8】実施形態に係る表示差異検出プログラムの処理の流れの一例を示すフローチャートである。

【図9】実施形態に係る表示差異検出プログラムにおけるサブルーチンプログラムの処理の流れの一例を示すフローチャートである。

【図10】実施形態に係る画像間で不一致と判定される要素の位置関係の一例を示す図である。

【図11】実施形態に係る画像間で一致と判定される要素の位置関係の一例を示す図である。

【図12】実施形態に係る画像における２つの要素の相対的な位置関係の一例を示す図である。

【図13】実施形態に係る第１画像及び第２画像の各々における要素群の位置関係の一例を示す図である。

【図14】実施形態に係る２つの要素の組み合わせごとの位置関係の判定結果の一例を示す図である。

【図15】実施形態に係るＷｅｂページにおけるページ要素の配置の一例を説明するための模式図である。

【図16】実施形態に係るページ要素間での表示の位置ずれの分類の一例を示す模式図である。

【図17】実施形態に係る折り返しずれの場合に適用される要素間の距離の一例を説明するための図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。

【0013】

[第１の実施形態]
図１は、本実施形態に係る表示差異検出システム９０の構成の一例を示す図である。
図１に示すように、本実施形態に係る表示差異検出システム９０は、Ｗｅｂサーバ１０、Personal Computer（ＰＣ）２０Ａ、ＰＣ２０Ｂ、及び表示差異検出装置３０を含んで構成される。

【0014】

Ｗｅｂサーバ１０は、ＨＴＭＬ文書１２を提供可能なコンピュータであり、インターネットや、ＬＡＮ(Local Area Network)、ＷＡＮ(Wide Area Network)等のネットワークＮを介してＰＣ２０Ａ及びＰＣ２０Ｂの各々と接続される。Ｗｅｂサーバ１０は、ＰＣ２０Ａ及びＰＣ２０Ｂの各々からHyper Text Transfer Protocol（ＨＴＴＰ）リクエストを受信すると、ＨＴＴＰリクエストのUniform Resource Locater（ＵＲＬ）に対応するＨＴＭＬ文書１２を送信する。なお、本実施形態に係るＷｅｂサーバ１０は、複数のＷｅｂブラウザによるブラウザ表示テストの対象とされる共通のＨＴＭＬ文書１２をＰＣ２０Ａ及びＰＣ２０Ｂの各々に送信する。

【0015】

ＰＣ２０Ａには、第１Ｗｅｂブラウザ２２Ａがインストールされており、第１Ｗｅｂブラウザ２２ＡによりＷｅｂサーバ１０から取得したＨＴＭＬ文書１２で定義される画像を表示させる。同様に、ＰＣ２０Ｂには、第２Ｗｅｂブラウザ２２Ｂがインストールされており、第２Ｗｅｂブラウザ２２ＢによりＷｅｂサーバ１０から取得したＨＴＭＬ文書１２で定義される画像を表示させる。これらのＰＣ２０Ａ及び２０Ｂは、２台に限定されるものではなく、３台以上でもよい。また、本実施形態では、第１Ｗｅｂブラウザ２２Ａのバージョンと第２Ｗｅｂブラウザ２２Ｂのバージョンとが異なる。つまり、本実施形態に係る第１Ｗｅｂブラウザ２２Ａは、第２Ｗｅｂブラウザ２２Ｂと同種でバージョンの異なるブラウザである。なお、第１Ｗｅｂブラウザ２２Ａは、第２Ｗｅｂブラウザ２２Ｂと種類が異なっていてもよく、第２Ｗｅｂブラウザ２２Ｂと同種でＯＳが異なっていてもよい。

【0016】

以下、本実施形態では、第１Ｗｅｂブラウザ２２Ａ及び第２Ｗｅｂブラウザ２２Ｂの各々により共通のＨＴＭＬ文書１２を表示させ、ブラウザ表示テストを実施する場合について説明する。

【0017】

本実施形態に係る表示差異検出装置３０は、ＰＣ２０Ａ及びＰＣ２０Ｂの各々と有線又は無線を介して接続される。表示差異検出装置３０は、例えば、汎用的なパーソナルコンピュータ等の情報処理装置により実現される。

【0018】

本実施形態に係る表示差異検出装置３０は、ＰＣ２０Ａを遠隔操作して第１Ｗｅｂブラウザ２２Ａを実行させ、ＨＴＭＬ文書１２で定義される画像をＰＣ２０Ａの画面に表示させる機能を備える。同様に、表示差異検出装置３０は、ＰＣ２０Ｂを遠隔操作して第２Ｗｅｂブラウザ２２Ｂを実行させ、ＨＴＭＬ文書１２で定義される画像をＰＣ２０Ｂの画面に表示させる。そして、表示差異検出装置３０は、ＰＣ２０Ａに表示させた第１Ｗｅｂブラウザ２２Ａの表示画面をキャプチャし、ＰＣ２０Ａから第１画像４４Ａを取得する。同様に、表示差異検出装置３０は、ＰＣ２０Ｂに表示させた第２Ｗｅｂブラウザ２２Ｂの表示画面をキャプチャし、ＰＣ２０Ｂから第２画像４４Ｂを取得する。つまり、これらの第１画像４４Ａ及び第２画像４４Ｂの各々は、共通のＨＴＭＬ文書１２で定義される画像をキャプチャして得られた画像であり、ソース情報を持たない画像の一例である。

【0019】

図２は、本実施形態に係る表示差異検出装置３０の機能的な構成の一例を示すブロック図である。
図２に示すように、本実施形態に係る表示差異検出装置３０は、機能的には、取得部３２と、抽出部３４と、検索部３６と、対応付け部３８と、選択部４０と、検出部４２と、を含む。また、表示差異検出装置３０は、ＰＣ２０Ａから取得した第１画像４４Ａ及びＰＣ２０Ｂから取得した第２画像４４Ｂを表示する表示部４４を備える。表示部４４には、液晶ディスプレイや有機Electro Luminescence(ＥＬ)ディスプレイ等が適用される。表示部４４は、第１画像４４Ａ及び第２画像４４Ｂを、一例として水平方向に並べて配置した状態で表示する。

【0020】

図３は、本実施形態に係る第１画像４４Ａ及び第２画像４４Ｂの一例を示す図である。
図３に示すように、本実施形態に係る第１画像４４Ａには、表示要素群１０Ａが含まれている。この表示要素群１０Ａには、一例として、複数の表示要素１Ａ、２Ａ，３Ａ、４Ａが含まれる。一方、本実施形態に係る第２画像４４Ｂには、表示要素群１０Ａの対応付けの対象となる他の対象要素群１０Ｂが含まれている。この対象要素群１０Ｂには、一例として、複数の対象要素１Ｂ、２Ｂ、３Ｂ、４Ｂが含まれる。なお、画像に含まれる要素の配置や個数は、図３に示す例に限定されるものではなく、ブラウザ表示テストの対象とされる画像に応じて様々である。なお、図３の例では、表示要素及び対象要素の各々は、矩形領域として示される。

【0021】

取得部３２は、表示部４４に表示されている第１画像４４Ａ及び第２画像４４Ｂを取得し、第１画像４４Ａを抽出部３４に出力し、第２画像４４Ｂを検索部３６に出力する。なお、本実施形態では、第１画像４４Ａを基準画像としているが、第２画像４４Ｂを基準画像とする場合、第２画像４４Ｂを抽出部３４に出力し、第１画像４４Ａを検索部３６に出力すればよい。

【0022】

抽出部３４は、第１画像４４Ａを解析して表示要素群１０Ａとして、表示要素１Ａ〜４Ａを抽出する。一例として、第１画像４４Ａを部分領域に分割して切り出す処理が適用される。一般的に、ＨＴＭＬ文書に基づく画像は、矩形状の部分領域が比較的多いため、例えば、所定幅の黒画素が所定長さ以上にわたって連続的又は断続的に直線状に連なる部分を追跡することによって、矩形状の部分領域を切り出すことができる。

【0023】

検索部３６は、第２画像４４Ｂから、各表示要素１Ａ〜４Ａに類似する対象要素を検索する。一例として、各表示要素１Ａ〜４Ａを検索キーとして、表示要素との類似度が所定値以上となる部分領域を対象要素として検索する。本実施形態の場合、第１画像４４Ａ及び第２画像４４Ｂは、共通のＨＴＭＬ文書１２に基づく画像であるため、２つの画像間で大きな変化はないと考えられる。このため、一例として、比較的単純なテンプレートマッチング法が適用される。この場合、類似度を示す指標としては、一例として、Sum of Squared Difference（ＳＳＤ）や、Zero-means Normalized Cross-Correlation（ＺＮＣＣ）、Sum of Absolute Difference（ＳＡＤ）、Normalized Cross-Correlation（ＮＣＣ）等が用いられる。なお、上記の所定値としては、実験等に基づいて適切な値が設定される。

【0024】

図３に示す例の場合、表示要素１Ａに対しては、類似度が所定値以上の対象要素１Ｂが検索され、表示要素２Ａに対しては、類似度が所定値以上の対象要素２Ｂ及び対象要素３Ｂが検索される。また、表示要素３Ａに対しては、類似度が所定値以上の対象要素４Ｂが検索され、表示要素４Ａに対しては、類似度が所定値以上の対象要素２Ｂ及び対象要素３Ｂが検索される。

【0025】

対応付け部３８は、各表示要素１Ａ〜４Ａに対して、検索部３６で検索した少なくとも１つの対象要素を対応付ける。ここで、ある表示要素に対して、複数の対象要素が存在する場合には、当該表示要素に対して複数の対象要素を対応付ける処理を行う。

【0026】

図４は、本実施形態に係る表示要素と対象要素とが一対多で対応付けされた状態の一例を示す模式図である。
図４に示す例の場合、表示要素１Ａには対象要素１Ｂが一対一で対応付けられている。表示要素２Ａには対象要素２Ｂ及び対象要素３Ｂが一対多で対応付けられている。表示要素３Ａには対象要素４Ｂが一対一で対応付けられている。表示要素４Ａには対象要素２Ｂ及び対象要素３Ｂが一対多で対応付けられている。

【0027】

このとき、対応付け部３８は、例えば、表示要素を表す外接矩形の４つの角点の座標、及び、対象要素を表す外接矩形の４つの角点の座標を、図示しない記憶部に記憶する。そして、対応付け部３８は、表示要素を個別に特定可能なＩＤ(Identification)情報の配列と、表示要素の対応付け候補となる対象要素を個別に特定可能なＩＤ情報の配列と、を記憶部に記憶する。

【0028】

選択部４０は、対応付け部３８により複数の対象要素が対応付けられた表示要素が存在する場合に、複数の対象要素の中から、表示要素に一対一で対応付ける対象要素を選択する。ここで、一対多の対応付けから、一対一の最適な対応付けを求める手法として、一例として、Gale-Shapley（ＧＳ）アルゴリズムが適用される。このＧＳアルゴリズムでは、例えば、「安定な結婚問題」として定式化が可能であるが、第１画像４４Ａ及び第２画像４４Ｂの間では１つの表示要素に２つ以上の対象要素が対応付けされ、対応付けの競合が生じている。この対応付けの競合を解消するために、以下のような評価基準を設ける。

【0029】

評価基準としては、第１画像４４Ａの表示要素群１０Ａの位置及び第２画像４４Ｂの対象要素群１０Ｂの位置を同一座標系で表した場合に、各画像における要素の表示位置が近い要素同士を優先的に対応付ける。一例として、表示要素の基準点の座標値と、対象要素の基準点の座標値との差を求め、求めた差が最も小さい対象要素を選択する。なお、基準点の座標とは、例えば、表示要素及び対象要素の各々を示す矩形領域の左上角点の座標とされる。

【0030】

図５は、本実施形態に係る選択部４０による処理の一例を説明するための模式図である。
図５に示す例は、第１画像４４Ａの表示要素群１０Ａの位置及び第２画像４４Ｂの対象要素群１０Ｂの各々の位置を同一の座標系に示したものである。この座標系は、表示部４４に画像を表示させた場合に、当該画像の左角点を原点Ｐ０（０、０）とし、原点Ｐ０から右向きにｘ座標、下向きにｙ座標を取る座標系である。

【0031】

上述したように、表示要素２Ａには対象要素２Ｂ及び対象要素３Ｂが対応付けられ、表示要素４Ａには対象要素２Ｂ及び対象要素３Ｂが対応付けられている。この場合、選択部４０は、表示要素２Ａの基準点Ｐ２Ａの座標値と対象要素２Ｂの基準点Ｐ２Ｂの座標値との差と、表示要素２Ａの基準点Ｐ２Ａの座標値と対象要素３Ｂの基準点Ｐ３Ｂの座標値との差と、を求める。そして、これらの差を比較し、差が小さい方の対象要素を選択する。図５に示す例の場合、対象要素３Ｂが選択される。なお、上記の差としては、一例として、ｘ座標の差分の絶対値と、ｙ座標の差分の絶対値との合計が用いられる。

【0032】

同様に、選択部４０は、表示要素４Ａの基準点Ｐ４Ａの座標値と対象要素２Ｂの基準点Ｐ２Ｂの座標値との差と、表示要素４Ａの基準点Ｐ４Ａの座標値と対象要素３Ｂの基準点Ｐ３Ｂの座標値との差と、を求める。そして、これらの差を比較し、差が小さい方の対象要素を選択する。図５に示す例の場合、対象要素２Ｂが選択される。これにより、表示要素２Ａと対象要素３Ｂとが一対一で対応付けられ、表示要素４Ａと対象要素２Ｂとが一対一で対応付けられる。なお、仮に対象要素３Ｂが選択された場合、表示要素２Ａ及び対象要素３Ｂの組と、表示要素４Ａ及び対象要素３Ｂの組と、が生じ、競合が起こる。この場合、更に、これら各組の間で差を比較し、差がより小さい組を優先的に対応付けすればよい。

【0033】

また、上記の差は、基準点間の距離（以下、第１距離という。）として示すことができる。ここでいう第１距離とは、基準点間の直線距離であり、一例として、以下の式１に示すユークリッド距離Ｄ１が用いられる。但し、ｄｘは、表示要素の基準点と対象要素の基準点との水平方向における水平距離を示し、ｄｙは、表示要素の基準点と対象要素の基準点との垂直方向における垂直距離を示す。

【0034】

【数1】

（１）

【0035】

本実施形態によれば、第１画像４４Ａの各表示要素１Ａ〜４Ａと、第２画像４４Ｂの各対象要素１Ｂ〜４Ｂとの間において、位置ずれは小さな範囲で局所的に起こると考えられる。このため、各画像における要素の表示位置が近い要素同士を優先的に対応付けることで、適切な対応付けを行うことができる。

【0036】

図６は、本実施形態に係る表示要素と対象要素とが一対一で対応付けされた状態の一例を示す模式図である。
図６に示す例の場合、表示要素１Ａには対象要素１Ｂが一対一で対応付けられている。表示要素２Ａには対象要素３Ｂが一対一で対応付けられている。表示要素３Ａには対象要素４Ｂが一対一で対応付けられている。表示要素４Ａには対象要素２Ｂが一対一で対応付けられている。

【0037】

検出部４２は、各表示要素１Ａ〜４Ａの第１画像４４Ａにおける相対的な位置関係と、各表示要素１Ａ〜４Ａに一対一で対応付けられた各対象要素１Ｂ〜４Ｂの第２画像４４Ｂにおける相対的な位置関係との差異を検出する。この検出部４２による処理については後述する。

【0038】

図７は、本実施形態に係る表示差異検出装置３０として機能するコンピュータ５０の構成の一例を示すブロック図である。

【0039】

表示差異検出装置３０は、例えば、図７に示すコンピュータ５０で実現することができる。コンピュータ５０は、Central Processing Unit（ＣＰＵ）５１と、一時記憶領域としてのメモリ５２と、不揮発性の記憶部５３とを備える。また、コンピュータ５０は、入出力装置５４と、記憶媒体５８に対するデータの読み込み及び書き込みを制御するRead/Write（Ｒ／Ｗ）部５５と、インターネット等のネットワークに接続される通信インターフェース（Ｉ／Ｆ）５６とを備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力装置５４、Ｒ／Ｗ部５５、及び通信Ｉ／Ｆ５６は、バス５７を介して互いに接続される。

【0040】

記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を表示差異検出装置３０として機能させるための表示差異検出プログラム７０が記憶される。

【0041】

表示差異検出プログラム７０は、取得プロセス７２と、抽出プロセス７４と、検索プロセス７６と、対応付けプロセス７８と、選択プロセス８０と、検出プロセス８２と、を有する。

【0042】

ＣＰＵ５１は、表示差異検出プログラム７０を記憶部５３から読み出してメモリ５２に展開し、表示差異検出プログラム７０が有するプロセスを順次実行する。ＣＰＵ５１は、取得プロセス７２を実行することで、図２に示す取得部３２として動作する。また、ＣＰＵ５１は、抽出プロセス７４を実行することで、図２に示す抽出部３４として動作する。また、ＣＰＵ５１は、検索プロセス７６を実行することで、図２に示す検索部３６として動作する。また、ＣＰＵ５１は、対応付けプロセス７８を実行することで、図２に示す対応付け部３８として動作する。また、ＣＰＵ５１は、選択プロセス８０を実行することで、図２に示す選択部４０として動作する。また、ＣＰＵ５１は、検出プロセス８２を実行することで、図２に示す検出部４２として動作する。これにより、表示差異検出プログラム７０を実行したコンピュータ５０が、表示差異検出装置３０として機能することになる。なお、コンピュータ５０が表示差異検出プログラム７０を実行することにより機能する部分は、表示差異検出装置３０に相当する。この例の場合、表示差異検出プログラム７０を実行するＣＰＵ５１は、ハードウェアである。

【0043】

なお、表示差異検出プログラム７０により実現される機能は、例えば、半導体集積回路、より詳しくは、Application Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。

【0044】

次に、図８を参照して、本実施形態に係る表示差異検出装置３０の作用を説明する。なお、図８は、本実施形態に係る表示差異検出プログラム７０の処理の流れの一例を示すフローチャートである。

【0045】

なお、本実施形態では、表示差異検出装置３０の表示部４４に第１画像４４Ａ及び第２画像４４Ｂが表示されており、ブラウザ表示テストの担当者による操作指示に応じて、表示差異検出プログラム７０が実行される。

【0046】

まず、図８のステップ１００では、取得部３２が、表示部４４に表示されている第１画像４４Ａ及び第２画像４４Ｂを取得し、第１画像４４Ａを抽出部３４に出力し、第２画像４４Ｂを検索部３６に出力する。

【0047】

ステップ１０２では、抽出部３４が、第１画像４４Ａを解析して表示要素群１０Ａとして、表示要素１Ａ〜４Ａを抽出する。

【0048】

ステップ１０４では、検索部３６が、第２画像４４Ｂから、各表示要素１Ａ〜４Ａに類似する対象要素を検索する。

【0049】

ステップ１０６では、対応付け部３８が、各表示要素１Ａ〜４Ａに対して、検索部３６で検索した少なくとも１つの対象要素を対応付ける。

【0050】

ステップ１０８では、選択部４０が、対応付け部３８により複数の対象要素が対応付けられた表示要素が存在するか否かを判定する。複数の対象要素が対応付けられた表示要素が存在すると判定した場合（肯定判定の場合）、ステップ１１０に移行し、複数の対象要素が対応付けられた表示要素が存在しないと判定した場合（否定判定の場合）、ステップ１１４に移行する。

【0051】

ステップ１１０では、選択部４０が、複数の対象要素の中から、表示要素に一対一で対応付ける対象要素を選択する。

【0052】

ステップ１１２では、選択部４０が、複数の対象要素が対応付けられた表示要素が他にも存在するか否かを判定する。複数の対象要素が対応付けられた表示要素が他にも存在すると判定した場合（肯定判定の場合）、ステップ１１０に戻り処理を繰り返す。一方、複数の対象要素が対応付けられた表示要素が他に存在しないと判定した場合（否定判定の場合）、ステップ１１４に移行する。

【0053】

ステップ１１４では、検出部４２が、各表示要素１Ａ〜４Ａの第１画像４４Ａにおける相対的な位置関係と、各表示要素１Ａ〜４Ａに一対一で対応付けられた各対象要素１Ｂ〜４Ｂの第２画像４４Ｂにおける相対的な位置関係との差異を検出する。そして、位置関係の差異を検出した後、一連の表示差異検出プログラム７０の処理を終了する。

【0054】

次に、図９を参照して、図８に示すステップ１１４の具体的な処理について説明する。なお、図９は、本実施形態に係る表示差異検出プログラム７０におけるサブルーチンプログラムの処理の流れの一例を示すフローチャートである。

【0055】

まず、図９のステップ２００では、検出部４２が、第１画像４４Ａの表示要素群１０Ａ及び第２画像４４Ｂの対象要素群１０Ｂの各々における２つずつの要素の組み合わせを処理対象として選択する。なお、本実施形態の説明では、表示要素及び対象要素の各々を共に「要素」として説明する。

【0056】

ステップ２０２では、検出部４２が、選択された組み合わせに含まれる２つの要素について、第１画像４４Ａ及び第２画像４４Ｂの各々の表示結果における相対的な位置関係を求める。

【0057】

ところで、バージョンの異なる２つのＷｅｂブラウザに基づく２つの画像は、デフォルトの行間や文字間隔等が異なる場合がある。従って、要素間の絶対的な距離によって、２つの画像における当該要素間の位置関係を比較した場合、人の目には同様に見えても位置関係が異なると判定される場合が有る。すなわち、人から見ればほぼ同じと見える位置関係でも、コンピュータによって異なると判定され、その結果、相違点が過剰に検出されてしまう。

【0058】

本実施形態では、２つの要素の上下左右方向（水平・垂直方向）の整列関係（ずれの方向）が一致していれば、当該２つの要素の相対的な位置関係は一致すると判定する。例えば、２つの要素について、図１０の左図に示される位置関係と、図１０の右図に示される位置関係とは異なると判定する。これは、図１０の左図では２つの要素の左端及び右端が揃っているのに対し、図１０の右図では２つの要素の左端及び右端が揃っていないからである。すなわち、図１０の左図と右図とでは、左右方向（水平方向）におけるずれの方向が異なる。

【0059】

一方、図１１の左図に示される位置関係と、図１１の右図に示される位置関係とは一致すると判定する。これは、一方の要素に対する他方の要素の上下方向及び左右方向におけるずれの方向が、一致するからである。なお、例えば、２つの要素間の間隔、すなわち、ずれの量が、図１１の左図に示す要素間と図１１の右図に示す要素間とで異なっても、判定結果には影響しないものとする。

【0060】

上記のような判定結果を得るための検出部４２による判定方法の一例を説明する。ここでは、少なくとも一方の画像の表示結果における、２つの要素の相対的な位置関係が、図１５に示される通りであるとする。

【0061】

図１２は、本実施形態に係る画像における２つの要素の相対的な位置関係の一例を示す図である。
図１２に示すように、要素ｅ１は、ステップ２００において選択された２つの要素のうちの一方の要素であり、要素ｅ２は、他方の要素である。

【0062】

要素ｅ１の左上頂点の座標値は、（ｌｅｆｔ１，ｔｏｐ１）として表記され、右下頂点の座標値は、（ｒｉｇｈｔ１，ｂｏｔｔｏｍ１）として表記されている。また、要素ｅ２の左上頂点の座標値は、（ｌｅｆｔ２，ｔｏｐ２）として表記され、右下頂点の座標値は、（ｒｉｇｈｔ２，ｂｏｔｔｏｍ２）として表記されている。ｌｅｆｔ１、ｔｏｐ１、ｒｉｇｈｔ１、ｂｏｔｔｏｍ１、ｌｅｆｔ２、ｔｏｐ２、ｒｉｇｈｔ２、及びｂｏｔｔｏｍ２の値は、表示差異検出装置３０にて取得済みである。

【0063】

検出部４２は、上記座標値を、以下の関数ｆ（ｘ）に当てはめて、ｆ０〜ｆ７の値を求める。

【0064】

ｆ０＝ｆ（ｌｅｆｔ１−ｌｅｆｔ２）
ｆ１＝ｆ（ｌｅｆｔ１−ｒｉｇｈｔ２）
ｆ２＝ｆ（ｒｉｇｈｔ１−ｌｅｆｔ２）
ｆ３＝ｆ（ｒｉｇｈｔ１−ｒｉｇｈｔ２）
ｆ４＝ｆ（ｔｏｐ１−ｔｏｐ２）
ｆ５＝ｆ（ｔｏｐ１−ｂｏｔｔｏｍ２）
ｆ６＝ｆ（ｂｏｔｔｏｍ１−ｔｏｐ２）
ｆ７＝ｆ（ｂｏｔｔｏｍ１−ｂｏｔｔｏｍ２）
ここで、ｆ（ｘ）の値は、以下の通りである。

【0065】

ｘ＞αの場合、ｆ（ｘ）＝１
−α≦ｘ≦αの場合、ｆ（ｘ）＝０
ｘ＜−αの場合、ｆ（ｘ）＝−１

【0066】

なお、閾値αは、関数ｆ（ｘ）において比較される２つの値が同じであると判定する範囲を示す０（ゼロ）以上の定数であり、予め決定される。すなわち、関数ｆ（ｘ）によって求められるｆ０〜ｆ７は、比較された２つの要素の左上頂点及び左下頂点に関して、上下左右方向の相対的なずれの方向を示すものである。換言すれば、ｆ０〜ｆ７は、図１５に示されるベクトルｖ１〜ｖ４に関して、上下左右方向の向きを示すものである。

【0067】

図１２の例によれば、ｆ０〜ｆ７の値は、以下の通りである。なお、図１２において、原点は、左上であるとする。また、ここでは、便宜上、α＝０とする。

【0068】

ｆ０＝ｆ（ｌｅｆｔ１−ｌｅｆｔ２）＝−１
ｆ１＝ｆ（ｌｅｆｔ１−ｒｉｇｈｔ２）＝−１
ｆ２＝ｆ（ｒｉｇｈｔ１−ｌｅｆｔ２）＝１
ｆ３＝ｆ（ｒｉｇｈｔ１−ｒｉｇｈｔ２）＝−１
ｆ４＝ｆ（ｔｏｐ１−ｔｏｐ２）＝−１
ｆ５＝ｆ（ｔｏｐ１−ｂｏｔｔｏｍ２）＝−１
ｆ６＝ｆ（ｂｏｔｔｏｍ１−ｔｏｐ２）＝−１
ｆ７＝ｆ（ｂｏｔｔｏｍ１−ｂｏｔｔｏｍ２）＝−１

【0069】

ステップＳ２０２において、検出部４２は、ステップ２００にて選択された２つの要素に関するｆ０〜ｆ７の値を、２つの画像のそれぞれの表示結果に関して求める。

【0070】

次に、ステップ２０４では、検出部４２が、２つの画像のそれぞれの表示結果に関して求められたｆ０〜ｆ７が一致するか否かを判定する。ここで、ｆに対する添え字（０〜７）が同じもの同士が比較される。比較された全ての値が一致すると判定した場合（肯定判定の場合）、ステップ２０６に移行し、比較された値の全ては一致しないと判定した場合（否定判定の場合）、ステップ２１０に移行する。

【0071】

ステップ２０６では、検出部４２が、表示要素群１０Ａ及び対象要素群１０Ｂの各々における２つずつの要素の組み合わせの全てに関して実行されたか否かを判定する。全ての組み合わせについて判定していない場合（否定判定の場合）、ステップ２００に戻り処理を繰り返す。一方、全ての組み合わせについて判定した場合（肯定判定の場合）、ステップ２０８に移行する。

【0072】

ステップ２０８では、検出部４２が、要素間の相対的な位置関係が２つの画像間において一致すると判定し、一連の処理を終了する。

【0073】

一方、ステップ２１０では、検出部４２が、要素間の相対的な位置関係が２つの画像間において異なると判定し、一連の処理を終了する。

【0074】

図１３は、本実施形態に係る第１画像４４Ａ及び第２画像４４Ｂの各々における要素群の位置関係の一例を示す図である。

【0075】

図１３の左図は、第１Ｗｅｂブラウザ２２Ａ及び第２Ｗｅｂブラウザ２２Ｂに表示される共通のＷｅｂページ１４を示す。また、図１３の中図は、第１Ｗｅｂブラウザ２２Ａにより表示されたＷｅｂページ１４の画面をキャプチャして得られた第１画像４４Ａについて、各要素１Ｃ〜９Ｃの外接矩形の位置関係を示している。また、図１３の右図は、第２Ｗｅｂブラウザ２２Ｂにより表示されたＷｅｂページ１４の画面をキャプチャして得られた第２画像４４Ｂについて、各要素１Ｄ〜９Ｄの外接矩形の位置関係を示している。なお、図１３に示される各要素は、便宜上、図３に示される各要素とは無関係とする。

【0076】

要素１〜９のうちの２つずつの要素の組み合わせに関して、相対的な位置関係の一致又は不一致が判定されることにより、例えば、図１４に示されるような情報が得られる。

【0077】

図１４は、本実施形態に係る２つの要素の組み合わせごとの位置関係の判定結果の一例を示す図である。

【0078】

図１４の左図は、各組み合わせに属する２つの要素の位置関係の判定結果を行列によって表現したものである。すなわち、白丸が配置されている行及び列に係る要素の組み合わせは、相対的な位置関係が一致すると判定された組み合わせである。白丸が配置されていない行及び列に係る要素の組み合わせは、相対的な位置関係が一致しないと判定された組み合わせである。また、図１４の右図は、図１４の左図に示される情報をグラフによって表現したものである。

【0079】

なお、図９に示すサブルーチンプログラムによる処理では、相対的な位置関係が一致しない組み合わせが検出された時点で処理が終了する。このため、位置関係が一致しない組み合わせが存在する場合は、全ての組み合わせに関して相対的な位置関係の判定は行われないが、図１４に示す例では、便宜上、全ての組み合わせの判定結果が示されている。

【0080】

本実施形態によれば、図１３に示される要素１〜９に関して、第１画像４４Ａの表示結果における相対的な位置関係と、第２画像４４Ｂの表示結果における相対的な位置関係とは相違すると判定される。仮に、図１４に示す行列の全ての成分が白丸であれば、要素１〜９に関して、第１画像４４Ａの表示結果における相対的な位置関係と、第２画像４４Ｂの表示結果における相対的な位置関係とは一致すると判定される。

【0081】

本実施形態によれば、一方の画像の要素を検索キーとして、他方の画像から類似する要素を検索するため、２つの画像を解析して２つの画像の各々から要素を抽出する場合と比べて、より精度の高い対応付けを行うことができる。
また、一対多の対応付けから、最適な一対一の対応付けを選択するため、ソース情報を用いなくても、画像間の差異を適切に検出することができる。
また、従来、ブラウザ表示テストの担当者が目視等で行っていた作業が自動化されるため、作業負荷が軽減され、見落とし等の発生を抑制することができる。

【0082】

[第２の実施形態]
上記の第１の実施形態では、表示要素の座標値と対象要素の座標値との差を用いて、一対多から、一対一の対応付けを行った。第２の実施形態では、表示要素と対象要素との相対的な位置関係を考慮し、評価基準となる距離を選択的に用いて、一対一の対応付け処理を行う。

【0083】

図１５は、本実施形態に係るＷｅｂページにおけるページ要素の配置の一例を説明するための模式図である。

【0084】

図１５に示すように、Ｗｅｂページにおける各ページ要素（Ａ、Ｂ、Ｃ、Ａ-１、Ａ-２、Ｂ-１）は、階層的に配置されている。ページ要素間での表示の位置ずれは、各階層内での配置が変化するために生じる。通常の場合、この変化は小さな変化である。また、各階層でのページ要素の配置はシンプルで、互いの位置関係（上下左右）は維持されることが多い。このことを踏まえ、ページ要素間での表示の位置ずれは、次のいずれかに分類することができる。

【0085】

図１６は、本実施形態に係るページ要素間での表示の位置ずれの分類の一例を示す模式図である。

【0086】

図１６の上図に示す例では、ページ要素Ａ５の表示の位置が上下に局所的に小さくずれてページ要素Ｂ５の位置に変化している（上下局所ずれ）。また、図１６の中図に示す例では、ページ要素Ａ５の表示の位置が左右に局所的に小さくずれてページ要素Ｂ５の位置に変化している（左右局所ずれ）。また、図１６の下図に示す例では、ページ要素Ａ５の表示の位置が左斜め下に大きくずれてページ要素Ｂ５の位置に変化している（折り返しずれ）。図１６の下図に示す例は、例えば、左寄せが設定されたページ要素Ａ５が他のページ要素の右側に配置されるべきところ、ページ要素Ａ５が他のページ要素を超えて下方向にずれたことにより、表示領域の先頭まで折り返して移動した状態である。

【0087】

上記より、ページ要素間で表示の位置が大きくずれるのは、図１６の下図に示す折り返しずれの場合である。従って、Ｗｅｂページにおけるページ要素間の位置ずれの傾向を反映した対応付けを行えば、より適切な対応付けを行うことができる。

【0088】

本実施形態に係る選択部４０は、表示要素と対象要素との相対的な位置関係に応じて、基準点間の第１距離と、第１距離よりも短い第２距離と、を選択的に用いて、一対一の対応付けを行う。この第２距離は、例えば、後述の式２に示すように、第１距離の一例であるユークリッド距離Ｄ１と、基準点間の水平方向における水平距離ｄｘ及び基準点間の垂直方向における垂直距離ｄｙのいずれか短い方と、の平均値として示される。つまり、第２距離は、水平距離ｄｘ及び垂直距離ｄｙのいずれか短い方を優先させるものである。本実施形態では、対象要素が表示要素の上下方向又は左右方向に位置する場合、第１距離を用い、対象要素が表示要素の斜め下方向に位置する場合、第２距離を用いる。

【0089】

図１７は、本実施形態に係る折り返しずれの場合に適用される要素間の距離の一例を説明するための図である。
図１７に示すように、第１画像４４Ａの表示要素４Ａと第２画像４４Ｂの対象要素２Ｂとの間で、折り返しずれが生じている。なお、図１７では、説明の便宜上、第１画像４４Ａの表示要素４Ａを第２画像４４Ｂに重畳した状態で示している。

【0090】

図１７に示す例では、対象要素２Ｂが表示要素４Ａの斜め下方向（本例では左斜め下）に位置しているため、対象要素２Ｂと表示要素４Ａ間の距離には第２距離が用いられる。なお、この例では、左右方向の水平距離を示すｄｘより、上下方向の垂直距離を示すｄｙの方が小さいため、第２距離には、上下方向の垂直距離を示すｄｙが用いられる。第２距離の一例として、以下の式２に示す距離Ｄ２が用いられる。但し、Ｄ１は、式１に示すユークリッド距離である。

【0091】

【数2】

（２）

【0092】

なお、表示要素と対象要素との相対的な位置関係は、一例として、表示要素の基準点と対象要素の基準点との間でベクトルを求め、２つの基準点間のベクトルを用いて特定される。これら２つの基準点間のベクトルの大きさ及び向きを判定することで、対象要素と表示要素との相対的な位置関係を特定する。一例として、ベクトルの大きさに閾値を設け、ベクトルの向きが斜め下向きで、大きさが閾値以上の場合に、対象要素が表示要素の斜め下方向に位置すると特定される。図１７に示す例の場合、対象要素２Ｂは、表示要素４Ａの斜め下方向に位置しているため、対象要素２Ｂと表示要素４Ａとの距離には第２距離が用いられる。

【0093】

一方、表示要素４Ａには対象要素３Ｂも対応付けられている。この場合も、上記と同様に、表示要素４Ａの基準点と対象要素３Ｂの基準点との間でベクトルを求め、これら２つの基準点間のベクトルを用いて、対象要素３Ｂの表示要素４Ａに対する相対的な位置関係を特定する。図１７に示す例の場合、対象要素３Ｂは、表示要素４Ａの上方向に位置しているため、対象要素３Ｂと表示要素４Ａとの距離には第１距離が用いられる。

【0094】

例えば、表示要素４Ａと対象要素２Ｂの組、及び、表示要素４Ａと対象要素３Ｂの組の各々に対して、一例として式１で表される第１距離を適用した場合、配置によっては、表示要素４Ａと対象要素３Ｂの組が選択される可能性がある。これに対して、表示要素４Ａと対象要素２Ｂの組に対して、一例として式２で表される第２距離を適用し、表示要素４Ａと対象要素３Ｂの組に対して、第１距離を適用すれば、本来対応付けされるべき表示要素４Ａと対象要素２Ｂの組が選択される可能性が高くなる。

【0095】

本実施形態によれば、Ｗｅｂページにおけるページ要素間の位置ずれの傾向を反映させることで、的確に対象要素を選択することができ、間違いの少ない対応付けを行うことができる。これにより、画像間の差異の検出を適切に行うことができる。

【0096】

なお、上記の実施形態においては、Ｗｅｂブラウザのブラウザ表示テストを示して説明したが、本実施形態は、各種のアプリケーションプログラムのアプリ表示テストについても適用することができる。アプリケーションプログラムの場合、ＯＳの違い等で表示の位置ずれが起こる場合があるが、本実施形態を適用することで、Ｗｅｂブラウザの場合と同様に表示の差異を検出することが可能となる。

【0097】

また、上記各実施形態においては、表示差異検出プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

【0098】

また、上記各実施形態として表示差異検出装置及び方法を例示して説明した。各実施形態は、表示差異検出装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。各実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。

【0099】

その他、上記各実施形態で説明した表示差異検出装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

【0100】

また、上記各実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

【0101】

また、上記各実施形態では、プログラムを実行することにより、各実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。各実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

【0102】

以上の実施形態に関し、更に以下の付記を開示する。

【0103】

（付記１）
第１画像を解析して表示要素群を抽出し、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第２画像から、前記表示要素群の各表示要素に類似する対象要素を検索し、
前記各表示要素に対して、前記検索した少なくとも１つの対象要素を対応付け、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に対応付ける対象要素を選択し、
前記各表示要素の前記第１画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第２画像における相対的な位置関係との差異を検出する、
処理をコンピュータに実行させることを特徴とする表示差異検出プログラム。

【0104】

（付記２）
前記表示要素を選択する際に、前記表示要素群の位置及び前記対象要素群の位置を同一座標系で表した場合、前記表示要素の基準点の座標値と前記対象要素の基準点の座標値との差が最も小さい対象要素を選択することを特徴とする付記１に記載の表示差異検出プログラム。

【0105】

（付記３）
前記表示要素と前記対象要素との相対的な位置関係に応じて、前記差により示される基準点間の第１距離と、前記第１距離よりも短い第２距離と、を選択的に用いることを特徴とする付記２に記載の表示差異検出プログラム。

【0106】

（付記４）
前記第２距離は、前記第１距離と、前記基準点間の水平方向における水平距離及び前記基準点間の垂直方向における垂直距離のいずれか短い方との平均値であり、
前記対象要素が前記表示要素の上下方向又は左右方向に位置する場合、前記第１距離を用い、
前記対象要素が前記表示要素の斜め下方向に位置する場合、前記第２距離を用いることを特徴とする付記３に記載の表示差異検出プログラム。

【0107】

（付記５）
前記対象要素を検索する際に、前記表示要素との類似度が所定値以上となる部分領域を対象要素として検索することを特徴とする付記１〜４のいずれか１項に記載の表示差異検出プログラム。

【0108】

（付記６）
第１画像を解析して表示要素群を抽出する抽出部と、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第２画像から、前記表示要素群の各表示要素に類似する対象要素を検索する検索部と、
前記各表示要素に対して、前記検索部により検索した少なくとも１つの対象要素を対応付ける対応付け部と、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に対応付ける対象要素を選択する選択部と、
前記各表示要素の前記第１画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第２画像における相対的な位置関係との差異を検出する検出部と、
を備えたことを特徴とする表示差異検出装置。

【0109】

（付記７）
前記選択部は、前記表示要素群の位置及び前記対象要素群の位置を同一座標系で表した場合に、前記表示要素の基準点の座標値と前記対象要素の基準点の座標値との差が最も小さい対象要素を選択することを特徴とする付記６に記載の表示差異検出装置。

【0110】

（付記８）
前記選択部は、前記表示要素と前記対象要素との相対的な位置関係に応じて、前記差により示される基準点間の第１距離と、前記第１距離よりも短い第２距離と、を選択的に用いることを特徴とする付記７に記載の表示差異検出装置。

【0111】

（付記９）
前記第２距離は、前記第１距離と、前記基準点間の水平方向における水平距離及び前記基準点間の垂直方向における垂直距離のいずれか短い方との平均値であり、
前記選択部は、前記対象要素が前記表示要素の上下方向又は左右方向に位置する場合、前記第１距離を用い、
前記対象要素が前記表示要素の斜め下方向に位置する場合、前記第２距離を用いることを特徴とする付記８に記載の表示差異検出装置。

【0112】

（付記１０）
前記検索部は、前記表示要素との類似度が所定値以上となる部分領域を対象要素として検索することを特徴とする付記６〜９のいずれか１項に記載の表示差異検出装置。

【0113】

（付記１１）
第１画像を解析して表示要素群を抽出し、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第２画像から、前記表示要素群の各表示要素に類似する対象要素を検索し、
前記各表示要素に対して、前記検索した少なくとも１つの対象要素を対応付け、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に一対一で対応付ける対象要素を選択し、
前記各表示要素の前記第１画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第２画像における相対的な位置関係との差異を検出する、
処理をコンピュータが実行することを特徴とする表示差異検出方法。

【0114】

（付記１２）
前記表示要素を選択する際に、前記表示要素群の位置及び前記対象要素群の位置を同一座標系で表した場合、前記表示要素の基準点の座標値と前記対象要素の基準点の座標値との差が最も小さい対象要素を選択することを特徴とする付記１１に記載の表示差異検出方法。

【0115】

（付記１３）
前記表示要素と前記対象要素との相対的な位置関係に応じて、前記差により示される基準点間の第１距離と、前記第１距離よりも短い第２距離と、を選択的に用いることを特徴とする付記１２に記載の表示差異検出方法。

【0116】

（付記１４）
前記第２距離は、前記第１距離と、前記基準点間の水平方向における水平距離及び前記基準点間の垂直方向における垂直距離のいずれか短い方との平均値であり、
前記対象要素が前記表示要素の上下方向又は左右方向に位置する場合、前記第１距離を用い、
前記対象要素が前記表示要素の斜め下方向に位置する場合、前記第２距離を用いることを特徴とする付記１３に記載の表示差異検出方法。

【0117】

（付記１５）
前記対象要素を検索する際に、前記表示要素との類似度が所定値以上となる部分領域を対象要素として検索することを特徴とする付記１１〜１４のいずれか１項に記載の表示差異検出方法。

【0118】

（付記１６）
第１画像を解析して表示要素群を抽出し、
前記表示要素群の対応付けの対象となる他の対象要素群を含む第２画像から、前記表示要素群の各表示要素に類似する対象要素を検索し、
前記各表示要素に対して、前記検索した少なくとも１つの対象要素を対応付け、
複数の対象要素が対応付けられた表示要素が存在する場合に、前記複数の対象要素の中から、前記表示要素に対応付ける対象要素を選択し、
前記各表示要素の前記第１画像における相対的な位置関係と、前記各表示要素に対応付けられた各対象要素の前記第２画像における相対的な位置関係との差異を検出する、
処理をコンピュータに実行させる表示差異検出プログラムを記憶したことを特徴とする記憶媒体。

【符号の説明】

【0119】

１０ Ｗｅｂサーバ
１０Ａ 表示要素群
１０Ｂ 対象要素群
１２ ＨＴＭＬ文書
１４ Ｗｅｂページ
２２Ａ 第１Ｗｅｂブラウザ
２２Ｂ 第２Ｗｅｂブラウザ
３０ 表示差異検出装置
３２ 取得部
３４ 抽出部
３６ 検索部
３８ 対応付け部
４０ 選択部
４２ 検出部
４４ 表示部
４４Ａ 第１画像
４４Ｂ 第２画像
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５４ 入出力装置
５５ Ｒ／Ｗ部
５６ 通信Ｉ／Ｆ
５７ バス
５８ 記憶媒体
７０ 表示差異検出プログラム
７２ 取得プロセス
７４ 抽出プロセス
７６ 検索プロセス
７８ 対応付けプロセス
８０ 選択プロセス
８２ 検出プロセス
９０ 表示差異検出システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】