ホーム > 特許ランキング > 楽天グループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2023-99312ウェブページにおけるユーザインタフェース要素を識別するソフトウェアの精度をテストするシステム、方法、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023099312
(43)【公開日】2023-07-12
(54)【発明の名称】ウェブページにおけるユーザインタフェース要素を識別するソフトウェアの精度をテストするシステム、方法、及びコンピュータプログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20230705BHJP
【ＦＩ】
G06Q50/10
【審査請求】有
【請求項の数】21
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022200960
(22)【出願日】2022-12-16
(31)【優先権主張番号】17/566,233
(32)【優先日】2021-12-30
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(72)【発明者】
【氏名】デニス・ホウ
(72)【発明者】
【氏名】ビル・ヴァシリアディス
(72)【発明者】
【氏名】トラヴィス・コールター
(72)【発明者】
【氏名】ジャイ・チョン
(72)【発明者】
【氏名】アダム・ロス
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049CC12
(57)【要約】 （修正有）
【課題】ウェブページにおけるユーザインタフェース（ＵＩ）要素を識別するソフトウェアの精度をテストするシステム、方法、及びコンピュータプログラムを提供する。
【解決手段】ウェブフォームにおけるオートフィルソフトウェアの精度をテストするのに使用され、また、チェックアウトページにおけるカートスクレイパソフトウェアの精度をテストするのに使用される方法であって、正規化ラベルへのＵＩ要素のマッピングを含むウェブページの正規化仕様を作成することと、自動識別ソフトウェアを使用して、ウェブページにおけるＵＩ要素を識別することと、上記仕様を使用してウェブページに対する自動識別ソフトウェアの性能を評価することと、自動識別ソフトウェアの性能に関する診断を表示することと、を含む。
【選択図】図１
【解決手段】ウェブフォームにおけるオートフィルソフトウェアの精度をテストするのに使用され、また、チェックアウトページにおけるカートスクレイパソフトウェアの精度をテストするのに使用される方法であって、正規化ラベルへのＵＩ要素のマッピングを含むウェブページの正規化仕様を作成することと、自動識別ソフトウェアを使用して、ウェブページにおけるＵＩ要素を識別することと、上記仕様を使用してウェブページに対する自動識別ソフトウェアの性能を評価することと、自動識別ソフトウェアの性能に関する診断を表示することと、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
ウェブページにおけるＵＩ要素を識別するソフトウェア（「自動識別ソフトウェア」）の精度をテストする、コンピュータシステムによって実行される方法であって、
ユーザがウェブページにおけるＵＩ要素にラベルをタグ付けすることを可能にすることと、
前記ウェブページの正規化仕様であって、正規化ラベルへのＵＩ要素のマッピングを含む仕様を作成することと、
前記自動識別ソフトウェアを使用して、前記ウェブページにおけるＵＩ要素を識別することと、
前記仕様を使用して前記ウェブページに対する前記自動識別ソフトウェアの性能を評価することと、
前記自動識別ソフトウェアの前記性能に関する診断を表示することと、
を含む、方法。
ユーザがウェブページにおけるＵＩ要素にラベルをタグ付けすることを可能にすることと、
前記ウェブページの正規化仕様であって、正規化ラベルへのＵＩ要素のマッピングを含む仕様を作成することと、
前記自動識別ソフトウェアを使用して、前記ウェブページにおけるＵＩ要素を識別することと、
前記仕様を使用して前記ウェブページに対する前記自動識別ソフトウェアの性能を評価することと、
前記自動識別ソフトウェアの前記性能に関する診断を表示することと、
を含む、方法。
【請求項2】
前記ＵＩ要素はフィールドであり、前記自動識別ソフトウェアは、ウェブフォームにおけるフィールドを自動的に入力するように設計される、請求項１に記載の方法。
【請求項3】
前記ウェブフォームはチェックアウトページである、請求項２に記載の方法。
【請求項4】
前記ウェブフォームの前記仕様は、前記ウェブフォームにおける正規化フィールドラベルへのフィールドのマッピングを含む、請求項２に記載の方法。
【請求項5】
前記自動識別ソフトウェアの前記性能を評価することは、前記自動識別ソフトウェアが、該自動識別ソフトウェアがオートフィルをタスクとする前記ウェブフォームにおける前記フィールドを正しく識別し、正しく入力したか否かと、該自動識別ソフトウェアがオートフィルをタスクとしていない前記ウェブフォームにおける前記フィールドを正しく無視したか否かとを判断することを含む、請求項２に記載の方法。
【請求項6】
前記ＵＩ要素はテキストマーカであり、前記自動識別ソフトウェアは、チェックアウトカートデータをウェブページから自動的にスクレイピングするように設計される、請求項１に記載の方法。
【請求項7】
前記仕様は、前記ウェブページにおけるカートデータの正規化ラベルへのマッピングを含む、請求項６に記載の方法。
【請求項8】
前記診断を表示することは、前記ウェブフォームにおける前記オートフィルソフトウェアの前記性能に関する統計を表示することを含む、請求項１に記載の方法。
【請求項9】
前記診断を表示することは、複数のウェブページにわたる選択ＵＩ要素に対する前記ソフトウェアの前記性能に関する統計を表示することを含む、請求項１に記載の方法。
【請求項10】
前記ユーザがウェブページにおけるＵＩ要素にタグ付けすることを可能にすることは、ユーザがウェブページにおけるＵＩ要素にタグ付けすることを可能にするウェブブラウザのブラウザ拡張を提供することを含む、請求項１に記載の方法。
【請求項11】
前記ブラウザ拡張は、最初に、選択ＵＩ要素にラベルを自動的にタグ付けし、次に、前記ユーザが前記ラベルを編集し、追加のＵＩ要素にタグ付けすることを可能にするコードを含む、請求項１０に記載の方法。
【請求項12】
コンピュータシステムによって実行されると、該コンピュータシステムが、ウェブページにおけるＵＩ要素を識別するソフトウェア（「自動識別ソフトウェア」）の精度をテストする以下のステップを実行することを可能にするコンピュータプログラムを含む非一時的コンピュータ可読媒体であって、前記ステップは、
ユーザがウェブページにおけるＵＩ要素にラベルをタグ付けすることを可能にすることと、
前記ウェブページの正規化仕様であって、正規化ラベルへのＵＩ要素のマッピングを含む仕様を作成することと、
前記自動識別ソフトウェアを使用して、前記ウェブページにおけるＵＩ要素を識別することと、
前記仕様を使用して前記ウェブページに対する前記自動識別ソフトウェアの性能を評価することと、
前記自動識別ソフトウェアの前記性能に関する診断を表示することと、
を含む、非一時的コンピュータ可読媒体。
ユーザがウェブページにおけるＵＩ要素にラベルをタグ付けすることを可能にすることと、
前記ウェブページの正規化仕様であって、正規化ラベルへのＵＩ要素のマッピングを含む仕様を作成することと、
前記自動識別ソフトウェアを使用して、前記ウェブページにおけるＵＩ要素を識別することと、
前記仕様を使用して前記ウェブページに対する前記自動識別ソフトウェアの性能を評価することと、
前記自動識別ソフトウェアの前記性能に関する診断を表示することと、
を含む、非一時的コンピュータ可読媒体。
【請求項13】
前記ＵＩ要素はフィールドであり、前記自動識別ソフトウェアは、ウェブフォームにおけるフィールドを自動的に入力するように設計される、請求項１２に記載の非一時的コンピュータ可読媒体。
【請求項14】
前記ＵＩ要素はテキストマーカであり、前記自動識別ソフトウェアは、チェックアウトカートデータをウェブページから自動的にスクレイピングするように設計される、請求項１２に記載の非一時的コンピュータ可読媒体。
【請求項15】
前記診断を表示することは、前記ウェブフォームにおける前記オートフィルソフトウェアの前記性能に関する統計を表示することを含む、請求項１２に記載の非一時的コンピュータ可読媒体。
【請求項16】
前記診断を表示することは、複数のウェブページにわたる選択ＵＩ要素に対する前記ソフトウェアの前記性能に関する統計を表示することを含む、請求項１２に記載の非一時的コンピュータ可読媒体。
【請求項17】
ウェブページにおけるＵＩ要素を識別するソフトウェア（「自動識別ソフトウェア」）の精度をテストするコンピュータシステムであって、
１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合された１つ以上のメモリユニットと、
を備え、
前記１つ以上のメモリユニットは、前記１つ以上のプロセッサによって実行されると、
ユーザがウェブページにおけるＵＩ要素にラベルをタグ付けすることを可能にすることと、
前記ウェブページの正規化仕様であって、正規化ラベルへのＵＩ要素のマッピングを含む仕様を作成することと、
前記自動識別ソフトウェアを使用して、前記ウェブページにおけるＵＩ要素を識別することと、
前記仕様を使用して前記ウェブページに対する前記自動識別ソフトウェアの性能を評価することと、
前記自動識別ソフトウェアの前記性能に関する診断を表示することと、
を該システムに実行させる命令を記憶する、システム。
１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合された１つ以上のメモリユニットと、
を備え、
前記１つ以上のメモリユニットは、前記１つ以上のプロセッサによって実行されると、
ユーザがウェブページにおけるＵＩ要素にラベルをタグ付けすることを可能にすることと、
前記ウェブページの正規化仕様であって、正規化ラベルへのＵＩ要素のマッピングを含む仕様を作成することと、
前記自動識別ソフトウェアを使用して、前記ウェブページにおけるＵＩ要素を識別することと、
前記仕様を使用して前記ウェブページに対する前記自動識別ソフトウェアの性能を評価することと、
前記自動識別ソフトウェアの前記性能に関する診断を表示することと、
を該システムに実行させる命令を記憶する、システム。
【請求項18】
前記ＵＩ要素はフィールドであり、前記自動識別ソフトウェアは、ウェブフォームにおけるフィールドを自動的に入力するように設計される、請求項１７に記載のコンピュータシステム。
【請求項19】
前記ＵＩ要素はテキストマーカであり、前記自動識別ソフトウェアは、チェックアウトカートデータをウェブページから自動的にスクレイピングするように設計される、請求項１７に記載のコンピュータシステム。
【請求項20】
前記診断を表示することは、前記ウェブフォームにおける前記オートフィルソフトウェアの前記性能に関する統計を表示することを含む、請求項１７に記載のコンピュータシステム。
【請求項21】
前記診断を表示することは、複数のウェブページにわたる選択ＵＩ要素に対する前記ソフトウェアの前記性能に関する統計を表示することを含む、請求項１７に記載のコンピュータシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、包括的には、プログラム精度テストに関し、より具体的には、ウェブページにおけるユーザインタフェース要素を識別するソフトウェアの精度をテストするシステム及び方法に関する。
【背景技術】
【0002】
我々が住むデジタル世界では、ソフトウェアが、生産性、健康、セキュリティ、教育、レクリエーション、又は商業の局面を問わず、我々の生活のあらゆる局面に浸透している。ソフトウェアの１つの本質的な機能は、フィールド又はテキストマーカを認識して、どの情報がそれぞれと対応しているのかを識別することができることである。これは、オートフィル（auto-fill）ソフトウェア（例えば、ファーストネーム、ラストネーム、電子メールアドレス等の共通情報をウェブフォームフィールド内に自動的に入力する（automatically filling）ソフトウェア）と、カートスクレイパソフトウェア（例えば、ユーザが後払い決済（buy now/pay later）取引を行うことを可能にするチェックアウトカート情報を識別するソフトウェア）との双方において当てはまる。特にこのようなソフトウェアは多くの新たなクライアントに適用されるので、そのようなソフトウェアの品質を保証するために、既存のクライアントを含む全てのクライアントのソフトウェアの精度を継続的に評価し改善することができる必要がある。人が、ウェブサイトの前に座って、ソフトウェアを連続して使用し、そのウェブサイトにおけるソフトウェアの精度を検証することができるが、それは、何千ものウェブサイトが存在するので、効率的でない。したがって、コンピュータがソフトウェアを独立して継続的に実行し、全てのウェブサイトに関するフィードバックを迅速に提供することができる必要がある。ソフトウェアの制約を理解することによって、ソフトウェア設計者は、必要な修正を精査してその修正を行うことができ、ソフトウェア設計者が現在のライブバージョンと比較してソフトウェアの新たなバージョンの精度を保証することができるときにのみ、その新たなバージョンをリリースすることができる。
【発明の概要】
【0003】
本開示は、ウェブページにおけるユーザインタフェース（ＵＩ：user interface）要素を識別するソフトウェアの精度をテストするシステム、方法、及びコンピュータプログラムを記載している。本方法は、サーバと、記憶システムと、ネットワークと、オペレーティングシステムと、データベースとを含むコンピュータシステムによって実行される。
【0004】
本発明は、１）ウェブフォームにおける入力可能なフィールドを正しく認識する（すなわち、オートフィルトランザクションを成功させるために、認識する必要があるフィールドを認識するとともに、無視すべきフィールドを無視する）オートフィルソフトウェアの精度をテストし、２）チェックアウトカート情報を抽出するために、適用可能なテキストマーカを正しく認識するカートスクレイパソフトウェアの精度をテストする、内部プロセスを対象としている。オートフィルソフトウェアに関して、これは、ユーザがウェブフォームフィールドにラベルをタグ付けすること（無視すべきフィールドにタグ付けすることを含む）を可能にするソフトウェアツールを提供することと、各タグ付けされたウェブフォームに対応する正規化仕様（normalized specification）を作成することと、ベンチマークテストにおいて使用される入力を識別することと、ベンチマーカテスト環境においてウェブフォームのセットに対してテストされるオートフィルソフトウェアを実行することと、診断を表示することとによって行われる。カートスクレイパソフトウェアに関して、これは、ユーザが、ウェブフォームにおけるテキストマーカ（これらのマーカはチェックアウトカートフィールドに関係している）にタグ付けすることと、各タグ付けされたウェブフォームに対応する仕様を作成することと、ベンチマーカテストにおいて使用される入力を識別することと、ウェブフォームに対してテストされるカートスクレイパソフトウェアのバージョンを実行することと、診断を表示することとを可能にするソフトウェアツールを提供することによって行われる。
【0005】
１つの実施形態において、ウェブページにおけるユーザインタフェース要素を識別するソフトウェアの精度をテストする方法は、以下のステップ、すなわち、
ユーザがウェブページにおけるＵＩ要素にラベルをタグ付けすることを可能にするステップと、
ウェブページの正規化仕様であって、正規化ラベルへのＵＩ要素のマッピングを含む仕様を作成するステップと、
自動識別ソフトウェアを使用して、ウェブページにおけるＵＩ要素を識別するステップと、
仕様を使用してウェブページに対する自動識別ソフトウェアの性能を評価するステップと、
自動識別ソフトウェアの性能に関する診断を表示するステップと、
を含む。
ユーザがウェブページにおけるＵＩ要素にラベルをタグ付けすることを可能にするステップと、
ウェブページの正規化仕様であって、正規化ラベルへのＵＩ要素のマッピングを含む仕様を作成するステップと、
自動識別ソフトウェアを使用して、ウェブページにおけるＵＩ要素を識別するステップと、
仕様を使用してウェブページに対する自動識別ソフトウェアの性能を評価するステップと、
自動識別ソフトウェアの性能に関する診断を表示するステップと、
を含む。
【図面の簡単な説明】
【0006】
【図1】ウェブページにおけるユーザインタフェース要素を識別するソフトウェアの精度をテストする、１つの実施形態による方法を示すフローチャートである。
【図2】ウェブフォームにおけるオートフィルソフトウェアの精度をテストする、１つの実施形態による方法を示すフローチャートである。
【図3】チェックアウトページにおけるカートスクレイパ（cart-scraper）ソフトウェアの精度をテストする、１つの実施形態による方法を示すフローチャートである。
【図4】１つの実施形態による例示のシステムアーキテクチャを示すブロック図である。
【図5A】正規化仕様を作成する方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図5B】正規化仕様を作成する方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図5C】正規化仕様を作成する方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図5D】正規化仕様を作成する方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図5E】正規化仕様を作成する方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図5F】正規化仕様を作成する方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図5G】正規化仕様を作成する方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図5H】正規化仕様を作成する方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図5I】正規化仕様を作成する方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図5J】正規化仕様を作成する方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図5K】正規化仕様を作成する方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図6A】ベンチマーカを使用して変更をテストする方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図6B】ベンチマーカを使用して変更をテストする方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図6C】ベンチマーカを使用して変更をテストする方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【図6D】ベンチマーカを使用して変更をテストする方法の、１つの実施形態による例示的なユーザインタフェースのスクリーンショットである。
【発明を実施するための形態】
【0007】
本開示は、ウェブページにおけるユーザインタフェース要素を識別するソフトウェアの精度をテストするシステム、方法、及びコンピュータプログラムを記載している。本方法は、サーバと、記憶システムと、ネットワークと、オペレーティングシステムと、データベースとを含むコンピュータシステム（「本システム」）によって実行される。
【0008】
【0009】
１．ウェブページにおけるユーザインタフェース要素を識別するソフトウェアの精度をテストする方法
図１は、ウェブページにおけるユーザインタフェース（ＵＩ）要素を識別するソフトウェア（すなわち、「自動識別（auto-identifier）ソフトウェア」）の精度をテストする方法を示している。いくつかの実施形態において、自動識別ソフトウェアは、共に動作するクライアントソフトウェア及びサーバソフトウェアの双方を含むことができる。本システムは、ユーザ（例えば、アドミニストレータ、従業員、契約者等）がウェブページにおけるＵＩ要素にラベルをタグ付けすることを可能にする（ステップ１１０）。いくつかの実施形態において、ウェブページは、ブラウザにおけるウェブページであり、ラベリングツールが、ブラウザ拡張として実装される。いくつかの実施形態において、ブラウザにおけるウェブページは、モバイルアプリケーションにおけるウェブビューに対応する。換言すれば、ウェブサイトは、ウェブブラウザにおけるウェブページとモバイルアプリケーションにおけるウェブビューとの間で異なった構造とすることができる。モバイルアプリケーションにおけるウェブビューの精度をテストするために、ブラウザにおけるウェブページは、モバイルアプリケーションにおけるウェブビューを表示するかのように自身を再配置する。
図１は、ウェブページにおけるユーザインタフェース（ＵＩ）要素を識別するソフトウェア（すなわち、「自動識別（auto-identifier）ソフトウェア」）の精度をテストする方法を示している。いくつかの実施形態において、自動識別ソフトウェアは、共に動作するクライアントソフトウェア及びサーバソフトウェアの双方を含むことができる。本システムは、ユーザ（例えば、アドミニストレータ、従業員、契約者等）がウェブページにおけるＵＩ要素にラベルをタグ付けすることを可能にする（ステップ１１０）。いくつかの実施形態において、ウェブページは、ブラウザにおけるウェブページであり、ラベリングツールが、ブラウザ拡張として実装される。いくつかの実施形態において、ブラウザにおけるウェブページは、モバイルアプリケーションにおけるウェブビューに対応する。換言すれば、ウェブサイトは、ウェブブラウザにおけるウェブページとモバイルアプリケーションにおけるウェブビューとの間で異なった構造とすることができる。モバイルアプリケーションにおけるウェブビューの精度をテストするために、ブラウザにおけるウェブページは、モバイルアプリケーションにおけるウェブビューを表示するかのように自身を再配置する。
【0010】
本システムは、正規化ラベル（normalized label）へのＵＩ要素のマッピングを含むウェブページの正規化仕様を作成する（ステップ１２０）。いくつかの実施形態において、仕様は、ウェブページにおける全てのあり得るＵＩ要素に、関連のあるメタデータを加えたものを表したものである（すなわち、スタイリング又は動作に関するメタデータを含まない）。例えば、メタデータは、フィールドのプレースホルダ、クラス名、ＨＴＭＬ ＩＤ等を含むことができる。いくつかの実施形態において、１つ以上の仕様は、自動識別ソフトウェアによって生成された情報が比較されるようなゴールドスタンダードとして扱われるように、ブラウザ拡張においてユーザによって手動で作成される。いくつかの実施形態において、手動で作成された仕様は、２つのステップで作成される。第１に、ブラウザ拡張がフィールドにラベルを自動的にタグ付けし、第２に、ユーザが１つ以上のラベルを補正するか又はそれらの対応するフィールド（複数の場合もある）に追加することによって作成される（例えば、「ドラッグアンドドロップ」グラフィカルユーザインタフェースを使用して）。本システムは、自動識別ソフトウェアを使用して、ウェブページにおけるＵＩ要素を識別する（ステップ１３０）。本システムは、仕様を使用してウェブページに対する自動識別ソフトウェアの性能を評価する（ステップ１４０）。本システムは、自動識別ソフトウェアの性能に関する診断を表示する（ステップ１５０）。いくつかの実施形態において、表示される診断は、評価されたフィールドの数、正しく又は誤って識別されたフィールドの数（例えば、仕様は、１～７のマークが付けられた７つのフィールドを示すが、自動識別ソフトウェアは、６つのフィールド１～６しか識別しない）、正しく又は誤って入力されたフィールドの数（例えば、仕様は、１～７のマークが付けられ、ａ～ｇで入力された７つのフィールドを示し、自動識別ソフトウェアは、１～７のマークが付けられた７つのフィールドを識別するが、フィールド３は、「ｃ」の代わりに「ｍ」で入力されている）、及び正しく又は誤って無視されたフィールドの数等を含む。
【0011】
いくつかの実施形態において、セクション２においてより詳細に論述するように、ＵＩ要素はフィールドであり、自動識別ソフトウェアは、ウェブフォームにおけるフィールドに自動的に入力するように設計される。いくつかの実施形態において、ウェブフォームはチェックアウトページである。いくつかの実施形態において、ウェブフォームの仕様は、ウェブフォームにおける正規化フィールドラベルへのフィールドのマッピングを含む。いくつかの実施形態において、自動識別ソフトウェアの性能を評価することは、自動識別ソフトウェアが、該自動識別ソフトウェアがオートフィルをタスクとするウェブフォームにおけるフィールドを正しく識別し、正しく入力したか否かと、該自動識別ソフトウェアがオートフィルをタスクとしていないウェブフォームにおけるフィールドを正しく無視したか否かとを判別することを含む。
【0012】
いくつかの実施形態において、セクション３においてより詳細に論述するように、ＵＩ要素はテキストマーカであり、自動識別ソフトウェアは、チェックアウトカートデータをウェブページから自動的にスクレイピングするように設計される。いくつかの実施形態において、仕様は、正規化ラベルへのウェブページにおけるカートデータのマッピングを含む。
【0013】
いくつかの実施形態において、診断を表示することは、ウェブフォームにおけるオートフィルソフトウェアの性能に関する統計を表示することを含む。いくつかの実施形態において、診断を表示することは、複数のウェブページにわたる選択ＵＩ要素に対するソフトウェアの性能に関する統計を表示することを含む。例えば、表示される統計は、ウェブフォームにおいて正しく識別されたフィールド及び誤って識別されたフィールドのパーセンテージと、正しく入力されたフィールド及び誤って入力されたフィールドのパーセンテージと、正しく無視されたフィールド及び誤って無視されたフィールドのパーセンテージとに関連したものとすることができる。
【0014】
いくつかの実施形態において、ユーザがウェブページにおけるＵＩ要素にタグ付けすることを可能にすることは、ユーザがウェブページにおけるＵＩ要素にタグ付けすることを可能にするウェブブラウザのブラウザ拡張を提供することを含む。いくつかの実施形態において、ブラウザ拡張は、最初に、選択ＵＩ要素にラベルを自動的にタグ付けし、次に、ユーザがラベルを編集し、追加のＵＩ要素にタグ付けすることを可能にするコードを含む。
【0015】
２．ウェブフォームにおけるオートフィルソフトウェアの精度をテストする方法
図２は、ウェブフォームにおけるオートフィルソフトウェアの精度をテストする方法を示している。本システムは、ユーザがウェブフォームにおけるフィールドにラベルをタグ付けすることを可能にする（ステップ２１０）。いくつかの実施形態において、ウェブフォームは、チェックアウトページとすることができる。本システムは、正規化ラベルへのフィールドのマッピングを含むウェブフォームの正規化仕様を作成する（ステップ２２０）。いくつかの実施形態において、仕様は、ウェブページにおける全てのあり得る入力可能要素に、それらの要素を入力可能にすることに関連した該当メタデータを加え、それらの要素を入力可能にすることに関連していないあらゆるメタデータ（スタイリング又は動作に関連したメタデータを含む）をウェブページから除いたものを表したものである。本システムは、オートフィルソフトウェアを使用して、ウェブフォームにおけるフィールドをオートコンプリート（auto-complete）する（ステップ２３０）。チェックアウトページの場合、フィールドは、ユーザ名、発送先住所、請求先住所、支払い情報等を含むことができる。ダミー情報をテスト目的に使用することができる。ダミー情報は、テスト目的で作成され、実際のシステムユーザに対応しない任意の情報である。本システムは、ウェブフォームの仕様を使用して、ウェブフォームにおけるオートフィルソフトウェアの性能を評価する（ステップ２４０）。これは、ウェブフォームのセット、対応する仕様、及びテストするオートフィルソフトウェアのバージョン等の、評価において必要な入力を識別することを含む。評価は、オートフィルソフトウェアが、入力をタスクとするフィールドを正しく認識したか否かと、入力をタスクとしていないフィールドを正しく無視したか否かとを判別することも含む。本システムは、オートフィルソフトウェアの性能に関する診断を表示する（ステップ２５０）。いくつかの実施形態において、評価、したがって診断は、ウェブフォーム全体に関するもの、及び／又は、複数のウェブフォームにわたるフィールドについてのオートフィルソフトウェアの性能に関するものとすることができる。
図２は、ウェブフォームにおけるオートフィルソフトウェアの精度をテストする方法を示している。本システムは、ユーザがウェブフォームにおけるフィールドにラベルをタグ付けすることを可能にする（ステップ２１０）。いくつかの実施形態において、ウェブフォームは、チェックアウトページとすることができる。本システムは、正規化ラベルへのフィールドのマッピングを含むウェブフォームの正規化仕様を作成する（ステップ２２０）。いくつかの実施形態において、仕様は、ウェブページにおける全てのあり得る入力可能要素に、それらの要素を入力可能にすることに関連した該当メタデータを加え、それらの要素を入力可能にすることに関連していないあらゆるメタデータ（スタイリング又は動作に関連したメタデータを含む）をウェブページから除いたものを表したものである。本システムは、オートフィルソフトウェアを使用して、ウェブフォームにおけるフィールドをオートコンプリート（auto-complete）する（ステップ２３０）。チェックアウトページの場合、フィールドは、ユーザ名、発送先住所、請求先住所、支払い情報等を含むことができる。ダミー情報をテスト目的に使用することができる。ダミー情報は、テスト目的で作成され、実際のシステムユーザに対応しない任意の情報である。本システムは、ウェブフォームの仕様を使用して、ウェブフォームにおけるオートフィルソフトウェアの性能を評価する（ステップ２４０）。これは、ウェブフォームのセット、対応する仕様、及びテストするオートフィルソフトウェアのバージョン等の、評価において必要な入力を識別することを含む。評価は、オートフィルソフトウェアが、入力をタスクとするフィールドを正しく認識したか否かと、入力をタスクとしていないフィールドを正しく無視したか否かとを判別することも含む。本システムは、オートフィルソフトウェアの性能に関する診断を表示する（ステップ２５０）。いくつかの実施形態において、評価、したがって診断は、ウェブフォーム全体に関するもの、及び／又は、複数のウェブフォームにわたるフィールドについてのオートフィルソフトウェアの性能に関するものとすることができる。
【0016】
３．チェックアウトページにおけるカートスクレイパソフトウェアの精度をテストする方法
図３は、チェックアウトページにおけるカートスクレイパソフトウェアの精度をテストする方法を示している。本システムは、ユーザがチェックアウトページにおけるテキストマーカにラベルをタグ付けすることを可能にする（ステップ３１０）。ラベルが付けられたテキストマーカは、商品名、商品ＵＲＬ、商品画像、数量、品目価格、小計価格、配送費、税金、及び総額に関連したマーカ等のチェックアウトカートデータに関するものである。本システムは、正規化ラベルへのテキストマーカのマッピングを含むチェックアウトページの正規化仕様を作成する（ステップ３２０）。本システムは、カートスクレイパソフトウェアを使用して、チェックアウトページからカートデータをスクレイピングする（ステップ３３０）。カートデータは、商品名、商品ＵＲＬ、商品画像、数量、品目価格、小計価格、配送費、税金、及び総額を含むことができる。本システムは、チェックアウトページの仕様を使用して、チェックアウトページに対するカートスクレイパソフトウェアの性能を評価する（ステップ３４０）。これは、ウェブフォームのセット、対応する仕様、及びテストするカートスクレイパソフトウェアのバージョン等の、評価において必要な入力を識別することを含む。評価は、カートスクレイパソフトウェアが、スクレイピングをタスクとするカートデータをスクレイピングしたか否かと、無視することをタスクとするデータを無視したか否かとを判別することも含む。本システムは、カートスクレイパソフトウェアの性能に関する診断を表示する（ステップ３５０）。いくつかの実施形態において、評価、したがって診断は、チェックアウトページ全体に関するもの、及び／又は、複数のチェックアウトページにわたる特定のテキストマーカのカートスクレイパソフトウェアの性能に関するものとすることができる。
図３は、チェックアウトページにおけるカートスクレイパソフトウェアの精度をテストする方法を示している。本システムは、ユーザがチェックアウトページにおけるテキストマーカにラベルをタグ付けすることを可能にする（ステップ３１０）。ラベルが付けられたテキストマーカは、商品名、商品ＵＲＬ、商品画像、数量、品目価格、小計価格、配送費、税金、及び総額に関連したマーカ等のチェックアウトカートデータに関するものである。本システムは、正規化ラベルへのテキストマーカのマッピングを含むチェックアウトページの正規化仕様を作成する（ステップ３２０）。本システムは、カートスクレイパソフトウェアを使用して、チェックアウトページからカートデータをスクレイピングする（ステップ３３０）。カートデータは、商品名、商品ＵＲＬ、商品画像、数量、品目価格、小計価格、配送費、税金、及び総額を含むことができる。本システムは、チェックアウトページの仕様を使用して、チェックアウトページに対するカートスクレイパソフトウェアの性能を評価する（ステップ３４０）。これは、ウェブフォームのセット、対応する仕様、及びテストするカートスクレイパソフトウェアのバージョン等の、評価において必要な入力を識別することを含む。評価は、カートスクレイパソフトウェアが、スクレイピングをタスクとするカートデータをスクレイピングしたか否かと、無視することをタスクとするデータを無視したか否かとを判別することも含む。本システムは、カートスクレイパソフトウェアの性能に関する診断を表示する（ステップ３５０）。いくつかの実施形態において、評価、したがって診断は、チェックアウトページ全体に関するもの、及び／又は、複数のチェックアウトページにわたる特定のテキストマーカのカートスクレイパソフトウェアの性能に関するものとすることができる。
【0017】
４．例示のシステムアーキテクチャ
図４は、本明細書に記載の方法を実行するシステムの例示のアーキテクチャを示している。ただし、本明細書に記載の方法は、他のシステムにおいて実施することもでき、図示したシステムに限定されるものではない。
図４は、本明細書に記載の方法を実行するシステムの例示のアーキテクチャを示している。ただし、本明細書に記載の方法は、他のシステムにおいて実施することもでき、図示したシステムに限定されるものではない。
【0018】
図４は、２つの独立したプロセスを示している。第１のプロセスは、１つ以上の手動による仕様を作成することである。第２のプロセスは、ベンチマークテストモジュール（「ベンチマーカ」とも呼ばれる）を使用して、ソフトウェアの精度を、クラウドストレージからダウンロードされた手動で作成された仕様と比較することによってその精度を調べることである。第１のプロセスに関して、ユーザは、クライアントデバイスにおいてクライアントアプリケーション４２０上でブラウザ拡張／ラベルツール４１０を使用して、ウェブページ内のＵＩ要素に基づいて１つ以上の仕様を手動で作成する。１つ以上の手動で作成された仕様は、最初はクライアントデバイスに記憶され、その後、クラウドストレージ４３０（例えば、ＡＭＡＺＯＮ ＷＥＢ ＳＥＲＶＩＣＥＳ）にアップロードされる。このクラウドストレージにおいて、手動で作成された仕様のそれぞれは、売買業者の名称にタグ付けされる。第２のプロセスの間、手動で作成された仕様は、クラウドストレージ４３０からダウンロードされ、自動識別ソフトウェアから生成された仕様と比較される。
【0019】
第２のプロセスは、手動で作成された仕様をベンチマークテストモジュール４６０にダウンロードするサーバＡＰＩ４５０を有するサーバ４４０において行われる。ベンチマークテストモジュール４６０は、サーバ４４０におけるメモリ４８０に記憶された自動識別ソフトウェア４７０から生成された仕様も受信する。自動識別ソフトウェア４７０は、ウェブページが動作する方法を模倣し、ウェブページに基づいて仕様の作成を試みる。ベンチマークテストモジュール４６０は、自動識別ソフトウェアから生成された仕様を、ゴールドスタンダード仕様とみなされる手動で作成された仕様と比較し、診断モジュール４９０を介して診断データを提供する。いくつかの実施形態において、この診断データは、自動識別ソフトウェアから生成されたどの仕様が手動で作成された仕様と一致していなかったのかと、一致していなかった仕様のどのフィールドが正しく識別されなかったのかとを含む。
【0020】
５．仕様を作成する方法のユーザインタフェースの例示のスクリーンショット
図５Ａ～図５Ｋは、本発明による仕様を作成する方法の例示的なユーザインタフェースのスクリーンショットを示している。当業者であれば、本発明の範囲内でより多くの機能又はより少ない機能を有する他のユーザインタフェースにおいて本発明を具現化することができることが分かる。したがって、図５Ａ～図５Ｋは、例示を意図しており、決して限定を意図するものではない。
図５Ａ～図５Ｋは、本発明による仕様を作成する方法の例示的なユーザインタフェースのスクリーンショットを示している。当業者であれば、本発明の範囲内でより多くの機能又はより少ない機能を有する他のユーザインタフェースにおいて本発明を具現化することができることが分かる。したがって、図５Ａ～図５Ｋは、例示を意図しており、決して限定を意図するものではない。
【0021】
図５Ａにおいて、本システムは、ユーザが仕様を作成しているウェブサイトの言語を当該ユーザが選択することを可能にするユーザインタフェースを提供する。本例において、ユーザは、ウェブサイトの言語として英語を選択する。図５Ｂにおいて、ユーザは、パラメータをユーザインタフェースにおけるフィールドにドラッグアンドドロップする。図５Ｃに見られるように、パラメータ「ＣｏｎｔａｃｔＤｅｔａｉｌｓ．Ｅｍａｉｌｓ．Ｅｍａｉｌ．Ａｄｄｒｅｓｓ」が、フィールド「Ｅｍａｉｌ Ａｄｄｒｅｓｓ（電子メールアドレス）」内にドラッグアンドドロップされている。
【0022】
次のステップは、ラベルをフィールドに追加することである。これは、入力フィールドのラベルを強調表示し、本システムがこのラベルをキャプチャすることを可能にすることによって行うこともできるし、ラベルを手動で入力することによって行うこともできる。図５Ｄ及び図５Ｅに示すように、ユーザは、入力フィールドのラベル（すなわち、「Ｅｍａｉｌ Ａｄｄｒｅｓｓ」）を強調表示し、本システムがこのラベルをキャプチャすべきことを確認する。図５Ｆ及び図５Ｇに示すように、ユーザは、代わりに、ラベルを手動で入力する選択肢を選択する。図５Ｇに見られるように、ポップアップアラートブロックが、ユーザインタフェースにオーバレイとして現れ、ユーザがラベルの名称を入力することを要求する。ユーザは、その後、ラベルの名称を入力し、ラベルを確認する。本システムが、上記方法のいずれかを通じて入力フィールドのラベルを受信すると、ユーザインタフェースは、図５Ｈに示すように、入力フィールドボックスをパラメータ名及びラベルとともに緑色で表示することによって、このフィールドが「ｓｐｅｃ ｆｉｅｌｄ」（仕様フィールド）であることを示す。
【0023】
図５Ｉに見られるように、ユーザは、その後、フォーム内の全ての入力可能なフィールドについて、パラメータをドラッグアンドドロップするステップと、フィールドにラベリングするステップとを繰り返し、フォーム全体が完成すると、フォームが完成した「ｓｐｅｃ」（仕様）フォームとみなされるようにする。図５Ｊ及び図５Ｋに見られるように、フォームが、完成した「ｓｐｅｃ」フォームになると、ユーザは、この完成した仕様をクラウドストレージにアップロードし、アップロードが成功したことの確認を受信する。本システムは、ユーザが、以前の仕様をアップロードして上書きすることによって、完成した仕様に変更を加えることも可能にする。
【0024】
６．ベンチマーカを使用して変更をテストする方法のユーザインタフェースの例示のスクリーンショット
図６Ａ～図６Ｄは、本発明によるベンチマーカを使用して変更をテストする方法の例示的なユーザインタフェースのスクリーンショットを示している。当業者であれば、本発明の範囲内でより多くの機能又はより少ない機能を有する他のユーザインタフェースにおいて本発明を具現化することができることが分かる。したがって、図６Ａ～図６Ｄは、例示を意図しており、決して限定を意図するものではない。
図６Ａ～図６Ｄは、本発明によるベンチマーカを使用して変更をテストする方法の例示的なユーザインタフェースのスクリーンショットを示している。当業者であれば、本発明の範囲内でより多くの機能又はより少ない機能を有する他のユーザインタフェースにおいて本発明を具現化することができることが分かる。したがって、図６Ａ～図６Ｄは、例示を意図しており、決して限定を意図するものではない。
【0025】
図６Ａにおいて、ユーザは、ベンチマーカの新たな実行を準備している。ベンチマーカは、「マスタ」（すなわち、手動で作成された仕様）と「ベンチマーカフロー例ブランチ（benchmarker-flow-example-branch）」（すなわち、自動識別ソフトウェアから生成された仕様）との間で比較を行い、フォームに何らかの相違があるか否かを判断するツールである。ユーザは、この場合に、全ての仕様を日本語（すなわち、「――ｌａｎｇ ｊａ」）で要求するベンチマーク実行用のパラメータを入力する。図６Ｂに見られるように、ユーザは、ベンチマーク実行がマスタブランチ及びベンチマーカフロー例ブランチの２つのブランチにおいて行われることを指定する。ここで、ベンチマーカ、ミドルウェア、及びウィジェットの３つのフィールドは、変更を行うことができるコードベースにおける３つの異なるディレクトリを表す。
【0026】
図６Ｃに見られるように、ベンチマーク実行が開始すべきことを確認した後、本システムは、ベンチマークを実行して、マスタブランチ及びベンチマーカフロー例ブランチにおける日本語仕様の精度を計算し、結果を出力する。この場合には、ベンチマーカフロー例ブランチの精度はマスタブランチよりも低い。その結果、ユーザは、比較オプションをクリックすることによって２つのベンチマーク実行を比較し、何らかの必要な訂正を行いたい場合がある。
【0027】
図６Ｄは、２つのベンチマーク実行の間のそれらのマッピング結果に関する相違を示している。マスタブランチベンチマーク実行は左列にあり、ベンチマーカフロー例ブランチベンチマーク実行は右列にある。各行は、一意のフィールドと、２つのブランチの間のマッピングの比較とを表している。例えば、パラメータ「ＣｏｎｔａｃｔＤｅｔａｉｌｓ．Ｅｍａｉｌｓ．Ｅｍａｉｌ．Ａｄｄｒｅｓｓ」の場合に、マスタブランチベンチマーク実行は、緑色で示すようにフィールドを正しくマッピングしていたのに対して、ベンチマーカフロー例ブランチベンチマーク実行は、赤色で示すようにフィールドを誤ってマッピングしていた。この比較プロセスによって、ユーザは、オートフィルソフトウェアに対する何らかの変更が、全体的なマッピング精度に対して正味のプラスになるのか又は正味のマイナスになるのかを判断することが可能になる。
【0028】
７．全般
図１～図６Ｄに関して説明した方法は、ソフトウェアにおいて具現化され、ソフトウェアを実行するコンピュータシステム（１つ以上のコンピューティングデバイスを備える）によって実行される。当業者であれば、コンピュータシステムが、ソフトウェア命令を記憶する１つ以上のメモリユニット、ディスク又は他の物理的コンピュータ可読ストレージ媒体、及びソフトウェア命令を実行する１つ以上のプロセッサを有することを理解するであろう。
図１～図６Ｄに関して説明した方法は、ソフトウェアにおいて具現化され、ソフトウェアを実行するコンピュータシステム（１つ以上のコンピューティングデバイスを備える）によって実行される。当業者であれば、コンピュータシステムが、ソフトウェア命令を記憶する１つ以上のメモリユニット、ディスク又は他の物理的コンピュータ可読ストレージ媒体、及びソフトウェア命令を実行する１つ以上のプロセッサを有することを理解するであろう。
【0029】
当該技術分野に精通した当業者であれば、本発明の趣旨及び本質的な特性から逸脱することなく、本発明を他の特定の形態で具現化することができることを理解するであろう。したがって、上記の開示は、以下の特許請求項に示される本発明の範囲を限定するものではなく、説明するものであることが意図される。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図5G】
【図5H】
【図5I】
【図5J】
【図5K】
【図6A】
【図6B】
【図6C】
【図6D】
【外国語明細書】