特許 7494558 ユーザーインターフェイスの操作パターンを生成するプログラムおよび操作パターン生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-27

(45)【発行日】2024-06-04

(54)【発明の名称】ユーザーインターフェイスの操作パターンを生成するプログラムおよび操作パターン生成装置

(51)【国際特許分類】

   G06F 11/36 20060101AFI20240528BHJP

   G06F 3/0484 20220101ALI20240528BHJP

【ＦＩ】

G06F11/36 184

G06F3/0484

【請求項の数】 12

(21)【出願番号】P 2020085961

(22)【出願日】2020-05-15

(65)【公開番号】P2021179903

(43)【公開日】2021-11-18

【審査請求日】2023-03-17

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】原田 一樹

【審査官】大倉 崚吾

(56)【参考文献】

【文献】特開２０１８－１１６４９７（ＪＰ，Ａ）

【文献】特開２０１１－０３９７８６（ＪＰ，Ａ）

【文献】特開２０１３－０３７５８０（ＪＰ，Ａ）

【文献】特開２０１０－０７９３４２（ＪＰ，Ａ）

【文献】特開２００５－２６６９５４（ＪＰ，Ａ）

【文献】特開２０１８－０９２３６２（ＪＰ，Ａ）

【文献】特開２０２０－０６７８５９（ＪＰ，Ａ）

【文献】特開２０１９－０２１３４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １１／３６

Ｇ０６Ｆ ３／０４８４

(57)【特許請求の範囲】

【請求項1】

１以上のプロセッサーに命令を実行させるプログラムであって、
前記命令は、
１つ以上のウェブＵＩ（User Interface）から複数の入力項目の各々の識別子と、前記複数の入力項目の各々に設定され得るパラメータの候補とを取得するステップと、
前記識別子と、前記パラメータの候補とに基づいて、前記ウェブＵＩにおいて実行され得る操作パターンリストを生成するステップと、
前記ウェブＵＩが含む前記複数の入力項目の変更、または前記複数の入力項目の各々に設定され得るパラメータの候補の変更のいずれかを検出するステップと、
検出の結果に基づいて、前記複数の入力項目の変更、または前記複数の入力項目の各々に設定され得るパラメータの候補の変更を前記操作パターンリストに反映するステップとを含み、
前記複数の入力項目の各々に設定され得るパラメータの候補の変更は、前記パラメータの候補の数の増加、または前記パラメータの候補の数の減少のいずれかを含む、プログラム。

【請求項2】

１以上のプロセッサーに命令を実行させるプログラムであって、
前記命令は、
１つ以上のウェブＵＩ（User Interface）から複数の入力項目の各々の識別子と、前記複数の入力項目の各々に設定され得るパラメータの候補とを取得するステップと、
前記識別子と、前記パラメータの候補とに基づいて、前記ウェブＵＩにおいて実行され得る操作パターンリストを生成するステップと、
前記ウェブＵＩが含む前記複数の入力項目の変更、または前記複数の入力項目の各々に設定され得るパラメータの候補の変更のいずれかを検出するステップと、
検出の結果に基づいて、前記複数の入力項目の変更、または前記複数の入力項目の各々に設定され得るパラメータの候補の変更を前記操作パターンリストに反映するステップとを含み、
前記複数の入力項目の変更は、新しい入力項目の追加、または既存の入力項目の削除のいずれかを含む、プログラム。

【請求項3】

１以上のプロセッサーに命令を実行させるプログラムであって、
前記命令は、
１つ以上のウェブＵＩ（User Interface）から複数の入力項目の各々の識別子と、前記複数の入力項目の各々に設定され得るパラメータの候補とを取得するステップと、
前記識別子と、前記パラメータの候補とに基づいて、前記ウェブＵＩにおいて実行され得る操作パターンリストを生成するステップと、
前記ウェブＵＩが含む前記複数の入力項目の変更、または前記複数の入力項目の各々に設定され得るパラメータの候補の変更のいずれかを検出するステップと、
検出の結果に基づいて、前記複数の入力項目の変更、または前記複数の入力項目の各々に設定され得るパラメータの候補の変更を前記操作パターンリストに反映するステップとを含み、
前記複数の入力項目の変更、または前記複数の入力項目の各々に設定され得るパラメータの候補の変更を前記操作パターンリストに反映するステップは、
前記複数の入力項目の変更に関する情報、または前記複数の入力項目の各々に設定され得るパラメータの候補の変更に関する情報をディスプレイに表示するステップと、
前記操作パターンリストに反映させる項目を選択するための入力を受け付けるステップとを含む、プログラム。

【請求項4】

１以上のプロセッサーに命令を実行させるプログラムであって、
前記命令は、
１つ以上のウェブＵＩ（User Interface）から複数の入力項目の各々の識別子と、前記複数の入力項目の各々に設定され得るパラメータの候補とを取得するステップと、
前記識別子と、前記パラメータの候補とに基づいて、前記ウェブＵＩにおいて実行され得る操作パターンリストを生成するステップと、
前記複数の入力項目の優先度の入力を受け付けるステップとを含み、
ウェブＵＩから前記複数の入力項目の前記識別子と、前記複数の入力項目の前記識別子の各々に設定され得る前記パラメータの候補とを取得するステップは、前記優先度に基づいて、優先度の高い入力項目の識別子から順に取得するステップを含む、プログラム。

【請求項5】

前記操作パターンリストを生成するステップは、
前記識別子の各々と、前記パラメータの候補の各々とを関連付けた第１のリストを生成するステップと、
前記第１のリストに基づいて、前記複数の入力項目の各々が取り得る前記パラメータの組み合わせを含む第２のリストを生成するステップと、
前記第２のリストに基づいて、前記操作パターンリストを生成するステップとを含む、請求項１～４のいずれかに記載のプログラム。

【請求項6】

前記操作パターンリストは、
前記複数の入力項目の各々が取り得る前記パラメータの組み合わせごとに生成され、
前記操作パターンリストを投入される情報処理装置が解釈可能な設定情報またはスクリプトを含む、請求項５に記載のプログラム。

【請求項7】

前記命令は、
前記ウェブＵＩに含まれるｎａｍｅ属性から、各前記識別子を取得するステップと、
前記ウェブＵＩに含まれるｖａｌｕｅ属性から、各前記パラメータの候補を取得するステップとをさらに含む、請求項１～６のいずれかに記載のプログラム。

【請求項8】

前記命令は、
ユーザーによる前記複数の入力項目のいずれかへの入力を検出するステップと、
ユーザーによる入力を受け付けた入力項目の前記識別子を取得するステップと、
前記ユーザーによる入力を受け付けた入力項目に設定され得る前記パラメータの候補を取得するステップとをさらに含む、請求項１～７のいずれかに記載のプログラム。

【請求項9】

前記ウェブＵＩは、第１のウェブＵＩと、第２のウェブＵＩとを含み、
前記命令は、
前記第１のウェブＵＩにおける第１の操作パターンリストと、前記第２のウェブＵＩにおける第２の操作パターンリストとを生成するステップと、
前記第１の操作パターンリストと、前記第２の操作パターンリストとに基づいて、前記第１のウェブＵＩおよび前記第２のウェブＵＩにおいて実行され得る操作パターンを含む第３の操作パターンリストを生成するステップとをさらに含む、請求項１～８のいずれかに記載のプログラム。

【請求項10】

前記１つ以上のウェブＵＩから複数の入力項目の識別子と、前記複数の入力項目の各々に設定され得るパラメータの候補とを取得するステップは、ユーザーによって選択された入力項目の識別子と、前記ユーザーによって選択された入力項目の各々に設定され得るパラメータの候補とを取得するステップを含む、請求項１～９のいずれかに記載のプログラム。

【請求項11】

前記命令は、前記操作パターンリストに含まれる操作パターンの個数の上限値の入力を受け付けるステップをさらに含み、
前記複数の入力項目の前記識別子と、前記パラメータの候補とに基づいて、前記ウェブＵＩにおいて実行され得る前記操作パターンリストを生成するステップは、前記上限値以内の数の操作パターンを含む前記操作パターンリストを生成するステップを含む、請求項４に記載のプログラム。

【請求項12】

請求項１～１１のいずれかに記載のプログラムを格納したメモリーと、
前記プログラムを実行するための１以上のプロセッサーとを備えた、操作パターン生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概してユーザーインターフェイスの解析プログラムに関し、より特定的には、ユーザーインターフェイスが受け付け得る操作パターンを生成する技術に関する。

【背景技術】

【0002】

近年、画像形成装置等の多種多様な情報処理装置において、ウェブユーザーインターフェイス（以下、「ウェブＵＩ（User Interface）」と表す）が使用されている。ウェブＵＩは、多くのコンピューターが備えるウェブブラウザ機能により閲覧可能であるため、ウェブＵＩの普及はユーザーの利便性を高めている。

【0003】

一方で、ウェブＵＩを提供する情報処理装置が多機能化することにより、ウェブＵＩの入力項目における操作パターンも膨大な数となっている。その結果、これらのウェブＵＩの動作確認評価、あるいはウェブＵＩのナビゲートシステムの開発等の工数も増大している。そのため、効率的にこれらのウェブＵＩの操作パターンを生成し、利用するための技術が望まれている。

【0004】

ウェブＵＩに関し、例えば、特開２０１２－０３９４７８号公報（特許文献１）は、「Ｗｅｂブラウザにより表示した第１の操作画面を介してユーザが情報処理装置が備える機能の実行を指示した場合に、予め設定された実行条件を含むスクリプトを生成する生成手段と生成されたスクリプトをＷｅｂサーバに送信すると共にユーザによる実行条件の変更を受け付ける第２の操作画面をＷｅｂサーバに要求する要求手段とＷｅｂサーバから受け取った第２の操作画面を介するユーザによる実行条件の変更を受け付け、その結果をＷｅｂサーバに送信する送信手段と実行条件の変更結果に従って編集されたスクリプトをＷｅｂサーバから受け取り編集されたスクリプトに基づいて機能を実行する実行手段とを備える」情報処理装置を開示している（［要約］参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－０３９４７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に開示された技術によると、ウェブＵＩから操作パターンを生成することができない。したがって、ウェブＵＩから操作パターンを生成する技術が必要とされている。

【0007】

本開示は、上記のような背景に鑑みてなされたものであって、ある局面における目的は、ウェブＵＩから操作パターンを生成する技術を提供することにある。

【課題を解決するための手段】

【0008】

ある実施の形態に従うと、１以上のプロセッサーに命令を実行させるプログラムが提供される。命令は、１つ以上のウェブＵＩから複数の入力項目の各々の識別子と、複数の入力項目の各々に設定され得るパラメータの候補とを取得するステップと、識別子と、パラメータの候補とに基づいて、ウェブＵＩにおいて実行され得る操作パターンリストを生成するステップとを含む。

【0009】

ある局面において、操作パターンリストを生成するステップは、識別子の各々と、パラメータの候補の各々とを関連付けた第１のリストを生成するステップと、第１のリストに基づいて、複数の入力項目の各々が取り得るパラメータの組み合わせを含む第２のリストを生成するステップと、第２のリストに基づいて、操作パターンリストを生成するステップとを含む。

【0010】

ある局面において、操作パターンリストは、複数の入力項目の各々が取り得るパラメータの組み合わせごとに生成され、操作パターンリストを投入される情報処理装置が解釈可能な設定情報またはスクリプトを含む。

【0011】

ある局面において、命令は、ウェブＵＩに含まれるｎａｍｅ属性から、各識別子を取得するステップと、ウェブＵＩに含まれるｖａｌｕｅ属性から、各パラメータの候補を取得するステップとをさらに含む。

【0012】

ある局面において、命令は、ユーザーによる複数の入力項目のいずれかへの入力を検出するステップと、ユーザーによる入力を受け付けた入力項目の識別子を取得するステップと、ユーザーによる入力を受け付けた入力項目に設定され得るパラメータの候補を取得するステップとをさらに含む。

【0013】

ある局面において、ウェブＵＩは、第１のウェブＵＩと、第２のウェブＵＩとを含む。命令は、第１のウェブＵＩにおける第１の操作パターンリストと、第２のウェブＵＩにおける第２の操作パターンリストとを生成するステップと、第１の操作パターンリストと、第２の操作パターンリストとに基づいて、第１のウェブＵＩおよび第２のウェブＵＩにおいて実行され得る操作パターンを含む第３の操作パターンリストを生成するステップとをさらに含む。

【0014】

ある局面において、命令は、ウェブＵＩが含む複数の入力項目の変更、または複数の入力項目の各々に設定され得るパラメータの候補の変更のいずれかを検出するステップと、検出の結果に基づいて、複数の入力項目の変更、または複数の入力項目の各々に設定され得るパラメータの候補の変更を操作パターンリストに反映するステップとをさらに含む。

【0015】

ある局面において、複数の入力項目の各々に設定され得るパラメータの候補の変更は、パラメータの候補の数の増加、またはパラメータの候補の数の減少のいずれかを含む。

【0016】

ある局面において、複数の入力項目の変更は、新しい入力項目の追加、または既存の入力項目の削除のいずれかを含む。

【0017】

ある局面において、複数の入力項目の変更、または複数の入力項目の各々に設定され得るパラメータの候補の変更を操作パターンリストに反映するステップは、複数の入力項目の変更に関する情報、または複数の入力項目の各々に設定され得るパラメータの候補の変更に関する情報をディスプレイに表示するステップと、操作パターンリストに反映させる項目を選択するための入力を受け付けるステップとを含む。

【0018】

ある局面において、１つ以上のウェブＵＩから複数の入力項目の識別子と、複数の入力項目の各々に設定され得るパラメータの候補とを取得するステップは、ユーザーによって選択された入力項目の識別子と、ユーザーによって選択された入力項目の各々に設定され得るパラメータの候補とを取得するステップを含む。

【0019】

ある局面において、命令は、複数の入力項目の優先度の入力を受け付けるステップをさらに含む。ウェブＵＩから複数の入力項目の識別子と、複数の入力項目の識別子の各々に設定され得るパラメータの候補とを取得するステップは、優先度に基づいて、優先度の高い入力項目の識別子から順に取得するステップを含む。

【0020】

ある局面において、命令は、操作パターンリストに含まれる操作パターンの個数の上限値の入力を受け付けるステップをさらに含む。複数の入力項目の識別子と、パラメータの候補とに基づいて、ウェブＵＩにおいて実行され得る操作パターンリストを生成するステップは、上限値以内の数の操作パターンを含む操作パターンリストを生成するステップを含む。

【0021】

他の実施の形態に従うと、上記に記載のプログラムを格納したメモリーと、プログラムを実行するための１以上のプロセッサーとを備えた操作パターン生成装置が提供される。

【発明の効果】

【0022】

ある実施の形態に従うと、ウェブＵＩから操作パターンを生成することが可能である。
この開示内容の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの本開示に関する次の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0023】

【図1】ウェブＵＩから操作パターンリストを生成する手順の一例を示す図である。

【図2】ＨＴＭＬ（HyperText Markup Language）ファイルの第１の例を示す図である。

【図3】ＨＴＭＬファイルの第２の例を示す図である。

【図4】操作画面１００から作成される第１のリスト４１０および第２のリスト４２０の一例を示す図である。

【図5】第１のリスト４１０および第２のリストから操作パターンリスト１０５を生成する様子の一例を示す図である。

【図6】操作パターンリストの第２の生成方法の手順の一例を示す図である。

【図7】パターン生成アプリケーション１０４による操作パターンリストの第３の生成方法の一例を示す図である。

【図8】パターン生成アプリケーション１０４による操作パターンリストの第４の生成方法の一例を示す図である。

【図9】操作画面の更新の一例を示す図である。

【図10】パターン生成アプリケーション１０４による操作パターンリストの更新方法の一例を示す図である。

【図11】パターン生成アプリケーション１０４のソフトウェア構成の一例を示す。

【図12】パターン生成アプリケーション１０４を実行する操作パターン生成装置１２００のハードウェア構成の一例を示す図である。

【図13】パターン生成アプリケーション１０４の全体の動作のフローチャートの一例である。

【図14】コンテンツ情報解析ルーチンのフローチャートの一例である。

【図15】パラメータパターン生成ルーチンのフローチャートの一例である。

【図16】操作パターンリスト生成ルーチンのフローチャートの一例である。

【図17】入力項目／パラメータリスト更新ルーチンのフローチャートの一例である。

【図18】差異パターンリスト反映処理ルーチンのフローチャートの一例である。

【発明を実施するための形態】

【0024】

以下、図面を参照しつつ、本開示に係る技術思想の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0025】

＜Ａ．操作パターンの取得情報＞
本実施の形態に従うプログラムが、ウェブＵＩから操作パターンのリスト（以下、「操作パターンリスト」と表す）を生成する手順について説明する。これ以降の説明におけるプログラムの動作は、当該プログラムを格納したメモリーと、１以上のプロセッサーとを備えるコンピューターにより実行されるものとする。また、本実施の形態に従うプログラムは、画像形成装置等を含む任意の情報処理装置のウェブＵＩに対して適用可能である。

【0026】

図１は、ウェブＵＩから操作パターンリストを生成する手順の一例を示す図である。図１を参照して、本実施の形態に従うプログラムの動作の全体像を説明する。操作画面１００は、入力項目１０１Ａ～１０１Ｅを備える。入力項目は、プルダウンメニュー、チェックボックス、ラジオボタンまたはボタン等の任意の入力フォームを指す。図１の例では、本実施の形態に従うプログラムは、操作画面１００から操作パターンを生成する。

【0027】

「操作パターン」とは、操作画面が備える各入力項目において設定されるパラメータの組み合わせの１つを表す。操作画面１００の場合、例えば、入力項目１０１Ａ「パラメータ１」、入力項目１０１Ｂ「パラメータａ」、入力項目１０１Ｃ「ａａａにチェック」、入力項目１０１Ｄ「ＯＮを選択」および入力項目１０１Ｅ「実行ボタンを押下」の組み合わせが１つの操作パターンになり得る。「操作パターンリスト」は、操作画面における全ての操作パターンを含むリストである。

【0028】

操作画面１００（ウェブＵＩ）は、ウェブアプリケーションの画面コード１０２として定義される。画面コード１０２は、ＨＴＭＬファイル、ＣＳＳ（Cascading Style Sheets）ファイルおよびＪａｖａｓｃｒｉｐｔ（登録商標）ファイルの一部または全ての組み合わせによって定義され得る。

【0029】

画面コード１０２は、コンピューターにインストールされたウェブブラウザ１０３によって解釈され、コンピューターのディスプレイに描画される。ウェブブラウザ１０３は、ＤＯＭ（Document Object Model）を扱う機能を備える。ＤＯＭは、ＨＴＭＬの各要素（ノード）を階層的な構造として識別し、各ノードにアクセスする仕組みを提供する。

【0030】

パターン生成アプリケーション１０４（本実施の形態に従うプログラム）は、ウェブブラウザ１０３のＤＯＭを扱う機能を利用して、操作画面１００を解析して、操作画面１００から操作パターンリスト１０５を生成する。

【0031】

操作パターンリスト１０５は、操作画面１００が備える入力項目１０１Ａ～１０１Ｅの各々に設定され得るパラメータの全ての組み合わせ（ユーザーが入力し得る全てのパラメータの組み合わせ）を含むリストである。言い換えれば、操作パターンリスト１０５は、操作画面１００において入力可能な全ての設定の組み合わせを含むリストである。

【0032】

操作パターンリスト１０５は、複数の操作パターン１０６を含み得る。ある局面において、操作パターン１０６は、操作パターンリスト１０５を投入される情報処理装置によって解釈および実行可能なフォーマットのスクリプトであってもよい。その場合、パターン生成アプリケーション１０４は、入力項目１０１Ａ～１０１Ｅの各々のパラメータを含むスクリプトを生成して、当該スクリプトを操作パターンリスト１０５に含める。他の局面において、操作パターン１０６は、スクリプトに含めるための各入力項目のパラメータを含んでいてもよい。

【0033】

開発者は、操作パターンリスト１０５を用いることで、操作画面１００の動作テスト、操作画面１００のナビゲーションシステムの開発、または操作パターンリスト１０５を用いた機械学習等を容易に行い得る。

【0034】

ある局面において、パターン生成アプリケーション１０４は、複数の情報処理装置またはアプリケーションに対して投入するための操作パターンリスト１０５を作成する場合、投入先ごとに、異なるスクリプトまたは異なるフォーマットの設定情報を含む操作パターンリスト１０５を生成してもよい。

【0035】

（Ａ－１．操作パターンリストの第１の生成方法）
次に、図２～図５を参照して、パターン生成アプリケーション１０４による操作パターンリストの第１の生成方法の一例について説明する。

【0036】

図２は、ＨＴＭＬファイルの第１の例を示す図である。図２を参照して、パターン生成アプリケーション１０４がどのようにしてウェブＵＩから入力項目と、入力項目のパラメータの候補とを取得するかについて説明する。

【0037】

ＨＴＭＬファイルの各要素（タグ）は、ｎａｍｅ属性およびｖａｌｕｅ属性を設定され得る。ｎａｍｅ属性は、要素を特定するために使用され得る。ｖａｌｕｅ属性は、各要素のオブジェクトのパラメータ等を含む。例えば、パターン生成アプリケーション１０４は、ｎａｍｅ属性により、入力項目を構成する特定の要素を指定し、ｖａｌｕｅ属性によりその要素のパラメータを取得し得る。

【0038】

図２の例では、操作画面２００は、血液型のプルダウンメニュー２０１と、星座のプルダウンメニュー２０２とを備える。血液型のプルダウンメニュー２０１は、ＨＴＭＬタグ２０３によって定義され、星座のプルダウンメニュー２０２は、ＨＴＭＬタグ２０４によって定義される。パターン生成アプリケーション１０４は、ＨＴＭＬタグ２０３およびＨＴＭＬタグ２０４を解析して、操作画面２００から、血液型のプルダウンメニュー２０１および星座のプルダウンメニュー２０２の各々の入力項目の識別子と、各入力項目に設定され得るパラメータの候補とを取得する。

【0039】

まず、パターン生成アプリケーション１０４は、操作画面２００を構成する要素をＤＯＭとして取得し、ＤＯＭに含まれる各ノードを解釈し、全てのｎａｍｅ属性を取得する。図２の例では、パターン生成アプリケーション１０４は、ｂｌｏｏｄおよびｈｏｒｏｓｃｏｐｅのｎａｍｅ属性（入力項目の識別子）を取得する。

【0040】

次に、パターン生成アプリケーション１０４は、「ｎａｍｅ属性＝ｂｌｏｏｄ」のノード（要素）をＤＯＭから検索し、入力項目として「血液型のプルダウンメニュー２０１のｓｅｌｅｃｔタグ」を取得し得る。次に、パターン生成アプリケーション１０４は、ｓｅｌｅｃｔタグの下位のｏｐｔｉｏｎタグの各々に設定されるｖａｌｕｅ属性の値を取得する。それにより、パターン生成アプリケーション１０４は、血液型のプルダウンメニュー２０１に設定され得るパラメータの候補である「ｖａｌｕｅ＝Ａ～ＡＢ」を取得する。

【0041】

同様に、パターン生成アプリケーション１０４は、「ｎａｍｅ属性＝ｈｏｒｏｓｃｏｐｅ」のノード（要素）をＤＯＭから検索し、入力項目として「星座のプルダウンメニュー２０２のｓｅｌｅｃｔタグ」を取得し得る。次に、パターン生成アプリケーション１０４は、ｓｅｌｅｃｔタグの下位のｏｐｔｉｏｎタグの各々に設定されるｖａｌｕｅ属性の値を取得する。それにより、パターン生成アプリケーション１０４は、星座のプルダウンメニュー２０２に設定され得るパラメータの候補である「ｖａｌｕｅ＝Ａｒｉｅｓ～Ｐｉｓｃｅｓ」を取得する。

【0042】

上記のように、パターン生成アプリケーション１０４は、ＨＴＭＬファイルのタグに設定されているｎａｍｅ属性およびｖａｌｕｅ属性を用いることで、ウェブＵＩが備える１以上の入力項目の識別子と、各入力項目に設定され得るパラメータの候補とを取得し得る。ある局面において、パターン生成アプリケーション１０４は、ｎａｍｅ属性の代わりにｉｄ属性を用いて入力項目の識別子を取得し得る。

【0043】

ある局面において、ウェブＵＩは、ＸＭＬ（eXtensible Markup Language）ファイルによって定義されてもよい。その場合、パターン生成アプリケーション１０４は、ｎａｍｅ属性およびｖａｌｕｅ属性に対応するタグ等に基づいて、ＸＭＬファイルから入力項目およびそのパラメータの候補を取得し得る。

【0044】

図３は、ＨＴＭＬファイルの第２の例を示す図である。図３を参照して、プルダウンメニュー以外の要素から、入力項目の識別子と、各入力項目に設定され得るパラメータの候補とを取得する具体例について説明する。

【0045】

図３の例では、操作画面３００は、アンケートのチェックボックス３０１と、ラジオボタン３０２とを備える。アンケートのチェックボックス３０１は、ＨＴＭＬタグ３０３によって定義され、ラジオボタン３０２は、ＨＴＭＬタグ３０４によって定義される。パターン生成アプリケーション１０４は、ＨＴＭＬタグ３０３およびＨＴＭＬタグ３０４を解析して、操作画面３００から、アンケートのチェックボックス３０１およびラジオボタン３０２の各々の入力項目の識別子と、各入力項目に設定され得るパラメータの候補とを取得する。

【0046】

まず、パターン生成アプリケーション１０４は、操作画面３００を構成する要素をＤＯＭとして取得し、ＤＯＭに含まれる各ノードを解釈し、全てのｎａｍｅ属性を操作画面３００から取得する。図３の例では、パターン生成アプリケーション１０４は、ｒｉｙｕおよびｈｙｏｕｋａのｎａｍｅ属性（入力項目の識別子）を取得する。

【0047】

次に、パターン生成アプリケーション１０４は、「ｎａｍｅ属性＝ｒｉｙｕ」のノード（要素）をＤＯＭから検索し、入力項目として「アンケートのチェックボックス３０１のｉｎｐｕｔタグ」を操作画面３００から取得する。次に、パターン生成アプリケーション１０４は、ｉｎｐｕｔタグの各々に設定されるｖａｌｕｅ属性の値を操作画面３００から取得する。それにより、パターン生成アプリケーション１０４は、アンケートのチェックボックス３０１に設定され得るパラメータの候補である「ｖａｌｕｅ＝１～３」を操作画面３００から取得する。ある局面において、パターン生成アプリケーション１０４は、同一のｎａｍｅ属性を設定された要素を一つの入力項目として扱ってもよい。

【0048】

同様に、パターン生成アプリケーション１０４は、「ｎａｍｅ属性＝ｈｙｏｕｋａ」のノード（要素）をＤＯＭから検索し、入力項目として「ラジオボタン３０２のｉｎｐｕｔタグ」を操作画面３００から取得する。次に、パターン生成アプリケーション１０４は、ｉｎｐｕｔタグの各々に設定されるｖａｌｕｅ属性の値を操作画面３００から取得する。それにより、パターン生成アプリケーション１０４は、ラジオボタン３０２に設定され得るパラメータの候補である「ｖａｌｕｅ＝ｇｏｏｄ，ｂａｄ」を操作画面３００から取得する。

【0049】

図４は、操作画面１００から作成される第１のリスト４１０および第２のリスト４２０の一例を示す図である。操作パターンリスト１０５を作成するために、パターン生成アプリケーション１０４は、まず操作画面１００が含む各入力項目および各入力項目に設定され得るパラメータから第１のリスト４１０と、第２のリスト４２０とを作成する。

【0050】

第１のリスト４１０は、入力項目の識別子４１１と、入力項目の種類４１２と、パラメータ候補４１３とを含む。入力項目の識別子４１１は、各入力項目を示す識別子を含む。ある局面において、パターン生成アプリケーション１０４は、ｎａｍｅ属性を入力項目の識別子として使用してもよい。他の局面において、パターン生成アプリケーション１０４は、操作画面１００から入力項目を抽出したときに、各入力項目を示す任意の識別子を生成してもよい。

【0051】

入力項目の種類４１２は、入力項目の種類を示す識別子等の情報を含む。ある局面において、パターン生成アプリケーション１０４は、操作画面１００から取得したＨＴＭＬタグおよびｔｙｐｅ属性から入力項目の種類を判別してもよい。パラメータ候補４１３は、各入力項目が設定され得るパラメータの一覧を含む。ある局面において、パターン生成アプリケーション１０４は、操作画面１００から取得したｖａｌｕｅの値をパラメータ候補４１３に含めてもよい。

【0052】

図４では、例えば、第１のリスト４１０の一行目は、入力項目１０１Ａが、リスト（プルダウンメニュー）であり、パラメータ（１）～（３）を候補として含むことを示す。同様に第１のリスト４１０の二行目は、入力項目１０１Ｂが、リストであり、パラメータ（ａ）～（ｃ）を候補として含むことを示す。

【0053】

パターン生成アプリケーション１０４は、第１のリスト４１０に基づいて、第２のリスト４２０を生成する。第２のリスト４２０は、操作画面１００における各入力項目の設定の組み合わせ（操作パターン）のリストである。例えば、パターン（１）は、入力項目１０１Ａにパラメータ（Ａ１）が設定され、入力項目１０１Ｂにパラメータ（Ｂ１）が設定され、入力項目１０１Ｃにパラメータ（Ｃ１）が設定され、入力項目１０１Ｄにパラメータ（Ｄ１）が設定され、入力項目１０１Ｅにパラメータ（Ｅ１）が設定された場合の操作パターンを示す。言い換えれば、第２のリスト４２０は、操作パターンごとに、各入力項目に設定されるパラメータを管理したリストである。ある局面において、第２のリスト４２０に含まれるＡ１～Ｅ１等のデータは、各入力項目に直接設定されるパラメータである必要はなく、パラメータを示す識別子等であってもよい。各入力項目に直接設定されるパラメータとは、例えば、あるＨＴＭＬタグ（またはその下位のＨＴＭＬタグ）に設定され得るｖａｌｕｅの値であり、例えば、ｓｅｌｅｃｔタグ（入力項目）の下層のｏｐｔｉｏｎタグに指定されるｖａｌｕｅ属性等を含む。

【0054】

図５は、第１のリスト４１０および第２のリストから操作パターンリスト１０５を生成する様子の一例を示す図である。上述したように、第１のリスト４１０は、各入力項目に実際に設定されるパラメータを管理する。また、第２のリスト４２０は、操作パターンごとに、各入力項目に設定されるパラメータの識別子等を含む。パターン生成アプリケーション１０４は、第１のリスト４１０および第２のリスト４２０から、操作パターンリスト１０５を生成する。図５に示す例では、操作パターンリスト１０５は、第２のリスト４２０が含むパラメータの識別子（Ａ１～Ｅ１等）を第１のリスト４１０のパラメータ候補４１３の値に置き換えたものとなる。

【0055】

ある局面において、パターン生成アプリケーション１０４は、操作パターンリスト１０５を投入する情報処理装置またはアプリケーションごとに、操作パターンリスト１０５に含めるパラメータのフォーマットを変更してもよい。例えば、パターン生成アプリケーション１０４は、第１のリスト４１０から取得したパラメータを情報処理装置が認識できるテキスト、バイナリ等の任意のフォーマットのデータに変換してもよい。このように、パターン生成アプリケーション１０４は、第１のリスト４１０に含まれるパラメータを加工して、第２のリスト４２０に含めることで、任意の情報処理装置またはアプリケーションに対して使用可能な操作パターンリスト１０５を生成し得る。

【0056】

他の局面において、パターン生成アプリケーション１０４は、第１のリスト４１０から取得したパラメータの値を含むスクリプトを生成してもよい。その場合、操作パターンリスト１０５は、スクリプトを含むことになる。操作パターンリスト１０５を投入される情報処理装置またはアプリケーションは、操作パターンリスト１０５に含まれるスクリプトを実行し得る。また、他の局面において、情報処理装置またはアプリケーションは、外部の装置が当該スクリプトに基づいて生成したコマンドを受信することによって動作し得る。

【0057】

さらに、他の局面において、パターン生成アプリケーション１０４は、第１のリスト４１０のみから操作パターンリスト１０５を生成してもよい。さらに、他の局面において、パターン生成アプリケーション１０４は、操作画面１００から操作パターンリスト１０５を直接生成してもよい。

【0058】

（Ａ－２．操作パターンリストの第２の生成方法）
次に、図６を参照して、パターン生成アプリケーション１０４による操作パターンリストの第２の生成方法の一例について説明する。操作パターンリストの第２の生成方法は、ウェブアプリケーション等により動的に生成されるＨＴＭＬコードから入力項目およびそのパラメータを取得する点で、操作パターンリストの第１の生成方法とは異なる。ある局面において、パターン生成アプリケーション１０４は、静的に生成されるＨＴＭＬコードと、動的に生成されるＨＴＭＬコードとが混在する操作画面において、操作パターンリストの第１の生成方法および操作パターンリストの第２の生成方法を組み合わせて使用してもよい。

【0059】

図６は、操作パターンリストの第２の生成方法の手順の一例を示す図である。図６に示す例では、操作画面１００は、ウェブアプリケーションにより、動的に表示される。例えば、ウェブアプリケーションは、入力項目１０１Ａの入力を検出した段階で、入力項目１０１Ｂを操作画面１００に追加する処理を実行し得る。その他にも、ウェブアプリケーションは、入力項目１０１Ａおよび入力項目１０１Ｂの設定値（パラメータ）に応じて、入力項目１０１Ｃおよび入力項目１０１Ｄの表示内容を変更したり、入力項目１０１Ｃおよび入力項目１０１Ｄのイネーブル／ディセーブルを切り替えたりし得る。上記のように、操作画面１００が何らかのウェブアプリケーションにより動的に生成される場合、パターン生成アプリケーション１０４は、ユーザーが操作画面１００を操作するまで操作画面１００から全ての入力項目を取得できない場合がある。

【0060】

そこで、パターン生成アプリケーション１０４は、ウェブブラウザ１０３におけるユーザーの操作６００を検出したことに基づいて、ＤＯＭを解析する。ある局面において、パターン生成アプリケーション１０４は、複数回のユーザーの操作６００を検出した場合、操作の検出ごとにＤＯＭの解析を繰り返してもよい。他の局面において、パターン生成アプリケーション１０４は、ウェブブラウザ１０３に組み込まれたプラグインからユーザーの操作６００の検出通知を受信してもよい。こうすることで、パターン生成アプリケーション１０４は、ユーザーの操作によって更新されたＨＴＭＬファイルのＤＯＭから常に最新の入力項目およびそのパラメータの候補を取得し得る。

【0061】

（Ａ－３．操作パターンリストの第３の生成方法）
図７は、パターン生成アプリケーション１０４による操作パターンリストの第３の生成方法の一例を示す図である。操作パターンリストの第３の生成方法は、複数の操作画面における操作パターンの組み合わせを求める点で、操作パターンリストの第１および第２の生成方法と異なる。

【0062】

図７の例では、第１の操作画面７０１と、第２の操作画面７０２とがある。パターン生成アプリケーション１０４は、これら第１の操作画面７０１および第２の操作画面７０２から、組み合わせ操作パターンリスト７１０を生成する。

【0063】

パターン生成アプリケーション１０４は、第１の操作パターンリストの作成方法と同様に、第１の操作画面７０１における操作パターンリストと、第２の操作画面７０２における操作パターンリストとを個別に生成する。パターン生成アプリケーション１０４は、各操作画面の操作パターンリストを作成する際に、図４を参照して説明した第１のリストおよび第２のリストを生成し得る。

【0064】

次に、パターン生成アプリケーション１０４は、第１の操作画面７０１における操作パターンリストと、第２の操作画面７０２における操作パターンリストとの組み合わせを含む組み合わせ操作パターンリスト７１０を生成する。

【0065】

第１の操作画面７０１において、「次へ」ボタンが押下されたときに第２の操作画面７０２に遷移処理が発生し、逆に、「キャンセル」ボタンが押下されたときに第２の操作画面７０２への遷移処理が発生しないとする。この場合、パターン生成アプリケーション１０４は、第１の操作画面７０１において「キャンセル」ボタンが押下された場合の組み合わせ操作パターンリスト７１０を生成しなくてもよい。なぜなら、第１の操作画面７０１において「キャンセル」ボタンが押下された場合、画面の遷移は発生せず、第１の操作画面７０１の操作パターンリストと第２の操作画面７０２の操作パターンリストとの組み合わせは発生し得ないためである。

【0066】

上記のように、パターン生成アプリケーション１０４は、複数の操作画面の各々の操作パターンリストに基づいて組み合わせ操作パターンリスト７１０を生成することで、複雑な画面遷移を含むウェブＵＩの操作パターンリストを生成し得る。

【0067】

（Ａ－４．操作パターンリストの第４の生成方法）
図８は、パターン生成アプリケーション１０４による操作パターンリストの第４の生成方法の一例を示す図である。第４の操作パターンリストは、ユーザーによって選択された入力項目のみを含む操作パターンリストを生成する点で、操作パターンリストの第１～第３の生成方法と異なる。

【0068】

パターン生成アプリケーション１０４は、例えば、操作画面１００において、予めユーザーが選択または入力した入力項目だけを含む操作パターンリスト８１０を生成し得る。図８の例では、パターン生成アプリケーション１０４は、入力項目１０１Ａ、入力項目１０１Ｂおよび入力項目１０１Ｅのみを含む操作パターンリスト８１０を生成する。

【0069】

ある局面において、ユーザーが入力項目を選択した順番が、操作パターンリスト８１０を生成するときの優先度（順序）であってもよい。例えば、ユーザーが全ての入力項目を選択した場合、全ての入力項目は、操作パターンリスト８１０の生成時の優先度を割り当てられたことになる。他の局面において、パターン生成アプリケーション１０４は、ユーザーによって選択された入力項目に優先度を設定しなくてもよい。

【0070】

操作パターンリストの第４の生成方法の手順は、操作画面１００から取得される入力項目の数が減少すること、および優先度が設定され得ること以外は、操作パターンリストの第１の生成方法と同様である。

【0071】

上記のように、パターン生成アプリケーション１０４は、ユーザーに選択された入力項目のみを含む操作パターンリストを生成することで、パターン生成アプリケーション１０４を実行するコンピューター等の計算リソースの消費を抑制し、より短時間で操作パターンリストを生成し得る。

【0072】

（Ａ－５．操作パターンの更新方法）
次に、図９および図１０を参照して、パターン生成アプリケーション１０４による操作パターンリスト１０５の更新方法について説明する。例えば、ある情報処理装置の機能が変更された場合、当該情報処理装置の機能設定のための操作画面（ウェブＵＩ）の入力項目または入力項目のパラメータも変更され得る。そこで、パターン生成アプリケーション１０４は、操作画面に変更があった場合、当該変更を操作パターンリスト１０５に反映させる。なお、入力項目の変更は、新しい入力項目の追加、既存の入力項目の変更または削除を含む。パラメータの変更は、パラメータの増加、減少および変更を含む。

【0073】

図９は、操作画面の更新の一例を示す図である。操作画面１００Ａは、更新前の操作画面であり、操作画面１００Ｂは、更新後の操作画面である。操作画面１００Ｂは、操作画面１００Ａと比較して、入力項目１０１Ａからパラメータ（３）が削除されており、逆に、入力項目１０１Ｂにパラメータ（ｄ），（ｅ）が追加されている。

【0074】

ある局面において、パターン生成アプリケーション１０４は、定期的に、操作画面の入力項目およびそのパラメータの候補を取得して、当該入力項目および当該候補と、第１のリストに含まれる入力項目およびそのパラメータの候補とを比較し、操作画面に更新があったか否かを判定してもよい。

【0075】

図１０は、パターン生成アプリケーション１０４による操作パターンリストの更新方法の一例を示す図である。図１０に示す例では、操作画面１００において、入力項目１０１Ａのパラメータの追加と、１０１Ｂのパラメータの削除とが発生している。

【0076】

パターン生成アプリケーション１０４は、追加されたパラメータを含む操作パターンを追加候補の操作パターンとして生成する。同様に、パターン生成アプリケーション１０４は、削除されたパラメータを含む操作パターンを削除候補の操作パターンとして作成する。パターン生成アプリケーション１０４は、追加候補の操作パターンおよび削除候補の操作パターンを含む第３のリスト１０１０をさらに生成する。

【0077】

パターン生成アプリケーション１０４は、操作パターンリスト１０５に第３のリスト１０１０に含まれる追加候補の操作パターンを追加し得る。また、パターン生成アプリケーション１０４は、操作パターンリスト１０５から第３のリスト１０１０に含まれる削除候補の操作パターンを削除し得る。

【0078】

ある局面において、パターン生成アプリケーション１０４は、追加候補の操作パターンおよび削除候補の操作パターンをユーザーに提示して、ユーザーに追加する操作パターンおよび削除する操作パターンを選択させてもよい。その場合、例えば、パターン生成アプリケーション１０４は、ユーザーの選択に基づいて第３のリスト１０１０に含まれる確認フラグ１０１１を更新し得る。パターン生成アプリケーション１０４は、当該確認フラグ１０１１に基づいて、第３のリスト１０１０から、操作パターンリスト１０５に追加する操作パターンまたは削除する操作パターンを選択し得る。他の局面において、パターン生成アプリケーション１０４は、ユーザーから、操作パターンの生成の上限数を決めるための入力を受け付けてもよい。パターン生成アプリケーション１０４は、受け付けた操作パターンの生成の上限数以内で、操作パターンを生成し得る。当該処理により、パターン生成アプリケーション１０４は、パターン生成アプリケーション１０４を実行するコンピューター等の計算リソースの消費を抑制し得る。また、他の局面において、パターン生成アプリケーション１０４は、ユーザーから、操作パターンの生成の範囲を決めるための入力を受け付けてもよい。操作パターンの生成の範囲を決めるための入力は、例えば、操作画面の一部（１以上の入力項目）をジェスチャーで囲う、操作画面の各操作項目を個別に選択する等の操作を含み得る。パターン生成アプリケーション１０４は、ユーザーによるジェスチャー等により選択された入力項目のみを含む操作パターンリストを生成し得る。

【0079】

＜Ｂ．システム構成＞
次に、図１１および図１２を参照してパターン生成アプリケーション１０４のソフトウェア構成およびパターン生成アプリケーション１０４を実行するコンピューターのハードウェア構成について説明する。

【0080】

図１１は、パターン生成アプリケーション１０４のソフトウェア構成の一例を示す。図１１に示す各構成は、例えばソフトウェアモジュールとして実現される。ある局面において、これらの構成の一部は、ハードウェアによって実現されてもよい。

【0081】

パターン生成アプリケーション１０４は、例えば、コンピューター１１１０または画像形成装置等の情報処理装置１１２０によって実行されるアプリケーション１１３０（ウェブアプリケーション）を解析し、当該アプリケーション１１３０の操作パターンリスト１０５を生成する。ある局面において、パターン生成アプリケーション１０４は、コンピューター１１１０または情報処理装置１１２０にインストールされており、コンピューター１１１０または情報処理装置１１２０により実行されるアプリケーション１１３０を解析して操作パターンリスト１０５を生成してもよい。

【0082】

パターン生成アプリケーション１０４は、設定部１１４１と、コンテンツ解析部１１４２と、抽出対象情報ＤＢ（Data Base）１１４３と、入力項目リスト／パラメータリスト生成部１１４４と、操作パターン生成部１１４５と、差異パラメータパターン表示部１１４７と、操作パターンリストＤＢ１１４８と、スクリプト作成部１１４９と、差異パラメータパターン生成部１１５０と、スクリプト実行制御部１１５１と、スクリプトＤＢ１１５２とを含む。

【0083】

設定部１１４１は、ユーザーからの設定の入力を受け付ける。例えば、設定部１１４１は、解析対象の操作画面（ウェブＵＩ）のＵＲＬ（Uniform Resource Locator）、抽出対象情報１１４３に含めるデータ、またはスクリプトの出力先の情報処理装置の種類（画像形成装置、機械学習用のアプリケーション等）の設定等を受け付け得る。

【0084】

コンテンツ解析部１１４２は、操作画面を解析する。より具体的には、コンテンツ解析部１１４２は、操作画面が含むＨＴＭＬタグまたはＸＭＬタグ等を解析して要素（入力項目およびパラメータ）を抽出する。抽出対象情報ＤＢ１１４３は、コンテンツ解析部１１４２によって抽出された要素を格納する。ある局面において、抽出対象情報ＤＢ１１４３は、抽出したｎａｍｅ属性の値と、ｖａｌｕｅ属性の値とを格納してもよい。

【0085】

入力項目リスト／パラメータリスト生成部１１４４は、操作画面から抽出された要素に基づいて、図４を参照して説明した第１のリスト４１０および第２のリスト４２０を生成する。また、入力項目リスト／パラメータリスト生成部１１４４は、図６を参照して説明したように、ユーザーの操作を検出したことに基づいて、第１のリスト４１０および第２のリスト４２０を生成してもよい。

【0086】

操作パターン生成部１１４５は、第１のリスト４１０および第２のリスト４２０に基づいて、操作パターンリスト１０５を生成する。ある局面において、操作パターン生成部１１４５は、複数の操作画面の組み合わせ操作パターンを生成してもよい。また、操作パターン生成部１１４５は、図９および図１０を参照して説明したように、操作画面に差異が発生した場合に、予め作成した操作パターンリスト１０５を更新し得る。

【0087】

操作パターンリストＤＢ１１４８は、作成された操作パターンリスト１０５または組み合わせ操作パターンリストを格納する。スクリプト作成部１１４９は、操作パターンリストＤＢ１１４８を参照して、操作パターンリスト１０５を投入する予定の情報処理装置またはアプリケーションが実行可能な形式のスクリプトを作成する。ある局面において、操作パターン生成部１１４５によって作成された操作パターンリスト１０５は、予め操作パターンリスト１０５を投入する予定の情報処理装置またはアプリケーションが実行可能な形式のスクリプトを含んでいてもよい。スクリプト作成部１１４９は、生成したスクリプトをスクリプトＤＢ１１５２に格納する。

【0088】

スクリプト実行制御部１１５１は、スクリプトＤＢ１１５２を参照して、スクリプトを情報処理装置またはアプリケーションに投入する。ある局面において、スクリプト実行制御部１１５１は、スクリプトに基づいて、情報処理装置またはアプリケーションに、情報処理装置またはアプリケーションが実行可能なコマンド等を出力してもよい。

【0089】

差異パラメータパターン生成部１１５０は、操作画面の変更に基づいて、追加候補の操作パターンおよび削除候補の操作パターンを含む第３のリスト１０１０を生成する。差異パラメータパターン表示部１１４７は、差異パラメータパターン生成部１１５０よって生成された追加候補の操作パターンおよび削除候補の操作パターンをディスプレイに表示する。操作パターン生成部１１４５は、ユーザーによって選択された操作パターンのみを操作パターンリスト１０５に反映させ得る。

【0090】

図１２は、パターン生成アプリケーション１０４を実行する操作パターン生成装置１２００のハードウェア構成の一例を示す図である。操作パターン生成装置１２００は、ＣＰＵ（Central Processing Unit）１２０１と、１次記憶装置１２０２と、２次記憶装置１２０３と、外部機器インターフェイス１２０４と、入力インターフェイス１２０５と、出力インターフェイス１２０６と、通信インターフェイス１２０７とを含む。ある局面において、操作パターン生成装置１２００は、ＰＣ（Personal Computer）、ワークステーションまたはサーバー装置等の任意の情報処理装置であってもよい。

【0091】

ＣＰＵ１２０１は、コンピューター１１１０の各種機能を実現するためのプログラムを実行し得る。ＣＰＵ１２０１は、例えば、少なくとも１つの集積回路によって構成される。集積回路は、例えば、少なくとも１つのＣＰＵ、少なくとも１つのＦＰＧＡ（Field-Programmable Gate Array）、またはこれらの組み合わせ等によって構成されてもよい。

【0092】

１次記憶装置１２０２は、ＣＰＵ１２０１によって実行されるプログラムと、ＣＰＵ１２０１によって参照されるデータとを格納する。ある局面において、１次記憶装置１２０２は、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）等によって実現されてもよい。

【0093】

２次記憶装置１２０３は、不揮発性メモリーであり、ＣＰＵ１２０１によって実行されるプログラムおよびＣＰＵ１２０１によって参照されるデータを格納してもよい。その場合、ＣＰＵ１２０１は、２次記憶装置１２０３から１次記憶装置１２０２に読み出されたプログラムを実行し、２次記憶装置１２０３から１次記憶装置１２０２に読み出されたデータを参照する。ある局面において、２次記憶装置１２０３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）またはフラッシュメモリー等によって実現されてもよい。

【0094】

外部機器インターフェイス１２０４は、プリンター、スキャナーおよび外付けＨＤＤ等の任意の外部機器に接続され得る。ある局面において、外部機器インターフェイス１２０４は、ＵＳＢ（Universal Serial Bus）端子等によって実現されてもよい。

【0095】

入力インターフェイス１２０５は、キーボード、マウス、タッチパッドまたはゲームパッド等の任意の入力装置に接続され得る。ある局面において、入力インターフェイス１２０５は、ＵＳＢ端子、ＰＳ／２端子およびＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等によって実現されてもよい。

【0096】

出力インターフェイス１２０６は、ブラウン管ディスプレイ、液晶ディスプレイまたは有機ＥＬ（electro-luminescence）ディスプレイ等の任意の出力装置に接続され得る。ある局面において、出力インターフェイス１２０６は、ＵＳＢ端子、Ｄ－ｓｕｂ端子、ＤＶＩ（Digital Visual Interface）端子およびＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子等によって実現されてもよい。

【0097】

通信インターフェイス１２０７は、有線または無線のネットワーク機器と接続される。ある局面において、通信インターフェイス１２０７は、有線ＬＡＮ（Local Area Network）ポートおよびＷｉ-Ｆｉ（登録商標）モジュール等によって実現されてもよい。他の局面において、通信インターフェイス１２０７は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）、ＵＤＰ（User Datagram Protocol）等の通信プロトコルを用いてデータを送受信してもよい。

【0098】

＜Ｃ．フローチャート＞
次に、図１３～図１８を参照して、パターン生成アプリケーション１０４の動作手順について説明する。ある局面において、ＣＰＵ１２０１は、図１３～図１８の処理を行うためのプログラム（パターン生成アプリケーション１０４）を２次記憶装置１２０３から１次記憶装置１２０２に読み込んで、当該プログラムを実行してもよい。他の局面において、当該処理の一部または全ては、当該処理を実行するように構成された回路素子の組み合わせとしても実現され得る。

【0099】

図１３は、パターン生成アプリケーション１０４の全体の動作のフローチャートの一例である。図１３のフローチャートは、操作パターン生成装置１２００にインストールされたパターン生成アプリケーション１０４が、操作パターン生成装置１２００のブラウザ機能によって表示されている操作画面（ウェブＵＩ）から操作パターンリスト１０５を生成し、当該操作パターンリスト１０５を使用するまでの処理の手順を示す。

【0100】

ステップＳ１３１０において、ＣＰＵ１２０１は、操作画面に対してコンテンツ情報解析ルーチンを実行する。コンテンツ情報解析ルーチンの詳細は、図１４を参照して説明する。ここでのコンテンツとは、例えば操作画面として提供されるデータ（ＨＴＭＬ、ＸＭＬ等）を指す。

【0101】

ステップＳ１３２０において、ＣＰＵ１２０１は、入力項目リストおよびパラメータリストを生成する。ＣＰＵ１２０１は、入力項目リストおよびパラメータリストを第１のリスト４１０として、１次記憶装置１２０２または２次記憶装置１２０３に保存してもよい。本ステップの処理は、図４を参照して説明した第１のリスト４１０を生成する処理に相当する。

【0102】

ステップＳ１３３０において、ＣＰＵ１２０１は、パラメータパターン生成ルーチンを実行する。本ステップの処理は、図４を参照して説明した第２のリスト４２０を生成する処理に相当する。パラメータパターン生成ルーチンの詳細は、図１５を参照して説明する。

【0103】

ステップＳ１３４０において、ＣＰＵ１２０１は、操作パターンリスト生成ルーチンを実行する。本ステップの処理は、図５を参照して説明したように、第１のリスト４１０および第２のリスト４２０から操作パターンリスト１０５を生成する処理に相当する。操作パターンリスト生成ルーチンの詳細は、図１６を参照して説明する。

【0104】

ステップＳ１３５０において、ＣＰＵ１２０１は、操作パターンリスト１０５から、操作スクリプトを生成する。ある局面において、操作スクリプトは、操作パターンリスト１０５を投入する予定の情報処理装置またはアプリケーションが実行可能な形式のスクリプトであってもよい。他の局面において、操作スクリプトは、操作パターン生成装置１２００が操作パターンリスト１０５を投入する予定の情報処理装置またはアプリケーションにコマンドを送信するためのスクリプトであってもよい。また、他の局面において、ステップＳ１３４０にて生成される操作パターンリスト１０５は、操作スクリプトを含んでいてもよい。その場合、ＣＰＵ１２０１は、ステップＳ１３５０の処理を実行しなくてもよい。

【0105】

ステップＳ１３６０において、ＣＰＵ１２０１は、操作スクリプトを使用する。ある局面において、ＣＰＵ１２０１は、操作パターンリスト１０５を投入する予定の情報処理装置またはアプリケーションに、操作スクリプトを出力してもよい。情報処理装置またはアプリケーションは、当該操作スクリプトを入力されたことにより、操作パターンリスト１０５の各操作パターンを設定された場合の処理を実行する。他の局面において、ＣＰＵ１２０１は、操作スクリプトに基づいて、操作パターンリスト１０５を投入する予定の情報処理装置またはアプリケーションに操作コマンドを送信してもよい。情報処理装置またはアプリケーションは、当該操作コマンドを受信したことにより、操作パターンリスト１０５に含まれる各操作パターンが設定された場合の処理を実行する。

【0106】

ステップＳ１３７０において、ＣＰＵ１２０１は、操作画面を参照し、入力項目リストまたはパラメータリストに更新があるか否かを判定する。より具体的には、ＣＰＵ１２０１は、現在の操作画面が含む入力項目およびそのパラメータと、前回作成した第１のリスト４１０が含む入力項目およびそのパラメータとに差異があるか否かを判定する。

【0107】

ＣＰＵ１２０１は、入力項目リストまたはパラメータリストに更新があると判定した場合（ステップＳ１３７０にてＹＥＳ）、制御をステップＳ１３８０に移す。そうでない場合（ステップＳ１３７０にてＮＯ）、ＣＰＵ１２０１は、処理を終了する。

【0108】

ステップＳ１３８０において、ＣＰＵ１２０１は、入力項目／パラメータリスト更新ルーチンを実行する。入力項目／パラメータリスト更新ルーチンの詳細は、図１７を参照して説明する。ステップＳ１３７０およびステップＳ１３８０の処理は、図９および図１０を参照して説明したパターン生成アプリケーション１０４の処理に相当する。

【0109】

図１４は、コンテンツ情報解析ルーチンのフローチャートの一例である。ステップＳ１４１０において、ＣＰＵ１２０１は、コンテンツのソースコード（ＨＴＭＬコード等）、またはソースコードに含まれるＤＯＭ情報等を取得する。ある局面において、コンテンツのソースコードがＸＭＬ等のＨＴＭＬ以外のマークアップ言語である場合、ＣＰＵ１２０１は、ソースコードに含まれるＤＯＭに相当する情報を取得し得る。ＤＯＭに相当する情報とは、例えば、操作画面に含まれる各要素（入力候補）または各要素に設定されるパラメータ等を取得または解析するための情報である。

【0110】

ステップＳ１４２０において、ＣＰＵ１２０１は、取得した情報（ＤＯＭ情報等）内に抽出対象の情報が存在するか否かを判定する。抽出対象の情報とは、例えば、特定のｎａｍｅ属性が設定されたＨＴＭＬタグ等である。ある局面において、抽出対象の情報は、さらに、特定のｎａｍｅ属性が設定されたＨＴＭＬタグまたは当該ＨＴＭＬタグの子要素に設定されたｖａｌｕｅ属性の値を含んでいてもよい。ＣＰＵ１２０１は、取得した情報（ＤＯＭ情報等）内に抽出対象の情報が存在すると判定した場合（ステップＳ１４２０にてＹＥＳ）、制御をステップＳ１４３０に移す。そうでない場合（ステップＳ１４２０にてＮＯ）、ＣＰＵ１２０１は、処理を終了する。

【0111】

ステップＳ１４３０において、ＣＰＵ１２０１は、ソースコードまたはＤＯＭ情報等からｎａｍｅ属性等を用いて抽出対象の情報を収集する。例えば、ＣＰＵ１２０１は、ＤＯＭ情報から、特定のｎａｍｅ属性等を設定されたノードを検索し得る。また、ＣＰＵ１２０１は、特定のｎａｍｅ属性等を設定されたノードまたは当該ノードの子要素に設定されたｖａｌｕｅ属性の値を取得し得る。

【0112】

図１５は、パラメータパターン生成ルーチンのフローチャートの一例である。ステップＳ１５１０において、ＣＰＵ１２０１は、操作画面から取得した情報内に抽出対象の情報が存在するか否かを判定する。ここで取得した情報は、入力項目リスト、および各入力項目に設定され得るパラメータリスト（パラメータ候補）を含む。ある局面において、ＣＰＵ１２０１は、取得した情報を第１のリスト４１０として１次記憶装置１２０２または２次記憶装置１２０３に保存してもよい。

【0113】

ＣＰＵ１２０１は、操作画面から取得した情報内に抽出対象の情報が存在すると判定した場合（ステップＳ１５１０にてＹＥＳ）、制御をステップＳ１５２０に移す。そうでない場合（ステップＳ１５１０にてＮＯ）、ＣＰＵ１２０１は、制御をステップＳ１５３０に移す。

【0114】

ステップＳ１５２０において、ＣＰＵ１２０１は、入力項目リスト（第１のリスト４１０）から、パラメータの範囲の項目のみを抽出する。ステップＳ１５３０において、ＣＰＵ１２０１は、入力項目と、パラメータとの組み合わせを算出し、第２のリスト４２０を生成する。

【0115】

図１６は、操作パターンリスト生成ルーチンのフローチャートの一例である。ステップＳ１６１０において、ＣＰＵ１２０１は、各入力項目に優先度（順序）または範囲が指定されているか否かを判定する。ここでの範囲の指定とは、操作パターンリストに含める入力項目を選択することである。ＣＰＵ１２０１は、各入力項目に優先度または範囲が指定されていると判定した場合（ステップＳ１６１０にてＹＥＳ）、制御をステップＳ１６２０に移す。そうでない場合（ステップＳ１６１０にてＮＯ）、ＣＰＵ１２０１は、制御をステップＳ１６３０に移す。

【0116】

ステップＳ１６２０において、ＣＰＵ１２０１は、指定された優先度または範囲に基づいて、ボタン等の操作コンテンツも含めて、入力項目およびパラメータリストの組み合わせを算出し、操作パターンリスト１０５を生成する。

【0117】

ステップＳ１６３０において、ＣＰＵ１２０１は、ボタン等の操作コンテンツも含めて、全ての入力項目およびパラメータリストの組み合わせを算出し、操作パターンリスト１０５を生成する。

【0118】

図１７は、入力項目／パラメータリスト更新ルーチンのフローチャートの一例である。ステップＳ１７１０において、ＣＰＵ１２０１は、操作画面を解析して差異を取得し、当該差異が入力項目における差異であるか否かを判定する。ここでの差異とは、例えば、操作画面における入力項目自体の増減と、入力項目に設定されるパラメータの値の範囲の変化とを含む。ＣＰＵ１２０１は、取得した差異が入力項目における差異であると判定した場合（ステップＳ１７１０にてＹＥＳ）、制御をステップＳ１７２０に移す。そうでない場合（ステップＳ１７１０にてＮＯ）、ＣＰＵ１２０１は、処理を終了する。

【0119】

ステップＳ１７２０において、ＣＰＵ１２０１は、取得した差異が入力項目または入力項目に設定されるパラメータの追加であるか否かを判定する。ＣＰＵ１２０１は、取得した差異が入力項目または入力項目に設定されるパラメータの追加であると判定した場合（ステップＳ１７２０にてＹＥＳ）、制御をステップＳ１７３０に移す。そうでない場合（ステップＳ１７２０にてＮＯ）、ＣＰＵ１２０１は、制御をステップＳ１７４０に移す。

【0120】

ステップＳ１７３０において、ＣＰＵ１２０１は、追加された入力項目またはパラメータにより追加候補の操作パターンを生成する。ステップＳ１７４０において、ＣＰＵ１２０１は、削除された入力項目またはパラメータを含む操作パターンを操作パターンリスト１０５から検索して、削除候補の操作パターンとして抽出する。

【0121】

ステップＳ１７５０において、ＣＰＵ１２０１は、追加候補の操作パターンまたは削除候補の操作パターンを含む差異パターンリストを生成する。差異パターンリストは、図１０を参照して説明した第３のリスト１０１０に相当する。

【0122】

ステップＳ１７６０において、ＣＰＵ１２０１は、差異パターンリスト反映処理ルーチンを実行する。差異パターンリスト反映処理ルーチンの詳細は、図１８を参照して説明する。

【0123】

図１８は、差異パターンリスト反映処理ルーチンのフローチャートの一例である。ステップＳ１８１０において、ＣＰＵ１２０１は、パターン生成アプリケーション１０４の設定が、ユーザーが差異パターンを確認する設定であるか否かを判定する。ユーザーが差異パターンを確認する設定とは、ユーザーが差異パターンリストから操作パターンリスト１０５に反映させるパターンを選択するための設定である。

【0124】

ＣＰＵ１２０１は、パターン生成アプリケーション１０４の設定が、ユーザーが差異パターンを確認する設定であると判定した場合（ステップＳ１８１０にてＹＥＳ）、制御をステップＳ１８２０に移す。そうでない場合（ステップＳ１８１０にてＮＯ）、ＣＰＵ１２０１は、制御をステップＳ１８５０に移す。

【0125】

ステップＳ１８２０において、ＣＰＵ１２０１は、差異パターンリストをユーザーに提示する。例えば、ＣＰＵ１２０１は、操作パターン生成装置１２００のディスプレイに差異パターンリストを表示し得る。ステップＳ１８３０において、ＣＰＵ１２０１は、反映対象項目の選択入力を検知する。反映対象項目とは、差異パターンリストに含まれる操作パターンのうち、操作パターンリスト１０５に反映する操作パターンを指す。ユーザーは、ステップＳ１８２０にてディスプレイに表示された差異パターンリストの中から、反映対象項目を選択し得る。

【0126】

ステップＳ１８４０において、ＣＰＵ１２０１は、反映対象項目の数は０であるか否かを判定する。ＣＰＵ１２０１は、反映対象項目の数は０であると判定した場合（ステップＳ１８４０にてＹＥＳ）、処理を終了する。そうでない場合（ステップＳ１８４０にてＮＯ）、ＣＰＵ１２０１は、制御をステップＳ１８６０に移す。

【0127】

ステップＳ１８５０において、ＣＰＵ１２０１は、差異パターンリストが含む全ての項目（追加候補の操作パターンまたは削除候補の操作パターン）を反映項目（操作パターンリスト１０５に反映する操作パターン）に設定する。

【0128】

ステップＳ１８６０において、ＣＰＵ１２０１は、反映対象項目が削除候補の操作パターンであるか否かを判定する。ＣＰＵ１２０１は、反映対象項目が削除候補の操作パターンであると判定した場合（ステップＳ１８６０にてＹＥＳ）、制御をステップＳ１８７０に移す。そうでない場合（ステップＳ１８６０にてＮＯ）、ＣＰＵ１２０１は、制御をステップＳ１８９０に移す。

【0129】

ステップＳ１８７０において、ＣＰＵ１２０１は、操作パターンリストＤＢ１１４８に格納されている操作パターンリスト１０５から、反映対象項目の操作パターンを削除する。ステップＳ１８８０において、ＣＰＵ１２０１は、スクリプトＤＢ１１５２から、反映対象項目の操作パターンの操作スクリプトを削除する。ステップＳ１８９０において、ＣＰＵ１２０１は、追加候補の操作パターンを操作パターンリスト１０５に追加するために、パラメータパターン生成ルーチンを実行する。

【0130】

以上説明したように、パターン生成アプリケーション１０４およびパターン生成アプリケーション１０４を実行する操作パターン生成装置１２００は、アプリケーションのウェブＵＩからなる操作画面から操作パターンリスト１０５を生成する。このようにして、ウェブＵＩの操作パターンが生成される。当該機能により、ユーザーは、膨大な組み合わせになり得るウェブＵＩの操作パターンリスト１０５を容易に入手し得る。また、ユーザーは、操作パターンリスト１０５を開発中のアプリケーションの動作テスト、操作画面のナビゲーションシステムの開発、および機械学習等に活用し得る。

【0131】

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内で全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された開示内容は、可能な限り、単独でも、組合わせても、実施することが意図される。

【符号の説明】

【0132】

１００，２００，３００ 操作画面、１０１ 入力項目、１０２ 画面コード、１０３ ウェブブラウザ、１０４ パターン生成アプリケーション、１０５，８１０ 操作パターンリスト、１０６ 操作パターン、２０１，２０２ プルダウンメニュー、２０３，２０４，３０３，３０４ ＨＴＭＬタグ、３０１ チェックボックス、３０２ ラジオボタン、４１０ 第１のリスト、４１１ 入力項目の識別子、４１２ 入力項目の種類、４１３ パラメータ候補、４２０ 第２のリスト、６００ 操作、７０１ 第１の操作画面、７０２ 第２の操作画面、７１０ 組み合わせ操作パターンリスト、１０１０ 第３のリスト、１０１１ 確認フラグ、１１１０，１２００ 操作パターン生成装置、１１２０ 情報処理装置、１１３０ アプリケーション、１１４１ 設定部、１１４２ コンテンツ解析部、１１４３ 抽出対象情報ＤＢ、１１４４ 入力項目リスト／パラメータリスト生成部、１１４５ 操作パターン生成部、１１４７ 差異パラメータパターン表示部、１１４８ 操作パターンリストＤＢ、１１４９ スクリプト作成部、１１５０ 差異パラメータパターン生成部、１１５１ スクリプト実行制御部、１１５２ スクリプトＤＢ、１２０１ ＣＰＵ、１２０２ １次記憶装置、１２０３ ２次記憶装置、１２０４ 外部機器インターフェイス、１２０５ 入力インターフェイス、１２０６ 出力インターフェイス、１２０７ 通信インターフェイス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】