特許 7737442 ロボティックプロセスオートメーション用のユーザーインターフェース（ＵＩ）記述子、ＵＩオブジェクトライブラリ、ＵＩオブジェクトリポジトリ、およびＵＩオブジェクトブラウザ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-09-02

(45)【発行日】2025-09-10

(54)【発明の名称】ロボティックプロセスオートメーション用のユーザーインターフェース（ＵＩ）記述子、ＵＩオブジェクトライブラリ、ＵＩオブジェクトリポジトリ、およびＵＩオブジェクトブラウザ

(51)【国際特許分類】

   G06F 9/451 20180101AFI20250903BHJP

   G06F 8/34 20180101ALI20250903BHJP

【ＦＩ】

G06F9/451

G06F8/34

【請求項の数】 27

(21)【出願番号】P 2023501012

(86)(22)【出願日】2020-09-24

(65)【公表番号】

(43)【公表日】2023-08-10

(86)【国際出願番号】 US2020052429

(87)【国際公開番号】W WO2022010516

(87)【国際公開日】2022-01-13

【審査請求日】2023-09-14

(31)【優先権主張番号】16/922,289

(32)【優先日】2020-07-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520262319

【氏名又は名称】ユーアイパス，インコーポレイテッド

【氏名又は名称原語表記】ＵｉＰａｔｈ，Ｉｎｃ．

【住所又は居所原語表記】１ Ｖａｎｄｅｒｂｉｌｔ Ａｖｅｎｕｅ， ６０ｔｈ Ｆｌｏｏｒ， Ｎｅｗ Ｙｏｒｋ， ＮＹ １００１７， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】110003487

【氏名又は名称】弁理士法人東海特許事務所

(72)【発明者】

【氏名】グリゴーレ，ミルシア

【審査官】児玉 崇晶

(56)【参考文献】

【文献】特表２０１８－５３５４５９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００５０９８３（ＵＳ，Ａ１）

【文献】吉岡 豊，はじめてのＲＰＡ ＵｉＰａｔｈ入門，日本，株式会社秀和システム，2020年02月15日，pp.37-38, 42-50, 53, 61-66, 104, 165-166, 205

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ９／４５１

Ｇ０６Ｆ ８／３４

(57)【特許請求の範囲】

【請求項1】

非一時的なコンピュータ読み取り可能な媒体上に格納されたロボティックプロセスオートメーション（ＲＰＡ）のためのユーザーインターフェース（ＵＩ）オブジェクトライブラリを作成するためのコンピュータプログラムであって、前記プログラムは、少なくとも１つのプロセッサが、
ＵＩの画面に関連付けられたアプリケーションを検出し、
前記画面上のＵＩ要素を検出し、
ターゲットＵＩ要素の選択を受信し、
選択された前記ＵＩ要素のためのＵＩ記述子を生成し、ここで、生成された前記ＵＩ記述子は、前記画面上の前記ターゲットＵＩ要素を見つけるための命令のセットを含み、前記ＵＩ記述子は、ＵＩ要素セレクタ、アンカーセレクタ、コンピュータビジョン（ＣＶ）記述子、統合されたターゲット記述子、画面イメージキャプチャ、要素イメージキャプチャ、またはそれらの組み合わせを含み、
選択された前記ＵＩ要素のための生成された前記ＵＩ記述子をそれぞれのＲＰＡワークフローアクティビティに追加し、
ＵＩオブジェクトリポジトリにおける前記ＵＩ記述子を含むＵＩオブジェクトライブラリを作成して公開するように構成される、コンピュータプログラム。

【請求項2】

前記ＵＩ記述子は、ドライバを使用してベストマッチに基づいて生成されたセレクタであるかまたはそれを含む、請求項１に記載のコンピュータプログラム。

【請求項3】

前記ＲＰＡワークフローアクティビティは、セレクタベースの特定アクティビティ、コンピュータビジョン（ＣＶ）ベースの特定アクティビティ、統合されたターゲット特定アクティビティ、画像マッチング特定アクティビティ、またはセレクタおよび光学的文字認識（ＯＣＲ）ベースの特定アクティビティであるかまたはそれを含む、請求項１に記載のコンピュータプログラム。

【請求項4】

前記ＵＩの前記画面に関連付けられた前記アプリケーションの検出は、前記アプリケーションと前記アプリケーションのバージョンを自動的に検出することを含み、
検出された前記アプリケーションおよび前記アプリケーションのバージョンが前記ＲＰＡワークフローアクティビティのために追加される、請求項１に記載のコンピュータプログラム。

【請求項5】

前記プログラムはさらに、前記少なくとも１つのプロセッサが、
前記ＲＰＡワークフローアクティビティを含むＲＰＡワークフローにおけるアクティビティからＵＩ記述子を抽出し、
抽出された前記ＵＩ記述子を、ＵＩアプリケーション、バージョン、画面、およびＵＩ要素ごとに前記ＵＩ記述子をグループ化する構造化スキーマに追加するように構成される、請求項１に記載のコンピュータプログラム。

【請求項6】

前記構造化スキーマは、異なる画面においてＵＩ要素間の関係を含むオントロジーに配置される、請求項５に記載のコンピュータプログラム。

【請求項7】

検出された前記アプリケーションは、ウェブアプリケーションであり、前記ＵＩ記述子は、対応するセレクタのためのそれぞれのＵＩ要素へのハイパーテキストマークアップ言語（ＨＴＭＬ）パスを含む、請求項１に記載のコンピュータプログラム。

【請求項8】

前記プログラムは、ＲＰＡ開発者アプリケーションであるまたはそれを含む、請求項１に記載のコンピュータプログラム。

【請求項9】

前記プログラムはさらに、前記少なくとも１つのプロセッサが、
ＵＩオブジェクトリポジトリから１または複数の他のオブジェクトライブラリを受信し、
作成された前記ＵＩオブジェクトライブラリおよび前記１または複数の他のオブジェクトライブラリを表示するように構成される、請求項１に記載のコンピュータプログラム。

【請求項10】

前記プログラムは、ＵＩオブジェクトリポジトリの１または複数のＵＩオブジェクトライブラリにおけるＵＩ記述子を表示するＵＩオブジェクトブラウザであるかまたはそれを含み、前記１または複数のＵＩオブジェクトライブラリは、アプリケーションおよびバージョンによって編成される、請求項１に記載のコンピュータプログラム。

【請求項11】

前記ＲＰＡワークフローアクティビティは、コンピュータビジョン（ＣＶ）ベースのアクティビティであるかまたはそれを含み、前記プログラムはさらに、前記少なくとも１つのプロセッサが、
前記ＵＩの前記画面上でＣＶを実行して、前記画面上のＵＩ要素を特定し、
前記ＣＶによって特定される選択可能なコンポーネントを含む前記ＵＩの前記画面を表示し、
前記ターゲットＵＩ要素を一意に特定するのに役立つ１または複数のアンカーＵＩ要素の選択を受信し、
前記１または複数のアンカーを前記ＲＰＡワークフローアクティビティに追加して、前記ターゲットＵＩ要素の特定を支援するように構成される、請求項１に記載のコンピュータプログラム。

【請求項12】

前記ＲＰＡワークフローアクティビティは、統合されたターゲットベースのアクティビティであるかまたはそれを含み、前記ターゲットＵＩ要素を一意に特定できない場合、前記プログラムはさらに、前記少なくとも１つのプロセッサが、
前記ターゲットＵＩ要素を一意に特定するのに役立つ１または複数のアンカーＵＩ要素の選択を受信し、
選択された前記１または複数のアンカーＵＩ要素が、少なくとも最小の検証スコアで前記ターゲットＵＩ要素を一意に特定することを検証し、
選択された前記１または複数のアンカーＵＩ要素が、少なくとも前記最小の検証スコアで前記ターゲットＵＩ要素を一意に特定する場合、
前記１または複数のアンカーを前記ＲＰＡワークフローアクティビティに追加して、前記ターゲットＵＩ要素の特定を支援するように構成される、請求項１に記載のコンピュータプログラム。

【請求項13】

前記ＲＰＡワークフローアクティビティは、画像マッチング技術を使用してユーザーによって指定された前記画面上の画像を検索する画像マッチングベースのアクティビティであるかまたはそれを含む、請求項１に記載のコンピュータプログラム。

【請求項14】

前記ＲＰＡワークフローアクティビティは、ドライバを使用してベストマッチに基づいて生成されたセレクタと前記ターゲットＵＩ要素に関連付けられたテキストのＯＣＲとの組み合わせを使用して、前記ターゲットＵＩ要素を特定するセレクタおよび光学的文字認識（ＯＣＲ）ベースのアクティビティであるかまたはそれを含む、請求項１に記載のコンピュータプログラム。

【請求項15】

前記プログラムはさらに、前記少なくとも１つのプロセッサが、
前記ＲＰＡワークフローアクティビティを含む複数のＲＰＡワークフローアクティビティを論理関係に構成する、請求項１に記載のコンピュータプログラム。

【請求項16】

前記プログラムはさらに、前記少なくとも１つのプロセッサが、
前記ＲＰＡワークフローアクティビティを含むＲＰＡワークフローを実装するＲＰＡロボットを生成するように構成される、請求項１に記載のコンピュータプログラム。

【請求項17】

生成された前記ＵＩ記述子は、検出された前記アプリケーションの新しいバージョン用である、請求項１に記載のコンピュータプログラム。

【請求項18】

非一時的なコンピュータ読み取り可能な媒体上に格納されたコンピュータプログラムであって、前記プログラムは、少なくとも１つのプロセッサが、
アプリケーションの画面上のターゲットユーザーインターフェース（ＵＩ）要素の選択を受信し、
選択された前記ＵＩ要素のためのＵＩ記述子を生成し、ここで、生成された前記ＵＩ記述子は、前記画面上の前記ターゲットＵＩ要素を見つけるための命令のセットを含み、前記ＵＩ記述子は、ＵＩ要素セレクタ、アンカーセレクタ、コンピュータビジョン（ＣＶ）記述子、統合されたターゲット記述子、画面イメージキャプチャ、要素イメージキャプチャ、またはそれらの組み合わせを含み、
選択された前記ＵＩ要素のための生成された前記ＵＩ記述子を、それぞれのロボティックプロセスオートメーション（ＲＰＡ）ワークフローアクティビティに追加するように構成され、
前記ＲＰＡワークフローアクティビティは、コンピュータビジョン（ＣＶ）ベースの特定アクティビティまたは統合されたターゲット特定アクティビティであるかまたはこれを含む、コンピュータプログラム。

【請求項19】

前記プログラムはさらに、前記少なくとも１つのプロセッサが、
前記ＲＰＡワークフローアクティビティを含むＲＰＡワークフローにおけるアクティビティからＵＩ記述子を抽出し、
抽出された前記ＵＩ記述子を、ＵＩアプリケーション、バージョン、画面、およびＵＩ要素ごとに前記ＵＩ記述子をグループ化する構造化スキーマに追加するように構成される、請求項１８に記載のコンピュータプログラム。

【請求項20】

前記構造化スキーマは、異なる画面においてＵＩ要素間の関係を含むオントロジーに配置される、請求項１９に記載のコンピュータプログラム。

【請求項21】

前記プログラムはさらに、前記少なくとも１つのプロセッサが、
ＵＩオブジェクトリポジトリにおける前記ＵＩ記述子を含むＵＩオブジェクトライブラリを作成して公開するように構成される、請求項１８に記載のコンピュータプログラム。

【請求項22】

前記プログラムは、ＵＩオブジェクトリポジトリの１または複数のＵＩオブジェクトライブラリにおけるＵＩ記述子を表示するＵＩオブジェクトブラウザであるかまたはそれを含み、前記１または複数のＵＩオブジェクトライブラリは、アプリケーションおよびバージョンによって編成される、請求項１８に記載のコンピュータプログラム。

【請求項23】

前記ＲＰＡワークフローアクティビティはＣＶベースのアクティビティであるかまたはそれを含み、前記プログラムはさらに、前記少なくとも１つのプロセッサが、
前記ＵＩの前記画面上でＣＶを実行して、前記画面上のＵＩ要素を特定し、
前記ＣＶによって特定される選択可能なコンポーネントを含む前記ＵＩの前記画面を表示し、
前記ターゲットＵＩ要素を一意に特定するのに役立つ１または複数のアンカーＵＩ要素の選択を受信し、
前記１または複数のアンカーを前記ＲＰＡワークフローアクティビティに追加して、前記ターゲットＵＩ要素の特定を支援するように構成される、請求項１８に記載のコンピュータプログラム。

【請求項24】

前記ＲＰＡワークフローアクティビティは、統合されたターゲットベースのアクティビティであるかまたはそれを含み、前記ターゲットＵＩ要素を一意に特定できない場合、前記プログラムはさらに、前記少なくとも１つのプロセッサが、
前記ターゲットＵＩ要素を一意に特定するのに役立つ１または複数のアンカーＵＩ要素の選択を受信し、
選択された前記１または複数のアンカーＵＩ要素が、少なくとも最小の検証スコアで前記ターゲットＵＩ要素を一意に特定することを検証し、
選択された前記１または複数のアンカーＵＩ要素が、少なくとも前記最小の検証スコアで前記ターゲットＵＩ要素を一意に特定する場合、
前記１または複数のアンカーを前記ＲＰＡワークフローアクティビティに追加して、前記ターゲットＵＩ要素の特定を支援するように構成される、請求項１８に記載のコンピュータプログラム。

【請求項25】

非一時的なコンピュータ読み取り可能な媒体上に格納されたロボティックプロセスオートメーション（ＲＰＡ）開発者アプリケーションであって、前記ＲＰＡ開発者アプリケーションは、少なくとも１つのプロセッサが、
ユーザーインターフェース（ＵＩ）の画面に関連付けられたアプリケーションを検出し、
前記画面上のＵＩ要素を検出し、
ターゲットＵＩ要素の選択を受信し、
選択された前記ＵＩ要素のためのＵＩ記述子を生成し、ここで、生成された前記ＵＩ記述子は、前記画面上の前記ターゲットＵＩ要素を見つけるための命令のセットを含み、前記ＵＩ記述子は、ＵＩ要素セレクタ、アンカーセレクタ、コンピュータビジョン（ＣＶ）記述子、統合されたターゲット記述子、画面イメージキャプチャ、要素イメージキャプチャ、またはそれらの組み合わせを含み、
選択された前記ＵＩ要素のための生成された前記ＵＩ記述子をそれぞれのＲＰＡワークフローアクティビティに追加するように構成され、
前記ＲＰＡワークフローアクティビティは、セレクタベースの特定アクティビティ、コンピュータビジョン（ＣＶ）ベースの特定アクティビティ、統合されたターゲット特定アクティビティ、画像マッチング特定アクティビティ、またはセレクタおよび光学的文字認識（ＯＣＲ）ベースの特定アクティビティであるかまたはそれを含み、
前記ＲＰＡアプリケーションは、ＵＩオブジェクトリポジトリの１または複数のＵＩオブジェクトライブラリにおけるＵＩ記述子を表示するＵＩオブジェクトブラウザを含み、前記１または複数のＵＩオブジェクトライブラリは、アプリケーションおよびバージョンによって編成される、ＲＰＡ開発者アプリケーション。

【請求項26】

前記ＲＰＡ開発者アプリケーションはさらに、前記少なくとも１つのプロセッサが、
前記ＵＩオブジェクトリポジトリにおける前記ＵＩ記述子を含むＵＩオブジェクトライブラリを作成して公開するように構成され、
生成された前記ＵＩ記述子は、検出された前記アプリケーションの新しいバージョン用である、請求項２５に記載のＲＰＡ開発者アプリケーション。

【請求項27】

前記ＲＰＡ開発者アプリケーションはさらに、前記少なくとも１つのプロセッサが、
前記ＲＰＡワークフローアクティビティを含むＲＰＡワークフローにおけるアクティビティからＵＩ記述子を抽出し、
抽出された前記ＵＩ記述子を、ＵＩアプリケーション、バージョン、画面、およびＵＩ要素ごとに前記ＵＩ記述子をグループ化する構造化スキーマに追加するように構成され、
前記構造化スキーマは、異なる画面においてＵＩ要素間の関係を含むオントロジーに配置される、請求項２５に記載のＲＰＡ開発者アプリケーション。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願への相互参照）
本出願は、２０２０年７月７日に出願された米国非仮特許出願第１６／９２２，２８９号の利益を主張する。先に提出された本出願の主題は、その全体を参照することにより、本明細書に組み込まれる。

【0002】

本発明は概して、ロボティックプロセスオートメーション（ＲＰＡ）に関し、より具体的には、ＲＰＡ用のユーザーインターフェース（ＵＩ）オブジェクト記述子、ＵＩオブジェクトライブラリ、ＵＩオブジェクトリポジトリ、および／またはＵＩオブジェクトブラウザに関する。

【背景技術】

【0003】

ユーザーインターフェース（ＵＩ）でのＲＰＡオートメーションの場合、開発者は通常、ＵＩアクションごとに記述子（例えば、セレクタ）を構築する。通常、デフォルトの記述子が生成される。ただし、信頼できる記述子を構築すると、トラブルシューティングおよび試行錯誤の開発に開発者の時間がかかり得、効率的ではない場合がある。また、同じ記述子が必要な場合の記述子の再利用性も欠如する。さらに、システムおよびアプリケーションが変更またはアップグレードされる場合、プロセスのアップグレードパスは単純ではない場合がある。したがって、改良されたアプローチが有益であり得る。

【発明の概要】

【0004】

本発明の特定の実施形態は、現在のＲＰＡ技術によってまだ十分に特定されていない、評価されていない、または解決されていない本分野における問題およびニーズのソリューションを提供し得る。例えば、本発明のいくつかの実施形態は、ＲＰＡ用のＵＩ記述子、ＵＩオブジェクトライブラリ、ＵＩオブジェクトリポジトリ、および／またはＵＩオブジェクトブラウザに関する。

【0005】

実施形態では、ＲＰＡ用のユーザーインターフェース（ＵＩ）オブジェクトライブラリを作成するためのコンピュータプログラムが、非一時的なコンピュータ読み取り可能な媒体上に格納される。プログラムは、少なくとも１つのプロセッサが、ＵＩの画面に関連付けられたアプリケーションを検出し、画面上のＵＩ要素を検出するように構成される。プログラムはまた、少なくとも１つのプロセッサが、ターゲットＵＩ要素の選択を受信し、選択されたＵＩ要素のためのＵＩ記述子を生成し、選択されたＵＩ要素のための生成されたＵＩ記述子をそれぞれのＲＰＡワークフローアクティビティに追加するように構成される。プログラムはさらに、少なくとも１つのプロセッサが、ＵＩオブジェクトリポジトリにおけるＵＩ記述子を含むＵＩオブジェクトライブラリを作成し公開するように構成される。

【0006】

別の実施形態では、コンピュータプログラムは、非一時的なコンピュータ読み取り可能な媒体上に格納される。プログラムは、少なくとも１つのプロセッサが、アプリケーションの画面上のターゲットＵＩ要素の選択を受信し、選択されたＵＩ要素のためのＵＩ記述子を生成するように構成される。プログラムはまた、少なくとも１つのプロセッサが、選択されたＵＩ要素のための生成されたＵＩ記述子をそれぞれのＲＰＡワークフローアクティビティに追加するように構成される。ＲＰＡワークフローアクティビティは、ＣＶベースの特定アクティビティまたは統合されたターゲット特定アクティビティであるかまたはそれを含む。

【0007】

さらに別の実施形態では、ＲＰＡ開発者アプリケーションは、非一時的なコンピュータ読み取り可能な媒体上に格納される。ＲＰＡ開発者アプリケーションは、少なくとも１つのプロセッサが、ＵＩの画面に関連付けられたアプリケーションを検出し、画面上のＵＩ要素を検出するように構成される。ＲＰＡ開発者アプリケーションはまた、少なくとも１つのプロセッサが、ターゲットＵＩ要素の選択を受信し、選択されたＵＩ要素のためのＵＩ記述子を生成するように構成される。ＲＰＡ開発者アプリケーションはさらに、少なくとも１つのプロセッサが、選択されたＵＩ要素のための生成されたＵＩ記述子をそれぞれのＲＰＡワークフローアクティビティに追加するように構成される。ＲＰＡワークフローアクティビティは、セレクタベースの特定アクティビティ、ＣＶベースの特定アクティビティ、統合されたターゲット特定アクティビティ、画像マッチング特定アクティビティ、またはセレクタおよびＯＣＲベースの特定アクティビティであるかまたはそれを含む。ＲＰＡアプリケーションは、ＵＩオブジェクトリポジトリの１または複数のＵＩオブジェクトライブラリにおけるＵＩ記述子を表示するＵＩオブジェクトブラウザを含み、１または複数のＵＩオブジェクトライブラリは、アプリケーションおよびバージョンによって編成される。

【図面の簡単な説明】

【0008】

本発明の特定の実施形態の利点が容易に理解されるように、上記で簡単に説明した本発明のより特定の説明は、添付の図面に図示されている特定の実施形態を参照して描写される。これらの図面は、本発明の典型的な実施形態のみを描いており、したがって、その範囲を限定するものとは考えられないことが理解されるべきであるが、本発明は、以下の添付の図面を使用することにより、さらなる特定および詳細をもって描写され、説明されるであろう。

【0009】

【図1】本発明の実施形態による、ロボティックプロセスオートメーション（ＲＰＡ）システムを示すアーキテクチャ図である。

【0010】

【図2】本発明の実施形態による、展開したＲＰＡシステムを示すアーキテクチャ図である。

【0011】

【図3】本発明の実施形態による、デザイナ、アクティビティ、およびドライバの間の関係を示すアーキテクチャ図である。

【0012】

【図4】本発明の実施形態による、ＲＰＡシステムを示すアーキテクチャ図である。

【0013】

【図5】本発明の実施形態による、ＲＰＡ用のＵＩ記述子、オブジェクトライブラリ、ＵＩオブジェクトリポジトリ、および／またはオブジェクトブラウザを提供するように構成されたコンピューティングシステムを示すアーキテクチャ図である。

【0014】

【図6A】本発明の実施形態による、ＲＰＡデザイナアプリケーションを示すスクリーンショットである。

【0015】

【図6B】Ｗｉｎｄｏｗｓ（登録商標）７の計算機標準ビュー画面およびビューセレクタタブを示すスクリーンショットである。

【0016】

【図6C】本発明の実施形態による、図６Ａに示すＲＰＡ開発アプリケーションのアウトラインペインにおけるシーケンスを示す拡大されたスクリーンショットビューである。

【0017】

【図6D】本発明の実施形態による、図６Ａに示すＲＰＡ開発アプリケーションのスニペットペインを示す拡大されたスクリーンショットビューである。

【0018】

【図6E】本発明の実施形態による、各アクティビティのためのそれぞれのＵＩ要素のスクリーンショットを有するＲＰＡワークフローのアクティビティを示すスクリーンショットである。

【図6F】本発明の実施形態による、各アクティビティのためのそれぞれのＵＩ要素のスクリーンショットを有するＲＰＡワークフローのアクティビティを示すスクリーンショットである。

【0019】

【図6G】本発明の実施形態による、ワークフローアクティビティのためのオプションのメニューを示すスクリーンショットである。

【0020】

【図6H】本発明の実施形態による、プロパティペインに示されるクリックアクティビティのためのプロパティを有するＲＰＡデザイナアプリケーションを示すスクリーンショットである。

【0021】

【図6I】本発明の実施形態による、図６Ｈに示すＲＰＡ開発アプリケーションのプロパティペインを示す拡大されたスクリーンショットである。

【0022】

【図6J】本発明の実施形態による、ＵＩオブジェクトブラウザペインを有するＲＰＡデザイナアプリケーションを示すスクリーンショットである。

【0023】

【図6K】本発明の実施形態による、図６Ｊに示すＲＰＡ開発アプリケーションのＵＩオブジェクトブラウザペインのＵＩ記述子ビューを示す拡大されたスクリーンショットである。

【0024】

【図6L】本発明の実施形態による、図６Ｊに示すＲＰＡ開発アプリケーションのＵＩオブジェクトブラウザペインのＵＩ記述子ビューを示す拡大されたスクリーンショットである。

【0025】

【図6M】本発明の実施形態による、ＵＩオブジェクトブラウザペインのＵＩアクティビティビューを示すクリーンショットである。

【0026】

【図6N】本発明の実施形態による、セレクタをＲＰＡワークフローの所望のアクティビティにドロップするためのドラッグアンドドロップ機能を示すスクリーンショットである。

【0027】

【図6O】Ｗｉｎｄｏｗｓ（登録商標）１０計算機を示すスクリーンショットである。

【0028】

【図6P】本発明の実施形態による、Ｗｉｎｄｏｗｓ（登録商標）１０計算機セレクタを有するＵＩオブジェクトブラウザペインのＵＩアクティビティビューを示すスクリーンショットである。

【0029】

【図6Q】本発明の実施形態による、Ｗｉｎｄｏｗｓ（登録商標）１０計算機のための各アクティビティのそれぞれのＵＩ要素の更新されたスクリーンショットを含む、ＲＰＡワークフローのアクティビティの一部を示すスクリーンショットである。

【0030】

【図6R】本発明の実施形態による、公開ＵＩオブジェクトライブラリウィンドウを示すスクリーンショットである。

【0031】

【図6S】本発明の実施形態による、管理パッケージウィンドウを示すスクリーンショットである。

【0032】

【図6T】本発明の実施形態による、ＵＩオブジェクトライブラリに追加されたＷｉｎｄｏｗｓ（登録商標）１０計算機セレクタを有するＵＩオブジェクトブラウザペインのＵＩアクティビティビューを示すスクリーンショットである。

【0033】

【図7A】本発明の実施形態による、ＲＰＡデザイナアプリケーションを示すスクリーンショットである。

【0034】

【図7B】本発明の実施形態による、３つの異なるＵＩ要素検出技術を使用するように構成され得るＲＰＡワークフローを示すスクリーンショットである。

【0035】

【図7C】本発明の実施形態による、開発者が「画面上に表示（ｉｎｄｉｃａｔｅ ｏｎ ｓｃｒｅｅｎ）」を選択した後にＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）によって変更されたＷｉｎｄｏｗｓ（登録商標）１０計算機を示すスクリーンショットである。

【0036】

【図7D】本発明の実施形態による、Ｗｉｎｄｏｗｓ（登録商標）１０計算機から選択されたＵＩ要素のスクリーンショットを含む図７ＢのＲＰＡワークフローを示すスクリーンショットである。

【0037】

【図7E】本発明の実施形態による、アクティビティオプションメニューを示すスクリーンショットである。

【0038】

【図7F】本発明の実施形態による、セレクタエディタを示すスクリーンショットである。

【0039】

【図7G】本発明の実施形態による、ＵＩオブジェクトライブラリ機能への追加を示すスクリーンショットである。

【0040】

【図7H】本発明の実施形態による、ＵＩ記述子ペインを示すスクリーンショットである。

【0041】

【図7I】本発明の実施形態による、画面要素およびラベルメッセージを検出することを含むＲＰＡワークフローを示すスクリーンショットである。

【0042】

【図7J】本発明の実施形態による、検索インターフェースを示すスクリーンショットである。

【0043】

【図7K】本発明の実施形態による、ＣＶベースの特定アクティビティを示すスクリーンショットである。

【0044】

【図7L】本発明の実施形態による、開発者がＣＶクリックインターフェースで「範囲を表示（ｉｎｄｉｃａｔｅ ｏｎ ｓｃｏｐｅ）」を選択した後にＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）によって変更されたＷｉｎｄｏｗｓ（登録商標）１０計算機を示すスクリーンショットである。

【0045】

【図7M】本発明の実施形態による、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）によって変更されたＷｉｎｄｏｗｓ（登録商標）１０計算機と、開発者がターゲットを選択した後のＣＶクリックインターフェースとを示すスクリーンショットである。

【0046】

【図7N】本発明の実施形態による、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）によって変更されたＷｉｎｄｏｗｓ（登録商標）１０計算機と、開発者がターゲットの選択およびアンカーの選択を行った後のＣＶクリックインターフェースとを示すスクリーンショットである。

【0047】

【図7O】本発明の実施形態による、ＣＶベースの特定アクティビティがターゲットおよびアンカーで構成された後のワークフローにおけるＣＶベースの特定アクティビティを示すスクリーンショットである。

【0048】

【図7P】本発明の実施形態による、記述子プロパティを伴うＣＶクリックを伴うプロパティタブを示すスクリーンショットである。

【0049】

【図7Q】本発明の実施形態による、統合されたターゲットベースの特定アクティビティを示すスクリーンショットである。

【0050】

【図7R】本発明の実施形態による、統合されたターゲットクリックアクティビティが強調された検索インターフェースを示すスクリーンショットである。

【0051】

【図7S】本発明の実施形態による、入れ子になった（ｎｅｓｔｅｄ）クリックアクティビティを伴う統合されたターゲットベースの特定アクティビティを示すスクリーンショットである。

【0052】

【図7T】本発明の実施形態による、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）によって変更されたＷｉｎｄｏｗｓ（登録商標）１０計算機および統合されたターゲット選択オプションウィンドウを示すスクリーンショットである。

【0053】

【図7U】本発明の実施形態による、選択されたターゲットを伴うＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）によって変更されたＷｉｎｄｏｗｓ（登録商標）１０計算機および統合されたターゲット選択オプションウィンドウを示すスクリーンショットである。

【0054】

【図7V】本発明の実施形態による、選択されたターゲットおよび選択されたアンカーを伴うＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）によって変更されたＷｉｎｄｏｗｓ（登録商標）１０計算機ならびに統合されたターゲット選択オプションウィンドウを示すスクリーンショットである。

【0055】

【図7W】本発明の実施形態による、統合されたターゲット選択オプションウィンドウを介して検証された、選択されたターゲットおよび選択されたアンカーを伴うＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）によって変更されたＷｉｎｄｏｗｓ（登録商標）１０計算機を示すスクリーンショットである。

【0056】

【図7X】本発明の実施形態による、入れ子になった（ｎｅｓｔｅｄ）クリックアクティビティにおけるターゲットおよびアンカーのスクリーンショットを伴う統合されたターゲットベースの特定アクティビティを示すスクリーンショットである。

【0057】

【図7Y】本発明の実施形態による、ワークフローに追加されたクリック画像アクティビティを示すスクリーンショットである。

【0058】

【図7Z】本発明の実施形態による、クリックされる画像の周りに描かれたボックスを伴うＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）によって変更されたＷｉｎｄｏｗｓ（登録商標）１０計算機のスクリーンショットおよびクリック画像アクティビティにおける選択ボックスからの画像のスクリーンショットを示す。

【0059】

【図7a】本発明の実施形態による、クリック画像アクティビティプロパティを含むプロパティタブを示すスクリーンショットである。

【0060】

【図7b】本発明の実施形態による、クリックされる画像のためのセレクタのセレクタエディタを示すスクリーンショットである。

【0061】

【図7c】本発明の実施形態による、ワークフローにおけるクリックＯＣＲテキストアクティビティを示すスクリーンショットである。

【0062】

【図7d】本発明の実施形態による、クリックされるボタンのスクリーンショットを含むクリックＯＣＲテキストアクティビティを示すスクリーンショットである。

【0063】

【図8】本発明の実施形態による、セレクタベースのアクティビティを生成するためのプロセスを示すフローチャートである。

【0064】

【図9】本発明の実施形態による、ＣＶ記述子ベースのアクティビティを生成するためのプロセスを示すフローチャートである。

【0065】

【図10】本発明の実施形態による、統合されたターゲットベースのアクティビティを生成するためのプロセスを示すフローチャートである。

【0066】

【図11】本発明の実施形態による、画像マッチングアクティビティを生成するためのプロセスを示すフローチャートである。

【0067】

【図12】本発明の実施形態による、セレクタおよびＯＣＲベースのアクティビティを生成するためのプロセスを示すフローチャートである。

【0068】

【図13】本発明の実施形態による、複数の特定技法を使用するＲＰＡワークフローを生成するためのプロセスを示すフローチャートである。

【0069】

【図14】本発明の実施形態による、ＵＩオブジェクトライブラリを作成し、アプリケーションの新しいバージョンと連携するプロジェクトを構成するためのプロセスを示すフローチャートである。

【発明を実施するための形態】

【0070】

別段の記載がない限り、類似の参照文字は、添付の図面全体で一貫して対応する特徴を示す。

【0071】

（実施形態の詳細な説明）
いくつかの実施形態は、ＲＰＡ用のＵＩ記述子、ＵＩオブジェクトライブラリ、ＵＩオブジェクトリポジトリ、および／またはＵＩオブジェクトブラウザに関する。画面上のＵＩ要素（例えば、テキストフィールド、ボタン、ラベル、メニュー、チェックボックスなど）は、アプリケーション、アプリケーションバージョン、アプリケーション画面、およびＵＩ要素の収集によってグループ化され得、各画面は複数のＵＩ要素を有する。本明細書で使用されるように、「画面」とは、ある時点でのアプリケーションＵＩまたはアプリケーションＵＩの一部の画像である。「アプリケーション」または所定のアプリケーションのバージョンは、このコンテキストでは画面の組み合わせであってもよい。各ＵＩ要素は、いくつかの実施形態では、１または複数のＵＩ記述子によって記述され得る。ＵＩ要素、ＵＩ記述子、アプリケーション、およびアプリケーション画面は、ＵＩオブジェクトである。いくつかの実施形態では、ＵＩ要素および画面は、特定のタイプのＵＩ要素（例えば、ボタン、チェックボックス、テキストフィールドなど）および画面（例えば、トップウィンドウ、モーダルウィンドウ、ポップアップウィンドウなど）にさらに区別されてもよい。

【0072】

ＵＩオブジェクトブラウザは、アプリケーション、アプリケーションバージョン、アプリケーション画面、ＵＩ要素の収集、それらの組み合わせなどによってグループ化され得るＵＩオブジェクトのライブラリにアクセスし得る。いくつかの実施形態では、ＵＩオブジェクトライブラリは、ＵＩオブジェクトリポジトリに格納され得る。本明細書で使用される場合、ＵＩオブジェクトリポジトリは、ＵＩオブジェクトライブラリの収集である。いくつかの実施形態では、ＵＩオブジェクトリポジトリは、ＮｕＧｅｔ（商標）フィード、ウェブサービスなどであり得る。

【0073】

オブジェクトブラウザは、いくつかの実施形態では、ＵＩオブジェクトリポジトリにおけるＵＩオブジェクトライブラリを案内、管理、および編集するために使用され得る。いくつかの実施形態におけるＵＩオブジェクトライブラリのＵＩオブジェクトリポジトリは、プロジェクトにおけるＵＩ記述子の管理、再利用、および信頼性の向上を容易にし得る。いくつかの実施形態では、ＵＩ記述子はＵＩライブラリに追加され、ＵＩオブジェクトリポジトリでグローバルに再利用するために公開または再公開され得る。ＵＩオブジェクトブラウザは、ＵＩオブジェクトリポジトリおよびそのＵＩオブジェクトライブラリへのアクセスを提供することにより、ＵＩ要素特定フレームワークおよびその派生物の再利用を容易にし得る。

【0074】

ＵＩオブジェクトを再利用可能にするために、ＲＰＡ処理で参照可能なＵＩオブジェクトライブラリに抽出され得る。例えば、アプリケーションの新しいバージョンが原因でセレクタまたは他のＵＩ記述子が変更された場合、ライブラリは、変更されたＵＩ記述子を含めるために再作製（または再公開）され得る。次いで、ＵＩオブジェクトライブラリを使用するＲＰＡプロセスは、変更されたＵＩ記述子のバージョンを呼び出し得る。新しいライブラリに関連する新しいアプリケーションプログラミングインターフェース（ＡＰＩ）への参照は、開発者がＲＰＡプロセスのために手動で変更することも、ソフトウェアツール（例えば、ＲＰＡプロセスを経て、セレクタまたはその他のコンポーネントが変更されたときにＵＩ記述子参照を更新するツール）を介して変更することも、またはいくつかの実施形態では自動的に変更することもできる。

【0075】

いくつかの実施形態では、ＵＩオブジェクトのパッケージが依存関係として添付され得る（例えば、ＮｕＧｅｔ（商標）パッケージ）。しかしながら、特定の実施形態では、ＵＩオブジェクトは、ウェブサービスへの１または複数のＡＰＩ呼び出しを介して取得され得る。これにより、ＵＩオブジェクトをリモートで格納し、自動化の間に取得して使用し得る。

【0076】

以前は、ＵＩ記述子の初期構築には、ＵＩ記述子の背後で何が起こっているかについて技術的な知識を持つ開発者が必要であった。しかし、多くのＲＰＡプロセスは、ソフトウェア開発者によって構築されなくなった。これらの個人は、例えば、ＵｉＰａｔｈ ＳｔｕｄｉｏＸ（商標）を使用してＲＰＡワークフローを作成し得、これには、プログラミングに関する深い知識は必要ない。いくつかの実施形態は、ＲＰＡワークフローを作成する個人が記述子を再利用することを可能にし、これは、ＲＰＡワークフローを作成する個人が適切なＵＩ記述子を利用できる場合、ソフトウェア開発者が新しいＵＩ記述子を一から構築する必要がないため、時間を節約する。

【0077】

ＵＩオブジェクトライブラリに追加されたＵＩ要素は、ＲＰＡワークフローで使用するセレクタを表し得る。ＵＩでの特定のアクションを自動化するために、ＲＰＡロボットは、さまざまなウィンドウ、ボタン、ドロップダウンリスト、および／またはその他のグラフィカル要素とインタラクションし得る。通常、これは、ＵＩ要素の予想される画面位置を使用して行われる。しかし、これは信頼できない。

【0078】

いくつかの実施形態は、ＵＩ要素およびその親の属性をＸＭＬフラグメントに格納することで、固定座標特定に関連する問題を克服するセレクタを使用する。ＵＩが静的であるいくつかの実施形態では、セレクタは自動的に生成されてもよいが、いくつかのウェブアプリケーションなどのいくつかのソフトウェアプログラムでは、レイアウトが変化し、揮発性値を有する属性ノードが存在する。これらの変更は容易に予測できない場合があり、これは以前はいくつかのセレクタを手動で生成することを要求した。しかし、いくつかの実施形態のオブジェクトブラウザは、この問題を克服し得る。

【0079】

セレクタは、いくつかの実施形態においてＵＩ要素を検出するために使用され得るＵＩ記述子のタイプである。セレクタは、いくつかの実施形態では、以下の構造を有する。
＜ｎｏｄｅ＿１／＞＜ｎｏｄｅ＿２／＞．．．＜ｎｏｄｅ＿Ｎ／＞

【0080】

最後のノードは対象のＧＵＩ要素を表し、それ以前の全てのノードはその要素の親を表す。＜ｎｏｄｅ＿１＞は通常ルートノードと呼ばれ、アプリケーションのトップウィンドウを表す。

【0081】

各ノードは、選択されたアプリケーションの特定のレベルの正しい特定を支援する１または複数の属性を有してもよい。各ノードは、いくつかの実施形態では、以下の形式を有する。
＜ｕｉ＿ｓｙｓｔｅｍ ａｔｔｒ＿ｎａｍｅ＿１＝’ａｔｔｒ＿ｖａｌｕｅ＿１’．．．ａｔｔｒ＿ｎａｍｅ＿Ｎ＝’ａｔｔｒ＿ｖａｌｕｅ＿Ｎ’／＞

【0082】

全ての属性は、割り当てられた値を有し得、一定の値を有する属性が選択され得る。これは、アプリケーションが起動するたびに属性の値を変更すると、セレクタが関連する要素を正しく特定できなくなる可能性があるからである。

【0083】

ＵＩオブジェクトライブラリ記述子は、ＲＰＡワークフローアクティビティに直接追加され得、さもなくばアクティビティ用のカスタムセレクタを作製するために必要とされ得る開発者の時間を節約する。オブジェクトブラウザは、作成されたセレクタをオブジェクトライブラリに格納するデータベースを提供して、ＵＩ記述子の再利用を可能にすることができます。オブジェクトライブラリは、アプリケーションの特定のバージョンから１または複数の画面に対応するＵＩ記述子の収集として本明細書で定義される。ＵＩ記述子とは、ＵＩ要素を見つけるための命令のセットである。いくつかの実施形態におけるＵＩ記述子は、ＵＩ要素セレクタ（複数可）、アンカーセレクタ（複数可）、コンピュータビジョン（ＣＶ）記述子（複数可）、統合されたターゲット記述子（複数可）、画面イメージキャプチャ（コンテキスト）、要素イメージキャプチャ、他のメタデータ（例えば、アプリケーションおよびアプリケーションバージョン）、それらの組み合わせなどを含むカプセル化されたデータ／構造フォーマットである。カプセル化されたデータ／構造フォーマットは、プラットフォームへの将来のアップデートによって拡張可能であってもよく、上記の定義に限定されるものではない。画面上のＵＩ要素を特定するためのＵＩ記述子としては、本発明の範囲を逸脱することなく、任意の好適なものを使用することができる。統合されたターゲット記述子は、複数のタイプのＵＩ記述子を連結する。統合されたターゲット記述子は、有限状態機械（ＦＳＭ）のように機能し得、第１のコンテキストでは、第１のＵＩ記述子メカニズムが適用され、第２のコンテキストでは、第２のＵＩ記述子が適用される、などである。

【0084】

いくつかの実施形態では、ＲＰＡデザイナアプリケーションは、ユーザーが自動化を計画しているアプリケーションのタイプ（複数可）をユーザーに尋ね得る。例えば、ユーザーはＥｘｃｅｌ（登録商標）、Ｗｏｒｋｄａｙ（登録商標）、ＳＡＰ（登録商標）などを指定し得る。ＲＰＡアプリケーションには、これらのアプリケーションのためのＵＩオブジェクトライブラリに画面記述子が既に含まれているため、これらのアプリケーションを自動化する方法に関するロジックでアプリケーションがプログラムされ得る。これらのアプリケーションのさまざまなバージョンのすぐに使えるセレクタが利用可能であり、ユーザーは自動化するバージョン（複数可）を指定することができ得る。

【0085】

本明細書で使用されるように、用語「ユーザー」および「開発者」は互換的に使用される。ユーザー／開発者は、プログラミングおよび／または技術的な知識を持っている場合と持っていない場合がある。例えば、いくつかの実施形態では、ユーザー／開発者は、手動でコーディングすることなく、ＲＰＡワークフロー内のアクティビティを構成することにより、ＲＰＡワークフローを作成し得る。特定の実施形態では、これは、例えば、様々な機能をクリックしてドラッグアンドドロップすることによって行われてもよい。

【0086】

従来、セレクタを信頼できるものにするためには、テスト、固有のセレクタの詳細の理解などが必要である。これにより、技術的な知識のない個人にとって、セレクタの作成／改良は困難または不可能になる。一般的なＵＩ要素およびタスクのための作業セレクタのライブラリを提供することによって、いくつかの実施形態は、非技術者個人による生産で機能する自動化の開発を可能にする。ユーザーは、自動化するアプリケーションのバージョンの画面を指定でき、ＲＰＡ開発アプリケーションはその画面をフェッチし得る。次に、ユーザーは画面とインタラクションして、彼または彼女が何をしたいかを定義し得る。

【0087】

いくつかの実施形態では、新しいＵＩ記述子が作成され、および／または既存のＵＩ記述子が変更されると、共有可能で、共同的で、かつ潜在的にオープンソースであるＵＩオブジェクトライブラリのグローバルデータベースが構築され得る。特定の実施形態では、タクソノミおよびオントロジーが使用され得る。アプリケーション、バージョン、画面、ＵＩ要素、記述子などは、サブカテゴリの階層構造であるタクソノミとして定義され得る。

【0088】

しかし、現実世界の概念の多くは、タクソノミ的組織化には容易に役立たない。むしろ、それらは数学的オントロジーの概念に近いかもしれない。オントロジーでは、カテゴリ間の関係は必ずしも階層的ではない。例えば、画面上のボタンをクリックするとユーザーが別の画面に移動する場合、次の画面は階層にないため、その画面のタクソノミでは容易にキャプチャでされ得ない。このようなケースを表すグラフを作成する場合、アプリケーションのオブジェクトブラウザは、同じ画面または異なる画面上のＵＩ要素間のインタラクションの作成を可能にし、ＵＩ要素が互いにどのように関連しているかについてのより詳細な情報を提供するオントロジーとしてモデル化され得る。

【0089】

ＯＫボタンをクリックすると従業員画面が表示される例を考えてみる。オントロジー構造により、デザイナアプリケーションは、ユーザーが次の画面で従業員をフィルタリングすることを提案し得る。ＯＫボタンを介したこれらの画面間の関係のオントロジー情報により、デザイナアプリケーションはこれを行うことができる。必ずしもツリーではなく、アプリケーションが実際に行っていることに関連するグラフィカル構造を定義することで、より複雑で豊富な関係が捉えられ得る。

【0090】

いくつかの実施形態は、アプリケーションから画面およびＵＩ要素をより高速にフェッチすることを可能にするレコーダに関係するかまたはそれを含む。例えば、特定の画面に２５０の異なるＵＩ要素がある場合、それらを１つずつフェッチするには時間がかかり得る。画面ポインターを使用して、次いで編集可能なすべてのＵＩ要素をフェッチし得る。これは、ツリーまたはオントロジーの最初のバージョンを作成するのに役立ち得る。

【0091】

いくつかの実施形態では、オブジェクトブラウザはウェブサービスとして公開され得る。ユーザーが、セレクタまたはその他のＵＩ記述子を実行時に更新すると、適切に構成されていれば、ＲＰＡロボットはサービスの最新バージョンを呼び出し得る。これにより、ＲＰＡロボットは常に最新バージョンのＵＩ記述子を使用できる。

【0092】

ＲＰＡワークフロー内のアクティビティからＵＩ記述子が抽出され、ＵＩアプリケーション、画面、およびＵＩ要素ごとにＵＩ記述子をグループ化する構造化スキーマに追加され得る。ＵＩ記述子は、いくつかの実施形態では、広く再利用するための１つのプロジェクトの一部、テスト目的のためのグローバルリポジトリの一部、またはグローバルなプロジェクト間共有のためのＵＩオブジェクトライブラリの一部とし得る。いくつかの実施形態におけるオブジェクトライブラリは、アプリケーション、アプリケーションバージョン、および画面によってグループ化されたＵＩ記述子のカプセル化である。ＵＩ記述子が定義され、オブジェクトライブラリに追加され得、これは、いくつかの実施形態では、公開後に依存物として他のプロジェクトにインストールされ得る。これにより、ＵＩ記述子のオブジェクトライブラリは、再利用が可能になる。いくつかの実施形態におけるＵＩアプリケーションは、各バージョンが複数の画面を有する複数のバージョンを有するターゲットアプリケーションである。

【0093】

ＵＩオブジェクトリポジトリとＵＩ記述子の再利用は、さまざまな理由で有益であり得る。例えば、アプリケーション内のＵＩ要素の位置、外観、および／または機能が変更された場合、ＵＩ記述子が変更され得、その変更は、次いでＵＩ記述子を使用するアクティビティに伝搬され得る。このように、再利用性は、ＵＩにおけるグラフィカル要素の特定のレベルで提供され得る。

【0094】

これは、アプリケーションの新しいバージョンに対応するために、特に有益であり得る。新バージョンの場合、ソフトウェア開発者は、ＵＩ記述子を更新し、および／または少数の新しいセレクタを一から開発する必要があるだけでよく、開発時間を大幅に短縮することができる。例えば、ウェブページの場合、ハイパーテキストマークアップ言語（ＨＴＭＬ）が検査されて、対応するセレクタのためのＵＩ要素へのパスを取得し得る。対応するＵＩ要素のセレクタは、異なるウェブブラウザおよび／または同じウェブブラウザの異なるバージョンで異なる場合がある。この概念はまた、ビジュアルデスクトップ、サーバー、スマートフォン、およびタブレットのアプリケーションに適用されてもよい。ＵＩオブジェクトライブラリは、アプリケーションのための実際のセレクタを含むことができ、これは、上記のとおり、ＵＩ記述子の１つのタイプに過ぎない。ＵＩオブジェクトライブラリは、１または複数のアプリケーションのために、異なるタイプの複数のＵＩ記述子を持ち得る。ＵＩ記述子は、アプリケーションが構築された異なる技術を参照し得る。例えば、スタンドアロンのデスクトップ、ウェブ、およびモバイルアプリケーションのために、異なるＵＩ記述子が作製され、使用され得る。ある技術では、あなたはセレクタを使用したい場合があり、別ではあなたはＣＶ記述子を使用したい場合などがある。

【0095】

ＵＩ記述子は、いくつかの実施形態では、画像の検出および定義が実行される全てのＵＩ検出メカニズムを包含する統合されたターゲットと協働してもよい。統合されたターゲットは、ＵＩ要素を特定して自動化する複数の技術を、単一のまとまりのあるアプローチに併合してもよい。統合されたターゲットは、セレクタベースおよびドライバベースのＵＩ検出メカニズムを優先し、ＣＶにフォールバックして、最初の２つのメカニズムが成功しない場合に画像を見つけ得る。いくつかの実施形態では、統合されたターゲットを支持するようにセレクタエディタおよびＵＩエクスプローラが構成され得る。

【0096】

いくつかの実施形態では、デザイナアプリケーションは、１または複数のソースからオブジェクトライブラリをロードする「オブジェクトブラウザ」としてセクションまたはパネルを含む。このオブジェクトブラウザを使用すると、ユーザーはＵＩオブジェクトセット全体を視覚化し、ドラッグアンドドロップ、およびウィザード、またはコンテキストアクションを介して任意のＵＩ記述子を使用し得る。これにより、ユーザーは、クリック、テキストの取得、入力など、ＲＰＡワークフローアクティビティで実行されるアクションを選択できるようになり得る。

【0097】

オブジェクトライブラリの構造例を以下に示す。
・ＳＡＰ
・バージョン１
・画面１
・オブジェクト１
・オブジェクト２
・…
・画面２…
・…
・バージョン２…
・…
・セールスフォース…
・…

【0098】

上記の階層は、例としてのみ提供されていることに留意されたい。本発明の範囲から逸脱することなく、階層内の任意の所望の数のレベルおよび各レベルに関連する要素が使用され得る。特定の実施形態では、ユーザーは、アプリケーションマップを彼または彼女が所望するように定義し得る。さらに、ツリー内のいくつかのノードは、いくつかの実施形態では、管理的な役割のみを果たし、機能的な役割は果たさないかもしれない。例えば、ＵＩ要素は、ＵＩ記述子を持たないコンテナに一緒にグループ化され得る。コンテナは、いくつかの実施形態では、グループ化の目的だけのために存在し得る。

【0099】

範囲は、いくつかの実施形態では、オブジェクトライブラリで利用可能な画面のセットからの選択を通じて、ユーザーによってデザイナアプリケーションで定義され得る。範囲が特定の画面に１対１で結びつけられるとき、ユーザーは、ＵＩアクション（例えば、クリック、テキスト取得など）を追加し、次に、潜在的候補オプションのインテリジェントセンシングを使用して、それらのアクションをＵＩオブジェクトにマッピングし得る。オブジェクトのセットは、いくつかの実施形態では、ＵＩオブジェクトリポジトリ（例えば、ＵＩオブジェクトライブラリのデータベース）内部の画面に対して定義されるリストに限定され得る。

【0100】

例えば、アプリケーション画面、ＵＩ要素などの構造が決定されると、特定されたアプリケーションのリストが提供され得る。特定の実施形態では、ユーザーは、次いで自動化するアプリケーションを選択し、選択したアプリケーションをキャンバスにドラッグし、「ＳＡＰ」と書き、「．」を押すと、すべてのＳＡＰ（登録商標）画面がリストされ得る。画面を選択すると、追加の候補要素、機能などが表示され得る。これにより、ユーザーは予測されたＵＩ要素、機能、アプリケーション、および画面を選択できる。

【0101】

いくつかの実施形態では、ＯＬＤＢがＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）で構成される場合、例えば、「画面上に表示（ｉｎｄｉｃａｔｅ ｏｎ ｓｃｒｅｅｎ）」は、ＯＬＤＢを調べて、利用可能であればＵＩ記述子をピックアップし得る。ＵＩ記述子が利用できない場合、ＵＩ記述子は、欠落しているＵＩ要素を示すことによってユーザーにより定義され得る。次に、ＵＩ記述子が生成され、ＵＩオブジェクトライブラリで公開され得る。

【0102】

いくつかの実施形態におけるＵＩ記述子およびＵＩオブジェクトリポジトリの使用は、さらに拡張され得る関係およびデータを作成する。いくつかの実施形態では、自動化プロセスからのＵＩステップが単一の画面にマッピングされ得る。例えば、ユーザーがいくつかのデータを追加および取得してから送信を押すフォームを含む画面は、画面キャプチャとその画面で実行される各ＵＩステップを含む１つのスクリーンショットで文書化され得る。例えば、次のようになる：（１）コピーされた量；（２）コピーされた番号；（３）追加された名前；（４）クリックされた「ＯＫ」。

【0103】

システムおよびアプリケーションのアップグレードによって影響を受けるアップグレードプロセスの場合、「参照検索」サービスが実装され得る。参照検索サービスは、リポジトリから一連のプロジェクトをスキャンし、特定のアプリケーションバージョンに属するＵＩ記述子を使用しているプロセスを検出する機能を提供し得る。いくつかの実施形態では、アプリケーションバージョンは、ＵＩ記述子の対応する画面に基づいて決定され得る。さらに、アプリケーションの２つの異なるバージョンからの一致する要素を有するＵＩ記述子間の差異を検出するためのサービスが実装され得る。検出されたプロセスとＵＩ記述子の違いは、アプリケーションまたはシステムのアップグレード時に中断し得るプロセスに関する情報を提供する。これらのプロセスは、新しいアプリケーションバージョンからのＵＩ記述子を使用するように自動的に更新され得る。

【0104】

いくつかの実施形態では、ＯＬＤＢ分析を使用してＯＬＤＢ ＵＩオブジェクトリポジトリが強化され得る。ＵＩ記述子を抽出するメカニズムが実装され得る。抽出されたＵＩ記述子データは、作成／定義時間の前または後にＯＬＤＢ分析を介して送信され得る。さらに、いくつかの実施形態では、人工知能（ＡＩ）および機械学習（ＭＬ）技術を使用して、抽出されたＵＩ記述子データは、任意のアプリケーションの任意のバージョンの任意の画面からの各ＵＩ要素のＵＩ記述子の強度を向上させるために使用され得る新しいデータのセットを提供し得る。

【0105】

特定の実施形態は、ロボティックプロセスオートメーション（ＲＰＡ）に採用されてもよい。図１は、本発明の実施形態による、ＲＰＡシステム１００を示すアーキテクチャ図である。ＲＰＡシステム１００は、開発者がワークフローを設計して実装することを可能にするデザイナ１１０を含む。デザイナ１１０は、アプリケーション統合のためのソリューションを提供するとともに、サードパーティアプリケーション、管理情報技術（ＩＴ）タスク、およびビジネスＩＴプロセスを自動化する。デザイナ１１０は、ビジネスプロセスのグラフィック表現である自動化プロジェクトの開発を容易にし得る。簡単に言えば、デザイナ１１０は、ワークフローおよびロボットの開発および展開を容易にする。

【0106】

自動化プロジェクトは、本明細書で「アクティビティ」と定義されるワークフローで開発されたステップのカスタムセット間の遂行順序および関係の制御を開発者に与えることにより、ルールベースのプロセスの自動化を可能にする。デザイナ１１０の実施形態の商業的な一例は、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）である。各アクティビティは、ボタンをクリックする、ファイルを読む、ログパネルに書き込むなどのアクションを含み得る。いくつかの実施形態では、ワークフローは入れ子になっているか、または埋め込まれ得る。

【0107】

ワークフローのタイプには、シーケンス、フローチャート、ＦＳＭ、および／またはグローバル例外ハンドラなどを含み得るが、これらに限定されない。シーケンスは、ワークフローを乱雑にすることなく、あるアクティビティから別のアクティビティへのフローを可能にする、線形プロセスに特に適し得る。フローチャートは、特により複雑なビジネスロジックに適し得、複数の分岐ロジックオペレータを介して、より多様な方法で意思決定の統合およびアクティビティの接続を可能にする。ＦＳＭは、大規模なワークフローに特に適し得る。ＦＳＭは、条件（すなわち、遷移）またはアクティビティによりトリガされる有限の数の状態をそれらの遂行中に使用し得る。グローバル例外ハンドラは、遂行エラーに遭遇したときのワークフローの挙動を決定したり、プロセスをデバッグしたりするのに特に適し得る。

【0108】

ワークフローがデザイナ１１０内で開発されると、ビジネスプロセスの遂行は、コンダクタ１２０によって調整され、デザイナ１１０内で開発されたワークフローを遂行する１または複数のロボット１３０を調整する。コンダクタ１２０の実施形態の商業的な一例は、ＵｉＰａｔｈ Ｏｒｃｈｅｓｔｒａｔｏｒ（商標）である。コンダクタ１２０は、環境におけるリソースの生成、監視、および展開の管理を容易にする。コンダクタ１２０は、サードパーティのソリューションおよびアプリケーションとの統合ポイント、または統合ポイントの１つとして動作し得る。

【0109】

コンダクタ１２０は、全てのロボット１３０を管理し得、ロボット１３０を集中ポイントから接続して遂行する。管理され得るロボット１３０のタイプには、アテンディッドロボット１３２、アンアテンディッドロボット１３４、開発ロボット（アンアテンディッドロボット１３４と同様であるが、開発およびテストの目的で使用される）、および非生産ロボット（アテンディッドロボット１３２と同様であるが、開発およびテストの目的で使用される）が含まれるが、これらに限定されない。アテンディッドロボット１３２は、ユーザーイベントによってトリガされてもよいし、自動的に発生するようにスケジュールされてもよく、同じコンピューティングシステム上で人と並んで動作し得る。アテンディッドロボット１３２は、集中プロセスデプロイメントおよびロギング媒体のためのコンダクタ１２０とともに使用され得る。アテンディッドロボット１３２は、人のユーザーが様々なタスクを達成するのを支援してもよく、ユーザーイベントによってトリガされてもよい。いくつかの実施形態では、プロセスは、このタイプのロボット上でコンダクタ１２０から開始することができず、および／またはそれらはロックされた画面の下で実行することができない。特定の実施形態では、アテンディッドロボット１３２は、ロボットトレイからまたはコマンドプロンプトからのみ起動され得る。アテンディッドロボット１３２は、いくつかの実施形態では、人の監督下で動作することが好ましい。

【0110】

アンアテンディッドロボット１３４は、仮想環境または物理マシン上で無人で動作し、多くのプロセスを自動化することができる。アンアテンディッドロボット１３４は、リモート遂行、監視、スケジューリング、および作業キューのサポートの提供を担当し得る。全てのロボットタイプのためのデバッグは、いくつかの実施形態では、デザイナ１１０から実行され得る。アテンディッドロボットおよびアンアテンディッドロボットの両方は、メインフレーム、ウェブアプリケーション、ＶＭ、エンタープライズアプリケーション（例えば、ＳＡＰ（登録商標）、ＳａｌｅｓＦｏｒｃｅ（登録商標）、Ｏｒａｃｌｅ（登録商標）などにより生成されたもの）、およびコンピューティングシステムアプリケーション（例えば、デスクトップおよびラップトップアプリケーション、モバイルデバイスアプリケーション、ウェアラブルコンピュータアプリケーションなど）を含むが、これらに限定されない様々なシステムおよびアプリケーションを自動化し得る。

【0111】

コンダクタ１２０は、プロビジョニング、展開、バージョニング、構成、キューイング、監視、ロギング、および／または相互接続性の提供を含むがこれらに限定されない様々な能力を有し得る。プロビジョニングは、ロボット１３０とコンダクタ１２０（例えば、ウェブアプリケーション）との間の接続を作成し、維持することを含み得る。展開は、遂行のために割り当てられたロボット１３０へのパッケージバージョンの正しい配信を保証することを含み得る。バージョニングは、いくつかの実施形態では、いくつかのプロセスまたは構成の固有のインスタンスの管理を含んでもよい。構成は、ロボット環境およびプロセス構成の維持および配信を含み得る。キューイングは、キューおよびキュー項目の管理を提供することを含み得る。監視は、ロボットの特定データを追跡し、ユーザーの権限を維持することを含み得る。ロギングは、データベース（例えば、ＳＱＬデータベース）および／または別のストレージメカニズム（例えば、大規模なデータセットを格納し、迅速にクエリを実行する能力を提供するＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標））へのログの保存およびインデックス作成を含み得る。コンダクタ１２０は、サードパーティのソリューションおよび／またはアプリケーションのための通信の集中点として操作することにより、相互接続性を提供し得る。

【0112】

ロボット１３０は、デザイナ１１０で構築されたワークフローを実行する遂行エージェントである。ロボット（複数可）１３０のいくつかの実施形態の１つの商業的な例は、ＵｉＰａｔｈ Ｒｏｂｏｔｓ（商標）である。いくつかの実施形態では、ロボット１３０は、デフォルトで、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｉｃｅ Ｃｏｎｔｒｏｌ Ｍａｎａｇｅｒ（ＳＣＭ）管理サービスをインストールする。その結果、このようなロボット１３０は、ローカルシステムアカウントの下でインタラクティブなＷｉｎｄｏｗｓ（登録商標）セッションを開くことができ、Ｗｉｎｄｏｗｓ（登録商標）サービスの権利を有し得る。

【0113】

いくつかの実施形態では、ロボット１３０は、ユーザーモードで設置され得る。このようなロボット１３０については、所定のロボット１３０が設置されているユーザーと同じ権利を有することを意味する。この特色はまた、各マシンを最大限に全活用することを保証する高密度（ＨＤ）ロボットにも利用可能であり得る。いくつかの実施形態では、いずれかのタイプのロボット１３０は、ＨＤ環境で構成され得る。

【0114】

いくつかの実施形態におけるロボット１３０は、複数のコンポーネントに分割され、それぞれが特定の自動化タスクに特化されている。いくつかの実施形態におけるロボットコンポーネントは、ＳＣＭ管理ロボットサービス、ユーザーモードロボットサービス、エグゼキュータ、エージェント、およびコマンドラインを含むが、これらに限定されない。ＳＣＭ管理ロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１２０と遂行ホスト（すなわち、ロボット１３０が遂行されるコンピューティングシステム）との間のプロキシとして動作する。これらのサービスは、ロボット１３０の資格情報を任されて管理する。コンソールアプリケーションは、ローカルシステム下のＳＣＭにより起動される。

【0115】

いくつかの実施形態におけるユーザーモードロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１２０と遂行ホストとの間のプロキシとして動作する。ユーザーモードロボットサービスは、ロボット１３０の資格情報を任されて管理し得る。ＳＣＭ管理ロボットサービスがインストールされていない場合、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションが自動的に起動され得る。

【0116】

エグゼキュータは、Ｗｉｎｄｏｗｓ（登録商標）セッションの下で与えられたジョブを遂行し得る（つまり、ワークフローを遂行し得る。エグゼキュータは、モニタ毎のドットパーインチ（ＤＰＩ）設定を認識し得る。エージェントは、システムトレイウィンドウに利用可能なジョブを表示するＷｉｎｄｏｗｓ（登録商標） Ｐｒｅｓｅｎｔａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ（ＷＰＦ）アプリケーションであり得る。エージェントはサービスのクライアントであり得る。エージェントは、ジョブの開始または停止、設定の変更を依頼し得る。コマンドラインはサービスのクライアントである。コマンドラインは、ジョブの開始を要求し、その出力を待つことができるコンソールアプリケーションである。

【0117】

上で説明したように、ロボット１３０のコンポーネントが分割されていることは、開発者、サポートユーザー、およびコンピューティングシステムが、各コンポーネントが何を遂行しているかをより容易に実行し、特定し、および追跡するのに役立つ。この方法では、エグゼキュータとサービスに異なるファイアウォールルールを設定するなど、コンポーネントごとに特別な挙動を構成し得る。エグゼキュータは常に、いくつかの実施形態では、モニタごとのＤＰＩ設定を認識し得る。その結果、ワークフローは、ワークフローが作成されたコンピューティングシステムの構成に関係なく、いずれかのＤＰＩで遂行し得る。また、いくつかの実施形態では、デザイナ１１０からのプロジェクトは、ブラウザのズームレベルに依存しないようにし得る。ＤＰＩを認識していないまたは意図的に認識していないとマークされているアプリケーションの場合、いくつかの実施形態ではＤＰＩを無効にし得る。

【0118】

図２は、本発明の実施形態による、展開したＲＰＡシステム２００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム２００は、図１のＲＰＡシステム１００であってもよく、またはその一部であってもよい。クライアント側、サーバー側、またはその両方が、本発明の範囲から逸脱することなく、いずれかの所望の数のコンピューティングシステムを含むことができることに留意すべきである。クライアント側では、ロボットアプリケーション２１０は、エグゼキュータ２１２、エージェント２１４、およびデザイナ２１６を含む。しかし、いくつかの実施形態では、デザイナ２１６は、コンピューティングシステム２１０上で実行されていなくてもよい。エグゼキュータ２１２はプロセスを実行している。図２に示すように、複数のビジネスプロジェクトが同時に実行され得る。エージェント２１４（例えば、Ｗｉｎｄｏｗｓ（登録商標）サービス）は、本実施形態では、全てのエグゼキュータ２１２のための単一の接続ポイントである。この実施形態における全てのメッセージは、コンダクタ２３０に記録され、それは、データベースサーバー２４０、インデクササーバー２５０、またはその両方を介して、それらをさらに処理する。図１に関して上述したように、エグゼキュータ２１２は、ロボットコンポーネントであり得る。

【0119】

いくつかの実施形態では、ロボットは、マシン名とユーザー名との間の関連付けを表す。ロボットは、複数のエグゼキュータを同時に管理し得る。同時に実行される複数のインタラクティブセッションをサポートするコンピューティングシステム（Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｅｒ ２０１２など）では、複数のロボットが同時に実行され得、それぞれが一意のユーザー名を使用して別々のＷｉｎｄｏｗｓ（登録商標）セッションで実行され得る。これは、上記のＨＤロボットと呼ばれる。

【0120】

エージェント２１４はまた、ロボットの状態を送信し（例えば、ロボットがまだ機能していることを示す「ハートビート」メッセージを定期的に送信する）、遂行されるパッケージの要求されるバージョンをダウンロードすることにも責任を負う。エージェント２１４とコンダクタ２３０との間の通信は、いくつかの実施形態では、常にエージェント２１４によって開始される。通知シナリオでは、エージェント２１４は、後にコンダクタ２３０によってロボットにコマンド（例えば、開始、停止など）を送信するために使用されるＷｅｂＳｏｃｋｅｔチャネルを開いてもよい。

【0121】

サーバー側には、プレゼンテーション層（ウェブアプリケーション２３２、オープンデータプロトコル（ＯＤａｔａ）代表状態転送（ＲＥＳＴ）アプリケーションプログラミングインターフェース（ＡＰＩ）エンドポイント２３４、通知および監視２３６）、サービス層（ＡＰＩ実装／ビジネスロジック２３８）、永続層（データベースサーバー２４０、インデクササーバー２５０）が含まれる。コンダクタ２３０は、ウェブアプリケーション２３２、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４、通知および監視２３６、ならびにＡＰＩ実装／ビジネスロジック２３８を含む。いくつかの実施形態では、ユーザーがコンダクタ２３０のインターフェース（例えば、ブラウザ２２０を介して）で実行するほとんどのアクションは、様々なＡＰＩを呼び出すことによって実行される。このような動作は、本発明の範囲を逸脱することなく、ロボット上でのジョブの起動、キュー内のデータの追加／削除、無人で実行するジョブのスケジューリングなどを含み得るが、これらに限定されない。ウェブアプリケーション２３２は、サーバープラットフォームのビジュアル層である。この実施形態では、ウェブアプリケーション２３２は、ハイパーテキストマークアップ言語（ＨＴＭＬ）およびジャバスクリプト（ＪＳ）を使用する。しかし、本発明の範囲を逸脱することなく、いずれかの所望のマークアップ言語、スクリプト言語、または他のいずれかのフォーマットを使用し得る。ユーザーは、コンダクタ２３０を制御するための様々な動作を実行するために、本実施形態ではブラウザ２２０を介してウェブアプリケーション２３２からのウェブページとインタラクションする。例えば、ユーザーは、ロボットグループを作成し、ロボットへのパッケージの割り当てを行い、ロボット毎および／またはプロセス毎のログを解析し、ロボットを起動しおよび停止などし得る。

【0122】

ウェブアプリケーション２３２に加えて、コンダクタ２３０は、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４を公開するサービス層も含む。しかし、本発明の範囲を逸脱することなく、他のエンドポイントが含まれていてもよい。ＲＥＳＴ ＡＰＩは、ウェブアプリケーション２３２とエージェント２１４の両方により消費される。エージェント２１４は、本実施形態では、クライアントコンピュータ上の１または複数のロボットのスーパーバイザである。

【0123】

本実施形態のＲＥＳＴ ＡＰＩは、構成、ロギング、監視、およびキューイング機能をカバーする。構成エンドポイントは、いくつかの実施形態では、アプリケーションのユーザー、権限、ロボット、アセット、リリース、および環境を定義し、構成するために使用されてもよい。ロギングＲＥＳＴエンドポイントは、例えば、エラー、ロボットによって送信された明示的なメッセージ、およびその他の環境固有の情報など、様々な情報をログに記録するために使用され得る。デプロイメントＲＥＳＴエンドポイントは、コンダクタ２３０においてジョブ開始コマンドが使用された場合に遂行されるべきパッケージのバージョンを問い合わせるためにロボットにより使用されてもよい。キューイングＲＥＳＴエンドポイントは、キューへのデータの追加、キューからのトランザクションの取得、トランザクションのステータスの設定など、キューおよびキューアイテムの管理を担ってもよい。

【0124】

ＲＥＳＴエンドポイントの監視は、ウェブアプリケーション２３２およびエージェント２１４を監視してもよい。通知および監視ＡＰＩ２３６は、エージェント２１４の登録、エージェント２１４への構成設定の配信、ならびにサーバーおよびエージェント２１４からの通知の送受信に使用されるＲＥＳＴエンドポイントであってもよい。通知および監視ＡＰＩ２３６は、いくつかの実施形態では、ＷｅｂＳｏｃｋｅｔ通信を使用してもよい。

【0125】

永続層は、本実施形態では、一対のサーバー－データベースサーバー２４０（例えば、ＳＱＬサーバー）およびインデクササーバー２５０を含む。本実施形態におけるデータベースサーバー２４０は、ロボット、ロボットグループ、関連するプロセス、ユーザー、役割、スケジュールなどの構成を格納する。この情報は、いくつかの実施形態では、ウェブアプリケーション２３２を介して管理される。データベースサーバー２４０は、キューおよびキューアイテムを管理してもよい。いくつかの実施形態では、データベースサーバー２４０は、ロボットにより記録されたメッセージを（インデクササーバー２５０に加えて、またはそれに代えて）格納してもよい。

【0126】

いくつかの実施形態では任意であるが、インデクササーバー２５０は、ロボットにより記録された情報を保存し、インデックスを作成する。特定の実施形態では、インデクササーバー２５０は、構成設定を介して無効化されてもよい。いくつかの実施形態では、インデクササーバー２５０は、オープンソースプロジェクトの全文検索エンジンであるＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）を使用する。ロボットにより記録されたメッセージ（例えば、ログメッセージまたはライン書き込みのようなアクティビティを使用して）は、ロギングＲＥＳＴエンドポイント（複数可）を介してインデクササーバー２５０に送信されてもよく、そこで将来の利用のためにそれらはインデックス化される。

【0127】

図３は、本発明の実施形態による、デザイナ３１０、アクティビティ３２０、３３０、およびドライバ３４０の間の関係３００を示すアーキテクチャ図である。以上のように、開発者は、デザイナ３１０を用いて、ロボットによって遂行されるワークフローを開発する。ワークフローは、ユーザー定義のアクティビティ３２０およびＵＩオートメーションアクティビティ３３０を含んでもよい。いくつかの実施形態では、画像中の非テキストの視覚的コンポーネントを特定することができ、これは、本明細書ではコンピュータビジョン（ＣＶ）と呼ばれる。このようなコンポーネントに関連するいくつかのＣＶアクティビティは、クリック、タイプ、テキストを取得、ホバー、要素の有無を検出、スコープの更新、ハイライトなどを含み得るが、これらに限定されない。いくつかの実施形態では、クリックは、例えば、ＣＶ、光学的文字認識（ＯＣＲ）、ファジーテキストマッチング、およびマルチアンカーを使用して要素を特定し、それをクリックする。タイプは、上記および要素内のタイプを用いて要素を特定してもよい。テキストの取得は、特定のテキストの場所を特定し、ＯＣＲを使用してそれをスキャンし得る。ホバーは、要素を特定し、その上にホバーし得る。要素の有無の検出は、上述した技法を用いて、画面上に要素の有無を検出するかどうかを確認し得る。いくつかの実施形態では、デザイナ３１０に実装され得る数百または数千でさえのアクティビティが存在してもよい。しかし、本発明の範囲を逸脱することなく、いずれかの数および／またはアクティビティのタイプを利用することができる。

【0128】

ＵＩオートメーションアクティビティ３３０は、低レベルのコード（例えば、ＣＶアクティビティ）で記述され、ＵＩ層を介したアプリケーションとのインタラクションを促進する特別な低レベルのアクティビティのサブセットである。特定の実施形態では、ＵＩオートメーションアクティビティ３００は、例えば、ウィンドウメッセージなどを介したユーザー入力をシミュレートしてもよい。ＵＩオートメーションアクティビティ３３０は、ロボットが所望のソフトウェアとインタラクションすることを可能にするドライバ３４０を介して、これらのインタラクションを促進する。例えば、ドライバ３４０は、ＯＳドライバ３４２、ブラウザドライバ３４４、ＶＭドライバ３４６、エンタープライズアプリケーションドライバ３４８などを含んでもよい。

【0129】

ドライバ３４０は、フックを探したり、キーを監視したりするなど、低レベルでＯＳとインタラクションしてもよい。それらは、Ｃｈｒｏｍｅ（登録商標）、ＩＥ（登録商標）、Ｃｉｔｒｉｘ（登録商標）、ＳＡＰ（登録商標）などとの統合を促進してもよい。例えば、「クリック」アクティビティは、ドライバ３４０を介して、これらの異なるアプリケーションにおいて同じ役割を果たす。

【0130】

図４は、本発明の実施形態による、ＲＰＡシステム４００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム４００は、図１および／または図２のＲＰＡシステム１００および／または２００であってもよいし、それを含んでもよい。ＲＰＡシステム４００は、ロボットを実行する複数のクライアントコンピューティングシステム４１０を含む。コンピューティングシステム４１０は、その上で実行されるウェブアプリケーションを介してコンダクタコンピューティングシステム４２０と通信することができる。コンダクタコンピューティングシステム４２０は、順番に、データベースサーバー４３０および任意のインデクササーバー４４０と通信することができる。

【0131】

図１および図３に関して、これらの実施形態ではウェブアプリケーションが使用されているが、本発明の範囲から逸脱することなく、いずれかの適切なクライアントおよび／またはサーバーソフトウェアを使用することができることに留意すべきである。例えば、コンダクタは、クライアントコンピューティングシステム上で、非ウェブベースのクライアントソフトウェアアプリケーションと通信するサーバーサイドアプリケーションを実行してもよい。

【0132】

図５は、本発明の実施形態による、ＲＰＡ用のＵＩ記述子、オブジェクトライブラリ、ＵＩオブジェクトリポジトリ、および／またはオブジェクトブラウザを提供するように構成されたコンピューティングシステム５００を示すアーキテクチャ図である。いくつかの実施形態では、コンピューティングシステム５００は、本明細書に描かれたおよび／または記載された１または複数のコンピューティングシステムであってもよい。コンピューティングシステム５００は、情報を通信するためのバス５０５または他の通信機構と、情報を処理するためのバス５０５に結合されたプロセッサ（複数可）５１０とを含む。プロセッサ（複数可）５１０は、中央処理ユニット（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッシングユニット（ＧＰＵ）、それらの複数のインスタンス、および／またはそれらのいずれかの組み合わせを含む、いずれかのタイプの一般的または特定用途向けプロセッサであり得る。プロセッサ（複数可）５１０はまた、複数の処理コアを有してもよく、コアの少なくとも一部は、特定の機能を実行するように構成され得る。いくつかの実施形態では、複数並列処理が使用されてもよい。特定の実施形態では、少なくとも１つのプロセッサ（複数可）５１０は、生物学的ニューロンを模倣する処理要素を含むニューロモーフィック回路であり得る。いくつかの実施形態では、ニューロモーフィック回路は、フォンノイマンコンピューティングアーキテクチャの典型的なコンポーネントを必要としない場合がある。

【0133】

コンピューティングシステム５００は、プロセッサ（複数可）５１０によって遂行される情報および命令を格納するためのメモリ５１５をさらに含む。メモリ５１５は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、キャッシュ、磁気ディスクもしくは光ディスクなどの静的記憶装置、または他のタイプの非一時的なコンピュータ読み取り可能な媒体、あるいはそれらのいずれかの組み合わせで構成され得る。非一時的なコンピュータ読み取り可能な媒体は、プロセッサ（複数可）５１０によりアクセス可能ないずれかの利用可能な媒体であってもよく、揮発性媒体、不揮発性媒体または両方などを含み得る。また、媒体は、取り外し可能なもの、取り外し不可能なもの、または両方であってもよい。

【0134】

さらに、コンピューティングシステム５００は、無線および／または有線接続を介して通信ネットワークへのアクセスを提供するために、トランシーバなどの通信デバイス５２０を含む。いくつかの実施形態では、通信デバイス５２０は、周波数分割多元接続（ＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、直交周波数分割多重方式（ＯＦＤＭ）、直交周波数分割多元接続（ＯＦＤＭＡ）、移動体用グローバルシステム（ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ）通信、汎用パケット無線サービス（ＧＰＲＳ：Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ）、ユニバーサル移動体通信システム（ＵＭＴＳ：Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、ｃｄｍａ２０００、広帯域ＣＤＭＡ（Ｗ－ＣＤＭＡ：Ｗｉｄｅｂａｎｄ ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、高速パケットアクセス（ＨＳＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ロングタームエボリューション（ＬＴＥ：Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥアドバンスト（ＬＴＥ－Ａ：ＬＴＥ Ａｄｖａｎｃｅｄ）、８０２．１１ｘ、Ｗｉ－Ｆｉ、Ｚｉｇｂｅｅ、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ－ＷｉｄｅＢａｎｄ）、８０２．１６ｘ、８０２．１５、Ｈｏｍｅ Ｎｏｄｅ－Ｂ（ＨｎＢ）、Ｂｌｕｅｔｏｏｔｈ、無線ＩＤタグ（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、近距離無線通信（ＮＦＣ：Ｎｅａｒ－Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、第５世代（５Ｇ）、Ｎｅｗ Ｒａｄｉｏ（ＮＲ）、それらのいずれかの組み合わせ、および／または本発明の範囲から逸脱することなく、いずれかの他の現在存在するまたは将来実装される通信標準および／またはプロトコルを使用するように構成され得る。いくつかの実施形態では、通信デバイス５２０は、本発明の範囲から逸脱することなく、単数のアンテナ、アレイ状のアンテナ、フェーズドアンテナ、スイッチドアンテナ、ビームフォーミングアンテナ、ビームステアリングアンテナ、それらの組み合わせ、および／またはいずれかの他のアンテナ構成である１または複数のアンテナを含み得る。

【0135】

プロセッサ（複数可）５１０は、バス５０５を介して、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、電界放出ディスプレイ（ＦＥＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フレキシブルＯＬＥＤディスプレイ、フレキシブル基板ディスプレイ、プロジェクションディスプレイ、４Ｋディスプレイ、高精細ディスプレイ、Ｒｅｔｉｎａ（登録商標）ディスプレイ、ＩＰＳ（Ｉｎ－Ｐｌａｎｅ Ｓｗｉｔｃｈｉｎｇ）ディスプレイ、またはユーザーに情報を表示するためのいずれかの他の適切なディスプレイなどのディスプレイ５２５にさらに結合されている。ディスプレイ５２５は、抵抗方式、静電容量方式、表面弾性波（ＳＡＷ）静電容量方式、赤外線方式、光学イメージング方式、分散信号方式、音響パルス認識方式、フラストレート全内部反射方式などを用いて、タッチ（ハプティック）ディスプレイ、３次元（３Ｄ）タッチディスプレイ、マルチ入力タッチディスプレイ、マルチタッチディスプレイなどとして構成されていてもよい。本発明の範囲を逸脱することなく、いずれかの好適な表示デバイスおよびハプティックＩ／Ｏを使用することができる。

【0136】

コンピュータマウス、タッチパッドなどのようなキーボード５３０およびカーソル制御デバイス５３５は、ユーザーがコンピューティングシステム５００とインターフェースすることを可能にするために、バス５０５にさらに結合されている。しかしながら、特定の実施形態では、物理的なキーボードおよびマウスが存在しない場合があり、ユーザーは、ディスプレイ５２５および／またはタッチパッド（図示せず）のみを介してデバイスとインタラクションすることができる。任意の入力デバイスの種類および組み合わせは、設計の選択の問題として使用され得る。特定の実施形態では、物理的な入力デバイスおよび／またはディスプレイは存在しない。例えば、ユーザーは、コンピューティングシステム５００と通信している別のコンピューティングシステムを介してリモートでそれとインタラクションしてもよいし、コンピューティングシステム５００は自律的に動作してもよい。

【0137】

メモリ５１５は、プロセッサ（複数可）５１０により遂行されたときに機能を提供するソフトウェアモジュールを格納する。モジュールは、コンピューティングシステム５００のためのオペレーティングシステム５４０を含む。モジュールはさらに、本明細書に記載されたプロセスの全部もしくは一部またはその派生物を実行するように構成されたＵＩオブジェクト動作モジュール５４５を含む。コンピューティングシステム５００は、付加的な機能を含む１または複数の付加的な機能モジュール５５０を含み得る。

【0138】

当業者であれば、「システム」は、本発明の範囲から逸脱することなく、サーバー、組み込みコンピューティングシステム、パーソナルコンピュータ、コンソール、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、タブレットコンピューティングデバイス、量子コンピューティングシステム、または他のいずれかの適切なコンピューティングデバイス、またはデバイスの組み合わせとして具現化され得ることを理解するであろう。上述した機能を「システム」により実行されるものとして提示することは、何ら本発明の範囲を限定することを意図するものではなく、本発明の多くの実施形態の一例を提供することを意図するものである。実際、本明細書に開示された方法、システム、および装置は、クラウドコンピューティングシステムを含むコンピューティング技法と整合性のあるローカライズされた形態および分配された形態で実装されてもよい。

【0139】

本明細書で説明するシステム特色のいくつかは、実装の独立性をより強調するために、モジュールとして提示されていることに留意すべきである。例えば、モジュールは、カスタムの非常に大規模な集積（ＶＬＳＩ）回路またはゲートアレイ、ロジックチップ、トランジスタ、または他の個別部品のような既製の半導体を含むハードウェア回路として実装され得る。また、モジュールは、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、グラフィックス処理ユニットなどのプログラマブルハードウェアデバイスに実装され得る。

【0140】

モジュールはまた、様々なタイプのプロセッサにより遂行されるためのソフトウェアに少なくとも部分的に実装され得る。例えば、遂行可能コードの特定された単位は、例えば、オブジェクト、プロシージャ、または関数として編成されていてもよいコンピュータ命令の１または複数の物理的または論理的なブロックを含み得る。それにもかかわらず、遂行可能な特定されたモジュールは、物理的に一緒に配置されている必要はなく、論理的に結合されたときにモジュールを含み、モジュールのために述べられた目的を達成するために、異なる場所に格納された別々の命令を含んでいてもよい。さらに、モジュールは、例えば、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープのようなコンピュータ読み取り可能な媒体、および／または本発明の範囲から逸脱することなくデータを格納するために使用される他のいずれかの非一時的なコンピュータ読み取り可能な媒体に格納されていてもよい。

【0141】

実際、遂行可能コードのモジュールは、単一の命令であってもよいし、多数の命令であってもよいし、さらには、複数の異なるコードセグメント、異なるプログラム間、および複数のメモリデバイス間に分散されていてもよい。同様に、動作データは、モジュール内で特定され、ここで示されてもよく、いずれかの適切なタイプのデータ構造体内でいずれかの適切な形態で具現化され、組織化され得る。動作データは、単一のデータセットとして収集されてもよいし、または異なる記憶デバイスにわたり異なる場所に分散されていてもよく、少なくとも部分的には、単にシステムまたはネットワーク上の電子信号として存在していてもよい。

【0142】

いくつかの実施形態は、アプリケーションの特定のバージョンからの画面に対応するＵＩ記述子の収集のオブジェクトライブラリをデータベースに格納する。オブジェクトライブラリは、ユーザーがＲＰＡ ＵＩ自動化を開発しているときに、ＲＰＡデザイナアプリケーション（ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）など）によって作成され得る。これは、新しいバージョンのアプリケーションなど、設計後の変更に対応するために使用され得る、よりよい拡張性と適応性の高いＵＩオブジェクトの収集を作成するのに役立ち得る。

【0143】

従業員が１または複数のＲＰＡロボットを使用して、彼または彼女のコンピュータで実行されているソフトウェアアプリケーションでタスクを実行する場合を考えてみる。次に、情報技術（ＩＴ）部門が、ＲＰＡロボットがインタラクションするソフトウェアアプリケーションをアップグレードする。会社のＲＰＡチームが、ＲＰＡロボットワークフローと呼ばれる変更されたＵＩ記述子に事前に変更を加えていなかった場合、新しいバージョンでの変更により（例えば、ＵＩ要素の機能および／または外観の変更、ＵＩ要素の完全な削除または新しい画面への移動など）、ＲＰＡロボットがアプリケーション内の特定のＵＩ要素を見つけることができなくなったため、一部のＲＰＡプロセスが壊れている可能性がある。両方のバージョンのためのＵＩ要素のＵＩ記述子が既に存在する場合、新しいバージョンのためのＵＩ記述子は、ＲＰＡワークフローの適切なアクティビティで以前のバージョンのためのＵＩ記述子と交換され得、次いでＲＰＡロボットは新しいバージョンで作業する必要がある。

【0144】

図６Ａは、本発明の実施形態による、ＲＰＡデザイナアプリケーション６００を示すスクリーンショットである。ＲＰＡデザイナアプリケーション６００は、ＲＰＡワークフロー６１２（この例ではシーケンス）を含むメインのＲＰＡ開発ペイン６１０を含む。「スニペット（ｓｎｉｐｐｅｔｓ）」ペイン６２０は、再利用可能で複数のワークフローに適用可能な再利用可能なコンポーネントまたは共通の自動化アイテムを含む。プロパティペイン６４０は、ＲＰＡワークフロー６１２の選択されたアクティビティ６１４のプロパティを示す。

【0145】

この実施形態では、ＲＰＡワークフロー６１２は、Ｗｉｎｄｏｗｓ（登録商標）７計算機の標準画面（またはウィンドウ）６７０上でアクションのシーケンスを実行する。図６Ｂを参照。ユーザーは、ビュータブ６７２を使用して、さまざまな計算機設定をさまざまな画面から選択し得る。ＲＰＡワークフロー６１２におけるアクションのシーケンスは、ボタン２をクリックし、プラスボタンをクリックし、ボタン３をクリックし、等号ボタンをクリックし、結果のテキストを取得し、クリアボタンをクリックし、そして「行書き込み（ｗｒｉｔｅ ｌｉｎｅ）」動作によって結果を書き込むことである。アウトラインペイン６３０内のシーケンスの拡大したビューが図６Ｃに示される。

【0146】

スニペットペイン６２０の拡大したビューが図６Ｄに示される。スニペットペイン６２０はワークフロースニペットを含み、これは開発者がＲＰＡデザイナアプリケーション６００で彼または彼女自身のワークフロー（例えば、ＲＰＡワークフロー６１２）に呼び出す／含めることができる既製のワークフローであり得る。いくつかの実施形態では、スニペットペイン６２０は、チーム、企業、対象のすべての開発者、または開発者の他のグループが、自動化される要素のためのＵＩ記述子を保存し得るサンドボックスを提供し得る。スニペットペイン６２０は、アプリケーションごとに配置されるＵＩ記述子６２１を含む。計算機アプリケーション（ｃａｌｃｕｌａｔｏｒ ａｐｐｌｉｃａｔｉｏｎ）６２２の下で、Ｗｉｎｄｏｗｓ（登録商標）１０セレクタは、Ｗｉｎｄｏｗｓ（登録商標）１０バージョン６２３、標準ウィンドウ（ｓｔａｎｄａｒｄ ｗｉｎｄｏｗ）６２４、ターゲットＵＩ要素６２５、およびそれぞれのＵＩ要素セレクタ６２６の下に編成される。Ｗｉｎｄｏｗｓ（登録商標）７セレクタは、Ｗｉｎｄｏｗｓ（登録商標）７バージョン６２３Ａ、標準ウィンドウ６２４Ａ、ターゲットＵＩ要素６２５Ａ、およびそれぞれのＵＩ要素セレクタ６２６Ａの下に編成される。この実施形態では、セレクタが使用されるが、いくつかの実施形態では、ＵＩ要素セレクタに加えてまたはその代わりに、ＣＶ記述子、統合されたターゲット記述子、またはその両方が含められ得る。

【0147】

図６Ｅおよび図６Ｆは、ＲＰＡワークフロー６１２のシーケンスのアクティビティを示す。各アクティビティに対応するＷｉｎｄｏｗｓ ７（登録商標）標準計算機画面の部分の画面キャプチャが、該当する場合は、そのアクティビティについて示され、強調表示される。アクティビティのためのそれぞれのＵＩ要素は、例えばＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）の「表示」機能を使用して選択され得、これについては、アクティビティに複数のＵＩ記述子タイプを使用することに関して本明細書で後で詳しく説明する。このようにして、ユーザーは、ＲＰＡワークフローが所望のＵＩ要素とインタラクションする必要があることを視覚的に確認し得る。ＵＩ要素とインタラクションするアクティビティのためのボタン６１５をクリックすることにより、メニュー６１６が現れる。図６Ｇを参照。ユーザーは、ＵＩオブジェクトに追加オプション６１８を選択することによって、それぞれのＵＩオブジェクトをオブジェクトブラウザに追加し得る。

【0148】

図６Ｈは、プロパティペイン６４０に示されたクリックアクティビティに対するプロパティを有するＲＰＡデザイナアプリケーション６００を示す図である。図６Ｉは、プロパティペイン６４０の拡大したビューである。プロパティペイン６４０の下部では、ユーザーは、ＵＩオブジェクトブラウザタブ（ＵＩ ｏｂｊｅｃｔ ｂｒｏｗｓｅｒ ｔａｂ）６５２を介してＵＩオブジェクトブラウザを選択し得る。

【0149】

図６Ｊは、ＵＩオブジェクトブラウザペイン６５０のＵＩ記述子ビューを有するＲＰＡデザイナアプリケーション６００を示し、図６Ｋは、ＵＩ記述子ビューを有するＵＩオブジェクトブラウザペイン６５０を拡大したビューを示す。ＵＩ記述子ビューは、プロジェクトＵＩ記述子６５４ＡおよびＵＩオブジェクトライブラリ６５６Ａを含む。図６Ｋでは、プロジェクトに対してまだＵＩ記述子が選択されていない。

【0150】

ＵＩ記述子を追加するために、開発者はスニペットペイン６２０を使用してこれらを追加し得る。例えば、開発者がスニペットペイン６２０でＷｉｎｄｏｗｓ（登録商標）７バージョン６２３Ａを右クリックすると、メニュー６２７が表示され得る。開発者は、これらのＵＩ記述子をプロジェクトに追加することを選択することができ、これにより、それらがＵＩオブジェクトブラウザペイン６５０のプロジェクトＵＩ記述子６５４Ａの下に表示され、ＵＩ記述子６５８Ａとしてそれらを示す。図６Ｌを参照。図６Ｍに示されるＵＩオブジェクトブラウザペイン６５０のＵＩアクティビティビューには、プロジェクト６５４ＢとＵＩアクティビティ６５６Ｂが表示される。ＲＰＡワークフローはさまざまなタイプのさまざまなアクティビティを含み得、ＵＩアクティビティビューは、ＵＩアクティビティ６５６Ｂを一覧表示するため、開発者はそれらを簡単に視認し得る。ＵＩアクティビティ６５６Ｂが抽出され得、スニペットペイン６２０に示されるものと同様の構造を有し得る。特定の実施形態では、開発され、ライブラリで共有されているすべてのＵＩ記述子をスニペットペイン６２０に表示することができるが、ＵＩアクティビティによって使用されるＵＩ記述子のみがＵＩオブジェクトブラウザペイン６５０のＵＩアクティビティビューに表示される。

【0151】

セレクタがオブジェクトブラウザペイン６５０にあると、ユーザーは、図６Ｎに示すように、所定のセレクタを所望のアクティビティにドラッグアンドドロップし得る。これにより、プロジェクトレベルでの再利用を提供する。いくつかの実施形態では、ＣＶ記述子、統合されたターゲット記述子などの他のＵＩ記述子が、セレクタに加えてまたはセレクタの代わりに、所望のアクティビティにドラッグアンドドロップされ得る。セレクタがそれぞれのアクティビティにドロップされると、ＲＰＡワークフロー６１２は、それぞれのＵＩ要素とインタラクションするために、ＲＰＡロボットによって遂行される準備が整う。

【0152】

開発者が、Ｗｉｎｄｏｗｓ（登録商標）１０計算機（図６ＯのＷｉｎｄｏｗｓ（登録商標）１０計算機６８０を参照）に対して同じＲＰＡプロセスを実行したい場合を考える。Ｗｉｎｄｏｗｓ（登録商標）１０計算機のＵＩ要素は、Ｗｉｎｄｏｗｓ（登録商標）７計算機のＵＩ要素とは大幅に異なるため、Ｗｉｎｄｏｗｓ（登録商標）７計算機用に設計されたＲＰＡプロセスを実行すると、さまざまなＵＩ要素とインタラクションするアクティビティで失敗する可能性がある。図６Ｂを参照。この例のように、セレクタがＷｉｎｄｏｗｓ（登録商標）１０計算機用に既に開発されており、スニペットペイン６２０のＵＩ記述子の公開ライブラリで利用できる場合、ユーザーは、Ｗｉｎｄｏｗｓ（登録商標）７計算機のセレクタを削除し、Ｗｉｎｄｏｗｓ（登録商標）１０計算機用のセレクタを追加することができ、そして、これらは、ＵＩオブジェクトブラウザペイン６５０のＵＩアクティビティビューに表示される。図を参照すると、本発明の実施形態によれば、Ｗｉｎｄｏｗｓ（登録商標）１０計算機セレクタを使用する。

【0153】

ターゲットアプリケーションがＷｉｎｄｏｗｓ（登録商標）１０計算機に設定されると、各アクティビティのためのスクリーンショット部分とそれぞれのセレクタがＲＰＡワークフロー６１２で更新される。図６Ｑを参照。ＲＰＡワークフロー６１２は、Ｗｉｎｄｏｗｓ（登録商標）１０計算機では正しく遂行されないだろう。これにより、プロジェクトレベルでの再利用を提供する。しかし、セレクタは特にこのプロジェクト内にあり、ＵＩオブジェクトライブラリとしてグローバルに使用することはまだできない。

【0154】

計算機アプリケーションを「更新」するために、ＵＩ要素のためのＵＩ記述子は、アプリケーションの新しいバージョンのためのものに変更される。例えば、これらのＵＩ記述子を含むＮｕＧｅｔ（商標）パッケージが作成され、アップロードされてから取得され得る。したがって、ＵＩ要素の依存関係が変更されると、ＵＩ記述子が更新されるだろう。

【0155】

すべてのプロセスがＵＩ記述子を使用できるようにグローバルレベルで再利用性を提供するために、ＵＩオブジェクトライブラリ６５６Ａが使用され得る。この実施形態において公開ボタン６５８をクリックすることによって（図６Ｐを参照）、公開ＵＩオブジェクトライブラリウィンドウ６６０が現れる。図６Ｒを参照。これにより、プロジェクトからのセレクタおよび／または他のＵＩ記述子は、管理パッケージウィンドウ（ｍａｎａｇｅ ｐａｃｋａｇｅｓ ｗｉｎｄｏｗ）６６２を介して公開した後、他のＲＰＡプロセスのために他の開発者がアクセスして利用できるパッケージ（例えば、ＮｕＧｅｔ（商標）パッケージ）に公開され得る。図６Ｓを参照。この計算機記述子のパッケージをプロジェクトの依存関係としてインストールすると、ＵＩオブジェクトブラウザペイン６５０のライブラリ６５６Ａの下にセレクタ／ＵＩ記述子が表示される。図６Ｔを参照。その後、ＵＩオブジェクトライブラリが特定のプロジェクトに使用され得る。ベストプラクティスとして、ＵＩ要素とインタラクションするためのセレクタおよび／または他のＵＩ記述子は、再利用が所望される場合にのみ、ＵＩオブジェクトライブラリから依存関係としてインポートされ得る。しかし、特定のセレクタまたは他のＵＩ記述子が特定のプロジェクトに固有であり、再利用される可能性が低い場合、特定のセレクタ／ＵＩ記述子はプロジェクト用にローカルで作成され、その他はＵＩオブジェクトライブラリからインポートされ得る。

【0156】

図７Ａは、本発明の実施形態による、ＲＰＡデザイナアプリケーション７００を示すスクリーンショットである。ＲＰＡデザイナアプリケーション７００は、ＲＰＡワークフロー７１０（この例では、さまざまなＵＩ要素特定アクティビティを含むシーケンス）を含むメインのＲＰＡ開発ペイン７０２を含む。プロジェクトペイン７０４は、現在のプロジェクトの依存関係を含む。ＵＩ記述子ペイン７０６は、現在、プロジェクトＵＩ記述子およびＵＩオブジェクトライブラリの選択を含まない。

【0157】

図７Ｂは、ＲＰＡワークフロー７１０を示す拡大したビューである。アクティビティ７２０はセレクタベースの特定を使用し、アクティビティ７３０はＣＶベースの特定を使用し、アクティビティ７４０は統合されたターゲットベースの特定を使用するだろう。この例のアクティビティ７２０、７３０、７４０の構成を以下に説明する。

【0158】

図７Ｃは、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）によって変更可能なものとしてＷｉｎｄｏｗｓ（登録商標）１０計算機（ｃａｌｃｕｌａｔｏｒ）７５０を示す。ユーザーがセレクタベースの特定アクティビティ７２０（図７Ｂ参照）に対して「画面上に表示（ｉｎｄｉｃａｔｅ ｏｎ ｓｃｒｅｅｎ）」７２１を選択すると、開発者がマウスを動かしたＵＩの認識された要素が強調表示される。例えば、図７Ｃでは、９ボタン７５２が強調表示されている。ユーザーが９ボタン７５２をクリックすると、選択されたＵＩ要素を含むスクリーンショット７２２がセレクタベースの特定アクティビティ７２０に表示される。図７Ｄを参照。

【0159】

セレクタベースの特定アクティビティ７２０のボタン７２４をクリックすると、メニュー７２５が現れる。図７Ｅを参照。「エディットセレクタ（Ｅｄｉｔ Ｓｅｌｅｃｔｏｒ）」オプションを選択すると、セレクタエディタ（ｓｅｌｅｃｔｏｒ ｅｄｉｔｏｒ）７２６が開く。図７Ｆを参照。セレクタエディタ７２６により、開発者はセレクタの属性を編集し、セレクタがＷｉｎｄｏｗｓ（登録商標）１０計算機７５０（つまり、９ボタン７５２）内のそれぞれのＵＩ要素を見つけることを検証し得る。「ハイライト（Ｈｉｇｈｌｉｇｈｔ）」を選択すると、Ｗｉｎｄｏｗｓ（登録商標）１０計算機７５０でそれぞれのＵＩ要素が強調表示される。セレクタが作成された後、開発者は、セレクタベースの特定アクティビティ７２０のボタン７２４をクリックして、メニュー７２５の「ＵＩオブジェクトに追加（Ａｄｄ ｔｏ ＵＩ Ｏｂｊｅｃｔｓ）」オプションを選択でき、これにより、ＵＩオブジェクトライブラリウィンドウに追加（ａｄｄ ｔｏ ＵＩ ｏｂｊｅｃｔｓ ｌｉｂｒａｒｙ ｗｉｎｄｏｗ）７２８が表示される。図７Ｇを参照。開発者は、次いで、９ボタン用に作成されたセレクタをプロジェクトのためのＵＩオブジェクトライブラリに追加し得る。セレクタは、今度ＵＩ記述子ペイン７０６に表示される。図７Ｈを参照。

【0160】

ＣＶベースの特定アクティビティ７３０を構成するために、ユーザーは、最初に、この実施形態でＣＶが実行される画面を示す必要がある。ユーザーが「画面上に表示（ｉｎｄｉｃａｔｅ ｏｎ ｓｃｒｅｅｎ）」７３１（図７Ｂ参照）を選択すると、ユーザーは、Ｗｉｎｄｏｗｓ（登録商標）１０計算機７５０のＵＩをクリックし、これにより、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）は要素（ＣＶを使用）とラベル（選択したＯＣＲエンジン７３２－この場合は Ｍｉｃｒｏｓｏｆｔ（登録商標）ＯＣＲを使用）を検出し、メッセージ７３３が表示される。図７Ｉを参照。Ｗｉｎｄｏｗｓ（登録商標）１０計算機７５０のＵＩの要素およびラベルが検出されると、検出されたＵＩ要素のスクリーンショット７３４がＣＶベースの特定アクティビティ７３０に表示される。図７Ｋを参照。ＣＶを使用して９ボタンを特定するように構成され得るＣＶクリックアクティビティ７３５が使用され得る。このアクティビティは、検索インターフェース７０８を使用して、ＣＶベースの特定アクティビティ７３０内に入れ子にされたアクティビティとして追加され得、これは、開発者が特定のアクティビティのプラスアイコンをクリックすると表示され得る。図７Ｊを参照。

【0161】

開発者が、ＣＶクリックアクティビティ７３５のスコープ（ｓｃｏｐｅ）７３６をクリックして示すと、Ｗｉｎｄｏｗｓ（登録商標）１０計算機７５０がＣＶクリックインターフェース７５４と共に表示される。図７Ｌを参照。しかし、ユーザーが９ボタン７５２をクリックすると、このボタンはＣＶを使用して一意に認識されない。図７Ｍを参照。ＣＶクリックインターフェース７５４は、重複一致が見つかったというメッセージを開発者に表示し、開発者にアンカーを追加するように求める。次に、９ボタン７５２が、Ｗｉｎｄｏｗｓ（登録商標）１０計算機７５０内の他のアンカーＵＩ要素との関係に基づいて、ターゲットＵＩ要素として一意に特定されるまで、開発者は、９ボタン７５２のアンカーを追加する（例えば、アンカー選択機能を使用した、選択されたアンカー７５６、７５７および候補アンカー７５８）。９ボタン７５２のためのＣＶ記述子がターゲットおよびアンカー（複数可）を使用してそれを一意に特定した後、スクリーンショット７３７がＣＶクリックアクティビティ７３５に表示される。図７Ｏを参照。図７Ｏにおいて、スクリーンショット７３７は、ターゲットおよびアンカーが適切に選択されていないバージョンを示しているが、これは単なる例として示されている。特定の実施形態では、ＣＶ記述子は、ターゲットＵＩ要素を一意に特定するようにそれを構成せずに保存され得る。

【0162】

開発者は、プロパティタブ（ｐｒｏｐｅｒｔｉｅｓ ｔａｂ）７６０を使用して、記述子プロパティでＣＶクリックを表示し得る。図７Ｐを参照。これは、ＣＶ記述子のさまざまな変数を提供する。しかし、セレクタとは異なり、ＣＶ記述子のセレクタの基になる属性は複雑であり得、画像へのＡＩ／ＭＬモデルの適用に関連し得る。したがって、ＣＶセレクタが提供されるが、いくつかの実施形態では、それは開発者により容易にアクセスまたは修正でき得ない。代わりに、開発者は、ＣＶ記述子／セレクタを編集するために、ターゲットＵＩ要素を再度指定し得る。これはまた、いくつかの実施形態では、技術者ではないユーザーでもターゲット／アンカーを示すことができることを意味する。画面上のＵＩ要素の収集および開発者がクリックしたいＵＩ要素は、ＣＶベースの特定アクティビティ７３０の一部として保存され得る。

【0163】

統合されたターゲットベースの特定アクティビティ７４０に関して、開発者が「アプリケーションを表示（Ｉｎｄｉｃａｔｅ Ａｐｐｌｉｃａｔｉｏｎ）」７４１（図７Ｂを参照）を選択すると、ユーザーはＷｉｎｄｏｗｓ（登録商標）１０計算機７５０のＵＩクリックし、これにより、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）はＵＩのスクリーンショット７４３をキャプチャし、統合されたターゲットベースの特定アクティビティ７４０でスクリーンショット７４３を表示する。図７Ｑを参照。スクリーンショット７４３に関連付けられたアプリケーションのためのアプリケーションパス（ａｐｐｌｉｃａｔｉｏｎ ｐａｔｈ）７４４も示され、開発者は必要に応じてアプリケーション引数（ａｐｐｌｉｃａｔｉｏｎ ａｒｇｕｍｅｎｔｓ）７４５を追加し得る。ドゥーアクティビティ（ｄｏ ａｃｔｉｖｉｔｙ）７４２は、統合されたターゲットベースの特定アクティビティ７４０に入れ子（ｎｅｓｔｅｄ）にされている。開発者がプラスアイコンをクリックすると、検索インターフェース７０８が表示される。図７Ｒを参照。その後、開発者は所望のクリック機能を検索し得る。

【0164】

選択されたクリックオプションにより、入れ子にされたクリックアクティビティ７４６がドゥーアクティビティ７４２内に表示される。図７Ｓを参照。クリックアクティビティ７４６は、開発者が画面上で選択およびクリックされるターゲットを示すことを可能にする画面上に表示ボタン（ｉｎｄｉｃａｔｅ ｏｎ ｓｃｒｅｅｎ ｂｕｔｔｏｎ）７４７を含む。開発者は、クリックのタイプおよびクリックするマウスボタンを指定することもできる。この場合、シングル左クリックが指定される。

【0165】

画面上に表示ボタン７４７をクリックすると、統合されたターゲット選択オプションウィンドウ７７０が現れる。図７Ｔを参照。統合されたターゲットは、画像に基づいてターゲットおよび／またはアンカーを追加し、舞台裏でセレクタベースのフレームワークを使用する。マウスを９ボタンの上に置くと、ターゲットＵＩ要素のアウトライン７７２が表示される。ユーザーが９ボタンをクリックすると、それがターゲットとして選択され、このステータスがターゲットＵＩ要素のアウトライン７７２に示される。図７Ｕを参照。アンカー指定アイコン７７４を含む、さまざまなオプションアイコンも表示される。この実施形態では、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）は適切なアンカーを自動的に見つけようと試みたが、そうすることができなかった。

【0166】

開発者はアンカー７７６（この場合は、８ボタン）を指定し、これらの要素の組み合わせにより、統合されたターゲットロジックはターゲットとアンカー８ボタンとの組み合わせを使用してターゲット９ボタンを一意に特定し得る。図７Ｖを参照。これにより、統合されたターゲット選択オプションウィンドウ７７０は、ターゲットおよびアンカーがＯＫであることを確認し、デザイナはターゲットおよびアンカーのセレクタを検証し、選択を確認し、またはキャンセルし得る。ここで、開発者は、ターゲットおよびアンカーセレクタを検証することを選択し、統合されたターゲット選択オプションウィンドウ７７０は、検証スコア通知７７８に示される１００％の検証精度スコアで検証が成功したことを確認する。図７Ｗを参照。ターゲットおよびアンカーのセレクタがＯＫであることを示した後、ターゲットおよびアンカーのスクリーンショット７４８が表示される。図７Ｘを参照。特定の実施形態では、統合されたターゲットフレームワーク内でＣＶ技法が使用され得る。

【0167】

いくつかの実施形態では、ＵＩ要素を見つけるために画像マッチングが使用され得る。例えば、クリック画像アクティビティ７８０が図７Ｙに追加された。開発者が「画面上に画像を表示（ｉｎｄｉｃａｔｅ ｉｍａｇｅ ｏｎ ｓｃｒｅｅｎ）」７８２を選択すると、開発者は画像検索用の画像を定義し得る。図７Ｚでは、開発者がボックス７８４を９ボタンの周りにドラッグすると、９ボタンのスクリーンショット７８６がクリック画像アクティビティ７８０に現れる。クリック画像アクティビティのプロパティは、プロパティタブ７６０に表示される。図７ａを参照。図７ｂのセレクタエディタ７２６に示すように、画像のためのセレクタも生成される。セレクタは、開発者がスナップショットを取得したアプリケーションをキャプチャする。

【0168】

特定の実施形態では、セレクタおよびＯＣＲの組み合わせが使用され得る。図７ｃは、開発者が検索するテキストを手動で入力できるフィールド７９４と、ＯＣＲエンジン７９６とを含むクリックＯＣＲテキストアクティビティ７９０を示す。この実施形態では、ユーザーが「画面上に表示（Ｉｎｄｉｃａｔｅ ｏｎ ｓｃｒｅｅｎ）」７９２をクリックすると、ユーザーは、セレクタベースのアプローチと同様の方法でＵＩ要素を選択する（図７Ｃを参照）。ＵＩ要素の選択後、選択されたＵＩ要素のスクリーンショット７９８がクリックＯＣＲテキストアクティビティ７９０に表示される。図７ｄを参照。しかし、セレクタベースのアプローチとは異なり、セレクタおよびＯＣＲのアプローチでは、さらにＯＣＲを使用してＵＩ要素を特定する。たとえば、計算機ボタンの多くは同じ形を有するが、それぞれの数字を持つボタンは１つだけである。

【0169】

図８は、本発明の実施形態による、セレクタベースのアクティビティを生成するためのプロセス８００を示すフローチャートである。プロセスは、８１０でセレクタベースのアクティビティを生成することから始まる。アクティビティは、ボタンをクリックする、テキストを入力する、メニューを開き、そしてオプションを選択する、などを行うことができる。８２０で画面上に表示コマンドが受信され、８３０でアプリケーションが検出される。これは、いくつかの実施形態では、アプリケーションの自動検出、アプリケーションのバージョンの検出、および／またはアプリケーション内の画面の検出を含み得る。アプリケーションが自動検出されない場合、アプリケーションの検出は、ユーザーにアプリケーション名およびバージョンの提供を要求することを含み得る。例えば、複数のアプリケーションが検出された場合、および／またはユーザーがこの情報を手動で入力できる場合、ドロップダウンリストをユーザーに提供して、アプリケーション名およびアプリケーションバージョンを提供し得る。

【0170】

開発者が所望のＲＰＡプロセスを作成できるようにする一連のアクティビティが提供され得る。いくつかのアクティビティは、ユーザーが使用して画面／アプリケーションを示すことを可能にし得る。ユーザーが自動化を実行したい場合、ユーザーは、アクティビティがインタラクションする必要がある画面、画面上のＵＩ要素などを示し得る。特定のアクティビティはアプリケーションを開き得る。これは、デスクトップアプリケーションを開く、ＵＲＬを使用して案内するなどを含み得る。

【0171】

アプリケーション画面上のＵＩ要素は８４０で検出される。いくつの実施形態では、検出された要素は、ユーザーがＵＩモデルを生成するために強調表示され得る。検出されたＵＩ要素は、画面のモデルとして、タクソノミまたはツリーとして編成され得る。しかし、特定の実施形態では、オントロジーなどの非タクソノミ的手法が使用され得る。オントロジーは、画面間の特定の構造的および論理関係を定義し得る。例えば、ある画面で「送信」ボタンがクリックされると、これにより少なくともいくつかの異なるＵＩ要素を含む別の画面が表示され得る。また、特定のＵＩ要素および／または画面の一部は、複数の画面に共通し得る。例えば、Ｍｉｃｒｏｓｏｆｔ Ｏｕｔｌｏｏｋ（登録商標）では、通常、左側のレールナビゲーションサブスクリーンは変化せず、スクリーン間で再利用できる。変更されないサブスクリーンおよび／またはＵＩ要素を把握することで、処理時間を短縮し得る。

【0172】

８５０で、アクティビティのためのＵＩ要素の表示がユーザーから受信される。これは、いくつかの実施形態では、所望のＵＩ要素をクリックすることを含み得る。８６０において、ＵＩ要素に対するベストマッチに基づいたドライバ（例えば、ドライバ３４０）を使用して、指示されたＵＩ要素に対して独創的なセレクタが生成され、それに応じてアクティビティが構成される。

【0173】

図９は、本発明の実施形態による、ＣＶ記述子ベースのアクティビティを生成するためのプロセス９００を示すフローチャートである。プロセスは、９１０でＣＶ記述子ベースのアクティビティを生成することから始まる。９２０で、画面上に表示コマンドと、自動化する画面のユーザー選択が受信される。例えば、いくつかの実施形態では、ユーザーはアプリケーションインターフェース全体を選択し得る。９３０でアプリケーションが検出され、９４０でＣＶを使用してアプリケーション画面上のＵＩ要素が検出される。

【0174】

インタラクション用のＵＩ要素を指定するコマンドが受信され、インターフェースは、９５０でＣＶによって検出された選択可能なＵＩ要素とともに表示される。次いで、９６０で、ターゲットＵＩ要素の選択がユーザーから受信される。９７０でターゲットが一意に特定され得る場合、ＣＶ記述子が生成され、それに応じて９８０でアクティビティが構成される。しかし、９７０でターゲットが一意に特定され得ない場合、９９０でターゲットが一意に特定され得るまで、アンカー指定が必要であり、かつユーザーから受信される。次に、プロセスはステップ９８０に進み、ＣＶ記述子を生成し、アクティビティを構成する。

【0175】

図１０は、本発明の実施形態による、統合されたターゲットベースのアクティビティを生成するためのプロセス１０００を示すフローチャートである。１０２０で、アプリケーション表示コマンドと、自動化する画面のユーザー選択が受信される。例えば、いくつかの実施形態では、ユーザーはアプリケーションインターフェース全体を選択し得る。例えば、１０３０でアプリケーションが検出され、１０４０でドライバを使用してアプリケーション画面上のＵＩ要素が検出される。

【0176】

インタラクション用のＵＩ要素を指定するコマンドが受信され、インターフェースは、１０５０でドライバによって検出された選択可能なＵＩ要素とともに表示される。次いで、１０６０で、ターゲットＵＩ要素の選択がユーザーから受信される。１０７０で、その要素のためだけのセレクタを使用してターゲットが一意に特定され得る場合、統合されたターゲット記述子が生成され（例えばセレクタ）、１０８０でそれに応じてアクティビティが構成される。しかし、１０７０でターゲットが一意に特定され得ない場合、１０９０でターゲットが一意に特定され得るまで、アンカー指定が必要であり、かつユーザーから受信される。いくつかの実施形態では、これは、検証スコアを決定することによってターゲットおよびアンカー（複数可）を検証することを含み得る。次に、プロセスはステップ１０８０に進み、統合されたターゲット記述子（例えば、ターゲットおよびアンカー（複数可）のためのセレクタ、およびそれらの間の位置的／幾何学的関係）を生成し、アクティビティを構成する。

【0177】

ＵＩ要素が一意に特定されるかどうかを判断するために、強度計算（検証スコアなど）が使用されて、統合されたターゲットＵＩ記述子に基づいて、ターゲットＵＩ要素がどの程度一致すると考えられるかを判断し得る。強度計算がしきい値未満（例えば、９７％未満、９５％未満など）である場合、実行時にＵＩ要素が所望のように正確に決定され得ない可能性がある。許容可能な精度は、ＲＰＡワークフローで達成されるタスク（複数可）によって異なり得る。しきい値を下回るＵＩ要素ターゲットでは、一意の特定のためにアンカーが必要になる場合がある。これらのアンカーは、自動的に決定されてユーザーに表示され得る、またはユーザーがＵＩ要素にマウスを合わせてアンカーを選択し得る。いくつかの実施形態では、所定のアンカーを追加することによる統合されたターゲット記述子の強度がユーザーに示され得る。アンカーを追加した後もしきい値を満たさない場合、ユーザーは、ターゲットＵＩ要素のしきい値を満たすまでさらなるアンカーを追加し続ける必要があり得る。

【0178】

アンカーは、画面上のターゲットＵＩ要素を一意に特定するのを助けるために使用され得る画面上の他のＵＩ要素である。例えば、画面上に複数のテキストフィールドが含まれている場合、テキストフィールドを検索するだけでは、与えられたテキストフィールドを一意に特定するには不十分である。したがって、いくつかの実施形態では、与えられたＵＩ要素を一意に特定するために、追加の情報を探す。テキストフィールドの例を使用すると、「ファーストネーム（Ｆｉｒｓｔ Ｎａｍｅ）」というラベルの右側に、ファーストネームを入力するためのテキストフィールドが表示される場合があり得る。このファーストネームラベルは、「ターゲット」であるセレクタのためのテキストフィールドを一意に特定するのに役立つように、「アンカー」として設定してもよい。

【0179】

いくつかの実施形態では、ターゲットとアンカーの間の様々な位置および／または幾何学的な関連付けが、ターゲットを一意に特定するために、潜在的に許容差内で使用される可能性がある。例えば、アンカーとターゲットのバウンディングボックスの中心が線セグメントを定義するために使用されてもよい。次いで、この線セグメントは、ターゲット／アンカーペアを使用してターゲットを一意に特定するために、許容差内の特定の長さおよび／または許容差内の傾きを有することが要求され得る。

【0180】

いくつかの場合は、画面上のターゲット要素を一意に特定するには、単一のアンカーでは不十分な場合がある。例えば、画面上の異なる位置にある「ファーストネーム」というラベルのそれぞれの右側に、ファーストネームを入力するための２つのテキストフィールドが表示されている場合を考えてみる。この場合では、１または複数の追加のアンカーは、所与のターゲットを一意に特定するのに有用であり得る。アンカーとターゲットとの間の幾何学的特性（例えば、許容差を有する線セグメントの長さ、角度、および／または相対位置）は、ターゲットを一意に特定するために使用されてもよい。ユーザーは、ターゲットに対する一致強度がしきい値を超えるまでアンカーを追加し続けることが要求されてもよい。

【0181】

いくつかの実施形態では、ＵＩ要素およびアンカー候補をマークしてユーザーに表示するのではなく、強度計算がしきい値を超えるまで、１または複数のアンカーが自動的に割り当てられてもよい。例えば、しきい値が９７％で、特定のＵＩ要素の一致強度が９０％の場合、システムは、一致強度がしきい値以上になるまでアンカーを追加し続け得る。これは、いくつかの実施形態では、セレクタの一致強度を最も高めるアンカーを決定し、このアンカーを追加し、まだしきい値を下回っている場合は、アンカーを追加した後に他の要素の一致強度が増加することを決定し、一致強度の最大の増加を引き起こすアンカーを追加し、そしてしきい値が満たされるまで繰り返すことによって達成され得る。

【0182】

図１１は、本発明の実施形態による、画像マッチングアクティビティを生成するためのプロセス１１００を示すフローチャートである。プロセスは、１１１０で画像マッチングアクティビティを生成することから始まる。アクティビティは、ボタンをクリックする、テキストを入力する、メニューを開いてオプションを選択するなど、画像マッチング技術に基づいて行うことができる。１１２０で画面上に表示コマンドが受信され、１１３０でアプリケーションが検出される。

【0183】

画像マッチングが実行されるアプリケーションの領域の選択は、１１４０で受信される。これは、ユーザーが対象のＵＩ要素の周りにボックスを描くこと、なげなわツールを使用すること、フリーフォーム選択を描くこと、または本発明の範囲から逸脱することなく他の選択メカニズムを含む。次いで、選択された画像に対して画像マッチングセレクタが生成され、１１５０において、それに応じてアクティビティが構成される。

【0184】

図１２は、本発明の実施形態による、セレクタおよびＯＣＲベースのアクティビティを生成するためのプロセス１２００を示すフローチャートである。プロセスは、１２１０でセレクタおよびＯＣＲベースのアクティビティを生成することから始まる。アクティビティは、ボタンをクリックする、テキストを入力する、メニューを開き、そしてオプションを選択する、などを行うことができる。１２２０で画面上に表示コマンドが受信され、１２３０でアプリケーションが検出される。アプリケーション画面上のＵＩ要素も１２４０で検出される。

【0185】

１２５０で、アクティビティのためのＵＩ要素の指示がユーザーから受信される。これは、いくつかの実施形態では、所望のＵＩ要素をクリックすることを含み得る。１２６０において、ＵＩ要素に対するベストマッチに基づいたドライバを使用して、指示されたＵＩ要素に対して独創的なセレクタが生成され、それに応じてアクティビティが構成される。１２７０で、ＯＣＲエンジンの選択が受信され、それに応じてアクティビティが構成される。ＲＰＡプロセスの一部として遂行されると、セレクタのみを検索するのではなく、セレクタおよびＯＣＲベースのアクティビティは、ＵＩ要素のセレクタが見つかったことと、ＵＩ要素のテキストがＯＣＲを使用してアクティビティで指定されたテキストと一致することの両方を確認する。

【0186】

図１３は、本発明の実施形態による、複数の特定技法を使用するＲＰＡワークフローを生成するためのプロセス１３００を示すフローチャートである。プロセスは、１３１０でＵＩ要素特定およびインタラクションアクティビティを生成することから始まります。アクティビティは、１または複数のセレクタベースの特定アクティビティ、ＣＶベースの特定アクティビティ、統合されたターゲット特定アクティビティ、画像マッチング特定アクティビティ、セレクタおよびＯＣＲベースの特定アクティビティ、任意の他の適切な特定アクティビティ、それらの任意の組み合わせなどであり得る。

【0187】

次いで、１３２０で、ＵＩ要素特定およびインタラクションアクティビティが論理関係に構成される。論理関係は、順次的、条件付き（例えば、最初のアクティビティでＵＩ要素が一意に検出されない場合は、ＵＩ要素が一意に特定されるかまたはすべてのアクティビティが試行されるまで、２番目、次いで３番目などを使用する）、パラレルなどの場合があり得る。１３３０で、ＵＩ要素特定およびインタラクションアクティビティを含むワークフローを実装するＲＰＡロボットが生成され、１３４０で、ＵＩ要素を検出してインタラクションするためにＲＰＡロボットが遂行される。

【0188】

図１４は、本発明の実施形態による、ＵＩオブジェクトライブラリを作成し、アプリケーションの新しいバージョンと連携するプロジェクトを構成するためのプロセス１４００を示すフローチャートである。プロセスは、１または複数のＵＩオブジェクトライブラリが１４１０で以前に作成されている場合、ＵＩオブジェクトリポジトリからそれらをロードすることから開始し得る。次いで、１４２０で、変更されたＵＩを有するアプリケーションの新しいバージョンとインタラクションするために、１または複数のＵＩオブジェクトライブラリから、アクティビティのそれぞれのＵＩ要素とインタラクションするためのＵＩ記述子が作成および／または追加される。

【0189】

適切なＵＩ記述子が更新されると、１４３０で、ＵＩ記述子を含むＵＩオブジェクトライブラリがＵＩオブジェクトリポジトリで公開される。ＵＩオブジェクトライブラリはまた、アプリケーション、画面、およびアクティビティがインタラクションするアプリケーションからの少なくとも一部のＵＩ要素を含み得る。しかし、特定の実施形態では、ＲＰＡワークフローで特に使用されない他のＵＩ要素および／またはＵＩ記述子が含められ得る。その後、ＵＩオブジェクトライブラリは、１４４０で、他のＲＰＡワークフローおよび／または他の開発者による使用のために、ＵＩオブジェクトリポジトリで公開または再公開される。

【0190】

ＵＩオブジェクトライブラリにＵＩオブジェクトがない場合、またはアクティビティのためのＵＩ記述子がアプリケーションの新しいバージョンで機能しなくなった場合、ユーザーはこれらを追加し得る。作成されたＵＩオブジェクトライブラリ、およびもしかするとＵＩオブジェクトリポジトリ内の他のＵＩオブジェクトライブラリは、デザイナアプリケーションでユーザーに表示され得る。オブジェクトライブラリの公開は、いくつかの実施形態では、グローバルオブジェクトライブラリデータベース（ＯＬＤＢ）またはローカルＯＬＤＢの一部として実行され得る。例えば、グローバルＯＬＤＢ ＵＩオブジェクトリポジトリは、グローバルに共有されたデータベース（センターオブエクセレンス（ＣｏＥ）レベル）であり得る。ローカルのＯＬＤＢ ＵＩオブジェクトリポジトリは、ローカルに共有されたデータベース（ローカルマシンレベル）であり得る。いくつかの実施形態では、ＵＩオブジェクトライブラリは、ＵｉＰａｔｈ（商標）サービスまたはＧｏ！サービスなどのサービスにプッシュされて公開され得る。これにより、必要に応じて、一連のＵＩオブジェクトライブラリを世界と共有できる。ＵＩオブジェクトリポジトリ（ＯＬＤＢなど）の格納形式は、アーキテクチャ／技術レベルで決定される必要がある。

【0191】

図８～図１４で実行されるプロセスステップは、本発明の実施形態に従って、図８～図１４で説明したプロセス（複数可）の少なくとも一部を実行するようにプロセッサ（複数可）への命令をエンコードするコンピュータプログラムによって実行されてもよい。コンピュータプログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されていてもよい。コンピュータ読み取り可能な媒体は、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープ、および／またはデータを格納するために使用される他のそのような媒体または媒体の組み合わせであってもよいが、これらに限定されるものではない。コンピュータプログラムは、図８～図１４に記載されたプロセスステップの全部または一部を実装するために、コンピューティングシステム（例えば、図５のコンピューティングシステム５００のプロセッサ（複数可）５１０）のプロセッサ（複数可）を制御するためのコード化された命令を含んでもよく、これはまた、コンピュータ読み取り可能な媒体に格納されてもよい。

【0192】

コンピュータプログラムは、ハードウェア、ソフトウェア、またはハイブリッド実装で実装され得る。コンピュータプログラムは、互いに動作可能な通信を行うモジュールで構成され得、情報または指示をディスプレイに送るように設計されている。コンピュータプログラムは、汎用コンピュータ、ＡＳＩＣ、またはいずれかの他の好適なデバイスで動作するように構成され得る。

【0193】

本発明の様々な実施形態のコンポーネントは、本明細書に一般的に記載され、図示されているように、様々な異なる構成で配置され、設計されてもよいことが、容易に理解されるであろう。したがって、添付の図に表されるような本発明の実施形態の詳細な説明は、特許請求されるような本発明の範囲を限定することを意図するものではなく、本発明の選択された実施形態を代表するものにすぎない。

【0194】

本明細書を通して記載された本発明の特色、構造、または特徴は、１または複数の実施形態では、いずれかの好適な方法で組み合わせられ得る。例えば、本明細書全体を通して「特定の実施形態」、「いくつかの実施形態」、または類似の言語を参照することは、実施形態に関連して記載された特定の特色、構造、または特徴が、本発明の少なくとも１つの実施形態に含まれていることを意味する。したがって、本明細書全体を通して「特定の実施形態では」、「いくつかの実施形態では」、「他の実施形態では」、または類似の言語の出現は、必ずしも全ての実施形態の同じグループを指すものではなく、記載された特色、構造、または特徴は、１または複数の実施形態ではいずれかの好適な方法で組み合わせられ得る。

【0195】

本明細書全体を通して特色、利点、または類似の言語への参照は、本発明で実現され得る特色および利点の全てが、本発明のいずれかの単一の実施形態にあるべきであること、または本発明のいずれかの実施形態であることを意味するものではないことに留意すべきである。むしろ、特色および利点に言及する言語は、実施形態に関連して記載された特定の特色、利点、または特徴が、本発明の少なくとも１つの実施形態に含まれることを意味すると理解される。したがって、本明細書全体での特色および利点の議論、ならびに類似の言語は、同じ実施形態を参照することができるが、必ずしもその必要性はない。

【0196】

さらに、本発明の記載された特色、利点、および特徴は、１または複数の実施形態では、いずれかの好適な方法で組み合わせることができる。関連する技術の当業者は、本発明が、１または複数の特定の実施形態の特定の特徴または利点なしに実施され得ることを認識するであろう。他の例では、追加の特徴および利点は、本発明の全ての実施形態には存在しないかもしれないが特定の実施形態では認識され得る。

【0197】

本分野における通常の技術を有する者は、上述したような本発明を、異なる順序でのステップを用いて、および／または開示されているものとは異なる構成のハードウェア要素を用いて実施することができることを容易に理解するであろう。したがって、本発明は、これらの好ましい実施形態に基づいて説明されてきたが、本発明の精神および範囲内にとどまりながら、特定の変更、変形、および代替的な構成が明らかになることは、当業者には明らかであろう。したがって、本発明の範囲を決定するためには、添付の特許請求の範囲を参照すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図6F】

【図6G】

【図6H】

【図6I】

【図6J】

【図6K】

【図6L】

【図6M】

【図6N】

【図6O】

【図6P】

【図6Q】

【図6R】

【図6S】

【図6T】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図7F】

【図7G】

【図7H】

【図7I】

【図7J】

【図7K】

【図7L】

【図7M】

【図7N】

【図7O】

【図7P】

【図7Q】

【図7R】

【図7S】

【図7T】

【図7U】

【図7V】

【図7W】

【図7X】

【図7Y】

【図7Z】

【図7a】

【図7b】

【図7c】

【図7d】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】