特開 2022-173048 自動文書スクロールを備えるロボティックプロセスオートメーション（ＲＰＡ）

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022173048

(43)【公開日】2022-11-17

(54)【発明の名称】自動文書スクロールを備えるロボティックプロセスオートメーション（ＲＰＡ）

(51)【国際特許分類】

   G06F 8/34 20180101AFI20221110BHJP

【ＦＩ】

G06F8/34

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021204145

(22)【出願日】2021-12-16

(31)【優先権主張番号】17/302,560

(32)【優先日】2021-05-06

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

(71)【出願人】

【識別番号】520262319

【氏名又は名称】ユーアイパス，インコーポレイテッド

【氏名又は名称原語表記】ＵｉＰａｔｈ，Ｉｎｃ．

【住所又は居所原語表記】４５２ ５ｔｈ Ａｖｅｎｕｅ， ２２ｎｄ Ｆｌｏｏｒ， Ｎｅｗ Ｙｏｒｋ，ＮＹ １００１８，Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100180781

【弁理士】

【氏名又は名称】安達 友和

(74)【代理人】

【識別番号】100182903

【弁理士】

【氏名又は名称】福田 武慶

(72)【発明者】

【氏名】ミルシア，ユリアン

(72)【発明者】

【氏名】クシュナール，レヴ

【テーマコード（参考）】

5B376

【Ｆターム（参考）】

5B376BC07

5B376BC14

5B376BC21

5B376BC31

5B376BC43

(57)【要約】      （修正有）

【課題】大きな文書の自動処理を容易にする方法、コンピュータシステム及び非一時的コンピュータ可読媒体を提供する。
【解決手段】ロボティックプロセスオートメーション（ＲＰＡ）環境１０において、ＲＰＡロボットは、ユーザーインターフェース内に現在公開されている文書の第１の部分内のターゲット要素を検索する。検索が失敗すると、ロボットは、それぞれのＵＩのスクロールコントロールを自動的に作動させて、それぞれの文書の別の部分を表示させることができる。次いで、ロボットは、文書の新たに公開された部分内でＲＰＡターゲットを検索し続ける。ロボットは、それぞれの文書がスクロール可能であるかどうかを自動的に判定し、ターゲットアプリケーションのタイプにしたがってスクロールコントロールを識別する（例えば、スプレッドシート対ウェブブラウザ）。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータシステムの少なくとも１つのハードウェアプロセッサを使用することを含む方法であって、
ユーザーインターフェース（ＵＩ）のターゲット要素を示すロボティックプロセスオートメーション（ＲＰＡ）スクリプトの受信に応答して、前記ＵＩのランタイムインスタンス内の前記ターゲット要素のランタイムインスタンスを識別する試みを実行し、前記ＵＩの前記ランタイムインスタンスが、電子文書の初期部分を現在表示しており、
前記試みが失敗した場合、前記電子文書の前記初期部分を現在表示しているＵＩコンテナがスクロール可能であるか否かを判定し、
それに応答して、前記ＵＩコンテナがスクロール可能である場合、スクロールコントロールをアクティブ化して、前記ＵＩの前記ランタイムインスタンスに前記電子文書の後続部分を表示させ、
前記スクロールコントロールをアクティブ化することに応答して、前記ＵＩの前記ランタイムインスタンス内の前記ターゲット要素の前記ランタイムインスタンスを識別するための別の試みを実行し、前記ＵＩの前記ランタイムインスタンスが、前記電子文書の前記後続部分を現在表示しており、
前記ターゲット要素の前記ランタイムインスタンスの正常な識別に応答して、人間のオペレータが前記ターゲット要素の前記ランタイムインスタンスに作用した結果を再現する動作を実行する、方法。

【請求項2】

前記ランタイムＵＩが、複数の属性を有するコンピュータ可読データ構造にしたがってレンダリングされ、前記方法が、前記ＵＩコンテナが前記複数の属性のうちの選択された属性の現在の値にしたがってスクロール可能であるかどうかを判定することを含む、請求項１に記載の方法。

【請求項3】

前記ＵＩコンテナがスクロール可能であるかどうかを判定することが、前記ＵＩの前記ランタイムインスタンスが前記スクロールコントロールを含むかどうかを判定することを含む、請求項１に記載の方法。

【請求項4】

前記ＵＩの前記ランタイムインスタンスが前記スクロールコントロールを含むかどうかを判定することが、前記ＵＩの前記ランタイムインスタンスを公開するアプリケーションのタイプにしたがって前記スクロールコントロールを識別することを含む、請求項３に記載の方法。

【請求項5】

前記ＵＩの前記ランタイムインスタンスが前記スクロールコントロールを含むかどうかを判定することが、
前記候補ＵＩ要素が応答しているかどうかにしたがって前記ＵＩの前記ランタイムインスタンスから候補ＵＩ要素を選択することと、前記候補ＵＩ要素が前記スクロールコントロールを含むかどうかを判定することと、を含む、請求項３に記載の方法。

【請求項6】

前記ＵＩの前記ランタイムインスタンスが前記スクロールコントロールを含むかどうかを判定することが、
前記ＵＩの前記ランタイムインスタンス内の前記候補ＵＩ要素の位置にしたがって前記ＵＩの前記ランタイムインスタンスから前記候補ＵＩ要素を選択することと、
前記候補ＵＩ要素が前記スクロールコントロールを含むかどうかを判定することと、を含む、請求項３に記載の方法。

【請求項7】

前記電子文書が、スプレッドシート、ウェブページ、および電子メールメッセージのリストからなる群から選択される項目を含む、請求項１に記載の方法。

【請求項8】

前記電子文書が、複数のノードを含む階層構造を含み、前記スクロールコントロールをアクティブ化することが、前記ＵＩの前記ランタイムインスタンスに、前記複数のノードのうちの選択されたノードをサブノードのセットに展開させる、請求項１に記載の方法。

【請求項9】

前記少なくとも１つのハードウェアプロセッサを使用して、前記ランタイムＵＩの少なくとも１つの領域のスナップショットにしたがって前記スクロールコントロールを識別することをさらに含む、請求項１に記載の方法。

【請求項10】

前記少なくとも１つのハードウェアプロセッサを使用して、
自動スクロールオプションが有効にされているかどうかをＲＰＡスクリプトにしたがって判定し、
それに応答して、自動スクロールが有効になっている場合にのみスクロールコントロールをアクティブ化することをさらに含む、請求項１に記載の方法。

【請求項11】

少なくとも１つのハードウェアプロセッサを備えるコンピュータシステムであって、
ユーザーインターフェース（ＵＩ）のターゲット要素を示すロボティックプロセスオートメーション（ＲＰＡ）スクリプトの受信に応答して、前記ＵＩのランタイムインスタンス内の前記ターゲット要素のランタイムインスタンスを識別する試みを実行し、前記ＵＩの前記ランタイムインスタンスが、電子文書の初期部分を現在表示しており、
前記試みが失敗した場合、前記電子文書の前記初期部分を現在表示しているＵＩコンテナがスクロール可能であるか否かを判定し、
それに応答して、前記ＵＩコンテナがスクロール可能である場合、スクロールコントロールをアクティブ化して、前記ＵＩの前記ランタイムインスタンスに前記電子文書の後続部分を表示させ、
前記スクロールコントロールをアクティブ化することに応答して、前記ＵＩの前記ランタイムインスタンス内の前記ターゲット要素の前記ランタイムインスタンスを識別するための別の試みを実行し、前記ＵＩの前記ランタイムインスタンスが、前記電子文書の前記後続部分を現在表示しており、
前記ターゲット要素の前記ランタイムインスタンスの正常な識別に応答して、人間のオペレータが前記ターゲット要素の前記ランタイムインスタンスに作用した結果を再現する動作を実行する、ように構成されたコンピュータシステム。

【請求項12】

請求項２～１０のいずれか一項にしたがって構成される、請求項１１に記載のコンピュータシステム。

【請求項13】

コンピュータシステムの少なくとも１つのハードウェアプロセッサによって遂行されると、前記コンピュータシステムに、
ユーザーインターフェース（ＵＩ）のターゲット要素を示すロボティックプロセスオートメーション（ＲＰＡ）スクリプトの受信に応答して、前記ＵＩのランタイムインスタンス内の前記ターゲット要素のランタイムインスタンスを識別する試みを実行させ、前記ＵＩの前記ランタイムインスタンスが、電子文書の初期部分を現在表示しており、
前記試みが失敗した場合、前記電子文書の前記初期部分を現在表示しているＵＩコンテナがスクロール可能であるか否かを判定させ、
それに応答して、前記ＵＩコンテナがスクロール可能である場合、スクロールコントロールをアクティブ化して、前記ＵＩの前記ランタイムインスタンスに前記電子文書の後続部分を表示させ、
前記スクロールコントロールをアクティブ化することに応答して、前記ＵＩの前記ランタイムインスタンス内の前記ターゲット要素の前記ランタイムインスタンスを識別するための別の試みを実行させ、前記ＵＩの前記ランタイムインスタンスが、前記電子文書の前記後続部分を現在表示しており、
前記ターゲット要素の前記ランタイムインスタンスの正常な識別に応答して、人間のオペレータが前記ターゲット要素の前記ランタイムインスタンスに作用した結果を再現する動作を実行させる、命令を記憶する非一時的コンピュータ可読媒体。

【請求項14】

請求項２～１０のいずれか一項にしたがって構成される、請求項１３に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【背景技術】

【0001】

本発明は、ロボティックプロセスオートメーション（ＲＰＡ）に関し、特に、実質的なスプレッドシートおよびウェブページなどの大きな文書の自動処理を容易にすることに関する。

【0002】

ＲＰＡは、反復的なコンピューティングタスクを自動化することによって生産性を向上させ、したがって、人間のオペレータがより知的に洗練されたおよび／または創造的なアクティビティを実行することができるようにすることを目的とした情報技術の新興の分野である。自動化を目的とした注目すべきタスクは、文書から構造化データを抽出すること、および、例えばとりわけフォームに記入するためにユーザーインターフェースとインタラクションすることを含む。しかしながら、ユーザーインターフェースとのインタラクションを自動化することは、例えば、ボタン、フォームフィールド、またはスプレッドシートセルなどのターゲットＵＩ要素を明確に識別するなど、実質的な技術的課題を提起する。さらに、ＲＰＡアプリケーションは、それぞれのソフトウェアロボットの設計と実行時との間で生じるインターフェース（例えば、様々な要素、カラースキーム、フォントなどの配置）の外観の変化のために失敗する可能性がある。

【0003】

ＲＰＡ開発の最先端は、ソフトウェアロボットのプログラミングおよび管理を単純化することを目的としており、高度なプログラミングスキルまたは訓練を欠くユーザーにＲＰＡ技術の範囲を拡大するという最終目的がある。ＲＰＡをよりアクセスしやすくする１つの方法は、コーディング自体ではなく、グラフィカルユーザーインターフェース（ＧＵＩ）ツールを介してロボットのプログラミングを可能にするＲＰＡ指向の統合開発環境（ＩＤＥ）の開発である。

【0004】

上記を考慮して、様々な実行時状況で実行することができる堅牢でスケーラブルなロボットを開発する一方で、そのようなロボットの設計を可能な限り直感的且つユーザーフレンドリーに保ち、幅広い開発者を引き付けることに強い関心がある。

【発明の概要】

【0005】

一態様によれば、本方法は、コンピュータシステムの少なくとも１つのハードウェアプロセッサを使用して、ユーザーインターフェース（ＵＩ）のターゲット要素を示すロボティックプロセスオートメーション（ＲＰＡ）スクリプトの受信に応答して、ＵＩのランタイムインスタンス内のターゲット要素のランタイムインスタンスを識別する試みを実行することを含み、ＵＩのランタイムインスタンスは、電子文書の初期部分を現在表示している。本方法は、試みが失敗した場合、少なくとも１つのハードウェアプロセッサを使用して、電子文書の初期部分を現在表示しているＵＩコンテナがスクロール可能であるかどうかを判定し、それに応答して、ＵＩコンテナがスクロール可能である場合、ＵＩのランタイムインスタンスを電子文書の結果として表示させるために、スクロールコントロールとしてアクティブ化することをさらに含む。本方法は、スクロールコントロールをアクティブ化することに応答して、ＵＩのランタイムインスタンス内のターゲット要素のランタイムインスタンスを識別する別の試みを実行することをさらに含み、ＵＩのランタイムインスタンスは、電子文書の後続部分を現在表示している。本方法は、ターゲット要素のランタイムインスタンスの正常な識別に応答して、少なくとも１つのハードウェアプロセッサを使用して、ターゲット要素のランタイムインスタンスに作用する人間のオペレータの結果を再現する動作を実行することをさらに含む。

【0006】

別の態様によれば、コンピュータシステムは、ＵＩのターゲット要素を示すＲＰＡスクリプトの受信に応答して、ＵＩのランタイムインスタンス内のターゲット要素のランタイムインスタンスを識別する試みを実行するように構成された少なくとも１つのハードウェアプロセッサを備え、ＵＩのランタイムインスタンスは、電子文書の初期部分を現在表示している。少なくとも１つのハードウェアプロセッサは、第１の試みが失敗した場合、電子文書の初期部分を現在表示しているＵＩコンテナがスクロール可能であるかどうかを判定し、それに応答して、ＵＩコンテナがスクロール可能である場合、ＵＩのランタイムインスタンスに電子文書の後続部分を表示させるためにスクロールコントロールをアクティブ化するようにさらに構成される。少なくとも１つのハードウェアプロセッサは、スクロールコントロールをアクティブ化することに応答して、ＵＩのランタイムインスタンス内のターゲット要素のランタイムインスタンスを識別する別の試みを実行するようにさらに構成され、ＵＩのランタイムインスタンスは、電子文書の後続部分を現在表示している。少なくとも１つのハードウェアプロセッサは、ターゲット要素のランタイムインスタンスの成功した識別に応答して、ターゲット要素のランタイムインスタンスに作用する人間のオペレータの感覚を再現する動作を実行するようにさらに構成される。

【0007】

別の態様によれば、非一時的コンピュータ可読媒体は、コンピュータシステムの少なくとも１つのハードウェアプロセッサによって遂行されると、ユーザーインターフェース（ＵＩ）のターゲット要素を示すロボティックプロセスオートメーション（ＲＰＡ）スクリプトを受信したことに応答して、ＵＩのランタイムインスタンス内のターゲット要素のランタイムインスタンスを識別する試みをコンピュータシステムに実行させる命令を記憶し、ＵＩのランタイムインスタンスは、電子文書の初期部分を現在表示している。試みが失敗した場合、命令は、さらに、少なくとも１つのハードウェアプロセッサに、電子文書の初期部分を現在表示しているＵＩコンテナがスクロール可能であるかどうかを判定させ、それに応答して、ＵＩコンテナがスクロール可能である場合、ＵＩのランタイムインスタンスを電子文書の後続部分を表示させるためにスクロールコントロールをアクティブ化させる。命令は、さらに、スクロールコントロールをアクティブ化することに応答して、少なくとも１つのハードウェアプロセッサに、ＵＩのランタイムインスタンス内のターゲット要素のランタイムインスタンスを識別する別の試みを実行させ、ＵＩのランタイムインスタンスは、電子文書の後続部分を現在表示している。命令は、さらに、少なくとも１つのハードウェアプロセッサに、ターゲット要素のランタイムインスタンスの正常な識別に応答して、ターゲット要素のランタイムインスタンスに作用する人間のオペレータの結果を再現する動作を実行させる。

【図面の簡単な説明】

【0008】

本発明の前述の態様および利点は、以下の詳細な説明を読み、図面を参照すると、よりよく理解されるであろう。

【0009】

【図1】本発明のいくつかの実施形態にかかる例示的なロボティックプロセスオートメーション（ＲＰＡ）環境を示している。

【0010】

【図2】本発明のいくつかの実施形態にかかるＲＰＡロボットおよびオーケストレータの例示的なコンポーネントおよび操作を示している。

【0011】

【図3】本発明のいくつかの実施形態にかかる様々なＲＰＡホストシステムを示している。

【0012】

【図4】本発明のいくつかの実施形態にかかる、ＲＰＡホスト上で遂行される例示的なＲＰＡコンポーネントを示している。

【0013】

【図5】本発明のいくつかの実施形態にかかる、複数のＵＩ要素を有する例示的なユーザーインターフェース（ＵＩ）を示している。

【0014】

【図6】本発明のいくつかの実施形態にかかる要素ＩＤによって識別される例示的なターゲットＵＩ要素を示している。

【0015】

【図7】本発明のいくつかの実施形態にかかるスクロールコントロールのセットを公開させる例示的なＵＩを示している。

【0016】

【図8】本発明のいくつかの実施形態にかかるスクロールコントロールのセットを公開させる別の例示的なＵＩを示している。

【0017】

【図9】本発明のいくつかの実施形態にかかるスクロールコントロールのセットを公開させるさらに別の例示的なＵＩを示している。

【0018】

【図10】本発明のいくつかの実施形態にかかるスクロールコントロールのセットを公開させるさらに別の例示的なＵＩを示している。

【0019】

【図11】本発明のいくつかの実施形態にかかる例示的なロボット設計インターフェースを示している。

【0020】

【図12】本発明のいくつかの実施形態にかかるＲＰＡ設計アプリケーションによって実行される例示的な一連のステップを示している。

【0021】

【図13】本発明のいくつかの実施形態にかかる例示的なターゲット構成インターフェースを示している。

【0022】

【図14】本発明のいくつかの実施形態にかかる、実行時にＲＰＡロボットによって実行される例示的な一連のステップを示している。

【0023】

【図15】本明細書に記載の方法のいくつかを遂行するようにプログラムされたコンピューティング機器の例示的なハードウェア構成を示している。

【発明を実施するための形態】

【0024】

以下の説明では、構造間の列挙された全ての接続は、直接的な動作接続または中間構造を介した間接的な動作接続とすることができることが理解される。要素のセットは、１つ以上の要素を含む。要素の列挙は、少なくとも１つの要素を指すと理解される。複数の要素は、少なくとも２つの要素を含む。「または」の任意の使用は、非排他的なまたはを意味する。別段の要求がない限り、記載された方法ステップは、必ずしも特定の例示された順序で実行される必要はない。第２の要素から導出された第１の要素（例えば、データ）は、第２の要素に等しい第１の要素、ならびに第２の要素および任意に他のデータを処理することによって生成された第１の要素を包含する。パラメータにしたがって判定または決定を行うことは、パラメータにしたがって、および任意に他のデータにしたがって判定または決定を行うことを包含する。別段の指定がない限り、いくつかの量／データのインジケータは、量／データ自体、または量／データ自体とは異なるインジケータであってもよい。コンピュータプログラムは、タスクを実行する一連のプロセッサ命令である。本発明のいくつかの実施形態で説明されるコンピュータプログラムは、スタンドアロンのソフトウェアエンティティまたは他のコンピュータプログラムのサブエンティティ（例えば、サブルーチン、ライブラリ）であってもよい。「データベース」という用語は、本明細書では、組織化された検索可能なデータの集合を示すために使用される。コンピュータ可読媒体は、磁気、光学、および半導体記憶媒体（例えば、ハードドライブ、光ディスク、フラッシュメモリ、ＤＲＡＭ）などの非一時的媒体、ならびに導電ケーブルおよび光ファイバリンクなどの通信リンクを包含する。いくつかの実施形態によれば、本発明は、とりわけ、本明細書に記載の方法を実行するようにプログラムされたハードウェア（例えば、１つ以上のプロセッサ）と、本明細書に記載の方法を実行するための命令を符号化するコンピュータ可読媒体とを備えるコンピュータシステムを提供する。

【0025】

以下の説明は、本発明の実施形態を例として示しており、必ずしも限定するものではない。

【0026】

図１は、本発明のいくつかの実施形態にかかる例示的なロボティックプロセスオートメーション（ＲＰＡ）環境１０を示している。環境１０は、特定のタスクの自動化を達成するために協働する様々なソフトウェアコンポーネントを備える。例示的なＲＰＡシナリオでは、会社の従業員は、例えば様々なクライアントに請求書を発行するために、ビジネスアプリケーション（例えば、ワードプロセッサ、スプレッドシートエディタ、ブラウザ、電子メールアプリケーション）を使用して反復タスクを実行する。それぞれのタスクを実際に実行するために、従業員は、一連の操作／動作を実行し、これは本明細書ではプロセスと見なされる。請求書発行プロセスの一部を形成する例示的な操作は、Ｍｉｃｒｏｏｆｔ Ｅｘｃｅｌ（登録商標）スプレッドシートを開くことと、クライアントの会社の詳細を検索することと、それぞれの詳細を請求書テンプレートにコピーすることと、購入された商品を示す請求書フィールドに記入することと、電子メールアプリケーションに切り替えることと、それぞれのクライアントへの電子メールメッセージを作成することと、新しく作成された請求書をそれぞれの電子メールメッセージに添付することと、「送信」ボタンをクリックすることと、を含むことができる。ＲＰＡ環境１０の様々な要素は、それぞれのタスクを実行する過程でそれぞれの人間のオペレータによって実行される操作のセットを模倣することによってそれぞれのプロセスを自動化することができる。

【0027】

人間の操作／動作を模倣することは、本明細書では、人間のオペレータがコンピュータ上でそれぞれの操作／動作を実行するときに発生する一連のコンピューティングイベントを再現すること、ならびに人間のオペレータがコンピュータ上でそれぞれの操作を実行した結果を再現することを含むと理解される。例えば、グラフィカルユーザーインターフェースのボタンをクリックする動作を模倣することは、オペレーティングシステムにマウスポインタをそれぞれのボタンに移動させ、マウスクリックイベントを生成することを含むことができ、あるいは、それぞれのＧＵＩボタン自体をクリック状態に切り替えることを含むことができる。

【0028】

そのような自動化のために典型的に対象とされるプロセスは、とりわけ、支払いの処理、請求書発行、ビジネスクライアントとの通信（例えば、新聞および／または製品の提供物の配布）、内部通信（例えば、メモ、会議および／またはタスクのスケジューリング）、監査、および給与処理を含む。いくつかの実施形態では、専用ＲＰＡ設計アプリケーション３０（図２）は、人間の開発者が、ターゲットプロセスを効果的に自動化するワークフローを実施するソフトウェアロボットを設計することを可能にする。ワークフローは、通常、一連のカスタム自動化ステップ、本明細書ではアクティビティと見なされるものを含む。各アクティビティは、ボタンのクリック、ファイルの読み取り、スプレッドシートセルとしての書き込みなど、ロボットによって実行される少なくとも１つの動作を含む。アクティビティは、ネストされるおよび／または埋め込まれてもよい。いくつかの実施形態では、ＲＰＡ設計アプリケーション３０は、遂行順序およびワークフローのアクティビティ間の関係の制御を開発者に与えるユーザーインターフェースおよびツールのセットを公開する。ＲＰＡ設計アプリケーション３０の実施形態の一商用例は、ＵｉＰａｔｈ ｔｕｄｉｏＸ（登録商標）である。

【0029】

いくつかのタイプのワークフローは、シーケンス、フローチャート、有限状態機械（ＦＭ）、および／またはグローバル例外ハンドラを含むことができるが、これらに限定されない。シーケンスは、ワークフローを乱すことなく１つのアクティビティから別のアクティビティへの流れを可能にする線形プロセスに特に適することができる。フローチャートは、より複雑なビジネスロジックに特に適しており、複数の分岐論理演算子を介してより多様な方法で決定の統合およびアクティビティの接続を可能にする。ＦＭは、大規模なワークフローに特に適している場合がある。ＦＭは、条件（すなわち、遷移）またはアクティビティによってトリガされる有限数の状態をそれらの遂行において使用することができる。グローバル例外ハンドラは、実行エラーに遭遇したときのワークフローの挙動を判定し、プロセスをデバッグするのに特に適することができる。

【0030】

ワークフローが開発されると、それはＲＰＡスクリプト４０（図２）のセットとしてコンピュータ可読形式で符号化されることができる。ＲＰＡスクリプト４０は、当該技術分野で知られている任意のデータ仕様にしたがって、例えば、拡張可能マークアップ言語（ＸＭＬ）、Ｊａｖａｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＯＮ）、またはＣ＃、Ｖｉｕａｌ Ｂａｉｃ、Ｊａｖａなどのプログラミング言語のバージョンで定式化されてもよい。あるいは、ＲＰＡスクリプト４０は、バイトコードのＲＰＡ固有のバージョンで、または英語、スペイン語、日本語などの自然言語で定式化された命令のシーケンスとして定式化されてもよい。いくつかの実施形態では、スクリプト４０は、ネイティブプロセッサ命令２５のセット（例えば、マシンコード）に事前コンパイルされる。

【0031】

当業者は、ＲＰＡ設計アプリケーション３０が、別個の物理マシン上で遂行することができる複数のコンポーネント／モジュールを備えることができることを理解するであろう。本発明のクラウドコンピューティングの実施形態を示すそのような一例では、ＲＰＡ設計アプリケーション３０は、クライアント－サーバ構成で遂行することができ、アプリケーション３０の一コンポーネントは、ロボット設計インターフェースをクライアントコンピュータのユーザーに公開することができ、サーバコンピュータ上で遂行されるアプリケーション３０の別のコンポーネントは、ロボットワークフローを組み立てて、ＲＰＡスクリプト４０を定式化／出力することができる。例えば、デバイスは、クライアントコンピュータ上で遂行されるウェブブラウザを介してロボット設計インターフェースにアクセスすることができ、クライアントコンピュータで受信されたユーザー入力を処理するソフトウェアがサーバコンピュータ上で実際に遂行される。

【0032】

一旦定式化されると、スクリプト４０は、オーケストレータ１４によってさらに制御および調整されることができるロボット１２ａ－ｃ（図１）のセットによって遂行されてもよい。ロボット１２ａ－ｃおよびオーケストレータ１４は、それぞれ、同じ物理マシン上で実行されてもされなくてもよい複数のコンピュータプログラムを含んでもよい。ロボット１２ａ－ｃおよびオーケストレータ１４の例示的な市販の実施形態は、それぞれ、ＵｉＰａｔｈ Ｒｏｂｏｔ（登録商標）およびＵｉＰａｔｈ Ｏｒｃｈｅｔｒａｔｏｒ（登録商標）を含む。ロボット１２ａ－ｃのタイプは、アテンディッドロボット、アンアテンディッドロボット、開発ロボット（アンアテンディッドロボットと同様であるが、開発および試験の目的で使用される）、および非生産ロボット（アテンディッドロボットと同様であるが、開発および試験の目的で使用される）を含むが、これらに限定されない。

【0033】

アテンディッドロボットは、ユーザーイベントおよび／またはコマンドによってトリガされ、同じコンピューティングシステム上で人間のオペレータと一緒に動作する。いくつかの実施形態では、アテンディッドロボットは、ロボットトレイまたはコマンドプロンプトからのみ起動されることができ、したがって、例えば、オーケストレータ１４から制御されることはできず、ロックされた画面の下で実行することはできない。アンアテンディッドロボットは、リモート仮想環境で無人で実行することができ、リモート遂行、監視、スケジューリング、および作業キューのサポートの提供を担当することができる。

【0034】

オーケストレータ１４は、プロビジョニング、デプロイメント、コンフィギュレーション、キューイング、監視、ロギング、および／またはロボット１２ａ－ｃへの相互接続の提供を含む様々な機能を有することができる。プロビジョニングは、ロボット１２ａ－ｃとオーケストレータ１４との間の接続を形成および維持することを含むことができる。デプロイメントは、遂行のためにロボット１２ａ－ｃにソフトウェア（例えば、ＲＰＡスクリプト４０）を確実に正しく配信することを含むことができる。コンフィギュレーションは、ロボット環境およびワークフロー構成の維持および送達を含むことができる。キューイングは、ジョブキューおよびキューアイテムの管理を提供することを含むことができる。監視は、ロボット状態の追跡を保持し、ユーザー権限を維持することを含むことができる。ロギングは、データベースおよび／または別の記憶機構（例えば、ＱＬ、Ｅｌａｔｉｃｅａｒｃｈ（登録商標）、Ｒｅｄｉ（登録商標））へのログの記憶およびインデックス付けを含むことができる。オーケストレータ１４は、サードパーティソリューションおよび／またはアプリケーションのための通信の集中ポイントとしてさらに機能することができる。

【0035】

図２は、本発明のいくつかの実施形態にかかるロボット１２およびオーケストレータ１４の例示的なコンポーネントを示している。例示的なＲＰＡロボットは、Ｍｉｃｒｏｏｆｔ，Ｉｎｃ．のＷｉｎｄｏｗｓ（登録商標）ワークフローファウンデーションアプリケーションプログラミングインターフェースを使用して構築される。ロボット１２は、エグゼキュータ２２のセットおよびＲＰＡエージェント２４を備えることができる。ロボットエグゼキュータ２２は、ビジネスプロセスを実行する人間のオペレータの動作を模倣する一連のアクティビティを示すＲＰＡスクリプト４０を受信し、それぞれのクライアントマシン上でそれぞれの一連のアクティビティを実際に実行するように構成される。いくつかの実施形態では、ロボットエグゼキュータ２２は、ＲＰＡスクリプト４０を、それぞれのスクリプトに記載された操作を実行するためのプロセッサ命令を含むランタイムパッケージに変換するように構成されたインタプリタ（例えば、ジャストインタイムインタプリタまたはコンパイラ）を備える。したがって、スクリプト４０を実行することは、エグゼキュータ２２がＲＰＡスクリプト４０を変換し、それぞれのホストマシンのプロセッサに、結果として得られたランタイムパッケージをメモリにロードし、遂行中のランタイムパッケージを起動するように命令することを含むことができる。

【0036】

ＲＰＡエージェント２４は、ロボットエグゼキュータ２２の操作を管理することができる。例えば、ＲＰＡエージェント２４は、人間のオペレータからの入力にしたがって、および／またはスケジュールにしたがって、ロボットエグゼキュータ２２による遂行のためのタスク／スクリプトを選択することができる。エージェント２４は、ジョブを開始および停止し、エグゼキュータ２２の様々な操作パラメータを構成することができる。ロボット１２が複数のエグゼキュータ２２を含む場合、エージェント２４は、それらのアクティビティおよび／またはプロセス間通信を調整することができる。ＲＰＡエージェント２４は、ＲＰＡロボット１２とオーケストレータ１４および／または他のエンティティとの間の通信をさらに管理することができる。

【0037】

Ｗｉｎｄｏｗｓ（登録商標）環境で遂行するいくつかの実施形態では、ロボット１２は、デフォルトでＭｉｃｒｏｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）サービスコントロールマネージャ（ＣＭ）管理サービスをインストールする。その結果、そのようなロボットは、ローカルシステムアカウントの下でインタラクティブなＷｉｎｄｏｗｓ（登録商標）セッションを開き、Ｗｉｎｄｏｗｓ（登録商標）サービスのプロセッサ特権を有することができる。例えば、コンソールアプリケーションは、ＣＭ管理ロボットによって起動されてもよい。いくつかの実施形態では、ロボット１２は、各ロボットがその下にインストールされているユーザーと同じ権利を有するような、プロセッサ特権の任意のレベル（ユーザーモード、リング３）でインストールされることができる。例えば、そのようなロボットは、それぞれのユーザーが可能な任意のアプリケーションを起動することができる。同時に実行される複数のインタラクティブなセッション（例えば、Ｗｉｎｄｏｗｓ（登録商標）サーバ２０１２）をサポートするコンピューティングシステムでは、複数のロボットは、それぞれが異なるユーザー名を使用して別々のＷｉｎｄｏｗｓ（登録商標）セッションにおいて、同時に実行されてもよい。

【0038】

いくつかの実施形態では、ロボット１２およびオーケストレータ１４は、クライアント－サーバ構成で遂行することができる。クライアント側、サーバ側、またはその双方は、本発明の範囲から逸脱することなく、任意の所望の数のコンピューティングシステム（例えば、物理マシンまたは仮想マシン）を含むことができることに留意されたい。そのような構成では、エグゼキュータ２２およびＲＰＡエージェント２４を含むロボット１２は、クライアント側で遂行することができる。ロボット１２は、いくつかのジョブ／ワークフローを同時に実行することができる。ＲＰＡエージェント２４（例えば、Ｗｉｎｄｏｗｓ（登録商標）サービス）は、エグゼキュータ２２の単一のクライアント側の接点として機能することができる。エージェント２４は、ロボット１２とオーケストレータ１４との間の通信をさらに管理することができる。いくつかの実施形態では、通信は、オーケストレータ１４へのＷｅｂｏｃｋｅｔチャネルを開くことができるエージェント２４によって開始される。エージェント２４は、その後、チャネルを使用して、各エグゼキュータ２２の状態に関する通知を、例えば心拍信号としてオーケストレータ１４に送信することができる。次に、オーケストレータ１４は、チャネルを使用して、承認、ジョブ要求、およびＲＰＡスクリプト４０などの他のデータをロボット１２に送信することができる。

【0039】

オーケストレータ１４は、場合によっては複数の物理マシンおよび／または仮想マシンにわたって分散されたサーバ側で遂行することができる。そのような一実施形態では、オーケストレータ１４は、ウェブアプリケーションであってもよいオーケストレータユーザーインターフェース（ＵＩ）１７と、サービスモジュール１９のセットとを含んでもよい。サービスモジュール１９は、一組のオープンデータプロトコル（ＯＤａｔａ）レプリゼンテーショナルステートトランスファ（ＲＥＴ）アプリケーションプログラミングインターフェースＡＰＩ）エンドポイント、および一組のサービスＡＰＩ／ビジネスロジックをさらに含むことができる。ユーザーは、オーケストレータＵＩ１７を介して（例えば、ブラウザ上で専用オーケストレータインターフェースを開くことによって）オーケストレータ１４とインタラクションして、例えば、ロボット１２上でのジョブの開始、ロボットグループ／プールの作成、ロボットへの割り当て、キューへの／キューからのデータの追加／削除、無人で実行するジョブのスケジューリング、ロボットまたはワークフローごとのログの分析などを含むことができる様々な動作を実行するようにオーケストレータ１４に命令することができる。オーケストレータＵＩ１７は、ハイパーテキストマークアップ言語（ＨＴＭＬ）、Ｊａｖａｃｒｉｐｔ（Ｊ）、または当該技術分野で知られている他のデータフォーマットを使用することができる。

【0040】

オーケストレータ１４は、サービスＡＰＩ／ビジネスロジックを選択的に呼び出すことによって、ユーザーによって要求された動作を実行することができる。さらに、オーケストレータ１４は、ＲＥＴ ＡＰＩエンドポイントを使用してロボット１２と通信することができる。ＲＥＴ ＡＰＩは、コンフィギュレーション、ロギング、監視、およびキューイング機能を含むことができる。構成エンドポイントは、アプリケーションユーザー、権限、ロボット、アセット、リリースなどを定義および構成するために使用されることができる。ロギングＲＥＴエンドポイントは、例えば、エラー、ロボットによって送信された明示的なメッセージ、および他の環境固有の情報などの様々な情報をログに記録するために使用されることができる。デプロイメントＲＥＴエンドポイントは、遂行されるべきＲＰＡスクリプト４０のバージョンを問い合わせるためにロボットによって使用されることができる。ＲＥＴエンドポイントをキューイングすることは、キューにデータを追加すること、キューからトランザクションを取得すること、トランザクションの状態を設定することなど、キューおよびキューアイテム管理を担当することができる。ＲＥＴエンドポイントを監視することは、オーケストレータ１４およびＲＰＡエージェント２４のウェブアプリケーションコンポーネントを監視することができる。

【0041】

いくつかの実施形態では、ＲＰＡ環境１０（図１）は、ＲＰＡデータベース１８に接続されたデータベースサーバ１６をさらに備える。サーバ１６がクラウドコンピューティングプラットフォーム上にプロビジョニングされる実施形態では、サーバ１６は、データベースサービスとして、例えば、一組のデータベースコネクタを有するクライアントとして具現化されてもよい。データベースサーバ１６は、データベース１８に／データベースからＲＰＡ環境１０に関連するデータを選択的に記憶および／または取得するように構成される。そのようなデータは、様々なロボット１２ａ－ｃの構成パラメータ、ロボットプール、ならびに様々なロボットによって実行されるワークフローを特徴付けるデータ、およびユーザー、役割、スケジュール、キューなどを特徴付けるデータを含むことができる。データベースサーバ１６によって記憶および／または取得されるデータの別の例示的なカテゴリは、各遂行中のロボットの現在の状態を特徴付けるデータを含む。さらに別の例示的なカテゴリのデータは、遂行中に様々なロボットによって記録されたメッセージを含む。データベースサーバ１６およびデータベース１８は、とりわけ、構造化照会言語（ＱＬ）、Ｅｌａｔｉｃｅａｒｃｈ（登録商標）、およびＲｅｄｉ（登録商標）などの当該技術分野で知られている任意のデータ記憶プロトコルおよびフォーマットを使用することができる。いくつかの実施形態では、データは、例えばＲＥＴエンドポイントのロギングを介して、オーケストレータ１４によって収集および管理される。オーケストレータ１４は、構造化されたクエリをデータベースサーバ１６にさらに発行することができる。

【0042】

いくつかの実施形態では、ＲＰＡ環境１０（図１）は、環境１０の様々なメンバを相互接続する通信チャネル／リンク１５ａ－ｅをさらに備える。そのようなリンクは、例えば、仮想ネットワークリンク、仮想プライベートネットワーク（ＶＰＮ）、またはエンドツーエンドトンネルとして、当該技術分野で知られている任意の方法にしたがって実装されることができる。いくつかの実施形態は、リンク１５ａ－ｅの一部または全部を循環するデータをさらに暗号化する。

【0043】

当業者は、ＲＰＡ環境１０の様々なコンポーネントが別個のホストコンピュータシステム（物理機器および／または仮想マシン）上で実装および／または遂行することができることを理解するであろう。図３は、本発明のいくつかの実施形態にかかる様々なそのようなＲＰＡホストシステム２０ａ－ｅを示している。各ホストシステム２０ａ－ｅは、少なくともハードウェアプロセッサと、プロセッサ命令および／またはデータを記憶するためのメモリユニットとを有するコンピューティングシステム（個々のコンピューティング機器または相互接続されたコンピュータのセット）を表す。例示的なＲＰＡホスト２０ａ－２０ｃは、とりわけ、企業メインフレームコンピュータ、パーソナルコンピュータ、ラップトップおよびタブレットコンピュータ、モバイル通信デバイス（例えば、スマートフォン）、および電子書籍リーダを含む。項目２０ｄ－ｅとして示されている他の例示的なＲＰＡホストは、プラットフォーム固有のプロトコルにしたがって集中管理される複数の相互接続されたサーバコンピュータシステムを備えるクラウドコンピューティングプラットフォームを含む。クライアントは、プラットフォーム固有のインターフェース／ソフトウェア層／ライブラリ（例えば、ソフトウェア開発キット－ＤＫ、プラグインなど）および／またはプラットフォーム固有のコマンド構文を使用して、そのようなクラウドコンピューティングプラットフォームとインタラクションすることができる。例示的なプラットフォーム固有のインターフェースは、とりわけ、Ａｚｕｒｅ（登録商標）ＤＫおよびＡＷ（登録商標）ＤＫを含む。ＲＰＡホスト２０ａ－ｅは、インターネットなどの通信ネットワーク１３によって通信可能に結合されてもよい。

【0044】

図４は、本発明のいくつかの実施形態にかかる、ＲＰＡホストシステム２０上で遂行される例示的なソフトウェアコンポーネントを示している。ホストシステム２０は、一般に、図３に示すＲＰＡホストシステムのいずれかを表す。いくつかの実施形態では、ＲＰＡロボット１２の他に、ＲＰＡホスト２０は、オペレーティングシステム（Ｏ）３２およびＲＰＡターゲットアプリケーション３４のインスタンス、すなわち、ロボット１２による自動化を目標とするソフトウェアアプリケーションを遂行する。ハードウェア仮想化技術を採用するいくつかの実施形態では、図示のコンポーネントの一部または全てが仮想マシン（ＶＭ）内で遂行されてもよい。

【0045】

Ｏ３２は、アプリケーション３４とホスト２０のハードウェアとの間をインターフェースするソフトウェア層を備える、とりわけ、Ｍｉｃｒｏｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、ＭａｃＯ（登録商標）、Ｌｉｎｕｘ（登録商標）、ｉＯ（登録商標）、またはＡｎｄｒｏｉｄ（登録商標）などの任意の広く利用可能なオペレーティングシステムを備えることができる。ＲＰＡターゲットアプリケーション３４は、一般に、タスクを実行するために人間のオペレータによって使用される任意のコンピュータプログラムを表す。例示的なアプリケーション３４は、とりわけ、ワードプロセッサ、スプレッドシートアプリケーション、グラフィックアプリケーション、ブラウザ、ソーシャルメディアアプリケーション、ゲームアプリケーション、および電子通信アプリケーションを含む。

【0046】

いくつかの実施形態では、ロボット１２は、それぞれのホスト上で遂行されるドライバ３６のセットとインターフェースすることによってユーザーインターフェース自動化アクティビティを実行する。ドライバ３６は、一般に、画面上でカーソルを移動させること、マウス、キーボード、および／またはタッチスクリーンイベントを登録および／または遂行すること、ハンドヘルドデバイスの現在の姿勢／向きを検出すること、現在の加速度計読み取り値を検出すること、スマートフォンカメラで写真を撮ることなどの低レベルの操作を実行するソフトウェアモジュールを表す。いくつかのそのようなドライバ３６は、オペレーティングシステム３２の一部を形成する。他のものは、ＡＰ（登録商標）、Ｃｉｔｒｉｘ（登録商標）仮想化ソフトウェア、Ｅｘｃｅｌ（登録商標）などの複雑なターゲットアプリケーション３４とのユーザーのインタラクションの様々なアプリケーション固有の態様を実装することができ、そのようなドライバ３６は、例えば、とりわけ、ブラウザドライバ、仮想化ドライバ、およびエンタープライズアプリケーションドライバを含むことができる。他の例示的なドライバ３６は、Ｍｉｃｒｏｏｆｔ（登録商標）ＷｉｎＡｐｐＤｒｉｖｅｒ、Ａｐｐｌｅ，Ｉｎｃ．からのＸＣＴｅｔドライバ、およびＧｏｏｇｌｅ，Ｉｎｃ．からのＵＩ Ａｕｔｏｍａｔｏｒドライバを含む。

【0047】

ＲＰＡターゲットアプリケーション３４は、通常、ユーザーインターフェース（ＵＩ）を公開するように構成される。ユーザーインターフェースは、人間とマシンとのインタラクションを可能にするコンピュータインターフェース、すなわち、ユーザー入力を受け取り、それぞれの入力に応答するように構成されたインターフェースである。ユーザーインターフェースの一般的な例は、グラフィカルユーザーインターフェース（ＧＵＩ）として知られており、ユーザーに表示される視覚要素のセットを介して人間とマシンとのインタラクションを可能にする。図５は、本発明のいくつかの実施形態にかかるそのような例示的なＵＩ３８を示している。例示的なＵＩ３８は、例示的なウィンドウ４４ａ－ｂのセットと、メニューインジケータ４２ａ、アイコン４２ｂ、ボタン４２ｃ、およびテキスト項目４２ｄを含む例示的なＵＩ要素のセットとを有する。他の例示的なＵＩ要素は、とりわけ、ウィンドウ、ラベル、フォーム、ウィジェット、個別フォームフィールド、トグル、リンク（例えば、ハイパーリンク、ハイパーテキスト、またはユニフォームリソース識別子）、およびスプレッドシートセルを含む。ＵＩ要素は、情報を表示し、入力（テキスト、マウスイベントなど）を受信し、および／またはソフトウェアおよび／またはそれぞれのコンピュータシステムの機能を制御することができる。

【0048】

オペレーティングシステム３２は、様々なＵＩ要素のサイズ、位置、および色などのＵＩ３８の様々な特性を指定する内部データ構造にしたがってＵＩ３８をレンダリングおよび管理する。典型的なＵＩデータ構造は、それぞれが複数の属性を有するオブジェクトの階層を含む。例は、とりわけ、ＧＵＩツリーおよびＤＯＭモデルを含む。したがって、各ＵＩ要素は、ＵＩ仕様の属性値ペアのサブセットによって表されてもよい。ＵＩ仕様のいくつかの属性は、例えば、特定の要素がスクロール可能であるかどうかを示すことができる（以下の詳細を参照）。

【0049】

いくつかのＵＩ要素は、それらに作用すること（例えば、クリックボタン４２ｃ）が挙動／反応をトリガするという意味で応答する。そのような挙動／反応は、典型的には、それぞれの要素または要素のグループに特有である。例えば、ａｖｅボタンとしてクリックすると、印刷ボタンをクリックするのとは異なる効果が生じる。同じキーボードショートカット（例えば、Ｃｔｒｌ－Ｇ）は、１つのウィンドウ／アプリケーションで遂行されると１つの効果を有することができ、別のウィンドウ／アプリケーションで遂行されると全く異なる効果を有することができる。そのため、操作／動作／アクティビティは同じであるが（クリックを遂行すること、キーボードキーの組み合わせを押すこと、一連の文字を書き込むことなど）、それぞれの動作の結果は、それぞれの操作のオペランドに実質的に依存することができる。オペランドは、本明細書では、クリックまたはキーボードイベントなどの現在のアクティビティによって作用されるＵＩ要素として定義されるか、そうでなければ、それぞれのユーザー入力を受信するために選択されたＵＩ要素として定義される。「オペランド」および「ターゲット」という用語は、本明細書では互換的に使用される。

【0050】

いくつかのユーザーインターフェースは、特定の種類のコンテンツを表示するための専用のコンテナを有する。本明細書におけるＵＩコンテナは、例えばＧＵＩツリーの別個の分岐として、それぞれのＵＩのデータ仕様において区別的に識別される、ＵＩの特定の部分／領域を示す。コンテナの例は、とりわけ、ウィンドウ、フレーム、メニューバー／パネル、および通知領域を含む。いくつかのコンテナは、特定のタイプのコンテンツを表示するために予約されてもよい。例えば、例示的なブラウザＵＩは、ＵＲＬを受信するためのフィールドを含むメニューを表示するための１つのコンテナと、ＨＴＭＬ文書のコンテンツをレンダリングするための別個のコンテナ／ウィンドウとを有することができる。例示的なムービープレーヤＵＩは、ビデオコンテンツを表示するために予約された１つのコンテナと、音量を調整し、サブタイトルを構成するなどのための制御セットを表示するための別のコンテナとを有することができる。図５は、テキスト文書（テキスト項目５４ａとして示される）の少なくとも一部を表示するように構成された例示的なコンテナ４２ｄを示している。以下にさらに説明するように、いくつかのコンテナは、スクロール可能であってもよい。

【0051】

ＲＰＡ設計アプリケーション３０のいくつかの実施形態は、要素ＩＤを各ターゲットＵＩ要素に付加し、これにより、ロボット１２が実行時に、すなわち、ターゲットＵＩのランタイムインスタンス内でターゲットを識別することができる。要素ＩＤは、セレクタとしても当該技術分野で知られているので、「セレクタ」および「要素ＩＤ」という用語は、本明細書では互換的に使用される。いくつかの実施形態では、要素ＩＤは、インターフェース３８の複数のＵＩ要素の中のそれぞれのＵＩ要素を選択的に識別するデータ構造を含む。そのような一例では、要素ＩＤは、それぞれのＵＩ要素の様々な特徴を符号化する属性値ペアの選択されたサブセットを含む。いくつかの実施形態では、属性値ペアのそれぞれのセットは、ＵＩ３８のオブジェクト階層内のそれぞれのＵＩ要素の位置を示す。例えば、セレクタは、それぞれのＵＩ要素が特定のＵＩウィンドウ内に表示される特定のフォームのフォームフィールドであることを示すことができる。セレクタに含まれる他の特徴は、それぞれのＵＩ要素の画像、それぞれのＵＩ要素の上に表示されるテキストなどを含むことができる。

【0052】

図６は、スプレッドシートの一部を現在表示している例示的なユーザーインターフェース３８ａを示しており、ターゲットＵＩ要素４２は、それぞれのスプレッドシートの特定のセルを含む。例示的な要素ＩＤ／セレクタ５０は、例えばＧｏｏｇｌｅ Ｃｈｒｏｍｅ（登録商標）ブラウザウィンドウによって公開されたテーブル内に位置するテキスト「ＭＰ３－プレーヤ」 を表示するセルとして、ＵＩ要素４２を特徴付ける複数の属性値ペアを含む。例示的なセレクタ５０は、タグのセットを使用してＸＭＬのバージョンで定式化されるが、この態様は限定を意味するものではない。代替の実施形態は、とりわけ、例えばＪＯＮなど、当該技術分野で知られている任意の符号化を使用することができる。

【0053】

セレクタ５０は、ＲＰＡスクリプト４０にそれぞれのセレクタの符号化を含めることによって設計時に指定されることができる。実行時において、ロボット１２は、セレクタ５０にしたがって、および場合によってはターゲットの近くに位置する別のＵＩ要素などの他の情報にしたがって、ＵＩ３８のランタイムインスタンス内でターゲット４２のランタイムインスタンスを識別しようと試みることができる。試みは、様々な理由で失敗する可能性がある。例えば、ターゲットＵＩ要素の特徴的な特徴のいくつかは、設計時と実行時との間で変更されている場合がある。他の状況では、ターゲット文書が大きすぎて一度にＵＩ３８内に収まらない可能性があるため、ターゲットＵＩ要素は現在見えない可能性がある。そのような状況に対処するために、ロボット１２のいくつかの実施形態は、ターゲットを検索しながらＵＩ３８のランタイムインスタンスの内容を自動的にスクロールする。

【0054】

大きな文書（例えば、スプレッドシート、ウェブページ）の表示およびユーザーインタラクションを容易にするために、いくつかのユーザーインターフェースは、コンテンツスクロール機構を実装し、それぞれのＵＩは、いつでも現在の文書の一部のみを表示することができるが、ユーザーがそれぞれの文書をスクロールすることを可能にするスクロールコントロールのセットも公開させる。ここでのスクロールは、それぞれのＵＩ（例えば、それぞれのコンテナ）を現在の文書のある部分の表示から別の部分の表示に切り替えることを意味する。スクロールの典型的な例は、ＵＩの現在のコンテンツを指定された方向（上下左右）に移動させ、それによって新たなコンテンツを徐々に明らかにすることを含む。電子書籍リーダインターフェースで遭遇するスクロールの別の例は、書籍の次のページに進むことを含む。ウェブブラウジングに特有のさらに別の例は、現在表示されているウェブページの下部へのユーザーのスクロールに応答して、ウェブサーバから新たなコンテンツをフェッチすることを含む。

【0055】

本明細書におけるスクロールコントロールは、アクティブ化されると、それぞれのインターフェースによって現在表示されているコンテンツのスクロールを引き起こすデバイス／ウィジェットを示す。いくつかのスクロールコントロールは、ボタン、アイコン、またはそれぞれのユーザーインターフェースの特定の領域などのＵＩ要素を含む。そのようなスクロールコントロールは、クリック、タップ、または他の方法でそれぞれのＵＩ要素に作用することによって起動されることができる。他の例示的なスクロールコントロールは、特定のＵＩ要素に接続されていないハードウェアイベントを含む。例えば、キーボードの矢印キーを押し、マウスのスクロールホイールを回転させることは、様々なユーザーインターフェースでスクロールを引き起こす。スクロールを引き起こすハードウェアイベントの他の例は、タッチスクリーンまたはトラックパッドを横切るスワイプなど、何らかのハンドジェスチャによってトリガされるイベントを含む。スクロールコントロールは、インターフェース固有、ハードウェア固有、および／またはアプリケーション固有とすることができる。例えば、一部のスクロールコントロールは、特定のデバイス（例えば、タッチスクリーンを備えたハンドヘルドデバイス）でのみアクティブにすることができる。さらに、スプレッドシートの表示を操作するために使用されるスクロールコントロールは、ブラウザインターフェースに実装されたスクロールコントロールとは異なることができる。

【0056】

図７－８－９－１０は、本発明のいくつかの実施形態にかかるスクロールコントロールを公開させるユーザーインターフェースの様々な例を示している。様々なスクロールコントロールの視覚的外観および／または配置は、例示目的のためにのみ提供され、本発明の範囲を限定することを意味しない。

【0057】

図７の例示的なＵＩ３８ｂは、専用コンテナ５４ｂ内のスプレッドシートの一部を表示する。コンテナ５４ｂの例示的なスクロールコントロール５５ａ－ｂのセットは、所定の方向にドラッグされると、それぞれの方向にスクロールさせるスクロールバー（親指、ハンドル、またはグリップとしても当該技術分野で知られている）を備える。ＵＩがスプレッドシートの一部を現在表示している場合、そのようなスクロールは、スプレッドシートの別の部分を表示する。

【0058】

図８ｃの例示的なユーザーインターフェース３８ｃは、ＨＴＭＬ文書をレンダリングするためのコンテナ５４ｃを備えるウェブブラウザインターフェースを含む。図８は、ウェブストアで販売される製品を列挙するウェブページの一部を現在表示しているコンテナ５４ｃを示している。コンテナ５４ｃの例示的なナビゲーションスクロールコントロール５５ｃ－ｄ－ｅのセットは、例えば製品のリストの次の部分に進む（コントロール５５ｅ）、またはリストの特定のセクションにジャンプする（コントロール５５ｄ）など、それぞれのウェブページをスクロールする様々な方法を可能にする。いくつかの実施形態では、ナビゲーションスクロールコントロールを起動することにより、ＵＩ３８ｂに、それぞれのウェブサーバから新たなコンテンツを能動的にフェッチさせることができる。あるいは、各コンテンツは、プリフェッチされてもよい。図示のスクロールコントロールは、ウェブ設計において既知の任意の形態をとることができる。１つの代替例では、製品のリストは、ライダまたはカルーセル設計を使用して提示されてもよく、それにより、ユーザーは、タッチスクリーン上で左または右にスワイプすることによってリストをスクロールすることができる。別の例では、コントロール５５ｃ－ｄ－ｅは、通常は隠されてもよく、ＵＩ３８ｃの特定の領域上でマウスをホバーすることによって明らかにされてもよい。

【0059】

図９は、専用コンテナ５４ｄ内に書籍のページを現在表示している電子書籍リーダインターフェースを備えるさらに別の例示的なＵＩ３８ｄを示している。コンテナ５４ｄの例示的なページめくりスクロールコントロール５５ｆ－ｇのセットは、ユーザーが書籍をスクロールして、例えば次のページに進むことを可能にする。各スクロールコントロール５５ｆ－ｇは、ＵＩ要素、例えばタップされるとスクロールを引き起こすことができるＵＩ３８ｄの特定の領域を含むことができる。いくつかのインターフェースは、ページめくりコントロール５５ｆ－ｇを非表示にし、マウスカーソルがそれぞれの領域上にホバーしたときにのみ表示する。代替的なページめくりスクロールコントロールは、画面上のどこかをスワイプするなどのハンドジェスチャによってトリガされるハードウェアイベントを含むことができる。

【0060】

図１０は、例えば、データ項目の個々の属性が個々のツリーブランチ（当該技術分野ではノードとしても知られている）を表すことができるツリーとして階層的に編成された情報を表示するように構成された別の例示的なＵＩ３８ｅを示している。一般的な例は、ドロップダウンリストまたはメニューを含む。本明細書では折り畳み可能と見なされるいくつかのノード、例えば図１０のノード５２ａおよび５２ｃは、それ自体がサブノードを有してもよい。例示的なノード５２ｂなどの他のノードは、折り畳み不可能であり、サブノードを有さず、ツリーのエンドノード（葉）に直感的に対応する。いくつかの実施形態では、コンテナ５４ｅは、コンテナ５４ｅ内の情報の選択的表示を制御する展開／折り畳みスクロールコントロール５５ｈ－ｋ－ｍ－ｎのセットを表示する。図示の例は、現在、ノード５２ａのサブノードを示しているが、ノード５２ｃのサブノードを示していない。ノード５２ａは、現在展開状態にあり、ノード５２ｃは、折り畳まれた状態にあると言われている。いくつかの実施形態では、折り畳みスクロールコントロール５５ｈを（例えば、それをクリックすることによって）アクティブ化すると、ノード５２ａが折り畳まれた状態に切り替わり、それによってそのそれぞれのサブノード（名、ミドルネームのイニシャル、および姓）が隠される。一方、展開スクロールコントロール５５ｋをアクティブ化すると、ノード５２ｃを展開状態に切り替え、以前にＵＩ３８ｅ内に表示されなかった情報（例えば、第一子の名前および生年月日）を明らかにすることができる。いくつかの実施形態では、スクロールコントロール５５ｍおよび５５ｎは、それぞれの文書の全ての折り畳み可能なノードをそれぞれ展開して折り畳むように構成されることができる。

【0061】

本発明のいくつかの実施形態では、ＲＰＡロボット１２は、以下に詳細に説明するように、ターゲットＵＩ要素の検索において文書を自動的にスクロールするように構成されることができる。ロボットの挙動は、例えばＲＰＡ設計アプリケーション３０によって公開されたロボット設計インターフェースによって、設計時に構成されることができる。

【0062】

図１１は、本発明のいくつかの実施形態にかかる、ＲＰＡ設計アプリケーション３０によって公開された例示的なロボット設計インターフェース６０を示している。インターフェース６０は、ユーザーが、コーディング自体ではなく、直感的な視覚ツールのセットを使用することによってＲＰＡロボット１２をプログラムすることを可能にするように構成されることができる。例えば、インターフェース６０は、ユーザーが、順次組み立てられた個々のビルディングブロックのようなものからロボットを構築することを可能にすることができる。そのようなビルディングブロックは、ＲＰＡターゲットアプリケーション３４のインスタンスを開くこと、アプリケーション３４のＵＩ要素をクリックすること、フォームフィールドを記入することなどの様々なアクティビティを含むことができる。

【0063】

図１１に示す一例では、ロボット設計インターフェース６０は、とりわけ、ロボットプロジェクトを開く、保存する、および管理すること、ロボット１２によって実行されるべき動作のセットを記録すること、およびロボット１２を遂行することなどの動作を実行するための任意のメニュー項目を含むメインメニュー／リボン６２を備える。ロボット設計インターフェース６０は、ソフトウェアロボットを構築するための複数の利用可能なアクティビティをリスト化するアクティビティメニュー６４をさらに公開させることができる。便宜上、アクティビティメニュー６４は、サブメニューの階層に編成されてもよい。図１１の例では、利用可能なアクティビティは、ターゲットアプリケーションのタイプにしたがってサブメニューに編成される（例えば、Ｍｉｃｒｏｏｆｔ Ｗｏｒｄ（登録商標）とインタラクションするためのアクティビティは、サブメニューにまとめられ、ウェブブラウザとインタラクションするためのアクティビティは、別のサブメニューにまとめられる）。例えば、図１１は、スプレッドシートとインタラクションするためのアクティビティを含む、「Ｅｘｃｅｌ」とラベル付けされた展開アクティビティサブメニューを示している。そのような例示的なスプレッドシートアクティビティは、スプレッドシートセルからのデータの読み書き、行および列の挿入および／または削除、スプレッドシートの追加／削除／名前の変更、ピボットテーブルの作成、テーブルの並べ替え、フィルタリング、様々なスプレッドシートマクロの実行などを含むことができる。他のグループ化基準が使用されて、アクティビティメニュー６４を編成することができ、例えば、アクティビティは、ターゲットオブジェクトのタイプにしたがってグループ化されることができ、ファイルのオープン、作成、削除、およびダウンロードなどのファイル関連アクティビティは、サブメニューに一緒にグループ化されることができ、画像関連アクティビティは、別のサブメニューにグループ化されることができる。

【0064】

いくつかの実施形態では、ロボット設計インターフェース６０は、それぞれのアクティビティの所望の実行順序にしたがって順番に配置された既に選択されたロボットアクティビティのセットの視覚的表現を含むワークフロー６６を表示するように構成されたワークフロー領域をさらに含む。図１１の例では、個々のアクティビティは、コンピュータフローチャートのように矢印で接続されたアクティビティコンテナ７０－ａ－ｃによって表される。いくつかの実施形態では、ユーザーは、それぞれのアクティビティコンテナ７０ａ－ｃ内をクリックすることによって個々のアクティビティにアクセスすることができる。そのようなクリックの検出に応答して、いくつかの実施形態は、以下にさらに詳述するように、ユーザーがそれぞれのアクティビティの様々な態様を構成することを可能にするアクティビティ構成インターフェースを公開させることができる。

【0065】

図１２は、本発明のいくつかの実施形態にかかるＲＰＡ設計アプリケーション３０によって実行される例示的な一連のステップを示している。ロボット設計インターフェース６０を公開することに応答して、いくつかの実施形態は、ターゲットアプリケーションを示すユーザー入力を受信することができる。次いで、ステップ１０４は、それぞれのターゲットアプリケーションのインスタンスを開くことができ、これにより、ロボットがインタラクションするためのターゲットユーザーインターフェースを公開させる。それぞれのロボットがスプレッドシートセルからデータを読み取らなければならない一例では、ターゲットアプリケーションは、Ｍｉｃｒｏｏｆｔ Ｅｘｃｅｌ（登録商標）のインスタンスを含むことができ、ターゲットＵＩは、ターゲットスプレッドシートの一部を現在表示しているＥｘｃｅｌ（登録商標）インターフェースを含むことができる。次いで、ロボットが遂行しなければならない各アクティビティについて、一連のステップ１０６～１１８が繰り返されることができる。

【0066】

ステップ１０６において、アプリケーション３０は、アクティビティの選択を示すユーザー入力を受信することができる。例えば、ステップ１０６は、ユーザーが図１１のアクティビティメニュー６４からアクティビティ（例えば、セル読み出し）を選択することを含んでもよい。いくつかの実施形態は、その後、それぞれのアクティビティに対応するアクティビティコンテナをワークフロー６６に挿入してもよい。次いで、いくつかの実施形態は、ユーザーがそれぞれのアクティビティの様々なパラメータを構成することを可能にするアクティビティ構成インターフェースを公開させてもよい。そのようなパラメータは、一般にアクティビティ固有であり、それぞれのアクティビティのためのターゲットＵＩ要素を含むことができる。スプレッドシートデータを読み取ることを含む例では、ターゲットＵＩ要素は、ロボットが読み取らなければならないセルを含んでもよい。ステップ１１２において、ＲＰＡ設計アプリケーション３０は、それぞれのアクティビティの少なくとも１つのターゲットＵＩ要素を定義するユーザー入力を受信することができる。

【0067】

ユーザーがターゲットＵＩ要素を示すことを可能にするために、いくつかの実施形態は、ユーザーがターゲットＵＩ要素を直接クリック／タップすることによってターゲットＵＩ要素を示すことができるように、ターゲットＵＩを自動的に焦点に合わせる。いくつかの実施形態はまた、ユーザーがターゲットＵＩをより詳細に指定することを可能にするターゲット構成インターフェースを公開することができる。図１３は、そのようなターゲット構成インターフェース７２の例を示しておりう、これは、様々なゾーン、例えばターゲットＵＩのツリービューを表示するための領域を有するウィンドウを備え、これにより、ユーザーは、選択されたターゲットＵＩ要素をターゲットＵＩのツリー表現内のノードとして容易に視覚化することができる。ターゲット構成インターフェース７２は、要素ＩＤ５０をさらに表示することができ、ユーザーがそれぞれのターゲットＵＩ要素を特徴付ける現在定義されているタグおよび／または属性値対を視覚化することを可能にする。いくつかの実施形態は、要素ＩＤ５０にどの特性または属性を含めるかをユーザーが選択することを可能にするセレクタビルダペイン７４をさらに含むことができる。

【0068】

ステップ１１４（図１２）において、ＲＰＡ設計アプリケーション３０は、ロボット１２がランタイムターゲットを識別するために自動スクロールを使用すべきかどうかを示すユーザー入力を受信することができる。図１３に示すいくつかの実施形態では、インターフェース７２は、ユーザーが自動スクロールを選択することを可能にするコントロール７６を備える。いくつかの実施形態では、自動スクロールを使用するかどうかの選択は、例えば、アクティビティのタイプにしたがって、ターゲットＵＩのタイプにしたがって、ターゲットＵＩ要素のタイプにしたがって、および／またはそれぞれのＲＰＡホストのデバイスタイプにしたがって、設計時（アプリケーション３０による）または実行時（ロボット１２による）に自動的に行われてもよい。例えば、自動スクロールは、スプレッドシート操作（例えば、ＡＰ（登録商標）インターフェース）に対して自動的に有効にされ、ブラウザ関連のアクティビティに対して自動的に無効にされてもよい。別の例では、自動スクロールは、ロボット１２がハンドヘルドデバイス（例えば、スマートフォン）上で遂行されるときに自動的に無効にされてもよい。

【0069】

いくつかの実施形態では、さらなるステップ１１６は、例えばＸＭＬとして現在のアクティビティのコンピュータ可読仕様を定式化し、それをＲＰＡスクリプト４０に挿入することができる。フラグまたは任意の他の種類のコーディングデバイスは、それぞれのアクティビティに対して自動スクロールが有効にされているかどうかを示すことができる。いくつかの実施形態では、ステップ１１６は、ＲＰＡロボット１２のための命令のセットを定式化することを含むことができ、前記命令は、それぞれのタイプのターゲットＲＰＡアプリケーション３４、ユーザーインターフェース、および／またはコンテンツにしたがって選択される。そのような実施形態は、自動スクロールのためのアルゴリズムが様々なＲＰＡターゲットアプリケーション、ハードウェアプラットフォーム、およびコンテンツのタイプの間で異なることができるという観察に依存する。例えば、特定のコンテナが現在スクロール可能であるかどうかを示すＵＩ属性は、あるタイプのＵＩごとに異なる場合がある（そのような属性の詳細は以下に示す）。そのような実施形態では、ＲＰＡ設計アプリケーション３０は、それぞれのターゲットＵＩおよびターゲット文書に適したスクロール戦略／アルゴリズムを自動的に選択し、それをロボット仕様（例えば、ＲＰＡスクリプト４０）に挿入することができる。他の実施形態では、ロボット１２は、複数のＵＩおよび／または文書タイプを自動的にスクロールする機能を含み、そのため、あるアルゴリズムまたは別の基準のセットを使用するという決定は、実行時にロボット１２によって行われる。

【0070】

ワークフロー６６がまだ完了していない場合、ＲＰＡ設計アプリケーション３０は、上述したステップ１０６に戻ることができる。そうでなければ、ステップ１２０は、ロボット１２の仕様として含むＲＰＡスクリプト４０を出力することができる。次いで、スクリプト４０は、スクリプトリポジトリ（例えば、図１のＲＰＡデータベース１８）に送信されてもよく、および／またはＲＰＡホストに配信されてもよい。

【0071】

図１４は、本発明のいくつかの実施形態にかかる、実行時にロボット１２によって実行される例示的な一連のステップを示している。所望のワークフローの仕様を含むＲＰＡスクリプト４０の受信に応答して、いくつかの実施形態は、ターゲットＵＩの時間インスタンスを公開する。ステップ１５２は、それぞれのＲＰＡホスト上でＭｉｃｒｏｏｆｔ Ｅｘｃｅｌなどのターゲットアプリケーションをインスタンス化することができる。別の例では、ステップ１５２は、ウェブブラウザのローカルインスタンスを介して文書にリモートアクセスすることを含むことができる。

【0072】

次に、それぞれのワークフローの各アクティビティについて、ステップ１６０で始まるシーケンスは、それぞれのアクティビティのターゲット／オペランドのランタイムインスタンスを検索することができる。ターゲット文書がその意図されたコンテナ内にその全体が収まらない場合、ランタイムターゲットを検索することは、以下に詳細に説明するように、自動スクロールを含むことができる。そのような実施形態では、ランタイムＵＩは、それぞれの文書の初期部分を表示することができる。次いで、ロボット１２は、スクロールコントロールを自動的に起動し、それによってランタイムＵＩに文書の後続部分を表示させることができる。本明細書における「初期部分」という用語は、それぞれの文書の任意の部分を意味し、すなわち、必ずしも第１の部分、最上部分、または導入部分ではない。例えば、初期部分は、それぞれのロボットアクティビティの開始時に現在表示されている文書の部分を指すことができる。「後続部分」という用語は、一般に、スクロールに応答して見えるようにされたそれぞれの文書の任意の他の部分を示す。

【0073】

いくつかの実施形態では、ステップ１６０は、ランタイムＵＩによって現在表示されているコンテンツ内の候補ＵＩ要素を探すことを含み、候補は、設計時に定義されたターゲットの特性と少なくとも部分的に一致する。いくつかの実施形態は、ターゲットのセレクタ／要素ＩＤにしたがって、および／または場合によってはターゲットの画像などの他の情報にしたがって、またはターゲットの近傍に表示される他のＵＩ要素（アンカーとして知られることもある）にしたがって、ターゲットＵＩを識別する。検索アルゴリズムの詳細は、本明細書の範囲を超える。当業者は、ステップ１６０が当該技術分野で公知の任意の方法を含むことができることを理解するであろう。

【0074】

ステップ１６２は、ステップ１６０がランタイムターゲットの識別に成功したかどうかを判定することができる。
そうである場合、ステップ１７０において、ロボット１２は、例えばターゲットスプレッドシートセルの内容を読み取る、ターゲットフォームフィールドを入力する、ターゲットボタンをクリックするなど、それぞれのＲＰＡアクティビティを遂行することができる。しかしながら、ランタイムターゲットを識別しようとする試みは、例えば、ランタイムターゲットがそれぞれのインターフェース内で現在見えていないため、様々な理由で失敗する可能性がある。この状況は、ターゲットＵＩがいつでもそれぞれの文書の一部のみを表示することができる大きな文書を操作するときに生じることがある。ステップ１６０がターゲットＵＩ要素の識別に失敗した場合、ステップ１６４において、ロボット１２は、現在のアクティビティに対して自動スクロールが有効にされているかどうかを判定することができる。いくつかの実施形態では、現在のアクティビティに関連付けられたフラグは、自動スクロールが有効にされているかどうかを示すことができる。フラグは、ロボットデザイナがＲＰＡ設計アプリケーション３０（例えば、図１３のコントロール７６および上記の関連する説明を参照）によって公開された専用コントロール（例えば、チェックボックス）を起動したことに応答して、設計時に「オン」に設定されてもよい。代替の実施形態では、ロボット１２は、現在のアクティビティのタイプ、ターゲットＵＩ要素のタイプなどにしたがって、自動スクロールが可能であるかどうかを判定することができる。

【0075】

いくつかの実施形態では、ランタイムターゲットの検索が失敗し、自動スクロールがオフであるとき、ステップ１６８において、ロボット１２は、遂行を中断し、ロボットが現在のアクティビティを実行することができなかったことおよび／またはランタイムターゲットを識別することができなかったことを伝達するエラーメッセージを出力することができる。

【0076】

自動スクロールが有効にされると、ステップ１６６は、例えば、それぞれのコンテナおよび／またはターゲットＵＩの特定の属性の現在の値にしたがって、ターゲット文書を表示するＵＩコンテナがスクロール可能であるかどうかを判定することができる。ほとんどのＵＩは、例えば、それぞれのＵＩの特定のウィンドウが現在スクロールバーを表示しているか否か、ブラウザインスタンスがページの下部へのユーザーのスクロールに応答して新たなコンテンツをフェッチするように現在構成されているか否かなどを示すそのようなスクロール指示属性を有する。それぞれの属性は、あるタイプのＵＩおよび／またはあるタイプのターゲットＲＰＡアプリケーションから次のものまで異なることができるため、ステップ１６６は、アプリケーション固有の属性のセットの現在の値を検索することを含むことができる。

【0077】

そのような一例では、ＡＰ Ｆｉｏｒｉ（登録商標）フレームワークのａｐ．ｍ．テーブルまたはａｐ．ｍ．リストクラスのメンバの成長属性の現在の値（真／偽）は、現在のリストまたはテーブルの最後の項目にスクロールするユーザーに応答して、それぞれのコンテナが現在より多くの項目をロードするように構成されているかどうかを示す。したがって、真の値は、それぞれのコンテナがスクロール可能であることを示すことができる。同じフレームワークからの他の例示的なスクロール指示属性は、ｆｉｒｔＶｉｉｂｌｅＲｏｗおよびｖｉｉｂｌｅＲｏｗＣｏｕｎｔを含み、これらが使用されて、表の全ての行が現在表示されているか否か、または別の言い方をすれば、それぞれのコンテンツがスクロール可能か否かを判定することができる。別の例では、ＡＰ ＷｉｎＧＵＩ（登録商標）ユーザーインターフェースのＧＵＩツリークラスに属する要素のｉＦｏｌｄｅｒＥｘｐａｎｄａｂｌｅ属性の現在値は、それぞれのノードが展開可能か否かを示す（例えば、図１０のノード５２ｃを参照）。一方、ｉＦｏｌｄｅｒＥｘｐａｎｄａｂｌｅ属性の現在値は、各ノードが現在展開状態にあるか否かを示す（例えば、図１０のノード５２ａを参照）。

【0078】

代替の実施形態では、ロボット１２は、それぞれのコンテナおよび／またはターゲットＵＩが現在スクロールコントロールを含むかどうかを判定するために他の手段を使用することができる。そうである場合、ステップ１６６は、それぞれのコンテナ／ＵＩがスクロール可能であると結論付けることができる。ステップ１６６がいいえを返すと、ロボット１２は、エラーメッセージを出力することができる（ステップ１６８）。

【0079】

さらなるステップ１７２は、それぞれのＵＩコンテナのコンテンツをスクロールするために実行可能な少なくとも１つのスクロールコントロールを識別することができる。いくつかの実施形態は、ユーザーインターフェースによって公開されるスクロールコントロールのタイプが、それぞれのＵＩのタイプまたはそれぞれのターゲットアプリケーション３４のタイプに固有とすることができるという観察に依存している。例えば、電子書籍リーダインターフェースは、図９に示すようなスクロールコントロールを有することができるが、スクロールバーを欠いていてもよい。さらに、プリアドシートアプリケーションは、図１０に示すようにノード展開スクロールコントロールを使用しなくてもよい。スクロールコントロールのタイプは、同じカテゴリのアプリケーションの個別のメンバ間、例えば異なるウェブブラウザ間でさえも異なることができる。上記を考慮して、いくつかの実施形態では、ステップ１７２は、ＲＰＡターゲットアプリケーションのタイプにしたがって選択された種類のスクロールコントロールを検索することを含むことができる。

【0080】

スクロールコントロールを検索する実際の戦略は異なっていてもよい。いくつかの実施形態では、ロボット１２は、それぞれのＵＩコンテナのスクロール指示属性の現在の値にしたがってスクロールコントロールを識別することができる。例えば、ＡＰ Ｆｉｏｒｉ（登録商標）フレームワークにしたがって実装されたインターフェースでは、増加するトリガテキスト属性の現在の値は、クリックされると項目のリストをスクロールするボタン上に現在表示されているテキストを与える。いくつかの実施形態は、それぞれのテキストを表示するボタンを検索し、それぞれのボタンをそれぞれのコンテナのスクロールコントロールとして識別することができる。

【0081】

他の実施形態は、ランタイムＵＩから候補ＵＩ要素を選択し、候補ＵＩ要素がスクロールコントロールとすることができるかどうかを判定する。候補ＵＩ要素は、例えばそれらが応答しているか否か（すなわち、それらが作用されたときに関連する挙動または応答を有するかどうか）に応じて、および／またはそれぞれのＵＩまたはコンテナ内のそれぞれのコントロールの位置に応じて、様々な基準にしたがって選択またはフィルタリングされてもよい。ウェブブラウジングインターフェースにおいて、スクロールコントロールを識別するための例示的な基準は、候補ＵＩ要素がハイパーリンクを含むかどうか、候補ＵＩ要素がインターフェースの特定の領域内に位置するかどうか（例えば、下部付近、側縁部付近など）、および、候補ＵＩ要素が表示された文書の特定のセクションの一部を形成するかどうか（例えば、ヘッダ、フッタ、メニュー、クラムなど）を含む。さらに他の基準は、候補ＵＩ要素の視覚的外観、例えば形状（例えば、候補ＵＩ要素が矢印のように見えるかどうか）、および候補ＵＩ要素によって表示されるテキストを含んでもよい。いくつかの実施形態は、候補ＵＩ要素によって表示されたテキストを、スクロールコントロールによって表示された共通ラベルの辞書（例えば、「さらに」、「次」、「以前」、「前」 など）と照合しようと試みることができる。

【0082】

いくつかの実施形態では、ロボット１２は、人工知能技術を使用して、コンテナがスクロール可能であるかどうかを判定し、および／またはランタイムＵＩによって公開されるスクロールコントロールを識別することができる。そのような手法は、非常に多様なスクロールコントロールを有することが知られているウェブインターフェースに特に適することができる。いくつかの実施形態は、スクロール可能および／またはスクロール不可能なユーザーインターフェースの画像のコーパス上で人工ニューラルネットワークのセットを予め訓練し、訓練されたニューラルネットワークを展開して、図８の項目５５ｃ－ｄ－ｅなどのスクロールコントロールを自動的に識別することができる。ロボット１２は、ランタイムＵＩの少なくとも一部を表示するクリーンとしての領域のスナップショットを取得し、画像セグメント化アルゴリズムを使用して、スクロールコントロールを示すことができるそれぞれの画像の領域を識別することができる。次いで、セグメント化された画像は、スクロールコントロール候補のセットを返すことができる訓練されたニューラルネットワークのセットに供給されることができる。ステップ１７２が画像解析に依存する実施形態では、ステップ１７２は、それぞれのＵＩに現在隠されているスクロールコントロールを表示させるためにターゲットＵＩの特定の領域にカーソルを自動的に移動させるためにドライバ３６を使用するロボット１２をさらに備えることができる。

【0083】

ステップ１７２がスクロールコントロールを識別することができなかった場合（ステップ１７４がいいえを返す）、いくつかの実施形態は、ステップ１６８に進み、エラーメッセージを発行することができる。ステップ１７２がターゲットＵＩによって公開された少なくとも１つのスクロールコントロールの識別に成功すると、ステップ１７６において、ロボット１２は、ドライバ３６を使用して、識別されたスクロールコントロールを自動的にアクティブ化することができ、したがって、ターゲットＵＩにそれぞれの文書の後続部分を表示させる。ステップ１７６は、タッチスクリーン上でハンドジェスチャを実行すること（例えば、スワイプ）、ロールバーとしてドラッグすること（例えば、図７の項目５５ａ－ｂ）、ハイパーリンクをクリックすること（例えば、図８の項目５５ｅ）、キーボードの矢印ボタンを押すことなどのユーザー動作を模倣することを含むことができる。表示された文書の後続部分を明らかにするターゲットＵＩに応答して、ロボット１２は、上述したステップ１６０に戻って、現在のアクティビティのランタイムターゲットを識別する別の試みを実行することができる。

【0084】

図１４は、ランタイムターゲットが見つかるまで、またはそれ以上スクロールすることができなくなるまで、文書を自動的にスクロールするように構成された本発明の実施形態を示している。換言すれば、図１４では、ターゲット要素の単一インスタンスとして識別されたときに自動スクロールが終了する。代替の実施形態は、大きな文書とのインタラクションを自動化すること、すなわち、特定の基準に一致する項目の複数のインスタンスを識別することにおいてしばしば生じる別の問題に対処することができる。売上スプレッドシートを処理することを含む例示的な使用事例のシナリオの一例では、ロボットは、所定のカテゴリ（例えば、携帯電話）内の全ての製品、所定の期間（例えば、先月）内に実行された全てのトランザクションなどを見つけなければならない。いくつかの実施形態では、ロボット１２は、スプレッドシートの初期部分内でそれぞれの項目を検索し、次に、それぞれのコンテンツがもはやスクロールできなくなるまで、スプレッドシートの後続部分内で検索を継続するためにスクロール（例えば、図１４のステップ１６４－１６６－１７２－１７４－１７６のシーケンス）を試みることができる。したがって、現在のＲＰＡアクティビティは、検索基準に一致する全ての項目に適用されることができる。

【0085】

図１５は、本明細書に記載の方法のいくつかを遂行するようにプログラムされたコンピューティング機器８０の例示的なハードウェア構成を示している。機器８０は、図３のＲＰＡホストプラットフォーム２０ａ－ｅのいずれかを表すことができる。図示の機器は、パーソナルコンピュータである。サーバ、携帯電話、タブレットコンピュータ、およびウェアラブルコンピューティングデバイスなどの他のコンピューティングデバイスは、僅かに異なる構成を有することができる。プロセッサ８２は、信号および／またはデータのセットを用いて計算演算および／または論理演算を遂行するように構成された物理デバイス（例えば、マイクロプロセッサ、半導体基板上に形成されたマルチコア集積回路）を備える。そのような信号またはデータは、符号化され、例えばマシンコードなどのプロセッサ命令の形態でプロセッサ８２に送達されることができる。プロセッサ８２は、中央処理装置（ＣＰＵ）および／またはグラフィックスプロセッシングユニット（ＧＰＵ）のアレイを含むことができる。

【0086】

メモリユニット８３は、操作を実行する過程でプロセッサ８２によってアクセスまたは生成されるデータおよび／または命令符号化を記憶する揮発性コンピュータ可読媒体（例えば、ダイナミックランダムアクセスメモリ－ＤＲＡＭ）を備えることができる。入力デバイス８４は、とりわけ、コンピュータキーボード、マウス、トラックパッド、およびマイクロフォンを含むことができ、ユーザーが機器８０にデータおよび／または命令を導入することを可能にするそれぞれのハードウェアインターフェースおよび／またはアダプタを含む。出力デバイス８５は、とりわけ、モニタおよびスピーカなどのディスプレイデバイス、ならびにそれぞれのコンピューティングデバイスがユーザーにデータを通信することを可能にするグラフィックカードなどのハードウェアインターフェース／アダプタを含むことができる。いくつかの実施形態では、入力および出力デバイス８４－８５は、共通のハードウェア（例えば、タッチスクリーン）を共有する。ストレージデバイス８６は、ソフトウェア命令および／またはデータの不揮発性記憶、読み出し、および書き込みを可能にするコンピュータ可読媒体を含む。例示的なストレージデバイスは、磁気および光ディスクおよびフラッシュメモリデバイス、ならびにＣＤおよび／またはＤＶＤディスクおよびドライブなどのリムーバブルメディアを含む。ネットワークアダプタ８７は、電子通信ネットワーク（例えば、図３）および／または他のデバイス／コンピュータシステムに結合された物理リンクを介してデータを通信するための機械的、電気的、およびシグナリング回路を含む。アダプタ８７は、様々な通信プロトコルを使用してデータを送信および／または受信するように構成されることができる。

【0087】

コントローラハブ９０は、複数のシステムバス、周辺バス、および／またはチップセットバス、および／またはプロセッサ８２と機器８０の残りのハードウェアコンポーネントとの間の通信を可能にする他の全ての回路を一般的に表す。例えば、コントローラハブ９０は、メモリコントローラ、入力／出力（Ｉ／Ｏ）コントローラ、および割り込みコントローラを備えることができる。ハードウェア製造業者に応じて、いくつかのそのようなコントローラは、単一の集積回路に組み込まれてもよく、および／またはプロセッサ８２と統合されてもよい。別の例では、コントローラハブ９０は、プロセッサ８２をメモリ８３に接続するノースブリッジ、および／またはプロセッサ８２をデバイス８４、８５、８６、および８７に接続するサウスブリッジを備えてもよい。

【0088】

上記の例示的なシステムおよび方法は、そのようなアクティビティを、技術的にあまり関心のない開発者、または正式なプログラミングのバックグラウンドを欠く開発者にとってよりアクセスしやすく魅力的にすることによって、ＲＰＡロボットの設計／プログラミングを容易にする。

【0089】

現代のロボティックプロセスオートメーションは、スプレッドシート、電子メールのリスト、画像、およびＵＩウィンドウ内に一度に収まらない複雑なウェブページなどの大きな文書での作業を必要とすることがある。そのような文書とのインタラクションを自動化することは、特定の技術的課題を提起する。例えば、いくつかの従来のＲＰＡロボットは、それぞれのＵＩ要素が現在表示されていないときに現在のＲＰＡアクティビティのターゲットを識別することができない場合がある。そのような欠点に対処するために、本発明のいくつかの実施形態は、自動スクロール機構を可能にし、ＲＰＡロボットは、文書の可視部分内でＲＰＡターゲットを検索し、検索が失敗すると、ロボットは、それぞれのユーザーインターフェースのスクロールコントロールを自動的に作動させて、それぞれの文書の後続部分をビューに入れる。次いで、ロボットは、文書の新たに公開された部分内でＲＰＡターゲットを検索し続けることができる。いくつかの実施形態では、ＲＰＡロボットは、ターゲットアプリケーションのタイプ（例えば、Ｍｉｃｒｏｏｆｔ Ｅｘｃｅｌ（登録商標）、ＡＰ（登録商標）、ウェブブラウザなど）にしたがってスクロールコントロールを自動的に識別する。

【0090】

いくつかの従来のＲＰＡロボットは、スクロールアクティビティを実行するように構成されてもよい。しかしながら、従来のＲＰＡでは、ロボット開発者は、設計時にスクロールするようにロボットに明示的に指示し、および／またはスクロールコントロールを明示的に示すため、ロボットは、他の任意のＵＩ要素と同様に実行時にそれぞれのコントロールを見つけようと試みることができる。しかしながら、そのようなロボットの設計は、典型的には、ＲＰＡロボットおよびユーザーインターフェースの内部動作の非常に高いレベル、すなわち、一般的なＲＰＡ開発者のレベルを超えると予想されるスキルレベルの理解を必要とする。従来のＲＰＡの別の例では、ロボットは、人間のオペレータによって実行されたアクティビティの順序（スクロールを含むことができる）として記録し、実行時にそれぞれのシーケンスを再生することができる。しかしながら、そのような例では、ロボットは、人間のオペレータが設計時に作用したのと同じＵＩ要素を単に見つける。換言すれば、実行時にロボットによって使用されるスクロールコントロールは、人間のオペレータの動作によって設計時に示された。

【0091】

そのような従来のＲＰＡの例とは対照的に、本発明のいくつかの実施形態では、ＲＰＡロボットは、探しているＵＩ要素が見つかったか否かに応じて、スクロールするか否かを自動的に決定するように構成される。ロボットは、設計時に開発者によって示される特定のスクロールコントロールを探すのとは対照的に、ＵＩコンテナがスクロール可能であるかどうかを自動的に判定し、スクロールコントロールを自動検出するようにさらに構成されてもよい。いくつかの実施形態は、開発者からの明示的な指示なしに、スクロール戦略をインターフェースのタイプおよび／またはコンテンツのタイプに適合させることがさらに可能である。そのような技術的強化は、ロボットが設計時に予測されなかった状況に対処することをより可能にすることによって、目標インターフェースの設計および／または内容が設計時と実行時との間で変化した状況において実質的な利点を提供することができる。さらに、ＲＰＡ技術のそのような改善は、開発者の肩からスクロールするように構成する負担を効果的に軽減し、これは、ロボット開発を実質的に促進し、したがって、非技術的な開発者またはプログラミングのバックグラウンドを欠いている開発者を含むより広い聴衆にそのようなアクティビティを開放することができる。

【0092】

いくつかの実施形態では、自動スクロールは、ロボット設計インターフェースの機能を使用して、設計時に任意にオンまたはオフに切り替えることができる。そのような実施形態は、自動スクロールが全ての状況において望ましくない可能性があるという観察に依存する。例えば、複雑なウェブページを解析する場合、自動スクロールは、予測できない理由で失敗する可能性があり、非生産的なランタイムエラーおよび時間のかかるデバッグにつながる可能性がある。デフォルトの自動スクロールが望ましくない場合がある別の例示的な使用事例は、一連のデータ操作を実行する際に人間のオペレータを支援するように構成されたアテンディッドロボットを含む。ロボットが人間のオペレータと並べて作業し、同じユーザーインターフェースとインタラクションすると、自動スクロールが誤って人間のオペレータの作業を妨げ、妨害する可能性がある。

【0093】

自動スクロールが望ましくない場合があるさらに別の例では、一連のアクティビティは、同じテーブル行の様々な列からデータを読み取ることができる。例えば、第１のＲＰＡアクティビティは、それぞれの顧客の電話番号にしたがって顧客レコードを自動的に見つけることができる。次いで、第２のＲＰＡアクティビティは、それぞれの顧客の名前を読み取ることができ、第３のＲＰＡアクティビティは、それぞれの顧客の配送先を読み取ることができる。３つの連続するＲＰＡアクティビティの全てが自動スクロールを使用することは、第１のアクティビティの実行が成功すると、それぞれの顧客レコード（例えば、テーブルの行）がビューに入り、そのため、第２および第３のアクティビティの目標は、ＵＩ内で既に見えているため、現実的ではない可能性がある。したがって、より良いＲＰＡ戦略は、第１のＲＰＡアクティビティの自動スクロールを有効にし、第２および第３のＲＰＡアクティビティの自動スクロールを無効にすることを含むことができる。

【0094】

そのような状況を考慮して、いくつかの実施形態は、個々のアクティビティの粒度で、自動スクロールを有効にするか否かの選択肢を開発者に与える。いくつかの実施形態では、自動スクロールは、ターゲット文書、ＲＰＡターゲットアプリケーションのタイプ、および／またはＲＰＡアクティビティのタイプに応じて選択的に有効にすることができる。

【0095】

上記の実施形態が本発明の範囲から逸脱することなく多くの方法で変更されることができることは、当業者にとって明らかであろう。したがって、本発明の範囲は、以下の特許請求の範囲およびそれらの法的均等物によって決定されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【外国語明細書】