特表 2024-528342 ロボティックプロセスオートメーションへの画像パターンマッチング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-30

(54)【発明の名称】ロボティックプロセスオートメーションへの画像パターンマッチング

(51)【国際特許分類】

   G06F 8/34 20180101AFI20240723BHJP

   G06F 9/451 20180101ALI20240723BHJP

   G06N 20/00 20190101ALI20240723BHJP

【ＦＩ】

G06F8/34

G06F9/451

G06N20/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021569976

(86)(22)【出願日】2021-10-27

(85)【翻訳文提出日】2022-02-14

(86)【国際出願番号】 US2021056867

(87)【国際公開番号】W WO2023282927

(87)【国際公開日】2023-01-12

(31)【優先権主張番号】17/370,145

(32)【優先日】2021-07-08

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＪＡＶＡＳＣＲＩＰＴ

３．ＺＩＧＢＥＥ

４．ＷＣＤＭＡ

５．ＢＬＵＥＴＯＯＴＨ

６．ＦＬＡＳＨ

(71)【出願人】

【識別番号】520262319

【氏名又は名称】ユーアイパス，インコーポレイテッド

【氏名又は名称原語表記】ＵｉＰａｔｈ，Ｉｎｃ．

【住所又は居所原語表記】１ Ｖａｎｄｅｒｂｉｌｔ Ａｖｅｎｕｅ， ６０ｔｈ Ｆｌｏｏｒ， Ｎｅｗ Ｙｏｒｋ， ＮＹ １００１７， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100180781

【弁理士】

【氏名又は名称】安達 友和

(74)【代理人】

【識別番号】100182903

【弁理士】

【氏名又は名称】福田 武慶

(72)【発明者】

【氏名】ノット，ブランドン

(72)【発明者】

【氏名】バーグ，クリスチャン

(72)【発明者】

【氏名】スカルダ，ヴァツラフ

【テーマコード（参考）】

5B376

【Ｆターム（参考）】

5B376BC07

5B376BC24

5B376BC49

(57)【要約】

本明細書では、コンピューティングシステムを開示する。コンピューティングシステムは、メモリおよびプロセッサを含む。メモリは、ワークフロー推薦アシスタントエンジンのためのプロセッサ実行可能命令を格納する。プロセッサは、メモリに結合される。プロセッサは、ワークフロー推薦アシスタントエンジンを実行して、コンピューティングデバイスに、ユーザーアクティビティに対応するユーザーインターフェースの画像を分析させ、既存の自動化に関する画像のパターンマッチングを実行させ、既存の自動化がユーザーアクティビティに一致することを示すプロンプトを提供させる。

【特許請求の範囲】

【請求項1】

コンピューティングシステムであって
ワークフロー推薦アシスタントエンジンのためのプロセッサ実行可能命令を格納するように構成されたメモリと、
前記メモリに結合された少なくとも１つのプロセッサと、
を含み、
前記少なくとも１つのプロセッサは、前記ワークフロー推薦アシスタントエンジンを実行して、
ユーザーアクティビティに対応するユーザーインターフェースの１または複数の画像を分析することと、
前記１または複数の画像のパターンマッチングを少なくとも１つの既存の自動化について実行することと、
前記少なくとも１つの既存の自動化が前記ユーザーアクティビティと一致することを示すプロンプトを提供することと、
を前記コンピューティングデバイスに実行させるように構成される、コンピューティングシステム。

【請求項2】

前記少なくとも１つのプロセッサは、前記ワークフロー推薦アシスタントエンジンを実行して、
前記１または複数の画像をキャプチャすることと、
前記１または複数の画像を前処理して、１または複数の対応するハッシュを生成することと、
を前記コンピューティングデバイスに実行させる、請求項１に記載のコンピューティングシステム。

【請求項3】

前記１または複数の画像の前記前処理は、前記ユーザーインターフェースのモード反転に関して実行される、請求項２に記載のコンピューティングシステム。

【請求項4】

前記１または複数の画像の前記キャプチャは、前記ユーザーアクティビティの周囲の領域をキャプチャすることを含む、請求項２に記載のコンピューティングシステム。

【請求項5】

前記パターンマッチングは、前記１または複数の画像の１または複数の特性が、前記少なくとも１つの既存の自動化と一致するかどうかをチェックすることを含む、請求項１に記載のコンピューティングシステム。

【請求項6】

前記１または複数の画像の固定数を保持するためにウィンドウが利用される、請求項１に記載のコンピューティングシステム。

【請求項7】

前記ワークフロー推薦アシスタントエンジンは、ウィンドウのサイズを決定し、前記１または複数の画像を表す生成されたハッシュのシーケンスで前記ウィンドウを先入れ先出し（ｆｉｒｓｔ－ｉｎ－ｆｉｒｓｔ－ｏｕｔ ｆａｓｈｉｏｎ）で埋める、請求項１に記載のコンピューティングシステム。

【請求項8】

前記パターンマッチングは、前記１または複数の画像を表す生成されたハッシュのシーケンスを、前記少なくとも１つの既存の自動化を表す格納されたハッシュのシーケンスと比較して、１または複数の一致を決定することを含む、請求項１に記載のコンピューティングシステム。

【請求項9】

前記プロンプトは、前記既存の自動化を実行するためのオプションまたはトリガを設定するためのオプションを含む、請求項１に記載のコンピューティングシステム。

【請求項10】

前記プロンプトは、前記一致に関する既存の自動化のカスケードを提示する、請求項１に記載のコンピューティングシステム。

【請求項11】

少なくとも１つのプロセッサに結合されたメモリにプロセッサ実行可能命令として格納されたワークフロー推薦アシスタントエンジンの方法であって、前記方法は、
ユーザーアクティビティに対応するユーザーインターフェースの１または複数の画像を分析することと、
前記１または複数の画像のパターンマッチングを少なくとも１つの既存の自動化について実行することと、
前記少なくとも１つの既存の自動化が前記ユーザーアクティビティと一致することを示すプロンプトを提供することと、を含む、方法。

【請求項12】

前記少なくとも１つのプロセッサは、前記ワークフロー推薦アシスタントエンジンを実行して、
前記１または複数の画像をキャプチャすることと、
前記１または複数の画像を前処理して、１または複数の対応するハッシュを生成することと、
をコンピューティングデバイスに実行させる、請求項１１に記載の方法。

【請求項13】

前記１または複数の画像の前記前処理は、前記ユーザーインターフェースのモード反転に関して実行される、請求項１２に記載の方法。

【請求項14】

前記１または複数の画像の前記キャプチャは、前記ユーザーアクティビティの周囲の領域をキャプチャすることを含む、請求項１２に記載の方法。

【請求項15】

前記パターンマッチングは、前記１または複数の画像の１または複数の特性が、前記少なくとも１つの既存の自動化と一致するかどうかをチェックすることを含む、請求項１１に記載の方法。

【請求項16】

前記１または複数の画像の固定数を保持するためにウィンドウが利用される、請求項１１に記載の方法。

【請求項17】

前記ワークフロー推薦アシスタントエンジンは、ウィンドウのサイズを決定し、前記１または複数の画像を表す生成されたハッシュのシーケンスで前記ウィンドウを先入れ先出し（ｆｉｒｓｔ－ｉｎ－ｆｉｒｓｔ－ｏｕｔ ｆａｓｈｉｏｎ）で埋める、請求項１１に記載の方法。

【請求項18】

前記パターンマッチングは、前記１または複数の画像を表す生成されたハッシュのシーケンスを、前記少なくとも１つの既存の自動化を表す格納されたハッシュのシーケンスと比較して、１または複数の一致を決定することを含む、請求項１１に記載の方法。

【請求項19】

前記プロンプトは、前記既存の自動化を実行するためのオプションまたはトリガを設定するためのオプションを含む、請求項１１に記載の方法。

【請求項20】

前記プロンプトは、前記一致に関する既存の自動化のカスケードを提示する、請求項１１に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

（関連出願への相互参照）
本出願は、２０２１年７月８日に出願された米国出願第１７／３７０，１４５号の利益を主張し、その内容は参照により本明細書に組み込まれる。

【0002】

本開示は、ロボティックプロセスオートメーション（ＲＰＡ）の分野に関し、特にＲＰＡへの画像パターンマッチングに関する。

【0003】

従来のオペレーティングシステムおよびソフトウェアシステムは、ユーザーアクティビティのスクリプト自動化を含み得る。スクリプト自動化は、一般的に、既存のスクリプトを活用して、管理されたフレームワークで（すなわち、カスタムスクリプトの開発およびメンテナンスを行う必要無く）ユーザーアクティビティの自動化を実現するプロセスである。しかし、スクリプトの自動化は、１対１の逐次的なユーザーアクションの模倣に限られており、ユーザーアクティビティのインテリジェントな自動化エクスペリエンスを提供する方法が無い。

【発明の概要】

【0004】

１または複数の実施形態によれば、コンピューティングシステムが提供される。コンピューティングシステムは、メモリおよび少なくとも１つのプロセッサを含む。メモリは、ワークフロー推薦アシスタントエンジンのためのプロセッサ実行可能命令を格納する。少なくとも１つのプロセッサは、メモリに結合される。少なくとも１つのプロセッサは、ワークフロー推薦アシスタントエンジンを実行して、コンピューティングデバイスに、ユーザーアクティビティに対応するユーザーインターフェースの画像を分析させ、少なくとも１つの既存の自動化に関する１または複数の画像のパターンマッチングを実行させ、少なくとも１つの既存の自動化がユーザーアクティビティと一致することを示すプロンプトを提供させるように構成される。

【0005】

１または複数の実施形態によれば、上記のコンピューティングシステムの実施形態は、方法、装置、デバイス、および／またはコンピュータプログラム製品として実装され得る。

【0006】

より詳細な理解は、図中の類似の参照数字が類似の要素を示す、添付の図面との関連で例示的に与えられた以下の説明から得られ得る。

【図面の簡単な説明】

【0007】

【図1】１または複数の実施形態によるロボティックプロセスオートメーション（ＲＰＡ）の開発、設計、動作および／または実行を示す環境を示す図である。

【0008】

【図2】１または複数の実施形態によるコンピューティングシステムの説明図である。

【0009】

【図3】１または複数の実施形態によるローカルコンピューティングシステム内の１または複数のプロセッサによって実行される方法を示すブロック図である。

【0010】

【図4】１または複数の実施形態によるワークフロー推薦アシスタントエンジンのユーザーインターフェースの例である。

【0011】

【図5】１または複数の実施形態によるワークフロー推薦アシスタントエンジンによって実行される方法を示すブロック図である。

【0012】

【図6】１または複数の実施形態によるワークフロー推薦アシスタントエンジンによって実行される方法を示すブロック図である。詳細な説明

【0013】

本明細書で開示されるのは、ワークフロー推薦アシスタントエンジン（以下、推薦エンジン）である。推薦エンジンは、ロボティックプロセスオートメーション（ＲＰＡ）などへの画像パターンマッチングのためのソフトウェアおよび／またはハードウェアを含む。すなわち、推薦エンジンは、ハードウェアおよびソフトウェア（例えば、ハードウェアへのルーティングを必要とするプロセッサ実行可能コード）の組み合わせを通じて、コンピューティングシステムにおいて実施され得る。

【0014】

１または複数の実施形態によると、推薦エンジンは、インテリジェントな自動化エクスペリエンスに関して、特定の構成およびツーリングロボティックプロセスオートメーション方法を提供し得る。インテリジェントな自動化エクスペリエンスは、ロボットインテリジェンス（例えば、機械学習および人工知能）を使用して、ユーザーが使用するＲＰＡを特定して提示する目的のためにユーザーアクティビティのバックグラウンド監視／分析を行うことを含む。バックグラウンド／分析の監視は、ユーザーアクティビティの画像（例えば、ユーザーアクティビティの周辺の画像またはスクリーンショットとしての画像）をキャプチャすることを含み得、ＲＰＡの特定および提示は、キャプチャされた画像を処理してＲＰＡの一致（例えば、パターンマッチング）を検出および提案することを含む。

【0015】

例えば、推薦エンジンによるロボティックプロセスオートメーション方法の構成およびツール化は、ユーザーが行っていることのハッシュを取り（例えば、画像をキャプチャし）、ハッシュをシーケンス化し、ハッシュを（例えば、シーケンス内および／またはシーケンス外で）既存のオートメーションのリポジトリに対して実行して、一致するかどうかを決定するソフトウェアシステムのバックグラウンド（例えば、ワークフローの外に存在する）で実行される軽量サービス（例えば、小さなメモリフットプリントおよび低いＣＰＵ使用率などの低いシステムリソース使用率）を提供することを含む。構成およびツーリングロボティックプロセスオートメーション方法が、一致するものがあると判断した場合、ユーザーが既存の自動化を表示、選択、および／または開始する機会を提供すると共に、推薦エンジンは、ユーザーが行っていることを行う（例えば、ユーザーアクティビティを模倣する）既存の自動化（例えば、ＲＰＡなど）があることをユーザーに提案し得る。

【0016】

このように、推薦エンジンの構成およびツーリングロボティックプロセスオートメーション方法は、ソフトウェアシステムに関連するキャプチャ画像、インターフェースコンポーネント、データおよび構成の多段階のデータ操作を含む。推薦エンジンの１または複数の技術的効果、利点および利益は、従来のスクリプト自動化では利用できない、ユーザーアクティビティのインテリジェントな自動化エクスペリエンスをユーザーに提供することを含む。

【0017】

図１は、１または複数の実施形態によるロボティックプロセスオートメーション（ＲＰＡ）の開発、設計、動作および／または実行を示す環境１００を示す図である。環境１００は、１または複数のコンポーネントを含む設計およびデプロイメントコンピューティングプラットフォームであり得る。環境１００の１または複数のコンポーネントのそれぞれについて単一のブロックが示されているが、その単一のブロックは、１または複数のそのコンポーネントを表すものであることに留意されたい。

【0018】

示されるように、環境１００は、ワークフロー推薦アシスタントエンジン（「推薦エンジン」）１１１をさらに含むデザイナ１１０を含み得る。推薦エンジン１１１は、１もしくは複数のドライバコンポーネント１２８および／または内部エンジン１２９を使用して、１もしくは複数のアクティビティ１２４を実行し、および／または１もしくは複数のユーザーインターフェース（ＵＩ）オートメーション１２６を提供する１または複数のロボット（例えば、ロボット１２２）を生成するスタジオコンポーネントまたはモジュール１２０を含み得る。また、ロボット１２２は、デザイナ１１０内の他のドライバコンポーネント１３１およびモジュール１３２と同様に係合し得る。さらに、環境１００は、コンダクタ１４０およびエグゼキュータ１７０を含み得、コンダクタ１４０およびエグゼキュータ１７０は、ロボット１２２がエグゼキュータ１７０のアンアテンディッドロボット１７４およびアテンディッドロボット１７８として環境１００に提供され得るように、ロボット１２２をダウンロード／取得／送信し得る。

【0019】

デザイナ１１０、コンダクタ１４０およびエグゼキュータ１７０は、ハードウェア、ソフトウェアまたはこれらの組み合わせを含む、コンピューティングデバイス、コンピューティング装置および／またはコンピューティングシステムを表す。デザイナ１１０、コンダクタ１４０およびエグゼキュータ１７０、ならびにその上の任意のソフトウェア（例えば、推薦エンジン１１１）は、ユーザーまたはオペレータとインタラクションして、入力を受信し、出力を提供するように構成される。一例において、エグゼキュータ１７０は、モバイルコンピューティングおよび／もしくはモバイルデバイス環境であり得るかまたはこれらを実施し得る。

【0020】

１または複数の実施形態によると、デザイナ１１０は、スタジオプラットフォーム、開発プラットフォーム、および／またはオンラインプラットフォームと呼ばれ得る。デザイナ１１０は、１または複数のエンジン（例えば、推薦エンジン１１１）、開発環境（例えば、スタジオ１２０）などを含み得、ロボット（例えば、１または複数のロボット１２２、アテンディッドロボット１７４、およびアテンディッドロボット１７８）が１または複数のワークフローを実行または自動化する（例えば、１もしくは複数のアクティビティ１２４および／または１もしくは複数のＵＩ自動化１２６を提供する）ためのコード、命令、コマンドなどを生成するように構成され得る。

【0021】

推薦エンジン１１１は一般的には、ロボティックプロセスオートメーションを実施するソフトウェアおよび／またはハードウェアである。これに関連して、推薦エンジン１１１は、環境１００内での推薦エンジン１１１のスケーラビリティおよびポータビリティを説明するために、点線のボックスとして詳述される。例えば、推薦エンジン１１１は、推薦エンジン１８１および１９１によって示されるように、環境１００全体で別々のインスタンスとして実施され得る。

【0022】

さらに、１または複数の実施形態によると、推薦エンジン１１１は、スタジオ１２０内でコードを自動的に実施し、ロボット１２２を設計するフレームワーク／メカニズム（例えば、環境１００）の一部であり得る。また、推薦エンジン１１１は、開発者および／またはオーケストレータ（例えば、ユーザーまたはオペレータ）がロボット１２２を（例えばスタジオ１２０を介して）コード化、プログラム化および／または設計することを可能にし得る。実施形態において、スタジオ１２０は、サードパーティアプリケーション、管理情報技術（ＩＴ）タスクおよび／またはビジネスＩＴプロセスの自動化とともに、アプリケーション統合を提供し得る。一般的に、推薦エンジン１１１は、現在キャプチャされた画像に対する既知のキャプチャ画像（例えば、小さな写真）のセットを見て、シーケンスを揃え、それに一致するものがあるかどうかを決定し、一致したものを支持して提示するロボットインテリジェンスを含み得る。

【0023】

ロボット１２２（ならびにアンアテンディッドロボット１７４およびアテンディッドロボット１７８）は、アプリケーション、アプレット、スクリプトなどであり得、（例えば、１もしくは複数のアクティビティ１２４によって部分的に表され、および／または１もしくは複数のＵＩオートメーション１２６を提供する）１または複数のワークフローを実行および／または自動化し得る。ワークフローには、タスクシーケンス、フローチャート、有限状態マシン（ＦＳＭ）、グローバル例外ハンドラ、透過的なＵＩなどが含まれ得るが、これらに限定されない。タスクシーケンスは、１または複数のアプリケーションまたはウィンドウ間の線形タスクを処理するための線形プロセスであり得る。フローチャートは、複雑なビジネスロジックを扱うように構成され得、複数の分岐ロジックオペレータを介して、より多様な方法で意思決定の統合およびアクティビティの接続を可能にする。ＦＳＭは、大規模なワークフロー用に構成され得る。ＦＳＭは、条件、遷移、アクティビティなどによってトリガされ得る有限数の状態をそれらの実行中に使用し得る。グローバル例外ハンドラは、プロセスのデバッグプロセスなどのために、実行エラーが発生したときのワークフローの動作を判断するように構成され得る。透過的なＵＩは、基礎となるオペレーティングシステム（ＯＳ）またはハードウェアに対するソフトウェア動作であり得る。１または複数ワークフローによって達成され得る動作の非限定的な例としては、ログインの実行、フォームへの入力、情報技術（ＩＴ）管理などのうちの１または複数であり得る。ＵＩオートメーションのためのワークフローを実行するために、ロボット１２２は、アプリケーションのアクセスまたはアプリケーションの開発に関係なく、ボタン、チェックボックス、テキストフィールド、ラベルなどの特定の画面要素を一意に特定する必要があり得る。アプリケーションアクセスの例としては、ローカル、仮想、リモート、クラウド、Ｃｉｔｒｉｘ（登録商標）、ＶＭＷａｒｅ（登録商標）、ＶＮＣ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）リモートデスクトップ、仮想デスクトップインフラストラクチャ（ＶＤＩ）などがあり得る。アプリケーション開発の例としては、ｗｉｎ３２、Ｊａｖａ、Ｆｌａｓｈ、ハイパーテキストマークアップ言語（ＨＴＭＬ）、ＨＴＭＬ５、拡張可能なマークアップ言語（ＸＭＬ）、ＪａｖａＳｃｒｉｐｔ、Ｃ＃、Ｃ＋＋、Ｓｉｌｖｅｒｌｉｇｈｔなどであり得る。

【0024】

１または複数の実施形態によると、開発時に、ロボット１２２は、デザイナ１１０（例えば、スタジオ１２０）において／デザイナ１１０（例えば、スタジオ１２０）により生成され得る。さらに、展開時には、ロボット１２２は、コンダクタ１４０（例えば、推薦エンジン１８１内）において／コンダクタ１４０（例えば、推薦エンジン１８１内）により、例えば管理され得、制御され得、構成され得る。また、展開時に、ロボット１２２は、エグゼキュータ１７０内で実行され得る。一例では、ユーザーまたはオペレータによって、ユーザー入力（例えば、ディスプレイ上の選択）がデザイナ１１０に提出され得る。デザイナ１１０がロボット１２２に提供し得る選択から、ロボット１２２は、（例えば、ユーザーまたはオペレータによって選択された）ビジュアルディスプレイの領域（複数可）の代表データを決定し得る。ＲＰＡの一環として、コンピュータビジョン（ＣＶ）動作および／または機械学習（ＭＬ）モデルに関連して、（例えば、四角、長方形、円、多角形、自由形などの）多次元の形状をＵＩロボットの開発およびランタイムに利用され得る。

【0025】

１または複数の実施形態によると、ＵＩオートメーション１２６は、内部のドライバ１２８を使用してロボット１２２によって実行され得、推薦エンジン１１１は、モジュール１３０（例えば、ＣＶアクティビティモジュールまたはエンジン）を使用してアクティビティを実行し得る。ドライバコンポーネント１３２は、ＵＩの要素を取得するために、ロボット１２２によるＵＩオートメーションのために利用され得る。ドライバコンポーネント１３２は、限定されないが、ＯＳドライバ、ブラウザドライバ、仮想マシンドライバ、エンタープライズドライバなどを含み得る。特定の構成では、モジュール１３０は、ＵＩオートメーションのために使用されるドライバであり得る。さらに、ロボット１２２によるこれらのアクションのいずれも、クライアント上に（例えば、アエグゼキュータ１７０のアンアテンディッドロボット１７４およびアテンディッドロボット１７８として）実施され得る。

【0026】

コンダクタ１４０は、メインフレーム、ウェブ、仮想マシン、リモートマシン、仮想デスクトップ、エンタープライズプラットフォーム、オンラインプラットフォーム、デスクトップアプリ（複数可）、ブラウザ、またはそのようなクライアント、アプリケーション、もしくはプログラムにおいてワークフローを実行または監視するようにロボット１２２、１７４、および１７８またはエグゼキュータ１７０に指示または命令し得る。コンダクタ１４０は、コンピューティングプラットフォーム（例えば、環境１００）を自動化するために１または複数のロボット（例えば、ロボット１２２、１７４および１７８）を指示または命令するための中央または半中央点として機能し得る。

【0027】

１または複数の実施形態によると、コンダクタ１４０は、プロビジョニング、展開、構成、キューイング、監視、ロギング、および／または相互接続性を提供するように構成され得る。プロビジョニングは、１または複数のロボット、エグゼキュータ１７０、およびコンダクタ１４との間の接続または通信の生成および維持を含み得る。展開は、割り当てられたロボットへのパッケージバージョンの（実行のための）配信を保証することを含み得る。構成は、ロボット環境およびプロセス構成の維持および配信を含み得る。キューイングは、キューおよびキュー項目の管理を提供することを含み得る。監視は、ロボットの特定データを追跡し、ユーザーの権限を維持することを含み得る。ロギングは、データベース（例えば、ＳＱＬデータベース）および／または別のストレージメカニズム（例えば、大規模なデータセットを格納し、迅速にクエリを実行する能力を提供するＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）へのログの保存およびインデックス作成を含み得る。コンダクタ１４０は、サードパーティのソリューションおよび／またはアプリケーションのための通信の集中点として機能することにより、相互接続性を提供し得る。

【0028】

１または複数の実施形態によると、１または複数のロボットおよびエグゼキュータ１７０は、アンアテンディッドロボット１７４および／またはアテンディッドロボット１７８として構成され得る。アンアテンディッドの動作の場合、アンアテンディッドロボット１７４による自動化は、サードパーティの入力または制御なしで実行され得る。アテンディッドロボットの動作の場合、アテンディッドロボット１７８による自動化は、第三者のコンポーネントから入力、コマンド、命令、ガイダンスなどを受信することによって実行され得る。アンアテンディッドロボット１７４および／またはアテンディッドロボット１７８は、モバイルコンピューティング環境またはモバイルデバイス環境上において運用または実行され得る。

【0029】

１または複数の実施形態によると、１または複数のロボットおよびエグゼキュータ１７０は、デザイナ１１０で構築されたワークフローを実行する実行エージェントとして構成され得る。ＵＩまたはソフトウェアの自動化のためのロボット（複数可）の商業的な例としては、ＵｉＰａｔｈ Ｒｏｂｏｔｓ（商標）がある。いくつかの実施形態では、１または複数のロボットおよびエグゼキュータ１７０は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｉｃｅ Ｃｏｎｔｒｏｌ Ｍａｎａｇｅｒ（ＳＣＭ）管理サービスをデフォルトでインストールし得る。その結果、そのようなロボットは、ローカルシステムアカウントの下でインタラクティブなＷｉｎｄｏｗｓ（登録商標）セッションを開くことができ、Ｗｉｎｄｏｗｓ（登録商標）サービスの権利を持ち得る。

【0030】

１または複数の実施形態によると、１または複数のロボットおよびエグゼキュータ１７０は、ユーザーモードでインストールされ得る。例えば、１または複数のロボットは、所定のロボットが設置されているユーザーと同じ権利を持ち得る。この特徴は、高密度（ＨＤ）環境などにおいて最大のパフォーマンスで各マシンを完全に利用できるようにする高密度（ＨＤ）ロボットにおいても使用可能であり得る。

【0031】

１または複数の実施形態によると、１または複数のロボットおよびエグゼキュータ１７０は、それぞれが特定の自動化タスクまたはアクティビティに専用に用いられるいくつかのコンポーネントに分割、分散などされ得る。ロボットコンポーネントには、ＳＣＭ管理ロボットサービス、ユーザーモードロボットサービス、エグゼキュータ、エージェント、コマンドラインなどが含まれ得る。ＳＣＭ管理ロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理または監視し得、コンダクタ１４０と実行ホスト（すなわち、１または複数のロボットが実行されるコンピューティングシステム）との間のプロキシとして動作し得る。これらのサービスは、１または複数のロボットおよびエグゼキュータ１７０のための資格情報を信頼し、管理し得る。ユーザーモードロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１４０と実行ホストとの間のプロキシとして機能し得る。ユーザーモードロボットサービスは、信頼され得、ロボットの資格情報を管理し得る。ＳＣＭ管理ロボットサービスがインストールされていない場合、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションが自動的に起動され得る。一例では、エグゼキュータ１７０は、Ｗｉｎｄｏｗｓ（登録商標）セッションの下で与えられたジョブを実行し得（例えば、それらが本明細書に記載されるワークフローを実行し得る）、モニタ毎のドットパーインチ（ＤＰＩ）設定を認識し得る。エージェントは、システムトレイウィンドウに利用可能なジョブを表示するＷｉｎｄｏｗｓ（登録商標） Ｐｒｅｓｅｎｔａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ（ＷＰＦ）アプリケーションであり得る。エージェントはサービスのクライアントとなり得る。エージェントは、ジョブの開始または停止、設定の変更を依頼し得る。コマンドラインはサービスのクライアントとなり得る。コマンドラインは、ジョブの開始を要求し、その出力を待つことができるコンソールアプリケーションである。

【0032】

１または複数の実施形態によると、１もしくは複数のロボットおよび／またはエグゼキュータ１７０のコンポーネントが分割される構成は、開発者、サポートユーザー、およびコンピューティングシステムが、各コンポーネントによる実行、特定、および追跡実行をより容易に行うのに役立つ。この方法では、エグゼキュータ１７０とサービスに異なるファイアウォールルールを設定するなど、コンポーネントごとに特別な動作を構成し得る。エグゼキュータ１７０は、いくつかの実施形態では、モニタごとのＤＰＩ設定を認識し得る。その結果、ワークフローは、ワークフローが作成されたコンピューティングシステムの構成に関係なく、いずれかのＤＰＩで実行し得る。また、デザイナ１１０からのプロジェクトは、ブラウザのズームレベルから独立するようにされ得る。ＤＰＩを認識していないまたは意図的に認識していないとマークされているアプリケーションの場合、いくつかの実施形態ではＤＰＩは無効にされ得る。

【0033】

次に図２に目を向けると、１または複数の実施形態によるコンピューティングシステム２００が示される。コンピューティングシステム２００は、ハードウェア、ソフトウェアまたはそれらの組み合わせ（例えば、図１の推薦エンジン１１１、１８１および１９１をサポートするハードウェア）を含む、任意のコンピューティングデバイス、コンピューティング装置および／またはコンピューティング環境を示し得る。さらに、開示されたコンピューティングシステム２００の実施形態は、装置、システム、方法および／またはコンピュータプログラム製品を統合の任意の可能な技術的詳細レベルにおいて含み得る。

【0034】

コンピューティングシステム２００は、１または複数の中央処理装置（ＣＰＵ（複数可））を有するデバイス２０５（例えば、図１のデザイナ１１０、コンダクタ１４０およびエグゼキュータ１７０）を有し、これらは、集合的または一般的にプロセッサ２１０と呼ばれる。プロセッサ２１０は、処理回路とも呼ばれ、システムバス２１５を介して、システムメモリ２２０および様々な他のコンポーネントに結合される。コンピューティングシステム２００および／またはデバイス２０５は、オンラインプラットフォーム、サーバー、組み込みコンピューティングシステム、パーソナルコンピュータ、コンソール、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、タブレットコンピューティングデバイス、量子コンピューティングデバイス、クラウドコンピューティングデバイス、モバイルデバイス、スマートフォン、固定型モバイルデバイス、スマートディスプレイ、ウェアラブルコンピュータなどとして実行するように適合または構成され得る。

【0035】

プロセッサ２１０は、中央処理ユニット（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックス処理ユニット（ＧＰＵ）、コントローラ、マルチコア処理ユニット、３次元プロセッサ、量子コンピューティングデバイス、またはそれらの任意の組み合わせを含む、任意のタイプの一般的または特定用途プロセッサであり得る。プロセッサ２１０は、複数の処理コアを有してもよく、コアの少なくとも一部は、特定の機能を実行するように構成され得る。また、マルチパラレル処理が構成され得る。さらに、少なくともプロセッサ２１０は、生物学的ニューロンを模倣する処理要素を含むニューロモーフィック回路であり得る。

【0036】

バス２１５（または他の通信メカニズム）は、プロセッサ２１０、システムメモリ２２０、ならびにアダプタ２２５、２２６および２２７などの様々な他のコンポーネントに情報またはデータを通信するために構成される。

【0037】

システムメモリ２２０は、（非一時的な）コンピュータ読み取り可能なストレージ媒体の一例であり、システムメモリ２２０において、リポジトリ２２９が配置／管理され得かつ／またはソフトウェア２３０が格納され得る。リポジトリ２２９は、データベース（例えば、ＳＱＬデータベース）および／または別のストレージメカニズムであり得る。１または複数の実施形態によると、リポジトリ２２９は、ソフトウェア２３０によるアクセスのために、本明細書に記載されるような自動化および他のデータ（例えば、画像、セグメント、ハッシュ、ビデオ、フレーム、ソースデータ、ロボットビデオ、ソースコードなど）を含み得る。例えば、ソフトウェア２３０の訓練フェーズの間に、マッチングモデルが構築され、リポジトリ２２９に格納され得る。これに関連して、リポジトリ２２９は、マッチングモデルの訓練データとして、ターゲット要素／アクションおよびその要素の周囲の空間を含むビデオのフレームを格納する。

【0038】

ソフトウェア２３０は、図３～５を参照して本明細書で説明したような、デバイス２０５を動作させるためにプロセッサ２１０が実行するためのソフトウェアコンポーネント、モジュール、エンジン、命令などとして格納され得る。システムメモリ２２０は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、内部または外部フラッシュメモリ、エンベッディッドスタティック－ＲＡＭ（ＳＲＡＭ：Ｅｍｂｅｄｄｅｄ Ｓｔａｔｉｃ－ＲＡＭ）、ソリッドステートメモリ、キャッシュ、磁気ディスクもしくは光ディスクなどの静的ストレージ、または任意の他のタイプの揮発性または不揮発性メモリの任意の組み合わせを含み得る。非一時的な読み取り可能なストレージ媒体は、プロセッサ２１０によってアクセス可能な任意の媒体であってもよく、揮発性媒体、不揮発性媒体などを含み得る。例えば、ＲＯＭは、システムバス２１５に結合され、デバイス２０５の特定の基本機能を制御するＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）を含み得、ＲＡＭは、プロセッサ２１０が使用するためにシステムバス２１５に結合された読み書き可能なメモリである。非一時的なコンピュータ読み取り可能なストレージ媒体は、着脱可能、着脱不可能などの任意の媒体を含み得る。

【0039】

図１に関連して、図２のソフトウェア２３０は、メモリ２２０およびプロセッサ２１０がロボット１２２を論理的に設計／構成／提供することができるように、推薦エンジン１１１およびその中のコンポーネントを示し得、ロボット１２２は、さらに１もしくは複数のアクティビティ１２４を実行し、および／または１もしくは複数のドライバコンポーネント１２８および／または内部エンジン１２９を使用して１または複数ユーザーインターフェース（ＵＩ）オートメーション１２６を提供する。図２のソフトウェア２３０は、コンピューティングシステム２００のためのデバイス２０５用のオペレーティングシステムも示し得る。

【0040】

１または複数の実施形態によると、ソフトウェア２３０は、ハードウェア、ソフトウェアまたはハイブリッド実施に構成され得る。ソフトウェア２３０は、互いに動作可能な通信を行い、情報または指示を渡すためのモジュールによって構成され得る。１または複数の実施形態によると、ソフトウェア２３０は、インテリジェントオートメーションエクスペリエンスを提供するために、オペレーティングシステムもしくは他のアプリケーションに代わってかつ／または必要に応じて直接的に１もしくは複数のユーザーインターフェースを提供し得る。ユーザーインターフェースは、限定されないが、インターネットブラウザ、グラフィックユーザーインターフェース、ウィンドウインターフェースおよび／またはアプリケーション、オペレーティングシステム、ファイルフォルダなどのための他の視覚的インターフェースを含む。したがって、ユーザーアクティビティは、ソフトウェア２３０によって提供されるユーザーインターフェースの任意のインタラクションまたは操作を含み得る。

【0041】

ソフトウェア２３０は、コンピューティングシステム２００が追加の機能を含むことができるように、アプリケーション特有の処理またはその派生物を実行するためのカスタムモジュールをさらに含み得る。例えば、１または複数の実施形態によると、ソフトウェア２３０は、動作２３１、２３２、２３３および２３４を可能にするためにプロセッサ２１０によって実行または処理される情報、命令、コマンド、またはデータを格納するように構成され得る。例えば、図２のソフトウェア２３０として実施される図１の推薦エンジン１１１は、コンピューティングシステム２００に特定の構成およびツーリングロボティックプロセスオートメーション方法提供し得、その結果、本明細書に記載される任意の他の動作／アクション（２３４）と一緒に、コンピューティングシステム２００は、コンピューティングデバイス上のユーザーアクティビティを監視（２３１）して、ユーザーインターフェースの１または複数の画像をキャプチャし、１または複数の画像を分析（２３２）して、少なくとも１つの既存の自動化に関するパターンマッチングを実行し、少なくとも１つの既存の自動化がユーザーアクティビティと一致することを示すプロンプトを提供（２３３）し得る。１または複数の実施形態によると、ソフトウェア２３０は、様々な形態のマルチメディアのスニペットまたはフィンガープリント（ｐＨａｓｈｉｎｇまたはｐＨａｓｈとも呼ばれる）を生成する知覚的ハッシングアルゴリズムを実行するなどして、キャプチャ画像を前処理するように構成され得る。

【0042】

他の動作／アクションは、限定されないが、ＲＰＡエージェントログを利用すること、ロボットビデオを作成する際にソースコードメタデータをフェイムに追加すること、ビデオを記録する際にカーソルを記録しないこと、既知のシステムカーソルに基づいてビデオからカーソルを排除すること、キーフレームキャッシングを実行すること、自動処理のための機能を事前に構築すること、ロボットが実行されているときに形状（例えば、長方形）を持つ要素を強調表示すること、ロボットが実行されているときに要素の形状を照会することを含み得る。

【0043】

例えば、１または複数の実施形態によると、図２のソフトウェア２３０として実装された図１の推薦エンジン１１１は、オフロード動作を実行し得る。オフロード動作は、用途別に意図的にコーディングするのではなく、自動化およびとトリガを特定すること（例えば、ハッシュのマッチングによる）を含む。このようにして、意図的なコーディングは、図１の推薦エンジン１１１にオフロードされる。さらに、図２のソフトウェア２３０として実装された図１の推薦エンジン１１１は、一致した自動化を実行する能力／選択肢をユーザーに提供する。

【0044】

さらに、ソフトウェア２３０のモジュールは、カスタムの超大規模集積（ＶＬＳＩ）回路またはゲートアレイ、ロジックチップ、トランジスタなどの既製の半導体、またはその他のディスクリートコンポーネントを含むハードウェア回路として、プログラム可能なハードウェアデバイス（例えば、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス）、グラフィックスプロセッシングユニットなどに実装され得る。ソフトウェア２０３のモジュールは、様々なタイプのプロセッサにより実行されるためのソフトウェアに少なくとも部分的に実装され得る。１または複数の実施形態によると、特定された実行可能コードのユニットは、例えば、オブジェクト、プロシージャ、ルーチン、サブルーチン、または関数として編成されていてもよいコンピュータ命令の１または複数の物理的または論理的なブロックを含み得る。特定されたモジュールの実行可能は、論理的に結合されるとモジュールを構成するように、異なる位置に共に配置されたり、格納されたりする。実行可能なコードのモジュールは、単一の命令、１または複数のデータ構造、１または複数のデータセット、複数の命令などであり、複数の異なるコードセグメント、異なるプログラム間、複数のメモリデバイス間などに分散され得る。動作データまたは機能データは、ソフトウェア２３０のモジュール内で特定および図示され得、任意の適切なタイプのデータ構造内において適切な形態で具現化され、組織化され得る。

【0045】

図２のアダプタ２２５、２２６および２２７に関して、デバイス２０５は特に、入力／出力（Ｉ／Ｏ）アダプタ２２５、デバイスアダプタ２２６、および通信アダプタ２２７を含み得る。１または複数の実施形態によると、Ｉ／Ｏアダプタ ２２５は、周波数分割多元接続（ＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、直交周波数分割多重方式（ＯＦＤＭ）、直交周波数分割多元接続（ＯＦＤＭＡ）、移動体用グローバルシステム（ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ）通信、汎用パケット無線サービス（ＧＰＲＳ：Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ）、ユニバーサル移動体通信システム（ＵＭＴＳ：Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、ｃｄｍａ２０００、広帯域ＣＤＭＡ（Ｗ－ＣＤＭＡ：Ｗｉｄｅｂａｎｄ ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、高速パケットアクセス（ＨＳＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ロングタームエボリューション（ＬＴＥ：Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥアドバンスト（ＬＴＥ－Ａ：ＬＴＥ Ａｄｖａｎｃｅｄ）、８０２．１１ｘ、Ｗｉ－Ｆｉ、Ｚｉｇｂｅｅ、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ－ＷｉｄｅＢａｎｄ）、８０２．１６ｘ、８０２．１５、Ｈｏｍｅ Ｎｏｄｅ－Ｂ（ＨｎＢ）、Ｂｌｕｅｔｏｏｔｈ、無線ＩＤタグ（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、近距離無線通信（ＮＦＣ：Ｎｅａｒ－Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、第５世代（５Ｇ）、Ｎｅｗ Ｒａｄｉｏ（ＮＲ）、または、通信用のいずれかの他の無線もしくは有線のデバイス／トランシーバに照らして、スモールコンピュータシステムインターフェース（ＳＣＳＩ：ｓｍａｌｌ ｃｏｍｐｕｔｅｒ ｓｙｓｔｅｍ ｉｎｔｅｒｆａｃｅ）として構成され得る。デバイスアダプタ２２６は、ディスプレイ２４１、キーボード２４２、制御デバイス２４３など（例えば、カメラ、スピーカなど）の入／出力デバイスをシステムバス２１５に相互接続する。

【0046】

通信アダプタ２２６は、システムバス２１５を、外部ネットワークであり得るネットワーク２５０と相互接続し、デバイス２０５が他のそのような装置（例えば、ローカルコンピューティングデバイス２５５、さらにはネットワーク２６０を介したリモートコンピューティングシステム２５６など）とデータを通信できるようにする。一実施形態では、アダプタ２２５、２２６、および２２７は、中間バスブリッジを介してシステムバス２１５に接続される１または複数のＩ／Ｏバスに接続され得る。ハードディスクコントローラ、ネットワークアダプタ、およびグラフィックアダプタなどの周辺機器を接続するのに適したＩ／Ｏバスは、典型的には、ペリフェラルコンポーネントインターコネクト（ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）などの共通プロトコルを含む。

【0047】

ディスプレイ２４１は、ユーザーがデバイス２０５とインタラクションする際に、ソフトウェア２３０によってキャプチャおよび分析され得る１または複数のＵＩまたはグラフィックＵＩ（ＧＵＩ）を提供するように構成される。ディスプレイ２４１の例は、限定されないが、プラズマ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、電界放出ディスプレイ（ＦＥＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フレキシブルＯＬＥＤディスプレイ、フレキシブル基板ディスプレイ、投影ディスプレイ、４Ｋディスプレイ、高解像度（ＨＤ）ディスプレイ、Ｒｅｔｉｎａ（著作権）ディスプレイ、面内スイッチング（ＩＰＳ）ディスプレイなどを含み得る。ディスプレイ２４１は、入力／出力（Ｉ／Ｏ）のために、当業者に理解されるように、抵抗性、静電容量性、表面音響波（ＳＡＷ）静電容量性、赤外線、光学イメージング、分散信号技術、音響パルス認識、フラストレート全内部反射などを用いたタッチ、３次元（３Ｄ）タッチ、マルチ入力タッチ、またはマルチタッチディスプレイとして構成され得る。

【0048】

キーボード２４２と、コンピュータマウス、タッチパッド、タッチスクリーン、キーパッドなどの制御デバイス２４３とは、デバイス２０５への入力のために、システムバス２１５にさらに結合され得る。さらに、１または複数の入力は、それと通信している別のコンピューティングシステム（例えば、ローカルコンピューティングデバイス２５５および／またはリモートコンピューティングシステム２５６）を介して、リモートでコンピューティングシステム２００に提供されてもよく、あるいはデバイス２０５が自律的に動作してもよい。

【0049】

１または複数の実施形態によると、ソフトウェア２３０に関するデバイス２０５の機能はまた、推薦エンジン２９０の別個のインスタンスによって表されるように、ローカルコンピューティングデバイス２５５および／またはリモートコンピューティングシステム２５６に実施され得る。１または複数の画像（例えば、スクリーンショット）は、デバイス２０５、ローカルコンピューティングデバイス２５５および／またはリモートコンピューティングシステム２５６に配置された共通のリポジトリ（例えば、リポジトリ２２９）に格納され得、デバイス２０５、ローカルコンピューティングデバイス２５５、および／またはリモートコンピューティングシステム２５６のそれぞれにかつ／またはデバイス２０５、ローカルコンピューティングデバイス２５５および／またはリモートコンピューティングシステム２５６から（オンデマンドで）ダウンロードされ得ることに留意されたい。

【0050】

次に図３に目を向けると、１または複数の実施形態による、コンピューティングシステム内の１または複数のプロセッサによって実行されるプロセスフロー３００を示すブロック図である。より詳細には、プロセスフロー３００は、インテリジェントオートメーションエクスペリエンスに関する特定の構成およびツーリングロボティックプロセスオートメーション方法を提供するための、本明細書に記載される推薦エンジン（例えば、図１の推薦エンジン１１１および／または図２のソフトウェア／推薦エンジン２３１、２８１、および２９１）の例示的な実施である。

【0051】

プロセスフロー３００は、ブロック３１０から始まり、推薦エンジンがユーザーアクティビティを監視する。ユーザーアクティビティの監視は、ビデオの記録、ビデオの１または複数のフレームのキャプチャ、画像のキャプチャ、スクリーンショットのキャプチャ、画像セグメントのキャプチャなどを含み得る。推薦エンジンは、特に、ユーザーが行っていることのハッシュを取る（例えば、画像をキャプチャする）コンピューティングシステムのバックグラウンドで実行する軽量サービス（例えば、小さなメモリフットプリントおよび低いＣＰＵ使用率などの低いシステムリソース使用率）を提供し得る。１または複数の実施形態によると、推薦エンジンは、リアルタイムシナリオアプリケーションまたは遅延シナリオアプリケーションを提供し得る。リアルタイムシナリオアプリケーションは、記録ソフトウェア、専用の最小限の記録または他のソフトウェアを使用して、スクリーンショットおよび次いで現在処理されるネイティブデータをキャプチャし得る。遅延シナリオアプリケーションは、本明細書に記載される任意の記録ソフトウェアを使用して、後のレビューのためにスクリーンショットおよびデータベース（例えば、リポジトリ２２９）に格納されるネイティブデータを生成し得る。１または複数の実施形態によると、記録ソフトウェアは、ロボットによってまたはロボットの一部として実装され得る。例えば、推薦エンジンは、ユーザーが行っていることのハッシュを取る（例えば、画像をキャプチャする）ソフトウェアシステムのバックグラウンドで実行する（例えば、ワークフローの外に存在する）軽量サービス（例えば、小さなメモリフットプリントおよび低いＣＰＵ使用率などの低いシステムリソース使用率）を提供することを含む。

【0052】

例えば、アテンド型ＲＰＡは、ユーザーがコンピューティングシステムを作業または操作する際に（例えば、ディスプレイ２４１によって提供されるＵＩまたはＧＵＩとインタラクションする際に）、画像（例えば、ユーザーアクティビティの周辺またはスクリーンショットとして）をキャプチャする。推薦エンジンは、画像を前処理し得、任意のキャプチャされた画像は、リアルタイムで前処理され得る。前処理は、限定されないが、画像のセグメント化、画像またはセグメントのハッシュ化、モード反転、エッジ検出、段差検出、変化検出、特徴検出、特徴抽出、画像のクロッピング、およびマッチングを改善するための画像処理のための他の強化またはメカニズムを含み得る。

【0053】

前処理の１または複数の実施形態によると、ハッシュが計算される前に、画像および／またはスクリーンショットは、より小さな断片にセグメント化され得る。その後、各セグメントは、ｐＨａｓｈを使用してハッシュ化される。キャプチャされた画像は全て、単一のビットマップとしてハッシュ化され得ることに留意されたい。例えば、各ｐＨａｓｈは８バイトを含み得、少なくとも５つのハッシュは、セグメント、キャプチャ画像またはスクリーンショットを表す。場合によっては、１つのｐＨａｓｈは、ユーザーアクティビティのターゲットを表し得、他のセグメントは幾何学的な構成（例えば、左、下、上など）を表し得る。さらに、画像をハッシュ化することは、ユーザーアクティビティの完全性を維持しながらその機密性を保護する一方通行の暗号化を含み得る。なお、各ハッシュのサイズは、キャプチャした画像のサイズに対して比較的小さい（例えば８バイト）ため、分散可能である。

【0054】

前処理の１または複数の実施形態によると、モード反転は、ライトモードとダークモードとの間でユーザーインターフェースを変更することを少なくとも含み得る。ライトモードおよびダークモードは、１日の時間（例えば、昼対夜）に基づいてより適合し得る、色および／または明るさのユーザーインターフェース方式である。前処理の１または複数の実施形態によると、画像をクロッピングすることは、ユーザーアクティビティの周囲の領域を効果的にキャプチャするためにスクリーンショットを調整および／またはサイズ変更することを含み得る。

【0055】

ブロック３３０で、推薦エンジンは、キャプチャされた画像またはそのセグメントを分析する。キャプチャされた画像またはセグメントを分析することは、パターンマッチング（例えば、少なくとも１つの既存のオートメーションに関する１もしくは複数の画像および／またはシーケンスのパターンマッチングを実行すること）を含み得る。１または複数の実施形態によると、パターンマッチングは、本明細書に記載されるマッチングモデルを使用するなどして、キャプチャされた画像またはセグメントの１もしくは複数の特性を何らかのパターンで横断的にチェックすることを含む。特性は、特定の画面またはユーザーインターフェース要素（例えば、ボタン、チェックボックス、テキストフィールド、ラベルなどとして）とのインタラクションと共に、アクションのタイプ、アクションの数、アクションの近さなどであり得る。例えば、シーケンスの各ハッシュが分析されて、特性を抽出して他の格納されたハッシュ（例えば、既存の自動化を表す）の他の特性と比較することができ、生成されたハッシュは、格納されたハッシュに対して、シーケンスにおよび／またはシーケンスから外れて、リアルタイムで実行されて、一致するかどうかを決定し得る。推薦エンジンのＲＰＡ（例えば、デバイス２０５上のソフトウェア２３０）は、生成されたハッシュのシーケンスを提供し得、一方、（例えば、ローカルコンピューティングデバイス２５５および／またはリモートコンピューティングシステム２５６の）推薦エンジンの別のインスタンスは、格納されたハッシュを提供し得ることに留意されたい。

【0056】

特性は、ウィンドウによって／ウィンドウ内において決定され得る。より具体的には、ウィンドウは、固定数のキャプチャ画像またはセグメントを保持するバッファであり得る。ウィンドウは、次に、この固定数に基づいて、いくつかの特性または様々な特性を最適化するために使用され得る。一例において、ウィンドウは、スライディングウィンドウであり得る。スライディングウィンドウのサイズは、例えば、キャプチャされた画像またはセグメントの固定数が大きくなったり小さくなったりするのに合わせて、推薦エンジンによって動的に増減され得る。スライディングウィンドウのサイズを動的に変更することは、推薦エンジンの性能とマッチングを最適化するための自動再構成であり得る。

【0057】

１または複数の実施形態によると、キャプチャされた画像またはそのセグメントを分析するとき、推薦エンジンは、スライディングウィンドウのサイズを決定し、キャプチャされた画像またはそのセグメントを表す生成されたハッシュのシーケンスで、先入れ先出しの方法でスライディングウィンドウを埋める。次に、スライディングウィンドウ内の生成されたハッシュのシーケンスが、格納されたハッシュのシーケンス（例えば、図２のリポジトリ２２９、ローカルコンピューティングデバイス２５５、および／またはリモートコンピューティングシステム２５６に配置されたものなど、リポジトリに格納された既存自動化）と比較される。より詳細には、スライディングウィンドウ内の生成されたハッシュのシーケンスの特性は、格納されたハッシュのシーケンスの特性と比較される。推薦エンジンは、生成されたハッシュと格納されたハッシュとの間の特性がどの程度緩くまたは完全に適合するかを決定するために、しきい値を使用し得る。このようにして、格納されたハッシュのシーケンスの特性に適合するスライディングウィンドウで生成されたハッシュのシーケンスの特性の数がしきい値以上である場合、次いで推薦エンジンは一致があると判断する。

【0058】

ブロック３５０では、推薦エンジンは、一致があった場合などにアクションを実行する。アクションは、ユーザーに一致を提示することを含む。

【0059】

例えば、推薦エンジンのＲＰＡは、ディスプレイ２４１によって提供されるＵＩまたはＧＵＩに、既存の自動化が現在のユーザーアクションのセット（すなわち、ウィンドウ内のキャプチャ画像から決定された特性）に一致することを示すプロンプトをプリセットさせる。ＲＰＡのプロンプトはさらに、既存の自動化が引き継ぎもしくは実行するための選択肢、および／またはトリガを設定するための要求をユーザーに提供する。プロンプトはまた、何が一致したかを視覚的に示す（例えば、ユーザーが彼らの特定のアクションによってどのように一致したかを確認し得るように）メカニズムを提示または含み得る。トリガは、自動化を開始するユーザーが定義した条件であり得る。１または複数のトリガは、任意の特定の自動化を開始するために使用され得、その結果、特定の自動化が複数の方法で開始し得る。１または複数の実施形態によると、推薦エンジンは、トリガに関して意図的なアクションを実行し得る。リポジトリは、推薦エンジンが自動的にトリガし得る１０個の自動化を含む場合、推薦エンジンは、放たれると１０個の自動化を呼び出す１０個のトリガを有する新しい自動化パッケージを作成して実行するか、または各自動化が自動呼び出しのためのその内部トリガを待つように１０個の自動化をバックグラウンドで実行し得る。

【0060】

図４に目を向けると、１または複数の実施形態によるユーザーインターフェース４００が示される。ユーザーインターフェース４００は、図３のブロック３５０に関するプロンプトの一例である。ユーザーインターフェース４００は、タイトルが「ワークフロー推薦アシスタント（Ｗｏｒｋｆｌｏｗ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ａｓｓｉｓｔａｎｔ）」であり、一致する自動化を示すテーブル４１０を含む。テーブル４１０は、ワークフロー名、マッチスコア、詳細、関連性（例えば、適用性のはい／いいえ投票）、および実行などの列を含む。この例では、符号が一致する自動化のみが示される（例えば、「ワークフロー８」）。１または複数の自動化プロセスの名前は必ずしも記述的（例えば、「ワークフロー８」）ではないため、推薦エンジンは、１または複数の実施形態に従って、ユーザーアクションが関連する自動化に一致したことを検証するために、記述（例えば、目的）を追加し得る。マッチスコアに関して、推薦エンジンは、手動プロセスが既存の自動化にどれだけ近いかを尺度で決定し得る。例えば、しきい値が９９％に設定されている場合、このしきい値と同等またはそれ以上のスコアを受信した既存の自動化のみが提示され得る。表は１００％のスコアを示す。しきい値は、本明細書で説明する推薦エンジンの動的構成に基づいて、０～１００の任意の値に設定され得る。さらに、推薦エンジンは、１または複数のしきい値に関する１または複数の推論を含み得、その結果、既存の自動化のカスケードがユーザーインターフェース４００によって提示され得る。例えば、推薦エンジンは、９５％以上の精度である既存の自動化のみを表４１０に入力し、一方で、少なくとも８０％の精度である任意の既存の自動化を発見可能にし得る。

【0061】

表４１０の１または複数の項目は、下線付きのテキストで示されるように、選択可能であり得る。例えば、ワークフロー８を選択すると、そのソースコードを見るための後続のプロンプトが駆動され得る。さらに、はいまたはいいえを選択すると、ワークフロー８が一致しているかどうかについての直接的なユーザーフィードバックを推薦エンジンに提供し、実行を選択すると、ワークフロー８を実行し得る。詳細を選択することに関して、自動マッチングがどのように実行されたかをユーザーに示すために、ユーザーインターフェース４３０ａおよび４３０ｂとして示される後続のプロンプトが表示される。これに関して、後続のプロンプトは、実行されたステップがワークフロー８のステップとどのように一致するかを矢印で図示しながら、１または複数の図（例えば、時間０のユーザーインターフェース４３０ａおよび時間０＋１のユーザーインターフェース４３０ｂ）の間で切り替わる。

【0062】

ブロック３７０で、推薦エンジンは、生成されたハッシュのシーケンスを、格納されたハッシュのシーケンス、および任意のトリガと一緒に格納して、さらなるマッチングのためのリポジトリを増やす。この格納は、機械学習のためのマッチングモデルの構築および／または強化にさらに寄与する。順に、ブロック３９０では、推薦エンジンがマッチングモデルで訓練し、一致が近似され得る場合をよりよく特定する。このようにして、推薦エンジンは、訓練からの情報をフィードバックして、スライディングウィンドウの調整、特性の選択、キャプチャ画像の範囲の決定などを動的に行い得る。１または複数の実施形態によると、推薦エンジンの訓練は、（例えば、幾何学的な構成などの比較に関して）一致を試みる間に、フレーム画像、セグメント、および／またはハッシュをキャプチャすることを含み得る。これに関連して、推薦エンジンは、ユーザーがプロセスの１または複数のステップを実行するのを監視し、キャプチャされたフレーム画像、セグメント、および／またはハッシュを使用して、リポジトリを構築する。例えば、推薦エンジンは、訓練データとして、ターゲット要素／アクションとその要素の周りの空間とを含むビデオのフレームを保存して使用する。

【0063】

このように、図２のソフトウェア２３０として実装される図１の推薦エンジン１１１として、図３の方法３００の１または複数の技術的効果、利点、および利益は、開発中のプロセスが既に開発されているかどうか（例えば、またはその一部）を特定すること、複雑な推論によって複雑なプロセスを分析すること（例えば、観察されたアクティビティがちょうど自動化されたものである確率より小さくする）、信頼性レベル（例えば、スクリーンプロセスマッチングのスコア）に基づく表示（例えば、スクリーンマッチング）を提供するかどうかを検討すること、自動化されたワークフロー全体が一致していなくても、少なくとも前構築されたコンポーネントを提案することを含む。

【0064】

図５～６に目を向けると、１または複数の実施形態によって、図１の環境１００および／または図２のコンピューティングシステム２００によって実行される方法５００および６００を示すブロック図である。なお、図６の方法６００は、図５の方法５００をさらに説明することに留意されたい。

【0065】

方法５００は、ブロック５１０で始まり、ソフトウェア２３０は、リポジトリから１または複数の自動化プロセス（例えば、自動化ワークフロー）を取得する。これに関連して、１または複数の自動化プロセスのそれぞれからのソースデータ５１２、ロボットビデオ５１４およびソースコード５１６が、（例えば、ブロック５３０で）比較のための入力として使用される。ソースデータ５１２は、自動化ワークフローの対象となる要素（例えば、特性）のスクリーンショットを含む任意のソースデータであり得る。ソースデータ５１２は、モバイルデバイス環境で作成され得る。ロボットビデオ５１４は、自動化ワークフロー中の実行ロボット（ＲＰＡ）のキャプチャ画像を含む。ソースコード５１６は、自動化ワークフローおよび／またはロボットの基礎となる任意のものを含む。

【0066】

ブロック５２０では、ソフトウェア２３０は、手動プロセスをキャプチャする。これに関連して、手動プロセスからのユーザーアクティビティ５２３および画面ビデオ５２４は、（例えば、ブロック５３０で）比較のための入力として使用される。ユーザーアクティビティ５２３は、特性（例えば、ユーザーアクション）または手動プロセスの対象である要素のスクリーンショットを含む任意のソースデータであり得る。ユーザーアクティビティ５２３は、ピクセルベースでおよび／または光学的文字認識（ＯＣＲ）動作で特定され得る。画面ビデオ５２４は、手動プロセスのキャプチャ画像を含む。

【0067】

ブロック５３０では、ソフトウェア２３０は、ブロック５１０の１または複数の自動化プロセスとブロック５２０の手動プロセスとの間の比較を実行するために、認識ロジックを実行する。これに関連して、ソフトウェア２３０の認識ロジックは、ユーザーアクションを既存の自動化と一致させる。認識ロジックは、標準的な動作手順および／または、非常に頻繁なアクションシーケンス（これについては、ユーザーを促すための文書作成または自動化が存在しない）を検出するなど、他の形態のプロセス文書作成を含むように拡張され得ることに留意されたい。

【0068】

図６に目を向けると、方法６００は、１または複数の実施形態による、図５のブロック５３０の認識ロジックの例示的な動作を説明する。説明を容易にするために、図５と類似した要素および項目が図６で再利用されていることに留意されたい。これに関連して、自動化プロセスからのソースデータ５１２、ロボットビデオ５１４、およびソースコード５１６（破線で示す）、ならびに手動プロセスからのユーザーアクティビティ５２３および画面ビデオ５２４（破線で示す）などの要素が、認識ロジック５３０内でさらに発生する方法６００への入力として再利用される。さらに、ブロック６０１は認識ロジック５３０に対するコア機能であり、一方で、ブロック６０２は任意であることに留意されたい。これに関連して、ウィンドウ内の各画像が、ブロック６１０で、順に見られるので、入力５１２、５１４、５２３および５２４に従って、ブロック６２０でターゲット要素が一致され得る。

【0069】

任意のブロック６０２に関して、推薦エンジンはさらに、入力５１６、５２３および５２４に従って、ブロック６４０でソースコードからアクティビティの定義を取得し、ブロック６５０でアクティビティを一致させ、ブロック６６０でシーケンスを一致させ得る。

【0070】

決定ブロック６７０で、推薦エンジンは、一致基準が満たされているかどうかを決定する。一致基準が満たされていない場合、方法６００は、（いいえの矢印で示されるように）ブロック６１０に戻る。一致基準が満たされている場合、方法６００は、（はいの矢印で示されるように）ブロック６８０に進む。ブロック６８０において、推薦エンジンは、本明細書に記載されるようなプロンプトを介して、一致した自動化プロセスを戻す。１または複数の実施形態によると、推薦エンジンはまた、ユーザー（例えば、ＲＰＡ開発者）が新しい自動化を作成しているときに使用され得る。これに関連して、推薦エンジンは、ユーザーがどのようなアクティビティを行っているかをチェックし、対応する自動化が既に存在するという情報をユーザーに提示し得る。

【0071】

図中のフローチャートおよびブロック図は、本発明の様々な実施形態による、装置、システム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性および動作を示す。これに関連して、フローチャートまたはブロック図の各ブロックは、指定された論理機能（複数可）を実装するための１または複数の実行可能な命令を含むモジュール、セグメント、または命令の一部を表し得る。いくつかの代替実装では、ブロックに記載されている機能は、図面のフローチャートおよびブロック図に記載されている順序とは異なる場合がある。例えば、連続して表示されている２つのブロックは、関係する機能に応じて、実際には実質的に同時に実行され得、またはブロックが逆の順序で実行され得る。また、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組み合わせは、指定された機能もしくは行動を実行するか、または特別な目的のハードウェアおよびコンピュータ命令の組み合わせを実行する特別な目的のハードウェアに基づくシステムによって実装され得ることに留意されたい。

【0072】

特徴および要素は、特定の組み合わせで上に記載されているが、各特徴または要素は、単独で、または他の特徴および要素と任意の組み合わせで使用することができることが、当業者には理解されるであろう。例えば、本明細書に記載されている方法およびプロセスのいずれかでは、記載されているステップは任意の順序で順不同で実行され得、明示的に記載または表示されていないサブステップが実行され得る。「ＡまたはＢ」を参照して使用する場合は、Ａ、Ｂ、またはＡおよびＢを含む場合があり、より長いリストと同様に拡張され得る。表記Ｘ／Ｙを使用する場合、それはＸまたはＹを含み得る。あるいは、表記Ｘ／Ｙを使用する場合、それはＸおよびＹを含み得る。Ｘ／Ｙ表記は、同一の説明されたロジックを有するより長いリストと同様に拡張され得る。また、「結合されている」または「動作的に結合されている」とは、オブジェクトが連結されていることを意味してもよいが、連結されているオブジェクトの間にゼロまたはそれ以上の中間オブジェクトを有してもよい。また、開示された特徴／要素の任意の組み合わせが、１または複数の実施形態で使用されてもよい。

【0073】

さらに、本明細書に記載された方法およびプロセスは、コンピュータまたはプロセッサによる実行のためにコンピュータ読み取り可能な媒体に組み込まれたコンピュータプログラム、ソフトウェア、および／またはファームウェア（例えば、コンピュータプログラム製品）で実装され得る。すなわち、コンピュータプログラム製品は、コントローラ、プロセッサなどに本発明の態様を実行させるためのコンピュータ読み取り可能プログラム命令をその上に有するコンピュータ読み取り可能なストレージ媒体（または複数の媒体）を含み得る。

【0074】

コンピュータ読み取り可能なストレージ媒体は、コンピュータ読み取り可能プログラム命令を保持および格納し得る有形のデバイスであり得る。コンピュータ読み取り可能なストレージ媒体は、例えば、限定されないが、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、または前述の任意の適切な組み合わせであり得る。本明細書で使用されるコンピュータ読み取り可能なストレージ媒体は、それ自体が一時的な信号であると解釈されるものではなく、例えば、電波またはその他の自由に伝播する電磁波、導波管またはその他の伝送媒体を伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または電線を介して伝送される電気信号である。コンピュータ読み取り可能なストレージ媒体の例は、限定されないが、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、コンパクトディスク（ＣＤ）およびデジタルバーサタイルディスク（ＤＶＤ）などの光媒体、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）ならびにメモリースティックを含む。

【0075】

本明細書に記載されたコンピュータ読み取り可能なプログラム命令は、例えばネットワーク通信などの接続を介して、装置、デバイス、コンピュータ、または外部ストレージからそれぞれのコントローラ、プロセッサなどに通信および／またはダウンロードされ得る。本発明の動作を実行するためのコンピュータ読み取り可能なプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ－ｓｅｔ－ａｒｃｈｉｔｅｃｔｕｒｅ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、または、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの手続き型プログラミング言語を含む１もしくは複数のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードのいずれかであり得る。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、電子回路をパーソナライズするコンピュータ読み取り可能なプログラム命令の状態情報を利用して、コンピュータ読み取り可能なプログラム命令を実行し得る。

【0076】

本明細書で使用される用語は、特定の実施形態を説明するためだけのものであり、限定することを意図しない。本明細書では、単数形の「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明確に示す場合を除き、複数形も含むことを意図する。本明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ）」および／または「含む（ｃｏｍｐｒｉｓｉｎｇ，）」という用語は、記載された特徴、整数、ステップ、動作、要素、および／またはコンポーネントの存在を特定するが、１または複数の他の特徴、整数、ステップ、動作、要素、コンポーネント、および／またはそれらのグループの存在または追加を排除するものではないことがさらに理解されるであろう。

【0077】

本明細書の様々な実施形態の説明は、説明のために提示されたものであるが、開示された実施形態を網羅的に、またはそれに限定することを意図したものではない。当業者であれば、記載された実施形態の範囲および精神から逸脱することなく、多くの修正および変形が明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見られる技術に対する実用化もしくは技術的改善を最もよく説明するため、または当業者が本明細書で開示されている実施形態を理解できるように選択されたものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】