特開 2025-10481 ロボティックプロセスオートメーションのための人工知能／機械学習モデルの訓練および推奨エンジン

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025010481

(43)【公開日】2025-01-21

(54)【発明の名称】ロボティックプロセスオートメーションのための人工知能／機械学習モデルの訓練および推奨エンジン

(51)【国際特許分類】

   G06N 20/00 20190101AFI20250110BHJP

   G06F 11/36 20060101ALI20250110BHJP

【ＦＩ】

G06N20/00

G06F11/36 188

【審査請求】未請求

【請求項の数】30

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024064543

(22)【出願日】2024-04-12

(31)【優先権主張番号】18/219,134

(32)【優先日】2023-07-07

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＧＰＴ－３

２．ＣＨＡＴＧＰＴ

(71)【出願人】

【識別番号】520262319

【氏名又は名称】ユーアイパス，インコーポレイテッド

【氏名又は名称原語表記】ＵｉＰａｔｈ，Ｉｎｃ．

【住所又は居所原語表記】１ Ｖａｎｄｅｒｂｉｌｔ Ａｖｅｎｕｅ， ６０ｔｈ Ｆｌｏｏｒ， Ｎｅｗ Ｙｏｒｋ， ＮＹ １００１７， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】110003487

【氏名又は名称】弁理士法人東海特許事務所

(72)【発明者】

【氏名】ミルシア グリゴーレ

【テーマコード（参考）】

5B042

【Ｆターム（参考）】

5B042HH26

5B042HH49

(57)【要約】      （修正有）

【課題】ロボティックプロセスオートメーション（ＲＰＡ）のための人工知能（ＡＩ）／機械学習（ＭＬ）推薦エンジンを実現するコンピューティングシステム、方法及び媒体を提供する。
【解決手段】デザイナ４１０は、ＡＩ／ＭＬモデル４８０を、次のアクティビティ、次のアクティビティのシーケンス及び／又はＲＰＡワークフローの開発中に含める１又は複数の既存のアクティビティ４２０～４５０に対するパラメータの変更についての推奨事項を提供するように訓練する。推奨事項は、ＲＰＡワークフロー内のユーザーの位置のコンテキストに基づく。ユーザーインターフェース（ＵＩ）オートメーションの場合、ＡＩ／ＭＬモデルはオブジェクトリポジトリにリンクされ、そこから推奨事項を作成するように訓練される。ＡＩ／ＭＬモデルはまた、オブジェクトリポジトリの新しいＵＩ記述子を生成するように訓練される。
【選択図】図４

【特許請求の範囲】

【請求項1】

１または複数のコンピュータプログラムを格納した１または複数の非一時的なコンピュータ読み取り可能な媒体であって、前記１または複数のコンピュータプログラムは、少なくとも１つのプロセッサが、
１または複数のアクティビティを含むロボティックプロセスオートメーション（ＲＰＡ）デザイナアプリケーションで開発されたＲＰＡワークフローに関する情報を、１または複数の人工知能（ＡＩ）／機械学習（ＭＬ）モデルに提供し、前記１または複数のＡＩ／ＭＬモデルは、前記ＲＰＡワークフロー内の前記１または複数のアクティビティの内容に基づき、次のアクティビティを提案する、次のアクティビティのシーケンスを提案する、前記ＲＰＡワークフロー内の前記１または複数のアクティビティの少なくとも１つのパラメータに対する変更を提案する、あるいはそれらのいずれかの組み合わせを行うように訓練され、
前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらのいずれかの組み合わせを含む前記１または複数のＡＩ／ＭＬモデルからの出力を受信し、
前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらの組み合わせを前記ＲＰＡデザイナアプリケーションのユーザーに通知する、あるいは前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらの組み合わせを前記ＲＰＡワークフローに組み込むように前記ＲＰＡワークフローを自動的に変更するように構成される、１または複数の非一時的なコンピュータ読み取り可能な媒体。

【請求項2】

前記１または複数のＡＩ／ＭＬモデルは、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらの組み合わせについての信頼スコアを提供するように構成される、請求項１に記載の１または複数の非一時的なコンピュータ読み取り可能な媒体。

【請求項3】

前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらの組み合わせを組み込むための前記ＲＰＡワークフローの自動変更は、自動挿入しきい値を超える信頼スコアに応答して実行される、請求項１に記載の１または複数の非一時的なコンピュータ読み取り可能な媒体。

【請求項4】

前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらの組み合わせは、現在の開発状態における前記ＲＰＡワークフローのコンテキストに基づく、請求項１に記載の１または複数の非一時的なコンピュータ読み取り可能な媒体。

【請求項5】

前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、以前に開発されたＲＰＡワークフローに基づくコンテキストを使用して訓練される、請求項１に記載の１または複数の非一時的なコンピュータ読み取り可能な媒体。

【請求項6】

前記１または複数のコンピュータプログラムはさらに、前記少なくとも１つのプロセッサが、
前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つからの出力に基づいて、前記ＲＰＡワークフローに対して次に実行するタスクを提案するように構成される、請求項１に記載の１または複数の非一時的なコンピュータ読み取り可能な媒体。

【請求項7】

前記１または複数のコンピュータプログラムはさらに、前記少なくとも１つのプロセッサが、
提案された前記次のタスクに関連付けられた信頼スコアが自動パフォーマンスしきい値を超えた場合に、提案された前記次のタスクを自動的に実行するように構成される、請求項６に記載の１または複数の非一時的なコンピュータ読み取り可能な媒体。

【請求項8】

前記ＲＰＡワークフローはＵＩオートメーションに関連し、
前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、オブジェクトリポジトリからのアプリケーション、前記アプリケーションのバージョン、前記アプリケーションの画面、および前記画面のグラフィカル要素に関する情報を使用して訓練される、請求項１に記載の１または複数の非一時的なコンピュータ読み取り可能な媒体。

【請求項9】

前記ＲＰＡワークフローはＵＩオートメーションに関連し、
前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、オブジェクトリポジトリからのアプリケーション、前記アプリケーションのバージョン、前記アプリケーションの画面、および前記画面のグラフィカル要素の間の関係を含む１または複数のグラフを使用して訓練される、請求項１に記載の１または複数の非一時的なコンピュータ読み取り可能な媒体。

【請求項10】

前記１または複数のグラフを使用して訓練された前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、前記１または複数のグラフからオントロジー関連を認識するように訓練される、請求項９に記載の１または複数の非一時的なコンピュータ読み取り可能な媒体。

【請求項11】

前記１または複数のコンピュータプログラムはさらに、前記少なくとも１つのプロセッサが、
前記ＲＰＡワークフローの１または複数の問題を検出し、
前記ＲＰＡワークフローを自動的に修復するように構成される、請求項１に記載の１または複数の非一時的なコンピュータ読み取り可能な媒体。

【請求項12】

自動修復は、アクティビティパラメータを変更すること、アクティビティをタスクに適した別のアクティビティと置き換えること、１または複数の追加のアクティビティをアクティビティ作業に追加すること、あるいはそれらのいずれかの組み合わせを含む、請求項１１に記載の１または複数の非一時的なコンピュータ読み取り可能な媒体。

【請求項13】

前記ＲＰＡワークフローの自動修復は、前記ＲＰＡワークフローの開発中に反復的に実行される、請求項１１に記載の１または複数の非一時的なコンピュータ読み取り可能な媒体。

【請求項14】

コンピュータプログラム命令を格納するメモリと、
前記コンピュータプログラム命令を遂行するように構成された少なくとも１つのプロセッサと、を含む１または複数のコンピューティングシステムであって、前記コンピュータプログラム命令は、前記少なくとも１つのプロセッサが、
１または複数のアクティビティを含むロボティックプロセスオートメーション（ＲＰＡ）デザイナアプリケーションで開発されたＲＰＡワークフローに関する情報を、１または複数の人工知能（ＡＩ）／機械学習（ＭＬ）モデルに提供し、前記１または複数のＡＩ／ＭＬモデルは、前記ＲＰＡワークフロー内の前記１または複数のアクティビティの内容に基づき、次のアクティビティを提案する、次のアクティビティのシーケンスを提案する、前記ＲＰＡワークフロー内の前記１または複数のアクティビティの少なくとも１つのパラメータに対する変更を提案する、あるいはそれらのいずれかの組み合わせを行うように訓練され、
前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらのいずれかの組み合わせを含む前記１または複数のＡＩ／ＭＬモデルからの出力を受信し、
前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらの組み合わせを前記ＲＰＡデザイナアプリケーションのユーザーに通知する、あるいは前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらの組み合わせを前記ＲＰＡワークフローに組み込むように前記ＲＰＡワークフローを自動的に変更するように構成され、
前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらの組み合わせは、現在の開発状態における前記ＲＰＡワークフローのコンテキストに基づく、１または複数のコンピューティングシステム。

【請求項15】

前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらの組み合わせを組み込むための前記ＲＰＡワークフローの自動変更は、自動挿入しきい値を超える信頼スコアに応答して実行される、請求項１４に記載の１または複数のコンピューティングシステム。

【請求項16】

前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、以前に開発されたＲＰＡワークフローに基づくコンテキストを使用して訓練される、請求項１４に記載の１または複数のコンピューティングシステム。

【請求項17】

前記コンピュータプログラム命令はさらに、前記少なくとも１つのプロセッサが、
前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つからの出力に基づいて、前記ＲＰＡワークフローに対して次に実行するタスクを提案するように構成される、請求項１４に記載の１または複数のコンピューティングシステム。

【請求項18】

前記コンピュータプログラム命令はさらに、前記少なくとも１つのプロセッサが、
提案された前記次のタスクに関連付けられた信頼スコアが自動パフォーマンスしきい値を超えた場合に、提案された前記次のタスクを自動的に実行するように構成される、請求項１７に記載の１または複数のコンピューティングシステム。

【請求項19】

前記ＲＰＡワークフローはＵＩオートメーションに関連し、
前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、オブジェクトリポジトリからのアプリケーション、前記アプリケーションのバージョン、前記アプリケーションの画面、および前記画面のグラフィカル要素に関する情報を使用して訓練される、請求項１４に記載の１または複数のコンピューティングシステム。

【請求項20】

前記ＲＰＡワークフローはＵＩオートメーションに関連し、
前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、オブジェクトリポジトリからのアプリケーション、前記アプリケーションのバージョン、前記アプリケーションの画面、および前記画面のグラフィカル要素の間の関係を含む１または複数のグラフを使用して訓練される、請求項１４に記載の１または複数のコンピューティングシステム。

【請求項21】

前記１または複数のグラフを使用して訓練された前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、前記１または複数のグラフからオントロジー関連を認識するように訓練される、請求項２０に記載の１または複数のコンピューティングシステム。

【請求項22】

前記１または複数のコンピュータプログラムはさらに、前記少なくとも１つのプロセッサが、
前記ＲＰＡワークフローの１または複数の問題を検出し、
前記ＲＰＡワークフローを自動的に修復するように構成され、
自動修復は、アクティビティパラメータを変更すること、アクティビティをタスクに適した別のアクティビティと置き換えること、１または複数の追加のアクティビティをアクティビティ作業に追加すること、あるいはそれらのいずれかの組み合わせを含む、請求項１４に記載の１または複数のコンピューティングシステム。

【請求項23】

コンピューティングシステムによって、１または複数のアクティビティを含むロボティックプロセスオートメーション（ＲＰＡ）デザイナアプリケーションで開発されたＲＰＡワークフローに関する情報を、１または複数の人工知能（ＡＩ）／機械学習（ＭＬ）モデルに提供し、前記１または複数のＡＩ／ＭＬモデルは、前記ＲＰＡワークフロー内の前記１または複数のアクティビティの内容に基づき、次のアクティビティを提案する、次のアクティビティのシーケンスを提案する、前記ＲＰＡワークフロー内の前記１または複数のアクティビティの少なくとも１つのパラメータに対する変更を提案する、あるいはそれらのいずれかの組み合わせを行うように訓練され、
前記コンピューティングシステムによって、前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらのいずれかの組み合わせを含む前記１または複数のＡＩ／ＭＬモデルからの出力を受信し、
前記コンピューティングシステムによって、前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらの組み合わせを前記ＲＰＡデザイナアプリケーションのユーザーに通知する、あるいは前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらの組み合わせを前記ＲＰＡワークフローに組み込むように前記ＲＰＡワークフローを自動的に変更し、
前記提案された次のタスクに関連付けられた信頼スコアが自動パフォーマンスしきい値を超えるときに、前記コンピューティングシステムによって、前記１または複数のＡＩ／ＭＬモデルの少なくとも１つからの出力に基づいて、前記ＲＰＡワークフローに対して次に実行するタスクを提案する、あるいは前記コンピューティングシステムによって、前記提案された次のタスクを自動的に実行することを含む、コンピュータ実装方法。

【請求項24】

前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらの組み合わせを組み込むための前記ＲＰＡワークフローの自動変更は、自動挿入しきい値を超える前記信頼スコアに応答して実行される、請求項２３に記載のコンピュータ実装方法。

【請求項25】

前記提案された次のアクティビティ、前記提案された次のアクティビティのシーケンス、前記提案されたパラメータに対する変更、またはそれらの組み合わせは、現在の開発状態における前記ＲＰＡワークフローのコンテキストに基づく、請求項２３に記載のコンピュータ実装方法。

【請求項26】

前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、以前に開発されたＲＰＡワークフローに基づくコンテキストを使用して訓練される、請求項２３に記載のコンピュータ実装方法。

【請求項27】

前記ＲＰＡワークフローはＵＩオートメーションに関連し、
前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、オブジェクトリポジトリからのアプリケーション、前記アプリケーションのバージョン、前記アプリケーションの画面、および前記画面のグラフィカル要素に関する情報を使用して訓練される、請求項２３に記載のコンピュータ実装方法。

【請求項28】

前記ＲＰＡワークフローはＵＩオートメーションに関連し、
前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、オブジェクトリポジトリからのアプリケーション、前記アプリケーションのバージョン、前記アプリケーションの画面、および前記画面のグラフィカル要素の間の関係を含む１または複数のグラフを使用して訓練される、請求項２３に記載のコンピュータ実装方法。

【請求項29】

前記１または複数のグラフを使用して訓練された前記１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、前記１または複数のグラフからオントロジー関連を認識するように訓練される、請求項２８に記載のコンピュータ実装方法。

【請求項30】

さらに、
前記コンピューティングシステムによって、前記ＲＰＡワークフローの１または複数の問題を検出し、
前記コンピューティングシステムによって、前記ＲＰＡワークフローを自動的に修復することを含み、
自動修復は、アクティビティパラメータを変更すること、アクティビティをタスクに適した別のアクティビティと置き換えること、１または複数の追加のアクティビティをアクティビティ作業に追加すること、あるいはそれらのいずれかの組み合わせを含む、請求項２３に記載のコンピュータ実装方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は概して、ロボティックプロセスオートメーション（ＲＰＡ）に関し、より具体的には、ＲＰＡ用の人工知能（ＡＩ）／機械学習（ＭＬ）モデル訓練および推奨エンジンに関する。

【背景技術】

【0002】

従来、ＲＰＡオートメーションのワークフローを開発する場合、ＲＰＡ開発者は目的のタスクを達成するためにワークフローのステップを構成する。ただし、複数の自動化では多くのステップが使用される。さらに、アクティビティ、記述子、および自動化用のその他のオブジェクトがすでに存在し得る。ユーザーインターフェース（ＵＩ）でのＲＰＡオートメーションの場合、開発者は通常、各ＵＩアクションの記述子（セレクタなど）を構築し、デフォルトの記述子が通常生成される。ただし、信頼できる記述子またはＲＰＡアクティビティのその他のコンポーネントを構築すると、トラブルシューティングおよび試行錯誤の開発に開発者の時間がかかり得、効率的ではない場合がある。再利用性にも欠ける。さらに、システムおよびアプリケーションが変更またはアップグレードされる場合、プロセスのアップグレードパスは単純ではない場合がある。したがって、ＲＰＡオートメーションを開発するための改善されたアプローチは有益であり得る。

【発明の概要】

【0003】

本発明の特定の実施形態は、現在のＲＰＡ技術によってまだ十分に特定されていない、評価されていない、または解決されていない本分野における問題およびニーズのソリューションを提供し得る。例えば、本発明のいくつかの実施形態は、ＲＰＡのための設計時ＡＩ／ＭＬ推奨エンジンに関する。

【0004】

実施形態では、１または複数の非一時的なコンピュータ読み取り可能な媒体は、１または複数のコンピュータプログラムを格納する。１または複数のコンピュータプログラムは、少なくとも１つのプロセッサが、１または複数のアクティビティを含むＲＰＡデザイナアプリケーションで開発されたＲＰＡワークフローに関する情報を１または複数のＡＩ／ＭＬモデルに提供するように構成される。１または複数のＡＩ／ＭＬモデルは、ＲＰＡワークフロー内の１または複数のアクティビティの内容に基づき、次のアクティビティを提案する、次のアクティビティのシーケンスを提案する、ＲＰＡワークフロー内の１または複数のアクティビティの少なくとも１つのパラメータに対する変更を提案する、あるいはそれらのいずれかの組み合わせを行うように訓練される。１または複数のコンピュータプログラムはまた、少なくとも１つのプロセッサが、提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらのいずれかの組み合わせを含む１または複数のＡＩ／ＭＬモデルからの出力を受信するように構成される。１または複数のコンピュータプログラムはさらに、少なくとも１つのプロセッサが、提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらの組み合わせをＲＰＡデザイナアプリケーションのユーザーに通知するように構成される、あるいは提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらの組み合わせをＲＰＡワークフローに組み込むようにＲＰＡワークフローを自動的に変更するように構成される。

【0005】

別の実施形態では、１または複数のコンピューティングシステムは、コンピュータプログラム命令を格納するメモリと、コンピュータプログラム命令を遂行するように構成された少なくとも１つのプロセッサとを含む。コンピュータプログラム命令は、少なくとも１つのプロセッサが、１または複数のアクティビティを含むＲＰＡデザイナアプリケーションで開発されたＲＰＡワークフローに関する情報を１または複数のＡＩ／ＭＬモデルに提供するように構成される。１または複数のＡＩ／ＭＬモデルは、ＲＰＡワークフロー内の１または複数のアクティビティの内容に基づき、次のアクティビティを提案する、次のアクティビティのシーケンスを提案する、ＲＰＡワークフロー内の１または複数のアクティビティの少なくとも１つのパラメータに対する変更を提案する、あるいはそれらのいずれかの組み合わせを行うように訓練される。コンピュータプログラム命令はまた、少なくとも１つのプロセッサが、提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらのいずれかの組み合わせを含む１または複数のＡＩ／ＭＬモデルからの出力を受信するように構成される。コンピュータプログラム命令はさらに、少なくとも１つのプロセッサが、提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらの組み合わせをＲＰＡデザイナアプリケーションのユーザーに通知するように構成される、あるいは提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらの組み合わせをＲＰＡワークフローに組み込むようにＲＰＡワークフローを自動的に変更するように構成される。提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらの組み合わせは、現在の開発状態におけるＲＰＡワークフローのコンテキストに基づく。

【0006】

さらに別の実施形態では、コンピュータ実装方法は、コンピューティングシステムによって、１または複数のアクティビティを含むＲＰＡデザイナアプリケーションで開発されたＲＰＡワークフローに関する情報を１または複数のＡＩ／ＭＬモデルに提供することを含む。１または複数のＡＩ／ＭＬモデルは、ＲＰＡワークフロー内の１または複数のアクティビティの内容に基づき、次のアクティビティを提案する、次のアクティビティのシーケンスを提案する、ＲＰＡワークフロー内の１または複数のアクティビティの少なくとも１つのパラメータに対する変更を提案する、あるいはそれらのいずれかの組み合わせを行うように訓練される。コンピュータ実装方法はまた、コンピューティングシステムによって、提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらのいずれかの組み合わせを含む１または複数のＡＩ／ＭＬモデルからの出力を受信することを含む。コンピュータ実装方法はさらに、コンピューティングシステムによって、提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらの組み合わせをＲＰＡデザイナアプリケーションのユーザーに通知する、あるいは提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらの組み合わせをＲＰＡワークフローに組み込むようにＲＰＡワークフローを自動的に変更することを含む。さらに、コンピュータ実装方法は、提案された次のタスクに関連付けられた信頼スコアが自動パフォーマンスしきい値を超えるときに、コンピューティングシステムによって、１または複数のＡＩ／ＭＬモデルの少なくとも１つからの出力に基づいて、ＲＰＡワークフローに対して次に実行するタスクを提案する、あるいはコンピューティングシステムによって、提案された次のタスクを自動的に実行することを含む。

【図面の簡単な説明】

【0007】

本発明の特定の実施形態の利点が容易に理解されるように、上記で簡単に説明した本発明のより特定の説明は、添付の図面に図示されている特定の実施形態を参照して描写される。これらの図面は、本発明の典型的な実施形態のみを描いており、したがって、その範囲を限定するものとは考えられないことが理解されるべきであるが、本発明は、以下の添付の図面を使用することにより、さらなる特定および詳細をもって描写され、説明されるであろう。

【0008】

【図1】本発明の実施形態による、ハイパーオートメーションシステムを示すアーキテクチャ図である。

【0009】

【図2】本発明の実施形態による、ＲＰＡシステムを示すアーキテクチャ図である。

【0010】

【図3】本発明の実施形態による、展開したＲＰＡシステムを示すアーキテクチャ図である。

【0011】

【図4】本発明の実施形態による、デザイナ、アクティビティ、およびドライバの間の関係を示すアーキテクチャ図である。

【0012】

【図5】本発明の実施形態による、ＲＰＡのための設計時ＡＩ／ＭＬ推奨エンジンを提供するように構成されたコンピューティングシステムを示すアーキテクチャ図である。

【0013】

【図6A】本発明の実施形態による、次のアクティビティまたはアクティビティのシーケンスについての提案を提供するように訓練されたニューラルネットワークの例を示す。

【0014】

【図6B】本発明の実施形態によるニューロンの例を示す。

【0015】

【図7】本発明の実施形態による、ＡＩ／ＭＬモデル（複数可）を訓練するためのプロセスを示すフローチャートである。

【0016】

【図8】本発明の実施形態による、アプリケーション要素間の関係を示すグラフの一例である。

【0017】

【図9】本発明の実施形態による、ＲＰＡのための設計時ＡＩ／ＭＬ推奨エンジンのプロセスを示すフローチャートである。

【0018】

【図10】本発明の実施形態による、実行時にＲＰＡロボットのＲＰＡエラー回避または自己修復を実行するプロセスを示すフローチャートである。

【0019】

別段の記載がない限り、類似の参照文字は、添付の図面全体で一貫して対応する特徴を示す。

【発明を実施するための形態】

【0020】

（実施形態の詳細な説明）
いくつかの実施形態は、ＲＰＡのための設計時ＡＩ／ＭＬ推奨エンジンに関する。ＡＩ／ＭＬモデルは、設計時ＲＰＡワークフロー開発中に含める次のアクティビティまたはアクティビティのシーケンスに関する推奨事項を提供するように訓練され得る。特定の実施形態では、推奨される次のアクティビティまたはアクティビティのシーケンスの信頼度が自動挿入しきい値を超える場合（例えば、８０％、９０％、９９％など）、推奨される次のアクティビティまたはアクティビティのシーケンスがＲＰＡワークフローに自動的に挿入され得る。推奨事項は、ＲＰＡワークフローの開発におけるユーザーのコンテキスト（つまり、その時点でのＲＰＡワークフローの現在の状態）に基づき得る。例えば、ＲＰＡ開発者が電子メール送信アクティビティをワークフローに追加した場合、ＡＩ／ＭＬモデルはこのコンテキストを使用して、送信された電子メールを次のアクティビティとしてアーカイブすることを推奨し得る。

【0021】

いくつかの実施形態では、ＡＩ／ＭＬモデルは、以前に構築されたＲＰＡワークフローに基づくコンテキストを使用して、次のアクティビティまたはアクティビティのシーケンスを提案するように訓練され得る。例えば、ユーザーがソースに基づいてフォーム内のいくつかのフィールドに入力するためのアクティビティを作成した場合、フィールドに入力した後の次のステップは、特定のボタン（例えば、「送信」、「ＯＫ」など）をクリックすることになることがよくあり得る。ＡＩ／ＭＬモデルは、既存のＲＰＡワークフローで訓練されたことから、すべてのフィールドに入力してからそのようなボタンをクリックすることが望ましいタスクである可能性が高いことを学習し、残りのフィールドに自動的に入力して適切なボタンをクリックするアクティビティをユーザーに推奨し得る。

【0022】

いくつかの実施形態では、提案はアクティビティおよび／またはアクティビティのシーケンスに限定されないことに留意されたい。例えば、ＡＩ／ＭＬモデルは、既存のアクティビティのパラメータ（入力および出力などのプロパティ、ワークフローが生成する電子メールのコンテンツの改善など）を構成することを学習し得る。これは、ユーザーエラーを修正および／または不足している情報を提供したりすることで、ＲＰＡワークフローが正しく動作することを保証するのに役立ち得る。

【0023】

特定の実施形態では、ＡＩ／ＭＬモデルは、自動化で次に何をすべきかを提案することを学習し得る。例えば、ＡＩ／ＭＬモデルは、同様のＲＰＡワークフローについて、開発者がＲＰＡワークフローをテストするための自動化を生成したり、企業のリポジトリまたはディレクトリでＲＰＡワークフローを公開したりするなどの傾向があることを学習し得る。ＡＩ／ＭＬモデルの信頼性が十分に高い（例えば、自動パフォーマンスしきい値を超える）場合は、次のステップ（複数可）が自動的に実行され得る。

【0024】

いくつかの実施形態のＵＩオートメーションでは、ＡＩ／ＭＬモデルはオブジェクトリポジトリにリンクされ、そこから推奨を行うように訓練される。例えば、ＡＩ／ＭＬモデルは、ＵＩ内で、ＲＰＡワークフローがあるアプリケーション、アプリケーションのバージョン、アプリの画面などに関することを認識し、画面を「見る」ことによって、その特定のアプリケーション／バージョン／画面のアクティビティおよび／またはそのパラメータ（例えば、ＵＩ記述子、入力、出力など）を推奨し得る（例えば、コンピュータビジョン（ＣＶ）モデルを使用して、画面上のグラフィカル要素とテキストを特定する）。これにより、ＲＰＡワークフローでアクティビティを構成する際に、ＲＰＡ開発者がこの点に関する追加情報を提供する必要性が軽減または排除され得る。その代わりに、ＡＩ／ＭＬモデルは、ユーザーがアクティビティのために指定した画面は、特定のアプリケーション／バージョン／画面に対応することを認識し、そして、そのアクティビティ、ならびに追加する次のアクティビティまたはアクティビティのシーケンスに対してＡＩ／ＭＬモデルによって作成された推奨事項について適切なＵＩオブジェクトおよび／またはＵＩ記述子を検索し得る。

【0025】

いくつかの実施形態では、次のアクティビティおよび／またはそのようなアクティビティのパラメータの推奨が、非ＵＩオートメーションに対して提供され得る。以前に開発されたＲＰＡワークフローを使用して、ＡＩ／ＭＬモデルを訓練して、典型的な次のアクティビティまたはそのシーケンスを認識し得る。したがって、追加のアクティビティおよび／またはそのシーケンスの提案は、アテンディッドＲＰＡロボットまたはアンアテンディッドＲＰＡロボット、およびＵＩオートメーションまたは非ＵＩオートメーションのいずれであっても、本発明の範囲から逸脱することなく、任意のタイプのＲＰＡワークフローに対して提供され得る。

【0026】

いくつかの実施形態では、関係のグラフは、第１のＡＩ／ＭＬモデルを介して構築され得る。例えば、グラフはアプリケーションを画面に、画面をバージョンに、ＵＩ要素を画面およびＵＩ記述子に、など、グラフ内のノードとしてリンクし得る。いくつかの実施形態では、２つのノード間の接続は、有向または双方向であり得る。

【0027】

グラフが少なくとも初期形式で作成されると、２番目のＡＩ／ＭＬモデル（または潜在的には１番目のＡＩ／ＭＬモデルのより複雑なバージョン）を訓練して、このグラフを使用してオントロジーの関連性を学習し得る。例えば、ＡＩ／ＭＬモデルは、ユーザーがフォームを含む１つの画面で「Ｓｕｂｍｉｔ（送信）」ボタンをクリックすると、アプリケーションが送信されたフォームの処理に関する情報を含む別の画面を表示することを観察し得る。これにより、ＡＩ／ＭＬモデルは、送信ボタンと次の画面の間にオントロジーの関係があると判断し、ＡＩ／ＭＬモデルは、送信ボタンと次の画面の間に有向接続を含めるようにグラフを変更し得る。したがって、データ自体をオントロジーに編成し得る。グラフが構築され、ＡＩ／ＭＬモデル（複数可）が訓練されると、それらは提案を行ったり、および／または失敗を修正したりするために使用され得る。

【0028】

したがって、グラフは、いくつかの実施形態では、アクティビティの提案と自己修復の目的の両方に使用され得る。実行時の修正は、それぞれのＲＰＡワークフローを手動で変更することなく実行でされ得る。例えば、画面上のグラフィカル要素が特定されない場合、ＡＩ／ＭＬモデルは何が問題だったのか（例えば、グラフィカル要素の位置が変更されたおよび／またはそのデザインが変更された）を判断し、この変化に対応する（例えば、古いグラフィカル要素デザインのＵＩ記述子は、新しいグラフィカル要素デザインのＵＩ記述子に置き換えられる）ために自動化を自動的に修復し得る。

【0029】

一部のエラー（文書の保存、移動されたボタンの検索、アプリケーションの新しいバージョンで必要な新しいフォーム情報の自動入力など）については自動修復が必要であるが、その他のエラーについては自動修復が望ましくない場合がある。例えば、提出前にマネージャーによる承認が必要となるような新しいコンプライアンス要件が導入された場合、ＡＩ／ＭＬモデルはこれらの追加機能を単独で追加できない場合がある。ＡＩ／ＭＬモデルは、ユーザーが提案された修正を受け入れ、それを拒否した例を訓練することで、エラーを自動的に修復するかどうかを学習し得る。時間の経過とともに、ＡＩ／ＭＬモデルはどのような種類の修正が必要かを学習し、自動的に修正を行ったり、ＲＰＡロボットが失敗したりし得る。

【0030】

いくつかの実施形態では、自己修復機能および／または回避的（ｐｒｅｅｍｐｔｉｖｅ）修復機能が実行時に提供され得る。ＲＰＡワークフローが設計されたアプリケーションのインターフェースが変更され、１または複数のアクティビティが設計どおりに動作しなくなった場合を考えてみる。例えば、送信前に必須のフォームに新しいフィールドが追加され得、フィールドの名前および／または位置が変更され得、ボタンのデザインおよび／または位置が変更され得る場合などがあり得る。いくつかの実施形態では、ＡＩ／ＭＬモデルまたはＲＰＡロボット自体が、ＵＩオブジェクトリポジトリおよび／または別のソース（例えば、新しいアプリケーションバージョンの変更をリストするウェブページ）の変更を検索し、問題を修正するためにどのような修正を行うことができるかを決定する。例えば、新入社員フォームについて、配偶者のフィールドが必須になっている場合（例えば、名前またはＮ／Ａ）、ＡＩ／ＭＬモデルは、ＲＰＡワークフローで「ｔｙｐｅ ｉｎｔｏ（記入）」アクティビティが必要であると判断し、このアクティビティをワークフローに追加できるように訓練され得る。その後、元のワークフローの以前の自動化を置き換える更新されたＲＰＡオートメーションが生成され、代わりにこのバージョンが使用され得る。

【0031】

いくつかの実施形態では、ワークフローの提案および／または修復が反復的に実行され得る。例えば、ユーザーがＲＰＡデザイナアプリケーションでＲＰＡワークフローを開発およびテストしている間、ＡＩ／ＭＬモデルはワークフローを反復的にテストし得る。ワークフローが失敗した場合、ユーザーがワークフローを開発している間に、ＡＩ／ＭＬ モデルが提案を提供したり、および／または自動的に修復を適用し得る（例えば、アクティビティパラメータの変更、アクティビティをタスクに適した別のアクティビティに置き換え、特定のアクティビティを機能させるために必要な１または複数の追加アクティビティの追加など）。ＡＩ／ＭＬモデルは、ワークフロー開発中に定期的に実行されて、ＲＰＡワークフローの問題に繰り返し対処し、ユーザーがワークフローを開発できる速度を高め、ワークフローの有効性と精度を高め得る。

【0032】

いくつかの実施形態では、ＲＰＡオートメーションは、自動化の対象となるソフトウェアアプリケーションが変更されると自動的に修正され得る。例えば、企業が、ＳＡＰ Ｃｏｎｃｕｒ（登録商標）の使用からＥｘｐｅｎｓｉｆｙ（登録商標）に切り替えるケースを考えてみる。開発者に新しいアプリケーション用の新しいワークフローを作成させるのではなく、同じタスク（複数可）を実行するＥｘｐｅｎｓｉｆｙ（登録商標）のＵＩ記述子、アクティビティ、パラメータなどのＵＩオブジェクトリポジトリを自動的に検索するようにＡＩ／ＭＬモデルを訓練し得る。つまり、画面およびプロセスは多少異なり得るが、タスクのビジネスロジックは同一または類似している。

【0033】

あるアプリケーションのＵＩオブジェクトリポジトリ内のＵＩ記述子およびその他の要素は、場合によってはセマンティックまたはオントロジーマッピングを使用して、他のアプリケーションのそれらにマッピングされ得る。ＡＩ／ＭＬモデルは、あるアプリケーションと別のアプリケーションで実行される内容を意味論的に分解し、タスクを画面に分割する。ＡＩ／ＭＬモデルがこの目的のために予め訓練されていない場合、ＵＩオブジェクトリポジトリは手動または自動で構築され得る。例えば、変更の場合、ターゲットアプリケーションのウェブサイトへのリンクを提供し得、ウェブサイト上のウェブアプリケーション画面からＵＩオブジェクトリポジトリを構築し得る。このプロセスには強化学習が使用され、ＡＩ／ＭＬモデルに報酬関数が与えられる（例えば、請求書の提出、フォームへの記入、ソースから宛先への情報のコピーなど）。ＡＩ／ＭＬモデルが特定のエポック数を経過しても成功しない場合、人間は情報にラベルを付け、ＡＩ／ＭＬモデルが観察する動作を実行し、報酬関数を修正するなどして、訓練プロセスを継続および／または完了し得る。

【0034】

いくつかの実施形態は、ＲＰＡ開発者がアクセス可能なオブジェクトリポジトリのクラウド実装を使用し、ＵＩ要素をパッケージ化したり、ＮｕＧｅｔ（商標）などのパッケージマネージャを使用したりする必要性を潜在的に排除する。ＡＩ／ＭＬモデルは、より良いＵＩ要素を要求するかどうかを決定し得る。これを行うために、ＡＩ／ＭＬモデルを採用するＲＰＡロボットは、ＵＩ記述子が失敗したときに、以前のバージョンのＵＩ記述子および／または、開発された他の同様のターゲットアプリケーション内の同様の要素のＵＩ記述子を検索し得る。さらにまたはその代わりに、ＡＩ／ＭＬモデルを採用するＲＰＡロボットは、オブジェクトリポジトリに新しいバージョンのＵＩ記述子があるかどうかをチェックし得る。これにより、ＵＩ記述子が機能していない場合に、エラーをスローしたりアクティビティをスキップしたりするのではなく、ＲＰＡロボットが要素を見つけることができる自己修復機能が提供される。

【0035】

ウェブサイトの英語版ではなく日本語版がロードされているが、各ページのボタンの機能は同じである場合を考えて見る。ＡＩ／ＭＬモデルを採用するＲＰＡロボットは、ボタンを見つけようとするために異なる言語バージョンのＵＩ記述子を試し得る。また、プロセスが予期されているものとは異なるウェブブラウザで開始された場合を考えてみる。ＲＰＡロボットは、グラフィカル要素を見つけようとして、さまざまなウェブブラウザのＵＩ記述子を試し得る。

【0036】

いくつかの実施形態では、ＡＩ／ＭＬモデルを使用して、正しいＵＩ記述子を生成し得る。時間が経つと、定期的に更新されないと、オブジェクトリポジトリが古くなり得る。ＡＩ／ＭＬモデルは、アプリケーションがどのように変更されたかを解釈し、動作するＵＩ記述子でオブジェクトリポジトリを自動的に更新するように訓練され得る。これは基本的に自動バージョン管理を提供する。ＵＩ記述子を生成できるＡＩ／ＭＬモデルでオブジェクトリポジトリを補完することにより、これらを使用してＲＰＡワークフローのアクティビティのＵＩ記述子を見つけることができる。

【0037】

機能するＵＩ記述子でＵＩリポジトリを自動的に更新するために、いくつかの実施形態は、失敗が発生した理由を判断する。テレメトリデータは、どの要素（複数可）が失敗したか、およびその理由を判断するために使用され得、このテレメトリデータは、ＵＩリポジトリ内のそれぞれの要素に接続される。このデータを使用すると、ＡＩ／ＭＬモデルは、失敗したプロセスが何を達成しようとしていたかを抽出することを学習し得る。例えば、ＡＩ／ＭＬモデルは、プロセスがアプリケーションの一致しないバージョンでＵＩ記述子を使用しようとしていたと判断し、次いで動作しているＵＩ記述子に交換し得る。これを導き出すことができない場合は、他のデータポイントを使用してこの決定を行うことができる。例えば、ＲＰＡプロセスを中断する更新電子メールの受信時に変更されるＵＩ内の場所が存在する場合がある。また、ＡＩ／ＭＬモデルが問題の原因を特定すると、ＲＰＡセンターオブエクセレンス（ＣＯＥ）に、ＲＰＡプロセスを変更し、実行時に潜在的な問題を指摘するように通知され得る。あるいは、ＡＩ／ＭＬモデルがオブジェクトリポジトリ自体で修正を行い得る。

【0038】

いくつかの実施形態では、セマンティックマッチングが実行され得る。例えば、ＡＩ／ＭＬモデルは、変更されたユーザーインターフェース内の特定のテキストが以前のバージョンのテキストと一致することを学習するように訓練され得る。「Ｉｎｖｏｉｃｅ Ｎｕｍｂｅｒ」ラベルが「Ｂｉｌｌ Ｎｏ．」に変更され、関連するテキストフィールドの位置が画面上で移動した場合、ＡＩ／ＭＬモデルはこれらのラベルが一致すると認識し、テキストフィールドを見つけるためにＵＩ記述子を更新し得る（例えば、ターゲットアンカーマッチングの使用）。

【0039】

いくつかの実施形態では、複数のＡＩ／ＭＬモデルが使用され得る。例えば、次のアクティビティまたはアクティビティのシーケンスを提案するためのＡＩ／ＭＬモデル、ＣＶモデル、セマンティックマッチングモデル、生成ＡＩモデルなどがあり得る。次のアクティビティまたはアクティビティのシーケンスを提案するためのＡＩ／ＭＬモデルは、以前のＲＰＡオートメーションで訓練され、それらがどのように構築されたか、これらの自動化にどのような類似点（パターン）が存在するか、ＲＰＡワークフロー内のアクティビティ間の依存関係（例えば、１つのアクティビティからの入力は、別のアクティビティの出力から得られる）、出力タイプなどを学習し得る。例えば、自動化に特定の数および／または種類のアクティビティがある場合、オートメーションが特定の最終タスク（例えば、電子メールを書いて送信する、フォームに記入して送信するなど）を達成する場合など、ＡＩ／ＭＬモデルはこれらのパターンを認識することを学習し得る。

【0040】

オブジェクトリポジトリにはＵＩオブジェクトのライブラリが含まれる。画面上のＵＩ要素（例えば、テキストフィールド、ボタン、ラベル、メニュー、チェックボックスなど）は、アプリケーション、アプリケーションバージョン、アプリケーション画面、およびＵＩ要素の収集によってグループ化され得、各画面は複数のＵＩ要素を有する。本明細書で使用されるように、「画面」とは、ある時点でのアプリケーションＵＩまたはアプリケーションＵＩの一部の画像である。「アプリケーション」または所定のアプリケーションのバージョンは、このコンテキストでは画面の組み合わせであってもよい。各ＵＩ要素は、いくつかの実施形態では、１または複数のＵＩ記述子によって記述され得る。ＵＩ要素、ＵＩ記述子、アプリケーション、およびアプリケーション画面は、ＵＩオブジェクトである。いくつかの実施形態では、ＵＩ要素および画面は、特定のタイプのＵＩ要素（例えば、ボタン、チェックボックス、テキストフィールドなど）および画面（例えば、トップウィンドウ、モーダルウィンドウ、ポップアップウィンドウなど）にさらに区別されてもよい。

【0041】

セレクタは、いくつかの実施形態においてＵＩ要素を検出するために使用され得るＵＩ記述子のタイプである。セレクタは、いくつかの実施形態では、以下の構造を有する。
＜ｎｏｄｅ＿１／＞＜ｎｏｄｅ＿２／＞．．．＜ｎｏｄｅ＿Ｎ／＞

【0042】

最後のノードは対象のＧＵＩ要素を表し、それ以前の全てのノードはその要素の親を表す。＜ｎｏｄｅ＿１＞は通常ルートノードと呼ばれ、アプリケーションのトップウィンドウを表す。

【0043】

各ノードは、選択されたアプリケーションの特定のレベルの正しい特定を支援する１または複数の属性を有してもよい。各ノードは、いくつかの実施形態では、以下の形式を有する。
＜ｕｉ＿ｓｙｓｔｅｍ ａｔｔｒ＿ｎａｍｅ＿１＝’ａｔｔｒ＿ｖａｌｕｅ＿１’．．．ａｔｔｒ＿ｎａｍｅ＿Ｎ＝’ａｔｔｒ＿ｖａｌｕｅ＿Ｎ’／＞

【0044】

全ての属性は、割り当てられた値を有し得、一定の値を有する属性が選択され得る。これは、アプリケーションが起動するたびに属性の値を変更すると、セレクタが関連する要素を正しく特定できなくなる可能性があるからである。

【0045】

ＵＩオブジェクトライブラリ記述子は、ＲＰＡワークフローアクティビティに直接追加され得、さもなくばアクティビティ用のカスタムセレクタを作製するために必要とされ得る開発者の時間を節約する。オブジェクトライブラリは、アプリケーションの特定のバージョンから１または複数の画面に対応するＵＩ記述子の収集として本明細書で定義される。オブジェクトライブラリの構造例を以下に示す。
・ＳＡＰ
・バージョン１
・画面１
・オブジェクト１
・オブジェクト２
・…
・画面２…
・…
・バージョン２…
・…
・セールスフォース…
・…

【0046】

上記の階層は、例としてのみ提供されていることに留意されたい。本発明の範囲から逸脱することなく、階層内の任意の所望の数のレベルおよび各レベルに関連する要素が使用され得る。特定の実施形態では、ユーザーは、アプリケーションマップを彼または彼女が所望するように定義し得る。さらに、ツリー内のいくつかのノードは、いくつかの実施形態では、管理的な役割のみを果たし、機能的な役割は果たさないかもしれない。例えば、ＵＩ要素は、ＵＩ記述子を持たないコンテナに一緒にグループ化され得る。コンテナは、いくつかの実施形態では、グループ化の目的だけのために存在し得る。

【0047】

ＵＩ記述子とは、ＵＩ要素を見つけるための命令のセットである。いくつかの実施形態におけるＵＩ記述子は、ＵＩ要素セレクタ（複数可）、アンカーセレクタ（複数可）、ＣＶ記述子（複数可）、統合されたターゲット記述子（複数可）、画面イメージキャプチャ（コンテキスト）、要素イメージキャプチャ、他のメタデータ（例えば、アプリケーションおよびアプリケーションバージョン）、それらの組み合わせなどを含むカプセル化されたデータ／構造フォーマットである。カプセル化されたデータ／構造フォーマットは、プラットフォームへの将来のアップデートによって拡張可能であってもよく、上記の定義に限定されるものではない。画面上のＵＩ要素を特定するためのＵＩ記述子としては、本発明の範囲を逸脱することなく、任意の好適なものを使用することができる。統合されたターゲット記述子は、複数のタイプのＵＩ記述子を連結する。統合されたターゲット記述子は、有限状態機械（ＦＳＭ）のように機能し得、第１のコンテキストでは、第１のＵＩ記述子メカニズムが適用され、第２のコンテキストでは、第２のＵＩ記述子が適用される、などである。

【0048】

ＲＰＡワークフロー内のアクティビティからＵＩ記述子が抽出され、ＵＩアプリケーション、画面、およびＵＩ要素ごとにＵＩ記述子をグループ化する構造化スキーマに追加され得る。ＵＩ記述子は、いくつかの実施形態では、広く再利用するための１つのプロジェクトの一部、テスト目的のためのグローバルリポジトリの一部、またはグローバルなプロジェクト間共有のためのＵＩオブジェクトライブラリの一部とし得る。いくつかの実施形態におけるオブジェクトライブラリは、アプリケーション、アプリケーションバージョン、および画面によってグループ化されたＵＩ記述子のカプセル化である。ＵＩ記述子が定義され、オブジェクトライブラリに追加され得、これは、いくつかの実施形態では、公開後に依存物として他のプロジェクトにインストールされ得る。これにより、ＵＩ記述子のオブジェクトライブラリは、再利用が可能になる。いくつかの実施形態におけるＵＩアプリケーションは、各バージョンが複数の画面を有する複数のバージョンを有するターゲットアプリケーションである。

【0049】

ＵＩオブジェクトリポジトリとＵＩ記述子の再利用は、さまざまな理由で有益であり得る。例えば、アプリケーション内のＵＩ要素の位置、外観、および／または機能が変更された場合、ＵＩ記述子が変更され得、その変更は、次いでＵＩ記述子を使用するアクティビティに伝播され得る。このように、再利用性は、ＵＩにおけるグラフィカル要素の特定のレベルで提供され得る。

【0050】

ＵＩ記述子は、いくつかの実施形態では、画像の検出および定義が実行される全てのＵＩ検出メカニズムを包含する統合されたターゲットと協働してもよい。統合されたターゲットは、ＵＩ要素を特定して自動化する複数の技術を、単一のまとまりのあるアプローチに併合してもよい。統合されたターゲットは、セレクタベースおよびドライバベースのＵＩ検出メカニズムを優先し、ＣＶにフォールバックして、最初の２つのメカニズムが成功しない場合に画像を見つけ得る。いくつかの実施形態では、統合されたターゲットを支持するようにセレクタエディタおよびＵＩエクスプローラが構成され得る。

【0051】

図１は、本発明の実施形態による、ハイパーオートメーションシステム１００を示すアーキテクチャ図である。本明細書で使用される「ハイパーオートメーション」は、プロセスオートメーションのコンポーネント、統合ツール、および作業を自動化する能力を増幅する技術をまとめたオートメーションシステムを指す。例えば、いくつかの実施形態では、ＲＰＡがハイパーオートメーションシステムのコアで使用され、特定の実施形態では、ＡＩ／ＭＬ、プロセスマイニング、分析、および／または他の高度なツールによって自動化能力が拡張され得る。ハイパーオートメーションシステムがプロセスを学習し、ＡＩ／ＭＬモデルを訓練し、そして分析を採用すると、例えば、より多くの知識作業が自動化され得、組織内のコンピューティングシステム、例えば、個人によって使用されるものと自律的に動作するものの両方は、すべてハイパーオートメーションプロセスの参加者として従事され得る。いくつかの実施形態のハイパーオートメーションシステムは、ユーザーおよび組織が効率的かつ効果的にオートメーションを発見し、理解し、そして拡張することを可能にする。

【0052】

ハイパーオートメーションシステム１００は、デスクトップコンピュータ１０２、タブレット１０４、およびスマートフォン１０６などのユーザーコンピューティングシステムを含む。しかしながら、スマートウォッチ、ラップトップコンピュータ、サーバー、インターネットオブシングス（ＩｏＴ）デバイスなどを含むが、これらに限定されない、任意の所望のユーザーコンピューティングシステムが本発明の範囲から逸脱せずに使用され得る。また、図１には３つのユーザーコンピューティングシステムが示されているが、本発明の範囲から逸脱することなく、任意の適切な数のユーザーコンピューティングシステムが使用され得る。例えば、いくつかの実施形態では、数十、数百、数千、または数百万のユーザーコンピューティングシステムが使用され得る。ユーザーコンピューティングシステムは、ユーザーによって積極的に使用されてもよいし、または多くのもしくは任意のユーザー入力なしに自動的に実行され得る。

【0053】

各ユーザーコンピューティングシステム１０２、１０４、１０６は、そこで実行しているそれぞれのオートメーションプロセス（複数可）１１０、１１２、１１４を有する。いくつかの実施形態では、オートメーションプロセスは遠隔的に（例えば、サーバー１３０上またはデータベース１４０上に）格納され（ネットワーク１２０を介してアクセスされ）、自動化を実装するためにＲＰＡロボットによってロードされる。自動化は、スクリプト（例えば、ＸＭＬ、ＸＡＭＬなど）として存在し得る、または（例えば、デジタルリンクライブラリとして）機械可読コードにコンパイルされ得る。

【0054】

オートメーションプロセス（複数可）１１０、１１２、１１４は、限定されないが、本発明の範囲から逸脱することなく、ＲＰＡロボット、オペレーティングシステムの一部、それぞれのコンピューティングシステム用のダウンロード可能なアプリケーション（複数可）、他の任意の適切なソフトウェアおよび／またはハードウェア、またはそれらのいずれかの組み合わせを含み得る。いくつかの実施形態では、１または複数のプロセス（複数可）１１０、１１２、１１４は、リスナーであり得る。リスナーは、本発明の範囲から逸脱することなく、ＲＰＡロボット、オペレーティングシステムの一部、それぞれのコンピューティングシステム用のダウンロード可能なアプリケーション、または他の任意のソフトウェアおよび／もしくはハードウェアであり得る。実際、いくつかの実施形態では、リスナー（複数可）のロジックは、物理的なハードウェアを介して部分的または完全に実装される。

【0055】

リスナーは、それぞれのコンピューティングシステムとのユーザーインタラクションおよび／またはアンアテンディッドコンピューティングシステムの動作に関連するデータを監視および記録し、ネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、モバイル通信ネットワーク、衛星通信ネットワーク、インターネット、それらのいずれかの組み合わせ等）を介してコアハイパーオートメーションシステム１２０にデータを送信する。データは、限定されないが、どのボタンがクリックされたか、マウスがどこに移動したか、フィールドに入力されたテキスト、１つのウィンドウが最小化されそして別のウィンドウが開かれたこと、ウィンドウに関連するアプリケーションなどを含み得る。特定の実施形態では、リスナーからのデータは、ハートビートメッセージの一部として定期的に送信され得る。いくつかの実施形態では、データは、所定量のデータが収集されると、所定期間が経過した後、またはその両方で、コアハイパーオートメーションシステム１２０に送信され得る。サーバー１３０などの１または複数のサーバーは、リスナーからデータを受信し、データベース１４０などのデータベースに格納する。

【0056】

オートメーションプロセスは、設計時間中にワークフローで開発されたロジックを遂行し得る。ＲＰＡの場合、ワークフローは、本明細書において「アクティビティ」として定義される、シーケンスまたは他の何らかのロジックフローで遂行されるステップのセットを含み得る。各アクティビティは、ボタンをクリックする、ファイルを読む、ログパネルに書き込むなどのアクションを含み得る。いくつかの実施形態では、ワークフローは入れ子になっているか、または埋め込まれ得る。

【0057】

いくつかの実施形態におけるＲＰＡのための長時間実行ワークフローは、サービスオーケストレーション、人間の介入、およびアンアテンディッド環境における長時間実行トランザクションをサポートするマスタープロジェクトである。例えば、米国特許第１０，８６０，９０５号を参照し、その全体が参照により本明細書に組み込まれる。人間の介入は、特定のプロセスが、アクティビティの次のステップに進む前に、例外処理、承認、または検証のために人間の入力を必要とする場合に登場する。この場合、プロセスの遂行は一時停止され、人間のタスクが完了するまでＲＰＡロボットを開放する。

【0058】

長時間実行ワークフローは、永続化アクティビティを介してワークフローの断片化をサポートしてもよく、呼び出しプロセスおよび非ユーザーインタラクションアクティビティと組み合わされ、人間のタスクをＲＰＡロボットタスクでオーケストレーションし得る。いくつかの実施形態では、複数または多数のコンピューティングシステムが、長時間実行ワークフローのロジックの遂行に参加し得る。長時間実行ワークフローは、迅速な遂行を促進するためにセッションで実行し得る。いくつかの実施形態では、長時間実行ワークフローは、アプリケーションプログラミングインターフェース（ＡＰＩ）呼び出しを実行し、かつ長時間実行ワークフローセッションで実行するアクティビティを含み得るバックグラウンドプロセスをオーケストレーションしてもよい。これらのアクティビティは、いくつかの実施形態では、呼び出しプロセスアクティビティによって呼び出され得る。ユーザーセッションで実行するユーザーインタラクションアクティビティを有するプロセスは、コンダクタアクティビティからジョブを開始することによって呼び出され得る（コンダクタは、本明細書で後により詳細に説明する）。ユーザーは、いくつかの実施形態では、コンダクタでフォームを完成させる必要があるタスクを通じてインタラクションし得る。ＲＰＡロボットにフォームタスクが完了するのを待たせ、その後、長時間実行ワークフローを再開させるアクティビティが含まれ得る。

【0059】

１または複数のオートメーションプロセス（複数可）１１０、１１２、１１４は、コアハイパーオートメーションシステム１２０と通信している。いくつかの実施形態では、コアハイパーオートメーションシステム１２０は、サーバー１３０などの１または複数のサーバー上でコンダクタアプリケーションを実行し得る。例示のために１つのサーバー１３０が示されているが、本発明の範囲から逸脱することなく、互いに近接する、または分散アーキテクチャの複数または多数のサーバーが採用され得る。例えば、１または複数のサーバーが、本発明の範囲から逸脱することなく、コンダクタ機能、ＡＩ／ＭＬモデル提供、認証、ガバナンス、および または他の任意の適切な機能のために提供され得る。いくつかの実施形態では、コアハイパーオートメーションシステム１２０は、パブリッククラウドアーキテクチャ、プライベートクラウドアーキテクチャ、ハイブリッドクラウドアーキテクチャなどを組み込んでよく、またはその一部であってよい。特定の実施形態では、コアハイパーオートメーションシステム１２０は、サーバー１３０などの１または複数のコンピューティングシステム上で複数のソフトウェアベースのサーバーをホストし得る。いくつかの実施形態では、サーバー１３０などのコアハイパーオートメーションシステム１２０の１または複数のサーバーは、１または複数の仮想マシン（ＶＭ）を介して実装され得る。

【0060】

いくつかの実施形態では、１または複数のオートメーションプロセス（複数可）１１０、１１２、１１４は、コアハイパーオートメーションシステム１２０上に展開されたまたはコアハイパーオートメーションシステム１２０によってアクセス可能であり、さまざまなタスクを達成するように訓練される１または複数のＡＩ／ＭＬモデル１３２を呼び出してもよい。例えば、ＡＩ／ＭＬモデル１３２は、さまざまなアプリケーションバージョンを探し、ＣＶを実行し、ＵＩ記述子を生成し、ＲＰＡワークフローにおける次のアクティビティまたはアクティビティのシーケンスについての提案を提供するように訓練されたモデルを含んでもよい。ＡＩ／ＭＬモデルは、以前に作成されたＲＰＡワークフロー、対応するＵＩ要素を含むさまざまなバージョンのさまざまなアプリケーション画面のスクリーンショット、ＵＩオブジェクトのライブラリなどを含むラベル付けされたデータを使用して訓練され得る。ＡＩ／ＭＬモデル１３２は、訓練データの所与のセットに過剰適合せずに、所望の信頼しきい値を達成するように訓練され得る。

【0061】

ＡＩ／ＭＬモデル１３２は、本明細書で後により詳細に議論されるように、本発明の範囲から逸脱することなく、任意の適切な目的のために訓練され得る。２以上のＡＩ／ＭＬモデル１３２は、それらが集合的に協働出力（複数可）を提供するように、いくつかの実施形態では連鎖されてもよい（例えば、直列、並列、またはそれらの組合せ）。ＡＩ／ＭＬモデル１３２は、ＣＶ、ＯＣＲ、文書処理および／または理解、意味学習および／または分析、分析予測、プロセス発見、タスクマイニング、テスト、自動ＲＰＡワークフロー生成、シーケンス抽出、クラスタリング検出、音声－テキスト翻訳、それらのいずれかの組み合わせなどを実行または支援してもよい。しかしながら、本発明の範囲から逸脱することなく、ＡＩ／ＭＬモデルの任意の所望の数および／またはタイプ（複数可）が使用され得る。複数のＡＩ／ＭＬモデルを使用することで、例えば、与えられたコンピューティングシステム上で何が起こっているかについての全体像をシステムが開発し得る。例えば、あるＡＩ／ＭＬモデルはＯＣＲを実行することができ、別のものはボタンを検出することができ、別のものはシーケンスを比較することができる、などである。パターンは、ＡＩ／ＭＬモデルによって個別に決定されてもよいし、または複数のＡＩ／ＭＬモデルによって集合的に決定されてもよい。特定の実施形態では、１または複数のＡＩ／ＭＬモデルは、少なくとも１つのコンピューティングシステム１０２、１０４、１０６上にローカルに展開される。

【0062】

いくつかの実施形態では、複数のＡＩ／ＭＬモデル１３２が使用され得る。各ＡＩ／ＭＬモデル１３２は、データ上で実行するアルゴリズム（またはモデル）であり、ＡＩ／ＭＬモデル自体は、例えば、訓練データ上で訓練された、人工「ニューロン」の深層学習ニューラルネットワーク（ＤＬＮＮ）であり得る。いくつかの実施形態では、ＡＩ／ＭＬモデル１３２は、統計的モデリング（例えば、隠れマルコフモデル（ＨＭＭ））などの様々な機能を実行する複数の層を有してよく、深層学習技術（例えば、長短期記憶（ＬＳＴＭ）深層学習、以前の隠れ状態のエンコーディングなど）を利用して所望の機能を実行し得る。

【0063】

ハイパーオートメーションシステム１００は、いくつかの実施形態では、４つの主要な機能群を提供し得る：（１）発見、（２）自動化の構築、（３）管理、および（４）エンゲージメント。オートメーション（例えば、ユーザーコンピューティングシステム、サーバーなどで実行する）は、いくつかの実施形態では、ＲＰＡロボットなどのソフトウェアロボットによって実行され得る。例えば、アテンディッドロボット、アンアテンディッドロボット、および／またはテストロボットが使用され得る。アテンディッドロボットは、タスク（例えば、ＵｉＰａｔｈ Ａｓｓｉｓｔａｎｔ（商標）を介して）でユーザーを支援するためにユーザーと協働する。アンアテンディッドロボットはユーザーから独立して動作し、潜在的に、ユーザーが知らない間にバックグラウンドで実行し得る。テストロボットは、アプリケーションまたはＲＰＡワークフローに対してテストケースを実行するアンアテンディッドロボットである。テストロボットは、いくつかの実施形態では、複数のコンピューティングシステム上で並行して実行され得る。

【0064】

発見機能は、ビジネスプロセスの自動化の様々な機会を発見し、その自動的な推奨を提供し得る。そのような機能は、サーバー１３０などの１または複数のサーバーによって実装され得る。発見機能は、いくつかの実施形態では、オートメーションハブ、プロセスマイニング、タスクマイニング、および／またはタスクキャプチャを提供することを含み得る。オートメーションハブ（例えば、ＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｈｕｂ（商標））は、可視性および制御性を有するオートメーションロールアウトを管理するためのメカニズムを提供し得る。オートメーションアイデアは、例えば、提出フォームを介して従業員からクラウドソーシングされ得る。これらのアイデアを自動化するための実現可能性と投資収益率（ＲＯＩ）の計算が提供され、将来の自動化のための文書が収集され、そして自動化の発見から構築までを迅速に行うためのコラボレーションが提供され得る。

【0065】

（例えば、ＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｃｌｏｕｄ（商標）および／またはＵｉＰａｔｈ ＡＩ Ｃｅｎｔｅｒ（商標）を介した）プロセスマイニングとは、アプリケーション（企業資源計画（ＥＲＰ）アプリケーション、顧客関係管理（ＣＲＭ）アプリケーション、メールアプリケーション、コールセンターアプリケーションなど）からデータを収集して分析し、組織にどんなエンドツーエンドのプロセスが存在するか、それらを効果的に自動化するにはどうすればよいかを特定し、また自動化がもたらす影響についてを示すプロセスを指す。このデータは、例えば、リスナーによってユーザーコンピューティングシステム１０２、１０４、１０６から取得され、サーバー１３０などのサーバーによって処理され得る。いくつかの実施形態では、１または複数のＡＩ／ＭＬモデル１３２がこの目的のために採用され得る。この情報は、実装を迅速化し、手動での情報転送を回避するために、オートメーションハブにエクスポートされ得る。プロセスマイニングの目標は、組織内のプロセスを自動化することによって、ビジネス価値を高めることであり得る。プロセスマイニングの目標のいくつかの例は、限定されないが、利益の増加、顧客満足度の向上、規制および／または契約遵守、従業員の効率の向上などを含む。

【0066】

（例えば、ＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｃｌｏｕｄ（商標）および／またはＵｉＰａｔｈ ＡＩ Ｃｅｎｔｅｒ（商標）を介した）タスクマイニングは、ワークフロー（例えば、従業員のワークフロー）を特定および集約し、次にＡＩを適用して日常的なタスクのパターンおよびバリエーションを明らかにし、自動化の容易性および節約の可能性について（例えば、時間および／またはコストの節約）そのようなタスクをスコアリングする。１または複数のＡＩ／ＭＬモデル１３２は、データ内の反復タスクパターンを明らかにするために採用され得る。自動化の機が熟した反復タスクは、その後、特定され得る。この情報は、最初、リスナーによって提供され得、いくつかの実施形態では、サーバー１３０などのコアハイパーオートメーションシステム１２０のサーバー上で分析され得る。タスクマイニングからの発見（例えば、Ｅｘｔｅｎｓｉｂｌｅ Ａｐｐｌｉｃａｔｉｏｎ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ （ＸＡＭＬ）プロセスデータ）は、プロセス文書またはＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）などのデザイナアプリケーションにエクスポートされて、自動化をより迅速に作成および展開し得る。

【0067】

いくつかの実施形態におけるタスクマイニングは、ユーザーアクション（例えば、マウスクリック位置、キーボード入力、ユーザーがインタラクションしていたアプリケーションウィンドウおよびグラフィカル要素、インタラクションのためのタイムスタンプなど）を伴うスクリーンショットの撮影、統計データ（例えば、遂行時間、アクション数、テキスト入力など）の収集、スクリーンショットの編集および注釈、記録されるアクションのタイプの指定、などを含み得る。

【0068】

（ＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｃｌｏｕｄ（商標）および／またはＵｉＰａｔｈ ＡＩ Ｃｅｎｔｅｒ（商標）を介した）タスクキャプチャは、ユーザーが作業しているときにアテンディッドプロセスを自動的に文書化する、またはアンアテンディッドプロセスのためのフレームワークを提供する。このような文書化は、プロセス定義文書（ＰＤＤ）、スケルトンワークフロー、プロセスの各部分のアクションのキャプチャ、ユーザーのアクションの記録および各ステップに関する詳細を含む包括的なワークフロー図の自動生成、Ｍｉｃｒｏｓｏｆｔ Ｗｏｒｄ（登録商標）文書、ＸＡＭＬファイルなどのような形式で自動化することが望ましいタスクを含み得る。構築可能なワークフローは、いくつかの実施形態では、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）などのデザイナアプリケーションに直接エクスポートされ得る。タスクキャプチャは、プロセスを説明するサブジェクトマターエキスパートと、プロダクショングレードオートメーションを提供するＣｏＥメンバーとの両方にとって、要件収集プロセスを簡素化し得る。

【0069】

オートメーションの構築は、デザイナアプリケーション（ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）、ＵｉＰａｔｈ ＳｔｕｄｉｏＸ（商標）、ＵｉＰａｔｈ Ｗｅｂ（商標）など）を介して達成され得る。例えば、ＲＰＡ開発施設１５０のＲＰＡ開発者は、コンピューティングシステム１５２のＲＰＡデザイナアプリケーション１５４を使用して、ウェブ、モバイル、ＳＡＰ（登録商標）、および仮想デスクトップなどのさまざまなアプリケーションおよび環境用のオートメーションを構築およびテストし得る。ＡＰＩ統合は、さまざまなアプリケーション、技術、およびプラットフォームに対して提供され得る。予め定義されたアクティビティ、ドラッグアンドドロップモデリング、およびワークフローレコーダーは、最小限のコーディングで自動化を容易にし得る。文書理解機能は、１または複数ＡＩ／ＭＬモデル１３２を呼び出すデータ抽出および解釈のためのドラッグアンドドロップＡＩスキルを介して提供され得る。このような自動化は、表、チェックボックス、署名、および手書きを含む、事実上任意の文書タイプおよびフォーマットを処理し得る。データが検証されるか、または例外が処理されるとき、この情報は、それぞれのＡＩ／ＭＬモデルを再訓練するために使用されてよく、時間とともにそれらの精度が改善される。

【0070】

ＲＰＡデザイナアプリケーション１５２は、ＲＰＡ自動化開発プロセスを支援するために、ネットワーク１２０（例えば、ローカルエリアネットワーク（ＬＡＮ）、移動通信ネットワーク、衛星通信ネットワーク、インターネット、それらのいずれかの組み合わせなど）を介して、サーバー１３０上の訓練されたＡＩ／ＭＬモデル１３２および／またはクラウド環境内の生成ＡＩモデル１７２のうちの１または複数を呼び出すように設計され得る。いくつかの実施形態では、ＡＩ／ＭＬモデルのうちの１または複数は、ＲＰＡデザイナアプリケーション１５２とともにパッケージ化され得、あるいはそうでなければコンピューティングシステム１５０上にローカルに格納され得る。

【0071】

いくつかの実施形態では、ＲＰＡデザイナアプリケーション１５２および１または複数のＡＩ／ＭＬモデル１３２は、データベース１４０に格納されたオブジェクトリポジトリを使用するように構成され得る。オブジェクトリポジトリは、ＲＰＡデザイナアプリケーション１５２を介してＲＰＡワークフローを開発するために使用され得るＵＩオブジェクトのライブラリを含むことができる。オブジェクトリポジトリは、ＵＩオートメーションのためのＲＰＡデザイナアプリケーション１５２のワークフロー内のアクティビティにＵＩ記述子を追加するために使用され得る。いくつかの実施形態では、ＡＩ／ＭＬモデル１３２のうちの１または複数は、新しいＵＩ記述子を生成し、それらをデータベース１４０内のオブジェクトリポジトリに追加することができる。デザイナアプリケーション１５２で自動化が完了すると、自動化はサーバー１３０上で公開され、コンピューティングシステム１０２、１０４、１０６などにプッシュアウトされ得る。

【0072】

統合サービスにより、開発者は、例えば、ユーザーインターフェース（ＵＩ）の自動化とＡＰＩの自動化をシームレスに組み合わせ得る。ＡＰＩを必要とする、またはＡＰＩと非ＡＰＩアプリケーションおよびシステムの両方を横断する自動化が構築され得る。開発者が多種多様なプロセスをより迅速に自動化できるように、あらかじめ構築されたＲＰＡおよびＡＩテンプレートとソリューションのためのリポジトリ（例えば、ＵｉＰａｔｈ Ｏｂｊｅｃｔ Ｒｅｐｏｓｉｔｏｒｙ（商標））またはマーケットプレイス（例えば、ＵｉＰａｔｈ Ｍａｒｋｅｔｐｌａｃｅ（商標））が提供され得る。したがって、自動化を構築する場合、ハイパーオートメーションシステム１００は、ユーザーインターフェース、開発環境、ＡＰＩ統合、あらかじめ構築されたおよび／またはカスタムビルドのＡＩ／ＭＬモデル、開発テンプレート、統合開発環境（ＩＤＥ）、および高度なＡＩ能力を提供し得る。ハイパーオートメーションシステム１００は、いくつかの実施形態では、ＲＰＡロボットの開発、展開、管理、構成、監視、デバッグ、および保守を可能にし、それはハイパーオートメーションシステム１００のための自動化を提供し得る。

【0073】

いくつかの実施形態では、デザイナアプリケーション（複数可）および／または外部ルールエンジンなどのハイパーオートメーションシステム１００のコンポーネントは、ハイパーオートメーションシステム１００によって提供されるさまざまな機能を制御するためのガバナンスポリシーを管理および施行するためのサポートを提供する。ガバナンスとは、組織がポリシーを導入して、ＥＵ一般データ保護規則（Ｇｅｎｅｒａｌ Ｄａｔａ Ｐｒｏｔｅｃｔｉｏｎ Ｒｅｇｕｌａｔｉｏｎ：ＧＤＰＲ）、米国医療保険の携行性と責任に関する法律（ｔｈｅ Ｕ．Ｓ． Ｈｅａｌｔｈ Ｉｎｓｕｒａｎｃｅ Ｐｏｒｔａｂｉｌｉｔｙ ａｎｄ Ａｃｃｏｕｎｔａｂｉｌｉｔｙ Ａｃｔ：ＨＩＰＡＡ）、サードパーティアプリケーションの利用規約などに違反するような、ユーザーが組織に害を及ぼし得る行動を実行できる自動化（ＲＰＡロボットなど）を開発できないようにする能力である。そうでなければ、開発者は、彼らの自動化の実行中にプライバシー法、利用規約などに違反する自動化を作成し得るため、いくつかの実施形態は、ロボットおよび／またはロボット設計アプリケーションレベルでアクセス制御およびガバナンス制限を実装する。これは、開発者が、セキュリティリスクをもたらすか、またはポリシー、規制、プライバシー法、および／もしくはプライバシーポリシーに違反する方法で動作し得る未承認ソフトウェアライブラリへの依存を取ることを防止することによって、いくつかの実施形態ではオートメーションプロセス開発パイプラインにセキュリティおよびコンプライアンスの追加レベルを提供し得る。例えば、米国特許出願公開第２０２２／００１１７３２号を参照し、それは、参照によりその全体が本明細書に組み込まれる。

【0074】

管理機能は、組織全体にわたるオートメーションの管理、展開、および最適化を提供し得る。管理機能は、いくつかの実施形態では、オーケストレーション、テスト管理、ＡＩ機能、および／または洞察力を含み得る。ハイパーオートメーションシステム１００の管理機能はまた、自動化アプリケーションおよび／またはＲＰＡロボットのためのサードパーティソリューションおよびアプリケーションとの統合ポイントとして作動し得る。ハイパーオートメーションシステム１００の管理機能は、とりわけ、限定されないが、ＲＰＡロボットのプロビジョニング、展開、構成、キューイング、監視、ロギング、および相互接続を容易にすることを含み得る。

【0075】

ＵｉＰａｔｈ Ｏｒｃｈｅｓｔｒａｔｏｒ（商標）（いくつかの実施形態ではＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｃｌｏｕｄ（商標）の一部として提供されてもよく、またはオンプレミス、ＶＭ、プライベートもしくはパブリッククラウドで、Ｌｉｎｕｘ（商標） ＶＭで、またはＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｓｕｉｔｅ（商標）を介してクラウドネイティブシングルコンテナスイートとして提供されてもよい）などのコンダクタアプリケーションは、ＲＰＡロボットデプロイメントのセキュリティを展開、監視、最適化、拡大縮小、および確保するオーケストレーション能力を提供する。テストスイート（例えば、ＵｉＰａｔｈ Ｔｅｓｔ Ｓｕｉｔｅ（商標））は、展開された自動化の品質を監視するためのテスト管理を提供し得る。テストスイートは、テストの計画および遂行、要件の充足、および欠陥のトレーサビリティを促進し得る。テストスイートは、包括的なテストレポートを含み得る。

【0076】

分析ソフトウェア（例えば、ＵｉＰａｔｈ Ｉｎｓｉｇｈｔｓ（商標））は、展開された自動化の性能を追跡、測定、および管理し得る。分析ソフトウェアは、自動化動作を組織の特定の重要業績評価指標（ＫＰＩ）および戦略的成果と整合させ得る。分析ソフトウェアは、人間のユーザーがより理解しやすいように、ダッシュボード形式で結果を提示し得る。

【0077】

データサービス（例えば、ＵｉＰａｔｈ Ｄａｔａ Ｓｅｒｖｉｃｅ（商標））は、例えば、データベース１４０に格納され、ドラッグアンドドロップのストレージインターフェースを用いて、データを単一の、拡張可能な、安全な場所に持ち込むことができる。いくつかの実施形態は、データのシームレスなアクセス、エンタープライズグレードのセキュリティ、およびスケーラビリティを確保しながら、ローコードまたはノーコードのデータモデリングおよびストレージを自動化に提供してもよい。ＡＩ機能は、ＡＩセンター（例えば、ＵｉＰａｔｈ ＡＩ Ｃｅｎｔｅｒ（商標））によって提供されてもよく、これはＡＩ／ＭＬモデルの自動化への組み込みを容易にする。あらかじめ構築されたＡＩ／ＭＬモデル、モデルテンプレート、およびさまざまな展開オプションにより、データ科学者でない人でもこのような機能にアクセスできるようにし得る。展開された自動化（例えば、ＲＰＡロボット）は、ＡＩ／ＭＬモデル１３２などのＡＩセンターからＡＩ／ＭＬモデルを呼び出し得る。ＡＩ／ＭＬモデルの性能は、監視され、データレビューセンター１６０によって提供されるような、人間が検証したデータを使用して訓練され、改善され得る。人間のレビューアは、コンピューティングシステム１５４上のレビューアプリケーション１５２を介して、ラベル付けされたデータをコアハイパーオートメーションシステム１２０に提供してもよい。例えば、人間のレビューアは、ＡＩ／ＭＬモデル１３２による予測が正確であることを検証してもよいし、そうでなければ修正を提供してもよい。この動的入力は、その後、ＡＩ／ＭＬモデル１３２を再訓練するためのトレーニングデータとして保存されてもよく、例えば、データベース１４０のようなデータベースに格納されてもよい。ＡＩセンターは、次に、訓練データを使用してＡＩ／ＭＬモデルの新バージョンを訓練するための訓練ジョブをスケジュールし、遂行し得る。肯定的な例と否定的な例の両方が、ＡＩ／ＭＬモデル１３２の再訓練のために格納され、使用され得る。

【0078】

エンゲージメント機能は、所望のプロセスに関するシームレスなコラボレーションのために、人間および自動化を１つのチームとして関与させる。ローコードアプリケーションは、ブラウザタブとレガシーソフトウェアを接続するために、いくつかの実施形態ではＡＰＩを欠いているものであっても、（例えば、ＵｉＰａｔｈ Ａｐｐｓ（商標）を介して）構築され得る。アプリケーションは、例えば、ドラッグアンドドロップ制御の豊富なライブラリを通じて、ウェブブラウザを使用して迅速に作成され得る。アプリケーションは、１つのオートメーションまたは複数のオートメーションに接続され得る。

【0079】

アクションセンター（例えば、ＵｉＰａｔｈ Ａｃｔｉｏｎ Ｃｅｎｔｅｒ（商標））は、オートメーションから人間へ、またはその逆へ、プロセスを引き渡すための簡単で効率的なメカニズムを提供する。人間は、承認またはエスカレーションを提供し、例外処理などを行い得る。その後、オートメーションは、所定のワークフローの自動機能を実行し得る。

【0080】

ローカルアシスタントは、ユーザーがオートメーション（例えば、ＵｉＰａｔｈ Ａｓｓｉｓｔａｎｔ（商標））を起動するための起動パッドとして提供され得る。この機能は、例えばオペレーティングシステムによって提供されるトレイで提供されてもよく、ユーザーが彼らのコンピューティングシステム上でＲＰＡロボットおよびＲＰＡロボット搭載アプリケーションとインタラクションすることを可能にし得る。インターフェースは、所定のユーザーに対して承認されたオートメーションをリストにし、ユーザーがそれらを実行することを可能にし得る。これらは、オートメーションマーケットプレイス、オートメーションハブの内部オートメーションストアなどからのすぐに使えるオートメーションを含んでもよい。オートメーションが実行しているとき、オートメーションがそのアクションを実行する間、ユーザーがコンピューティングシステムを使用できるように、それらは、コンピューティングシステム上の他のプロセスと並行してローカルインスタンスとして実行し得る。特定の実施形態では、アシスタントは、ユーザーがアシスタントの起動パッドからそれらのもうすぐ自動化されるプロセスを文書化できるように、タスクキャプチャ機能と統合される。

【0081】

チャットボット（例えば、ＵｉＰａｔｈ Ｃｈａｔｂｏｔｓ（商標））、ソーシャルメッセージングアプリケーション、および／または音声コマンドは、ユーザーがオートメーションを実行することを可能にし得る。これにより、顧客とのやり取りまたは他のアクティビティを行うために必要な情報、ツール、およびリソースへのアクセスを簡素化し得る。人と人との会話は、他のプロセスと同様に容易に自動化され得る。このようにして起動されたトリガＲＰＡロボットは、注文状況の確認、ＣＲＭへのデータ投稿などの動作を、平易な言語コマンドを用いて実行できる可能性がある。

【0082】

任意の規模での自動化プログラムのエンドツーエンドの測定およびガバメントは、いくつかの実施形態ではハイパーオートメーションシステム１００によって提供され得る。上記により、自動化の性能を理解するために、（例えば、ＵｉＰａｔｈ Ｉｎｓｉｇｈｔｓ（商標）を介した）分析が採用されてもよい。利用可能なビジネスメトリクスおよび運用上の洞察のいずれかの組み合わせを使用するデータモデリングおよび分析は、さまざまな自動化プロセスに使用され得る。カスタム設計およびあらかじめ構築されたダッシュボードにより、所望の測定基準にわたりデータが視覚化され、新しい分析的洞察が発見され、性能指標が追跡され、オートメーションについてＲＯＩが発見され、ユーザーのコンピューティングシステム上で遠隔測定モニタリングが実行され、エラーと異常が検出され、およびオートメーションがデバッグされ得る。自動化のライフサイクルを通じてオートメーションを管理するために、自動化管理コンソール（例えば、ＵｉＰａｔｈ Ａｕｔｏｍａｔｉｏｎ Ｏｐｓ（商標））が提供され得る。組織は、オートメーションの構築方法、ユーザーがそれらとともにできること、およびユーザーがどのオートメーションにアクセスできるかを統治し得る。

【0083】

ハイパーオートメーションシステム１００は、いくつかの実施形態では、反復的なプラットフォームを提供する。プロセスが発見され得、オートメーションが構築され得、テストされ得、そして展開され得、性能が測定され得、オートメーションの使用がユーザーに容易に提供され得、フィードバックが得られ得、ＡＩ／ＭＬモデルが訓練され、再訓練され得、そしてプロセス自体が繰り返され得る。これにより、より堅牢で効果的な一連の自動化を促進する。

【0084】

いくつかの実施形態では、生成ＡＩモデルが使用される。生成ＡＩは、テキスト、画像、音声、および合成データなど、さまざまなタイプのコンテンツを生成し得る。大規模言語モデル（ＬＬＭ）、敵対的生成ネットワーク（ＧＡＮ）、変分オートエンコーダ（ＶＡＥ）、トランスフォーマなどを含むがこれらに限定されない、さまざまなタイプの生成ＡＩモデルが使用され得る。これらのモデルは、サーバー１３０上でホストされるＡＩ／ＭＬモデル１３２の一部であってもよい。例えば、生成ＡＩモデルは、意味論的理解を実行したり、テキストから画面上に存在するものの性質を理解したりするなどために、テキスト情報の大規模なコーパスで訓練され得る。特定の実施形態では、ＯｐｅｎＡＩ（登録商標）、Ｇｏｏｇｌｅ（登録商標）、Ａｍａｚｏｎ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、ＩＢＭ（登録商標）、Ｎｖｉｄｉａ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）などの既存のクラウドＭＬサービスプロバイダによって提供される生成ＡＩモデル１７２が、そのような機能を提供するために採用され、訓練され得る。生成ＡＩモデル（複数可）１７２がリモートでホストされる生成ＡＩ実施形態では、サーバー１３０は、サードパーティＡＰＩと統合するように構成され得、これにより、サーバー１３０は、必要な入力情報を含む要求を生成ＡＩモデル（複数可）１７２に送信し、その返信を受け取ることができる（例えば、アプリケーションのバージョン間でのフィールドの意味的な一致、画面上のアプリケーションの種類の分類など）。このような実施形態は、より高度で洗練されたユーザーエクスペリエンスを提供するだけでなく、これらの企業が提供する最先端の自然言語処理（ＮＬＰ）および他のＭＬ機能へのアクセスを提供することができる。

【0085】

図２は、本発明の実施形態による、ＲＰＡシステム２００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム２００は、図１のハイパーオートメーションシステム１００の一部である。ＲＰＡシステム２００は、開発者がワークフローを設計して実装することを可能にするデザイナ２１０を含む。デザイナ２１０は、アプリケーション統合のためのソリューションを提供するとともに、サードパーティアプリケーション、管理情報技術（ＩＴ）タスク、およびビジネスＩＴプロセスを自動化する。デザイナ２１０は、ビジネスプロセスのグラフィック表現である自動化プロジェクトの開発を容易にし得る。簡単に言えば、デザイナ２１０は、ワークフローおよびロボットの開発および展開を容易にする。いくつかの実施形態では、デザイナ２１０は、ユーザーのデスクトップ上で実行するアプリケーション、ＶＭでリモートで実行するアプリケーション、ウェブアプリケーションなどであってもよい。

【0086】

自動化プロジェクトは、上記のように本明細書で「アクティビティ」と定義されるワークフローで開発されたカスタムセットのステップ間の遂行順序および関係の制御を開発者に与えることにより、ルールベースのプロセスの自動化を可能にする。デザイナ２１０の実施形態の商業的な一例は、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）である。各アクティビティは、ボタンをクリックする、ファイルを読む、ログパネルに書き込むなどのアクションを含み得る。いくつかの実施形態では、ワークフローは入れ子になっているか、または埋め込まれ得る。

【0087】

ワークフローのいくつかのタイプには、シーケンス、フローチャート、有限状態機械（ＦＳＭ）、および／またはグローバル例外ハンドラなどを含み得るが、これらに限定されない。シーケンスは、ワークフローを乱雑にすることなく、あるアクティビティから別のアクティビティへのフローを可能にする、線形プロセスに特に適し得る。フローチャートは、特により複雑なビジネスロジックに適し得、複数の分岐ロジックオペレータを介して、より多様な方法で意思決定の統合およびアクティビティの接続を可能にする。ＦＳＭは、大規模なワークフローに特に適し得る。ＦＳＭは、条件（すなわち、遷移）またはアクティビティによりトリガされる有限の数の状態をそれらの遂行中に使用し得る。グローバル例外ハンドラは、遂行エラーに遭遇したときのワークフローの挙動を決定したり、プロセスをデバッグしたりするのに特に適し得る。

【0088】

ワークフローがデザイナ２１０内で開発されると、ビジネスプロセスの遂行は、コンダクタ２２０によって調整され、デザイナ２１０内で開発されたワークフローを遂行する１または複数のロボット２３０を調整する。コンダクタ２２０の実施形態の商業的な一例は、ＵｉＰａｔｈ Ｏｒｃｈｅｓｔｒａｔｏｒ（商標）である。コンダクタ２２０は、環境におけるリソースの生成、監視、および展開の管理を容易にする。コンダクタ２２０は、サードパーティのソリューションおよびアプリケーションとの統合ポイントとして動作し得る。上記により、いくつかの実施形態では、コンダクタ２２０は、図１のコアハイパーオートメーションシステム１２０の一部であり得る。

【0089】

コンダクタ２２０は、全てのロボット２３０を管理し得、ロボット２３０を集中ポイントから接続して遂行する。管理され得るロボット２３０のタイプには、アテンディッドロボット２３２、アンアテンディッドロボット２３４、開発ロボット（アンアテンディッドロボット２３４と同様であるが、開発およびテストの目的で使用される）、および非生産ロボット（アテンディッドロボット２３２と同様であるが、開発およびテストの目的で使用される）が含まれるが、これらに限定されない。アテンディッドロボット２３２は、ユーザーイベントによってトリガされ、同じコンピューティングシステム上で人と並んで動作する。アテンディッドロボット２３２は、集中プロセスデプロイメントおよびロギング媒体のためのコンダクタ２２０とともに使用され得る。アテンディッドロボット２３２は、人間のユーザーが様々なタスクを達成するのを支援してもよく、ユーザーイベントによってトリガされてもよい。いくつかの実施形態では、プロセスは、このタイプのロボット上でコンダクタ２２０から開始することができず、および／またはそれらはロックされた画面の下で実行することができない。特定の実施形態では、アテンディッドロボット２３２は、ロボットトレイからまたはコマンドプロンプトからのみ起動され得る。アテンディッドロボット２３２は、いくつかの実施形態では、人の監督下で動作することが好ましい。

【0090】

アンアテンディッドロボット２３４は、仮想環境で無人で動作し、多くのプロセスを自動化し得る。アンアテンディッドロボット２３４は、リモート遂行、監視、スケジューリング、および作業キューのサポートの提供を担当し得る。全てのロボットタイプのためのデバッグは、いくつかの実施形態では、デザイナ２１０で実行され得る。アテンディッドロボットおよびアンアテンディッドロボットの両方は、メインフレーム、ウェブアプリケーション、ＶＭ、エンタープライズアプリケーション（例えば、ＳＡＰ（登録商標）、ＳａｌｅｓＦｏｒｃｅ（登録商標）、Ｏｒａｃｌｅ（登録商標）などにより生成されたもの）、およびコンピューティングシステムアプリケーション（例えば、デスクトップおよびラップトップアプリケーション、モバイルデバイスアプリケーション、ウェアラブルコンピュータアプリケーションなど）を含むが、これらに限定されない様々なシステムおよびアプリケーションを自動化し得る。

【0091】

コンダクタ２２０は、プロビジョニング、展開、構成、キューイング、監視、ロギング、および／または相互接続性の提供を含むがこれらに限定されない様々な能力を有し得る。プロビジョニングは、ロボット２３０とコンダクタ２２０（例えば、ウェブアプリケーション）との間の接続を作成し、維持することを含み得る。展開は、遂行のために割り当てられたロボット２３０へのパッケージバージョンの正しい配信を保証することを含み得る。構成は、ロボット環境およびプロセス構成の維持および配信を含み得る。キューイングは、キューおよびキュー項目の管理を提供することを含み得る。監視は、ロボットの特定データを追跡し、ユーザーの権限を維持することを含み得る。ロギングは、データベース（例えば、構造化照会言語（ＳＱＬ）データベースまたは「ｎｏｔ ｏｎｌｙ」ＳＱＬ（ＮｏＳＱＬ）データベース）および／または別のストレージメカニズム（例えば、大規模なデータセットを格納し、迅速にクエリを実行する能力を提供するＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標））へのログの保存およびインデックス作成を含み得る。コンダクタ２２０は、サードパーティのソリューションおよび／またはアプリケーションのための通信の集中点として操作することにより、相互接続性を提供し得る。

【0092】

ロボット２３０は、デザイナ２１０で構築されたワークフローを実装する遂行エージェントである。ロボット（複数可）２３０のいくつかの実施形態の１つの商業的な例は、ＵｉＰａｔｈ Ｒｏｂｏｔｓ（商標）である。いくつかの実施形態では、ロボット２３０は、デフォルトで、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｉｃｅ Ｃｏｎｔｒｏｌ Ｍａｎａｇｅｒ（ＳＣＭ）管理サービスをインストールする。その結果、このようなロボット２３０は、ローカルシステムアカウントの下でインタラクティブなＷｉｎｄｏｗｓ（登録商標）セッションを開くことができ、Ｗｉｎｄｏｗｓ（登録商標）サービスの権利を有し得る。

【0093】

いくつかの実施形態では、ロボット２３０は、ユーザーモードで設置され得る。このようなロボット２３０については、所定のロボット２３０が設置されているユーザーと同じ権利を有することを意味する。この特色はまた、各マシンを最大限に全活用することを保証する高密度（ＨＤ）ロボットにも利用可能であり得る。いくつかの実施形態では、いずれかのタイプのロボット２３０は、ＨＤ環境で構成され得る。

【0094】

いくつかの実施形態におけるロボット２３０は、複数のコンポーネントに分割され、それぞれが特定の自動化タスクに特化されている。いくつかの実施形態におけるロボットコンポーネントは、ＳＣＭ管理ロボットサービス、ユーザーモードロボットサービス、エグゼキュータ、エージェント、およびコマンドラインを含むが、これらに限定されない。ＳＣＭ管理ロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ２２０と遂行ホスト（すなわち、ロボット２３０が遂行されるコンピューティングシステム）との間のプロキシとして動作する。これらのサービスは、ロボット２３０の資格情報を任されて管理する。コンソールアプリケーションは、ローカルシステム下のＳＣＭにより起動される。

【0095】

いくつかの実施形態におけるユーザーモードロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ２２０と遂行ホストとの間のプロキシとして動作する。ユーザーモードロボットサービスは、ロボット２３０の資格情報を任されて管理し得る。ＳＣＭ管理ロボットサービスがインストールされていない場合、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションが自動的に起動され得る。

【0096】

エグゼキュータは、Ｗｉｎｄｏｗｓ（登録商標）セッションの下で与えられたジョブを遂行し得る（つまり、ワークフローを遂行し得る）。エグゼキュータは、モニタ毎のドットパーインチ（ＤＰＩ）設定を認識し得る。エージェントは、システムトレイウィンドウに利用可能なジョブを表示するＷｉｎｄｏｗｓ（登録商標） Ｐｒｅｓｅｎｔａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ（ＷＰＦ）アプリケーションであり得る。エージェントはサービスのクライアントであり得る。エージェントは、ジョブの開始または停止、設定の変更を依頼し得る。コマンドラインはサービスのクライアントである。コマンドラインは、ジョブの開始を要求し、その出力を待つことができるコンソールアプリケーションである。

【0097】

上で説明したように、ロボット２３０のコンポーネントが分割されていることは、開発者、サポートユーザー、およびコンピューティングシステムが、各コンポーネントが遂行していることをより容易に実行し、特定し、および追跡するのに役立つ。この方法では、エグゼキュータとサービスに異なるファイアウォールルールを設定するなど、コンポーネントごとに特別な挙動を構成し得る。エグゼキュータは常に、いくつかの実施形態では、モニタごとのＤＰＩ設定を認識し得る。その結果、ワークフローは、ワークフローが作成されたコンピューティングシステムの構成に関係なく、いずれかのＤＰＩで遂行し得る。また、いくつかの実施形態では、デザイナ２１０からのプロジェクトは、ブラウザのズームレベルに依存しないようにし得る。ＤＰＩを認識していないまたは意図的に認識していないとマークされているアプリケーションの場合、いくつかの実施形態ではＤＰＩを無効にし得る。

【0098】

本実施形態におけるＲＰＡシステム２００は、ハイパーオートメーションシステムの一部である。開発者は、デザイナ２１０を使用して、（例えば、そのＡＩセンターの一部として）コアハイパーオートメーションシステム２４０に展開されたＡＩ／ＭＬモデルを利用するＲＰＡロボットを構築かつテストし得る。そのようなＲＰＡロボットは、ＡＩ／ＭＬモデル（複数可）の遂行のための入力を送信し、コアハイパーオートメーションシステム２４０を介してそこからの出力を受信し得る。

【0099】

１または複数のロボット２３０は、上述したように、リスナーであってもよい。これらのリスナーは、ユーザーが彼らのコンピューティングシステムを使用するときに彼らがしていることに関する情報をコアハイパーオートメーションシステム２４０に提供し得る。この情報は、その後、プロセスマイニング、タスクマイニング、タスクキャプチャなどのためにコアハイパーオートメーションシステムによって使用され得る。

【0100】

アシスタント／チャットボット２５０は、ユーザーがＲＰＡローカルロボットを起動することを可能にするために、ユーザーコンピューティングシステム上に提供され得る。アシスタントは、例えば、システムトレイに配置され得る。チャットボットは、ユーザーがチャットボットのテキストを見ることができるように、ユーザーインターフェースを有し得る。あるいは、チャットボットは、ユーザーインターフェースを持たず、バックグラウンドで実行し、ユーザーの発話に対してコンピューティングシステムのマイクを使用して聞くことができる。

【0101】

いくつかの実施形態では、データラベリングは、ロボットが実行しているコンピューティングシステムのユーザーによって、またはロボットが情報を提供する別のコンピューティングシステム上で実行され得る。例えば、ロボットがＶＭユーザーのために画像にＣＶを行うＡＩ／ＭＬモデルを呼び出すが、ＡＩ／ＭＬモデルが画面上のボタンを正しく特定しない場合、ユーザーは、誤特定または非特定コンポーネントの周りに矩形を描き、正しい特定を有するテキストを潜在的に提供し得る。この情報は、コアハイパーオートメーションシステム２４０に提供され得、その後、ＡＩ／ＭＬモデルの新バージョンの訓練のために後で使用され得る。

【0102】

図３は、本発明の実施形態による、展開したＲＰＡシステム３００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム３００は、図２のＲＰＡシステム２００および／または図１のハイパーオートメーションシステム１００の一部であり得る。展開されたＲＰＡシステム３００は、異なるコンピューティングプロセスの自動化のためのエンタープライズレベル、ユーザーレベル、またはデバイスレベルの自動化ソリューションなどを提供する、クラウドベースのシステム、オンプレミスシステム、デスクトップベースのシステムであり得る。

【0103】

クライアント側、サーバー側、またはその両方が、本発明の範囲から逸脱することなく、いずれかの所望の数のコンピューティングシステムを含むことができることに留意すべきである。クライアント側では、ロボットアプリケーション３１０は、エグゼキュータ３１２、エージェント３１４、およびデザイナ３１６を含む。しかし、いくつかの実施形態では、デザイナ３１６は、エグゼキュータ３１２およびエージェント３１４と同じコンピューティングシステム上で実行していない場合がある。エグゼキュータ３１２はプロセスを実行している。図３に示すように、複数のビジネスプロジェクトが同時に実行され得る。エージェント３１４（例えば、Ｗｉｎｄｏｗｓ（登録商標）サービス）は、本実施形態では、全てのエグゼキュータ３１２のための単一の接続ポイントである。本実施形態における全てのメッセージはコンダクタ３４０にログインされ、それはデータベースサーバー３５０、ＡＩ／ＭＬサーバー３６０、インデクササーバー３７０、またはそれらのいずれかの組み合わせを介してそれらをさらに処理する。図２に関して上述したように、エグゼキュータ３１２は、ロボットコンポーネントであり得る。

【0104】

いくつかの実施形態では、ロボットは、マシン名とユーザー名との間の関連付けを表す。ロボットは、複数のエグゼキュータを同時に管理し得る。同時に実行される複数のインタラクティブセッションをサポートするコンピューティングシステム（Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｅｒ ２０１２など）では、複数のロボットが同時に実行され得、それぞれが一意のユーザー名を使用して別々のＷｉｎｄｏｗｓ（登録商標）セッションで実行され得る。これは、上記のＨＤロボットと呼ばれる。

【0105】

エージェント３１４はまた、ロボットの状態を送信し（例えば、ロボットがまだ機能していることを示す「ハートビート」メッセージを定期的に送信する）、遂行されるパッケージの要求されるバージョンをダウンロードすることにも責任を負う。エージェント３１４とコンダクタ３４０との間の通信は、いくつかの実施形態では、常にエージェント３１４によって開始される。通知シナリオでは、エージェント３１４は、後にコンダクタ３４０によってロボットにコマンド（例えば、開始、停止など）を送信するために使用されるＷｅｂＳｏｃｋｅｔチャネルを開いてもよい。

【0106】

リスナー３３０は、リスナー３３０が常駐するアテンディッドコンピューティングシステムおよび／またはアンアテンディッドコンピューティングシステムの動作とのユーザーインタラクションに係るデータを監視し記録する。リスナー３３０は、本発明の範囲から逸脱することなく、ＲＰＡロボット、オペレーティングシステムの一部、それぞれのコンピューティングシステム用のダウンロード可能なアプリケーション、または他の任意のソフトウェアおよび／もしくはハードウェアであり得る。実際、いくつかの実施形態では、リスナーのロジックは、物理的なハードウェアを介して部分的または完全に実装される。

【0107】

サーバー側には、プレゼンテーション層（ウェブアプリケーション３４２、オープンデータプロトコル（ＯＤａｔａ）代表状態転送（ＲＥＳＴ）アプリケーションプログラミングインターフェース（ＡＰＩ）エンドポイント３４４、通知および監視３４６）、サービス層（ＡＰＩ実装／ビジネスロジック３４８）、永続層（データベースサーバー３５０、ＡＩ／ＭＬサーバー３６０、インデクササーバー３７０）が含まれる。コンダクタ３４０は、ウェブアプリケーション３４２、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント３４４、通知および監視３４６、ならびにＡＰＩ実装／ビジネスロジック３４８を含む。いくつかの実施形態では、ユーザーがコンダクタ３４０のインターフェース（例えば、ブラウザ３２０を介して）で実行するほとんどのアクションは、様々なＡＰＩを呼び出すことによって実行される。このような動作は、本発明の範囲を逸脱することなく、ロボット上でのジョブの起動、キュー内のデータの追加／削除、無人で実行するジョブのスケジューリングなどを含み得るが、これらに限定されない。ウェブアプリケーション３４２は、サーバープラットフォームのビジュアル層である。この実施形態では、ウェブアプリケーション３４２は、ハイパーテキストマークアップ言語（ＨＴＭＬ）およびジャバスクリプト（ＪＳ）を使用する。しかし、本発明の範囲を逸脱することなく、いずれかの所望のマークアップ言語、スクリプト言語、または他のいずれかのフォーマットを使用し得る。ユーザーは、コンダクタ３４０を制御するための様々な動作を実行するために、本実施形態ではブラウザ３２０を介してウェブアプリケーション３４２からのウェブページとインタラクションする。例えば、ユーザーは、ロボットグループを作成し、ロボットへのパッケージの割り当てを行い、ロボット毎および／またはプロセス毎のログを解析し、ロボットを起動および停止などし得る。

【0108】

ウェブアプリケーション３４２に加えて、コンダクタ３４０は、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント３４４を公開するサービス層も含む。しかし、本発明の範囲を逸脱することなく、他のエンドポイントが含まれていてもよい。ＲＥＳＴ ＡＰＩは、ウェブアプリケーション３４２とエージェント３１４の両方により消費される。エージェント３１４は、本実施形態では、クライアントコンピュータ上の１または複数のロボットのスーパーバイザである。

【0109】

本実施形態のＲＥＳＴ ＡＰＩは、構成、ロギング、監視、およびキューイング機能をカバーする。構成エンドポイントは、いくつかの実施形態では、アプリケーションのユーザー、権限、ロボット、アセット、リリース、および環境を定義し、構成するために使用されてもよい。ロギングＲＥＳＴエンドポイントは、例えば、エラー、ロボットによって送信された明示的なメッセージ、およびその他の環境固有の情報など、様々な情報をログに記録するために使用され得る。デプロイメントＲＥＳＴエンドポイントは、コンダクタ３４０においてジョブ開始コマンドが使用された場合に遂行されるべきパッケージのバージョンを問い合わせるためにロボットにより使用されてもよい。キューイングＲＥＳＴエンドポイントは、キューへのデータの追加、キューからのトランザクションの取得、トランザクションのステータスの設定など、キューおよびキューアイテムの管理を担ってもよい。

【0110】

ＲＥＳＴエンドポイントの監視は、ウェブアプリケーション３４２およびエージェント３１４を監視してもよい。通知および監視ＡＰＩ３４６は、エージェント３１４の登録、エージェント３１４への構成設定の配信、ならびにサーバーおよびエージェント３１４からの通知の送受信に使用されるＲＥＳＴエンドポイントであってもよい。通知および監視ＡＰＩ３４６は、いくつかの実施形態では、ＷｅｂＳｏｃｋｅｔ通信を使用してもよい。

【0111】

サービス層のＡＰＩは、いくつかの実施形態では、適切なＡＰＩアクセスパスの構成を通じて、例えば、コンダクタ３４０および全体的なハイパーオートメーションシステムがオンプレミス展開タイプまたはクラウドベース展開タイプを有するかどうかに基づいて、アクセスされ得る。コンダクタ３４０のためのＡＰＩは、コンダクタ３４０に登録されたさまざまなエンティティに関する統計を照会するためのカスタムメソッドを提供し得る。各論理リソースは、いくつかの実施形態では、ＯＤａｔａエンティティであってもよい。そのようなエンティティにおいて、ロボット、プロセス、キューなどのコンポーネントは、プロパティ、関係、および動作を有してよい。コンダクタ３４０のＡＰＩは、いくつかの実施形態では、以下の２つの方法でウェブアプリケーション３４２および／またはエージェント３１４によって消費され得る：コンダクタ３４０からＡＰＩアクセス情報を得ることによって、またはＯＡｕｔｈフローを使用するために外部アプリケーションを登録することによって。

【0112】

永続層は、本実施形態では、データベースサーバー３５０（例えば、ＳＱＬサーバー）、ＡＩ／ＭＬサーバー３６０（例えば、ＡＩセンター機能などのＡＩ／ＭＬモデル提供サービスを提供するサーバー）、およびインデクササーバー３７０の３つのサーバーを含む。本実施形態におけるデータベースサーバー３５０は、ロボット、ロボットグループ、関連するプロセス、ユーザー、役割、スケジュールなどの構成を格納する。この情報は、いくつかの実施形態では、ウェブアプリケーション３４２を介して管理される。データベースサーバー３５０は、キューおよびキューアイテムを管理してもよい。いくつかの実施形態では、データベースサーバー３５０は、ロボットにより記録されたメッセージを（インデクササーバー３７０に加えて、またはそれに代えて）格納してもよい。データベースサーバー３５０は、例えば、クライアント側にインストールされたリスナー３３０から受信した、プロセスマイニング、タスクマイニング、および／またはタスクキャプチャ関連データも格納し得る。リスナー３３０およびデータベース３５０の間に矢印は示されていないが、リスナー３３０は、いくつかの実施形態では、データベース３５０と通信することができ、逆もまた同様であることが理解されるべきである。このデータは、ＰＤＤ、画像、ＸＡＭＬファイルなどの形態で格納され得る。リスナー３３０は、リスナー３３０が常駐するそれぞれのコンピューティングシステム上のユーザーアクション、プロセス、タスク、およびパフォーマンスメトリクスを傍受するように構成され得る。例えば、リスナー３３０は、そのそれぞれのコンピューティングシステム上のユーザーアクション（例えば、クリック、タイプされた文字、ロケーション、アプリケーション、アクティブ要素、時間など）を記録し得、次にこれらをデータベースサーバー３５０に提供し格納されるのに適した形式に変換し得る。

【0113】

ＡＩ／ＭＬサーバー３６０は、ＡＩ／ＭＬモデルの自動化への組み込みを容易にする。あらかじめ構築されたＡＩ／ＭＬモデル、モデルテンプレート、およびさまざまな展開オプションにより、データ科学者でない人でもこのような機能にアクセスできるようにし得る。展開されたオートメーション（例えば、ＲＰＡロボット）は、ＡＩ／ＭＬサーバー３６０からＡＩ／ＭＬモデルを呼び出し得る。ＡＩ／ＭＬモデルの性能は、監視され、そして人間が検証したデータを使用して訓練され、改善され得る。ＡＩ／ＭＬサーバー３６０は、ＡＩ／ＭＬモデルの新しいバージョンを訓練するために、訓練ジョブをスケジュールし、遂行し得る。

【0114】

ＡＩ／ＭＬサーバー３６０は、開発時にユーザーのためのさまざまなＭＬスキルを構成するためのＡＩ／ＭＬモデルおよびＭＬパッケージに係るデータを格納し得る。本明細書で使用されるＭＬスキルは、例えば、オートメーションによって使用され得る、プロセスのためのあらかじめ構築され訓練されたＭＬモデルである。ＡＩ／ＭＬサーバー３６０はまた、限定されないが、意図分析、自然言語処理（ＮＬＰ）、音声分析、異なるタイプのＡＩ／ＭＬモデルなどを含む、さまざまなＡＩ／ＭＬ能力のための文書理解技術およびフレームワーク、アルゴリズムおよびソフトウェアパッケージに係るデータを格納し得る。

【0115】

いくつかの実施形態では任意であるが、インデクササーバー３７０は、ロボットにより記録された情報を保存し、インデックスを作成する。特定の実施形態では、インデクササーバー３７０は、構成設定を介して無効化されてもよい。いくつかの実施形態では、インデクササーバー３７０は、オープンソースプロジェクトの全文検索エンジンであるＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）を使用する。ロボットにより記録されたメッセージ（例えば、ログメッセージまたはライン書き込みのようなアクティビティを使用して）は、ロギングＲＥＳＴエンドポイント（複数可）を介してインデクササーバー３７０に送信されてもよく、そこで将来の利用のためにそれらはインデックス化される。

【0116】

図４は、本発明の実施形態による、デザイナ４１０、アクティビティ４２０、４３０、４４０、４５０、ドライバ４６０、ＡＰＩ４７０、およびＡＩ／ＭＬモデル４８０間の関係４００を説明するアーキテクチャ図である。以上のように、開発者は、デザイナ４１０を用いて、ロボットによって遂行されるワークフローを開発する。様々なタイプのアクティビティは、いくつかの実施形態では、開発者に表示され得る。デザイナ４１０は、ユーザーのコンピューティングシステムに対してローカルであっても、またはそれに対してリモートであってもよい（例えば、ＶＭまたはリモートウェブサーバーとインタラクションするローカルウェブブラウザを介してアクセスされる）。ワークフローは、ユーザー定義アクティビティ４２０、ＡＰＩ駆動アクティビティ４３０、ＡＩ／ＭＬアクティビティ４４０、および／または、ＵＩオートメーションアクティビティ４５０を含み得る。ユーザー定義アクティビティ４２０およびＡＰＩ駆動アクティビティ４４０は、それらのＡＰＩを介してアプリケーションとインタラクションする。ユーザー定義アクティビティ４２０および／またはＡＩ／ＭＬアクティビティ４４０は、いくつかの実施形態では、ロボットが動作しているコンピューティングシステムに対してローカルに、および／またはそれに対してリモートに位置され得る、１または複数のＡＩ／ＭＬモデル４８０を呼び出し得る。

【0117】

いくつかの実施形態では、画像中の非テキストの視覚的コンポーネントを特定することができ、これは、本明細書ではＣＶと呼ばれる。ＣＶは、ＡＩ／ＭＬモデル（複数可）４８０によって少なくとも部分的に実行され得る。そのようなコンポーネントに係るいくつかのＣＶアクティビティは、限定されないが、ＯＣＲを用いたセグメント化されたラベルデータからのテキストの抽出、ファジーテキストマッチング、ＭＬを用いたセグメント化されたラベルデータのクロッピング、ラベルデータにおける抽出されたテキストとグランドトゥルースデータとの比較等を含み得る。いくつかの実施形態では、ユーザー定義のアクティビティ４２０に実装され得るアクティビティの数は、数百または数千であってもよい。しかし、本発明の範囲を逸脱することなく、任意の数および／またはアクティビティのタイプが使用され得る。

【0118】

ＵＩオートメーションアクティビティ４５０は、低レベルのコードで記述され、画面とのインタラクションを促進する特別な低レベルのアクティビティのサブセットである。ＵＩオートメーションアクティビティ４５０は、ロボットが所望のソフトウェアとインタラクションすることを可能にするドライバ４６０を介して、これらのインタラクションを促進する。例えば、ドライバ４６０は、オペレーティングシステム（ＯＳ）ドライバ４６２、ブラウザドライバ４６４、ＶＭドライバ４６６、エンタープライズアプリケーションドライバ４６８などを含み得る。いくつかの実施形態では、コンピューティングシステムとのインタラクションを実行するために、１または複数のＡＩ／ＭＬモデル４８０はＵＩオートメーションアクティビティ４５０によって使用され得る。特定の実施形態では、ＡＩ／ＭＬモデル４８０は、ドライバ４６０を増強するか、またはそれらを完全に置き換え得る。実際、特定の実施形態では、ドライバ４６０は含まれない。

【0119】

ドライバ４６０は、ＯＳドライバ４６２を介して、フックを探したり、キーを監視したりするなど、低レベルでＯＳとインタラクションし得る。ドライバ４６０は、Ｃｈｒｏｍｅ（登録商標）、ＩＥ（登録商標）、Ｃｉｔｒｉｘ（登録商標）、ＳＡＰ（登録商標）などとの統合を促進してもよい。例えば、「クリック」アクティビティは、ドライバ４６０を介して、これらの異なるアプリケーションにおいて同じ役割を果たす。

【0120】

図５は、本発明の実施形態による、ＲＰＡのための設計時ＡＩ／ＭＬ推奨エンジンを提供するように構成されたコンピューティングシステム５００を示すアーキテクチャ図である。いくつかの実施形態では、コンピューティングシステム５００は、本明細書に描かれたおよび／または記載された１または複数のコンピューティングシステムであってもよい。特定の実施形態では、コンピューティングシステム５００は、図１および図２に示されるようなハイパーオートメーションシステムの一部であり得る。コンピューティングシステム５００は、情報を通信するためのバス５０５または他の通信機構と、情報を処理するためのバス５０５に結合されたプロセッサ（複数可）５１０とを含む。プロセッサ（複数可）５１０は、中央処理ユニット（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッシングユニット（ＧＰＵ）、それらの複数のインスタンス、および／またはそれらのいずれかの組み合わせを含む、いずれかのタイプの一般的または特定用途向けプロセッサであり得る。プロセッサ（複数可）５１０はまた、複数の処理コアを有してもよく、コアの少なくとも一部は、特定の機能を実行するように構成され得る。いくつかの実施形態では、複数並列処理が使用されてもよい。特定の実施形態では、少なくとも１つのプロセッサ（複数可）５１０は、生物学的ニューロンを模倣する処理要素を含むニューロモーフィック回路であり得る。いくつかの実施形態では、ニューロモーフィック回路は、フォンノイマンコンピューティングアーキテクチャの典型的なコンポーネントを必要としない場合がある。

【0121】

コンピューティングシステム５００は、プロセッサ（複数可）５１０によって遂行される情報および命令を格納するためのメモリ５１５をさらに含む。メモリ５１５は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、キャッシュ、磁気ディスクもしくは光ディスクなどの静的記憶装置、または他のタイプの非一時的なコンピュータ読み取り可能な媒体、またはそれらのいずれかの組み合わせで構成され得る。非一時的なコンピュータ読み取り可能な媒体は、プロセッサ（複数可）５１０によりアクセス可能ないずれかの利用可能な媒体であってもよく、揮発性媒体、不揮発性媒体または両方などを含み得る。また、媒体は、取り外し可能なもの、取り外し不可能なもの、または両方であってもよい。コンピューティングシステム５００は、無線および／または有線接続を介して通信ネットワークへのアクセスを提供するために、トランシーバなどの通信デバイス５２０を含む。いくつかの実施形態では、通信デバイス５２０は、本発明の範囲から逸脱することなく、単数のアンテナ、アレイ状のアンテナ、フェーズドアンテナ、スイッチドアンテナ、ビームフォーミングアンテナ、ビームステアリングアンテナ、それらの組み合わせ、および／またはいずれかの他のアンテナ構成である１または複数のアンテナを含み得る。

【0122】

プロセッサ（複数可）５１０は、バス５０５を介してディスプレイ５２５にさらに結合される。本発明の範囲から逸脱することなく、任意の適切なディスプレイデバイスおよび触覚Ｉ／Ｏが使用され得る。

【0123】

コンピュータマウス、タッチパッドなどのようなキーボード５３０およびカーソル制御デバイス５３５は、ユーザーがコンピューティングシステム５００とインターフェースすることを可能にするために、バス５０５にさらに結合されている。しかしながら、特定の実施形態では、物理的なキーボードおよびマウスが存在しない場合があり、ユーザーは、ディスプレイ５２５および／またはタッチパッド（図示せず）のみを介してデバイスとインタラクションすることができる。任意の入力デバイスの種類および組み合わせは、設計の選択の問題として使用され得る。特定の実施形態では、物理的な入力デバイスおよび／またはディスプレイは存在しない。例えば、ユーザーは、コンピューティングシステム５００と通信している別のコンピューティングシステムを介してリモートでそれとインタラクションしてもよいし、コンピューティングシステム５００は自律的に動作してもよい。

【0124】

メモリ５１５は、プロセッサ（複数可）５１０により遂行されたときに機能を提供するソフトウェアモジュールを格納する。モジュールは、コンピューティングシステム５００のためのオペレーティングシステム５４０を含む。モジュールはさらに、本明細書に記載されたＡＩ／ＭＬプロセスまたはその派生物のすべてまたは一部を実行するように構成された自動化されたＡＩ／ＭＬ推奨エンジンモデル５４５を含む。コンピューティングシステム５００は、付加的な機能を含む１または複数の付加的な機能モジュール５５０を含み得る。

【0125】

当業者であれば、「システム」は、本発明の範囲から逸脱することなく、サーバー、組み込みコンピューティングシステム、パーソナルコンピュータ、コンソール、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、タブレットコンピューティングデバイス、量子コンピューティングシステム、または他のいずれかの適切なコンピューティングデバイス、またはデバイスの組み合わせとして具現化され得ることを理解するであろう。上述した機能を「システム」により実行されるものとして提示することは、何ら本発明の範囲を限定することを意図するものではなく、本発明の多くの実施形態の一例を提供することを意図するものである。実際、本明細書に開示された方法、システム、および装置は、クラウドコンピューティングシステムを含むコンピューティング技法と整合性のあるローカライズされた形態および分配された形態で実装されてもよい。コンピューティングシステムは、ローカルエリアネットワーク（ＬＡＮ）、モバイル通信ネットワーク、衛星通信ネットワーク、インターネット、パブリッククラウドまたはプライベートクラウド、ハイブリッドクラウド、サーバーファーム、それらのいずれかの組み合わせなどの一部またはその他の方法でアクセス可能であり得る。本発明の範囲から逸脱することなく、任意の局所または分散アーキテクチャが使用され得る。

【0126】

本明細書で説明するシステム特色のいくつかは、実装の独立性をより強調するために、モジュールとして提示されていることに留意すべきである。例えば、モジュールは、カスタムの非常に大規模な集積（ＶＬＳＩ）回路またはゲートアレイ、ロジックチップ、トランジスタ、または他の個別部品のような既製の半導体を含むハードウェア回路として実装され得る。また、モジュールは、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、グラフィックス処理ユニットなどのプログラマブルハードウェアデバイスに実装され得る。

【0127】

モジュールはまた、様々なタイプのプロセッサにより遂行されるためのソフトウェアに少なくとも部分的に実装され得る。例えば、遂行可能コードの特定された単位は、例えば、オブジェクト、プロシージャ、または関数として編成されていてもよいコンピュータ命令の１または複数の物理的または論理的なブロックを含み得る。それにもかかわらず、遂行可能な特定されたモジュールは、物理的に一緒に配置されている必要はなく、論理的に結合されたときにモジュールを含み、モジュールのために述べられた目的を達成するために、異なる場所に格納された別々の命令を含んでいてもよい。さらに、モジュールは、例えば、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープのような非一時的なコンピュータ読み取り可能な媒体、および／または本発明の範囲から逸脱することなくデータを格納するために使用される他のいずれかの非一時的なコンピュータ読み取り可能な媒体に格納されていてもよい。

【0128】

実際、遂行可能コードのモジュールは、単一の命令であってもよいし、多数の命令であってもよいし、さらには、複数の異なるコードセグメント、異なるプログラム間、および複数のメモリデバイス間に分散されていてもよい。同様に、動作データは、モジュール内で特定され、ここで示されてもよく、いずれかの適切な形態で具現化され、いずれかの適切なタイプのデータ構造体内で組織化され得る。動作データは、単一のデータセットとして収集されてもよいし、または異なる記憶デバイスにわたり異なる場所に分散されていてもよく、少なくとも部分的には、単にシステムまたはネットワーク上の電子信号として存在していてもよい。

【0129】

本発明の範囲から逸脱することなく、さまざまなタイプのＡＩ／ＭＬモデルが訓練され、展開され得る。例えば、図６Ａは、本発明の実施形態による、次のアクティビティまたはアクティビティのシーケンスについての提案を提供するように訓練されたニューラルネットワーク６００の例を示す。

【0130】

ニューラルネットワーク６００は、多数の隠れ層を含む。ＤＬＮＮと浅い学習ニューラルネットワーク（ＳＬＮＮ）はどちらも通常複数の層を有するが、ＳＬＮＮは場合によっては１または２つの層しか持たず、通常はＤＬＮＮよりも少ない場合がある。典型的に、ニューラルネットワークのアーキテクチャは、ニューラルネットワーク６００の場合のように、入力層、複数の中間層、および出力層を含む。

【0131】

多くの場合、ＤＬＮＮは多くの層（１０、５０、２００など）を有し、後続の層は通常、前の層からの機能を再利用して、より複雑で一般的な関数を計算する。一方、ＳＬＮＮは少数のレイヤーしか有さず、生データサンプルからエキスパート機能が事前に作成されるため、比較的迅速に訓練する傾向がある。ただし、特徴抽出は面倒である。一方、ＤＬＮＮは通常、エキスパート機能を必要としないが、訓練に時間がかかり、より多くの層を有する傾向がある。

【0132】

どちらのアプローチでも、層は訓練セットで同時に訓練され、通常は分離された交差検証セットでオーバーフィッティングをチェックする。両方の技法でも優れた結果が得られ、両方のアプローチにかなりの熱意がある。個々の層の最適なサイズ、形状、および数は、それぞれのニューラルネットワークによって対処される問題に依存する。

【0133】

図６Ａに戻ると、ＲＰＡワークフロー、１または複数のアプリケーションスクリーンショット（複数可）、ＣＶを使用して画面上で検出するグラフィカル要素、アクティビティパラメータなどが入力層として提供され、隠れ層１のＪ個のニューロンに入力として供給される。この例では、これらの入力のすべてが各ニューロンに供給されるが、限定されないが、フィードフォワードネットワーク、ラジアルベーシスネットワーク、ディープフィードフォワードネットワーク、ディープコンボリューションインバースグラフィックスネットワーク、コンボリューションニューラルネットワーク、リカレントニューラルネットワーク、人工ニューラルネットワーク、長期／短期記憶ネットワーク、ゲーテッドリカレントユニットネットワーク、生成的敵対ネットワーク、リキッドステートマシン、オートエンコーダ、変分オートエンコーダ、ノイズ除去オートエンコーダ、スパースオートエンコーダ、エクストリームラーニングマシン、エコー状態ネットワーク、マルコフ連鎖、ホップフィールドネットワーク、ボルツマンマシン、制限付きボルツマンマシン、深層残差ネットワーク、コホーネンネットワーク、ディープビリーフネットワーク、ディープコンボリューションネットワーク、サポートベクターマシン、ニューラルチューリングマシン、または本発明の範囲から逸脱しない任意の他の適切なタイプまたは組み合わせのニューラルネットワークを含む、個々にまたは組み合わせて使用され得るさまざまなアーキテクチャが可能である。

【0134】

隠れ層２は隠れ層１から入力を受信し、隠れ層３は隠れ層２から入力を受信し、最後の隠れ層がその出力を出力層の入力として提供するまで、全ての隠れ層について同じように行われる。本明細書では複数の提案が出力として示されているが、いくつかの実施形態では、単一の出力提案のみが提供される。特定の実施形態では、提案は信頼スコアに基づいてランク付けされる。

【0135】

ニューロンＩ、Ｊ、Ｋ、およびＬの数は必ずしも等しいわけではないことに留意されたい。したがって、本発明の範囲から逸脱することなく、任意の所望の数の層をニューラルネットワーク６００の所与の層に使用することができる。実際、特定の実施形態では、所与の層におけるニューロンのタイプは、すべて同じでなくてもよい。

【0136】

ニューラルネットワーク６００は、適切な出力に信頼度スコア（複数可）を割り当てるように訓練される。不正確な予測を減らすために、いくつかの実施形態では、信頼しきい値以上の信頼スコアを有するそれらの結果のみが提供され得る。例えば、信頼しきい値が８０％である場合、この量を超える信頼スコアを有する出力が使用され、残りは無視されてもよい。

【0137】

ニューラルネットワークは、典型的には信頼スコア（複数可）を有する確率的構築物であることに留意されたい。これは、ＡＩ／ＭＬモデルが、訓練中に類似の入力が正しく特定された頻度に基づいて学習したスコアであり得る。いくつかの一般的なタイプの信頼スコアは、０から１の間の１０進数（信頼パーセンテージとしても解釈され得る）、負の∞と正の∞の間の数値、一連の式（例えば。「低」、「中」、および「高」）、などを含む。より正確な信頼スコアを取得するために、温度スケーリング、バッチ正規化、荷重減衰、負の対数尤度（ＮＬＬ）などのさまざまな後処理キャリブレーション手法も使用され得る。

【0138】

ニューラルネットワークの「ニューロン」は、通常は生物学的ニューロンの機能に基づく数学関数としてアルゴリズム的に実装される。ニューロンは、重み付けされた入力を受信し、それらが出力を次の層に渡すかどうかを統治する和および活性化関数を有する。この活性化関数は、値がしきい値を下回っている場合は何も起こらない非線形のしきい値付きアクティビティ関数であり得、関数がしきい値を超えると線形に応答する（つまり、正規化線形単位（ＲｅＬＵ）非線形性）。実際のニューロンはほぼ同様のアクティビティ関数を有し得るため、深層学習では合計関数およびＲｅＬＵ関数が使用される。線形変換を介して、情報が差し引かれたり、追加されたりするなどされ得る。本質的に、ニューロンは、それらの基礎となる数学的関数によって統治される次の層に出力を渡すゲーティング関数として機能する。いくつかの実施形態では、少なくともいくつかのニューロンに対して異なる関数が使用され得る。

【0139】

【0140】

【0141】

【0142】

この場合、ニューロン６１０は単層パーセプトロンである。しかしながら、本発明の範囲から逸脱することなく、任意の適切なニューロンタイプまたはニューロンタイプの組み合わせが使用され得る。アクティベーション関数の重みおよび／または出力値（複数可）の値の範囲は、本発明の範囲から逸脱することなく、いくつかの実施形態では異なり得ることにも留意されたい。

【0143】

目標、つまり「報酬関数」がしばしば採用される。報酬関数は、状態空間の検索を導き、目標（例えば、関連する指標に基づいてユーザーの問い合わせに対する最も正確な回答を見つけること）の達成を試みるために、短期および長期の両方の報酬を使用して中間遷移およびステップを探索する。訓練中、さまざまなラベル付けされたデータがニューラルネットワーク６００を介して供給される。特定に成功すると、ニューロンへの入力の重みが強化されるが、特定に失敗すると、それらの重みが弱まる。平均二乗誤差（ＭＳＥ）または勾配降下などのコスト関数を使用して、わずかに間違っている予測を、大きく間違っている予測よりもはるかに少ない罰で済むようにし得る。ＡＩ／ＭＬモデルの性能が一定回数の訓練反復後に改善されない場合、データサイエンティストは報酬関数を変更したり、誤った予測を修正するなどし得る。

【0144】

バックプロパゲーションは、フィードフォワードニューラルネットワークでシナプスの重みを最適化するための手法である。バックプロパゲーションは、ニューラルネットワークの隠れ層を「ポップアップ」して、各ノードがどれだけの損失を負担しているかを確認し、その後、誤差率の高いノードに低い重みを与え、逆もまた同様、損失を最小化するように重みを更新するために使用され得る。つまり、バックプロパゲーションは、データサイエンティストが実際の出力と所望の出力との差を最小にするように、重みを繰り返し調整することを可能にする。

【0145】

バックプロパゲーションのアルゴリズムは、数学的に最適化理論に基づいている。教師あり学習では、出力が既知の訓練データをニューラルネットワークに通し、既知の目標出力からコスト関数を用いて誤差を計算し、これがバックプロパゲーションの誤差を与える。誤差は出力で計算され、この誤差は、誤差を最小化するネットワークの重みの修正に変換される。

【0146】

【0147】

【0148】

【0149】

【0150】

【0151】

ＡＩ／ＭＬモデルは、それが良好な精度のレベル（例えば、検出のためのＦ２またはＦ４しきい値を使用して９７％以上、約２，０００エポック）に達するまで、複数のエポックにわたって訓練され得る。この精度レベルは、いくつかの実施形態では、Ｆ１スコア、Ｆ２スコア、Ｆ４スコア、または本発明の範囲から逸脱しない任意の他の適切な技法を使用して決定され得る。訓練データで一旦訓練されると、ＡＩ／ＭＬモデルは、ＡＩ／ＭＬモデルが以前に遭遇したことのない評価データのセットでテストされ得る。これは、ＡＩ／ＭＬモデルが、訓練データでは良好なパフォーマンスを発揮するが、他のデータでは良好なパフォーマンスを発揮しないような「過剰適合」にならないようにするのに役立つ。

【0152】

いくつかの実施形態では、ＡＩ／ＭＬモデルがどのような精度レベルを達成することが可能であるかは、知られていない場合がある。したがって、評価データを分析する際にＡＩ／ＭＬモデルの精度が下がり始めている場合（すなわち、モデルは訓練データでは良好に実行しているが、評価データでは性能が低下し始めている）、ＡＩ／ＭＬモデルは、訓練データ（および／または新しい訓練データ）におけるさらなる訓練のエポックを経ることができる。いくつかの実施形態では、ＡＩ／ＭＬモデルは、精度が特定のレベルに達した場合、または訓練されたＡＩ／ＭＬモデルの精度が既存の展開されたＡＩ／ＭＬモデルより優れている場合にのみ展開される。特定の実施形態では、訓練されたＡＩ／ＭＬモデルの集合を使用して、タスクを達成することができる。例えば、あるモデルは、次のアクティビティまたはアクティビティのシーケンスを提案するように訓練され得、別のモデルがＣＶを実行し得、自動化が失敗した場合にさらに別のモデルが実行時修復を試み得るなどする。

【0153】

いくつかの実施形態では、最先端の文、テキスト、および画像埋め込み用のＰｙｔｈｏｎ（商標）フレームワークであるＳｅｎｔｅｎｃｅＴｒａｎｓｆｏｒｍｅｒｓ（商標）などのトランスフォーマネットワークを使用することができる。このようなトランスフォーマネットワークは、高いスコアと低いスコアの両方を持つ単語およびフレーズの関連付けを学習する。これは、ＡＩ／ＭＬモデルを訓練して、何が入力に近く、何がそうでないかをそれぞれ決定する。単語／フレーズの対だけを使用するのではなく、トランスフォーマネットワークは、フィールド長およびフィールドタイプも使用してもよい。

【0154】

いくつかの実施形態では、ｗｏｒｄ２ｖｅｃ、ＢＥＲＴ、ＧＰＴ－３、ＣｈａｔＧＰＴなどの自然言語処理（ＮＬＰ）技術を使用して、意味論的な理解を促進し、より正確で人間らしい回答を提供することができる。クラスタリングアルゴリズムなどの他の技術を使用して、要素のグループ間の類似度を見つけることができる。クラスタリングアルゴリズムは、密度ベースのアルゴリズム、分布ベースのアルゴリズム、重心ベースのアルゴリズム、階層ベースのアルゴリズムを含み得るが、これらに限定されない。Ｋ平均法クラスタリングアルゴリズム、ＤＢＳＣＡＮクラスタリングアルゴリズム、混合ガウスモデル（ＧＭＭ）アルゴリズム、階層を使用したバランス反復削減とクラスタリング（ＢＩＲＣＨ）アルゴリズムなど。このような手法も分類に役立ち得る。

【0155】

図７は、本発明の実施形態による、ＡＩ／ＭＬモデル（複数可）を訓練するためのプロセス７００を示すフローチャートである。いくつかの実施形態では、ＡＩ／ＭＬモデル（複数可）は、上記のように、生成ＡＩモデルであってもよい。ＡＩ／ＭＬモデルのニューラルネットワークアーキテクチャは通常、入力層、出力層、および隠れ層を含む複数のニューロンの層を含む。例えば、図６Ａおよび６Ｂを参照。入力層はテキストベースの入力（複数可）を受信し、出力層はテキストベースの応答（複数可）を生成する。中間の隠れ層は入力データを処理し、出力の生成に使用される入力の中間表現を生成する。これらの隠れ層は、畳み込みニューロン、リカレントニューロン、および／またはトランスフォーマニューロンなど、さまざまなタイプのニューロンを含み得る。

【0156】

訓練プロセスは、７１０で、ＲＰＡワークフロー、スクリーンショット、グラフィカル要素（自動化がＵＩオートメーションの場合）、およびアクティビティパラメータ（例えば、入力および出力）を、ラベルの有無にかかわらず提供することから始まる。ＵＩオートメーションの場合、記述子、グラフィカル要素、画面、バージョン、アプリケーションなどの間の関係を提供する１または複数のグラフが使用され得る。ＡＩ／ＭＬモデルは、次に、７２０で複数のエポックにわたって訓練され、結果は、７３０においてレビューされる。さまざまなタイプのＡＩ／ＭＬモデルが使用され得るが、ＬＬＭおよびその他の生成ＡＩモデルは通常、上で説明した「教師あり学習」と呼ばれるプロセスを使用して訓練される。教師あり学習には、モデルに大規模なデータセットを提供することが含まれ、モデルはそれを使用して、入力と出力の間の関係を学習する。訓練プロセス中に、モデルはニューラルネットワーク内のニューロンの重みとバイアスを調整して、訓練データセット内の予測出力と実際の出力との間の差を最小限に抑える。

【0157】

いくつかの実施形態におけるモデルの一態様は、転移学習の使用である。例えば、転移学習は、ステップ７２０で特定のタスクまたはドメインに関して微調整されるＣｈａｔＧＰＴなどの事前訓練されたモデルを利用し得る。これにより、モデルは事前訓練フェーズからの既に学習した知識を活用し、ステップ７２０の訓練フェーズを通じてそれを特定のアプリケーションに適応させ得る。

【0158】

事前訓練フェーズでは、より一般的であり得る訓練データの初期セットに基づいてモデルを訓練することを含む。このフェーズでは、モデルはデータ内の関係を学習する。微調整フェーズでは（例えば、いくつかの実施形態では、事前訓練されたモデルが最終モデルの初期基礎として使用される場合、初期訓練フェーズに加えて、またはその代わりに、ステップ７２０中で実行される）、タスクに固有のより小さなデータセットでモデルを訓練することにより、事前訓練されたモデルを特定のタスクまたはドメインに適応させる。例えば、いくつかの実施形態では、モデルはＵＩオートメーションに焦点を当て、オブジェクトリポジトリを利用することができる。これは、複数またはすべてのタイプの自動化で訓練されたモデルよりも、モデルが次のアクティビティまたはアクティビティのシーケンスをより正確に提案するのに役立ち得る。微調整により、モデルを最初から訓練するのに必要なほど多くのデータを必要とせずに、モデルは特定の語彙および構文、特定のグラフィカル特性、特定のデータ形式などのタスクのニュアンスを学習し得る。事前訓練フェーズで学習した知識を活用することで、微調整されたモデルは、追加の訓練データが比較的少なくても、特定のタスクで最先端のパフォーマンスを達成し得る。

【0159】

ＡＩ／ＭＬモデルが７４０で所望の信頼しきい値を満たさない場合、７５０でＡＩ／ＭＬモデルがその目的をよりよく達成するのを助けるために、訓練データが補充され、および／または報酬関数が修正され、プロセスはステップ７２０に戻る。ＡＩ／ＭＬモデルが７４０で信頼しきい値を満たす場合、ＡＩ／ＭＬモデルは、７６０で評価データに対してテストされ、ＡＩ／ＭＬモデルがよく一般化し、ＡＩ／ＭＬモデルが訓練データに関して過剰に適合しないことを確認する。評価データは、ＡＩ／ＭＬモデルがこれまで処理したことのない情報を含む。評価データについて７７０で信頼しきい値が満たされる場合、ＡＩ／ＭＬモデルは７８０で展開される。そうでない場合、プロセスはステップ７５０に戻り、ＡＩ／ＭＬモデルはさらに訓練される。

【0160】

図８は、本発明の実施形態による、アプリケーション要素間の関係を示すグラフ８００の基本的な例である。グラフ８００は、アプリケーションとそのバージョン、バージョンと画面、画面とグラフィカル要素（ＧＥ）、およびグラフィカル要素とその記述子との間の関係を含む。いくつかの実施形態では、これらのノード間に異なる接続が存在してもよい。例えば、記述子および／またはグラフィカル要素は、それらが出現するそれぞれのバージョン（複数可）に接続され得る。この情報は、ＡＩ／ＭＬモデルを訓練して、ＵＩオートメーションのアクティビティおよびアクティビティのシーケンスをより正確に提案するのに役立ち得る。

【0161】

図９は、本発明の実施形態による、ＲＰＡのための設計時ＡＩ／ＭＬ推奨エンジンのプロセス９００を示すフローチャートである。転移学習が使用される場合、プロセスは、９１０で１または複数のＡＩ／ＭＬモデルを予め訓練することから始まる可能性がある。使用されない場合、またはステップ９１０の後、ＡＩ／ＭＬモデル（複数可）は、所望の目的のために９２０で訓練される。例えば、ＡＩ／ＭＬモデル（複数可）は、ＲＰＡワークフロー内の１または複数のアクティビティの内容に基づき、次のアクティビティを提案する、次のアクティビティのシーケンスを提案する、ＲＰＡワークフロー内の１または複数のアクティビティの少なくとも１つのパラメータに対する変更を提案する、あるいはそれらのいずれかの組み合わせを行うように訓練され得る。ＣＶモデル、特定の種類の自動化に特化したモデルなどの他のモデルも訓練され得る。

【0162】

いくつかの実施形態では、１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、以前に開発されたＲＰＡワークフローに基づくコンテキストを使用して訓練される。特定のＵＩオートメーション実施形態では、１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、オブジェクトリポジトリからのアプリケーション、アプリケーションのバージョン、アプリケーションの画面、および画面のグラフィカル要素に関する情報を使用して訓練される。いくつかのＵＩオートメーション実施形態では、１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、オブジェクトリポジトリからのアプリケーション、アプリケーションのバージョン、アプリケーションの画面、および画面のグラフィカル要素の間の関係を含む１または複数のグラフを使用して訓練される。特定の実施形態では、１または複数のグラフを使用して訓練された１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つは、１または複数のグラフからオントロジー関連を認識するように訓練される。

【0163】

ＡＩ／ＭＬモデル（複数可）を訓練した後、９３０で、開発中のＲＰＡワークフローに関する情報が、１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つに提供される。次いで、ＡＩ／ＭＬモデル（複数可）は、次のアクティビティ、次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらのいずれかの組み合わせに関する提案を提供し、これが９４０で受信される。いくつかの実施形態では、提案に対する信頼スコア（複数可）も出力として提供される。特定の実施形態では、提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらの組み合わせは、現在の開発状態におけるＲＰＡワークフローのコンテキストに基づく。

【0164】

次いで、ＲＰＡデザイナアプリケーションのユーザーは、９５０において、（１）提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらの組み合わせが通知される、あるいは（２）ＲＰＡワークフローは、提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらの組み合わせを開発中のＲＰＡワークフローに組み込むように自動的に変更される。いくつかの実施形態では、提案された次のアクティビティ、提案された次のアクティビティのシーケンス、提案されたパラメータに対する変更、またはそれらの組み合わせを組み込むためのＲＰＡワークフローの自動変更は、自動挿入しきい値を超える信頼スコアに応答して実行される。いくつかの実施形態では、９６０で、ＲＰＡワークフローに対して次に実行するタスクが、１または複数のＡＩ／ＭＬモデルのうちの少なくとも１つからの出力に基づいて提案される。特定の実施形態では、タスクの提案に関連付けられた信頼スコアが自動パフォーマンスしきい値を超えると、提案された次のタスクが自動的に実行される。

【0165】

いくつかの実施形態では、ワークフローの提案および／または修復が反復的に実行され得る。ＡＩ／ＭＬモデルが開発中にワークフローの問題を検出した場合、９７０において、ＡＩ／ＭＬモデルは、アクティビティパラメータを変更すること、アクティビティをタスクに適した別のアクティビティに置き換えること、所与のアクティビティを機能させるために必要な１または複数の追加アクティビティを追加すること等により、ワークフローを自動的に修復し得る。９８０でさらなる開発が必要な場合、プロセスはステップ９３０に戻る（例えば、ユーザーが新しいアクティビティを作成した後、ユーザーがアクティビティのシーケンスを作成した後、所定の時間が経過した後、特定の数のアクティビティが作成された後、ユーザーがレビューボタンをクリックした後など）。このようにして、ＲＰＡワークフローの問題に反復的に対処することができ、ユーザーはワークフローをより迅速に開発することができ、ワークフローの有効性と精度を高めることができる。

【0166】

図１０は、本発明の実施形態による、実行時にＲＰＡロボットのＲＰＡエラー回避または自己修復を実行するプロセス１０００を示すフローチャートである。プロセスは、１０１０でＲＰＡロボットによる自動化を実行することから始まる。いくつかの実施形態では、ＲＰＡロボットまたはＲＰＡロボットによって呼び出されるＡＩ／ＭＬモデルは、自動化に関連するアプリケーションへの変更を検索し得る。アプリケーションのバージョンが変更された場合、または自動化に関連付けられたタスクに別のアプリケーションが使用されている場合、これは自動化を変更する必要があることを示し得る。

【0167】

アプリケーションまたはそのバージョンが自動化に影響を与えるような形で変更された場合、ＲＰＡロボットは１０２０で失敗を回避するか、またはその代わりに、ＲＰＡロボットは１０２０でＲＰＡワークフローのアクティビティが失敗したと判断する。回避の場合、ＲＰＡロボットはＡＩ／ＭＬモデルを呼び出してワークフローに加えるべき変更を決定し、変更を加えて、これらの変更を組み込んだ以前のものを置き換える新しい自動化を生成する。例えば、ＲＰＡロボットがアクティビティが失敗したと判断した場合、失敗は、アクティビティに関連付けられたグラフィカル要素が見つからない、アクティビティが完了せず、一定期間内に次のアクティビティに移動しない、予期した画面が表示されないなどによって検出され得る。１０３０で回避によって問題が解決された場合またはエラーの種類が修復を試みるべきではないものである場合、１０４０で回避の場合にはＲＰＡオートメーションが遂行されるか、または修復を試みるべきでない場合にはＲＰＡオートメーションが終了してユーザーに（例えば、ＲＰＡロボット、ロボットトレイアプリケーションなど介して）通知が提供される。

【0168】

しかしながら、エラーが発生し、エラーが１０３０で修復を試みるべきタイプのものである場合、１０５０で、ＲＰＡロボットの自己修復を実行するように訓練された１または複数のＡＩ／ＭＬモデルに情報が提供される。この情報には、失敗したアクティビティ（例えば、そのパラメータ、ＵＩ記述子（使用されている場合）、前のアクティビティの結果など）に関する情報、スクリーンショット、ＣＶモデルからのグラフィカル要素情報などを含み得る。提案された修正（複数可）は、ステップ１０５０からの入力情報に基づいて、１０６０で１または複数のＡＩ／ＭＬモデルから受信される。

【0169】

次に、ＲＰＡロボット、ＲＰＡデザイナアプリケーション、または別のアプリケーションが１０７０で修正（複数可）を試みる。１０８０で修正が成功した場合、ＲＰＡワークフローは１０９０で修復され、プロセスは１０１０で修復されたＲＰＡオートメーションの遂行に戻る。いくつかの実施形態では、ＲＰＡオートメーションは、失敗が発生したアクティビティから再開される。特定の実施形態では、ＲＰＡオートメーションは最初から再度遂行される。しかしながら、試みられた修正（複数可）が１０８０で失敗した場合、プロセスはステップ１０４０に進む。

【0170】

図９および図１０で実行されるプロセスステップは、本発明の実施形態に従って、図９および図１０で説明したプロセス（複数可）の少なくとも一部を実行するようにプロセッサ（複数可）への命令をエンコードするコンピュータプログラムによって実行されてもよい。コンピュータプログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されていてもよい。コンピュータ読み取り可能な媒体は、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープ、および／またはデータを格納するために使用される他のそのような媒体または媒体の組み合わせであってもよいが、これらに限定されるものではない。コンピュータプログラムは、図９および図１０に記載されたプロセスステップの全部または一部を実装するために、コンピューティングシステム（例えば、図５のコンピューティングシステム５００のプロセッサ（複数可）５１０）のプロセッサ（複数可）を制御するためのコード化された命令を含んでもよく、これはまた、コンピュータ読み取り可能な媒体に格納されてもよい。

【0171】

コンピュータプログラムは、ハードウェア、ソフトウェア、またはハイブリッド実装で実装され得る。コンピュータプログラムは、互いに動作可能な通信を行うモジュールで構成され得、情報または指示をディスプレイに送るように設計されている。コンピュータプログラムは、汎用コンピュータ、ＡＳＩＣ、またはいずれかの他の好適なデバイスで動作するように構成され得る。

【0172】

本発明の様々な実施形態のコンポーネントは、本明細書に一般的に記載され、図示されているように、様々な異なる構成で配置され、設計されてもよいことが、容易に理解されるであろう。したがって、添付の図に表されるような本発明の実施形態の詳細な説明は、特許請求されるような本発明の範囲を限定することを意図するものではなく、本発明の選択された実施形態を代表するものにすぎない。

【0173】

本明細書を通して記載された本発明の特色、構造、または特徴は、１または複数の実施形態では、いずれかの好適な方法で組み合わせられ得る。例えば、本明細書全体を通して「特定の実施形態」、「いくつかの実施形態」、または類似の言語を参照することは、実施形態に関連して記載された特定の特色、構造、または特徴が、本発明の少なくとも１つの実施形態に含まれていることを意味する。したがって、本明細書全体を通して「特定の実施形態では」、「いくつかの実施形態では」、「他の実施形態では」、または類似の言語の出現は、必ずしも全ての実施形態の同じグループを指すものではなく、記載された特色、構造、または特徴は、１または複数の実施形態ではいずれかの好適な方法で組み合わせられ得る。

【0174】

本明細書全体を通して特色、利点、または類似の言語への参照は、本発明で実現され得る特色および利点の全てが、本発明のいずれかの単一の実施形態にあるべきであること、または本発明のいずれかの実施形態であることを意味するものではないことに留意すべきである。むしろ、特色および利点に言及する言語は、実施形態に関連して記載された特定の特色、利点、または特徴が、本発明の少なくとも１つの実施形態に含まれることを意味すると理解される。したがって、本明細書全体での特色および利点の議論、ならびに類似の言語は、同じ実施形態を参照することができるが、必ずしもその必要性はない。

【0175】

さらに、本発明の記載された特色、利点、および特徴は、１または複数の実施形態では、いずれかの好適な方法で組み合わせることができる。関連する技術の当業者は、本発明が、１または複数の特定の実施形態の特定の特徴または利点なしに実施され得ることを認識するであろう。他の例では、追加の特徴および利点は、本発明の全ての実施形態には存在しないかもしれないが特定の実施形態では認識され得る。

【0176】

本分野における通常の技術を有する者は、上述したような本発明を、異なる順序でのステップを用いて、および／または開示されているものとは異なる構成のハードウェア要素を用いて実施することができることを容易に理解するであろう。したがって、本発明は、これらの好ましい実施形態に基づいて説明されてきたが、本発明の精神および範囲内にとどまりながら、特定の変更、変形、および代替的な構成が明らかになることは、当業者には明らかであろう。したがって、本発明の範囲を決定するためには、添付の特許請求の範囲を参照すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【外国語明細書】