ホーム > 特許ランキング > ＵｉＰａｔｈ，Ｉｎｃ．
特表2024-539525セマンティック人工知能を用いたソース画面またはソースデータとターゲット画面との間のセマンティックマッチング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-29
(54)【発明の名称】セマンティック人工知能を用いたソース画面またはソースデータとターゲット画面との間のセマンティックマッチング
(51)【国際特許分類】
G06N 3/04 20230101AFI20241022BHJP
G06N 20/00 20190101ALI20241022BHJP
【ＦＩ】
G06N3/04
G06N20/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021577305
(86)(22)【出願日】2021-10-29
(85)【翻訳文提出日】2022-03-29
(86)【国際出願番号】 US2021057169
(87)【国際公開番号】W WO2023059346
(87)【国際公開日】2023-04-13
(31)【優先権主張番号】17/494,744
(32)【優先日】2021-10-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
２．ＢＬＵＥＴＯＯＴＨ
３．ＷＣＤＭＡ
(71)【出願人】
【識別番号】520262319
【氏名又は名称】ユーアイパス，インコーポレイテッド
【氏名又は名称原語表記】ＵｉＰａｔｈ，Ｉｎｃ．
【住所又は居所原語表記】１ Ｖａｎｄｅｒｂｉｌｔ Ａｖｅｎｕｅ， ６０ｔｈ Ｆｌｏｏｒ， Ｎｅｗ Ｙｏｒｋ， ＮＹ １００１７， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100180781
【弁理士】
【氏名又は名称】安達 友和
(74)【代理人】
【識別番号】100182903
【弁理士】
【氏名又は名称】福田 武慶
(72)【発明者】
【氏名】クリスチャン メイヤー
(72)【発明者】
【氏名】ミルシア ネアゴヴィチ
(72)【発明者】
【氏名】コスミン ヴォイク
(57)【要約】
ロボティックプロセスオートメーション（ＲＰＡ）ワークフローのためのセマンティック人工知能（ＡＩ）を使用したソース画面またはソースデータとターゲット画面との間のセマンティックマッチングが開示される。ソースデータまたはソース画面およびターゲット画面は、マッチングインターフェース上で選択され、人工知能／機械学習（ＡＩ／ＭＬ）モデルを使用してソースデータ／画面とターゲット画面との間でセマンティックマッチングが実行され、マッチングするグラフィカル要素およびマッチングしないグラフィカル要素が強調表示され、開発者がどのグラフィカル要素がマッチングし、どれがマッチングしないかを見ることを可能にする。マッチングインターフェースはまた、個々のマッチングの信頼度スコアを提供し、全体的なマッピングスコアを提供し、開発者がマッチングする／マッチングしないグラフィカル要素を非表示／表示にすることを可能にすることができる。ＲＰＡワークフローのアクティビティは、自動化を実行するために遂行され得るセマンティックマッピングに基づいて自動的に作成することができる。
【特許請求の範囲】
【請求項1】
コンピュータプログラムを格納する非一時的コンピュータ可読媒体であって、前記コンピュータプログラムは、少なくとも１つのプロセッサに、ソース画面またはソースデータの選択を受信させ、
ターゲット画面の選択を受信させ、
前記ソース画面内のラベルと前記ターゲット画面内のラベルとの間か、前記ソースデータ内のデータ要素と前記ターゲット画面内の前記ラベルとの間か、またはその両方でセマンティックマッチングを実行するように訓練された１つまたは複数の人工知能／機械学習（ＡＩ／ＭＬ）モデルを呼び出させ、
前記ターゲット画面内のセマンティックにマッチングするラベルに関連するグラフィカル要素の表示、および前記１つまたは複数のＡＩ／ＭＬモデルからのそれぞれの信頼度スコアを受信させ、
前記セマンティックにマッチングするラベルに関連する前記グラフィカル要素を、マッチングインターフェース内の前記ターゲット画面上に表示させる、ように構成される、非一時的コンピュータ可読媒体。
【請求項2】
前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、前記マッチングインターフェース内の前記１つまたは複数のＡＩ／ＭＬモデルによって識別された前記潜在的なマッチンググラフィカル要素に対する前記それぞれの信頼度スコアを表示させるようにさらに構成される、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項3】
前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、関連するセマンティックにマッチングするラベルを有するとして前記１つまたは複数のＡＩ／ＭＬモデルによって識別された前記ターゲット画面内のグラフィカル要素に対する修正を受信させるか、前記１つまたは複数のＡＩ／ＭＬモデルによって前記ソース画面内のラベルとセマンティックにマッチングしなかった前記ターゲット画面内の新しい要素の表示を受信させるか、またはその両方をさせ、
前記ターゲット画面内の修正されたおよび／または新たにラベル付けされたグラフィカル要素ならびに関連するラベルに関する情報を収集させ、
前記１つまたは複数のＡＩ／ＭＬモデルの再訓練のために前記収集された情報を直接または間接的に格納させる、ようにさらに構成される、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項4】
前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、前記１つまたは複数のＡＩ／ＭＬモデルが前記ターゲット画面内の前記フィールドとセマンティックにマッチングすると識別されたラベルを有する前記ソース画面内の前記フィールドからデータをコピーするか、前記１つまたは複数のＡＩ／ＭＬモデルが前記ソースデータからの前記データ要素とセマンティックにマッチングすると識別されたラベルを有する前記ターゲット画面の前記フィールドに前記ソースデータから前記データ要素をコピーするか、またはその両方を行うロボティックプロセスオートメーション（ＲＰＡ）ワークフロー内の１つまたは複数のアクティビティを生成させるようにさらに構成される、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項5】
前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、前記ＲＰＡワークフローにおいて前記１つまたは複数の生成されたアクティビティを実施するＲＰＡロボットを生成させ、
前記生成されたＲＰＡロボットを実行時環境で展開させる、ようにさらに構成される、請求項４に記載の非一時的コンピュータ可読媒体。
【請求項6】
前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、前記ターゲット画面内のセマンティックにマッチングするラベルに関連する前記グラフィカル要素の前記信頼度スコアから複合信頼度スコアを生成させ、
前記複合信頼度スコアを前記マッチングインターフェースに表示させる、ようにさらに構成される、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項7】
前記１つまたは複数のＡＩ／ＭＬモデルは、所与の単語またはフレーズに対する類似の単語およびフレーズが識別され得るように、前記単語とフレーズとの間のセマンティック関連付けを有する単語およびフレーズを提供し、前記単語およびフレーズが表示される画面に関するコンテキストラベルを提供することによって訓練される、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項8】
前記コンピュータプログラムは、ロボティックプロセスオートメーション（ＲＰＡ）デザイナアプリケーションであるか、またはそれを含む、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項9】
前記１つまたは複数のＡＩ／ＭＬモデルは、コンピュータビジョン（ＣＶ）モデル、光学文字認識（ＯＣＲ）モデル、ラベルマッチングモデル、および入力データマッチングモデルを含み、前記ラベルマッチングモデルは、前記ＯＣＲモデルによって検出されたラベルを前記ＣＶモデルによって検出されたフィールドとマッチングさせ、
前記入力データモデルは、前記ラベルマッチングモデルから前記マッチングラベルを受け取り、前記データソースからの前記データ要素または前記ソース画面からの前記ラベルに関連する前記フィールドからのデータを、前記ターゲット画面上のセマンティックにマッチングするラベルに関連する前記フィールドとセマンティックにマッチングさせる、
請求項１に記載の非一時的コンピュータ可読媒体。
【請求項10】
ロボティックプロセスオートメーション（ＲＰＡ）のためのセマンティック人工知能（ＡＩ）を実行するためのコンピュータにより実施される方法であって、ソース画面内のラベルとターゲット画面内のラベルとの間か、前記ソースデータ内のデータ要素と前記ターゲット画面内の前記ラベルとの間か、またはその両方でセマンティックマッチングを実行するように訓練された１つまたは複数の人工知能／機械学習（ＡＩ／ＭＬ）モデルを、ＲＰＡデザイナアプリケーションによって呼び出すステップと、
前記ＲＰＡデザイナアプリケーションによって、前記ターゲット画面内のセマンティックにマッチングするラベルに関連するグラフィカル要素の表示、ならびに前記１つまたは複数のＡＩ／ＭＬモデルからのそれぞれの信頼度スコアを受信するステップと、
前記ＲＰＡデザイナアプリケーションによって、前記セマンティックにマッチングするラベルに関連する前記グラフィカル要素を、マッチングインターフェース内の前記ターゲット画面上に表示するステップと、
前記ソース画面のフィールドまたは前記ソースデータの前記データ要素からのデータを、前記１つまたは複数のＡＩ／ＭＬモデルが前記ソース画面からの前記ラベルまたは前記ソースデータからの前記データ要素とセマンティックにマッチングすると識別されたというラベルを有する前記ターゲット画面のフィールドに、前記ＲＰＡデザイナアプリケーションによってコピーする、ＲＰＡワークフローにおける１つまたは複数のアクティビティを自動的に生成するステップと、を含む、コンピュータにより実施される方法。
【請求項11】
前記ＲＰＡデザイナアプリケーションによって、前記マッチングインターフェース内の前記１つまたは複数のＡＩ／ＭＬモデルによって識別された前記潜在的なマッチンググラフィカル要素に対する前記それぞれの信頼度スコアを表示するステップをさらに含む、請求項１０に記載のコンピュータにより実施される方法。
【請求項12】
前記ＲＰＡデザイナアプリケーションによって、関連するセマンティックにマッチングするラベルを有するとして前記１つまたは複数のＡＩ／ＭＬモデルによって識別された前記ターゲット画面内のグラフィカル要素に対する修正を受信するか、前記１つまたは複数のＡＩ／ＭＬモデルによって前記ソース画面内のラベルとセマンティックにマッチングしなかった前記ターゲット画面内の新しい要素の表示を受信するか、またはその両方を受信するステップと、前記ＲＰＡデザイナアプリケーションによって、前記ターゲット画面内の修正されたおよび／または新たにラベル付けされたグラフィカル要素ならびに関連するラベルに関する情報を収集するステップと、
前記ＲＰＡデザイナアプリケーションによって、前記１つまたは複数のＡＩ／ＭＬモデルの再訓練のために前記収集された情報を直接または間接的に格納するステップと、
をさらに含む、請求項１０に記載のコンピュータにより実施される方法。
【請求項13】
前記ＲＰＡデザイナアプリケーションによって、前記ＲＰＡワークフローにおいて前記１つまたは複数の自動的に生成されたアクティビティを実装するＲＰＡロボットを生成するステップと、前記ＲＰＡデザイナアプリケーションによって、前記生成されたＲＰＡロボットを実行時環境で展開するステップと、
をさらに含む、請求項１０に記載のコンピュータにより実施される方法。
【請求項14】
前記ＲＰＡデザイナアプリケーションによって、前記ターゲット画面内のセマンティックにマッチングするラベルに関連する前記グラフィカル要素に対する前記それぞれの信頼度スコアを表示するステップをさらに含む、請求項１０に記載のコンピュータにより実施される方法。
【請求項15】
前記ＲＰＡデザイナアプリケーションによって、前記ターゲット画面内のセマンティックにマッチングするラベルに関連する前記グラフィカル要素の前記信頼度スコアから複合信頼度スコアを生成するステップと、前記ＲＰＡデザイナアプリケーションによって、前記複合信頼度スコアを前記マッチングインターフェースに表示するステップと、
をさらに含む、請求項１０に記載のコンピュータにより実施される方法。
【請求項16】
前記１つまたは複数のＡＩ／ＭＬモデルは、所与の単語またはフレーズに対する類似の単語およびフレーズが識別され得るように、前記単語とフレーズとの間のセマンティック関連付けを有する単語およびフレーズを提供し、前記単語およびフレーズが表示される画面に関するコンテキストラベルを提供することによって訓練される、請求項１０に記載のコンピュータにより実施される方法。
【請求項17】
前記１つまたは複数のＡＩ／ＭＬモデルは、コンピュータビジョン（ＣＶ）モデル、光学文字認識（ＯＣＲ）モデル、ラベルマッチングモデル、および入力データマッチングモデルを含み、前記ラベルマッチングモデルは、前記ＯＣＲモデルによって検出されたラベルを前記ＣＶモデルによって検出されたグラフィカル要素とマッチングさせ、
前記入力データモデルは、前記ラベルマッチングモデルから前記マッチングラベルを受け取り、前記データソースからの前記データ要素または前記ソース画面からの前記ラベルに関連するグラフィカル要素からのデータを、前記ターゲット画面上のセマンティックにマッチングするラベルに関連する前記グラフィカル要素とセマンティックにマッチングさせる、
請求項１０に記載のコンピュータにより実施される方法。
【請求項18】
コンピューティングシステムであって、ロボティックプロセスオートメーション（ＲＰＡ）のためのセマンティック人工知能（ＡＩ）を実行するためのコンピュータプログラム命令を格納するメモリと、
前記コンピュータプログラム命令を遂行するように構成された少なくとも１つのプロセッサと、を含み、前記コンピュータプログラム命令は、前記少なくとも１つのプロセッサに、
ソース画面内のラベルとターゲット画面内のラベルとの間、前記ソースデータ内のデータ要素と前記ターゲット画面内の前記ラベルとの間、またはその両方でセマンティックマッチングを実行するように訓練された１つまたは複数の人工知能／機械学習（ＡＩ／ＭＬ）モデルから、前記ターゲット画面内のセマンティックにマッチングするラベルに関連するグラフィカル要素、およびそれぞれの信頼度スコアの指示を受信させ、
前記セマンティックにマッチングするラベルに関連する前記グラフィカル要素を、マッチングインターフェース内の前記ターゲット画面上に表示させ、
関連するセマンティックにマッチングするラベルを有するとして前記１つまたは複数のＡＩ／ＭＬモデルによって識別された前記ターゲット画面内のグラフィカル要素に対する修正を受信させるか、前記１つまたは複数のＡＩ／ＭＬモデルによって前記ソース画面内のラベルとセマンティックにマッチングしなかった前記ターゲット画面内の新しい要素の表示を受信させるか、またはその両方をさせ、
前記ターゲット画面内の修正されたおよび／または新たにラベル付けされたグラフィカル要素ならびに関連するラベルに関する情報を収集させ、
前記１つまたは複数のＡＩ／ＭＬモデルの再訓練のために前記収集された情報を直接または間接的に格納させる、ように構成される、コンピューティングシステム。
【請求項19】
前記コンピュータプログラム命令は、前記少なくとも１つのプロセッサに、前記１つまたは複数のＡＩ／ＭＬモデルが前記ターゲット画面内の前記フィールドとセマンティックにマッチングすると識別されたラベルを有する前記ソース画面内の前記フィールドからデータをコピーするか、前記１つまたは複数のＡＩ／ＭＬモデルが前記ソースデータからの前記データ要素とセマンティックにマッチングすると識別されたラベルを有する前記ターゲット画面の前記フィールドに前記ソースデータから前記データ要素をコピーするか、またはその両方を行うロボティックプロセスオートメーション（ＲＰＡ）ワークフロー内の１つまたは複数のアクティビティを自動的に生成させるようにさらに構成される、請求項１８に記載のコンピューティングシステム。
【請求項20】
前記コンピュータプログラム命令は、前記少なくとも１つのプロセッサに、前記ＲＰＡワークフローにおいて前記１つまたは複数の生成されたアクティビティを実施するＲＰＡロボットを生成させ、
前記生成されたＲＰＡロボットを実行時環境で展開させる、ようにさらに構成される、請求項１９に記載のコンピューティングシステム。
【請求項21】
前記コンピュータプログラム命令は、前記少なくとも１つのプロセッサに、前記セマンティックにマッチングするラベルに関連する前記グラフィカル要素に対する前記それぞれの信頼度スコアを前記ターゲット画面に表示させるようにさらに構成される、請求項１８に記載のコンピューティングシステム。
【請求項22】
前記コンピュータプログラム命令は、前記少なくとも１つのプロセッサに、前記ターゲット画面内のセマンティックにマッチングするラベルに関連する前記グラフィカル要素の前記信頼度スコアから複合信頼度スコアを生成させ、
前記複合信頼度スコアを前記マッチングインターフェースに表示させる、ようにさらに構成される、請求項１８に記載のコンピューティングシステム。
【請求項23】
前記１つまたは複数のＡＩ／ＭＬモデルは、所与の単語またはフレーズに対する類似の単語およびフレーズが識別され得るように、前記単語とフレーズとの間のセマンティック関連付けを有する単語およびフレーズを提供し、前記単語およびフレーズが表示される画面に関するコンテキストラベルを提供することによって訓練される、請求項１８に記載のコンピューティングシステム。
【請求項24】
前記コンピュータプログラム命令は、ロボティックプロセスオートメーション（ＲＰＡ）デザイナアプリケーションであるか、またはそれを含む、請求項１８に記載のコンピューティングシステム。
【請求項25】
前記１つまたは複数のＡＩ／ＭＬモデルは、コンピュータビジョン（ＣＶ）モデル、光学文字認識（ＯＣＲ）モデル、ラベルマッチングモデル、および入力データマッチングモデルを含み、前記ラベルマッチングモデルは、前記ＯＣＲモデルによって検出されたラベルを前記ＣＶモデルによって検出されたフィールドとマッチングさせ、
前記入力データモデルは、前記ラベルマッチングモデルから前記マッチングラベルを受け取り、前記データソースからの前記データ要素または前記ソース画面からの前記ラベルに関連する前記フィールドからのデータを、前記ターゲット画面上のセマンティックにマッチングするラベルに関連する前記フィールドとセマンティックにマッチングさせる、
請求項１８に記載のコンピューティングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０２１年１０月５日に出願された米国非仮特許出願第１７／４９４，７４４号の利益を主張する。この先願の主題は、その全体が参照により本明細書に組み込まれる。
本出願は、２０２１年１０月５日に出願された米国非仮特許出願第１７／４９４，７４４号の利益を主張する。この先願の主題は、その全体が参照により本明細書に組み込まれる。
【0002】
本発明は、一般にセマンティックマッチングに関し、より具体的には、ロボティックプロセスオートメーション（ＲＰＡ）ワークフローのためのセマンティック人工知能（ＡＩ）を使用したソース画面またはソースデータとターゲット画面との間のセマンティックマッチングに関する。
【背景技術】
【0003】
現在、開発者は、アクティビティを使用してＲＰＡデザイナアプリケーションでロボティックプロセスオートメーション（ＲＰＡ）ワークフローを手動で作成する必要がある。ＲＰＡワークフローを作成している間、開発者は、ターゲットグラフィカル要素を画面上に示す必要があり、これにより、ＲＰＡデザイナアプリケーションは、一組のアンカーを有するターゲット要素に対応するセレクタを自動的に生成する。アクティビティの推奨および提案機能は現在ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）に存在するが、例えば、完全に自動化されたＲＰＡワークフロー作成はサポートされていない。ＲＰＡワークフローを作成しながらターゲットグラフィカル要素のすべてを手動で示すことは時間がかかる。したがって、ＲＰＡワークフローを作成するための改善された手法が有益であり得る。
【発明の概要】
【0004】
本発明の特定の実施形態は、現在のＲＰＡワークフロー生成技術によってまだ完全に識別、認識、または解決されていない当技術分野の問題および必要性に対するソリューションを提供することができる。例えば、本発明のいくつかの実施形態は、ＲＰＡワークフローのためのセマンティックＡＩを使用したソース画面またはソースデータとターゲット画面との間のセマンティックマッチングに関する。
【0005】
一実施形態では、非一時的コンピュータ可読媒体がコンピュータプログラムを格納する。コンピュータプログラムは、少なくとも１つのプロセッサに、ソース画面またはソースデータの選択を受信させ、ターゲット画面の選択を受信させるように構成される。コンピュータプログラムはまた、ソース画面内のラベルとターゲット画面内のラベルとの間、ソースデータ内のデータ要素とターゲット画面内のラベルとの間、またはその両方でセマンティックマッチングを実行するように訓練された１つまたは複数のＡＩ／ＭＬモデルを少なくとも１つのプロセッサに呼び出させるように構成される。コンピュータプログラムは、少なくとも１つのプロセッサに、１つまたは複数のＡＩ／ＭＬモデルから、ターゲット画面内のセマンティックにマッチングするラベルに関連するグラフィカル要素の表示およびそれぞれの信頼度スコアを受信させ、セマンティックにマッチングするラベルに関連するグラフィカル要素をマッチングインターフェース内のターゲット画面に表示させるようにさらに構成される。
【0006】
別の実施形態では、ＲＰＡのためのセマンティックＡＩを実行するためのコンピュータにより実施される方法は、ソース画面内のラベルとターゲット画面内のラベルとの間、ソースデータ内のデータ要素とターゲット画面内のラベルとの間、またはその両方でセマンティックマッチングを実行するように訓練された１つまたは複数のＡＩ／ＭＬモデルを、ＲＰＡデザイナアプリケーションによって呼び出すステップを含む。コンピュータにより実施される方法はまた、ＲＰＡデザイナアプリケーションによって、１つまたは複数のＡＩ／ＭＬモデルから、ターゲット画面内のセマンティックにマッチングするラベルに関連するグラフィカル要素およびそれぞれの信頼度スコアの指示を受信するステップと、ＲＰＡデザイナアプリケーションによって、マッチングインターフェース内のターゲット画面上にセマンティックにマッチングするラベルに関連するグラフィカル要素を表示するステップと、を含む。コンピュータにより実施される方法は、ＲＰＡデザイナアプリケーションによって、ソース画面のフィールドまたはソースデータのデータ要素から、ソース画面からのラベルまたはソースデータからのデータ要素とセマンティックにマッチングすると識別された１つまたは複数のＡＩ／ＭＬモデルがラベルを有するターゲット画面のフィールドにデータをコピーするＲＰＡワークフロー内の１つまたは複数のアクティビティを自動的に生成するステップをさらに含む。
【0007】
さらに別の実施形態では、コンピューティングシステムは、ＲＰＡのためのセマンティックＡＩを実行するためのコンピュータプログラム命令を格納するメモリと、コンピュータプログラム命令を遂行するように構成された少なくとも１つのプロセッサと、を含む。コンピュータプログラム命令は、少なくとも１つのプロセッサに、ソース画面内のラベルとターゲット画面内のラベルとの間、ソースデータ内のデータ要素とターゲット画面内のラベルとの間、またはその両方でセマンティックマッチングを実行するように訓練された１つまたは複数のＡＩ／ＭＬモデルから、ターゲット画面内のセマンティックにマッチングするラベルに関連するグラフィカル要素、およびそれぞれの信頼度スコアの表示を受信させるように構成される。コンピュータプログラム命令はまた、少なくとも１つのプロセッサに、セマンティックにマッチングするラベルに関連するグラフィカル要素をマッチングインターフェース内のターゲット画面上に表示させるように構成される。コンピュータプログラム命令は、少なくとも１つのプロセッサに、関連するセマンティックにマッチングするラベルを有するとして１つまたは複数のＡＩ／ＭＬモデルによって識別されたターゲット画面内のグラフィカル要素に対する修正を受信させるか、１つまたは複数のＡＩ／ＭＬモデルによってソース画面内のラベルとセマンティックにマッチングしなかったターゲット画面内の新しい要素の指示を受信させるか、またはその両方を行わせるようにさらに構成される。さらに、コンピュータプログラム命令は、少なくとも１つのプロセッサに、ターゲット画面および関連ラベル内の補正されたおよび／または新たにラベル付けされたグラフィカル要素に関する情報を収集させ、１つまたは複数のＡＩ／ＭＬモデルの再訓練のために収集された情報を直接的または間接的に格納させるように構成される。
【図面の簡単な説明】
【0008】
本発明の特定の実施形態の利点が容易に理解されるように、上記で簡単に説明した本発明のより具体的な説明は、添付の図面に示されている特定の実施形態を参照することによって提供される。これらの図面は、本発明の典型的な実施形態のみを示しており、したがってその範囲を限定するものと見なされるべきではないことを理解されたいが、本発明は、添付の図面を使用することによって追加の具体性および詳細を伴って説明および説明される。
【0009】
【図1】本発明の一実施形態による、ＲＰＡシステムを示すアーキテクチャ図である。
【0010】
【図2】本発明の一実施形態による、展開されたＲＰＡシステムを示すアーキテクチャ図である。
【0011】
【図3】本発明の一実施形態による、デザイナ、アクティビティ、およびドライバの間の関係を示すアーキテクチャ図である。
【0012】
【図4】本発明の一実施形態による、ＲＰＡシステムを示すアーキテクチャ図である。
【0013】
【図5】本発明の一実施形態による、ＲＰＡワークフローのためのセマンティックＡＩを使用して、ソース画面またはソースデータとターゲット画面との間のセマンティックマッチングを実行するように構成されたコンピューティングシステムを示すアーキテクチャ図である。
【0014】
【図6】本発明の一実施形態による、人工知能／機械学習（ＡＩ／ＭＬ）モデルを訓練し、ＲＰＡワークフローのためのセマンティックＡＩを使用してソース画面またはソースデータとターゲット画面との間のセマンティックマッチングを実行するように構成されたシステムを示すアーキテクチャ図である。
【0015】
【図7A】本発明の一実施形態による、画像内のグラフィカル要素を認識するように訓練されたニューラルネットワークの一例を示す図である。
【0016】
【図7B】本発明の一実施形態による、ニューロンの一例を示す図である。
【0017】
【図8】本発明の一実施形態による、ＲＰＡワークフローのためのセマンティックＡＩを使用して、ソース画面またはソースデータとターゲット画面との間のセマンティックマッチングを実行するようにＡＩ／ＭＬモデルを訓練するためのプロセスを示すフローチャートである。
【0018】
【図9A】本発明の一実施形態による、ＲＰＡデザイナアプリケーションのためのマッチングインターフェースを示す図である。
【図9B】本発明の一実施形態による、ＲＰＡデザイナアプリケーションのためのマッチングインターフェースを示す図である。
【図9C】本発明の一実施形態による、ＲＰＡデザイナアプリケーションのためのマッチングインターフェースを示す図である。
【図9D】本発明の一実施形態による、ＲＰＡデザイナアプリケーションのためのマッチングインターフェースを示す図である。
【図9E】本発明の一実施形態による、ＲＰＡデザイナアプリケーションのためのマッチングインターフェースを示す図である。
【図9F】本発明の一実施形態による、ＲＰＡデザイナアプリケーションのためのマッチングインターフェースを示す図である。
【図9G】本発明の一実施形態による、ＲＰＡデザイナアプリケーションのためのマッチングインターフェースを示す図である。
【0019】
【図10】本発明の一実施形態による、自動的に生成されたＲＰＡワークフローを有するＲＰＡデザイナアプリケーションを示す図である。
【0020】
【図11A】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【図11B】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【図11C】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【図11D】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【図11E】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【図11F】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【図11G】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【図11H】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【図11I】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【図11J】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【図11K】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【図11L】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【図11M】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【図11N】本発明の一実施形態による、例示的なセマンティック・コピーアンドペースト・インターフェースの画面を示す図である。
【0021】
【図12】本発明の一実施形態による、セマンティックＡＩを実行するためのＡＩ／ＭＬモデルのアーキテクチャを示すアーキテクチャ図である。
【0022】
【図13】本発明の一実施形態による、ＲＰＡワークフローのためのセマンティックＡＩを使用してソース画面またはソースデータとターゲット画面との間のセマンティックマッチングを実行するためのプロセスを示すフローチャートである。
【0023】
【図14】本発明の一実施形態による、アテンディッドオートメーションインターフェースを使用するためのセマンティックＡＩを使用して、ソース画面またはソースデータとターゲット画面との間のセマンティックマッチングを実行するためのプロセスを示すフローチャートである。
【0024】
別段の指示がない限り、同様の符号は、添付の図面を通して一貫して対応する特徴を示す。
【発明を実施するための形態】
【0025】
いくつかの実施形態は、ＲＰＡワークフローのためのセマンティックＡＩを使用したソース画面またはソースデータとターゲット画面との間のセマンティックマッチングに関する。例えば、いくつかの実施形態では、ソースデータまたはソース画面およびターゲット画面は、マッチングインターフェース上で選択され、人工知能／機械学習（ＡＩ／ＭＬ）モデルを使用してソースデータ／画面とターゲット画面との間でセマンティックマッチングが実行され、マッチングするグラフィカル要素およびマッチングしないグラフィカル要素は、異なる色（例えば、それぞれ緑色および赤色）を使用して強調表示され、開発者がどのグラフィカル要素がマッチングし、どのグラフィカル要素がマッチングしないかを見ることを可能にする。マッチングインターフェースはまた、いくつかの実施形態では、個々のマッチングの信頼度スコアを提供すること、全体的なマッピングスコアを提供すること、および開発者がマッチングする／マッチングしないグラフィカル要素を非表示／表示にすることを可能にすることなどの追加の特徴を有する。さらに、１つまたは複数のＲＰＡワークフローアクティビティは、いくつかの実施形態では、ＲＰＡロボットによって実行される自動化の一部としてセマンティックＡＩ機能を実行するために遂行され得るセマンティックマッピングに基づいて自動的に作成される。
【0026】
いくつかの実施形態では、Ｅｘｃｅｌ（登録商標）スプレッドシート、リレーショナルデータベース、フラットファイルソースなどからデータフィールドのリストを取得することができる。セマンティックマッチングＡＩ／ＭＬモデルは、データ内のエントリを繰り返し、それらをターゲット画面に入力することができる。セマンティックマッチングＡＩ／ＭＬモデルは、データソースのタイプに関係なくこれを行うように訓練され得る。このＡＩ／ＭＬモデルのセマンティックマッチング機能により、１対１のマッチングは必要ない場合がある。例えば、自然言語モデルは、ターゲット画面内の同一または類似の名前／フレーズをソースデータ内のものとマッチングさせることを求めることができる（または、ソースデータから開始し、ターゲット画面内の類似の名前／フレーズを探す）。特定の実施形態では、特定の用語に対して多くの類似の単語またはフレーズが存在する可能性があり、コンテキストに応じて多くの異なるサブセットも存在する可能性があるため、広範な訓練データのセットが使用されて、セマンティックマッチングＡＩ／ＭＬモデルをより正確にする。いくつかの実施形態では、コンテキストも使用され得る。例えば、セマンティックマッチングＡＩ／ＭＬモデルは、所与のターゲットが銀行取引の詳細対請求書、対購入注文対連絡先情報などに関連することを学習することができる。
【0027】
いくつかの実施形態のセマンティックマッチングＡＩ／ＭＬモデルは、設計時間中にＲＰＡ開発者を支援するために展開され得る。しかしながら、いくつかの実施形態では、セマンティックマッチングＡＩ／ＭＬモデルを実行時に使用して、より堅牢な機能性および自己修復を提供することができる。これは、ＵＩ記述子がセマンティックマッチングＡＩ／ＭＬモデルよりもかなり高速である傾向があるため、いくつかの実施形態では一般的ではなく実行時にＵＩ記述子がターゲットグラフィカル要素を識別できない場合に採用され得る。したがって、ＵＩ記述子は、同じまたは同様のターゲット画面に対して最初に使用されるべきである。
【0028】
例えば、ターゲットアプリケーションの新しいバージョンに起因してＵＩが変化する場合など、実行時に所与のターゲット要素が所与のユーザーインターフェース（ＵＩ）記述子によって識別できない場合には、セマンティックマッチングＡＩ／ＭＬモデルを使用してターゲットグラフィカル要素を識別しようと試みることができる。次いで、この情報は、関心のある単語またはフレーズの同義語として追加されてもよく、そのグラフィカル要素のＵＩ記述子は、ＵＩ記述子が今後動作するように更新されてもよい。ユーザーインターフェースが再び変更され、変更されたグラフィカル要素および／またはアンカーが十分に類似している場合、ＲＰＡロボットは、アプリケーションの新しいバージョンでターゲットグラフィカル要素を識別することができる。例えば、米国特許出願公開第１６／９２２，２８９号を参照されたい。
【0029】
ＵＩ記述子は、ＵＩ要素を見つけるための命令のセットである。いくつかの実施形態におけるＵＩ記述子は、ＵＩ要素セレクタ、アンカーセレクタ、コンピュータビジョン（ＣＶ）記述子、統合ターゲット記述子、画面画像キャプチャ（コンテキスト）、要素画像キャプチャ、他のメタデータ（例えば、アプリケーションおよびアプリケーションバージョン）、それらの組み合わせなどを含むカプセル化されたデータ／構造体フォーマットである。カプセル化されたデータ／構造体フォーマットは、プラットフォームに対する将来の更新で拡張可能であり得、上記の定義に限定されない。本発明の範囲から逸脱することなく、画面上のＵＩ要素を識別するための任意の適切なＵＩ記述子を使用することができる。
【0030】
いくつかの実施形態では、セマンティックマッチングＡＩ／ＭＬモデルが検出しているものは、実行時検出のための統一されたターゲット記述子と組み合わされてもよい。そのような実施形態の場合、ソースおよびターゲットの単語およびフレーズに加えて、マッピングが確認されると、統一されたターゲット情報が収集され得る。実行時に、統一ターゲット記述子が最初に試行されてもよく、成功しない場合、セマンティックマッチングＡＩ／ＭＬモデルが使用されてもよい。
【0031】
統合されたターゲット記述子は、ＡＩ／ＭＬモデルよりも安定かつ正確である傾向がある。統一されたターゲット記述子は、複数のタイプのＵＩ記述子を共にチェーン化する。統合ターゲット情報は、使用されるＵＩ記述子のグラフィカル要素の識別を容易にするＵＩ記述子情報を含む。
【0032】
統合ターゲット記述子は、有限状態機械（ＦＳＭ）のように機能することができ、第１のコンテキストでは、第１のＵＩ記述子機構が適用され、第２のコンテキストでは、第２のＵＩ記述子が適用されるなどである。言い換えれば、ＵＩ記述子は、いくつかの実施形態では、画像検出および定義が実行される一部またはすべてのＵＩ検出機構を包含する統一されたターゲットと共に機能することができる。統一されたターゲットは、ＵＩ要素を識別し自動化する複数の技術を単一の結束した手法に統合することができる。統合ターゲットは、いくつかの実施形態では、セレクタベースおよびドライバベースのＵＩ検出機構に優先順位を付け、最初の２つの機構が成功しなかった場合には、フォールバックとしてＣＶを使用してターゲットＵＩ要素を見つけるなど、特定のＵＩ記述子タイプに優先順位を付けることができる。
【0033】
いくつかの実施形態では、セマンティックマッチングＡＩ／ＭＬモデルに加えて、またはその代わりに、自然言語処理（ＮＬＰ）ＡＩ／ＭＬモデルを使用することができる。特定の実施形態では、これらのＡＩ／ＭＬモデルを一緒に使用することができる。例えば、モデルのうちの１つが特定のしきい値を満たすかまたは超える場合、両方のモデルの平均がしきい値を満たすかまたは超える場合などに、マッチングがユーザーに提案され得る。
【0034】
いくつかの実施形態では、フィードバックループ機能が提供される。例えば、ユーザーがマッチングを追加するか、またはセマンティックマッチングＡＩ／ＭＬモデルによって提案されたマッチングを修正する場合、このマッチングに関する情報を保存することができる。この情報は、ターゲットアプリケーションのスクリーンショット、ターゲットアプリケーションのラベルおよびソース画面またはソースデータの対応するラベル、不正確なマッチングのラベルなどを含むことができるが、これらに限定されない。ウェブページ、ＳＡＰ（登録商標）などに対して修正が行われたなど、コンテキストをキャプチャすることもできる。このデータは、セマンティックマッチングＡＩ／ＭＬモデルを再訓練するために、このようにして収集された他のラベル付きデータと共に使用され得る。
【0035】
図１は、本発明の一実施形態による、ＲＰＡシステム１００を示すアーキテクチャ図である。ＲＰＡシステム１００は、開発者がワークフローを設計および実装することを可能にするデザイナ１１０を含む。デザイナ１１０は、アプリケーション統合、ならびに第三者アプリケーション、管理情報技術（ＩＴ）タスク、およびビジネスＩＴプロセスを自動化するためのソリューションを提供することができる。デザイナ１１０は、ビジネスプロセスのグラフィカル表現である自動化プロジェクトの開発を容易にすることができる。簡単に言えば、デザイナ１１０は、ワークフローおよびロボットの開発およびデプロイメントを容易にする。
【0036】
自動化プロジェクトは、本明細書で「アクティビティ」と定義される、ワークフローで開発されたステップのカスタムセット間の遂行順序および関係の制御を開発者に与えることによって、ルールベースのプロセスの自動化を可能にする。デザイナ１１０の一実施形態の一商用例は、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）である。各アクティビティは、ボタンのクリック、ファイルの読み取り、ログパネルへの書き込みなどのアクションを含むことができる。いくつかの実施形態では、ワークフローはネストまたは埋め込みされてもよい。
【0037】
いくつかのタイプのワークフローは、シーケンス、フローチャート、有限状態機械（ＦＳＭ）、および／またはグローバル例外ハンドラを含むことができるが、これらに限定されない。シーケンスは、ワークフローを乱すことなく１つのアクティビティから別のアクティビティへの流れを可能にする線形プロセスに特に適し得る。フローチャートは、より複雑なビジネスロジックに特に適しており、複数の分岐論理演算子を介してより多様な方法で決定の統合およびアクティビティの接続を可能にする。ＦＳＭは、大規模なワークフローに特に適している場合がある。ＦＳＭは、条件（すなわち、遷移）またはアクティビティによってトリガされる有限数の状態をそれらの遂行において使用することができる。グローバル例外ハンドラは、遂行エラーに遭遇したときのワークフローの挙動を判定し、プロセスをデバッグするのに特に適し得る。
【0038】
ワークフローがデザイナ１１０で開発されると、ビジネスプロセスの遂行は、デザイナ１１０で開発されたワークフローを遂行する１つまたは複数のロボット１３０を編成するコンダクタ１２０によって編成される。コンダクタ１２０の実施形態の一商用例は、ＵｉＰａｔｈオーケストレータ（商標）である。コンダクタ１２０は、環境内のリソースの作成、監視、およびデプロイメントの管理を容易にする。コンダクタ１２０は、第三者のソリューションおよびアプリケーションとの統合ポイントとして機能することができる。
【0039】
コンダクタ１２０は、集中ポイントからロボット１３０を接続し遂行するすべてのロボット１３０を管理することができる。管理され得るロボット１３０のタイプは、これらに限定されないが、アテンディッドロボット１３２、アンアテンディッドロボット１３４、開発ロボット（アンアテンディッドロボット１３４と同様であるが、開発および試験の目的で使用される）、および非生産ロボット（アテンディッドロボット１３２と同様であるが、開発および試験の目的で使用される）を含む。アテンディッドロボット１３２は、ユーザーイベントによってトリガされ、同じコンピューティングシステム上で人間と一緒に動作する。アテンディッドロボット１３２は、集中プロセスデプロイメントおよび記録媒体のためのコンダクタ１２０と共に使用することができる。アテンディッドロボット１３２は、人間のユーザーが様々なタスクを達成するのを助けることができ、ユーザーイベントによってトリガすることができる。いくつかの実施形態では、プロセスは、このタイプのロボットのコンダクタ１２０から開始することができず、および／またはロックされた画面の下で実行することができない。特定の実施形態では、アテンディッドロボット１３２は、ロボットトレイまたはコマンドプロンプトからのみ起動することができる。いくつかの実施形態では、アテンディッドロボット１３２は人間の監督下で動作するべきである。
【0040】
アンアテンディッドロボット１３４は、仮想環境で無人で動作し、多くのプロセスを自動化することができる。アンアテンディッドロボット１３４は、リモート遂行、監視、スケジューリング、および作業待ち行列のサポートの提供を担当することができる。いくつかの実施形態では、すべてのロボットタイプのデバッグを、デザイナ１１０で実行することができる。アテンディッドロボットおよびアンアテンディッドロボットの両方は、メインフレーム、ウェブアプリケーション、ＶＭ、エンタープライズアプリケーション（例えば、ＳＡＰ（登録商標）、ＳａｌｅｓＦｏｒｃｅ（登録商標）、Ｏｒａｃｌｅ（登録商標）などによって製造されたもの）、およびコンピューティングシステムアプリケーション（例えば、デスクトップおよびラップトップアプリケーション、モバイルデバイスアプリケーション、ウェアラブルコンピュータアプリケーションなど）を含むがこれらに限定されない様々なシステムおよびアプリケーションを自動化することができる。
【0041】
コンダクタ１２０は、プロビジョニング、デプロイメント、構成、キューイング、監視、ロギング、および／または相互接続性の提供を含むがこれらに限定されない様々な機能を有することができる。プロビジョニングは、ロボット１３０とコンダクタ１２０（例えば、ウェブアプリケーション）との間の接続の作成および保守を含むことができる。デプロイメントは、遂行のために割り当てられたロボット１３０へのパッケージバージョンの正しい配信を保証することを含むことができる。構成は、ロボット環境およびプロセス構成の維持および配信を含むことができる。キューイングは、キューおよびキュー項目の管理を提供することを含むことができる。監視は、ロボット識別データを追跡し、ユーザー権限を維持することを含むことができる。ロギングは、データベース（例えば、ＳＱＬデータベース）および／または別のストレージ機構（例えば、大規模なデータセットを格納し、迅速にクエリする能力を提供するＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標））へのログの格納およびインデックス付けを含むことができる。コンダクタ１２０は、第三者のソリューションおよび／またはアプリケーションのための通信の集中ポイントとして作用することによって相互接続性を提供することができる。
【0042】
ロボット１３０は、デザイナ１１０に構築されたワークフローを実行する遂行エージェントである。ロボット１３０のいくつかの実施形態の一商用例は、ＵｉＰａｔｈ Ｒｏｂｏｔｓ（商標）である。いくつかの実施形態では、ロボット１３０は、デフォルトでＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｉｃｅ Ｃｏｎｔｒｏｌ Ｍａｎａｇｅｒ（ＳＣＭ）管理サービスをインストールする。結果として、そのようなロボット１３０は、ローカルシステムアカウントの下でインタラクティブなＷｉｎｄｏｗｓ（登録商標）セッションを開き、Ｗｉｎｄｏｗｓ（登録商標）サービスの権利を有することができる。
【0043】
いくつかの実施形態では、ロボット１３０は、ユーザーモードで設置することができる。このようなロボット１３０の場合、これは、所与のロボット１３０が設置されているユーザーと同じ権利を有することを意味する。この特徴は、その最大の可能性で各機械の完全な利用を保証する高密度（ＨＤ）ロボットにも利用可能であり得る。いくつかの実施形態では、任意のタイプのロボット１３０をＨＤ環境で構成することができる。
【0044】
いくつかの実施形態におけるロボット１３０は、各々が特定の自動化タスク専用であるいくつかのコンポーネントに分割される。いくつかの実施形態におけるロボットコンポーネントは、ＳＣＭ管理ロボットサービス、ユーザーモードロボットサービス、エグゼキュータ、エージェント、およびコマンドラインを含むが、これらに限定されない。ＳＣＭ管理ロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１２０と遂行ホスト（すなわち、ロボット１３０が遂行されるコンピューティングシステム）との間のプロキシとして機能する。これらのサービスは、ロボット１３０の資格情報で信頼され、管理する。コンソールアプリケーションは、ローカルシステムの下でＳＣＭによって起動される。
【0045】
いくつかの実施形態におけるユーザーモードロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１２０と遂行ホストとの間のプロキシとして機能する。ユーザーモードロボットサービスは、ロボット１３０のための資格情報を信頼し管理することができる。ＳＣＭ管理ロボットサービスがインストールされていない場合、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションを自動的に起動することができる。
【0046】
エグゼキュータは、Ｗｉｎｄｏｗｓ（登録商標）セッション下で所与のジョブを遂行することができる（すなわち、エグゼキュータはワークフローを遂行することができる）。エグゼキュータは、モニターごとのドット／インチ（ＤＰＩ）設定を認識することができる。エージェントは、システムトレイウィンドウに利用可能なジョブを表示するＷｉｎｄｏｗｓ（登録商標）Ｐｒｅｓｅｎｔａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ（ＷＰＦ）アプリケーションであってもよい。エージェントは、サービスのクライアントであってもよい。エージェントは、ジョブの開始または停止および設定の変更を要求することができる。コマンドラインは、サービスのクライアントである。コマンドラインは、ジョブの開始を要求し、その出力を待つことができるコンソールアプリケーションである。
【0047】
上記で説明したようにロボット１３０のコンポーネントを分割することは、開発者、サポートユーザー、およびコンピューティングシステムが各コンポーネントが遂行しているものをより容易に実行、識別、および追跡するのに役立つ。このようにして、エグゼキュータおよびサービスに対して異なるファイアウォールルールを設定するなど、特別な挙動をコンポーネントごとに構成することができる。エグゼキュータは、いくつかの実施形態では、モニターごとにＤＰＩ設定を常に認識することができる。結果として、ワークフローは、それらが作成されたコンピューティングシステムの構成にかかわらず、任意のＤＰＩで遂行され得る。いくつかの実施形態では、デザイナ１１０からのプロジェクトは、ブラウザのズームレベルとは無関係であってもよい。ＤＰＩを認識していない、または意図的に認識していないとマークされたアプリケーションの場合、いくつかの実施形態ではＤＰＩを無効にすることができる。
【0048】
図２は、本発明の一実施形態による、展開されたＲＰＡシステム２００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム２００は、図１のＲＰＡシステム１００であってもよいし、その一部であってもよい。クライアント側、サーバー側、またはその両方は、本発明の範囲から逸脱することなく、任意の所望の数のコンピューティングシステムを含むことができることに留意されたい。クライアント側では、ロボットアプリケーション２１０は、エグゼキュータ２１２と、エージェント２１４と、デザイナ２１６と、を含む。しかしながら、いくつかの実施形態では、デザイナ２１６は、コンピューティングシステム２１０上で実行されていなくてもよい。エグゼキュータ２１２は、実行中のプロセスである。図２に示すように、いくつかのビジネスプロジェクトが同時に実行されてもよい。エージェント２１４（例えば、Ｗｉｎｄｏｗｓ（登録商標）サービス）は、この実施形態ではすべてのエグゼキュータ２１２に対する単一の接続ポイントである。この実施形態におけるすべてのメッセージは、データベースサーバー２４０、インデクササーバー２５０、またはその両方を介してそれらをさらに処理するコンダクタ２３０にログされる。図１に関して上述したように、エグゼキュータ２１２はロボットコンポーネントであってもよい。
【0049】
いくつかの実施形態では、ロボットは、機械名とユーザー名との間の関連付けを表す。ロボットは、複数のエグゼキュータを同時に管理することができる。同時に実行される複数のインタラクティブなセッション（例えば、Ｗｉｎｄｏｗｓ（登録商標）Ｓｅｒｖｅｒ２０１２）をサポートするコンピューティングシステムでは、複数のロボットが同時に実行され、それぞれが一意のユーザー名を使用して別々のＷｉｎｄｏｗｓ（登録商標）セッションで実行されてもよい。これは、上記ではＨＤロボットと呼ばれる。
【0050】
エージェント２１４はまた、ロボットのステータス（例えば、ロボットがまだ機能していることを示す「ハートビート」メッセージを定期的に送信する）を送信し、遂行されるパッケージの必要なバージョンをダウンロードする役割も担う。エージェント２１４とコンダクタ２３０との間の通信は、いくつかの実施形態では常にエージェント２１４によって開始される。通知シナリオでは、エージェント２１４は、ロボットにコマンド（例えば、始動、停止など）を送信するためにコンダクタ２３０によって後で使用されるＷｅｂＳｏｃｋｅｔチャネルを開くことができる。
【0051】
サーバー側には、プレゼンテーション層（ウェブアプリケーション２３２、オープンデータプロトコル（ＯＤａｔａ）代表状態転送（ＲＥＳＴ）アプリケーション・プログラミング・インターフェース（ＡＰＩ）エンドポイント２３４、ならびに通知および監視２３６）、サービス層（ＡＰＩ実装／ビジネスロジック２３８）、永続層（データベースサーバー２４０、インデクササーバー２５０）が含まれる。コンダクタ２３０は、ウェブアプリケーション２３２、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４、通知および監視２３６、ならびにＡＰＩ実装／ビジネスロジック２３８を含む。いくつかの実施形態では、ユーザーがコンダクタ２３０のインターフェース内で（例えば、ブラウザ２２０を介して）実行するほとんどのアクションは、様々なＡＰＩを呼び出すことによって実行される。そのようなアクションは、本発明の範囲から逸脱することなく、ロボット上のジョブの開始、キュー内のデータの追加／削除、無人で実行するためのジョブのスケジューリングなどを含むことができるが、これらに限定されない。ウェブアプリケーション２３２は、サーバープラットフォームのビジュアル層である。この実施形態では、ウェブアプリケーション２３２は、ハイパーテキストマークアップ言語（ＨＴＭＬ）およびＪａｖａＳｃｒｉｐｔ（ＪＳ）を使用する。しかしながら、本発明の範囲から逸脱することなく、任意の所望のマークアップ言語、スクリプト言語、または任意の他のフォーマットを使用することができる。ユーザーは、コンダクタ２３０を制御するための様々なアクションを実行するために、この実施形態ではブラウザ２２０を介してウェブアプリケーション２３２からのウェブページとインタラクトする。例えば、ユーザーは、ロボットグループを作成し、ロボットにパッケージを割り当て、ロボットごとおよび／またはプロセスごとにログを解析し、ロボットを起動および停止することなどができる。
【0052】
ウェブアプリケーション２３２に加えて、コンダクタ２３０はまた、ＯＤａｔａ ＲＥＳＴ ＡＰＩエンドポイント２３４を公開するサービス層を含む。しかしながら、本発明の範囲から逸脱することなく、他のエンドポイントが含まれてもよい。ＲＥＳＴ ＡＰＩは、ウェブアプリケーション２３２とエージェント２１４の両方によって消費される。エージェント２１４は、この実施形態ではクライアントコンピュータ上の１つまたは複数のロボットの管理者である。
【0053】
この実施形態におけるＲＥＳＴ ＡＰＩは、構成、ロギング、監視、およびキューイング機能をカバーする。構成エンドポイントは、いくつかの実施形態では、アプリケーションユーザー、権限、ロボット、アセット、リリース、および環境を定義および構成するために使用され得る。例えば、エラー、ロボットによって送信された明示的なメッセージ、および他の環境固有の情報などの様々な情報をログに記録するために、ＲＥＳＴエンドポイントをロギングすることができる。開始ジョブコマンドがコンダクタ２３０内で使用される場合に遂行されるべきパッケージバージョンをクエリするために、デプロイメントＲＥＳＴエンドポイントがロボットによって使用されてもよい。ＲＥＳＴエンドポイントをキューイングすることは、キューにデータを追加すること、キューからトランザクションを取得すること、トランザクションの状態を設定することなど、キューおよびキュー項目管理を担当することができる。
【0054】
ＲＥＳＴエンドポイントの監視は、ウェブアプリケーション２３２およびエージェント２１４を監視することができる。通知監視ＡＰＩ２３６は、エージェント２１４の登録、エージェント２１４への構成設定の配信、ならびにサーバーおよびエージェント２１４からの通知の送信／受信に使用されるＲＥＳＴエンドポイントであってもよい。通知監視ＡＰＩ２３６はまた、いくつかの実施形態では、ＷｅｂＳｏｃｋｅｔ通信を使用してもよい。
【0055】
永続層は、この実施形態におけるサーバーのペア、すなわちデータベースサーバー２４０（例えば、ＳＱＬサーバー）およびインデクササーバー２５０を含む。この実施形態におけるデータベースサーバー２４０は、ロボット、ロボットグループ、関連するプロセス、ユーザー、役割、スケジュールなどの構成を格納する。この情報は、いくつかの実施形態ではウェブアプリケーション２３２を介して管理される。データベースサーバー２４０は、キューおよびキュー項目を管理することができる。いくつかの実施形態では、データベースサーバー２４０は、（インデクササーバー２５０に加えて、またはその代わりに）ロボットによって記録されたメッセージを格納することができる。
【0056】
インデクササーバー２５０は、いくつかの実施形態ではオプションであり、ロボットによって記録された情報を格納し、インデックス付けする。特定の実施形態では、インデクササーバー２５０は、構成設定を通じて無効にすることができる。いくつかの実施形態では、インデクササーバー２５０は、オープンソースプロジェクトのフルテキスト探索エンジンであるＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）を使用する。ロボット（例えば、ログメッセージまたは行書き込みのようなアクティビティを使用する）によってログされたメッセージは、ロギングＲＥＳＴエンドポイントを介してインデクササーバー２５０に送信されてもよく、そこでそれらは将来の利用のためにインデックス付けされる。
【0057】
図３は、本発明の一実施形態による、デザイナ３１０、アクティビティ３２０，３３０、ドライバ３４０、およびＡＩ／ＭＬモデル３５０の間の関係３００を示すアーキテクチャ図である。上記により、開発者は、デザイナ３１０を使用して、ロボットによって遂行されるワークフローを開発する。ワークフローは、ユーザー定義のアクティビティ３２０およびＵＩ自動化アクティビティ３３０を含むことができる。ユーザー定義のアクティビティ３２０および／またはＵＩ自動化アクティビティ３３０は、いくつかの実施形態では、１つまたは複数のＡＩ／ＭＬモデル３５０を呼び出すことができ、これは、ロボットが動作しているコンピューティングシステムに対してローカルにおよび／またはそこから遠隔に配置することができる。いくつかの実施形態は、本明細書ではコンピュータビジョン（ＣＶ）と呼ばれる、画像内の非テキスト視覚コンポーネントを識別することができる。そのようなコンポーネントに関係するいくつかのＣＶアクティビティは、クリック、タイプ、テキストを取得、ホバー、要素存在、リフレッシュ範囲、ハイライトなどを含み得るが、これらに限定されない。いくつかの実施形態では、クリックは、例えば、ＣＶ、光学文字認識（ＯＣＲ）、ファジー文字マッチング、およびマルチアンカーを使用して要素を識別し、それをクリックする。タイプは、上記および要素内のタイプを使用して要素を識別することができる。テキストを取得し、ＯＣＲを使用して特定のテキストの位置を識別し、それをスキャンすることができる。ホバーは、要素を識別し、それをホバーすることができる。要素が存在することは、上述した技術を使用して、画面上に要素が存在するかどうかをチェックすることができる。いくつかの実施形態では、デザイナ３１０に実装することができるアクティビティは、数百または数千であってもよい。しかしながら、本発明の範囲から逸脱することなく、任意の数および／またはタイプのアクティビティが利用可能であり得る。
【0058】
ＵＩ自動化アクティビティ３３０は、下位レベルコード（例えば、ＣＶアクティビティ）に書き込まれ、画面とのインタラクションを容易にする特別な低レベルのアクティビティのサブセットである。ＵＩ自動化アクティビティ３３０は、ロボットが所望のソフトウェアとインタラクトすることを可能にするドライバ３４０および／またはＡＩ／ＭＬモデル３５０を介したこれらのインタラクションを容易にする。例えば、ドライバ３４０は、ＯＳドライバ３４２、ブラウザドライバ３４４、ＶＭドライバ３４６、エンタープライズアプリケーションドライバ３４８などを含むことができる。ＡＩ／ＭＬモデル３５０のうちの１つまたは複数は、コンピューティングシステムとのインタラクションの実行を決定するためにＵＩ自動化アクティビティ３３０によって使用され得る。いくつかの実施形態では、ＡＩ／ＭＬモデル３５０は、ドライバ３４０を増強するか、それらを完全に置き換えることができる。実際、特定の実施形態では、ドライバ３４０は含まれない。
【0059】
ドライバ３４０は、フックを探し、キーを監視するなど、低レベルでＯＳとインタラクトすることができる。それらは、Ｃｈｒｏｍｅ（登録商標）、ＩＥ（登録商標）、Ｃｉｔｒｉｘ（登録商標）、ＳＡＰ（登録商標）などとの統合を容易にすることができる。例えば、「クリック」アクティビティは、ドライバ３４０を介してこれらの異なるアプリケーションで同じ役割を実行する。
【0060】
図４は、本発明の一実施形態による、ＲＰＡシステム４００を示すアーキテクチャ図である。いくつかの実施形態では、ＲＰＡシステム４００は、図１および／または図２のＲＰＡシステム１００および／または２００であり得るか、それらを含み得る。ＲＰＡシステム４００は、ロボットを実行する複数のクライアントコンピューティングシステム４１０を含む。コンピューティングシステム４１０は、その上で実行されるウェブアプリケーションを介してコンダクタコンピューティングシステム４２０と通信することができる。次に、コンダクタコンピューティングシステム４２０は、データベースサーバー４３０および任意選択のインデクササーバー４４０と通信することができる。
【0061】
図１および図３に関して、これらの実施形態ではウェブアプリケーションが使用されているが、本発明の範囲から逸脱することなく、任意の適切なクライアント／サーバーソフトウェアを使用できることに留意されたい。例えば、コンダクタは、クライアントコンピューティングシステム上の非ウェブベースのクライアントソフトウェアアプリケーションと通信するサーバー側アプリケーションを実行することができる。
【0062】
図５は、本発明の一実施形態による、ＲＰＡワークフローのためのセマンティックＡＩを使用してソース画面／ソースデータとターゲット画面との間のセマンティックマッチングを実行するように構成されたコンピューティングシステム５００を示すアーキテクチャ図である。いくつかの実施形態では、コンピューティングシステム５００は、本明細書に図示および／または記載されたコンピューティングシステムのうちの１つまたは複数であってもよい。コンピューティングシステム５００は、情報を通信するためのバス５０５または他の通信機構と、情報を処理するためにバス５０５に結合されたプロセッサ５１０と、を含む。プロセッサ５１０は、中央プロセッシングユニット（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックスプロセッシングユニット（ＧＰＵ）、それらの複数のインスタンス、および／またはそれらの任意の組み合わせを含む、任意のタイプの汎用または専用プロセッサであってもよい。プロセッサ５１０はまた、複数の処理コアを有してもよく、コアの少なくともいくつかは、特定の機能を実行するように構成されてもよい。いくつかの実施形態では、複数並列処理が使用されてもよい。特定の実施形態では、プロセッサ５１０の少なくとも一方は、生体ニューロンを模倣する処理要素を含むニューロモーフィック回路であってもよい。いくつかの実施形態では、ニューロモーフィック回路は、フォン・ノイマン・コンピューティングアーキテクチャの典型的なコンポーネントを必要としない場合がある。
【0063】
コンピューティングシステム５００は、プロセッサ５１０によって遂行される情報および命令を格納するためのメモリ５１５をさらに含む。メモリ５１５は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、キャッシュ、磁気もしくは光ディスクなどの静的ストレージ、または任意の他のタイプの非一時的コンピュータ可読媒体、またはそれらの組み合わせの任意の組み合わせで構成することができる。非一時的コンピュータ可読媒体は、プロセッサ５１０によってアクセス可能な任意の利用可能な媒体であってもよく、揮発性媒体、不揮発性媒体、またはその両方を含んでもよい。媒体はまた、取り外し可能、取り外し不能、またはその両方であってもよい。
【0064】
さらに、コンピューティングシステム５００は、無線接続および／または有線接続を介して通信ネットワークへのアクセスを提供するためのトランシーバなどの通信デバイス５２０を含む。いくつかの実施形態では、通信デバイス５２０は、周波数分割多元接続（ＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、直交周波数分割多重方式（ＯＦＤＭ）、直交周波数分割多元接続（ＯＦＤＭＡ）、移動体用グローバルシステム（ＧＳＭ）通信、汎用パケット無線サービス（ＧＰＲＳ）、ユニバーサル移動体通信システム（ＵＭＴＳ）、ｃｄｍａ２０００、広帯域ＣＤＭＡ（Ｗ－ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ）、高速パケットアクセス（ＨＳＰＡ）、ロングタームエボリューション（ＬＴＥ）、ＬＴＥアドバンスト（ＬＴＥ－Ａ）、８０２．１１ｘ、Ｗｉ－Ｆｉ、Ｚｉｇｂｅｅ、超広帯域無線（ＵＷＢ）、８０２．１６ｘ、８０２．１５、ホームノードＢ（ＨｎＢ）、Ｂｌｕｅｔｏｏｔｈ、無線周波数識別（ＲＦＩＤ）、赤外線データ協会（ＩｒＤＡ）、近距離通信（ＮＦＣ）、第５世代（５Ｇ）、新無線（ＮＲ）、それらの任意の組み合わせ、ならびに／あるいは本発明の範囲から逸脱することなく、任意の他の現在存在する、または将来実施される通信規格および／またはプロトコルを使用するように構成されてもよい。いくつかの実施形態では、通信デバイス５２０は、本発明の範囲から逸脱することなく、単一、アレイ、位相、切り替え、ビームフォーミング、ビームステア、それらの組み合わせ、および／または任意の他のアンテナ構成である１つまたは複数のアンテナを含むことができる。
【0065】
プロセッサ５１０はさらに、バス５０５を介して、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、電界放出ディスプレイ（ＦＥＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フレキシブルＯＬＥＤディスプレイ、フレキシブル基板ディスプレイ、プロジェクションディスプレイ、４Ｋディスプレイ、高精細ディスプレイ、Ｒｅｔｉｎａ（登録商標）ディスプレイ、インプレーンスイッチング（ＩＰＳ）ディスプレイ、またはユーザーに情報を表示するための任意の他の適切なディスプレイなどのディスプレイ５２５にさらに結合される。ディスプレイ５２５は、抵抗性、容量性、表面弾性波（ＳＡＷ）容量性、赤外線、光学イメージング、分散信号技術、音響パルス認識、フラストレート全内部反射などを使用して、タッチ（触覚）ディスプレイ、３次元（３Ｄ）タッチディスプレイ、マルチ入力タッチディスプレイ、マルチタッチディスプレイなどとして構成され得る。本発明の範囲から逸脱することなく、任意の適切なディスプレイデバイスおよび触覚Ｉ／Ｏが使用され得る。
【0066】
キーボード５３０およびコンピュータマウス、タッチパッドなどのカーソル制御デバイス５３５は、ユーザーがコンピューティングシステム５００とインターフェースすることを可能にするためにバス５０５にさらに結合される。しかしながら、特定の実施形態では、物理的なキーボードおよびマウスが存在しなくてもよく、ユーザーは、ディスプレイ５２５および／またはタッチパッド（図示せず）のみを介してデバイスとインタラクトすることができる。入力デバイスの任意のタイプおよび組み合わせを、設計上の選択事項として使用することができる。特定の実施形態では、物理的入力デバイスおよび／またはディスプレイは存在しない。例えば、ユーザーは、それと通信する別のコンピューティングシステムを介してコンピューティングシステム５００と遠隔でインタラクトすることができ、またはコンピューティングシステム５００は自律的に動作することができる。
【0067】
メモリ５１５は、プロセッサ５１０によって遂行されると機能を提供するソフトウェアモジュールを格納する。モジュールは、コンピューティングシステム５００のためのオペレーティングシステム５４０を含む。モジュールは、本明細書に記載のプロセスまたはその派生物の全部または一部を実行するように構成されたセマンティックマッチングモジュール５４５をさらに含む。コンピューティングシステム５００は、追加の機能を含む１つまたは複数の追加の機能モジュール５５０を含むことができる。
【0068】
当業者は、「システム」が、本発明の範囲から逸脱することなく、サーバー、組込みコンピューティングシステム、パーソナルコンピュータ、コンソール、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、タブレットコンピューティングデバイス、量子コンピューティングシステム、もしくは任意の他の適切なコンピューティングデバイス、またはデバイスの組み合わせとして具現化され得ることを理解するであろう。上記の機能を「システム」によって実行されるものとして提示することは、本発明の範囲を決して限定することを意図するものではなく、本発明の多くの実施形態の一例を提供することを意図している。実際、本明細書に開示する方法、システム、および装置は、クラウドコンピューティングシステムを含むコンピューティング技術と一致する局所化された形態および分散された形態で実装されてもよい。コンピューティングシステムは、ローカルエリアネットワーク（ＬＡＮ）、移動通信ネットワーク、衛星通信ネットワーク、インターネット、パブリッククラウドもしくはプライベートクラウド、ハイブリッドクラウド、サーバーファーム、それらの任意の組み合わせなどの一部であるか、またはそれらによってアクセス可能であり得る。本発明の範囲から逸脱することなく、任意の局所化されたまたは分散されたアーキテクチャが使用されてもよい。
【0069】
本明細書に記載されたシステム特徴のいくつかは、それらの実装の独立性をより具体的に強調するために、モジュールとして提示されていることに留意されたい。例えば、モジュールは、カスタムの超大規模集積（ＶＬＳＩ）回路またはゲートアレイ、ロジックチップ、トランジスタ、または他のディスクリートコンポーネントなどの既製の半導体を含むハードウェア回路として実装されてもよい。モジュールはまた、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス、グラフィックスプロセッシングユニットなどのプログラマブルハードウェアデバイスに実装されてもよい。
【0070】
モジュールはまた、様々なタイプのプロセッサによって実行するためのソフトウェアに少なくとも部分的に実装されてもよい。遂行可能コードの識別されたユニットは、例えば、オブジェクト、プロシージャ、または関数として編成することができるコンピュータ命令の１つまたは複数の物理ブロックまたは論理ブロックを含むことができる。それにもかかわらず、識別されたモジュールの遂行可能ファイルは、物理的に共に配置される必要はないが、論理的に共に結合されたときにモジュールを含み、モジュールの記載された目的を達成する異なる場所に格納された異なる命令を含むことができる。さらに、モジュールは、コンピュータ可読媒体に格納されてもよく、それは、例えば、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープ、および／または本発明の範囲から逸脱することなくデータを格納するために使用される任意の他のそのような非一時的コンピュータ可読媒体であってもよい。
【0071】
実際、遂行可能コードのモジュールは、単一の命令、または多くの命令であってもよく、いくつかの異なるコードセグメント、異なるプログラム、およびいくつかのメモリデバイスに分散されてもよい。同様に、操作データは、本明細書ではモジュール内で識別および図示されてもよく、任意の適切な形態で具現化され、任意の適切なタイプのデータ構造内に編成されてもよい。操作データは、単一のデータセットとして収集されてもよく、または異なるストレージデバイスを含む異なる場所に分散されてもよく、少なくとも部分的に、システムまたはネットワーク上の電子信号としてのみ存在してもよい。
【0072】
図６は、本発明の一実施形態による、ＲＰＡワークフローのためのセマンティックＡＩを使用して、ＡＩ／ＭＬモデルを訓練し、ソース画面／ソースデータとターゲット画面との間のセマンティックマッチングを実行するように構成されたシステム６００を示すアーキテクチャ図である。システム６００は、デスクトップコンピュータ６０２、タブレット６０４、およびスマートフォン６０６などのユーザーコンピューティングシステムを含む。しかしながら、これらに限られるわけではないがスマートウォッチ、ラップトップコンピュータ、モノのインターネット（ＩｏＴ）デバイス、車両コンピューティングシステムなどを含む任意の所望のコンピューティングシステムを、本発明の範囲から逸脱することなく使用することができる。
【0073】
各コンピューティングシステム６０２、６０４、６０６には、ＲＰＡデザイナアプリケーションがインストールされている。ＲＰＡデザイナアプリケーション６１０は、それぞれのユーザーがソース画面またはソースデータおよびターゲット画面を選択することを可能にするマッピング機能を提供する。ＲＰＡデザイナアプリケーション６１０はまた、ネットワーク６２０（例えば、ローカルエリアネットワーク（ＬＡＮ）、移動通信ネットワーク、衛星通信ネットワーク、インターネット、それらの任意の組み合わせなど）を介してサーバー６３０のＡＩ／ＭＬモデル６３２を呼び出すように構成される。サーバー６３０は、データベース６４０にデータを格納し、データベースからデータを取得する。
【0074】
ＡＬ／ＭＬモデル６３２は、セマンティックＡＩ機能、ＣＶ、ＯＣＲ、ＮＬＰなどを提供する。例えば、１つのＡＩ／ＭＬモデルはＣＶ機能を提供することができ、別のＡＩ／ＭＬモデルはＯＣＲを実行することができ、さらに別のＡＩ／ＭＬモデルはこのデータを使用してセマンティックマッチングなどを実行することができる。
【0075】
図７Ａは、本発明の一実施形態による、画像内のグラフィカル要素を認識するように訓練されたニューラルネットワーク７００の一例を示す。ここで、ニューラルネットワーク７００は、入力層の入力「ニューロン」１～Ｉに対して、１９２０ｘ１０８０画面のスクリーンショット画像の画素を受け取る。この場合、Ｉは２，０７３，６００であり、スクリーンショット画像内の画素の総数である。
【0076】
ニューラルネットワーク７００はまた、いくつかの隠れ層を含む。ＤＬＮＮとＳＬＮＮの両方は通常、複数の層を有するが、ＳＬＮＮは場合によっては１つまたは２つの層しか有さず、通常はＤＬＮＮよりも少ない層を有することができる。典型的には、ニューラルネットワークアーキテクチャは、ニューラルネットワーク７００の場合のように、入力層、複数の中間層、および出力層を含む。
【0077】
ＤＬＮＮは、多くの層（例えば、１０、５０、２００など）を有することが多く、後続の層は、典型的には、より複雑で一般的な関数を計算するために前の層からの特徴を再利用する。一方、ＳＬＮＮは、生データサンプルから事前にエキスパート特徴が作成されるため、数層しか有さず、比較的迅速に訓練される傾向がある。しかしながら、特徴抽出は面倒である。一方、ＤＬＮＮは、通常、エキスパート機能を必要としないが、訓練に時間がかかり、より多くの層を有する傾向がある。
【0078】
両方の手法について、層は訓練セット上で同時に訓練され、通常、分離された交差検証セット上のオーバーフィッティングをチェックする。両方の技術は優れた結果をもたらすことができ、両方の手法に対してかなりの熱気がある。個々の層の最適なサイズ、形状、および量は、それぞれのニューラルネットワークによって対処される問題に応じて変化する。
【0079】
図７Ａに戻ると、入力層として提供される画素は、隠れ層１のＪ個のニューロンへの入力として供給される。この例ではすべての画素が各ニューロンに供給されるが、フィードフォワードネットワーク、半径基底ネットワーク、ディープフィードフォワードネットワーク、深層畳み込み逆グラフィックスネットワーク、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、人工ニューラルネットワーク、長／短期メモリネットワーク、ゲーティッドリカレントユニットネットワーク、生成敵対ネットワーク、液体ステートマシン、オートエンコーダ、変分オートエンコーダ、ノイズ除去オートエンコーダ、スパースオートエンコーダ、エクストリームラーニングマシン、エコーステートネットワーク、マルコフチェーン、ホップフィールドネットワーク、ボルツマンマシン、制限ボルツマンマシン、深層残差ネットワーク、コーネンネットワーク、深層確率ネットワーク、深層畳み込みネットワーク、サポートベクターマシン、ニューラルチューリングマシン、または本発明の範囲から逸脱することなく、任意の他の適切なタイプもしくは組み合わせのニューラルネットワークを含むがこれらに限定されない、個別にまたは組み合わせて使用することができる様々なアーキテクチャが可能である。
【0080】
最後の隠れ層が出力層の入力としてその出力を提供するまで、隠れ層２は隠れ層１からの入力を受け取り、隠れ層３は隠れ層２からの入力を受け取り、以下同様にすべての隠れ層について受け取る。ニューロンＩ、Ｊ、Ｋ、およびＬの数は必ずしも等しいとは限らず、したがって、本発明の範囲から逸脱することなく、ニューラルネットワーク７００の所与の層に任意の所望の数の層を使用することができることに留意されたい。実際、特定の実施形態では、所与の層のニューロンのタイプはすべて同じであるとは限らない。
【0081】
ニューラルネットワーク７００は、画像内で発見されたと考えられるグラフィカル要素に信頼度スコアを割り当てるように訓練される。許容できないほど低い尤度とのマッチングを減らすために、いくつかの実施形態では、信頼度しきい値を満たすかまたはそれを超える信頼度スコアを有する結果のみを提供することができる。例えば、信頼度しきい値が８０％である場合、この量を超える信頼度スコアを有する出力を使用することができ、残りは無視することができる。この場合、出力層は、２つのテキストフィールド、テキストラベル、および提出ボタンが見つかったことを示す。ニューラルネットワーク７００は、本発明の範囲から逸脱することなく、これらの要素の位置、寸法、画像、および／または信頼度スコアを提供することができ、これらは、ＲＰＡロボットまたは所与の目的のためにこの出力を使用する別のプロセスによってその後使用することができる。
【0082】
ニューラルネットワークは、典型的には信頼度スコアを有する確率的構築物であることに留意されたい。これは、訓練中に類似の入力が正しく識別された頻度に基づいてＡＩ／ＭＬモデルによって学習されたスコアであり得る。例えば、テキストフィールドは、長方形の形状および白色の背景を有することが多い。ニューラルネットワークは、これらの特性を有するグラフィカル要素を高い信頼度で識別することを学習することができる。いくつかの一般的なタイプの信頼度スコアは、０と１との間の十進数（信頼のパーセンテージとして解釈することができる）、負の∞と正の∞との間の数、または式のセット（例えば、「低」、「中」、「高」）を含む。温度スケーリング、バッチ正規化、重み減衰、負対数尤度（ＮＬＬ）など、より正確な信頼度スコアを得るために、様々な後処理較正技術を使用することもできる。
【0083】
ニューラルネットワークにおける「ニューロン」は、典型的には生物学的ニューロンの機能に基づく数学関数である。ニューロンは、重み付けされた入力を受け取り、それらが出力を次の層に渡すかどうかを管理する総和および活性化関数を有する。この活性化関数は、値がしきい値を下回る場合には何も起こらないが、関数がしきい値を超えて直線的に応答する非線形しきい値化アクティビティ関数であり得る（すなわち、正規化線形ユニット（ＲｅＬＵ）非線形性）。実際のニューロンはほぼ同様のアクティビティ関数を有することができるので、総和関数およびＲｅＬＵ関数が深層学習で使用される。線形変換を介して、情報を減算、追加などすることができる。本質的に、ニューロンは、その基礎となる数学関数によって支配されるように、出力を次の層に渡すゲーティング関数として機能する。いくつかの実施形態では、少なくともいくつかのニューロンに異なる機能を使用することができる。
【0084】
【0085】
【0086】
【0087】
この場合、ニューロン７１０は単層パーセプトロンである。しかしながら、本発明の範囲から逸脱することなく、任意の適切なニューロンタイプまたはニューロンタイプの組み合わせを使用することができる。
【0088】
目標または「報酬関数」は、この場合には画像内のグラフィカル要素の識別に成功するなど、しばしば使用される。報酬関数は、状態空間の探索を案内し、目標（例えば、グラフィカル要素の識別の成功、ＲＰＡワークフローの次の一連のアクティビティの識別の成功など）を達成しようと試みるために、短期報酬および長期報酬の両方を有する中間遷移およびステップを探索する。
【0089】
訓練中、様々なラベル付きデータ（この場合、画像）がニューラルネットワーク７００を介して供給される。識別が成功すると、ニューロンへの入力の重みが強化されるが、識別が失敗すると、ニューロンが弱くなる。平均二乗誤差（ＭＳＥ）または勾配降下法などのコスト関数を使用して、非常に誤った予測よりもはるかに少ないわずかに誤った予測を処理することができる。ＡＩ／ＭＬモデルの性能が特定の数の訓練反復後に改善していない場合には、データサイエンティストは、報酬関数を修正し、識別されていないグラフィカル要素がどこにあるかの指示を提供し、誤って識別されたグラフィカル要素の修正を提供することなどができる。
【0090】
バックプロパゲーションは、フィードフォワードニューラルネットワークにおけるシナプス重みを最適化するための技術である。バックプロパゲーションを使用して、ニューラルネットワークの隠れ層に「フードをポップ」して、すべてのノードがどの程度の損失に関与しているかを確認し、その後に、より高いエラーレートのノードにより低い重みを与えることによって損失を最小化するように重みを更新することができ、その逆も可能である。言い換えれば、バックプロパゲーションにより、データサイエンティストは、実際の出力と所望の出力との差を最小にするように重みを繰り返し調整することができる。
【0091】
バックプロパゲーションアルゴリズムは、最適化理論において数学的に確立されている。教師あり学習では、既知の出力を有する訓練データがニューラルネットワークを通過し、既知のターゲット出力からコスト関数を用いて誤差が計算され、これがバックプロパゲーションの誤差を与える。出力において誤差が計算され、この誤差は、誤差を最小にするネットワーク重みの修正に変換される。
【0092】
【0093】
【0094】
【0095】
重み更新は、以下の式により計算することができる。
【数1】
【0096】
【0097】
ＡＩ／ＭＬモデルは、良好なレベルの精度（例えば、検出のためにＦ２またはＦ４しきい値を使用して９７％以上、および約２，０００エポック）に達するまで、複数のエポックにわたって訓練される。この精度レベルは、いくつかの実施形態では、本発明の範囲から逸脱することなく、Ｆ１スコア、Ｆ２スコア、Ｆ４スコア、または任意の他の適切な技術を使用して決定することができる。訓練データで訓練されると、ＡＩ／ＭＬモデルは、ＡＩ／ＭＬモデルが以前に遭遇したことのない評価データのセットでテストされる。これは、ＡＩ／ＭＬモデルが訓練データ内のグラフィカル要素を十分に識別するが、他の画像には十分に一般化されないように、ＡＩ／ＭＬモデルが「過度にフィット」しないことを保証するのに役立つ。
【0098】
いくつかの実施形態では、どの精度レベルが達成され得るかが分からない場合がある。したがって、評価データを分析するときにＡＩ／ＭＬモデルの精度が低下し始める（すなわち、モデルは訓練データでは良好に機能しているが、評価データではあまり機能しなくなっている）場合には、ＡＩ／ＭＬモデルは、訓練データ（および／または新しい訓練データ）に対する訓練のより多くのエポックを経験することができる。いくつかの実施形態では、ＡＩ／ＭＬモデルは、精度が特定のレベルに達する場合、または訓練されたＡＩ／ＭＬモデルの精度が既存の展開されたＡＩ／ＭＬモデルよりも優れている場合にのみ展開される。
【0099】
特定の実施形態では、訓練されたＡＩ／ＭＬモデルの集合を使用して、関心のあるグラフィカル要素のタイプごとにＡＩ／ＭＬモデルを使用すること、ＯＣＲを実行するためにＡＩ／ＭＬモデルを使用すること、グラフィカル要素間の近接関係を認識するためにさらに別のＡＩ／ＭＬモデルを展開すること、他のＡＩ／ＭＬモデルからの出力に基づいてＲＰＡワークフローを生成するためにさらに別のＡＩ／ＭＬモデルを使用することなどのタスクを達成することができる。これは、例えば、ＡＩ／ＭＬモデルがセマンティック自動化を可能にすることを集合的に可能にすることができる。
【0100】
いくつかの実施形態は、最先端のセンテンス、テキスト、および画像の埋め込みのためのＰｙｔｈｏｎ（商標）フレームワークであるＳｅｎｔｅｎｃｅＴｒａｎｓｆｏｒｍｅｒｓ（商標）などのトランスフォーマーネットワークを使用することができる。そのようなトランスフォーマーネットワークは、高いスコアと低いスコアの両方を有する単語およびフレーズの関連付けを学習する。これは、ＡＩ／ＭＬモデルを訓練して、入力に近いものとそうでないものをそれぞれ判定する。トランスフォーマーネットワークは、単に単語／フレーズのペアを使用するのではなく、フィールド長およびフィールドタイプも使用することができる。
【0101】
図８は、本発明の一実施形態による、ＲＰＡワークフローのためのセマンティックＡＩを使用して、ソース画面またはソースデータとターゲット画面との間のセマンティックマッチングを実行するようにＡＩ／ＭＬモデルを訓練するためのプロセス８００を示すフローチャートである。プロセスは、８１０において、ラベル付き画面（例えば、グラフィカル要素およびテキストが識別される）、単語およびフレーズ、所与の単語またはフレーズに対する類似の単語およびフレーズを識別できるように単語とフレーズとの間のセマンティック関連付けの「シソーラス」などを提供することから始まる。次いで、８２０でＡＩ／ＭＬモデルを複数のエポックで訓練し、８３０で結果を精査する。
【0102】
ＡＩ／ＭＬモデルが８４０で所望の信頼度しきい値を満たさない場合には、８５０でＡＩ／ＭＬモデルがその目的をより良好に達成するのを助けるために、訓練データが補足され、および／または報酬関数が修正され、プロセスはステップ８２０に戻る。ＡＩ／ＭＬモデルが８４０で信頼度しきい値を満たす場合には、ＡＩ／ＭＬモデルが８６０で評価データに対してテストされて、ＡＩ／ＭＬモデルが十分に一般化され、ＡＩ／ＭＬモデルが訓練データに対して過度に適合しないことを保証する。評価データは、ＡＩ／ＭＬモデルが以前に処理されたことがないソース画面、ソースデータ、およびターゲット画面を含むことができる。８７０において評価データについて信頼度しきい値が満たされる場合には、８８０においてＡＩ／ＭＬモデルが展開される。そうでない場合、プロセスはステップ８５０に戻り、ＡＩ／ＭＬモデルがさらに訓練される。
【0103】
いくつかの実施形態は、開発者からのインタラクション入力が少ないまたは最小限である完全に自動化されたワークフローを作成するための自動化プラットフォームにセマンティック自動化をもたらす。セマンティックマッピングを使用して、データソース／ソース画面からのＵＩフィールドは、１つまたは複数のＡＩ／ＭＬモデルを使用してセマンティックにターゲット画面上のＵＩフィールドにマッピングされ、開発者による介入なしにこのセマンティックマッピングから完全に自動化されたワークフローを作成することができる。現在のプロトタイプでは、ＵＩフィールドの最大８０％についてマッピングを達成することができ、開発者の支援により、残りの約２０％をマッピングすることができる。ＡＩ／ＭＬモデルは、マッピングが将来１００％の精度に近づくことを期待して、経時的にＵＩフィールドをより正確にマッチングさせるように学習するように再訓練することができる。
【0104】
いくつかの実施形態では、ＲＰＡデザイナアプリケーションは、ＲＰＡ開発者が２つの画面間またはデータ（例えば、顧客データ）と画面との間のマッチングを実行することを可能にするセマンティックマッチング機能を含む。これは、例えば、リボン、ドロップダウンメニュー、または別の適切なユーザーインターフェース要素の「セマンティックＡＩ」ボタンとして実装されてもよい。セマンティックＡＩ機能を選択すると、ＲＰＡデザイナアプリケーションは、図９Ａ～図９Ｇのマッチングインターフェース９００などのマッチングインターフェースを表示することができる。これは一般的な例であるが、請求書をＳＡＰ（登録商標）にマッピングすること、エクセルスプレッドシートからＣＲＭアプリケーションにデータを自動的に入力すること、ＲＰＡワークフローから別のＲＰＡワークフローにＸＡＭＬをマッピングすることなど、本発明の実施形態によって提供されるセマンティックＡＩには多くの使用事例が存在する。また、この例はテキストフィールドからなるが、ボタン、テキスト領域などの他のグラフィカル要素は、本発明の範囲から逸脱することなくマッピングされてもよい。
【0105】
マッチングインターフェース９００は、マッピングオプションペイン９１０およびマッピングペイン９２０を含む。開発者がマップ画面オプション９１２を選択すると、マッピングペイン９２０にソース選択ボタン９２２およびターゲット選択ボタン９２４が表示される。ユーザーは、戻るボタン９３０をクリックすることで、前回のデザイナアプリケーション画面に戻ることができる。ユーザーがこれらのボタンのうちの１つをクリックすると、ユーザーは、いくつかの実施形態ではＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）のものと同様または同じ画面上表示機能を使用してソースおよびターゲットを選択することができる。例えば、米国特許出願第１７／１００，１４６号を参照されたい。これにより、マッピングペイン９２０には、選択されたソース画面９４０および選択されたターゲット画面９５０が表示される。ソース画面９４０および／またはターゲット画面９５０は、アプリケーションウィンドウ、表示されたアプリケーションの一部などであってもよいことに留意されたい。
【0106】
ユーザーがマップボタン９３２をクリックすると、デザイナアプリケーションは、ソース画面９４０およびターゲット画面９５０上でＯＣＲおよびＣＶを実行する１つまたは複数のＡＩ／ＭＬモデルを呼び出し、ソース画面９４０内のフィールドをターゲット画面９５０のフィールドとマッチングさせようと試みるセマンティックＡＩ解析を実行し、信頼度しきい値を満たすかまたは超える信頼度スコアとのマッチングを表示する。図９Ｂを参照されたい。全体的な信頼度スコア９６０も表示される。いくつかの実施形態では、マッピングは、同じまたは同様の画面で将来使用するためにオブジェクトリポジトリに格納されてもよい。例えば、米国特許出願第１６／９２２，２８９号を参照されたい。
【0107】
この例では、デザイナアプリケーションは、ＡＩ／ＭＬモデルを介して、ソース画面９４０およびターゲット画面９５０のほとんどのフィールドを正しくマッチングさせることができた。ソース画面９４０の通貨フィールドは空白のままであり、したがって、このグラフィカル要素についてはマッチングは試みられなかった。しかしながら、会社フィールドおよび請求書＃フィールドのマッチングは見つからず、これは、これらの要素を異なる色で、信頼度スコア０で強調表示することによって開発者に示す。
【0108】
開発者は、ＡＩ／ＭＬモデルによってマッチングしなかったフィールドを手動でマッチングさせることができ、いくつかの実施形態では、ユーザーマッチング情報は、ＡＩ／ＭＬモデルの再訓練のためのラベル付き訓練データとして自動的に格納される。例えば、ソース画面およびターゲット画面は、バウンディングボックス情報（例えば、座標）、ならびにソース画面９４０およびターゲット画面９５０内のマッチングしたフィールドに関連するラベルの座標およびテキストと共に保存され得る。これは、例えば、図９Ｃに見られ、ユーザーがソース画面９４０の請求書＃フィールドがターゲット画面９５０の請求書番号フィールドとマッチングすることを示した。これにより、その要素の信頼度スコアおよび全体的な信頼度スコア９６０がそれに応じて増加する。
【0109】
いくつかの実施形態では、開発者は、ターゲットフィールド名の同義語を提供するように促されるか、そうでなければ許可され得る。例えば、図９Ｃの例では、この要素が正しく識別されなかったため、ユーザーは、同義語テキストフィールド９５２に請求書番号フィールドの同義語を入力するように促される。例えば、開発者は、「請求書番号」、「勘定書番号」、「請求書ＩＤ」、「勘定書ＩＤ」などを追加することができる。特定の実施形態では、開発者は、所与のグラフィカル要素が正しく識別された場合であっても、同義語を入力することができる。この機能はまた、開発者が独自の用語およびコンテキストを追加することを可能にする。例えば、ターゲットアプリケーションがＡＩ／ＭＬモデルが以前に見たことのないツールである場合には、開発者は、そのツールについてＡＩ／ＭＬモデルをより正確にするために用語を追加することができる。次いで、この情報を使用してＡＩ／ＭＬモデルを訓練し、そのツールだけでなく、グローバルに他のターゲット画面に見られる類似の単語およびフレーズについてもより正確になるようにすることができる。
【0110】
特定の実施形態では、同義語が開発者に提案されてもよい。これらは、ＡＩ／ＭＬモデルをそのコンテキストに対してより正確にするために受け入れまたは拒否することができる。これにより、ＡＩ／ＭＬモデルは、正の例と負の例の両方を学習することができる。それはまた、ＡＩ／ＭＬモデルが、所与のコンテキストに適用可能な同義語の異なるサブセットまたは同義語の代替セットを学習することを可能にする。
【0111】
いくつかの実施形態では、画像以外のソースデータも使用することができる。例えば、開発者がマップデータオプション９１４を選択し、図９Ｄのソース選択ボタン９２６をクリックすると、データソースオプション９２７が表示される。図９Ｅを参照されたい。開発者は、Ｅｘｃｅｌ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）、ＲＰＡワークフローのＸＡＭＬ、コンマ区切り変数（ＣＳＶ）ファイルなどの所望のソースデータフォーマットを選択することができる。
【0112】
次いで、データソース９７０およびターゲット画像９５０が表示される。開発者がマップボタン９３２をクリックすると、ＡＩ／ＭＬモデルは、ソース情報をターゲット画像９５０内のフィールドにマッチングさせようと試みる。図９Ｆを参照されたい。この場合、ソースデータ９７０は、ソース画面９４０と同じ情報を含む。図９Ｇでは、開発者は図９Ｃと同様の修正を行い、全体的な信頼度スコア９６０が改善する。
【0113】
ソース画面とターゲット画面とのラベル間の関係を使用して、所与のテキストフィールドが表すことを意味するものを決定することができるが、テキストフィールドは互いに類似または同じであってもよい。これは、１つまたは複数のアンカーを所与のテキストフィールドに割り当てることによって達成され得る。例えば、フィールド都市は、ターゲット画面９５０内の関連するテキストフィールドの左に直接表示され、他のテキストフィールドはこのラベルを含まないため、デザイナアプリケーションおよび／またはＡＩ／ＭＬモデルは、これらのフィールドがリンクされていると判定し、都市ラベルをターゲットテキストフィールドのアンカーとして割り当てることができる。ラベルがテキストフィールドを一意に識別しない場合には、１つまたは複数の他のグラフィカル要素をアンカーとして割り当てることができ、それらの幾何学的関係を使用して所与のターゲット要素を一意に識別することができる。例えば、米国特許第１０，９３６，３５１号および米国特許出願第１７／１００，１４６号を参照されたい。
【0114】
ソース画面またはソースデータおよびターゲット画面がマッピングされた後に、ユーザーは作成ボタン９３４をクリックして、所望のマッピングを実装するＲＰＡワークフロー内の１つまたは複数のアクティビティを自動的に生成することができる。図９Ｃおよび図９Ｇを参照されたい。これにより、ＲＰＡワークフローアクティビティが自動的に作成される。いくつかの実施形態では、ＲＰＡワークフローは、作成後にユーザーが所望するマッピングタスクを実行するために直ちに遂行される。
【0115】
ＲＰＡワークフローを自動的に作成するために、デザイナアプリケーションはＵＩオブジェクトリポジトリを利用することができる。例えば、米国特許出願公開第１６／９２２，２８９号を参照されたい。ＵＩオブジェクトリポジトリ（例えば、ＵｉＰａｔｈ Ｏｂｊｅｃｔ Ｒｅｐｏｓｉｔｏｒｙ（商標））は、それ自体がＵＩ記述子（例えば、アプリケーションの特定のバージョンおよびその１つまたは複数の画面について）の集合であるＵＩオブジェクトライブラリの集合である。同様のグラフィカル要素のための統合ターゲット制御は、所与のグラフィカル要素とインタラクトする方法をＲＰＡロボットに指示するＵＩオブジェクトリポジトリから取得することができる。
【0116】
そのような例は図１０に示されており、本発明の一実施形態による、ＲＰＡワークフロー１０１０において自動的に生成されたアクティビティを有するＲＰＡデザイナアプリケーション１０００を示している。セマンティックマッチングＡＩ／ＭＬモデルは、上記に従って、ソース画面またはソースデータとターゲット画面との間の関連付けを認識するように訓練されている。図９Ａ～図９Ｇおよび図１０の例の場合、セマンティックマッチングＡＩ／ＭＬモデルは、ソース画面内のフィールドからのデータまたはソースデータがターゲット画面内のマッチングフィールドにコピーされるべきであると判定することができる。したがって、ＲＰＡデザイナアプリケーション１０００は、ＵＩオブジェクトリポジトリからターゲット要素のＵＩ記述子を取得し、ターゲット画面をクリックし、各ターゲットフィールドをクリックし、これらのＵＩ記述子を使用してソース画面またはデータソースからのテキストをターゲット画面のそれぞれのマッチングするフィールドに入力するアクティビティをＲＰＡワークフロー１０１０に追加することを知っている。ＲＰＡデザイナアプリケーション１０００は、この機能を実装するＲＰＡワークフロー１０１０内の１つまたは複数のアクティビティを自動的に生成する。いくつかの実施形態では、開発者はこれらのアクティビティを修正することを許可されない場合がある。しかしながら、特定の実施形態では、開発者は、アクティビティの構成を修正すること、アクティビティを編集するための完全な権限を有することなどを可能にすることができる。いくつかの実施形態では、ＲＰＡデザイナアプリケーションは、ＲＰＡワークフローを実装するＲＰＡロボットを自動的に生成し、ＲＰＡロボットを遂行するので、開発者からのさらなる指示なしにソース画面またはソースデータからの情報がターゲット画面に自動的にコピーされる。
【0117】
いくつかの実施形態は、実質的なプログラミング経験のない開発者がセマンティック自動化を実行することを可能にするセマンティック・コピーアンドペースト機能を提供する。図１１Ａは、本発明の一実施形態による、セマンティック・コピーアンドペースト・インターフェース１１００を示す。いくつかの実施形態では、セマンティック・コピーアンドペースト・インターフェース１１００は、ＲＰＡデザイナアプリケーションの一部である。しかしながら、特定の実施形態では、セマンティック・コピーアンドペースト・インターフェース１１００は、スタンドアロンアプリケーションの一部である。セマンティック・コピーアンドペースト・インターフェース１１００は、データ抽出ボタン１１１０、データ入力ボタン１１２０、コピーアンドペーストボタン１１３０、抽出データ閲覧ボタン１１４０、および閉じるボタン１１５０を含む。セマンティック・コピーアンドペースト・インターフェース１１００を使用して、ユーザーは、データを抽出し、データを入力し、またはソースアプリケーションからターゲットアプリケーションへのコピーアンドペーストを実行することができる。
【0118】
データ抽出ボタン１１１０をクリックすると、デザイナアプリケーションは開発者にデータ抽出インターフェース１１１２を介してデータを抽出したいアプリケーションを開いて指示するよう求める。図１１Ｂを参照されたい。ユーザーがデータ抽出インターフェース１１１２のアプリケーション表示ボタン１１１４をクリックすると、画面に表示する機能が有効になる（例えば、ＵｉＰａｔｈ Ｓｔｕｄｉｏ（商標）によって提供されるものと同じまたは類似のもの）。次いで、ユーザーは、データソースとして請求書１１１６を選択することができる。
【0119】
アプリケーションをソース（すなわち、この例では請求書１１１３）として示した後、セマンティック自動化ロジック（すなわち、セマンティックマッチングＡＩ／ＭＬモデル）は、分類アルゴリズムを使用してソースのタイプを予測することができ、データ抽出インターフェース１１１２は、ソースのタイプの予測をドロップダウンメニュー１１１６に表示する。図１１Ｃを参照されたい。ユーザーは、確認ボタン１１１７を使用して予測を確認するか、またはドロップダウンメニュー１１１６から別のタイプを選択することができる。図１１Ｄを参照されたい。次いで、抽出されたデータの要約１１１８がデータ抽出インターフェース１１１２に提供される。図１１Ｅを参照されたい。その後に、ユーザーは、データ入力を実行するためにセマンティック・コピーアンドペースト・インターフェース１１００に戻るために戻るボタン１１１９を選択することができる。
【0120】
入力データボタン１１２０を選択すると、デザイナアプリケーションは、開発者に、データ入力インターフェース１１２２を介してデータを抽出したいアプリケーションを開いて示すように求める。図１１Ｆを参照されたい。ユーザーがデータ入力インターフェース１１２２のアプリケーションボタン１１２４をクリックすると、画面上機能が有効になっていることを示す。次いで、ユーザーは、ウェブ請求書処理ページ１１２３をターゲットアプリケーションとして選択することができる。
【0121】
ウェブ請求書処理ページ１１２３をターゲットとして示した後に、セマンティック自動化ロジックは、分類アルゴリズムを使用してターゲットのタイプを予測することができ、データ入力インターフェース１１２２は、ターゲットのタイプの予測をドロップダウンメニュー１１２６に表示する。図１１Ｇを参照されたい。ユーザーは、確認ボタン１１２７を使用して予測を確認するか、またはドロップダウンメニュー１１２６から別のタイプを選択することができる。図１１Ｈを参照されたい。ユーザーによる確認後に、デザイナアプリケーションは、抽出されたデータを使用してウェブブラウザ１１２３に自動的に入力する。図１１Ｉを参照されたい。
【0122】
ユーザーはまた、コピーアンドペーストボタン１１３０を使用してデータを「コピーアンドペースト」することができる。コピーアンドペーストボタン１１３０を選択すると、デザイナアプリケーションは、開発者に、コピーアンドペーストインターフェース１１３２を介してデータを入力したいアプリケーションを開いて示すように求める。図１１Ｊを参照されたい。ユーザーがコピーアンドペーストインターフェース１１３２のアプリケーションボタン１１３４を指示するクリックを行うと、画面上機能が有効になっていることを指示する。次に、ユーザーは、ターゲットアプリケーションとして行項目入力ページ１１３３を選択することができる。
【0123】
行項目入力ページ１１３３をターゲットとして示した後に、セマンティック自動化ロジックは、分類アルゴリズムを使用してターゲットのタイプを予測することができ、コピーアンドペーストインターフェース１１３２は、ターゲットのタイプの予測をドロップダウンメニュー１１３６に表示する。図１１Ｋを参照されたい。ユーザーは、確認ボタン１１３７を使用して予測を確認するか、またはドロップダウンメニュー１１３６から別のタイプを選択することができる。図１１Ｌを参照されたい。ユーザーは、スプレッドシート１１３５などの可能性のリストから選択することもできる。ユーザーによる確認後に、デザイナアプリケーションは、スプレッドシート１１３５から行項目入力ページ１１３３にデータを自動的にコピーする。図１１Ｍを参照されたい。
【0124】
いくつかの実施形態では、デザイナアプリケーションは、コピーアンドペーストインターフェース１１３２を介して、所与の行項目をターゲットアプリケーションに入力する前にユーザーを促すことができる。そのような例は図１１Ｎに示されており、ユーザーは、各行が行項目入力ページ１１３３に入力される前に各行を精査し承認する。コピーアンドペーストインターフェース１１３２は、スプレッドシート１１３５の次の行から入力されるデータのプレビュー１１３８を示す。ユーザーが行確認ボタン１１３９をクリックすると、デザイナアプリケーションは、プレビュー１１３８に示す行を行項目入力ページ１１３３の対応するフィールドに入力する。
【0125】
図１２は、本発明の一実施形態による、セマンティックＡＩを実行するためのＡＩ／ＭＬモデルのアーキテクチャ１２００を示すアーキテクチャ図である。ＣＶモデル１２１０は、画面内のグラフィカル要素を識別するためのコンピュータビジョン機能を実行し、ＯＣＲモデル１２２０は、画面のテキスト検出および認識を実行する。ソース画面とターゲット画面の両方が使用される実施形態では、ＣＶモデル１２１０およびＯＣＲモデル１２２０は、両方の画面でＣＶおよびＯＣＲ機能を実行する。
【0126】
次いで、ＣＶモデル１２１０およびＯＣＲモデル１２２０は、ＯＣＲモデル１２２０からのラベルをＣＶモデル１２１０からのグラフィカル要素とマッチングさせるラベルマッチングモデル１２３０に、ターゲット画面またはターゲット画面とソース画面の両方における検出されたグラフィカル要素およびテキストのタイプ、位置、サイズ、テキストなどを提供する。次いで、画面からのマッチングラベルおよび関連するグラフィカル要素は、データソースまたはソース画面からの入力データをターゲット画面内のグラフィカル要素のラベルとマッチングさせる入力データマッチングモデル１２４０に渡される。次いで、マッチングおよびそれぞれの信頼度は、入力データマッチングモデル１２４０からの出力として提供される。いくつかの実施形態では、異なる方法で（例えば、それらは異なるニューラルネットワークアーキテクチャを有し、異なる戦略を採用し、異なる訓練データで訓練されているなど）マッチングを実行する入力データマッチングに複数のＡＩ／ＭＬモデルを使用することができる。
【0127】
いくつかの実施形態では、ＡＩ／ＭＬモデルは、同じラベルを有するフィールドが異なるコンテキストを有し得ることを学習することができる。例えば、画面の請求情報と出荷情報セクションの両方が「住所」ラベルを有することができるが、ＡＩ／ＭＬモデルは、一方の近くの要素のパターンが他方の近くの要素のパターンとは異なることを学習することができる。次いで、画面のこれらのセクションは、テキストフィールドがターゲットであり、「住所」ラベルおよび認識されたパターンを有するセクションがアンカーであるマルチアンカー技術におけるアンカーとして使用され得る。例えば、米国特許第１０，９３６，３５１号および米国特許出願第１７／１００，１４６号を参照されたい。
【0128】
図１３は、本発明の一実施形態による、ＲＰＡワークフローのためのセマンティックＡＩを使用してソース画面またはソースデータとターゲット画面との間のセマンティックマッチングを実行するためのプロセス１３００を示すフローチャートである。プロセスは、１３０５でソース画面またはソースデータの選択を受信し、１３１０でターゲット画面の選択を受信することから始まる。次いで、ソース画面内のラベルとターゲット画面内のラベルとの間、ソースデータ内のデータ要素とターゲット画面内のラベルとの間、またはその両方でセマンティックマッチングを実行するように訓練された１つまたは複数のＡＩ／ＭＬモデルが１３１５で呼び出される。いくつかの実施形態では、１つまたは複数のＡＩ／ＭＬモデルは、所与の単語またはフレーズに対する類似の単語およびフレーズが識別され得るように、単語とフレーズとの間のセマンティック関連付けを有する単語およびフレーズを提供し、単語およびフレーズが表示される画面に関するコンテキストラベルを提供することによって訓練される。いくつかの実施形態では、１つまたは複数のＡＩ／ＭＬモデルは、ＣＶモデル、ＯＣＲモデル、ラベルマッチングモデル、および入力データマッチングモデルを含み、ラベルマッチングモデルは、ＯＣＲモデルによって検出されたラベルをＣＶモデルによって検出されたフィールドとマッチングさせ、入力データモデルは、ラベルマッチングモデルからマッチングラベルを受け取り、データソースからのデータ要素またはソース画面からのラベルに関連するフィールドからのデータを、ターゲット画面上のセマンティックにマッチングするラベルに関連するフィールドとセマンティックにマッチングさせる。
【0129】
１３２０で、ターゲット画面内のセマンティックにマッチングするラベルに関連するグラフィカル要素（例えば、位置、座標、タイプなど）、および１つまたは複数のＡＩ／ＭＬモデルからのそれぞれの信頼度スコアの表示が受信される。セマンティックにマッチングするラベル、個別信頼度スコア、および全体的な信頼度スコアに関連するグラフィカル要素は、１３２５において、マッチングインターフェース内のターゲット画面に表示される。例えば、ターゲット画面を示すことができ、マッチングする要素を強調表示するか、そうでなければ開発者に明らかにすることができる。いくつかの実施形態では、ソース画面またはソースデータ内のマッチングするフィールドとターゲット画面との間に接続が描画されている。特定の実施形態では、マッチングが見つからなかったソース画面またはソースデータ内の要素は、強調表示されるか、そうでなければ開発者に示す。
【0130】
関連するセマンティックにマッチングするラベルを有するとして１つまたは複数のＡＩ／ＭＬモデルによって識別されたターゲット画面内のグラフィカル要素に対する修正、１つまたは複数のＡＩ／ＭＬモデルによってソース画面内のラベルとセマンティックにマッチングしなかったターゲット画面内の新しい要素の指示、またはその両方が、１３３０で受信される。１３３５において、ターゲット画面および関連するラベル内の修正されたおよび／または新たにラベル付けされたグラフィカル要素に関する情報が収集され、直接的（すなわち、コンピューティングシステムのメモリに直接格納される）または間接的（すなわち、格納のために外部システムに送信される）に格納される。ステップ１３３０および１３３５は、そのような修正が開発者によって提供される場合に実行される。
【0131】
１つまたは複数のＡＩ／ＭＬモデルがターゲット画面内のフィールドとセマンティックにマッチングすると識別されたラベルを有するソース画面内のフィールドからデータをコピーするか、１つまたは複数のＡＩ／ＭＬモデルがソースデータからのデータ要素とセマンティックにマッチングすると識別されたラベルを有するターゲット画面のフィールドにソースデータからデータ要素をコピーするか、またはその両方を行うＲＰＡワークフロー内の１つまたは複数のアクティビティが１３４０において自動的に生成される。ＲＰＡワークフローにおいて生成された１つまたは複数のアクティビティを実装するＲＰＡロボットが１３４５で生成され展開される。
【0132】
実行時に、展開されたＲＰＡロボットは、ＵＩオブジェクトリポジトリからのＲＰＡワークフローに従って自動化を実行するために識別しようとしているグラフィカル要素のＵＩ記述子にアクセスし、これらのＵＩ記述子を使用してターゲット画面内のグラフィカル要素を識別しようとする。１３５５ですべてのターゲットグラフィカル要素を識別することができる場合には、１３６０で情報がソース画面またはデータソースからターゲット画面にコピーされる。しかしながら、１３５５ですべてのグラフィカル要素が見つからない場合には、ＲＰＡロボットはＡＩ／ＭＬモデルを呼び出して、欠落したグラフィカル要素を識別しようと試み、１３６５でこれらのそれぞれのグラフィカル要素のＵＩ記述子を更新する。例えば、ＲＰＡロボットは、ＡＩ／ＭＬモデルによって提供される記述子情報を使用して、ＵＩオブジェクトリポジトリ内の欠落要素のそれぞれのＵＩ記述子を更新することができるので、他のＲＰＡロボットは将来同じ問題に遭遇しない。この意味で、システムは自己修復型である。
【0133】
図１４は、本発明の一実施形態による、アテンディッドオートメーションインターフェースを使用するためのセマンティックＡＩを使用して、ソース画面またはソースデータとターゲット画面との間のセマンティックマッチングを実行するためのプロセス１４００を示すフローチャートである。プロセスは、１４０５において、セマンティック・コピーアンドペースト・インターフェースを提供することから始まる。１４１０において、ソースアプリケーションまたはデータソースからデータが抽出される。ソースのタイプは、１４１５において分類アルゴリズムを使用して予測される。いくつかの実施形態では、セマンティック・コピーアンドペースト・アプリケーションは、１４２０において、予測の確認またはユーザーによる予測への変更を受信するのを待つ。
【0134】
ユーザーがデータを抽出したいターゲットアプリケーションの指示が１４２５で受信される。ターゲットのタイプは、１４３０において分類アルゴリズムを使用して予測される。いくつかの実施形態では、セマンティック・コピーアンドペースト・アプリケーションは、１４３５において、予測の確認またはユーザーによる予測への変更を受信するのを待つ。
【0135】
いくつかの実施形態では、ユーザーは、１４４０で各データ入力の前に促される。例えば、所与のデータ項目（例えば、データライン、個々のグラフィカル要素など）を入力する前に、ユーザーは、入力されるデータがターゲットアプリケーションに表示されるのを見ることができる。次いで、ユーザーは、入力または拒否をプレビューして承認することができる。その後に、ソースからのデータは、１４４５においてターゲットアプリケーションに入力される。
【0136】
図１３および図１４で実行されるプロセスステップは、本発明の実施形態に従って、プロセッサが図１３および図１４で説明したプロセスの少なくとも一部を実行するための命令を符号化するコンピュータプログラムによって実行されてもよい。コンピュータプログラムは、非一時的コンピュータ可読媒体上で具現化されてもよい。コンピュータ可読媒体は、ハードディスクドライブ、フラッシュデバイス、ＲＡＭ、テープ、および／またはデータを格納するために使用される任意の他のそのような媒体または媒体の組み合わせであってもよいが、これらに限定されない。コンピュータプログラムは、コンピュータ可読媒体に格納することもできる、図１３および図１４で説明したプロセスステップの全部または一部を実施するようにコンピューティングシステムのプロセッサ（例えば、図５のコンピューティングシステム５００のプロセッサ５１０）を制御するための符号化命令を含むことができる。
【0137】
コンピュータプログラムは、ハードウェア、ソフトウェア、またはハイブリッド実装で実施することができる。コンピュータプログラムは、互いに動作可能に通信し、表示するために情報または命令を渡すように設計されたモジュールから構成することができる。コンピュータプログラムは、汎用コンピュータ、ＡＳＩＣ、または任意の他の適切なデバイス上で動作するように構成することができる。
【0138】
本発明の様々な実施形態のコンポーネントは、本明細書の図に一般的に記載および図示するように、多種多様な異なる構成で配置および設計されてもよいことが容易に理解されよう。したがって、添付の図面に表される本発明の実施形態の詳細な説明は、特許請求される本発明の範囲を限定することを意図するものではなく、本発明の選択された実施形態を単に代表するものである。
【0139】
本明細書を通して説明される本発明の特徴、構造、または特性は、１つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。例えば、本明細書全体を通して「特定の実施形態」、「いくつかの実施形態」、または同様の文言への言及は、実施形態に関連して説明される特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通して、「特定の実施形態では」、「いくつかの実施形態では」、「他の実施形態では」、または同様の文言の出現は、必ずしもすべてが同じ実施形態のグループを指すわけではなく、記載された特徴、構造、または特性は、１つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。
【0140】
本明細書を通して特徴、利点、または同様の文言を参照することは、本発明で実現され得る特徴および利点のすべてが本発明の任意の単一の実施形態であるべきであること、または本発明の任意の単一の実施形態であることを意味するものではないことに留意されたい。むしろ、特徴および利点に言及する文言は、一実施形態に関連して説明される特定の特徴、利点、または特性が本発明の少なくとも１つの実施形態に含まれることを意味すると理解される。したがって、本明細書を通して、特徴および利点、ならびに同様の文言の説明は、必ずしもそうとは限らないが、同じ実施形態を参照することができる。
【0141】
さらに、本発明の記載された特徴、利点、および特性は、１つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。当業者は、特定の実施形態の特定の特徴または利点の１つまたは複数なしで本発明を実施できることを認識するであろう。他の例では、本発明のすべての実施形態には存在しない可能性がある特定の実施形態において、追加の特徴および利点が認識され得る。
【0142】
当業者は、上述の本発明が、異なる順序のステップ、および／または開示されているものとは異なる構成のハードウェア要素を用いて実施され得ることを容易に理解するであろう。したがって、本発明をこれらの好ましい実施形態に基づいて説明してきたが、本発明の趣旨および範囲内に留まりながら、特定の修正、変形、および代替構築が明らかであることは、当業者には明らかであろう。したがって、本発明の範囲を決定するために、添付の特許請求の範囲を参照すべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図9F】
【図9G】
【図10】
【図11A】
【図11B】
【図11C】
【図11D】
【図11E】
【図11F】
【図11G】
【図11H】
【図11I】
【図11J】
【図11K】
【図11L】
【図11M】
【図11N】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2024-10-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータプログラムを格納する非一時的コンピュータ可読媒体であって、前記コンピュータプログラムは、少なくとも１つのプロセッサに、ソース画面またはソースデータの選択を受信させ、
ターゲット画面の選択を受信させ、
前記ソース画面内のラベルと前記ターゲット画面内のラベルとの間か、前記ソースデータ内のデータ要素と前記ターゲット画面内の前記ラベルとの間か、またはその両方でセマンティックマッチングを実行するように訓練された１つまたは複数の人工知能／機械学習（ＡＩ／ＭＬ）モデルを呼び出させ、
前記ターゲット画面内のセマンティックにマッチングするラベルに関連するグラフィカル要素の表示、および前記１つまたは複数のＡＩ／ＭＬモデルからのそれぞれの信頼度スコアを受信させ、
前記セマンティックにマッチングするラベルに関連する前記グラフィカル要素を、マッチングインターフェース内の前記ターゲット画面上に表示させる、ように構成される、非一時的コンピュータ可読媒体。
【請求項2】
前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、前記マッチングインターフェース内の前記１つまたは複数のＡＩ／ＭＬモデルによって識別された潜在的なマッチンググラフィカル要素に対する前記それぞれの信頼度スコアを表示させるようにさらに構成される、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項3】
前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、関連するセマンティックにマッチングするラベルを有するとして前記１つまたは複数のＡＩ／ＭＬモデルによって識別された前記ターゲット画面内のグラフィカル要素に対する修正を受信させるか、前記１つまたは複数のＡＩ／ＭＬモデルによって前記ソース画面内のラベルとセマンティックにマッチングしなかった前記ターゲット画面内の新しい要素の表示を受信させるか、またはその両方をさせ、
前記ターゲット画面内の修正されたおよび／または新たにラベル付けされたグラフィカル要素ならびに関連するラベルに関する情報を収集させ、
前記１つまたは複数のＡＩ／ＭＬモデルの再訓練のために前記収集された情報を直接または間接的に格納させる、ようにさらに構成される、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項4】
前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、前記１つまたは複数のＡＩ／ＭＬモデルが前記ターゲット画面内のフィールドとセマンティックにマッチングすると識別されたラベルを有する前記ソース画面内の前記フィールドからデータをコピーするか、前記１つまたは複数のＡＩ／ＭＬモデルが前記ソースデータからの前記データ要素とセマンティックにマッチングすると識別されたラベルを有する前記ターゲット画面の前記フィールドに前記ソースデータから前記データ要素をコピーするか、またはその両方を行うロボティックプロセスオートメーション（ＲＰＡ）ワークフロー内の１つまたは複数のアクティビティを生成させるようにさらに構成される、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項5】
前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、前記ＲＰＡワークフローにおいて前記１つまたは複数の生成されたアクティビティを実施するＲＰＡロボットを生成させ、
前記生成されたＲＰＡロボットを実行時環境で展開させる、ようにさらに構成される、請求項４に記載の非一時的コンピュータ可読媒体。
【請求項6】
前記コンピュータプログラムは、前記少なくとも１つのプロセッサに、前記ターゲット画面内のセマンティックにマッチングするラベルに関連する前記グラフィカル要素の前記信頼度スコアから複合信頼度スコアを生成させ、
前記複合信頼度スコアを前記マッチングインターフェースに表示させる、ようにさらに構成される、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項7】
前記１つまたは複数のＡＩ／ＭＬモデルは、所与の単語またはフレーズに対する類似の単語およびフレーズが識別され得るように、前記単語とフレーズとの間のセマンティック関連付けを有する単語およびフレーズを提供し、前記単語およびフレーズが表示される画面に関するコンテキストラベルを提供することによって訓練される、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項8】
前記コンピュータプログラムは、ロボティックプロセスオートメーション（ＲＰＡ）デザイナアプリケーションであるか、またはそれを含む、請求項１に記載の非一時的コンピュータ可読媒体。
【請求項9】
前記１つまたは複数のＡＩ／ＭＬモデルは、コンピュータビジョン（ＣＶ）モデル、光学文字認識（ＯＣＲ）モデル、ラベルマッチングモデル、および入力データマッチングモデルを含み、前記ラベルマッチングモデルは、前記ＯＣＲモデルによって検出されたラベルを前記ＣＶモデルによって検出されたフィールドとマッチングさせ、
前記入力データモデルは、前記ラベルマッチングモデルから前記マッチングラベルを受け取り、前記データソースからの前記データ要素または前記ソース画面からの前記ラベルに関連する前記フィールドからのデータを、前記ターゲット画面上のセマンティックにマッチングするラベルに関連する前記フィールドとセマンティックにマッチングさせる、
請求項１に記載の非一時的コンピュータ可読媒体。
【請求項10】
ロボティックプロセスオートメーション（ＲＰＡ）のためのセマンティック人工知能（ＡＩ）を実行するためのコンピュータにより実施される方法であって、ソース画面内のラベルとターゲット画面内のラベルとの間か、ソースデータ内のデータ要素と前記ターゲット画面内の前記ラベルとの間か、またはその両方でセマンティックマッチングを実行するように訓練された１つまたは複数の人工知能／機械学習（ＡＩ／ＭＬ）モデルを、ＲＰＡデザイナアプリケーションによって呼び出すステップと、
前記ＲＰＡデザイナアプリケーションによって、前記ターゲット画面内のセマンティックにマッチングするラベルに関連するグラフィカル要素の表示、ならびに前記１つまたは複数のＡＩ／ＭＬモデルからのそれぞれの信頼度スコアを受信するステップと、
前記ＲＰＡデザイナアプリケーションによって、前記セマンティックにマッチングするラベルに関連する前記グラフィカル要素を、マッチングインターフェース内の前記ターゲット画面上に表示するステップと、
前記ソース画面のフィールドまたは前記ソースデータの前記データ要素からのデータを、前記１つまたは複数のＡＩ／ＭＬモデルが前記ソース画面からの前記ラベルまたは前記ソースデータからの前記データ要素とセマンティックにマッチングすると識別されたというラベルを有する前記ターゲット画面のフィールドに、前記ＲＰＡデザイナアプリケーションによってコピーする、ＲＰＡワークフローにおける１つまたは複数のアクティビティを自動的に生成するステップと、を含む、コンピュータにより実施される方法。
【請求項11】
前記ＲＰＡデザイナアプリケーションによって、前記マッチングインターフェース内の前記１つまたは複数のＡＩ／ＭＬモデルによって識別された潜在的なマッチンググラフィカル要素に対する前記それぞれの信頼度スコアを表示するステップをさらに含む、請求項１０に記載のコンピュータにより実施される方法。
【請求項12】
前記ＲＰＡデザイナアプリケーションによって、関連するセマンティックにマッチングするラベルを有するとして前記１つまたは複数のＡＩ／ＭＬモデルによって識別された前記ターゲット画面内のグラフィカル要素に対する修正を受信するか、前記１つまたは複数のＡＩ／ＭＬモデルによって前記ソース画面内のラベルとセマンティックにマッチングしなかった前記ターゲット画面内の新しい要素の表示を受信するか、またはその両方を受信するステップと、前記ＲＰＡデザイナアプリケーションによって、前記ターゲット画面内の修正されたおよび／または新たにラベル付けされたグラフィカル要素ならびに関連するラベルに関する情報を収集するステップと、
前記ＲＰＡデザイナアプリケーションによって、前記１つまたは複数のＡＩ／ＭＬモデルの再訓練のために前記収集された情報を直接または間接的に格納するステップと、
をさらに含む、請求項１０に記載のコンピュータにより実施される方法。
【請求項13】
前記ＲＰＡデザイナアプリケーションによって、前記ターゲット画面内のセマンティックにマッチングするラベルに関連する前記グラフィカル要素に対する前記それぞれの信頼度スコアを表示するステップと、前記ＲＰＡデザイナアプリケーションによって、前記ターゲット画面内のセマンティックにマッチングするラベルに関連する前記グラフィカル要素の前記信頼度スコアから複合信頼度スコアを生成するステップと、
前記ＲＰＡデザイナアプリケーションによって、前記複合信頼度スコアを前記マッチングインターフェースに表示するステップと、
をさらに含む、請求項１０に記載のコンピュータにより実施される方法。
【請求項14】
前記１つまたは複数のＡＩ／ＭＬモデルは、所与の単語またはフレーズに対する類似の単語およびフレーズが識別され得るように、前記単語とフレーズとの間のセマンティック関連付けを有する単語およびフレーズを提供し、前記単語およびフレーズが表示される画面に関するコンテキストラベルを提供することによって訓練される、請求項１０に記載のコンピュータにより実施される方法。
【請求項15】
前記１つまたは複数のＡＩ／ＭＬモデルは、コンピュータビジョン（ＣＶ）モデル、光学文字認識（ＯＣＲ）モデル、ラベルマッチングモデル、および入力データマッチングモデルを含み、前記ラベルマッチングモデルは、前記ＯＣＲモデルによって検出されたラベルを前記ＣＶモデルによって検出されたグラフィカル要素とマッチングさせ、
前記入力データモデルは、前記ラベルマッチングモデルから前記マッチングラベルを受け取り、前記データソースからの前記データ要素または前記ソース画面からの前記ラベルに関連するグラフィカル要素からのデータを、前記ターゲット画面上のセマンティックにマッチングするラベルに関連する前記グラフィカル要素とセマンティックにマッチングさせる、
請求項１０に記載のコンピュータにより実施される方法。
【請求項16】
コンピューティングシステムであって、ロボティックプロセスオートメーション（ＲＰＡ）のためのセマンティック人工知能（ＡＩ）を実行するためのコンピュータプログラム命令を格納するメモリと、
前記コンピュータプログラム命令を遂行するように構成された少なくとも１つのプロセッサと、を含み、前記コンピュータプログラム命令は、前記少なくとも１つのプロセッサに、
ソース画面内のラベルとターゲット画面内のラベルとの間、前記ソースデータ内のデータ要素と前記ターゲット画面内の前記ラベルとの間、またはその両方でセマンティックマッチングを実行するように訓練された１つまたは複数の人工知能／機械学習（ＡＩ／ＭＬ）モデルから、前記ターゲット画面内のセマンティックにマッチングするラベルに関連するグラフィカル要素、およびそれぞれの信頼度スコアの指示を受信させ、
前記セマンティックにマッチングするラベルに関連する前記グラフィカル要素を、マッチングインターフェース内の前記ターゲット画面上に表示させ、
関連するセマンティックにマッチングするラベルを有するとして前記１つまたは複数のＡＩ／ＭＬモデルによって識別された前記ターゲット画面内のグラフィカル要素に対する修正を受信させるか、前記１つまたは複数のＡＩ／ＭＬモデルによって前記ソース画面内のラベルとセマンティックにマッチングしなかった前記ターゲット画面内の新しい要素の表示を受信させるか、またはその両方をさせ、
前記ターゲット画面内の修正されたおよび／または新たにラベル付けされたグラフィカル要素ならびに関連するラベルに関する情報を収集させ、
前記１つまたは複数のＡＩ／ＭＬモデルの再訓練のために前記収集された情報を直接または間接的に格納させる、ように構成される、コンピューティングシステム。
【請求項17】
前記コンピュータプログラム命令は、前記少なくとも１つのプロセッサに、前記１つまたは複数のＡＩ／ＭＬモデルが前記ターゲット画面内のフィールドとセマンティックにマッチングすると識別されたラベルを有する前記ソース画面内の前記フィールドからデータをコピーするか、前記１つまたは複数のＡＩ／ＭＬモデルが前記ソースデータからの前記データ要素とセマンティックにマッチングすると識別されたラベルを有する前記ターゲット画面の前記フィールドに前記ソースデータから前記データ要素をコピーするか、またはその両方を行うロボティックプロセスオートメーション（ＲＰＡ）ワークフロー内の１つまたは複数のアクティビティを自動的に生成させるようにさらに構成される、請求項１６に記載のコンピューティングシステム。
【請求項18】
前記コンピュータプログラム命令は、前記少なくとも１つのプロセッサに、前記セマンティックにマッチングするラベルに関連する前記グラフィカル要素に対する前記それぞれの信頼度スコアを前記ターゲット画面に表示させ、
前記ターゲット画面内のセマンティックにマッチングするラベルに関連する前記グラフィカル要素の前記信頼度スコアから複合信頼度スコアを生成させ、
前記複合信頼度スコアを前記マッチングインターフェースに表示させる、ようにさらに構成される、請求項１６に記載のコンピューティングシステム。
【請求項19】
前記１つまたは複数のＡＩ／ＭＬモデルは、所与の単語またはフレーズに対する類似の単語およびフレーズが識別され得るように、前記単語とフレーズとの間のセマンティック関連付けを有する単語およびフレーズを提供し、前記単語およびフレーズが表示される画面に関するコンテキストラベルを提供することによって訓練される、請求項１６に記載のコンピューティングシステム。
【請求項20】
前記１つまたは複数のＡＩ／ＭＬモデルは、コンピュータビジョン（ＣＶ）モデル、光学文字認識（ＯＣＲ）モデル、ラベルマッチングモデル、および入力データマッチングモデルを含み、前記ラベルマッチングモデルは、前記ＯＣＲモデルによって検出されたラベルを前記ＣＶモデルによって検出されたフィールドとマッチングさせ、
前記入力データモデルは、前記ラベルマッチングモデルから前記マッチングラベルを受け取り、前記データソースからの前記データ要素または前記ソース画面からの前記ラベルに関連する前記フィールドからのデータを、前記ターゲット画面上のセマンティックにマッチングするラベルに関連する前記フィールドとセマンティックにマッチングさせる、
請求項１６に記載のコンピューティングシステム。
【国際調査報告】