特表 2024-517362 コンピューティング環境におけるロボティックプロセスオートメーションによるタスクおよびプロセスマイニング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-22

(54)【発明の名称】コンピューティング環境におけるロボティックプロセスオートメーションによるタスクおよびプロセスマイニング

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240415BHJP

【ＦＩ】

G06Q50/10

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021569975

(86)(22)【出願日】2021-10-27

(85)【翻訳文提出日】2022-02-10

(86)【国際出願番号】 US2021056865

(87)【国際公開番号】W WO2022220873

(87)【国際公開日】2022-10-20

(31)【優先権主張番号】17/229,085

(32)【優先日】2021-04-13

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡ

２．ＪＡＶＡＳＣＲＩＰＴ

３．ＺＩＧＢＥＥ

４．ＢＬＵＥＴＯＯＴＨ

５．ＷＣＤＭＡ

(71)【出願人】

【識別番号】520262319

【氏名又は名称】ユーアイパス，インコーポレイテッド

【氏名又は名称原語表記】ＵｉＰａｔｈ，Ｉｎｃ．

【住所又は居所原語表記】１ Ｖａｎｄｅｒｂｉｌｔ Ａｖｅｎｕｅ， ６０ｔｈ Ｆｌｏｏｒ， Ｎｅｗ Ｙｏｒｋ， ＮＹ １００１７， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100180781

【弁理士】

【氏名又は名称】安達 友和

(74)【代理人】

【識別番号】100182903

【弁理士】

【氏名又は名称】福田 武慶

(72)【発明者】

【氏名】バレロ，グレゴリー

(72)【発明者】

【氏名】パーク，チャールズ

(72)【発明者】

【氏名】ダンナマンニ，プラシャンス

(57)【要約】

本明細書に開示されるのは、タスクマイニングエンジンによって実施される方法である。タスクマイニングエンジンは、メモリにプロセッサ実行可能コードとして格納される。プロセッサ実行可能コードは、メモリに通信可能に結合されたプロセッサによって実行される。本方法は、コンピューティング環境に関するユーザーアクティビティを特定する記録されたタスクを受信することと、記録された各ユーザータスクを処理およびスコアリングすることにより、記録されたユーザータスクをステップにクラスタ化することとを含む。本方法は、ユーザーアクティビティを模倣するために、ステップの類似した組み合わせまたは繰り返される組み合わせを特定するステップシーケンスを抽出することも含む。

【特許請求の範囲】

【請求項1】

メモリにプロセッサ実行可能コードとして格納されたタスクマイニングエンジンによって実施される方法であって、前記プロセッサ実行可能コードは、前記メモリに通信可能に結合された少なくとも１つのプロセッサによって実行され、前記方法は、
コンピューティング環境に関するユーザーアクティビティを特定する１または複数の記録されたタスクを前記タスクマイニングエンジンによって受信すること、
前記タスクマイニングエンジンによって、記録された各ユーザータスクを処理およびスコアリングすることにより、前記１または複数の記録されたユーザータスクを１または複数のステップにクラスタ化すること、および
前記タスクマイニングエンジンによって、前記ユーザーアクティビティを模倣するための前記１または複数のステップの類似した組み合わせまたは繰り返される組み合わせを特定する１または複数のステップシーケンスを抽出すること、
を含む、方法。

【請求項2】

実行されると自動的に前記ユーザーアクティビティを実行する前記１または複数のステップシーケンスに基づくオートメーションコードを前記タスクマイニングエンジンによって出力することを含む、請求項１に記載の方法。

【請求項3】

前記１または複数のステップの中から、前記ユーザーアクティビティの自動化を特定する１または複数のタスクシーケンスを前記タスクマイニングエンジンによって抽出することを含む、請求項１に記載の方法。

【請求項4】

前記１または複数の記録されたタスクは、前記タスクマイニングエンジンによって、前記ユーザーアクティビティが発生している間に、前記コンピューティング環境からリアルタイムで記録された非構造化データを含む、請求項１に記載の方法。

【請求項5】

前記１または複数の記録されたタスクのそれぞれは、前記ユーザーアクティビティ中にユーザーが行うアクションを含む、請求項１に記載の方法。

【請求項6】

前記タスクマイニングエンジンは、セントロイドに基づく、接続性に基づく、分散に基づく、密度に基づく、またはグリッドに基づくクラスタ化を利用して、前記１または複数の記録されたユーザータスクをクラスタ化する、請求項１に記載の方法。

【請求項7】

前記１または複数の記録されたユーザータスクをクラスタ化することは、ユーザーアクションの一致を見逃すことと、異種のユーザーアクションをグループ化することとの間でバランスをとる初期クラスタ化動作を含む、請求項１に記載の方法。

【請求項8】

前記１または複数のステップシーケンスを抽出することは、前記１または複数のステップの時間的な近さを決定するための時間的な要素を含む、請求項１に記載の方法。

【請求項9】

前記１または複数のステップシーケンスを抽出することは、シーケンシャルパターンマイニングを実装するシーケンス抽出アルゴリズムを実行することを含む、請求項１に記載の方法。

【請求項10】

前記タスクマイニングエンジンは、前記１または複数の記録されたタスクあるいは前記１または複数のステップシーケンスを分析して、別個の独立したユーザーアクションまたはサブタスクを決定する、請求項１に記載の方法。

【請求項11】

前記タスクマイニングエンジンは、前記１または複数の記録されたタスクあるいは前記１または複数のステップシーケンスの有用性を、ランダムな偶然よりも頻繁に発生することに基づいて決定する、請求項１に記載の方法。

【請求項12】

前記タスクマイニングエンジンは、前記１または複数の記録されたタスクあるいは前記１または複数のステップシーケンスについて、興味深さを特定してランクを決定する、請求項１に記載の方法。

【請求項13】

システムであって、
タスクマイニングエンジンのためのプロセッサ実行可能コードを格納するメモリと、
前記メモリに通信可能に結合され、前記プロセッサ実行可能コードを実行して前記システムに以下を実行させるように構成された少なくとも１つのプロセッサと、を含む、
コンピューティング環境に関するユーザーアクティビティを特定する１または複数の記録されたタスクを前記タスクマイニングエンジンによって受信すること、
前記タスクマイニングエンジンによって、記録された各ユーザータスクを処理およびスコアリングすることにより、１または複数の記録されたユーザータスクを１または複数のステップにクラスタ化すること、および
前記タスクマイニングエンジンによって、前記ユーザーアクティビティを模倣するための前記１または複数のステップの類似した組み合わせまたは繰り返される組み合わせを特定する１または複数のステップシーケンスを抽出すること、
システム。

【請求項14】

前記少なくとも１つのプロセッサは、前記プロセッサ実行可能コードを実行して、
実行されると自動的に前記ユーザーアクティビティを実行する前記１または複数のステップシーケンスに基づくオートメーションコードを前記タスクマイニングエンジンによって出力すること、
を前記システムに実行させるように構成される、
請求項１３に記載のシステム。

【請求項15】

前記少なくとも１つのプロセッサは、前記プロセッサ実行可能コードを実行して、
前記１または複数のステップの中から、前記ユーザーアクティビティの自動化を特定する１または複数のタスクシーケンスを前記タスクマイニングエンジンによって抽出すること、
を前記システムに実行させるように構成される、
請求項１３に記載のシステム。

【請求項16】

前記１または複数の記録されたタスクは、前記ユーザーアクティビティが発生している間に前記コンピューティング環境からリアルタイムで前記タスクマイニングエンジンによって記録された非構造化データを含む、請求項１３に記載のシステム。

【請求項17】

前記１または複数の記録されたタスクのそれぞれは、前記ユーザーアクティビティ中にユーザーが行うアクションを含む、請求項１３に記載のシステム。

【請求項18】

前記タスクマイニングエンジンは、セントロイドに基づく、接続性に基づく、分散に基づく、密度に基づく、またはグリッドに基づくクラスタ化を利用して、前記１または複数の記録されたユーザータスクをクラスタ化する、請求項１３に記載のシステム。

【請求項19】

前記１または複数の記録されたユーザータスクをクラスタ化することは、ユーザーアクションの一致を見逃すことと、異種のユーザーアクションをグループ化することとの間でバランスをとる初期クラスタ化動作を含む、請求項１３に記載のシステム。

【請求項20】

前記１または複数のステップシーケンスを抽出することは、前記１または複数のステップの時間的な近さを決定するための時間的な要素を含む、請求項１３に記載のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

（関連出願への相互参照）
本出願は、２０２１年４月１３日に出願された米国出願第１７／２２９，０８５号の利益を主張し、その内容は参照により本明細書に組み込まれる。

【0002】

本明細書の開示は、ロボティックプロセスオートメーション（ＲＰＡ）の分野に関し、特に、コンピューティング環境全体におけるＲＰＡによるタスクおよびプロセスマイニングに関する。

【0003】

従来の操作システムおよびソフトウェアシステムは、データマイニングおよびプロセスマイニングを提供し得る。データマイニングは、大規模なデータセットのパターンを発見するためのコンピュータサイエンスおよび統計技術を含む。プロセスマイニングは、イベントログに基づいて動作プロセスを分析するためのデータサイエンスおよびプロセス管理技術を含む。データマイニングおよびロセスマイニングの目的は、従来のオペレーションシステムおよびソフトウェアシステム内のイベントから知見および／またはアクションを得ることをサポートすることであり得る。

【0004】

しかし、現在、従来のオペレーティングおよびソフトウェアシステムの場合、個別かつ別個のオペレーションおよびソフトウェアシステムにわたってデータおよびプロセスマイニングための自動化エクスペリエンスを提供する方法が無い。そのため、データおよびプロセスマイニングと自動化を統合させる必要がある。

【発明の概要】

【0005】

１または複数の実施形態によると、タスクマイニングエンジンによって実施される方法が提供される。タスクマイニングエンジンは、プロセッサ実行可能コードとしてメモリ上に格納される。プロセッサ実行可能コードは、メモリに通信可能に結合された少なくとも１つのプロセッサによって実行される。本方法は、コンピューティング環境に関するユーザーアクティビティを特定する１または複数の記録されたタスクを受信することと、記録された各ユーザータスクを処理およびスコアリングすることにより、１または複数の記録されたユーザータスクを１または複数のステップにクラスタ化することとを含む。本方法は、ユーザーアクティビティを模倣するために、１または複数のステップの類似した組み合わせまたは繰り返される組み合わせを特定する１または複数のステップシーケンスを抽出することも含む。

【0006】

１または複数の実施形態によれば、上記のコンピューティングデバイスの実施形態は、方法、装置、システムおよび／またはコンピュータプログラム製品として実施され得る。

【0007】

（実施形態の詳細な説明）
より詳細な理解は、図中の類似の参照数字が類似の要素を示す、添付の図面との関連で例示的に与えられた以下の説明から得られ得る。

【図面の簡単な説明】

【0008】

【図1】１または複数の実施形態によるロボティックプロセスオートメーション（ＲＰＡ）の開発、設計、操作、および／または実行を示す環境を示す図である。

【0009】

【図2】１または複数の実施形態によるコンピューティングシステムの説明図である。

【0010】

【図3】１または複数の実施形態によるコンピューティング環境内で実行される方法を示すブロック図である。

【0011】

【図4】１または複数の実施形態によるコンピューティング環境の説明図である。

【0012】

【図5】１または複数の実施形態によるコンピューティング環境内で実行される方法を示すブロック図である。

【発明を実施するための形態】

【0013】

（詳細な説明）
１または複数の実施形態によるタスクマイニングエンジンが、本明細書で開示される。タスクマイニングエンジンは、ロボティックプロセスオートメーション（ＲＰＡ）をコンピューティング環境に統合させるソフトウェアおよび／またはハードウェアを含む。より詳細には、タスクマイニングエンジンは、コンピューティング環境のコンピューティング／ソフトウェア／ハードウェアシステム全体において、ＲＰＡによるタスクおよびプロセスマイニングを実施する。

【0014】

一般的に、タスクマイニングエンジンは、人工知能を使用してユーザーアクティビティを監視、評価および自動化する。ユーザーアクティビティは、ユーザーが実行するステップ、アクションおよび／またはタスクとみなされ得る。これに関連して、人工知能は、どのコンピューティング／ソフトウェア／ハードウェアシステムが関与しているか、またどのように多くのコンピューティング／ソフトウェア／ハードウェアシステムが関与しているかに関わらず、ユーザーがコンピューティング環境内において行う個々のステップ（ならびに／またはその中のタスクおよびアクション）の開始および終了を特定および分析（例えば、監視および評価）しようとする。その後、これらのステップ／アクション／タスクはシーケンスによって自動化されて、ユーザーが監視および評価したアクティビティを実行するコード（例えば、ロボット／ＲＰＡ／スクリプト）を生成する。

【0015】

より微細なレベルにおいては、監視は、ユーザーが行うステップ、アクションおよび／またはタスクを人工知能によってキャプチャしようとするデータフェーズまたは入力フェーズと考えられ得る。次に、人工知能は、データをリアルタイムで記録し、記録のデータセットを受信／取得し、またはこれらを組み合わせて利用して、このキャプチャを行う。

【0016】

評価は、ユーザーアクションの理解を達成するタスクマイニングエンジンのメインフェーズであり得る。ある部分で、このメインフェーズは、自動化が「理にかなっている」かどうかを決定するためのクラスタ化（例えば、タスク／アクションをステップに分類し、ステップをクラスタ化すること）を部分的に含む。すなわち、クラスタ化は、個人のタスクおよび／またはアクションを何らかの意味のある方法で共に分類して、ステップなどのクラスタを生成することを含み得る。別の部分で、このメインフェーズは、１または複数のシーケンスを決定するために、クラスタからの抽出（例えば、クラスタ内およびクラスタ間のシーケンス抽出）を含む。このようにして、人工知能は、何らかの意味のある方法で一緒にグループ化された個々のアクション／タスクを取り、意味のあるアクション／タスクのシーケンスを特定する。さらに、人工知能は、個々のステップを取り、意味のあるステップのシーケンスを特定する。

【0017】

自動化は、人工知能がコード（例えば、ロボット／ＲＰＡ／スクリプト）を生成することを目的とした出力フェーズと考えられ得る。ロボット／ＲＰＡ／スクリプトは、自動的かつ独立して動作することが可能な触知可能な結果である。

【0018】

タスクマイニングエンジンは、ハードウェアおよびソフトウェア（例えば、ハードウェアに必然的に根付いたプロセッサ実行可能コード）の組み合わせによって、コンピューティング環境に実施され得る。タスクマイニングエンジンは、実施されると、入力データ、ロボティックプロセスなどを操作するＲＰＡマイニング技術のための特定の構成およびツーリングロボティックプロセスオートメーション方法を提供し得る。

【0019】

例示的な実施において、タスクマイニングエンジンによる特定の構成およびツーリングロボティックプロセスオートメーション方法（「方法（ｔｈｅ ｍｅｔｈｏｄ）」）の実施形態は、コンピューティング環境に関するユーザーアクティビティを特定する１または複数の記録されたタスクを受信することを含む。本方法は、タスクマイニングエンジンによって、記録された各ユーザータスクの処理およびスコアリングにより、１または複数の記録されたユーザータスクを１または複数のステップにクラスタ化することを含む。本方法は、ユーザーアクティビティを模倣するために、１もしくは複数のステップシーケンスおよび／または１もしくは複数のタスクシーケンスを抽出することを含む。本方法は、実行されると自動的にユーザーアクティビティを実行する１または複数のステップシーケンス（例えば、および／または１もしくは複数のタスクシーケンス）に基づいて、オートメーションコードを出力することをさらに含む。このように、タスクマイニングエンジンの特定の構成およびツーリングロボティックプロセスオートメーション方法は、コンピューティング環境に関連して、データ（例えば、キャプチャされたステップ、アクションおよび／またはタスク）、ロボティックプロセス、インターフェースコンポーネントおよび構成の多段階のデータ操作を含む。タスクマイニングエンジンの技術的効果および利点は、本明細書において詳述した統合を介してユーザーに自動化エクスペリエンスを提供することを含む。

【0020】

図１は、１または複数の実施形態によるロボティックプロセスオートメーション（ＲＰＡ）の開発、設計、操作および／または実行を示す環境１００（例えば、コンピューティング環境）を示す図である。環境１００は、１または複数のコンポーネントを含む設計およびデプロイメントコンピューティングプラットフォームであり得る。環境１００の１または複数のコンポーネントのそれぞれについて単一のブロックが示されているが、その単一のブロックは、そのコンポーネントの１または複数を表すものである点に留意されたい。

【0021】

示されるように、環境１００は、タスクマイニングエンジン１１１をさらに含むデザイナ１１０を含み得る。タスクマイニングエンジン１１１は、１もしくは複数のドライバ１２８および／または内部エンジン１２９を使用して、１もしくは複数のアクティビティ１２４を実行し、および／または１もしくは複数のユーザーインターフェース（ＵＩ）オートメーション１２６を提供する１または複数のロボット（例えば、ロボット１２２）を生成するスタジオコンポーネントまたはモジュール１２０を含み得る。また、ロボット１２２は、デザイナ１１０内の他のドライバコンポーネント１３１およびモジュール１３２と同様に係合し得る。さらに、環境１００は、コンダクタ１４０およびエグゼキュータ１７０を含み得、コンダクタ１４０およびエグゼキュータ１７０は、ロボット１２２がエグゼキュータ１７０のアンアテンディッドロボット１７４およびアテンディッドロボット１７８として環境１００に提供され得るように、ロボット１２２をダウンロード／取得／送信し得る。

【0022】

デザイナ１１０、コンダクタ１４０およびエグゼキュータ１７０は、ハードウェア、ソフトウェアまたはこれらの組み合わせを含む、コンピューティングデバイス、コンピューティング装置および／またはコンピューティングシステムを表す。デザイナ１１０、コンダクタ１４０およびエグゼキュータ１７０ならびにその上の任意のソフトウェア（例えば、タスクマイニングエンジン１１１）は、ユーザーまたはオペレータとインタラクションして入力を受信し、出力を提供するように構成される。一例において、エグゼキュータ１７０は、モバイルコンピューティングおよび／もしくはモバイルデバイス環境であり得るかまたはこれらを実施し得る。

【0023】

１または複数の実施形態によると、デザイナ１１０は、スタジオプラットフォーム、開発プラットフォーム、および／またはオンラインプラットフォームと呼ばれ得る。デザイナ１１０は、１または複数のエンジン（例えば、タスクマイニングエンジン１１１）、開発環境（例えば、スタジオ１２０）などを含み得、ロボット（例えば、１または複数のロボット１２２、アテンディッドロボット１７４およびアテンディッドロボット１７８）が１または複数のワークフローを実行または自動化する（例えば、１もしくは複数のアクティビティ１２４および／または１もしくは複数のＵＩ自動化１２６を提供する）ためのコード、命令、コマンドなどを生成するように構成され得る。

【0024】

タスクマイニングエンジン１１１は一般的には、本明細書に記載される特定の構成およびツーリングロボティックプロセスオートメーション方法などのロボティックプロセスオートメーションを実装するソフトウェアおよび／またはハードウェアである。これに関連して、タスクマイニングエンジン１１１は、環境１００内でのタスクマイニングエンジン１１１のスケーラビリティおよびポータビリティを説明するために、点線のボックスとして詳述される。例えば、タスクマイニングエンジンは、タスクマイニングエンジン１８１および１９１によって示されるように、環境１００全体で別々のインスタンスとして実施され得る。

【0025】

一般的に、タスクマイニングエンジン１１１は、機械学習および／または人工知能アルゴリズムを内部において実施する。機械学習および／または人工知能アルゴリズムは、データ（例えば、ユーザーアクション）を使用しながらハードウェアに対して動作して、機械を訓練し、モデルを構築し、結果を予測する。１または複数の実施形態によると、データは、継続的な記録データ、現在収集されたデータ、履歴データ、または他のデータであり得る。機械は、ハードウェアに関連付けられたコントローラとして動作し、収集されたデータの分析と相関関係を含むように訓練する。モデルは、物理的なハードウェアおよび／またはソフトウェアのモデリング、アルゴリズムのモデリングなどによってデータ上に構築され、その結果、データ（またはそのサブセット）が表現され、処理される。いくつかの態様では、モデルの構築は、機械による自己訓練動作の一部である。モデルは、ハードウェアおよび／またはデータの操作をモデル化し、ハードウェアによって達成され得る結果を予測するように構成され得る。したがって、タスクマイニングエンジン１１１が、データを使用しながらハードウェアに対して動作して、機械を訓練し、モデルを構築し、そして結果４４０を予測するために、機械学習および／または内部の人工知能アルゴリズムは、ニューラルネットワークを含み得る。一般的に、ニューラルネットワークは、ニューロンのネットワークまたは回路であり、現代的な意味では、人工ニューロンまたはノードまたはセルで構成される人工ニューラルネットワーク（ＡＮＮ）である。

【0026】

例えば、ＡＮＮは、処理要素と要素パラメータとの間の接続によって決定される複雑なグローバル挙動を示し得る処理要素のネットワーク（人工ニューロン）を含む。ニューロンのネットワークまたは回路のこれらの接続は、重みとしてモデル化される。正の重みは興奮性接続を反映する一方、負の値は抑制性接続を意味する。入力は重みで修正され、線形結合を用いて合計される。活性化関数は、出力の振幅を制御し得る。例えば、出力の許容範囲は、通常は０と１の間であるかまたは－１～１であり得る。ほとんどの場合、ＡＮＮは、ネットワークを流れる外部または内部の情報に基づいてその構造を変化させる適応システムである。

【0027】

より実用的な言葉で言えば、ニューラルネットワークは、入力と出力の間の複雑な関係をモデル化したり、またはデータのパターンを見つけたりすることができる非線形統計データモデリングまたは意思決定ツールである。したがって、ＡＮＮは、データセットを用いて学習させながら、予測モデリングおよび適応制御アプリケーションに使用され得る。経験から生じる自己学習はＡＮＮ内で発生し得、複雑であり一見無関係に見える一連の情報から結論を導き出し得ることに留意されたい。人工ニューラルネットワークモデルの有用性は、それらが観察から関数を推測するために利用され得、またそれを利用することができる事実にある。監視なしニューラルネットワークは、入力分布、より最近では、観測されたデータの分布関数を暗黙的に学習することができる深層学習アルゴリズムの顕著な特徴をキャプチャした入力の表現を学習するためにも使用され得る、ニューラルネットワークでの学習は、データ（例えば、ユーザー行動）または結果としてのタスク／ステップ／シーケンス／ワークフローが複雑、であり手作業でそのような関数を設計することが現実的でないような用途において特に有効である。

【0028】

ニューラルネットワークは、さまざまな分野において使用され得る。したがって、タスクマイニングエンジン１１１のために、機械学習および／または内部の人工知能アルゴリズムは、適用先のタスクに従って概して分割されるニューラルネットワークを含み得る。これらの区分は、以下のカテゴリに当てはまる傾向がある：時系列予測およびモデリングを含む回帰分析（例えば、関数近似）、パターンおよびシーケンス認識を含む分類、新規性検出および逐次的な意思決定、フィルタリングを含むデータ処理、クラスタ化、ブラインド信号分離ならびに圧縮。例えば、ＡＮＮの応用分野は、非線形システムの特定および制御（車両制御、プロセス制御）、ゲームプレーおよび意思決定（バックギャモン、チェス、レース）、パターン認識（レーダーシステム、顔識別、物体認識）、シーケンス認識（ジェスチャー、音声、手書きテキスト認識）、医療診断および治療、金融アプリケーション、データマイニング（またはデータベースにおける知識発見、「ＫＤＤ」）、視覚化および電子メールスパムフィルタリングを含む。

【0029】

１または複数の実施形態によると、ニューラルネットワークは、長短期記憶ニューラルネットワークアーキテクチャ、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャまたは他の類似のものを実施し得る。ニューラルネットワークは、層の数、接続の数（例えば、エンコーダ／デコーダ接続）、正則化技術（例えば、ドロップアウト）および最適化機能に関して構成可能であり得る。

【0030】

長短期記憶ニューラルネットワークアーキテクチャは、フィードバック接続を含み、単一のデータポイント（例えば、画像またはスクリーンショットなど）をデータシーケンス全体（例えば、タイピング、会話および／またはアプリケーションの切り替えなど）と共に処理し得る。長短期記憶ニューラルネットワークアーキテクチャのユニットは、セル、入力ゲート、出力ゲートおよび忘却ゲートによって構成され得、セルは任意の時間間隔で値を記憶し、ゲートはセルへの情報の出入りを制御する。

【0031】

ＣＮＮアーキテクチャは、１つの層内の各ニューロンが次の層内のすべてのニューロンへ接続された、翻訳不変の特性を持つシェアードウェイトアーキテクチャである。ＣＮＮアーキテクチャの正則化技術は、データの階層的なパターンを利用し、より小さく単純なパターンを用いてより複雑なパターンを組み立て得る。ニューラルネットワークがＣＮＮアーキテクチャを実施している場合、アーキテクチャの他の構成可能な態様は、各ステージにおける複数のフィルタ、カーネルサイズ、層ごとの複数のカーネルを含み得る。

【0032】

さらに、１または複数の実施形態によると、タスクマイニングエンジン１１１は、スタジオ１２０内でコードを自動的に実施し、ロボット１２２を設計するフレームワーク／メカニズム（例えば、環境１００）の一部であり得る。また、タスクマイニングエンジン１１１は、開発者および／またはオーケストレータ（例えば、ユーザーまたはオペレータ）がロボット１２２を（例えばスタジオ１２０を介して）コード化、プログラム化および／または設計することを可能にし得る。実施形態において、スタジオ１２０は、サードパーティアプリケーション、管理情報技術（ＩＴ）タスクおよび／またはビジネスＩＴプロセスの自動化とともに、アプリケーション統合を提供し得る。

【0033】

ロボット１２２（ならびにアンアテンディッドロボット１７４およびアテンディッドロボット１７８）は、アプリケーション、アプレット、スクリプトなどであり得、（例えば、１もしくは複数のアクティビティ１２４によって部分的に表されかつ／または１もしくは複数のＵＩオートメーション１２６を提供する）１または複数のワークフローを実行および／または自動化し得る。ワークフローは、限定されないが、タスクシーケンス、フローチャート、有限状態機会（ＦＳＭ）、グローバル例外ハンドラ、透過的なＵＩなどを、ユーザーが実行する任意のステップ、アクションおよび／またはタスクとともに含み得る。タスクシーケンスは、１または複数のアプリケーションまたはウィンドウ間の線形タスクを処理するための線形プロセスであり得る。フローチャートは、複雑なビジネスロジックを扱うように構成され得、複数の分岐ロジックオペレータを介して、より多様な方法で意思決定の統合およびアクティビティの接続を可能にする。ＦＳＭは、大規模なワークフロー用に構成され得る。ＦＳＭは、条件、遷移、アクティビティなどによってトリガされ得る有限数の状態をそれらの実行中に使用し得る。グローバル例外ハンドラは、プロセスのデバッグプロセスなどのために、実行エラーが発生したときのワークフローの動作を判断するように構成され得る。透過的なＵＩは、基礎となるオペレーティングシステム（ＯＳ）またはハードウェアに対するソフトウェア操作であり得る。１または複数ワークフローによって達成され得る操作の非限定的な例としては、ログインの実行、フォームへの入力、情報技術（ＩＴ）管理などのうちの１または複数であり得る。ＵＩオートメーションのためのワークフローを実行するために、ロボット１２２は、アプリケーションのアクセスまたはアプリケーションの開発に関係なく、ボタン、チェックボックス、テキストフィールド、ラベルなどの特定の画面要素を一意に特定する必要があり得る。アプリケーションアクセスの例としては、ローカル、仮想、リモート、クラウド、Ｃｉｔｒｉｘ（登録商標）、ＶＭＷａｒｅ（登録商標）、ＶＮＣ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標）リモートデスクトップ、仮想デスクトップインフラストラクチャ（ＶＤＩ）などがあり得る。アプリケーション開発の例としては、ｗｉｎ３２、Ｊａｖａ、Ｆｌａｓｈ、ハイパーテキストマークアップ言語（ＨＴＭＬ）、ＨＴＭＬ５、拡張可能なマークアップ言語（ＸＭＬ）、ＪａｖａＳｃｒｉｐｔ、Ｃ＃、Ｃ＋＋、Ｓｉｌｖｅｒｌｉｇｈｔなどであり得る。

【0034】

１または複数の実施形態によると、開発時に、ロボット１２２は、デザイナ１１０（例えば、スタジオ１２０）において／デザイナ１１０（例えば、スタジオ１２０）により作製され得る。さらに、展開時には、ロボット１２２は、コンダクタ１４０（例えば、タスクマイニングエンジン１８１内）において／コンダクタ１４０（例えば、タスクマイニングエンジン１８１内）により、例えば管理され得、制御され得、構成され得る。また、展開時に、ロボット１２２は、エグゼキュータ１７０内で実行され得る。一例では、ユーザーまたはオペレータによって、ユーザー入力（例えば、ディスプレイ上の選択）がデザイナ１１０に提出され得る。デザイナ１１０がロボット１２２に提供し得る選択から、ロボット１２２は、（例えば、ユーザーまたはオペレータによって選択された）ビジュアルディスプレイの領域（複数可）の代表データを決定し得る。ＲＰＡの一環として、コンピュータビジョン（ＣＶ）動作および／または機械学習（ＭＬ）モデルに関連して、（例えば、四角、長方形、円、多角形、自由形などの）多次元の形状をＵＩロボットの開発およびランタイムに利用され得る。

【0035】

１または複数の実施形態によると、ＵＩオートメーション１２６は、内部のドライバ１２８を使用してロボット１２２によって実行され得、タスクマイニングエンジン１１１は、モジュール１３０（例えば、ＣＶアクティビティモジュールまたはエンジン）を使用してアクティビティを実行し得る。ドライバコンポーネント１３２は、ＵＩの要素を取得するために、ロボット１２２によるＵＩオートメーションのために利用され得る。ドライバコンポーネント１３２は、限定されないが、ＯＳドライバ、ブラウザドライバ、仮想マシンドライバ、エンタープライズドライバなどを含み得る。特定の構成では、モジュール１３０は、ＵＩオートメーションのために使用されるドライバであり得る。さらに、ロボット１２２によるこれらのアクションのいずれも、クライアント上に（例えば、アエグゼキュータ１７０のアンアテンディッドロボット１７４およびアテンディッドロボット１７８として）実装され得る。

【0036】

コンダクタ１４０は、メインフレーム、ウェブ、仮想マシン、リモートマシン、仮想デスクトップ、エンタープライズプラットフォーム、オンラインプラットフォーム、デスクトップアプリ（複数可）、ブラウザ、またはそのようなクライアント、アプリケーション、もしくはプログラムにおいてワークフローを実行または監視するようにロボット１２２、１７４、および１７８またはエグゼキュータ１７０に指示または命令し得る。コンダクタ１４０は、コンピューティングプラットフォーム（例えば、環境１００）を自動化するために１または複数のロボット（例えば、ロボット１２２、１７４および１７８）を指示または命令するための中央または半中央点として機能し得る。

【0037】

１または複数の実施形態によると、コンダクタ１４０は、プロビジョニング、展開、構成、キューイング、監視、ロギング、および／または相互接続性を提供するように構成され得る。プロビジョニングは、１または複数のロボット、エグゼキュータ１７０、およびコンダクタ１４との間の接続または通信の作製および維持を含み得る。展開は、割り当てられたロボットへのパッケージバージョンの（実行のための）配信を保証することを含み得る。構成は、ロボット環境およびプロセス構成の維持および配信を含み得る。キューイングは、キューおよびキュー項目の管理を提供することを含み得る。監視は、ロボットの特定データを追跡し、ユーザーの権限を維持することを含み得る。ロギングは、データベース（例えば、ＳＱＬデータベース）および／または別のストレージメカニズム（例えば、大規模なデータセットを格納し、迅速にクエリを実行する能力を提供するＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標）へのログの保存およびインデックス作成を含み得る。コンダクタ１４０は、サードパーティのソリューションおよび／またはアプリケーションのための通信の集中点として操作することにより、相互接続性を提供し得る。

【0038】

１または複数の実施形態によると、１または複数のロボットおよびエグゼキュータ１７０は、アンアテンディッドロボット１７４および／またはアテンディッドロボット１７８として構成され得る。アンアテンディッドロボット操作の場合、アンアテンディッドロボット１７４による自動化は、第三者によるような入力または制御なしに実行され得る。アテンディッドロボット操作の場合、アテンディッドロボット１７８による自動化は、第三者のコンポーネントからなどの入力、コマンド、命令、ガイダンスなどを受信することによって実行され得る。アンアテンディッドロボット１７４および／またはアテンディッドロボット１７８は、モバイルコンピューティング環境またはモバイルデバイス環境上で実行または実行し得る。

【0039】

１または複数の実施形態によると、１または複数のロボット１２２およびエグゼキュータ１７０は、デザイナ１１０で構築されたワークフローを実行する実行エージェントとして構成され得る。ＵＩまたはソフトウェアの自動化のためのロボット（複数可）の商業的な例としては、ＵｉＰａｔｈ Ｒｏｂｏｔｓ（商標）がある。いくつかの実施形態では、１または複数のロボット１２２およびエグゼキュータ１７０は、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｉｃｅ Ｃｏｎｔｒｏｌ Ｍａｎａｇｅｒ（ＳＣＭ）管理サービスをデフォルトでインストールし得る。その結果、そのようなロボット１２２は、ローカルシステムアカウントの下でインタラクティブなＷｉｎｄｏｗｓ（登録商標）セッションを開くことができ、Ｗｉｎｄｏｗｓ（登録商標）サービスの権利を持ち得る。

【0040】

１または複数の実施形態によると、１または複数のロボット１２２およびエグゼキュータ１７０は、ユーザーモードでインストールされ得る。例えば、１または複数のロボット１２２は、所定のロボットが設置されているユーザーと同じ権利を持ち得る。この特徴は、高密度（ＨＤ）環境などにおいて最大のパフォーマンスで各マシンを完全に利用できるようにする高密度（ＨＤ）ロボットにおいても使用可能であり得る。

【0041】

１または複数の実施形態によると、１または複数のロボット１２２およびエグゼキュータ１７０は、それぞれが特定の自動化タスクまたはアクティビティに専用に用いられるいくつかのコンポーネントに分割、分散などされ得る。ロボットコンポーネントには、ＳＣＭ管理ロボットサービス、ユーザーモードロボットサービス、エグゼキュータ、エージェント、コマンドラインなどが含まれ得る。ＳＣＭ管理ロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理または監視し得、コンダクタ１４０と実行ホスト（すなわち、１または複数のロボットが実行されるコンピューティングシステム）との間のプロキシとして動作し得る。これらのサービスは、１または複数のロボットおよびエグゼキュータ１７０のための資格情報を信頼し、管理し得る。ユーザーモードロボットサービスは、Ｗｉｎｄｏｗｓ（登録商標）セッションを管理および監視し、コンダクタ１４０と実行ホストとの間のプロキシとして機能し得る。ユーザーモードロボットサービスは、信頼され得、ロボットの資格情報を管理し得る。ＳＣＭ管理ロボットサービスがインストールされていない場合、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションが自動的に起動され得る。一例では、エグゼキュータ１７０は、Ｗｉｎｄｏｗｓ（登録商標）セッションの下で与えられたジョブを実行し得（例えば、それらが本明細書に記載されるワークフローを実行し得る）、モニタ毎のドットパーインチ（ＤＰＩ）設定を認識し得る。エージェントは、システムトレイウィンドウに利用可能なジョブを表示するＷｉｎｄｏｗｓ（登録商標） Ｐｒｅｓｅｎｔａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ（ＷＰＦ）アプリケーションであり得る。エージェントはサービスのクライアントとなり得る。エージェントは、ジョブの開始または停止、設定の変更を依頼し得る。コマンドラインはサービスのクライアントとなり得る。コマンドラインは、ジョブの開始を要求し、その出力を待つことができるコンソールアプリケーションである。

【0042】

１または複数の実施形態によると、１もしくは複数のロボット１２２および／またはエグゼキュータ１７０のコンポーネントが分割される構成は、開発者、サポートユーザー、およびコンピューティングシステムが、各コンポーネントによる実行、特定および追跡実行をより容易に行うのに役立つ。この方法では、エグゼキュータ１７０とサービスに異なるファイアウォールルールを設定するなど、コンポーネントごとに特別な動作を構成し得る。エグゼキュータ１７０は、いくつかの実施形態では、モニタごとのＤＰＩ設定を認識し得る。その結果、ワークフローは、ワークフローが作成されたコンピューティングシステムの構成に関係なく、いずれかのＤＰＩで実行し得る。また、デザイナ１１０からのプロジェクトは、ブラウザのズームレベルに依存しないようにし得る。ＤＰＩを認識していないまたは意図的に認識していないとマークされているアプリケーションの場合、いくつかの実施形態ではＤＰＩは無効にされ得る。

【0043】

次に図２に目を向けると、１または複数の実施形態によるコンピューティングシステム２００が示される。コンピューティングシステム２００は、ハードウェア、ソフトウェアまたはそれらの組み合わせ（例えば、図１のタスクマイニングエンジン１１１をサポートするハードウェア）を含む、任意のコンピューティングデバイス、コンピューティング装置および／またはコンピューティング環境の代表であり得る。さらに、開示されたコンピューティングシステム２００の実施形態は、統合の装置、システム、方法、および／またはコンピュータプログラム製品を任意の可能な技術的詳細レベルにおいて含み得る。

【0044】

コンピューティングシステム２００は、１または複数の中央処理装置（ＣＰＵ（複数可））を有するデバイス２０５（例えば、図１のデザイナ１１０、コンダクタ１４０、およびエグゼキュータ１７０）を有し、これらは、集合的または一般的にプロセッサ２１０と呼ばれる。プロセッサ２１０は、処理回路とも呼ばれ、システムバス２１５を介して、システムメモリ２２０および様々な他のコンポーネントに結合される。コンピューティングシステム２００および／またはデバイス２０５は、オンラインプラットフォーム、サーバー、組み込みコンピューティングシステム、パーソナルコンピュータ、コンソール、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、タブレットコンピューティングデバイス、量子コンピューティングデバイス、クラウドコンピューティングデバイス、モバイルデバイス、スマートフォン、固定型モバイルデバイス、スマートディスプレイ、ウェアラブルコンピュータなどとして実行するように適合または構成され得る。

【0045】

プロセッサ２１０は、中央処理ユニット（ＣＰＵ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィックス処理ユニット（ＧＰＵ）、コントローラ、マルチコア処理ユニット、３次元プロセッサ、量子コンピューティングデバイス、またはそれらの任意の組み合わせを含む、任意のタイプの一般的または特定用途プロセッサであり得る。プロセッサ２１０は、複数の処理コアを有してもよく、コアの少なくとも一部は、特定の機能を実行するように構成され得る。また、マルチパラレル処理がそこに構成され得る。さらに、プロセッサ２１０は、生物学的ニューロンを模倣する処理要素を含むニューロモーフィック回路であり得る。

【0046】

（１または複数通信メカニズムを表す）バス２１５は、プロセッサ２１０、システムメモリ２２０、ならびにアダプタ２２５、２２６、および２２７などの様々な他のコンポーネントに情報またはデータを通信するために構成される。

【0047】

システムメモリ２２０は、（非一時的な）コンピュータ読み取り可能なストレージ媒体の一例であり、ソフトウェア２３０は、図３および図５を参照して本明細書で説明したような、デバイス２０５を動作させるためにプロセッサ２１０が実行するためのソフトウェアコンポーネント、モジュール、エンジン、命令などとして格納され得る。システムメモリ２２０は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、内部または外部フラッシュメモリ、エンベッディッドスタティック－ＲＡＭ（ＳＲＡＭ：Ｅｍｂｅｄｄｅｄ Ｓｔａｔｉｃ－ＲＡＭ）、ソリッドステートメモリ、キャッシュ、磁気ディスクもしくは光ディスクなどの静的ストレージ、または任意の他のタイプの揮発性または不揮発性メモリの任意の組み合わせを含み得る。非一時的な読み取り可能なストレージ媒体は、プロセッサ２１０によってアクセス可能な任意の媒体であってもよく、揮発性媒体、不揮発性媒体などを含み得る。例えば、ＲＯＭは、システムバス２１５に結合され、デバイス２０５の特定の基本機能を制御するＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）を含み得、ＲＡＭは、プロセッサ２１０が使用するためにシステムバス２１５に結合された読み書き可能なメモリである。非一時的なコンピュータ読み取り可能なストレージ媒体は、着脱可能、着脱不可能などの任意の媒体を含み得る。

【0048】

図１に関連して、図２のソフトウェア２３０は、メモリ２２０およびプロセッサ２１０がロボット１２２を論理的に設計／構成／提供することができるように、インターフェースエンジン１１１およびその中のコンポーネントを示し得、ロボット１２２は、さらに１もしくは複数のアクティビティ１２４を実行し、および／または１もしくは複数のドライバコンポーネント１２８および／または内部エンジン１２９を使用して１または複数ユーザーインターフェース（ＵＩ）オートメーション１２６を提供する。図２のソフトウェア２３０は、コンピューティングシステム２００のためのデバイス２０５用のオペレーティングシステムも示し得る。

【0049】

１または複数の実施形態によると、ソフトウェア２３０は、ハードウェア、ソフトウェアまたはハイブリッド実施に構成され得る。ソフトウェア２３０は、互いに操作可能な通信を行い、情報または指示を渡すためのモジュールで構成され得る。ソフトウェア２３０は、コンピューティングシステム２００が追加の機能を含むことができるように、アプリケーション固有の処理またはその派生物を実行するためのカスタムモジュールをさらに含み得る。例えば、１または複数の実施形態によると、ソフトウェア２３０は、操作２３１、２３２、２３３、および２３４を可能にするためにプロセッサ２１０によって実行または処理される情報、命令、コマンドまたはデータを格納するように構成され得る。

【0050】

例えば、図２のソフトウェア２３０として実装された図１のタスクマイニングエンジン１１１は、コンピューティングシステム２００に特定の構成およびツーリングロボティックプロセスオートメーション方法を提供することができ、その結果、コンピューティングシステム２００は、コンピューティング環境に関するユーザーアクティビティを特定する１または複数の記録されたタスクを受信し（２３１）、各記録されたユーザータスクを処理およびスコアリングすることによって、１または複数の記録されたユーザータスクを１または複数のステップにクラスタ化し（２３２）、ユーザーアクティビティを模倣するために１もしくは複数のステップシーケンスおよび／または１もしくは複数のタスクシーケンスを抽出し（２３３）、実行されると自動的にユーザーアクティビティを実行する１または複数のステップシーケンス（例えば、および／または１もしくは複数のタスクシーケンス）に基づいてオートメーションコードを出力する（２３４）し得る。

【0051】

さらに、ソフトウェア２１０のモジュールは、カスタムの超大規模集積（ＶＬＳＩ）回路またはゲートアレイ、ロジックチップ、トランジスタなどの既製の半導体、またはその他のディスクリートコンポーネントを含むハードウェア回路として、プログラム可能なハードウェアデバイス（例えば、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス）、グラフィックスプロセッシングユニットなどに実装され得る。ソフトウェア２１０のモジュールは、様々なタイプのプロセッサにより実行されるためのソフトウェアに少なくとも部分的に実装され得る。１または複数の実施形態によると、特定された実行可能コードのユニットは、例えば、オブジェクト、プロシージャ、ルーチン、サブルーチン、または関数として編成されていてもよいコンピュータ命令の１または複数の物理的または論理的なブロックを含み得る。特定されたモジュールの実行可能は、論理的に結合されるとモジュールを構成するように、異なる位置に共に配置されたり、格納されたりする。実行可能なコードのモジュールは、単一の命令、１または複数のデータ構造、１または複数のデータセット、複数の命令などであり、複数の異なるコードセグメント、異なるプログラム間、複数のメモリデバイス間などに分散され得る。動作データまたは機能データは、ソフトウェア２１０のモジュール内で特定および図示され得、任意の適切なタイプのデータ構造内において適切な形態で具現化され、組織化され得る。

【0052】

図２のアダプタ２２５、２２６、および２２７に関して、デバイス２０５は特に、入力／出力（Ｉ／Ｏ）アダプタ２２５、デバイスアダプタ２２６および通信アダプタ２２７を含み得る。１または複数の実施形態によると、Ｉ／Ｏアダプタ ２２５は、周波数分割多元接続（ＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ－ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、直交周波数分割多重方式（ＯＦＤＭ）、直交周波数分割多元接続（ＯＦＤＭＡ）、移動体用グローバルシステム（ＧＳＭ：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ）通信、汎用パケット無線サービス（ＧＰＲＳ：Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ）、ユニバーサル移動体通信システム（ＵＭＴＳ：Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）、ｃｄｍａ２０００、広帯域ＣＤＭＡ（Ｗ－ＣＤＭＡ：Ｗｉｄｅｂａｎｄ ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、高速パケットアクセス（ＨＳＰＡ：Ｈｉｇｈ－Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ロングタームエボリューション（ＬＴＥ：Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥアドバンスト（ＬＴＥ－Ａ：ＬＴＥ Ａｄｖａｎｃｅｄ）、８０２．１１ｘ、Ｗｉ－Ｆｉ、Ｚｉｇｂｅｅ、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ－ＷｉｄｅＢａｎｄ）、８０２．１６ｘ、８０２．１５、Ｈｏｍｅ Ｎｏｄｅ－Ｂ（ＨｎＢ）、Ｂｌｕｅｔｏｏｔｈ、無線ＩＤタグ（ＲＦＩＤ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、近距離無線通信（ＮＦＣ：Ｎｅａｒ－Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、第５世代（５Ｇ）、Ｎｅｗ Ｒａｄｉｏ（ＮＲ）、または、通信用のいずれかの他の無線もしくは有線のデバイス／トランシーバに照らして、スモールコンピュータシステムインターフェース（ＳＣＳＩ：ｓｍａｌｌ ｃｏｍｐｕｔｅｒ ｓｙｓｔｅｍ ｉｎｔｅｒｆａｃｅ）として構成され得る。デバイスアダプタ２２６は、ディスプレイ２４１、キーボード２４２、制御デバイス２４３など（例えば、カメラ、スピーカなど）の入／出力デバイスをシステムバス２１５に相互接続する。通信アダプタ２２６は、システムバス２１５を、外部ネットワークであり得るネットワーク２５０と相互接続し、デバイス２０５が他のそのような装置（例えば、ローカルコンピューティングデバイス２５５、さらにはネットワーク２６０を介したリモートコンピューティングシステム２５６など）とデータを通信できるようにする。一実施形態では、アダプタ２２５、２２６、および２２７は、中間バスブリッジを介してシステムバス２１５に接続される１または複数のＩ／Ｏバスに接続され得る。ハードディスクコントローラ、ネットワークアダプタ、およびグラフィックアダプタなどの周辺機器を接続するのに適したＩ／Ｏバスは、典型的には、ペリフェラルコンポーネントインターコネクト（ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）などの共通プロトコルを含む。

【0053】

ディスプレイ２４１の例は、限定されないが、プラズマ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、電界放出ディスプレイ（ＦＥＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フレキシブルＯＬＥＤディスプレイ、フレキシブル基板ディスプレイ、投影ディスプレイ、４Ｋディスプレイ、高解像度（ＨＤ）ディスプレイ、Ｒｅｔｉｎａ（著作権）ディスプレイ、面内スイッチング（ＩＰＳ）ディスプレイなどを含み得る。ディスプレイ２４１は、入力／出力（Ｉ／Ｏ）のために、当業者に理解されるように、抵抗性、静電容量性、表面音響波（ＳＡＷ）静電容量性、赤外線、光学イメージング、分散信号技術、音響パルス認識、フラストレート全内部反射などを用いたタッチ、３次元（３Ｄ）タッチ、マルチ入力タッチ、またはマルチタッチディスプレイとして構成され得る。

【0054】

キーボード２４２と、コンピュータマウス、タッチパッド、タッチスクリーン、キーパッドなどの制御デバイス２４３とは、デバイス２０５への入力のために、システムバス２１５にさらに結合され得る。さらに、１または複数の入力は、それと通信している別のコンピューティングシステム（例えば、ローカルコンピューティングデバイス２５５および／またはリモートコンピューティングシステム２５６）を介して、リモートでコンピューティングシステム２００に提供されてもよく、あるいはデバイス２０５が自律的に動作してもよい。

【0055】

１または複数の実施形態によると、ソフトウェア２１０に関するデバイス２０５の機能は、タスクマイニングエンジン２９０の別個のインスタンスによって表されるように、ローカルコンピューティングデバイス２５５および／またはリモートコンピューティングシステム２５６に実装してもよい。

【0056】

次に図３に目を向けると、１または複数の実施形態によるコンピューティング環境（例えば、図１の環境１００）内で実行される方法３００を示すブロック図である。より詳細には、方法３００は、タスクマイニングエンジン１９１による、環境１００全体のＲＰＡによるタスクおよびプロセスマイニングの例示的な実装である。

【0057】

プロセスフロー３００は、ブロック３１０から始まり、タスクマイニングエンジン１９１は、環境１００に関するユーザーアクティビティを特定する１または複数の記録されたタスクを受信／監視する（例えば、データをリアルタイムで記録するか、記録のデータセットを受信／取得するか、またはそれらの組み合わせを利用する）。１または複数の記録されたタスクは、ユーザーアクティビティの間にユーザーがエグゼキュータ１７０で取るアクションを含み得る。１または複数の記録されたタスクはまた、ユーザーアクティビティが発生している間に（例えば、環境１００からタスクマイニングエンジン１９１によって）リアルタイムで記録された非構造化データを含み得る。１または複数の記録されたタスクは、データベースまたはリポジトリなど、エグゼキュータ１７０に対する外部ソースから受信され得る。１または複数の実施形態によると、タスクマイニングエンジン１９１は、アンアテンディッドロボット１７４を利用して、１または複数のアクティビティ１２４（例えば、ワークフロー）を、ステップ、アクション、および／またはタスクとしてキャプチャし得る。

【0058】

ブロック３３０において、タスクマイニングエンジン１９１は、記録された１または複数のユーザータスクを１または複数のステップにクラスタ化する。実施形態では、タスクマイニングエンジン１９１は、例えば、セントロイドに基づくまたはｋ平均法クラスタ化アルゴリズムを利用して、１または複数の記録されたユーザータスクをクラスタ化するなどして、記録された各ユーザータスクを処理およびスコアリングし得る。一般的に、ｋ平均法クラスタ化アルゴリズムは、各観測値が直近の平均（例えば、そのクラスタのプロトタイプとして機能するクラスタセントロイド）を有するクラスタに属するように、ｎ個の観測値をｋ個のクラスタに分割するベクトル量子化方法であることを含み得る。接続性に基づくクラスタ化（例えば、階層型クラスタ化）、分布に基づくクラスタ化、密度に基づくクラスタ化およびグリッドに基づくクラスタ化など、１または複数の他のクラスタ化アルゴリズムは、Ｋ平均法クラスタ化アルゴリズムの代わりに、またはＫ平均法クラスタ化アルゴリズムと組み合わせて使用され得る。

【0059】

ブロック３５０において、タスクマイニングエンジン１９１は、ユーザーアクティビティを模倣するために、１または複数のステップシーケンスを抽出する。１または複数のステップシーケンスは、１もしくは複数のステップの類似の組み合わせまたは繰り返される組み合わせを特定する。タスクマイニングエンジン１９１は、１または複数のタスクシーケンスも抽出し得る。１または複数のタスクシーケンスは、１または複数のステップ内からユーザーアクティビティの自動化を特定する。

【0060】

１または複数の実施形態によると、ブロック３３０および３５０の動作を通じて、タスクマイニングエンジン１９１は、自動化が「理にかなっている」かどうかを決定するためにクラスタ化（例えば、タスク／アクションをステップに分類し、ステップをクラスタ化する）することによって、１または複数のシーケンスを決定するためにクラスタから抽出する（例えば、クラスタ内およびクラスタ間のシーケンス抽出）ことによって、ユーザーアクションを理解するという技術的効果および利点を提供する。このようにして、タスクマイニング１９１は、何らかの意味のある方法で共にグループ化された個々のアクション／タスクを取り、意味のあるアクション／タスクのシーケンスを特定する。さらに、タスクマイニング１９１は、個々のステップを取り得、意味のあるステップのシーケンスを特定する。

【0061】

ブロック３７０において、タスクマイニングエンジン１９１は、実行されると自動的にユーザーアクティビティを実行する１または複数のステップシーケンスに基づくオートメーションコードを出力する。また、オートメーションコードは、１または複数のタスクシーケンスに基づき得る。１または複数の実施形態によると、オートメーションコードは、アンアテンディッドロボット１７４（例えば、または任意のロボット１２２）の別のインスタンスとして実装され、自動的にかつ独立して動作し得る。このように、タスクマイニングエンジン１９１は、オートメーションコードを介して自動化エクスペリエンスをユーザーに提供する。

【0062】

図４は、１または複数の実施形態によるロボティックプロセスオートメーション（ＲＰＡ）の開発、設計、操作、および／または実行を示す環境４００（例えば、コンピューティング環境）を示す図である。一般的に、環境４００は、データが記録され、クラスタ化され、マイニングされて、出力に離散的なタスクを生成するタスクマイニングプロジェクトを示す。簡潔で説明を容易にするために、図１～２の構成要素と類似する環境４００の構成要素は再定義されない。環境１００の１または複数のコンポーネントのそれぞれについて単一のブロックが示されているが、その単一のブロックは、当該コンポーネントの１または複数として示すものであることに留意されたい。

【0063】

図示されるように、環境１００は、ワイドエリアネットワーク（ＷＡＮ）４０８（例えば、図２のネットワーク２５０および２６０）にさらに接続するローカルエリアネットワーク（ＬＡＮ）４０７に接続された１または複数のデバイス４０５および４０６（例えば、図１のエグゼキュータ１７０または図２のデバイス２０５）を含み得、１または複数のリモートコンピューティングシステム４０９が動作する（例えば、図２のリモートコンピューティングシステム２５６）。環境内では、タスクマイニングエンジン４１１および４１２（例えば、図１のタスクマイニングエンジン１１１、１８１、および１９１、または図２のソフトウェア２３０）のインスタンスが、１もしくは複数のロボット４１６および４１７（例えば、図１のロボット１２２、１７４、および１７８）ならびにデータベース４２９（例えば、図１のコンダクタ１４０または図２のシステムメモリ２２０）を実行および／または１もしくは複数のロボット４１６および４１７（例えば、図１のロボット１２２、１７４、および１７８）ならびにデータベース４２９（例えば、図１のコンダクタ１４０または図２のシステムメモリ２２０）とインタラクションして、ユーザーアクション４３１、４３２および４３３を受信／監視／記録する。

【0064】

ユーザーアクション４３１、４３２および４３３は、本明細書で説明したように、ワークフローに関する任意のユーザー入力またはアクティビティを含み得る。例えば、ユーザーは、デバイス２０６（例えば、デジタル電話）を利用して、保険請求電話を受信する。ユーザーは、デバイス２０５（例えば、デスクトップコンピュータ）を利用して、保険請求電話の詳細を入力する。次に、ユーザーアクション４３２は、通話に関する応答、転送、終了、記録、保留操作を含み得る一方、ユーザーアクション４３１は、顧客情報、クレーム情報の入力、ウェブフォームへの入力、アジャスターや他の同僚への電子メールの送信を含み得る。さらに、ユーザーアクション４３３は、クレームのマネージャ承認などを含み得る。

【0065】

環境の動作例が、１または複数の実施形態による方法５００のブロック図を示す図４に関して説明される。より詳細には、方法５００は、環境４００全体のタスクマイニングエンジン４１１および４１２とロボット４１６および４１７によるタスクおよびプロセスマイニングの例示的な実施である。

【0066】

方法５００は、ブロック５０５から始まり、ロボット４１６は、第１のユーザーのユーザーアクション４３１をリアルタイムで記録する。さらに、ブロック５０６において、アンアテンディッドロボット４１７は、第２のユーザー（例えば、または今は別のデバイスを使用している第１のユーザー）のユーザーアクション４３２をリアルタイムで記録する。ユーザーアクション４３１および４３２は、それぞれのデバイス４０５および４０６でローカルに保存され得、かつ／または、データベース４２９に通信され得る。前回に記録が各ユーザーに対して実行されたように、ユーザーアクション４３３（例えば、リアルタイムで記録された非構造化データ）は、データベース４２９に現在格納され得る（ブロック４０７）。いずれの場合も、ユーザーアクション４３１、４３２および４３３は、任意のユーザーが画面の特定のＵＩ（例えば、特定のウェブフォームでのウェブフォームアクション、特定のアプリケーションウィンドウなど）で取る１もしくは複数の個別のステップ、アクションおよび／またはタスクをまとめて表す。例えば、ユーザーアクションは、ユーザーインターフェース内でのカーソルのシングルクリック、ユーザーによるタイピング、スクロールによるナビゲーション、ドラッグアンドドロップなどを含み得る。ユーザーアクション４３１、４３２および４３３は、本明細書に記載されているように、１または複数のタスクに結合するサブタスクとも考えられ得る。特定の例では、顧客サービスコールのコンテキストにおいて、ユーザーアクション４３１は、フォーム１および２の完了に関するアクションを含み得、ユーザーアクション４３２は、顧客コールの受信に関するアクションを含み得、ユーザーアクション４３３は、マネージャの承認に関するアクションを含み得る。

【0067】

１または複数の実施形態によると、タスクマイニングエンジン４１１は、デバイス２０５の画面からの光学文字認識（ＯＣＲ）メカニズムと、単語対ベクトルの人工知能アルゴリズムとを使用して、画面上の外観に基づいて個々の単語の表現を作成し得る。すなわち、タスクマイニングエンジン４１１は、ユーザーアクション４３１の表現を生成する（表現は、時間的な情報のような多くの異なる品質を含み得ることに留意されたい）。ＯＣＲメカニズムは、テキストの画像（例えば、スクリーンショット）を機械エンコードされたテキストに変換する任意のものを含み得る。単語からベクトルへの人工知能アルゴリズムは、単語の言語的コンテキストを再構築するための単語埋め込みを生成するために使用される任意のモデル群（例えば、２層ニューラルネットワーク）を含み得る（例えば、アクションまたはステップのコード化された表現を提供する）。追加的にまたは代替的に、最新の統計的機械学習を用いた、ＧＥＮＳＩＭおよび／またはＳｃｉｋｉｔ－Ｌｅａｒｎなどの、監督なしのトピックモデリングおよび自然言語処理のためのオープンソースライブラリも同様に使用され得る。実質的に、タスクマイニングエンジン４１１は、ＯＣＲメカニズムと単語からベクトルへの人工知能アルゴリズムとを組み合わせて、画面全体に対する単一の表現を生成する。

【0068】

ブロック５１０では、タスクマイニングエンジン４１１またはタスクマイニングエンジン４１２は、ユーザーアクション４３１、４３２および４３３を受信する（例えば、顧客サービスコールに関するデータを集約する）。説明を容易にするために、方法５００の残りの部分は、タスクマイニングエンジン４１１の観点から説明されるが、タスクマイニングエンジン４１２は、本明細書中の動作を複製し得る。タスクマイニングエンジン４１１は、ＬＡＮ４０７またはＷＡＮ４０８を介して、プルリクエストなどにより、ユーザーアクション４３２および４３３を受信し得る。１または複数の記録されたタスクはまた、ユーザーアクティビティが発生している間に（例えば、図１の環境１００からタスクマイニングエンジン１９１によって）リアルタイムで記録された非構造化データを含み得る。１または複数の記録されたタスクは、データベースまたはリポジトリなど、外部ソースから同様に受信され得る。１または複数の実施形態によると、タスクマイニングエンジン４１１は、アンアテンディッドロボット４１７を利用して、１または複数のアクティビティ（例えば、ワークフロー）を、ステップ、アクションおよび／またはタスクとしてキャプチャし得る。

【0069】

ブロック５２５において、タスクマイニングエンジン４１１は、ユーザーアクション４３１、４３２および４３３をクラスタ化して、アクションが同一であるとみなされるかどうかを決定する（例えば、ユーザーが顧客サービスコールに関連するコメントを入力し、その後、フォーム１のコメントボックスに同じコメントを入力する）。一般的な注意として、ブロック５２５のクラスタ化は、個々のステップ／スクリーンショットのクラスタ化とみなされ得る。さらに、タスクマイニングエンジン４１１によるこのクラスタ化動作において、ユーザーアクション４３１、４３２および４３３のシーケンスが考慮され得る（例えば、第１のユーザーによるスクロール前のクリック対クリック前のスクロール；シーケンスは、様々なアクティビティを見て、アクティビティが同じ結果を達成するかどうかを見ることができる）。このようにして、ユーザーアクション４３１、４３２および４３３から初期クラスタ化によって１または複数のユーザータスクが特定され得（例えば、サブタスクを１または複数のタスクに結合し、個々のアクションはクラスタ化される）、ユーザーアクション４３１、４３２および４３３の１または複数のユーザータスクへのクラスタ化は、１または複数のユーザータスクを１または複数のステップに結合することによってさらに実行され得る。さらに、ブロック５２５の初期クラスタ化は、クラスタ全体がユーザーが取り得るステップのタイプであるように、ユーザーアクション４３１、４３２および４３３をクラスタ化して、１または複数のステップを見つける。また、初期クラスタ化は、何種類のステップが表されているかを決定するとともに、「どのようにして何種類を決定するか」を決定し得る。後者の場合、初期クラスタ化は、多数の異なるクラスタ化を実行し、クラスタ化を採点し、各実行がどれだけうまくいったかを測定して、品質測定基準を決定する（例えば、生成されるクラスタ化が与えられたログの構造量を最大化する）。

【0070】

初期クラスタ化は、無意味な動作ではなく、具体的すぎる（ユーザーアクションの一致を見逃す原因となる）ことと、一般的すぎる（異質なユーザーアクションがグループ化される原因となる）こととの間でバランスをとるという技術的効果および利点をもたらす。このバランスを達成するために、タスクマイニングエンジン４１１は、必要に応じて、１または複数のクラスタ化アルゴリズムを実施し得る（例えば、ユーザーアクションが発生したインターフェース画面に関して、クラスタ化アルゴリズムが選択され得る）。１または複数のクラスタ化アルゴリズムの例は、限定されないが、セントロイドに基づくまたはＫ平均法クラスタ化、接続性に基づくクラスタ化（例えば、階層型クラスタ化）、分布に基づくクラスタ化、密度に基づくクラスタ化、およびグリッドに基づくクラスタ化を含む。

【0071】

１または複数の実施形態によると、タスクマイニングエンジン４１１は、まず、ユーザーアクション４３１、４３２および４３３を、ユーザーアクション４３１、４３２および４３３がどの種類のＵＩで実行されたか（例えば、あるウェブフォームにおけるウェブフォームアクション、あるアプリケーションウィンドウなど）にグループ化／クラスタ化する。例えば、画面上において近接している単語は、（単語からベクトルへの人工知能アルゴリズム、Ｓｃｉｋｉｔ－Ｌｅａｒｎ、および／またはＧＥＮＳＩＭを介して）類似した表現を与えられる傾向がある。異なる画面タイプには異なる単語があり、異なる画面上の単語には異なる表現が与えられ、タスクマイニングエンジン４１１が画面を区別することができるという仮定がある。場合によっては、似たような単語を持つ２つの画面が似たような表現を得て、例えばＫ－平均法クラスタ化によって似たようなグループ化／クラスタ化が可能となる。表現を分析するためのクラスタ化の他の例は、画像データ、テキストサイズ、テキストフォント、セレクタからの情報（例えば、画面上で実行されているアプリケーション）、個々のページなどを使用することを含む。

【0072】

１または複数の実施形態によると、タスクマイニングエンジン４１１は、クラスタ化アルゴリズムの１または複数のパラメータを設定し得る。タスクマイニングエンジン４１１は、精度に基づいてグループ化／クラスタをスコアリングし、そのスコアをフィードバックして最適なパラメータ設定を決定し得る。例えば、Ｋ－平均法クラスタ化は、異なる数のクラスタ上で複数回実行し、スコア（例えば、シルエットスコアおよび／または時間的スコア（ｔｅｍｐｏｒａｌ ｓｃｏｒｅ））を使用して、最適なパラメータを見つけることにより、クラスタの数に基づいて最適なグループ化を見つけ得る。シルエットスコアは、ユーザーアクション４３１、４３２および４３３がどの程度クラスタ化されているかという観点から、クラスタ品質を評価する。シルエットスコアは、シルエットスコアが各クラスタに対して同じスコアであるかどうかおよび／または各クラスタが１回を超えて実行されるかどうかを決定するとともに、異なるクラスタの各サンプルについて計算され得る。時間的スコアは、シルエットスコアの代わりにまたはシルエットスコアに加えて、最適なパラメータを決定する際に、表現の時間的情報を説明できるようにされ得る。

【0073】

ブロック５３０において、タスクマイニングエンジン４１１は、シーケンスをクラスタ化する。一般的な注意として、ブロック５３０のクラスタ化は、クラスタ化されたステップ／スクリーンショットが時間に関してさらにクラスタ化される時間的要素を含み得る（例えば、タイムスタンプを使用して、タスクマイニングエンジン４１１は、異なるステップ／スクリーンショットが発生する時間にどれだけ近いかを決定する）。１または複数の実施形態によると、タスクマイニングエンジン４１１は、ブロック５３０と同じクラスタ化アルゴリズムおよび／または１もしくは複数の異なるクラスタリングアルゴリズムを使用し得る。一例では、タスクマイニングエンジン４１１は、シンボリッククラスタ化および／またはシーケンシャルパターンマイニングを実行するシーケンス抽出アルゴリズム（例えば、アルファアルゴリズム）を実行する。シーケンシャルパターンマイニングは、タスクマイニングエンジン４１１が、シーケンス情報のための効率的なデータベースおよびインデックスを構築し、頻繁に発生するパターンを抽出し、類似性についてシーケンスを比較し、欠落したシーケンスメンバーを回復することができるように、シーケンスで配信されたユーザーアクション４３１、４３２および４３３ならびに／またはブロック５２５で生成されたクラスタの間から、統計的に関連するパターンを抽出することを含み得る。

【0074】

例えば、クラスタ化シーケンスまたは第２のクラスタ化は、ユーザーアクション４３１、４３２および４３３ならびに／またはブロック５２５で生成されたクラスタからシーケンス抽出またはシーケンスを特定するための操作と考えられ得る。一般に、クラスタシーケンスは、本明細書に記載されているように、ユーザーアクティビティを模倣するために、１もしくは複数のステップシーケンスおよび／または１もしくは複数のタスクシーケンスを抽出することを含む。方法５００に関して、クラスタ化シーケンスは、サブブロック５３３での有用性の決定と、サブブロック５３６でのランクの決定という２つの態様を有し得る。

【0075】

サブブロック５３３では、タスクマイニングエンジン４１１は、有用性を決定する。すなわち、タスクマイニングエンジン４１１が解決する技術的な問題とは、アクションのシーケンスが有用であることの意味を決定することである。タスクマイニングエンジン４１１は、例えば、オンライン上で「もの」を探しているユーザーをキャプチャすることを望んでおらず、ランダムな偶然よりも頻繁に発生するシーケンスを望んでいる。ランダムな偶然またはランダム性は、パターンまたは予測可能性の明らかなまたは実際の欠如であり、その結果、１または複数のユーザーアクション４３１、４３２および４３３に順序がないか、または理解可能なパターンもしくは組み合わせに従わない（例えば、確率分布は、時間の経過に伴う１または複数のユーザーアクション４３１、４３２および４３３の頻度に基づいて決定され得る）。本質的に、タスクマイニングエンジン４１１は、「有用なシーケンスを抽出する方法」を特定するための良い方法を決定しようとする。

【0076】

例えば、タスクマイニングエンジン４１１は、生成されたクラスタから、異なってはいるが組み合わせる必要があるほど十分に類似しているタスク例またはシーケンス例を抽出し得る。さらに、タスクマイニングエンジン４１１は、これらのタスク例またはシーケンス例からバリエーションを決定し、バリエーションを分離させる必要があるほど十分に異なっているかどうかを決定し得る。実施形態では、タスクマイニングエンジン４１１は、すべてのアクションがランダムであると仮定され、シーケンス発生の確率が計算される任意のポアソンプロセス統計モデルなどの、１または複数の相関検出器を利用し得る。統計モデルを用いるタスクマイニングエンジン４１１の相関検出器の例は、ステップシーケンス内のｐ値および相関を計算する。このようにして、タスクマイニングエンジン４１１は、どのくらいの頻度でバリエーションが一緒に現れるのか、また、どのくらい離れているのかを判断し得る。例えば、１時間に１回程度の頻度で曲を検索するような、いくつかの比較的頻度の低い処理は役に立たない。タスクマイニングエンジン４１１の相関検出器は、何度も繰り返されるアクションをより強く認識し、順序は異なるが同じ結果を得る（そうして、同じであると認識される）シーケンスが持つ多少の変動を説明し得る。さらに、タスクマイニングエンジン４１１の相関検出器は、順序に加えて、１組のアクションを任意の順序で見ることができるため、相関検出器は、厳密にはシーケンスになっていないアクションを認識し得る。

【0077】

サブブロック５３６では、タスクマイニングエンジン４１１は、ランクを決定する。すなわち、タスクマイニングエンジン４１１が解決する技術的課題は、有用であると判断された各々のランクを決定することである。言い換えれば、タスクマイニングエンジン４１１は、抽出されたタスクおよびシーケンスをランク付けして、どれが最も興味深いかを判断する。（例えば、任意の２つの項目について、一方が第２の他方よりも「上位にランクされる」または「より興味深い」となるように、抽出されたタスクおよびシーケンス間の関係を設定する）。ランクは、スケール全体の英数字の値（例えば、１から１０までの数字）とされ得る。興味深さは、タスクまたはシーケンスがユーザーのビジネス上の目的に関連している可能性を特定して、時間の経過に伴うユーザーアクション４３１、４３２および４３３のいずれかが重要であると特定され、他のユーザーアクションを特定するために使用され得ることに留意されたい。タスクマイニングエンジン４１１は、シーケンス全体を統一されたチャンクとして見て、確率モデル（例えば、隠れマルコフモデル）のバリエーションに基づいて統計値（例えば、ランク）を計算する統計モデル（本明細書に記載の相関検出器とは異なる）を採用し得る。動作サブブロック５３６および５３６は、環境４００に対する計算コストに基づいて、組み合わせから独立であり得ることに留意されたい。

【0078】

１または複数の実施形態によると、ブロック５２５および５３０は、本明細書中の動作に代えてまたは加えて、シーケンスを分析して、別個のスタンドアロンのアクションおよび／またはサブタスクを決定するための分析態様を含み得る。すなわち、２つのタスクが完全に分離されるという保証はないので、タスクマイニングエンジン４１１は、タスクからサブタスクをそれら自身の別々タスクとして抽出することが求められ得る。このようにして、タスクマイニングエンジン４１１は、サブタスクがより大きなタスクの一部であり、サブタスクの抽出が有用であることを特定する。

【0079】

タスクマイニングエンジン４１１は、タスクステップの分数を計算し、これはまた一対のタスクの一部として別のタスクに割り当てられ得ることに留意されたい。これに関連して、一方のタスクに有意な重複があり、他方のタスクにはない場合、第１のタスクは第２のタスクの一部である可能性が高い。有意な重複は、スライディングスケールで設定された動的しきい値に関して、第１のタスクに含まれるアクションの分数が他のタスクにある場合を含み得る。タスクマイニングエンジン４１１は、０％から１００％の間でこの動的を調整することができ、例えば、８５％から６５％の間で明確化し得る。したがって、タスクマイニングエンジン４１１は、タスクの各対について動的しきい値を使用し、有向グラフを生成し、有向グラフを使用して、タスクのすべての組み合わせおよび／またはサブ組み合わせをグループ化し得る。

【0080】

１または複数の実施形態によると、ブロック５２５および５３０は、本明細書中の動作に代えてまたは加えて、反復シーケンス抽出アスペクトを含み得る。反復シーケンス抽出アスペクトは、クラスタ内で繰り返されるアクションを求める。その理由は、これらの繰り返されるアクションは、潜在的に自動化可能なプロセス／ワークフローを含み得るからである。繰り返しシーケンス抽出態様は、タスクマイニングエンジン４１１が機械学習および／または人工知能アルゴリズムを柔軟に使用できるように、クラスタ化で様々なレベルの特異性を可能にする。これに関連して、タスクマイニングエンジン４１１は、ディープニューラルネットワークを活用して、現在のシーケンスのログから将来のアクションを予測し得る。例えば、機械学習および／または人工知能アルゴリズムは、ユーザーアクション４３１、４３２および４３３ならびにクラスタから、将来のアクションを予測する方法を学び、次に、これらの予測を使用して、特定のサブタスク／タスク／シーケンスを発見する（例えば、より頻繁に、より正確に実行されるシーケンスを予測する）ことができる。場合によっては、クラスタ化が処理のボトルネックになるという問題を解決し、シーケンスを抽象的に学習するという利点を提供するために、機械学習および／または人工知能アルゴリズムの動作の後にクラスタ化を行い得る。他のニューラルネットワークを利用し得ることも留意されたい。

【0081】

ニューラルネットワークは、本明細書に記載される機械学習および／または人工知能アルゴリズムの実装（例えば、タスクマイニングエンジン４１１によって実装される）をサポートするように操作する。ニューラルネットワークは、ソフトウェアだけでなく、ハードウェアにも実装され得る。例示的な動作において、ニューラルネットワークの入力層は、ユーザーアクション４３１、４３２および４３３などの入力を受信する。ニューラルネットワークは、これらの入力をエンコードして（例えば、ユーザーアクション４３１、４３２および４３３の任意の部分と、タスクマイニングエンジン１１１によって生成された予測とを利用して）、潜在的な表現またはデータコーディングを生成する。潜在的な表現は、複数の入力から誘導される１または複数の中間的なデータ表現を含む。１または複数の実施形態によると、潜在的な表現は、タスクマイニングエンジン１１１の要素単位の活性化関数（例えば、シグモイド関数または整流線形単位）によって生成される。入力は隠れ層に提供され、隠れ層は、処理要素と要素パラメータとの間の接続によって決定される、複雑なグローバルな挙動を示すための処理を実行する。このように、入力層と隠れ層との間の遷移は、入力のいくつかのより小さい表現（例えば、得られる潜在的な表現）を学習するために、入力を受け取り、（隠れ層内の）ディープニューラルネットワークにそれを転送するエンコーダステージと考えられ得る。ディープニューラルネットワークは、ＣＮＮ、長短期記憶ニューラルネットワーク、完全連結ニューラルネットワークまたはそれらの組み合わせであり得る。このエンコーディングは、入力の次元削減を提供する。次元削減とは、主変数のセットを得ることによって、考慮中の（入力の）ランダム変数の数を減らすプロセスである。例えば、次元削減は、データ（例えば、入力）を高次元空間（例えば、１０次元超）から低次元空間（例えば、２～３次元）に変換する特徴抽出であり得る。次元削減の技術的効果および利点は、ユーザーアクション４３１、４３２および４３３の時間および記憶領域の要件を削減すること、ユーザーアクション４３１、４３２および４３３の視覚化を改善すること、ならびに機械学習のためのパラメータ解釈を改善することを含む。このデータ変換は、線形または非線形であり得る。受信およびエンコードの操作は、タスクマイニングエンジン１１１による多段階のデータ操作のデータ準備部分と考えられ得る。さらに、ニューラルネットワークは、潜在的な表現をデコードする。デコード段階は、エンコーダ出力（例えば、得られる潜在的な表現）を取り、別のディープニューラルネットワークを使用して、入力のいくつかの形を再構築しようとする。これに関連して、潜在表現のノードが結合されて、出力層で出力が生成される。すなわち、出力層は、干渉、アーティファクト、ノイズなどを含まない、縮小された次元で入力を再構成する。

【0082】

方法５００に戻ると、ブロック５３０に関して本明細書で示したように、タスクマイニングエンジン４１１は、ブロック５２５の初期クラスタ化と、それらのシーケンスの有用性を考慮したユーザーアクション４３１、４３２および４３３とから、ランク付けされたシーケンスを生成する。ブロック５７０で、タスクマイニングエンジン４１１は、実行されると自動的にユーザーアクティビティを実行するランク付けされたシーケンスに基づくオートメーションコードを出力する。１または複数の実施形態によると、オートメーションコードは、アンアテンディッドロボット４１７（例えば、または任意のロボット４１６）の別のインスタンスとして実施され、自動的かつ独立して動作し得る。例えば、アンアテンディッドロボット４１７は、顧客サービスコールを記録することができ、ロボット４１６は、フォーム２の完了時に、承認のためにマネージャに自動的に電子メールを送信する。このように、タスクマイニングエンジン１９１はオートメーションコードを介して、自動化エクスペリエンスをユーザーに提供する。

【0083】

１または複数の実施形態によると、本明細書に記載されるタスクマイニングエンジンの１または複数の技術的効果、利点および長所は、タスクの開始および終了を特定することである。このようにして、環境に入ってきた任意の非構造化データは、環境のデータベース（例えば、クラウド）に送られる１または複数のソースから集約され得る。さらに、タスクマイニングエンジンのクライアント版もデータを記録し得る。集約され、記録されたデータを用いて、タスクマイニングエンジンは、クラスタ化を実行してデータを分析し、タスク／ステップ／シーケンスを決定し、これらのタスク／ステップ／シーケンスは、スコアが固定され、対応するスコアに基づいてＲＰＡとして自動化される。

【0084】

１または複数の実施形態によると、１または複数のタスクマイニングエンジンは、タスクのバリエーションも決定し得る。タスクバリエーションは、２つ以上のタスクが同じ結果（例えば、フォームのセットを完了する）を達成する一方で、２つ以上のタスクのうち１つがより効率的（例えば、フォームのセットを特定の順序で完了する）である場合を含む。また、タスクのバリエーションは、他の態様を示すこともある（例えば、顧客のためにホテルの予約を完了し、タスクのバリエーションは、ホテルの予約にパッケージを追加することを含むなど）。タスクマイニングエンジンは、次に、タスクバリエーションの最も効率的なタスクを自動化し得る。

【0085】

例えば、タスクマイニングエンジンは、（例えば、タスク／ワークフロー／プロセスの）アクションセットを受信し、その中の各アクションにシグネチャを割り当て、アクションセット内のシーケンスに基づいてタスクのトレースを生成し、その中のアクションがどのような順序で発生したかを決定する。一般的に、各アクションタイプには１つのシグネチャがあり、シーケンス順序の指標を提供し、これらのシグネチャに基づいてアクションセットをグループ化することで、アクションセット内のバリエーションを提供し得る。つまり、シーケンス順序が変わると、トレースが変化する。アクションＡ（例えば、シグネチャＡを割り当てられたユーザーアクション）が、アクションＢ（例えば、シグネチャＢを割り当てられたユーザーアクション）の前に６回中５回発生した場合、トレースではアクションＡがアクションＢの前に来ることになる。タスクマイニングエンジンは、同じワークフロー／プロセスのこれらのバリエーションをすでに認識しているので、タスクマイニングエンジンは、平均ステップ数、各バリエーションにかかる時間などを見て、効率を決定する。

【0086】

例として、フォーム２がマネージャの承認を受けるたびに、ユーザーがフォーム１とフォーム２を２５回完成する（例えば、フォーム１には第１のシグネチャがあり、フォーム２には第２のシグネチャがあり、マネージャの承認には第３のシグネチャがある）。フォーム１がフォーム２とマネージャの承認の前に２５回のうち２１回完了した場合、最初のトレースではフォーム１がフォーム２の前に来る。残りの４回については、第２のトレースは、ユーザーがフォーム２を最初に完了し、マネージャの承認がユーザーがフォーム１を完成する間に行われるというシーケンス順序を特定する。フォーム１の完成と並行してマネージャの承認が行われたために、第２のトレースが第１のトレースよりも短いことをタスクマイニングエンジンが特定した場合、タスクマイニングエンジンは、第２のトレースがより効率的であると決定し得る。このように、第２のトレースは、第１のトレースよりも提案され、自動化され、そして実装され得る。

【0087】

図中のフローチャートおよびブロック図は、本発明の様々な実施形態による、装置、システム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、および操作を示す。これに関連して、フローチャートまたはブロック図の各ブロックは、指定された論理機能（複数可）を実装するための１または複数の実行可能な命令を含むモジュール、セグメント、または命令の一部を表し得る。いくつかの代替実施例において、ブロックに記載されている機能は、図面のフローチャートおよびブロック図に記載されている順序とは異なる場合がある。例えば、連続して表示されている２つのブロックは、関係する機能に応じて、実際には実質的に同時に実行され得、またはブロックが逆の順序で実行され得る。また、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組み合わせは、指定された機能もしくは行動を実行するか、または特別な目的のハードウェアおよびコンピュータ命令の組み合わせを実行する特別な目的のハードウェアに基づくシステムによって実装され得ることに留意されたい。

【0088】

特徴および要素は、特定の組み合わせで上に記載されているが、各特徴または要素は、単独で、または他の特徴および要素と任意の組み合わせで使用することができることが、当業者には理解されるであろう。例えば、本明細書に記載されている方法およびプロセスのいずれかでは、記載されているステップは任意の順序で順不同で実行され得、明示的に記載または表示されていないサブステップが実行され得る。「ＡまたはＢ」を参照して使用する場合は、Ａ、Ｂ、またはＡおよびＢを含む場合があり、より長いリストと同様に拡張され得る。表記Ｘ／Ｙを使用する場合、それはＸまたはＹを含み得る。あるいは、表記Ｘ／Ｙを使用する場合、それはＸおよびＹを含み得る。Ｘ／Ｙ表記は、同一の説明されたロジックを有するより長いリストと同様に拡張され得る。また、「結合されている」または「操作的に結合されている」とは、オブジェクトが連結されていることを意味してもよいが、連結されているオブジェクトの間にゼロまたはそれ以上の中間オブジェクトを有してもよい。また、開示された特徴／要素の任意の組み合わせが、１または複数の実施形態で使用されてもよい。

【0089】

さらに、本明細書に記載された方法およびプロセスは、コンピュータまたはプロセッサによる実行のためにコンピュータ読み取り可能な媒体に組み込まれたコンピュータプログラム、ソフトウェア、および／またはファームウェア（例えば、コンピュータプログラム製品）で実装され得る。すなわち、コンピュータプログラム製品は、コントローラ、プロセッサなどに本発明の態様を実行させるためのコンピュータ読み取り可能プログラム命令をその上に有するコンピュータ読み取り可能なストレージ媒体（または複数の媒体）を含み得る。

【0090】

コンピュータ読み取り可能なストレージ媒体は、コンピュータ読み取り可能プログラム命令を保持および格納し得る有形のデバイスであり得る。コンピュータ読み取り可能なストレージ媒体は、例えば、限定されないが、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、または前述の任意の適切な組み合わせであり得る。本明細書で使用されるコンピュータ読み取り可能なストレージ媒体は、それ自体が一時的な信号であると解釈されるものではなく、例えば、電波またはその他の自由に伝播する電磁波、導波管またはその他の伝送媒体を伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または電線を介して伝送される電気信号である。コンピュータ読み取り可能なストレージ媒体の例は、限定されないが、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、コンパクトディスク（ＣＤ）およびデジタルバーサタイルディスク（ＤＶＤ）などの光媒体、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）ならびにメモリースティックを含む。

【0091】

本明細書に記載されたコンピュータ読み取り可能なプログラム命令は、例えばネットワーク通信などの接続を介して、装置、デバイス、コンピュータ、または外部ストレージからそれぞれのコントローラ、プロセッサなどに通信および／またはダウンロードされ得る。本発明の操作を実行するためのコンピュータ読み取り可能なプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ－ｓｅｔ－ａｒｃｈｉｔｅｃｔｕｒｅ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、または、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの手続き型プログラミング言語を含む１もしくは複数のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードのいずれかであり得る。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、電子回路をパーソナライズするコンピュータ読み取り可能なプログラム命令の状態情報を利用して、コンピュータ読み取り可能なプログラム命令を実行し得る。

【0092】

本明細書で使用される用語は、ひとえに特定の実施形態を説明するためのものであり、限定することを意図しない。本明細書では、単数形の「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明確に示す場合を除き、複数形も含むことを意図する。本明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ）」および／または「含む（ｃｏｍｐｒｉｓｉｎｇ，）」という用語は、記載された特徴、整数、ステップ、操作、要素、および／またはコンポーネントの存在を特定するが、１または複数の他の特徴、整数、ステップ、操作、要素、コンポーネント、および／またはそれらのグループの存在または追加を排除するものではないことがさらに理解されるであろう。

【0093】

本明細書の様々な実施形態の説明は、説明のために提示されたものであるが、開示された実施形態を網羅的に、またはそれに限定することを意図したものではない。当業者であれば、記載された実施形態の範囲および精神から逸脱することなく、多くの修正および変形が明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見られる技術に対する実用化もしくは技術的改善を最もよく説明するため、または当業者が本明細書で開示されている実施形態を理解できるように選択されたものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】