特表 2024-532969 エンドユーザデバイスのＧＵＩインタラクション情報を判定するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-11

(54)【発明の名称】エンドユーザデバイスのＧＵＩインタラクション情報を判定するためのシステム及び方法

(51)【国際特許分類】

   G06F 11/34 20060101AFI20240904BHJP

   G06F 3/048 20130101ALN20240904BHJP

【ＦＩ】

G06F11/34 138

G06F3/048

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024509427

(86)(22)【出願日】2022-08-18

(85)【翻訳文提出日】2024-04-04

(86)【国際出願番号】 GB2022052147

(87)【国際公開番号】W WO2023021299

(87)【国際公開日】2023-02-23

(31)【優先権主張番号】2111831.0

(32)【優先日】2021-08-18

(33)【優先権主張国・地域又は機関】GB

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＷＩＮＤＯＷＳ

２．ＰＹＣＨＡＲＭ

３．ＳＡＰ

(71)【出願人】

【識別番号】516005083

【氏名又は名称】ブルー プリズム リミテッド

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】ダッバ，クリシュナ サンディープ レディ

(72)【発明者】

【氏名】カー，ベンジャミン マイケル

(72)【発明者】

【氏名】アクタス，ウーミット ルーセン

(72)【発明者】

【氏名】チルズ，トーマス アレクサンダー

【テーマコード（参考）】

5B042

5E555

【Ｆターム（参考）】

5B042MA05

5B042MA08

5B042MA10

5B042MA11

5B042MA14

5E555AA09

5E555AA42

5E555AA79

5E555BA02

5E555BB02

5E555BC14

5E555BC21

5E555EA03

5E555EA28

5E555FA00

(57)【要約】

エンドユーザデバイスのＧＵＩインタラクション情報を判定するためのコンピュータによって実装される方法を開示する。方法は、１つ又は複数のＧＵＩスパイモードを使用してデバイス状態情報を解析し、前記１つ又は複数のＧＵＩスパイモードのＧＵＩインタラクション情報を推定することと、参照モデルに基づいて、前記１つ又は複数のＧＵＩスパイモードの推定ＧＵＩインタラクション情報を分類することと、前記分類結果に基づいて、ＧＵＩインタラクション情報を出力することとを含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

エンドユーザデバイスのグラフィカルユーザインタフェース（ＧＵＩ）インタラクション情報を判定するためのコンピュータによって実装される方法であって、
１つ又は複数のＧＵＩスパイモードを使用してデバイス状態情報を解析し、前記１つ又は複数のＧＵＩスパイモードのＧＵＩインタラクション情報を推定することと、
参照モデルに基づいて、前記１つ又は複数のＧＵＩスパイモードの推定ＧＵＩインタラクション情報を分類することと、
前記分類の分類結果に基づいて、ＧＵＩインタラクション情報を出力することと、
を含む、方法。

【請求項2】

請求項１に記載の方法であって、
前記１つ又は複数のＧＵＩスパイモードは、コンピュータにネイティブなアプリケーションプログラミングインターフェース（ＡＰＩ）を含み、前記推定ＧＵＩインタラクション情報は、前記ＡＰＩからＧＵＩインタラクション情報にアクセスすることによって推定される、方法。

【請求項3】

請求項１又は請求項２に記載の方法において、
前記１つ又は複数のＧＵＩスパイモードは、後処理法を含む。

【請求項4】

請求項３に記載の方法において、
前記後処理法は、コンピュータビジョンツールを含む、方法。

【請求項5】

請求項１から請求項４のいずれか一項に記載の方法において、
前記参照モデルは、所定の規則に基づく発見的モデルを含む、方法。

【請求項6】

請求項１から請求項４のいずれか一項に記載の方法において、
前記参照モデルは、過去データでトレーニングされたマルチモーダル深層学習モデルを含む、方法。

【請求項7】

請求項１から請求項６のいずれか一項に記載の方法において、
前記デバイス状態情報を解析すること、及び対応する推定ＧＵＩインタラクション情報を分類することは、複数のＧＵＩスパイモードについて直列に実行される、方法。

【請求項8】

請求項１から請求項６のいずれか一項に記載の方法において、
前記デバイス状態情報を解析すること、及び対応する推定ＧＵＩインタラクション情報を分類することは、複数のＧＵＩスパイモードについて並列に実行される、方法。

【請求項9】

請求項１から請求項８のいずれか一項に記載の方法において、
前記参照モデルに基づいて前記推定ＧＵＩインタラクション情報を分類することは、前記推定ＧＵＩインタラクション情報を真又は偽のいずれかとして分類することを含む、方法。

【請求項10】

請求項９に記載の方法において、
最後のＧＵＩスパイモードがコンピュータビジョンツールであり、対応する推定ＧＵＩインタラクション情報が真として分類される、方法。

【請求項11】

請求項９に記載の方法において、
前記推定ＧＵＩインタラクション情報を分類することは、真の分類が判定されたときに終了され、前記分類結果に基づいてＧＵＩインタラクション情報を出力することは、真として分類された推定ＧＵＩインタラクション情報を出力することを含む、方法。

【請求項12】

請求項１から請求項８のいずれか一項に記載の方法において、
参照モデルに基づいて前記推定ＧＵＩインタラクション情報を分類することは、前記参照モデルに基づいて前記推定ＧＵＩインタラクション情報の部分集合にスコアを割り当てることを含む、方法。

【請求項13】

請求項１２に記載の方法において、
前記分類結果に基づいてＧＵＩインタラクション情報を出力することは、スコアが最も高い分類済み推定ＧＵＩインタラクション情報を出力することを含む、方法。

【請求項14】

請求項１２に記載の方法において、
前記分類結果に基づいてＧＵＩインタラクション情報を出力することは、前記分類済み推定ＧＵＩインタラクション情報を前記スコアに基づいてフィルタリング及び集約することを含む、方法。

【請求項15】

請求項１４に記載の方法において、
前記フィルタリングは、スコアが所定の閾値未満の前記分類済み推定ＧＵＩインタラクション情報の部分集合を除外することを含む、方法。

【請求項16】

請求項１２に記載の方法において、
前記分類結果に基づいてＧＵＩインタラクション情報を出力することは、スコアが所定の閾値以上の分類済み推定ＧＵＩインタラクション情報を集約することを含む、方法。

【請求項17】

請求項１から請求項１６のいずれか一項に記載の方法において、
前記分類結果に基づいてＧＵＩインタラクション情報を出力することは、前記複数のＧＵＩスパイモードのうちの１つ以上を使用して推定された、分類済み推定ＧＵＩインタラクション情報の部分集合を出力することを含む、方法。

【請求項18】

請求項１から請求項１７のいずれか一項に記載の方法において、
前記１つ又は複数のＧＵＩスパイモードを使用してデバイス状態情報を解析し、前記ＧＵＩインタラクション情報を推定することは、ユーザインタラクションのインスタンスごとに行われる、方法。

【請求項19】

請求項１から請求項１８のいずれか一項に記載の方法をコンピュータに実行させるための命令を含む、非一時的なコンピュータ可読媒体。

【請求項20】

エンドユーザデバイスのＧＵＩを表示するためのディスプレイと、
前記ディスプレイに接続された少なくとも１つのプロセッサであって、請求項１から請求項１８のいずれか一項に記載の方法に基づく命令を実行するように構成された少なくとも１つのプロセッサと、を備える、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、エンドユーザデバイスのＧＵＩインタラクション情報を判定するためのシステム及び方法に関する。

【背景技術】

【0002】

エンドユーザデバイスのグラフィカルユーザインタフェース（graphical user interface：ＧＵＩ）を用いることにより、オペレータ（すなわち、人間であるオペレータ）は、エンドユーザデバイスを使用してプロセスを実行でき、このプロセスは、複雑なデータ処理及び／又はシステム制御タスクを含むことができる。ここで、ＧＵＩにより、オペレータは、新しいプロセスの実行に速やかに慣れることができるが、ＧＵＩとインタラクトするオペレータの観点から、当該プロセスが実行され得る性質（nature）は単一ではなく、多様であるため、当該プロセスの更なる自動化には課題がある。

【0003】

「Ｂｌｕｅ Ｐｒｉｓｍ Ｃａｐｔｕｒｅ」などのインテリジェントプロセスキャプチャ（intelligent process capture）及び自動化プラットフォームは、ソフトウェアエージェントを使用して既存のＧＵＩを介してエンドユーザデバイスとインタラクトし、所与のプロセスを実行することにより、従来のプロセス自動化アプローチの進化を代表するシステムを提供する。このようなソフトウェアエージェントは、エンドユーザデバイスのＧＵＩに対して（エンドユーザデバイスへの）適切な入力コマンドを生成して、エンドユーザデバイスに所与のプロセスを実行させ、これにより、当該プロセスの自動化を可能にする。所与のプロセスが自動的に実行されるための適切な入力コマンドを生成できるようにするために、インテリジェントプロセスキャプチャ及び自動化プラットフォームは、まず、オペレータによるプロセスの手動デモンストレーション中にプロセスを「キャプチャ」しなければならない。より具体的には、このために、インテリジェントプロセスキャプチャ及び自動化プラットフォームは、所与のプロセスの手動デモンストレーションの過程で、エンドユーザデバイスの状態、すなわち、ＧＵＩ状態及びエンドユーザデバイスへの様々なユーザ入力を解析し、当該プロセスを実行するために行われる一連のＧＵＩインタラクションを判定する必要がある。

【0004】

このようなプロセスは、多くの場合、複数のユーザ入力を介した複数のエンドユーザデバイスアプリケーションとのオペレータインタラクションを含み、各アプリケーションは、これとのインタラクションのための独自のＧＵＩ要素を有する。「Ｂｌｕｅ Ｐｒｉｓｍ Ｃａｐｔｕｒｅ」などのインテリジェントプロセスキャプチャ及び自動化プラットフォームは、ＧＵＩ「スパイモード（spying mode）」、すなわち、エンドユーザデバイスのＧＵＩ及びＧＵＩ要素インタラクションを監視するモードによって、プロセスの手動デモンストレーション中に行われるＧＵＩインタラクションの性質（nature）を判定する。このようなＧＵＩスパイモードは、Ｗｉｎ３２、ＵＩＡ、Ｂｒｏｗｓｅｒ（ｈｔｍｌ）又はＡｃｔｉｖｅ Ａｃｃｅｓｓｉｂｉｌｉｔｙ等の低レベルＡＰＩを含んでもよく、これらは、プログラムインタフェースを介してＧＵＩ要素属性に直接アクセスする。また、ＧＵＩスパイモードは、ＧＵＩスクリーンショットの後処理を必要とするモード、例えば、ＯＣＲモデルを使用してＧＵＩピクセルデータを解析してＧＵＩ要素の可視テキスト情報を得ること、又はコンピュータビジョンツールを使用してＧＵＩピクセルデータを解析してＧＵＩ要素属性を識別及び抽出することなどを含むことができる。

【0005】

ここで、所与のアプリケーションの所与のＧＵＩ要素に対して、どのＧＵＩスパイモードが最も効果的であるかが不明であるという問題が生じる。例えば、ＵＩＡは、特定のＷｉｎｄｏｗｓアプリケーション、例えば、Ｅｘｃｅｌにはうまく機能するが、ＰｙｃｈａｒｍやＳＡＰなどのアプリケーションには、必ずしもうまく機能せず、この場合、ＧＵＩインタラクション情報を判定するために、コンピュータビジョンベースのアプローチにフォールバックする必要があることがある。ＧＵＩスパイモードが機能しない場合、モードによって、エラーが返されることもあれば、例えば、返されたＧＵＩ要素のバウンディングボックスが、インタラクトしたＧＵＩ要素に対して過度に大きいなど、不正確な結果が返されることもある。

【0006】

この問題を回避するために使用できる１つの方法として、人間であるオペレータに適切なＧＵＩスパイモードを選択させると共に、インテリジェントなプロセスキャプチャと自動化プラットフォームを使用して、プロセスの手動デモンストレーションを実行及びキャプチャする方法がある。これにより、プラットフォームから人間であるオペレータに責任が転嫁されるが、プロセスの手動デモンストレーションを正確に実行及びキャプチャするのに時間がかかるため、ユーザビリティが犠牲になる。

【発明の概要】

【0007】

したがって、ＧＵＩインタラクションを判定するための最適な１つ又は複数のＧＵＩスパイモードを推定し、これにより、プロセスの手動デモンストレーション中に行われるＧＵＩインタラクションをより効率的かつ正確に判定できる方法を提供することが望ましい。

【課題を解決するための手段】

【0008】

本発明の一実施形態は、エンドユーザデバイスのグラフィカルユーザインタフェース（ＧＵＩ）インタラクション情報を判定するためのコンピュータによって実装される方法であって、
１つ又は複数のＧＵＩスパイモードを使用してデバイス状態情報を解析し、１つ又は複数のＧＵＩスパイモードのＧＵＩインタラクション情報を推定することと、
参照モデルに基づいて、１つ又は複数のＧＵＩスパイモードの推定ＧＵＩインタラクション情報（estimated GUI interaction information）を分類することと、
分類結果に基づいて、ＧＵＩインタラクション情報を出力することと、を含む。

【0009】

ここに開示する実施形態において、１つ又は複数のＧＵＩスパイモードは、コンピュータにネイティブなアプリケーションプログラミングインターフェース（Application Programming Interface：ＡＰＩ）を含み、推定ＧＵＩインタラクション情報は、ＡＰＩからＧＵＩインタラクション情報にアクセスすることによって推定される。

【0010】

ここに開示する更なる実施形態では、１つ又は複数のＧＵＩスパイモードは、後処理法を含む。

【0011】

ここに開示される更なる実施形態では、後処理法は、コンピュータビジョンツールを含む。

【0012】

ここに開示する更なる実施形態では、参照モデルは、所定の規則に基づく発見的モデル（heuristic model）を含む。

【0013】

ここに開示する更なる実施形態では、参照モデルは、過去データでトレーニングされたマルチモーダル深層学習モデルを含む。

【0014】

ここに開示する更なる実施形態では、デバイス状態情報を解析すること、及び対応する推定ＧＵＩインタラクション情報を分類することは、複数のＧＵＩスパイモードについて直列に実行される。

【0015】

ここに開示する更なる実施形態では、デバイス状態情報を解析すること、及び対応する推定ＧＵＩインタラクション情報を分類することは、複数のＧＵＩスパイモードについて並列に実行される。

【0016】

ここに開示する更なる実施形態では、参照モデルに基づいて推定ＧＵＩインタラクション情報を分類することは、推定ＧＵＩインタラクション情報を真又は偽のいずれかとして分類することを含む。

【0017】

ここに開示する更なる実施形態では、最後のＧＵＩスパイモードは、コンピュータビジョンツールであり、対応する推定ＧＵＩインタラクション情報は、真として分類される。

【0018】

ここに開示する更なる実施形態では、推定ＧＵＩインタラクション情報を分類することは、真の分類が判定されたときに終了され、分類結果に基づいてＧＵＩインタラクション情報を出力することは、真として分類された推定ＧＵＩインタラクション情報を出力することを含む。

【0019】

ここに開示される更なる実施形態では、参照モデルに基づいて推定ＧＵＩインタラクション情報を分類することは、参照モデルに基づいて推定ＧＵＩインタラクション情報の部分集合にスコアを割り当てることを含む。

【0020】

ここに開示する更なる実施形態では、分類結果に基づいてＧＵＩインタラクション情報を出力することは、スコアが最も高い分類済み推定ＧＵＩ情報を出力することを含む。

【0021】

ここに開示される更なる実施形態では、分類結果に基づいてＧＵＩインタラクション情報を出力することは、分類済み推定ＧＵＩインタラクション情報をスコアに基づいてフィルタリング及び集約することを含む。

【0022】

ここに開示される更なる実施形態では、フィルタリングは、スコアが所定の閾値未満の分類済み推定ＧＵＩインタラクション情報の部分集合を除外することを含む。

【0023】

ここに開示する更なる実施形態では、分類結果に基づいてＧＵＩインタラクション情報を出力することは、スコアが所定の閾値以上の分類済み推定ＧＵＩインタラクション情報を集約することを含む。

【0024】

ここに開示される更なる実施形態では、分類結果に基づいてＧＵＩインタラクション情報を出力することは、複数のＧＵＩスパイモードのうちの１つ又は複数を使用して推定された、分類済み推定ＧＵＩインタラクション情報の部分集合を出力することを含む。

【0025】

ここに開示される更なる実施形態では、１つ又は複数のＧＵＩスパイモードを使用してデバイス状態情報を解析し、ＧＵＩインタラクション情報を推定することは、ユーザインタラクションのインスタンスごとに行われる。

【0026】

また、本発明は、更なる実施形態として、上に開示した方法の実施形態をコンピュータに実行させるための命令を含む非一時的なコンピュータ可読媒体を提供する。
また、本発明の更なる実施形態として提供されるシステムは、
エンドユーザデバイスのＧＵＩを表示するためのディスプレイと、

【0027】

ディスプレイに接続された少なくとも１つのプロセッサであって、上に開示した方法の実施形態に基づく命令を実行するように構成された少なくとも１つのプロセッサとを備える。
以下、添付の図面を参照して、本発明の実施形態を例示的に説明する。

【図面の簡単な説明】

【0028】

【図1】エンドユーザデバイスシステムの一例を概略的に示す図である。

【図2】エンドユーザデバイスのグラフィカルユーザインタフェースを表示するディスプレイの一例を概略的に示す図である。

【図3】本発明の実施形態に基づく方法のフローチャートである。

【図4】本発明の実施形態に基づく情報フローを概略的に示す図である。

【図5A】本発明の実施形態に基づく直列実装の一例を示すフローチャートである。

【図5B】本発明の実施形態に基づく並列実装の例を示すフローチャートである。

【発明を実施するための形態】

【0029】

以下の記述及び図は、本発明の特定の例示的な実施形態を説明するものである。

【0030】

本明細書で説明するシステム及び方法は、エンドユーザデバイスのためのインテリジェントプロセスキャプチャ及び自動化のためのプラットフォームの文脈で動作する。プロセスキャプチャコンポーネントは、オペレータによってエンドユーザデバイス上で実行される所与のプロセスの手動デモンストレーションのキャプチャ、すなわち記録に関与する。プロセスキャプチャではＧＵＩインタラクション情報が取得され、ここで、ＧＵＩインタラクション情報は、エンドユーザデバイスのＧＵＩとの一連のインタラクションによってエンドユーザデバイス上でキャプチャされたプロセスを実行するために必要な情報を含む。このＧＵＩインタラクション情報は、その後、キャプチャされたプロセスを自動化する目的で、プラットフォームの自動化部分のソフトウェアエージェントによって使用される。本出願は、プラットフォームのプロセスキャプチャ部分に関し、より具体的には、所与のプロセスの手動デモンストレーションのキャプチャ中に当該ＧＵＩインタラクション情報を正確かつ効率的に判定する手法に関する。

【0031】

図１は、エンドユーザデバイス１００の一例を概略的に示している。このようなエンドユーザデバイスの１つは、パーソナルコンピュータであってもよいが、エンドユーザデバイスは、タブレット、ラップトップコンピュータ、又は他のハンドヘルドデバイス等の他のデバイスであってもよいことは明らかである。エンドユーザデバイス１００は、コンピュータ１０２、ディスプレイ１０４、及びユーザ入力デバイス１０６を含む。コンピュータは、ストレージデバイス１０８、通信デバイス１１０、メモリデバイス１１２、及び処理デバイス１１４を含んでいてもよい。

【0032】

処理デバイス１１４は、プロセッサ実行可能命令を記憶するためのメモリ（例えば、リードオンリーメモリ（read only memory：ＲＯＭ）及びランダムアクセスメモリ（random access memory：ＲＡＭ））と、プロセッサ実行可能命令を実行する１つ又は複数のプロセッサとを含んでいてもよい。処理デバイス１１４は、ストレージデバイス１０８と通信することもできる。処理デバイス１１４が２つ以上のプロセッサを含む本発明の実施形態では、プロセッサは、並列方式で動作してもよく、分散方式で動作してもよい。処理デバイス１１４は、エンドユーザデバイスのオペレーティングシステム又はエンドユーザデバイスの他の要素に関連するソフトウェアを実行できる。

【0033】

通信デバイス１１０は、エンドユーザデバイス１００がインタフェースデバイス、例えば、ユーザ入力デバイス１０６と通信することを可能にするデバイスであってもよい。通信デバイス１１０は、エンドユーザデバイス１００内の他のデバイスと通信するための１つ又は複数の有線又は無線送受信機（例えば、ＷｉＦｉ、ブルートゥース（登録商標）、及び／又はイーサネット通信デバイス）を含んでもよい。通信デバイス１１０は、リモート処理サーバ又は処理デバイス（例えば、クラウドサーバ又は処理デバイス）にデータを送信し、及びここからデータを受信するように構成してもよい。

【0034】

メモリデバイス１１２は、エンドユーザデバイス１００の構成要素によって生成又は受信されたデータを記憶する任意のデバイス（例えば、ランダムアクセスメモリ（ＲＡＭ）デバイス又はリードオンリーメモリ（ＲＯＭ）デバイス）であってもよい。

【0035】

ストレージデバイス１０８は、ハードディスクドライブ、磁気ディスク、光ディスク、ＲＯＭなどのうちの１つ又は複数など、任意の形式の不揮発性データストレージデバイスであってもよい。ストレージデバイス１０８は、エンドユーザデバイス１００が機能するために処理デバイス１１４が実行するオペレーティングシステムを保存できる。また、ストレージデバイス１０８は、１つ又は複数のコンピュータプログラム（又はソフトウェア又は命令又はコード）を保存してもよい。

【0036】

ディスプレイ１０４は、エンドユーザデバイスのグラフィカルユーザインタフェース（graphical user interface：ＧＵＩ）を表す視覚データを出力するいかなるデバイスであってもよい。ディスプレイ１０４に表されるＧＵＩは、オペレータがエンドユーザデバイスとインタラクトすることを可能にしてもよい。

【0037】

ユーザ入力デバイス１０６は、オペレータがエンドユーザデバイスのＧＵＩ及び／又はエンドユーザデバイスシステム１００内の他のコンポーネントとインタラクトすることを可能にしてもよく、キーボード、マウス、トラックパッド、トラックボール、及び／又は他の方向入力デバイスを含んでもよい。

【0038】

図２は、エンドユーザデバイス１００のグラフィカルユーザインタフェース（ＧＵＩ）１２０を表示するディスプレイ１０４の一例を概略的に示している。ＧＵＩ１２０は、タブ１２２及びウィンドウ１２４によって表される複数のアプリケーションを示し、オペレーティングシステムを含む。様々なアプリケーション及びオペレーティングシステムは、複数のアプリケーション固有のＧＵＩ要素を含む。また、ＧＵＩ１２０は、マウスポインタ１２６などの周辺ユーザ入力デバイス１０６に対応するＧＵＩ要素も含んでいる。以下で更に詳細に説明するように、ＧＵＩインタラクション情報は、所与のプロセスを実行するためにインタラクト可能なＧＵＩ要素を識別するために使用されるバウンディングボックス１２８を含んでもよい。説明の目的のために、図２のＧＵＩ１２０には、それぞれが、インタラクト可能なＧＵＩ要素を囲む複数のバウンディングボックス１２８を示している。

【0039】

図３は、本発明の実施形態に基づく方法のフローチャートである。以下に示す方法３００のステップは、例示的なものである。幾つかの実施形態では、方法３００は、ここに説明しない１つ又は複数の動作を追加して行ってもよく、及び／又はここに説明する１つ又は複数の動作なしで行ってもよい。更に、方法３００の動作は、図３に示し以下に説明する順序に限定されるわけではない。

【0040】

方法３００は、処理デバイス１１４（例えば、１つ又は複数のデジタルプロセッサ、アナログプロセッサ、情報を処理するように設計されたデジタル回路、情報を処理するように設計されたアナログ回路、状態マシン、及び／又は情報を電子的に処理するための他のメカニズム）において実施してもよい。処理デバイス１１４は、電子ストレージデバイス１０８に電子的に記憶された命令に応答して、方法３００の動作の一部又は全部を実行する１つ又は複数のデバイスを含んでもよい。処理デバイス１１４は、ハードウェア、ファームウェア、及び／又はソフトウェアを通じて、方法の１つ又は複数の動作をするように特別に設計されるように構成された１つ又は複数のデバイスを含んでもよい。

【0041】

図３に示すステップ３１０において、本発明の実施形態に基づく情報フロー４００を概略的に示す図４に示すように、１つ又は複数のＧＵＩスパイモード４２０を使用してデバイス状態情報４１０を解析し、１つ又は複数のＧＵＩスパイモード４２０のＧＵＩインタラクション情報４３０を推定する。デバイス状態情報４１０は、ユーザ入力情報、例えば、ユーザ入力デバイス１０６を介して得られるユーザ入力情報、及びＧＵＩ状態情報（例えば、ＧＵＩ１２０上に表示される情報）を含んでもよい。デバイス状態情報４１０は、他のユーザ入力及び／又はＧＵＩ状態変数とともに、キーストローク、マウスアクション、ホバーオーバーイベント、ＧＵＩスクリーンショット、マウスカーソルのｘ－ｙ座標のうちの１つ又は複数に関連する情報を含んでもよい。

【0042】

ＧＵＩインタラクション情報は、所与のプロセスを実行するためにオペレータがエンドユーザデバイス１００のＧＵＩ１２０とどのようにインタラクトしているかに関する情報を提供する。ＧＵＩインタラクション情報は、ＧＵＩ要素インタラクションに関する情報を含んでもよい。ＧＵＩインタラクション情報は、インタラクションされたＧＵＩ要素のバウンディングボックス１２８の１つ又は複数の座標、ＧＵＩ要素内に含まれるテキスト情報、インタラクションされたアプリケーションの名称、並びにＧＵＩ要素属性を含んでいてもよい。

【0043】

所与のデバイス状態情報４１０に対するＧＵＩインタラクション情報を推定するため、すなわち、推定ＧＵＩインタラクション情報（estimated GUI interaction information）４３０を得るために、ＧＵＩスパイモード４２０を使用してデバイス状態情報４１０を解析する。ＧＵＩスパイモード４２０は、ＧＵＩ１２０及びＧＵＩ要素インタラクトを「スパイ」する、すなわち、監視するためのツールを提供する。ＧＵＩスパイモード４２０は、エンドユーザデバイス１００に格納されたプログラムインタフェースを介してＧＵＩ要素属性に直接アクセスできるアプリケーションプログラミングインタフェース（ＡＰＩ）と通信するためのモードを含んでもよい。ＡＰＩは、アプリケーションが互いに通信することを可能にするソフトウェア仲介を提供する。したがって、ＧＵＩインタラクション情報は、ＡＰＩから取得してもよい。エンドユーザデバイス１００は、複数の異なるＡＰＩを含むことができる。

【0044】

また、ＧＵＩスパイモード４２０は、様々な後処理法を含んでもよい。後処理ＧＵＩスパイモードは、ＧＵＩスクリーンショットの後処理に関与してもよい。後処理ＧＵＩスパイモードは、ＧＵＩスクリーンショット上で光学式文字認識（ＯＣＲ）を使用して、１つ又は複数のＧＵＩ要素に関連する可視テキスト情報を取得してもよい。後処理ＧＵＩスパイモードは、コンピュータビジョンツールを含んでもよい。コンピュータビジョンツールは、特徴検出などの画像解析技術を通じてＧＵＩ１２０のＧＵＩ要素を識別し、予想されるＧＵＩ要素の既知の構成（又は外観）に基づいてＧＵＩ要素を識別することを可能にする。コンピュータビジョンツールは、特定のＧＵＩ要素を識別するようにトレーニングされた機械学習又は深層学習アルゴリズムを使用してもよい。コンピュータビジョンツールは、光学文字認識技術を使用して、識別されたＧＵＩ要素のテキストコンポーネントを識別してもよい。コンピュータビジョンツールは、標準的なオブジェクト検出技術を使用してＧＵＩ要素を識別してもよい。

【0045】

再び図４を参照すると、デバイス状態情報４１０は、ＧＵＩスパイモード４２０への入力として提供され、ＧＵＩスパイモード４２０の出力は、推定ＧＵＩインタラクション情報４３０である。ＧＵＩスパイモード４２０がＧＵＩインタラクション情報４３０を推定できない場合、ＧＵＩスパイモード４２０は、エラーを返してもよい（図４には示していない）。デバイス状態情報４１０及びＧＵＩインタラクション情報４３０、４５０の両方は、一致する情報の部分集合を有していてもよく、すなわち複数の変数を含んでもよい。デバイス状態情報４１０は、特定の時刻、例えば、ユーザインタラクションのインスタンスごとに取得及び解析されたデバイス状態情報４１０を含んでもよい。あるいは、デバイス状態情報４１０は、時間窓内で取得してもよく、ここで、時間窓は、エンドユーザデバイスへの特定のユーザ入力によって開始及び終了される時間窓であってもよく、事前に判定された周期的な時間窓であってもよい、

【0046】

幾つかの例では、ＧＵＩ状態、すなわちＧＵＩ１２０上に表示される状態は、ＧＵＩ状態の変化に対応するＧＵＩインタラクションを行うための関連するデバイス状態情報４１０が取得される前に変化することがある。幾つかの実施形態では、デバイス状態情報４１０（すなわち、ユーザ入力情報及びＧＵＩ状態情報）をメモリデバイスにストリーミングし、対応するタイムスタンプを割り当ててもよい。これに応じて、ＧＵＩ状態の変化に対応する特定のＧＵＩインタラクションについてＧＵＩインタラクション情報４３０を推定する際、ＧＵＩスパイモード４２０は、ＧＵＩ状態の変化に関連するデバイス状態情報４１０のタイムスタンプの直前のタイムスタンプに関連するデバイス状態情報４１０にアクセスし、これを解析してもよい。

【0047】

再び図３を参照すると、方法３００のステップ３２０において、参照モデルに基づいて推定ＧＵＩインタラクション情報４３０を分類した後、ステップ３３０において、分類結果に基づくＧＵＩインタラクション情報４５０を出力する。再び図４を参照すると、デバイス状態情報４１０及び推定ＧＵＩインタラクション情報４３０が分類器４４０への入力として提供され、分類器４４０は、分類結果に基づく出力ＧＵＩインタラクション情報４５０を生成する。推定ＧＵＩインタラクション情報４３０の分類は、参照モデルに基づいて、推定ＧＵＩインタラクション情報４３０の全体又は部分集合にスコアを割り当てることを含んでもよい。割り当てられたスコアは、０と１の間（０と１を含む）であってもよく、割り当てられたスコアは、推定ＧＵＩインタラクション情報４３０の精度（accuracy）の特徴付けを試みるものである。他の実施形態では、推定ＧＵＩインタラクション情報４３０の分類は、推定ＧＵＩインタラクション情報４３０の全体又は部分集合に割り当てられたスコアに基づいて、推定ＧＵＩインタラクション情報４３０の部分集合を真又は偽のいずれかとして分類するバイナリ分類器の使用を含んでもよい。推定ＧＵＩインタラクション情報４３０が分類されると、図３の方法３００のステップ３３０において、分類結果に基づくＧＵＩインタラクション情報４５０を出力する。この出力ＧＵＩインタラクション情報４５０は、その後、インテリジェントプロセス自動化の目的のために使用できる。

【0048】

推定ＧＵＩインタラクション情報４３０の分類の基礎となる参照モデルは、所定の規則に基づく発見的モデルを含んでもよい。所定の規則は、推定ＧＵＩインタラクション情報４３０の部分集合のための閾値を定義してもよい。例えば、そのような所定の規則の１つは、ＧＵＩ要素のバウンディングボックス１２８の面積が、そのようなＧＵＩ要素がバウンディングされることが期待されるある合理的な閾値を下回ることをチェックすることを含んでもよい。所定の規則の別の例は、所与のＧＵＩスパイモード４２０のための推定ＧＵＩインタラクション情報４３０の一部として提供される所与のＧＵＩ要素バウンディングボックス１２８内のピクセル値について、垂直線及び水平線をチェックすることを含んでもよい。マウス操作（例えば、クリック位置）を囲む２本の垂直線と２本の水平線がある場合、すなわちクリック位置が矩形で囲まれている場合、これは、ＧＵＩスパイモード４２０によって提供されたものよりも小さいＧＵＩ要素バウンディングボックス１２８が存在し、ＧＵＩスパイモード４２０によるＧＵＩインタラクション情報４３０の推定に何らかのエラーがあったことが示唆される。これらの線は、古典的なコンピュータビジョンメソッドを使用して発見できる。これらの方法は、二値化、ハフ変換、フィルタリング、拡大及び縮小、キャニーエッジ検出及び成分結合などのステップを含んでもよく、含まなくてもよい。更に、所定のルールの他の例は、ＧＵＩ要素が（空白スペースが多くなる傾向がある）任意のより大きなバウンディングボックスよりも（ピクセル値の分散の点で）ノイズが多い傾向があるという事実を活用することを含む。この知見に基づき、所定の規則は、所与のＧＵＩ要素のバウンディングボックス１２８内のピクセル値の分散に関する閾値を提供することを含んでもよい。ある閾値を超えると、バウンディングボックス１２８が正確であると判断できる。上記の例は、所定の規則を限定することを意図したものではなく、上記の規則は、単に所定の規則の可能な例として役立つのみであり、より多くの所定の規則を定義することが可能であることは当業者にとって明らかである。推定ＧＵＩインタラクション情報４３０の分類の基礎となる所定の規則に基づくヒューリスティックモデルは、１つ又は複数の所定の規則の組み合わせを含んでもよく、ここで、規則は、推定ＧＵＩインタラクション情報４３０の部分集合（例えば、ＧＵＩ要素バウンディングボックス１２８）が正しいか否かについて「投票」し、モデルは、多数決に基づいて、推定ＧＵＩインタラクション情報４３０が正しいか否かについて最終判定を行う。

【0049】

他の実施形態では、参照モデルは、過去データでトレーニングされた深層学習モデルを含んでもよい。過去データは、インテリジェントプロセスキャプチャ及び自動化プラットフォーム及び多くのアプリケーションによって使用される全てのＧＵＩスパイモードに亘る例の大規模な集合を含んでもよい。各例は、１）アプリケーション又はエンドユーザデバイスのデスクトップを表示するＧＵＩ１２０のスクリーンショット、２）推定ＧＵＩインタラクション情報４３０、及び３）割り当てられたスコアの３つの要素から構成される。ディープラーニングモデルをトレーニングするために、過去データには、正しい（肯定的な）ＧＵＩインタラクション情報４３０の例と、正しくない（否定的な）ＧＵＩインタラクション情報４３０の例を含ませる必要がある。正しい例には、それぞれ１．０のスコアを割り当て、正しくない例には、それぞれ０．０のスコアを割り当て、これは、手動で行ってもよく又は自動的に判定してもよい。過去データは、トレーニング集合とテスト集合の２つの異なるデータ集合に分けられる。ディープラーニングモデルは、残差ニューラルネットワークを含んでもよい。ディープラーニングモデルは、過去データのトレーニング集合部分を分類するように学習することによってトレーニングしてもよい。トレーニングは、バックプロパゲーションと呼ばれるアルゴリズムで深層学習モデルの重みを更新することによって実行される。トレーニング手順は、トレーニング集合に亘って複数のパスを作成する。ディープラーニングモデルは、過去データのテスト集合部分で評価できる。評価プロセスは、精度（accuracy）、適合率（precision）、及び再現率（recall）を含む一組の性能測定基準に従ってテスト集合における深層学習モデルの性能を評価するものであってもよい。

【0050】

図３の方法３００は、オペレータの好み及び／又は動作コンテキストの演算要件及び制約に応じて、複数の方式で実施できる。すなわち、本発明の方法は、直列実装、並列実装、又はこれらの組み合わせを含むことができる。本明細書において、直列実装及び並列実装は、ａ）複数のＧＵＩスパイモード４２０を使用して複数のＧＵＩスパイモード４２０についてＧＵＩインタラクション情報４３０を推定するデバイス状態情報４１０の解析、及びｂ）参照モデルに基づく、複数のＧＵＩスパイモード４２０についての推定ＧＵＩインタラクション４３０の分類に関係する。換言すれば、直列実装では、複数のＧＵＩスパイモード４２０のそれぞれについて、ＧＵＩインタラクション情報の推定及びこれに続く推定ＧＵＩインタラクション情報４３０の分類を順次実行する。並列実装では、複数のＧＵＩスパイモード４２０についてＧＵＩインタラクション情報の推定を同時に実行した後、複数のＧＵＩスパイモード４２０について推定ＧＵＩインタラクション情報４３０の分類を同時に実行する。

【0051】

図５Ａは、本発明の実施形態に基づく方法５００の直列実装の一例を示すフローチャートである。演算計算リソースが少ない場合、オペレータは、この例示的な実施形態に基づく直列実装を選択できる。ステップ５１０において、本方法は、デバイス状態情報４１０と、直列方式で使用されるＧＵＩスパイモード４２０の集合との形式のデータによって初期化される。

【0052】

ステップ５２０において、ＧＵＩスパイモードの集合のうち現在選択されているＧＵＩスパイモード４２０を使用してデバイス状態情報４１０を解析し、現在選択されているＧＵＩスパイモード４２０のＧＵＩインタラクション情報４３０を推定する。本実施形態の方法の第１の繰り返しでは、現在選択されているＧＵＩスパイモード４２０は、ＧＵＩスパイモードの集合の第１のＧＵＩスパイモード４２０である。ＧＵＩスパイモードの集合は、集合の最後のＧＵＩスパイモード４２０を除いて、任意に配置してもよく、予め決められた規則に従って配置してもよい。

【0053】

判定ステップ５３０では、現在選択されているＧＵＩスパイモード４２０が、ＧＵＩスパイモードの集合の最後のＧＵＩスパイモード４２０であるか否かを判定するためのチェックを行う。本発明の方法のこの実施形態では、ＧＵＩスパイモードの集合の最後のＧＵＩスパイモード４２０は、コンピュータビジョンツールのために予約されている。コンピュータビジョンツールは、ＧＵＩスパイモードの集合の他の全てのＧＵＩスパイモードが正確なＧＵＩインタラクション情報を得ることができない場合に、フォールバックＧＵＩスパイモード４２０として機能する。コンピュータビジョンツールについては、ＧＵＩスパイモードの結果、すなわち推定ＧＵＩインタラクション情報４３０は、常に真として分類される。したがって、このチェックにおいて、現在選択されているＧＵＩスパイモード４２０がＧＵＩスパイモードの集合の最後のＧＵＩスパイモード４２０であると判定された場合、方法５００はステップ５４０に進み、ここで、コンピュータビジョンツールによって推定された推定ＧＵＩインタラクション情報４３０を（分類結果に基づくＧＵＩインタラクション情報４５０として）出力し、方法５００が終了する。このチェックにおいて、現在選択されているＧＵＩスパイモード４２０が、集合の最後のＧＵＩスパイモード４２０、すなわちコンピュータビジョンツールではないと判定された場合、方法５００は、ステップ５５０に進む。

【0054】

ステップ５５０では、図３及び図４を参照して上述したように、参照モデルに基づいて、現在選択されているＧＵＩスパイモード４２０の推定ＧＵＩインタラクション情報４３０を分類する。

【0055】

判定ステップ５６０では、現在選択されているＧＵＩスパイモード４２０についての推定ＧＵＩインタラクション情報４３０の分類の性質（nature）を判定するためのチェックを実行する。推定ＧＵＩインタラクション情報４３０が真として分類された場合、方法５００は、ステップ５７０に進み、現在選択されているＧＵＩスパイモード４２０によって推定された推定ＧＵＩインタラクション情報４３０が（分類結果に基づくＧＵＩインタラクション情報４５０として）出力され、方法５００は、終了する。このチェックにおいて、推定ＧＵＩインタラクション情報４３０が偽と分類されたと判定された場合、方法は、ステップ５８０に進み、ここで、現在選択されているＧＵＩスパイモード４２０の推定ＧＵＩインタラクション情報４３０が破棄され、ＧＵＩスパイモードの集合内の選択されたＧＵＩスパイモード４２０が、ＧＵＩスパイモードの集合の次のＧＵＩスパイモード４２０にシフトされ、方法５００はステップ５２０に進み、方法５００における次の繰り返しが行われる。方法５００は、終了するまで、すなわち、推定ＧＵＩインタラクション情報４３０の最初の「真」の分類、及びこれに続く、分類結果に基づく推定ＧＵＩインタラクション情報４５０の出力の時点まで繰り返される。

【0056】

図５Ａに例示する方法５００の実施形態では、方法の直列実装では、ＧＵＩスパイモードの集合の最後のＧＵＩスパイモード４２０を使用する前に方法５００が終了する可能性があるため、ＧＵＩスパイモードの集合の全てのＧＵＩスパイモード４２０が使用されない可能性があるが、以下で更に詳細に説明するように、ＧＵＩスパイモードの集合の最後のＧＵＩスパイモード４２０に到達する前に推定ＧＵＩインタラクション情報４３０の「真の」分類が発生したか否かに関係なく、全てのＧＵＩスパイモードが使用されるように本発明の方法の直列実装を実施することもできる。

【0057】

図５Ｂは、本発明の実施形態に基づく方法６００の並列実装の一例を示すフローチャートである。ステップ６１０において、本方法は、デバイス状態情報４１０と、並列方式で採用されるＧＵＩスパイモードの集合との形式のデータによって初期化される。

【0058】

ステップ６２０において、ＧＵＩスパイモードの集合のＧＵＩスパイモード４２０のそれぞれを同時に使用してデバイス状態情報４１０を解析し、ＧＵＩスパイモードの集合のＧＵＩスパイモード４２０のそれぞれについてＧＵＩインタラクション情報４３０を推定する。

【0059】

ステップ６３０において、図３及び図４を参照して上述したように、参照モデルに基づいて、ＧＵＩスパイモード４２０のそれぞれについての推定ＧＵＩインタラクション情報４３０を同時に分類する。

【0060】

ステップ６４０において、ＧＵＩスパイモードの集合のＧＵＩスパイモード４２０のそれぞれについての分類結果に基づくＧＵＩインタラクション情報４５０を出力する。以下に説明するように、幾つかの方式によって、分類結果に基づいて出力を判定できる。分類結果に基づいて出力を判定できる以下の方式は、本発明の方法の直列実装にも適用され、この直列実装では、ＧＵＩスパイモードの集合の最後のＧＵＩスパイモード４２０を使用する前に推定ＧＵＩインタラクション情報４３０の「真の」分類が発生したか否かに関わらず、ＧＵＩスパイモードの集合の全てのＧＵＩスパイモード４２０を使用する。

【0061】

上述したように、所与のＧＵＩスパイモード４２０についての推定ＧＵＩインタラクション４３０情報の分類は、参照モデルに基づいて、推定ＧＵＩインタラクション４３０情報の全体又は部分集合に、０と１との間（０と１を含む）のスコアを割り当てることを含んでもよい。したがって、分類結果に基づくＧＵＩインタラクション情報４５０は、このスコアに基づいて出力してもよい。また、推定ＧＵＩインタラクション情報４３０は、ＧＵＩスパイモード４２０のそれぞれについて真又は偽として分類してもよい。したがって、ＧＵＩインタラクション情報４５０は、真として分類された推定ＧＵＩインタラクション情報４３０の集約（aggregation）に基づいて出力してもよい。

【0062】

一実施形態では、所与のＧＵＩスパイモード４２０について、割り当てられたスコアの合計が最も高い推定ＧＵＩインタラクション情報４３０をＧＵＩインタラクション情報の出力として使用する。

【0063】

別の実施形態では、出力ＧＵＩインタラクション情報、すなわち、分類結果に基づくＧＵＩインタラクション情報４５０は、例えば、複数のＧＵＩスパイモードについての推定ＧＵＩインタラクション情報４３０の集合全体に亘る推定ＧＵＩインタラクション情報４３０の各部分集合に対する最高スコアに基づいて、複数のＧＵＩスパイモードからの推定ＧＵＩインタラクション情報４３０の部分集合で構成してもよい。例えば、分類結果は、ＡＰＩ ＧＵＩスパイモードの１つから、特定のＧＵＩインタラクションのアプリケーション名がより正確に取得された可能性があり、一方、コンピュータビジョンツールを含むＧＵＩスパイモードから、インタラクションされたＧＵＩ要素のバウンディングボックスのｘ－ｙ座標がより正確に取得された可能性があることを示唆してもよい。これに応じて、出力ＧＵＩインタラクション情報４５０は、複数のＧＵＩスパイモードの１つ以上からの推定ＧＵＩインタラクション情報４３０の部分集合として構成してもよい。

【0064】

別の実施形態として、推定ＧＵＩインタラクション情報４３０から、スコアがある閾値を下回る又は偽として分類された推定ＧＵＩインタラクション情報４３０の全体又は部分集合をフィルタリングによって除外してもよい。その後、出力ＧＵＩインタラクション情報４５０は、フィルタリングされなかった、すなわち、割り当てられたスコアがある閾値以上である又は真として分類された推定ＧＵＩインタラクション情報４３０の集約に基づいてもよい。

【0065】

フィルタリングされていない複数のＧＵＩスパイモードについての推定ＧＵＩインタラクション情報４３０の集約は、例えば、残っている推定ＧＵＩインタラクション情報４３０から、マウスカーソル１２６の平均ｘ－ｙ座標、又は特定のＧＵＩ要素のバウンディングボックス１２８の平均座標、又はアプリケーション名のモードを取得することを含んでもよい。

【0066】

上述したように、本発明の動作コンテキストは、インテリジェントプロセスキャプチャ及び自動化のためのプラットフォームであり、これは、所与のプロセスの手動デモンストレーションの「キャプチャ」、すなわち記録に関与する。本発明の方法は、オペレータの好み及び／又は動作コンテキストの演算要件及び制約に応じて、プロセスの手動デモンストレーションに対して幾つかの方式で実施できる。

【0067】

一実施形態では、本発明の方法３００は、手動デモンストレーションプロセス中に実行してもよい。すなわち、方法３００は、オペレータがエンドユーザデバイスとインタラクトして、自動化するべきプロセスの手動デモンストレーションを実行しているときに、所与のＧＵＩインタラクションに対して実行してもよい。

【0068】

あるいは、本発明の方法３００は、手動デモンストレーションプロセスが完了した時点で実行してもよい。オペレータは、プロセスの手動デモンストレーション中に演算リソースを確保する必要がある場合、本発明のこの実施形態を採用できる。このような例では、関連するデバイス状態情報は、メモリデバイス１１２にストリーミングされ、保存され、上述したように、後にアクセスして処理される。

【0069】

プロセスの手動デモンストレーションは、複数のアプリケーションとの連続的なオペレータインタラクションを含んでもよい。このような例では、本発明の実施形態に基づく方法３００は、第２のアプリケーションに切り替えた後、第１のアプリケーションに対して実行してもよい。例えば、オペレータは、Ｍｉｃｒｏｓｏｆｔ Ｅｘｃｅｌとインタラクトした後に、Ｍｉｃｒｏｓｏｆｔ Ｅｄｇｅとインタラクトしてもよい。このような例では、オペレータがＭｉｃｒｏｓｏｆｔ Ｅｄｇｅとのインタラクションを開始すると、Ｍｉｃｒｏｓｏｆｔ ＥｘｃｅｌとのＧＵＩインタラクションに対して方法３００を実行してもよい。このような例では、関連するデバイス状態情報４１０をメモリデバイス１１２にストリーミングして保存し、上述したように、後にアクセスして処理してもよい。

【0070】

更に、所与のアプリケーションについての出力ＧＵＩインタラクション情報４５０が、単一のＧＵＩスパイモード４２０からの推定ＧＵＩインタラクション４３０を使用して判定される場合、本発明の方法３００の実施形態において、当該アプリケーションの後続の使用では、当該ＧＵＩスパイモード４２０のみを使用して、ＧＵＩインタラクション情報を判定してもよい。例えば、特定のＡＰＩが、特定のアプリケーションのＧＵＩインタラクション情報４３０を推定するのに適していると判定されることがある。したがって、手動デモンストレーションプロセス中に当該アプリケーションが使用されるときは、常に、本発明の方法３００の実施形態において、単一のＧＵＩスパイモード４２０のみを使用してデバイス状態情報４１０を解析し、そのアプリケーションのためのＧＵＩインタラクション情報４３０を推定してもよい。この推定ＧＵＩインタラクション情報４３０を真として分類し、その後出力してもよい。

【0071】

以下は、特許請求され得る実施形態に番号を付したリストである。

【0072】

・実施形態１－エンドユーザデバイスのＧＵＩインタラクション情報を判定するためのコンピュータによって実装される方法において、
１つ又は複数のＧＵＩスパイモードを使用してデバイス状態情報を解析し、１つ又は複数のＧＵＩスパイモードのＧＵＩインタラクション情報を推定することと、
参照モデルに基づいて、１つ又は複数のＧＵＩスパイモードの推定ＧＵＩインタラクション情報を分類することと、
分類結果に基づいて、ＧＵＩインタラクション情報を出力することと、を含む、方法。

【0073】

・実施形態２－実施形態１に記載の方法において、１つ又は複数のＧＵＩスパイモードは、コンピュータにネイティブなアプリケーションプログラミングインターフェース（Application Programming Interface：ＡＰＩ）を含む、方法。

【0074】

・実施形態３－実施形態２に記載の方法において、推定ＧＵＩインタラクション情報は、ＡＰＩからＧＵＩインタラクション情報にアクセスすることによって推定される、方法。

【0075】

・実施形態４－上述のいずれかの実施形態に記載の方法において、１つ又は複数のＧＵＩスパイモードは、後処理法を含む、方法。

【0076】

・実施形態５－実施形態４に記載の方法において、後処理法は、コンピュータビジョンツールを含む、方法。

【0077】

・実施形態６－上述のいずれかの実施形態に記載の方法において、推定ＧＵＩインタラクション情報は、ＧＵＩ上で光学式文字認識を実行することによって推定される、方法。

【0078】

・実施形態７－上述のいずれかの実施形態に記載の方法において、参照モデルは、所定の規則に基づく発見的モデルを含む、方法。

【0079】

・実施形態８－実施形態１から実施形態６のいずれか１つに記載の方法において、参照モデルは、過去データでトレーニングされたマルチモーダル深層学習モデルを含む、方法。

【0080】

・実施形態９－上述のいずれかの実施形態に記載の方法において、１つ又は複数のＧＵＩスパイモードを使用してデバイス状態情報を解析し、ＧＵＩインタラクション情報を推定することは、推定値を判定できない場合にエラーを返すことを含む、方法。

【0081】

・実施形態１０－上述のいずれかの実施形態に記載の方法において、デバイス状態情報を解析すること、及び対応する推定ＧＵＩインタラクション情報を分類することは、複数のＧＵＩスパイモードについて直列に実行される、方法。

【0082】

・実施形態１１－実施形態１から実施形態９のいずれか１つに記載の方法において、デバイス状態情報を解析すること、及び対応する推定ＧＵＩインタラクション情報を分類することは、複数のＧＵＩスパイモードについて並列に実行される、方法。

【0083】

・実施形態１２－上述のいずれかの実施形態に記載の方法において、参照モデルに基づいて推定ＧＵＩインタラクション情報を分類することは、推定ＧＵＩインタラクション情報を真又は偽のいずれかとして分類することを含む、方法。

【0084】

・実施形態１３－実施形態１２に記載の方法において、最後のＧＵＩスパイモードがコンピュータビジョンツールであり、対応する推定ＧＵＩインタラクション情報が真として分類される、方法。

【0085】

・実施形態１４－実施形態１２に記載の方法において、推定ＧＵＩインタラクション情報を分類することは、真の分類が判定されたときに終了される、方法。

【0086】

・実施形態１５－実施形態１２に記載の方法において、分類結果に基づいてＧＵＩインタラクション情報を出力することは、真として分類された第１の推定ＧＵＩインタラクション情報を出力することを含む、方法。

【0087】

・実施形態１６－実施形態１から実施形態１１のいずれか１つに記載の方法において、参照モデルに基づいて推定ＧＵＩインタラクション情報を分類することは、参照モデルに基づいて推定ＧＵＩインタラクション情報の部分集合にスコアを割り当てることを含む、方法。

【0088】

・実施形態１７－実施形態１６に記載の方法において、分類結果に基づいてＧＵＩインタラクション情報を出力することは、スコアが最も高い分類済み推定ＧＵＩインタラクション情報を出力することを含む、方法。

【0089】

・実施形態１８－実施形態１６に記載の方法において、分類結果に基づいてＧＵＩインタラクション情報を出力することは、分類済み推定ＧＵＩインタラクション情報をスコアに基づいてフィルタリング及び集約することを含む、方法。

【0090】

・実施形態１９－実施形態１８の方法において、フィルタリングは、スコアが所定の閾値未満の分類済み推定ＧＵＩインタラクション情報の部分集合を除外することを含む、方法。

【0091】

・実施形態２０－実施形態１６に記載の方法において、分類結果に基づいてＧＵＩインタラクション情報を出力することは、スコアが所定の閾値以上の分類済み推定ＧＵＩインタラクション情報を集約することを含む、方法。

【0092】

・実施形態２１－上述のいずれかの実施形態に記載の方法において、分類結果に基づいてＧＵＩインタラクション情報を出力することは、複数のＧＵＩスパイモードのうちの１つ以上を使用して推定された、分類済み推定ＧＵＩインタラクション情報の部分集合を出力することを含む、方法。

【0093】

・実施形態２２－上述のいずれかの実施形態に記載の方法において、手動デモンストレーションプロセス中に行われる、方法。

【0094】

・実施形態２３－実施形態２２に記載の方法において、手動デモンストレーションプロセスが完了すると実行される、方法。

【0095】

・実施形態２４－実施形態２２又は実施形態２３に記載の方法において、手動デモンストレーションは、複数のアプリケーションとの連続的なインタラクションを含む、方法。

【0096】

・実施形態２５－実施形態２４に記載の方法において、第２のアプリケーションに切り替えた後、第１のアプリケーションに対して実行される、方法。

【0097】

・実施形態２６－上述のいずれかの実施形態に記載の方法において、アプリケーションの出力ＧＵＩインタラクション情報が単一のＧＵＩスパイモードを使用して推定される場合、その単一のＧＵＩスパイモードは、そのアプリケーションの後の使用時のデバイス状態情報の解析にも使用される、方法。

【0098】

・実施形態２７－上述のいずれかの実施形態に記載の方法において、参照モデルに基づいて推定ＧＵＩインタラクション情報を分類することは、デバイス状態情報及び推定ＧＵＩインタラクション情報を分類器に渡し、分類されたＧＵＩインタラクション情報を出力することを含む、方法。

【0099】

・実施形態２８－上述のいずれかの実施形態に記載の方法において、デバイス状態情報は、デバイス状態情報の一致する部分集合を含む、方法。

【0100】

・実施形態２９－実施形態７に記載の方法において、所定の規則は、推定ＧＵＩインタラクション情報のための閾値を定義する、方法。

【0101】

・実施形態３０－実施形態８に記載の方法において、過去データでトレーニングされたマルチモーダル深層学習モデルは、残差ニューラルネットワークを含む、方法。

【0102】

・実施形態３１－上述のいずれかの実施形態に記載の方法において、１つ又は複数のＧＵＩスパイモードを使用してデバイス状態情報を解析し、ＧＵＩインタラクション情報を推定することは、ユーザインタラクションのインスタンスごとに行われる、方法。

【0103】

・実施形態３２－実施形態１から実施形態３０のいずれか一項に記載の方法において、１つ又は複数のＧＵＩスパイモードを使用してデバイス状態情報を解析し、ＧＵＩインタラクション情報を推定することは、定期的な間隔で行われる、方法。

【0104】

・実施形態３３－上述のいずれかの実施形態に記載の方法において、デバイス状態情報は、特定の時刻に取得されたデバイス状態情報を含む、方法。

【0105】

・実施形態３４－実施形態１から実施形態３２のいずれか１つに記載の方法において、デバイス状態情報は、時間窓内に取得されたデバイス状態情報を含む、方法。

【0106】

・実施形態３５－上述のいずれかの実施形態に記載の方法において、デバイス状態情報は、対応するタイムスタンプと共にメモリに記憶される、方法。

【0107】

・実施形態３６－実施形態３５に記載の方法において、１つ又は複数のＧＵＩスパイモードを使用してデバイス状態情報を解析し、ＧＵＩインタラクション情報を推定することは、１つ又は複数のＧＵＩスパイモードを使用してメモリに記憶されたデバイス状態情報を解析することを含む、方法。

【0108】

・実施形態３７－上述のいずれかの実施形態に記載の方法において、デバイス状態情報は、ユーザ入力情報とＧＵＩ状態情報とを含む、方法。

【0109】

・実施形態３８－上述のいずれかの実施形態に記載の方法において、ＧＵＩインタラクション情報は、ＧＵＩ要素インタラクション情報を含む、方法。

【0110】

・実施形態３９－実施形態１から実施形態３８のいずれか１つに記載の方法をコンピュータに実行させるための命令を含む、非一時的なコンピュータ可読媒体。

【0111】

・実施形態４０－
エンドユーザデバイスのＧＵＩを表示するためのディスプレイと、
ディスプレイに接続された少なくとも１つのプロセッサであって、実施形態１から実施形態３８のいずれかに記載の方法に基づく命令を実行するように構成された少なくとも１つのプロセッサと、を備える、システム。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【国際調査報告】