特許 7092364 業務の自動実行システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-20

(45)【発行日】2022-06-28

(54)【発明の名称】業務の自動実行システムおよび方法

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20220621BHJP

【ＦＩ】

G06F3/0481

【請求項の数】 7

(21)【出願番号】P 2019149699

(22)【出願日】2019-08-19

(65)【公開番号】P2021033409

(43)【公開日】2021-03-01

【審査請求日】2020-12-01

(73)【特許権者】

【識別番号】000232140

【氏名又は名称】ＮＥＣフィールディング株式会社

(74)【代理人】

【識別番号】100080816

【弁理士】

【氏名又は名称】加藤 朝道

(74)【代理人】

【識別番号】100098648

【弁理士】

【氏名又は名称】内田 潔人

(72)【発明者】

【氏名】志村 文聡

【審査官】田川 泰宏

(56)【参考文献】

【文献】特開２０１５－０４９５２０（ＪＰ，Ａ）

【文献】特開２００７－３０４７６９（ＪＰ，Ａ）

【文献】特開２０１７－０８４１８８（ＪＰ，Ａ）

【文献】特開２０１９－０２１０４２（ＪＰ，Ａ）

【文献】特開平０１－２３３６１７（ＪＰ，Ａ）

【文献】特開平０５－２３３１９５（ＪＰ，Ａ）

【文献】特開２０１２－０１８５８３（ＪＰ，Ａ）

【文献】特開２０１８－２０６２８８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３５７０８１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

パソコンを用いてユーザの操作を記録する操作登録部と、これを再実行するための操作実行部を有する業務の自動実行システムであり、
前記操作登録部は、操作対象を画像イメージとして特定し記憶する操作対象記憶部と、
前記操作対象に対する操作を記憶する操作内容記憶部と、
前記操作対象と操作内容を関連付けて操作スクリプトとして記憶する操作スクリプト保存部と、
前記操作対象の検索条件を含む画像イメージを仮想画面データとして記憶する仮想画面データ作成部を有し、
操作実行部において、記録された前記操作スクリプトを読み込み、前記画像イメージと前記仮想画面データとを参照して、操作対象を特定したうえで、前記操作対象に対する操作を実行し、
前記操作登録部は、前記操作対象がアイコン、ウィンドウ、ウィンドウに含まれるツールバーである場合、前記仮想画面データには、これらを区別する画像イメージに併せて種別情報を記憶し、
前記操作登録部の前記操作対象記憶部は、操作対象がツールバーである場合に、前記ツールバーに関連してデスクトップ上に表示されるツールチップにおいて、前記ツールチップに併せて表示されるテキスト情報を、前記仮想画面データに併せて記憶し、
前記操作実行部において、操作対象がツールバーである場合に、ツールチップ情報として表示されるテキスト情報が、記憶されたテキスト情報と一致することを条件に含めて操作対象の検索を行う、ことを特徴とする、
業務の自動実行システム。

【請求項2】

前記操作登録部と前記操作実行部とは異なるパソコンで動作することを特徴とする、請求項１に記載の業務の自動実行システム。

【請求項3】

前記操作登録部と前記操作実行部とは異なる解像度、背景、ウィンドウ構成、フォントサイズであるパソコンで動作することを特徴とする、
請求項１または２に記載の業務の自動実行システム。

【請求項4】

前記操作実行部は、操作対象がアイコンである場合に、前記アイコンの画像がデスクトップ上にない場合には、デスクトップ上のウィンドウをアイコン化した上で、前記アイコンをデスクトップ上から検索を行う、ことを特徴とする、
請求項１に記載の業務の自動実行システム。

【請求項5】

前記操作実行部は、操作対象がツールバーである場合に、前記ツールバーを含むウィンドウの画像がデスクトップ上に表示されていない場合には、デスクトップ上のウィンドウを最前面に移動させた上で、前記ウィンドウをデスクトップ上から検索を行う、ことを特徴とする、
請求項１に記載の業務の自動実行システム。

【請求項6】

前記操作実行部は、操作対象がウィンドウである場合に、前記ウィンドウの画像がデスクトップ上に表示されていない場合には、デスクトップ上のウィンドウを最前面に移動させた上で、前記ウィンドウをデスクトップ上から検索を行う、ことを特徴とする、
請求項１乃至４のいずれか一項に記載の業務の自動実行システム。

【請求項7】

業務を自動実行する方法であり、
操作記録を行うパソコンにおける操作登録部において、
操作対象を画像イメージとして特定し記憶する操作対象記憶ステップと、
前記操作対象の検索条件を含む画像イメージを仮想画面データとして記憶する仮想画面データ作成ステップと、
前記操作対象に対する操作を記憶する操作内容記憶ステップと、
前記操作対象と操作内容を関連付けて記憶する操作スクリプトを保存するステップとを有し、
前記操作記録を実行するパソコンにおける操作実行部において、
前記操作スクリプトから操作対象をデスクトップ画面と前記仮想画面データとを併せて検索することによって特定するステップと、
記録された前記操作内容を実行する操作実行ステップと、を有し、
前記操作登録部において、前記操作対象がアイコン、ウィンドウ、ウィンドウに含まれるツールバーである場合、前記仮想画面データには、これらを区別する画像イメージに併せて種別情報を記憶し、
前記操作対象記憶ステップでは、操作対象がツールバーである場合に、前記ツールバーに関連してデスクトップ上に表示されるツールチップにおいて、前記ツールチップに併せて表示されるテキスト情報を、前記仮想画面データに併せて記憶し、
前記操作実行部において、操作対象がツールバーである場合に、ツールチップ情報として表示されるテキスト情報が、記憶されたテキスト情報と一致することを条件に含めて操作対象の検索を行う、ことを特徴とする、
業務を自動実行する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、業務の自動実行システムおよび方法に関する。

【背景技術】

【0002】

パソコンを用いた業務の自動化を目的としたシステムとして、ＲＰＡ（Robotic Process Automation）が知られている。ＲＰＡは記録されたユーザ操作を繰り返し実行することでユーザ業務を軽減することを可能にするものである。ＲＰＡはユーザに代わって、繰り返し操作を２４時間、人間の介入を必要とせず代行することで、業務の自動化に貢献するものであり、よって業務全体の生産性向上を目指すものである。

【0003】

多くのＲＰＡシステムにおいては、まずパソコンのデスクトップ画面に配置されたアイコンやウィンドウを、キーボードやマウスといった入力装置で操作する内容を、ユーザの操作履歴として記録する。記録内容としては、「操作対象」と「操作内容」のセットを複数ステップとして記録する。この複数ステップを「操作スクリプト」として記憶する。「操作スクリプト」をＲＰＡシステムが再実行するときには、ステップごとに、「操作対象」をパソコンのデスクトップから検索して特定する。みつかった「操作対象」に対して、記録された「操作内容」を実行する。これを各ステップにわたり実行していく。

【0004】

具体的には、ＲＰＡを用いてデスクトップ画面上にあるアイコンを選択して特定のアプリケーションを起動したり、アプリケーション内のツールバーから特定の機能を実行したりする場合、パソコン画面に表示されているアイコンやツールバーの画像を予めキャプチャしておき、その画像データを操作対象画像として登録している（特許文献１を参照）。より具体的には、操作対象画像（アイコンやツールバーなど）と、操作内容（例えばマウス装置の左ボタンダブルクリックや右クリックなど）を紐付けて登録している。そして、ＲＰＡを実行すると、登録されている操作対象画像と一致する画像をパソコン画面上から検出し、検出した画像に対して登録された操作内容を行うことで業務自動化を図っている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－０３２７１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明の観点からなされたものである。

【0007】

特許文献１のＲＰＡ実行方式によれば、デスクトップ画面とウィンドウ画面は各々独立して保持されるにもかかわらずパソコン画面上にはデスクトップ画面のみが表示されている。操作記録時には表示されていたものが、記録時とは異なるユーザ操作を行ったなどの原因により、デスクトップ画面が操作対象でない別のウィンドウ画面に占有されてしまった場合、操作対象となるアイコンやウィンドウ画面、ツールバーが隠れてしまうことがある。このとき、予め登録されている操作対象画像をみつけることができない。またツールバーが隠れていない場合であっても、ユーザによる環境設定操作などにより、操作対象画像と画面の解像度や縮尺が異なる場合や、ツールバーの背景画像が異なる場合には該ツールバーの画像を正確に検出することができない場合がある。この意味で、ＲＰＡを正常に動作させるためには動作環境に大きな制約が存在することとなる。

【0008】

本発明は上記問題点に鑑みてなされたものであって、ＲＰＡ実行時に、デスクトップ画面などの変化に対応して、操作対象の特定をより正確に行うことに貢献することを目的とする。

【課題を解決するための手段】

【0009】

第１の視点によれば、業務の自動実行システムが提供される。このシステムは、パソコンを用いてユーザの操作を記録する操作登録部と、これを再実行するための操作実行部を有する業務の自動実行システムであり、前記操作登録部は、操作対象を画像イメージとして特定し記憶する操作対象記憶部と、前記操作対象に対する操作を記憶する操作内容記憶部と、前記操作対象と操作内容を関連付けて操作スクリプトとして記憶する操作スクリプト保存部と、前記操作対象の検索条件を含む画像イメージを仮想画面データとして記憶する仮想画面データ作成部を有し、操作実行部において、記録された前記操作スクリプトを読み込み、前記画像イメージと前記仮想画面データとを参照して、操作対象を特定したうえで、前記操作対象に対する操作を実行することを特徴とする、業務の自動実行システム、が提供される。

【0010】

第２の視点によれば、業務を自動実行する方法が提供される。この方法は、業務を自動実行する方法であり、操作記録を行うパソコンにおける操作登録部において、操作対象を画像イメージとして特定し記憶する操作対象記憶ステップと、前記操作対象の検索条件を含む画像イメージを仮想画面データとして記憶する仮想画面データ作成ステップと、前記操作対象に対する操作を記憶する操作内容記憶ステップと、前記操作対象と操作内容を関連付けて記憶する操作スクリプトを保存するステップとを有し、前記操作記録を実行するパソコンにおける操作実行部において、前記操作スクリプトから操作対象をデスクトップ画面と前記仮想画面データとを併せて検索することによって特定するステップと、記録された前記操作内容を実行する操作実行ステップと、を有する、業務を自動実行する方法が提供される。

【発明の効果】

【0011】

本発明の各視点によれば、ＲＰＡ実行時に、操作対象の特定をより正確に行うことに貢献する。

【図面の簡単な説明】

【0012】

【図1】一実施形態に係る、業務の自動実行の全体構成を示すブロック図である。

【図2】一実施形態例に係る、業務の自動実行の課題を示す図である。

【図3】第１の実施形態例に係る、操作登録部１０の動作の一例を示すフローチャートである。

【図4】第１の実施形態例に係る、仮想画面データ３１の記憶構造例を示す。

【図5】第１の実施形態に係る、操作実行部２０の動作の一例を示すフローチャートである。

【図6】第１の実施形態例に係る、デスクトップ画面例（操作記録時－１）を示す。

【図7】第１の実施形態例に係る、デスクトップ画面例（操作記録時－２）を示す。

【図8】第１の実施形態例に係る、デスクトップ画面例（操作実行時－１）を示す。

【図9】第１の実施形態例に係る、デスクトップ画面例（操作実行時－２）を示す。

【図10】第１の実施形態例に係る、デスクトップ画面例（操作実行時－３）を示す。

【図11】第１の実施形態例に係る、デスクトップ画面例（操作実行時－３変形例）を示す。

【図12】第２の実施形態例に係る、全体構成を示すブロック図である。

【図13】第２の実施形態例に係る、操作対象記憶部１１の一例を示すフローチャートである。

【図14】第２の実施形態例に係る、操作実行部２０の一例を示すフローチャートである。

【図15】第２の実施形態に係る、操作登録部１０と操作実行部２０の実行時の画面の一例を示す。

【図16】第２の実施形態例に係る、ツールチップの情報に関する説明を示す。

【発明を実施するための形態】

【0013】

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各ブロック図のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。

【0014】

上述の通り、パソコン操作を自動実行するための、業務の自動実行システムを、より正確に行うことに貢献するシステムが望まれる。

【0015】

本発明は、業務の自動実行システムのうち、特に操作登録部において操作対象を特定し記録する部分と、操作実行部２０において操作対象を検索し特定する部分に焦点をあてるものである。

【0016】

本発明の一実施形態の構成について図面を用いて詳細に説明する。

【0017】

図１を参照すると、本発明の一実施形態は、ユーザの操作内容を記憶する操作登録部１０と、記憶した操作スクリプト３０と、自動実行時に実行される操作実行部２０から構成される。ここで、操作登録部１０を有するパソコンと、操作実行部２０を有するパソコンは同じであっても、異なっていてもよい。図１では仮に操作登録パソコン１００と、操作実行パソコン２００とを区別している。ただし論理的には同様の機能を実現することができるようになっていなければならない。例えば、ディスプレイ装置１００ａのデスクトップ画面を参照しながら操作登録部１０で行って記録した操作スクリプト３０は、ディスプレイ装置２００ａのデスクトップ画面を使用して操作実行部２０が実行できる状態（アプリケーション、ライブラリ、ユーザ権限などに問題がないなど）であることを前提とする。

【0018】

図１で示した操作スクリプト３０は、一連のユーザ操作を、複数ステップとして有する。操作スクリプト保存部１３は、これに名前をつけて保存してもよいし、別処理から呼び出されるスクリプトプログラムとして保存してもよい。本実施形態においては、簡略のため操作スクリプト３０に付与する名前として「自動実行記録Ｎ」（ただし、Ｎは操作記録毎にカウントアップされるものとする）を付与して保存するものとする。操作実行部２０は、操作スクリプト３０の一つである「自動実行記録Ｎ」の指定を受けた上で、指定された操作スクリプト３０を実行するものとする。操作登録パソコン１００と操作実行パソコン２００が物理的に別のものである場合、操作スクリプト３０はネットワークを介してハードディスクに共有されているものなどとする。

【0019】

図２に、本発明で取り組む課題をデスクトップ画面事例として示す。図２上には、デスクトップ画面が表示されており、この中の一つのアイコンを操作対象として記憶するものとする。これが操作登録部１０の作用である。改めて再実行する際、操作実行部２０においては、図下に示すように、アイコンの背景デザインが変更になったり、画像サイズが変更になったり、アイコンが他のウィンドウに隠れてしまっている場合がある。これらの点について、再現性を高めることに貢献するものである。

【0020】

以下、本発明による第１の実施形態例について、図を用いて詳細に説明する。

【0021】

[第１の実施形態例]
図１を用いて、第１の実施形態例における構成を説明する。操作登録部１０は、操作対象記憶部１１、操作内容記憶部１２、操作スクリプト保存部１３から構成される。特に、本実施形態例の特徴として、操作対象記憶部１１の実行時に、仮想画面データ３１に付加情報を与える仮想画面データ作成部１４が設けられている。

【0022】

操作登録部１０は、ユーザ操作を記録する際に、「操作対象」と「操作内容」を記憶し、これを一ステップとする。操作対象記憶部１１が「操作対象」を記憶し、操作内容記憶部１２が、「操作内容」を記憶する。「操作対象」とはユーザが指定したデスクトップ上のオブジェクト（アイコン、ウィンドウ、ツールチップ）であり、「操作内容」とはキーボード装置１００ｂやマウス装置１００ｃによる操作内容（例えばマウス装置の左ボタンダブルクリック）である。

【0023】

操作実行部２０は、操作スクリプト３０を読み込み、操作を自動実行する。本実施形態例においては、仮想画面データ３１も読み込んでいる。上述したように、操作実行部２０を有する、操作実行パソコン２００において動作する。

【0024】

はじめに操作登録部１０について説明する。図３は、操作対象記憶部１１の処理と、仮想画面データ作成部１４の処理が連動して行われていることを説明するものである。

【0025】

操作対象記憶部１１は、操作対象がアイコンか、ウィンドウ内のツールバーかによって、操作対象となる仮想画面データ３１を変えている。

【0026】

操作対象がアイコンである場合には、該アイコン画像を操作対象として記憶し（Ｓ１０１）、これを仮想画面データ作成部１４に送り、アイコン画像を仮想画面データ３１に追加する（Ｓ２０１）。ここで、仮想画面データ３１はアイコン、ウィンドウ、ツールチップの種類毎に対象画像データを保存し、それぞれの関連を管理する構造となっている。仮想画面データ３１は本システム内でグローバルなデータであり、操作実行部２０などから参照することができる。

【0027】

アイコンをダブルクリックするなどの操作に応じて、ウィンドウが生成された場合には（Ｓ１０２）、該ウィンドウ画像を仮想画面データ作成部１４に送信し、ウィンドウ画像とこれを生成せしめたアイコン画像とを関連づけて、追加する。ここで、アイコン画像の種類は「アイコン」、ウィンドウ画像の種類は「ウィンドウ」であり、アイコンとウィンドウの間の関係を紐づけて記憶する。

【0028】

操作対象がウィンドウ内のツールバーである場合（Ｓ１１０）は、ツールバー画像を操作対象として記憶し（Ｓ１１１）、これを仮想画面データ作成部１４に送り、ツールバー画像とウィンドウを関連付けて仮想画面データ３１に追加する（Ｓ２０３）。

【0029】

さらに、ツールバーの場合には後続に処理が付与される。ここでは、ツールバーに対応するツールチップからテキスト情報を取得する（Ｓ１１２）。実際にはツールバーの上にマウスカーソルをムーブオーバーし、表示されるツールチップの画像を取得し、その画像の中から画像認識技術を用いてテキスト情報のみを抽出するものとする。仮想画面データ作成部１４は、このツールチップテキストをツールバー画像と関連づけて、仮想画面データ３１に追加する（Ｓ２０４）。

【0030】

図４にこのようにして生成された仮想画面データ３１の構造例を示す。仮想画面データ３１は種類毎に分類されており、「アイコン」「ウィンドウ」「ツールバー」の種類を有する。それぞれの種類毎に、アイコン、ウィンドウ、ツールバーの操作記録時の画像が記録されている。特にツールバー画像には、ツールチップテキスト情報が付加して記録されている。アイコンとウィンドウ、ウィンドウとツールバー、ツールバーとツールチップの間の関係は図に関係線として示すように関連づけられて記憶されている。ここには、あらかじめ記録された操作に関係したすべてのアイコン、ウィンドウ、ツールチップの情報が記録されている。

【0031】

次に操作実行部２０について説明する。図５に、操作実行部２０の処理フローチャートの一例を示す。操作実行部２０は、操作スクリプト３０を読み込み、操作スクリプト３０内に記録されたステップごとに「操作対象」に対する「操作内容」を再実行するものである。複数のステップの処理を完了したら、処理を終了する。図５は、１ステップの処理に対応しているものである。２ステップあれば、図５を２回繰り返すことになる。Ｎステップあれば、Ｎ回繰り返す。

【0032】

操作実行部２０は、仮想画面データ３１に記憶された画像データ（および関連づけ）に基づき、仮想画面データ３１から得られた画像を操作画面であるデスクトップから対象画面を探し出し、それに対する操作を実行することを行う。このために、操作対象イメージを仮想画面データ３１から特定する（Ｓ３００）。

【0033】

次に、操作実行部２０は、デスクトップ画面上に対象画面があるかどうかを判定する（Ｓ３０１）。これがある場合には、みつかった操作対象に対し、指定された操作を実行する（Ｓ３０２）。この場合は記録された１ステップの処理を終了する。

【0034】

操作実行部２０は、デスクトップ画面上に操作対象がない場合には、３つの場合分けを行う。操作対象がアイコンの場合、ウィンドウの場合、ツールバーの場合となる。図５ではＳ３１０、Ｓ３２０、Ｓ３３０に遷移することになる。

【0035】

操作対象がアイコンの場合、これをデスクトップ画面から隠す可能性としてウィンドウがアイコンを隠しているものと想定されるため、デスクトップのウィンドウをすべてアイコン化する処理を行う（Ｓ３１０）。これによってアイコン画像がデスクトップ画面上にあらわれた場合（Ｓ３５０）、アイコン操作対象に対し操作を実行し（Ｓ３７０）、処理を終了する。

【0036】

操作対象がウィンドウである場合、これをデスクトップ画面から隠す可能性として他のウィンドウが全面に表示されていると想定されるため、対象ウィンドウを最前面に移動させる処理を行う（Ｓ３２０）。これによって、ウィンドウ画面がデスクトップ画面上にあらわれた場合（Ｓ３５０）、ウィンドウ操作対象に対し操作を実行し（Ｓ３７０）、処理を終了する。

【0037】

操作対処がツールバーの場合、ツールバーに対応するウィンドウ画面を最前面に移動させる（Ｓ３３０）。ただし、同じツールバーであっても、デザインや縮尺などが変わっている場合に備え、付加されているツールチップ情報が同じであることをもって、同一性の判断を行う（Ｓ３４０）。ここでみつかった場合、ウィンドウ画面がデスクトップ画面上にあらわれたことを確認し（Ｓ３５０）、ツールチップ操作対象に対して操作を実行し（Ｓ３７０）、処理を終了する。

【0038】

それぞれの場合で操作対象がみつからない（Ｓ３５０でＮＯ，Ｓ３４０でＮＯ）場合には、エラー表示を行って（Ｓ３６０）処理を終了する。

【0039】

第１の実施形態例について、より具体的に画面例を用いてその作用を説明する。

【0040】

はじめに操作登録部１０の画面例を示す。図６は記録開始時のデスクトップ画面である。アイコンが２つ、ウィンドウが１つ（ウィンドウ２）、ウィンドウ２に対応するツールバーが２つ存在している。破線で示したウィンドウ１は、記録開始時には表示されていないものとする。

【0041】

ここで、記録を開始する。記録内容は、操作スクリプト保存部１３から操作スクリプト３０として記録される。

【0042】

図６の事例において、ユーザはアイコン１を操作対象として選び、マウス装置の左ボタンのダブルクリック操作を行うものとする。すると図６では破線内にあったウィンドウ１が表示され、図７で可視化されており、ウィンドウ１とこれに含まれるツールバーが３つ、表示されることになる。これらの記録は「記録（１）」として記録される。仮想画面データ３１には、図７内のアイコン１と、ウィンドウ１が記憶されることになる。

【0043】

次に、ユーザは新しく出現したウィンドウ１に含まれるツールバー１１を左クリックするものとする。ここでは、図３のステップＳ１１２により、ツールバーに対応するツールチップから、テキスト情報を取得され、ステップＳ２０３、Ｓ２０４によってツールバー画像とウィンドウとの関係、ツールチップテキストとツールバー画像との関連付けが追加される。仮想画面データ３１には図６のツールバー１１、ウィンドウ１との関係、ツールチップテキスト「フォントの色。文字の色を変更します」との関連が記憶される。ここまでの記録は「記録（２）」として記録された。

【0044】

ここで記録を終了する。ここではユーザ記録は次の通りとなった。仮に、操作名を自動実行記録１とするが、この名称はシステムが自動でつけてもよいし、ユーザが指定してもよい。操作スクリプト３０は次のとおりとなる。
「自動実行記録１：
「記録（１）： アイコン１（画像データ）を、マウス装置左ボタンダブルクリックを行う」
「記録（２）： ウィンドウ１のツールバー１１（画像データ）を、マウス装置左ボタンクリックを行う 」」

【0045】

次に、この自動実行記録１を再実行させる作用について説明する。ただし、他の記録も行われているため、図４に示すように、自動実行記録１だけで記録されたものだけでなく、他のアイコン、ウィンドウ、ツールバーの画像も記録されていることもある。本実施形態例は後者の事例に基づいて説明を続ける。

【0046】

操作開始時のデスクトップ表示画面を図８に示す。ここではウィンドウ２がデスクトップの過半を占有表示している。ここで、操作実行部２０は、「自動実行記録１」の「記録（１）」を実行するために、アイコン１画像を検索する。

【0047】

図８の表示から明らかなように、仮想画像内のアイコン１と同じアイコンは表示されていない。このため、操作実行部２０の処理は、デスクトップのウィンドウをすべてアイコン化する処理を実行する（図５におけるステップＳ３１０）。この結果、図９に示すようにウィンドウ２領域の表示が消去され、アイコン１の画像が表示されることになる。

【0048】

デスクトップ画面上にアイコン対象画面が見つかったことから（図５におけるステップＳ３５０）、アイコン１に対し、操作（マウス装置の左ボタンダブルクリック）を行う。これで、記録（１）を完了できた。

【0049】

上記操作により、ウィンドウ１が表示される。ただし、この事例では２つのパターンを想定するものとする。一つは、記録時と同じ画面構成であるもの（図１０）。もう一つは何等かのユーザ環境設定変更により、画面の解像度、縮尺、色合い、テクスチャなどが変更されている場合である（図１１）。

【0050】

まずは記録時と同じ画面構成である場合について述べる（図１０）。ここでは、記録（２）の操作対象である、ウィンドウ１のツールバー１１画像を探索する。ここではツールバー画像はデスクトップ画像上にあるので（図５におけるステップＳ３００）、ツールバー１１に対し、操作（マウス装置の左ボタンクリック）を行い、処理を終了する。これで記録（２）を完了できた。

【0051】

次は記録時と異なる画面構成である場合について述べる（図１１）。ここでは、記録（２）の操作対象である、ウィンドウ１のツールバー１１画像はみつからない（大きさ、色合い、テクスチャが異なるため）。そこで、操作実行部２０は、ツールバーに対応するウィンドウを最前面に移動した（図５におけるステップＳ３３０）上で、同一ウィンドウ内のツールバーのうち、ツールチップテキストが同じものがあるかどうかを検索する（図５におけるステップＳ３４０）。ここで、ツールバー１１に対応するツールチップテキストが「フォントの色。文字の色を変更します」であり、仮想画面に記憶されたものと同じであるため、ツールバー１１が操作対象として特定される。そこで、ツールバー１１に対し、操作（マウス装置の左ボタンクリック）を行い、処理を終了する。これで、記録（２）を完了できた。

【0052】

以上で「自動実行記録１」の実行は完了する。このように、第１の実施形態例において、アイコン、ウィンドウ、ツールバーの操作記録をとり、これを再実行できることを示した。

【0053】

[第２の実施形態例]
次に、第２の実施形態例における構成を説明する。図１２に示すとおり、操作登録部１０は、操作対象であるアイコン画像やウィンドウ情報、ツールチップ等を記憶する操作対象記憶部１１と、操作対象に対してマウス装置のクリックやダブルクリック、キーボードの文字入力等の操作内容を記憶する操作内容記憶部１２と、操作対象と操作内容を紐付けて管理し、操作スクリプト３０に記録する操作スクリプト保存部１３とで構成される。なお、操作対象記憶部１１は、操作対象のアイコンやツールバーの画像（以下、対象アイコン等を記す）を記憶するアイコン情報記憶部１１ａと、アイコン情報記憶部１１ａが記憶したアイコンを含むデスクトップ画面をデスクトップ情報として記憶すると共に、後述する仮想画面データ作成部１４が作成した複数の仮想画面のうちアイコン情報記憶部１１ａが記憶したアイコンやツールバーを含む仮想画面を、ウィンドウ情報として記憶するウィンドウ情報記憶部１１ｂと、アイコン情報記憶部１１ａが記憶したアイコンやツールバーに対応するツールチップを記憶するツールチップ情報記憶部１１ｃで構成される。

【0054】

操作実行部２０は、操作スクリプト３０から操作対象及び操作内容の情報を読み込む操作スクリプト読取部２１と、操作対象を検索する操作対象検索部２２と、操作スクリプト読取部２１が読み取った情報及び操作対象検索部２２の検索結果に基づいて操作を実行する操作内容実行部２３で構成される。さらに操作対象検索部２２は、実行中のパソコン画面上で対象アイコン等を検索するアイコン情報検索部２２ａと、予めウィンドウ情報記憶部１１ｂが記憶しているウィンドウ情報に対応する仮想画面の中から、後述する仮想画面データ作成部１４が作成した仮想画面に一致するものを検索するウィンドウ情報検索部２２ｂと、さらに仮想画面に対してツールチップ情報記憶部１１ｃで登録したツールチップ情報と一致するツールチップが表示されるアイコンが存在するか検索を行うツールチップ情報検索部２２ｃで構成される。

【0055】

操作スクリプト３０は、第１の実施形態例と同様に、「操作対象（画像データ）」と「操作内容」を１ステップとし、複数ステップを有する構造である情報である。

【0056】

はじめに、操作登録部１０の動作について詳細に説明する。

【0057】

図１３は、操作登録部１０の動作の一例を示すフローチャートである。

【0058】

まず操作登録部１０ａ内の操作対象記憶部１１において、アイコン情報記憶部１１ａは、対象アイコン等を画像情報として記憶する（ステップＳ０１）。記憶が完了したらその旨、仮想画面データ作成部１４に通知される。

【0059】

続いて仮想画面データ作成部１４は、ウィンドウ／デスクトップから仮想画面を作成する（ステップＳ０２）。具体的には、アイコン情報記憶部１１ａが記憶した対象アイコン等に対応するソフトウェア起動時に開かれるウィンドウ画面及びデスクトップ画面を画像処理により、各々単一の画像として作成する。この時に作成される単一の画像が、本実施形態例においては仮想画面データ３１である。仮想画面データ３１の作成が完了したらウィンドウ情報記憶部１１ｂに送信することで、ウィンドウ情報記憶部１１ｂは仮想画面データ３１を記憶することができる（ステップＳ０３）。ウィンドウ情報記憶部１１ｂは、記憶が完了した旨をツールチップ情報記憶部１１ｃに通知する。

【0060】

ツールチップ情報記憶部１１ｃは、ウィンドウ情報記憶部１１ｂから通知を受けると、アイコン情報記憶部１１ａが記憶した対象アイコン等に対応するツールチップをテキスト形式でツールチップ情報として記憶する（ステップＳ０４）。なお、対応するツールチップが存在しない場合、このステップは省略される。いずれの場合であってもその結果は操作対象記憶部１１に通知される。

【0061】

続いて、操作内容記憶部１２は、例えばマウス装置のクリックやダブルクリック、キーボードの文字入力など操作対象に行う具体的な操作内容を記憶する（ステップＳ０５）。操作内容の記憶が完了したら、操作スクリプト保存部１３は、操作対象記憶部１１が記憶している情報と、操作内容記憶部１２が記憶している情報を紐付けることができ、さらに操作スクリプト３０としてこの情報を保存する（ステップＳ０６）。なお、各記憶部が記憶している情報は記憶した時点で逐次、操作スクリプト保存部１３に送信するようにしてもよく、操作内容記憶部１２が記憶完了した段階でまとめて送信するようにしてもよい。

【0062】

次に、操作実行部２０について図１４を参照して説明する

【0063】

操作スクリプト読取部２１が、操作スクリプト３０から操作アイコン等に関する情報と、それに紐付けられている操作内容に関する情報を読み出す（ステップＳ１１）。そして、操作スクリプト読取部２１が読み出しを完了すると、その旨を操作対象検索部２２に通知する。

【0064】

次に操作対象検索部２２内のアイコン情報検索部２２ａは、実行中のパソコンのデスクトップ画面上に操作アイコン等が存在するか否かを判定する（ステップＳ１２）。操作アイコン等を抽出することができたらステップＳ１３に進み、抽出することができなければステップＳ１４に進む。

【0065】

操作対象検索部２２は一致した操作アイコン等の情報を操作スクリプト読取部２１に返すと、操作スクリプト読取部２１は操作実行可能と判断し、操作内容実行部２３に対して特定の操作を依頼することで操作が実行される（ステップＳ１３）。

【0066】

ステップＳ１１において、仮想画面データ作成部１４は実行中のパソコンのデスクトップ画面及びウィンドウ画面から、仮想画面データ３１を作成する。受信するウィンドウ情報検索部２２ｂが保持するようにしてもよく、作成された仮想画面データ３１は仮想画面データ作成部１４が一時的に保持するようにしてもよい。仮想画面データ作成部１４は、仮想画面データ３１の作成が完了したらその旨をウィンドウ情報検索部２２ｂに通知する。

【0067】

次に通知を受けたウィンドウ情報検索部２２ｂは、ウィンドウ情報記憶部１１ｂが記憶している仮想画面データ３１の中から、ステップＳ１４で仮想画面データ作成部１４が作成した仮想画面データ３１と一致するものがあるか否かを検索する（ステップＳ１４）。一致する仮想画面が存在しなかった場合にはステップＳ２０に進む。

【0068】

続いてウィンドウ情報記憶部１１ｂは、アイコン情報検索部２２ａに対して予め記憶した仮想画面に一致するものがあることを通知する（ステップＳ１５）。またウィンドウ情報記憶部１１ｂは一致している所定の仮想画面データ３１も併せて通知する。

【0069】

通知を受けたアイコン情報検索部２２ａは、所定の仮想画面データ３１の中に操作アイコン等があるか否かを検索する（ステップＳ１６）。ここでの実行内容はステップＳ１２と同様である。操作アイコン等を抽出することができたらステップＳ１８に進む。つまり、実行させるパソコンのデスクトップ画面上において、ウィンドウ画面が重なってしまい操作アイコン等が隠れてしまった場合であっても、仮想画面を参照することにより、正常に実行させることが可能になる。なお、抽出することができなければステップＳ１７に進む。

【0070】

アイコン情報検索部２２ａが操作アイコン等を抽出した場合、アイコン情報検索部２２ａは、その操作アイコン等が含まれている仮想画面データ３１に対応するデスクトップ画面又はウィンドウ画面を、操作スクリプト読取部２１に通知する。通知を受けた操作スクリプト読取部２１は、操作内容実行部２３に指示し、該当するデスクトップ画面又はウィンドウ画面を操作できるように最前面に配置させる（ステップＳ１８）。最前面への配置が完了したら操作内容実行部２３はその旨を操作スクリプト読取部２１に通知する。続いて、操作スクリプト読取部２１は操作実行可能と判断し、操作内容実行部２３に対して特定の操作を依頼することで操作が実行される。この作用適用例を図１５に示す。

【0071】

一方、ステップＳ１６で操作アイコン等を抽出できなかった場合には、ウィンドウ情報検索部２２ｂはその旨をツールチップ情報検索部２２ｃに通知する。通知を受けたツールチップ情報検索部２２ｃは、操作アイコン等に対応するツールチップが存在するか否か、具体的にはツールチップ情報記憶部１１ｃが対応するツールチップ情報を記憶しているか否かを確認する（ステップＳ１７）。ツールチップ情報検索部２２ｃは、ツールチップ情報記憶部１１ｃがツールチップ情報を記憶していると判断した場合には、ステップＳ１５で一致すると判断された仮想画面データ３１内で表示されているアイコンのうち、ツールチップ情報記憶部１１ｃが記憶しているツールチップ情報と同じツールチップ情報を持つアイコンが存在するか否かを検索する（ステップＳ１９）。

【0072】

記憶されているツールチップ情報と同じツールチップ情報が存在した場合（ステップＳ１９のＹＥＳ分岐）には、ステップＳ１８を経由してステップＳ１３に進む。つまり、例えばＲＰＡを実行させるパソコンの解像度やデスクトップ画面の背景等により登録アイコン等を一致させることができない場合であっても、登録アイコン等に対応するツールチップ情報を参照することができるため、動作環境の制約を緩和させることができる。この作用適用例を図１６に示す。

【0073】

一方、ツールチップ情報記憶部１１ｃが操作アイコン等に対応するツールチップ情報を記憶していなかった場合、又はツールチップ情報記憶部１１ｃが記憶しているツールチップ情報と同一のツールチップ情報が存在しなかった場合（ステップＳ１９のＮＯ分岐）には、ステップＳ２０に進む。

【0074】

ステップＳ１５で、ウィンドウ情報記憶部１１ｂが記憶している仮想画面データ３１の中に、仮想画面データ作成部１４が作成した仮想画面データ３１と一致するものがないとウィンドウ情報検索部２２ｂが判断した場合、又は上述のようにステップＳ１９で、ツールチップ情報記憶部１１ｃが操作アイコン等に対応するツールチップ情報を記憶していない、又はツールチップ情報記憶部１１ｃが記憶しているツールチップ情報と同一のツールチップ情報が存在しないとツールチップ情報検索部２２ｃが判断した場合には、その旨を、操作スクリプト読取部２１を介して操作内容実行部２３に通知する。通知を受けた操作内容実行部２３は、予め設定されたエラーメッセージを実行中のパソコンに出力し、処理を終了する（ステップＳ２０）。

【0075】

第１の実施形態例と、第２の実施形態例は、操作登録部１０と操作実行部２０の処理内容の詳細が異なる。しかし、仮想画面データ作成部１４を設けて、仮想画面データ３１として、操作対象となるアイコン、ツールバーなどの情報に付加情報を持って記憶している点では同じである。実現方式が異なっても、同じ効果を得ることができる実施形態例として、説明したものである。

【0076】

なお、引用した上記の特許文献の開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものと、みなされる。

【符号の説明】

【0077】

１０ 操作登録部
１１ 操作対象記憶部
１１ａ アイコン情報記憶部
１１ｂ ウィンドウ情報記憶部
１１ｃ ツールチップ情報記憶部
１２ 操作内容記憶部
１３ 操作スクリプト保存部
１４ 仮想画面データ作成部
２０ 操作実行部
２１ 操作スクリプト読取部
２２ 操作対象検索部
２２ａ アイコン情報検索部
２２ｂ ウィンドウ情報検索部
２２ｃ ツールチップ情報検索部
２３ 操作内容実行部
３０ 操作スクリプト
３１ 仮想画面データ
１００ 操作登録パソコン
１００ａ ディスプレイ装置（装置登録パソコン）
１００ｂ キーボード装置（操作登録パソコン）
１００ｃ マウス装置（操作登録パソコン）
２００ 操作実行パソコン
２００ａ ディスプレイ装置（装置実行パソコン）
２００ｂ キーボード装置（操作実行パソコン）
２００ｃ マウス装置（操作実行パソコン）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】