特開2023-54411自動化プログラム作成装置、自動化プログラム作成方法、自動化プログラム作成プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023054411
(43)【公開日】2023-04-14
(54)【発明の名称】自動化プログラム作成装置、自動化プログラム作成方法、自動化プログラム作成プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
(51)【国際特許分類】
G06F 8/38 20180101AFI20230407BHJP
G06F 16/38 20190101ALI20230407BHJP
【ＦＩ】
G06F8/38
G06F16/38
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2021163227
(22)【出願日】2021-10-04
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110003225
【氏名又は名称】弁理士法人豊栖特許事務所
(72)【発明者】
【氏名】柳瀬 健吾
(72)【発明者】
【氏名】木原 一挙
【テーマコード（参考）】
5B175
5B376
【Ｆターム（参考）】
5B175DA01
5B376BC32
5B376BC34
5B376BC43
5B376BC50
5B376BC52
5B376FA13
(57)【要約】
【課題】操作によって動的に変化するオブジェクトを記録する場合でもオブジェクトの情報を安定的に取得可能とする。
【解決手段】オブジェクトに対する操作を記録して、対応する操作を実行するための自動化プログラム生成方法は、自動化対象ソフトの表示画面を視認可能な態様で、自動化対象ソフトに含まれるオブジェクトに対する操作を遮断する、オブジェクト選択受付画面を表示する工程と、オブジェクト選択受付画面に対するユーザ操作を受け付けて、当該ユーザ操作を受け付けたオブジェクト選択受付画面上の位置に対応する、自動化対象ソフトに含まれるオブジェクトを特定する工程と、特定されたオブジェクトへの操作内容を選択させる工程と、特定されたオブジェクトと、特定されたオブジェクトへの操作として選択された操作内容と、に基づいて、当該オブジェクトに対して当該操作内容を実行する自動化プログラムを生成する工程とを含む。
【選択図】図１
【解決手段】オブジェクトに対する操作を記録して、対応する操作を実行するための自動化プログラム生成方法は、自動化対象ソフトの表示画面を視認可能な態様で、自動化対象ソフトに含まれるオブジェクトに対する操作を遮断する、オブジェクト選択受付画面を表示する工程と、オブジェクト選択受付画面に対するユーザ操作を受け付けて、当該ユーザ操作を受け付けたオブジェクト選択受付画面上の位置に対応する、自動化対象ソフトに含まれるオブジェクトを特定する工程と、特定されたオブジェクトへの操作内容を選択させる工程と、特定されたオブジェクトと、特定されたオブジェクトへの操作として選択された操作内容と、に基づいて、当該オブジェクトに対して当該操作内容を実行する自動化プログラムを生成する工程とを含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
自動化対象ソフトに含まれかつ表示画面上でユーザ操作を受け付けるオブジェクトに対する操作を記録して、対応する操作を実行するための自動化プログラムを生成する、自動化プログラムの生成方法であって、
自動化対象ソフトの表示画面を視認可能な態様で、自動化対象ソフトに含まれるオブジェクトに対する操作を遮断する、オブジェクト選択受付画面を表示する工程と、
前記オブジェクト選択受付画面に対するユーザ操作を受け付けて、当該ユーザ操作を受け付けた前記オブジェクト選択受付画面上の位置に対応する、自動化対象ソフトに含まれるオブジェクトを特定する工程と、
特定された前記オブジェクトへの操作内容を選択させる工程と、
特定された前記オブジェクトと、特定された前記オブジェクトへの操作として選択された操作内容と、に基づいて、当該オブジェクトに対して当該操作内容を実行する自動化プログラムを生成する工程と、
を含む自動化プログラム作成方法。
自動化対象ソフトの表示画面を視認可能な態様で、自動化対象ソフトに含まれるオブジェクトに対する操作を遮断する、オブジェクト選択受付画面を表示する工程と、
前記オブジェクト選択受付画面に対するユーザ操作を受け付けて、当該ユーザ操作を受け付けた前記オブジェクト選択受付画面上の位置に対応する、自動化対象ソフトに含まれるオブジェクトを特定する工程と、
特定された前記オブジェクトへの操作内容を選択させる工程と、
特定された前記オブジェクトと、特定された前記オブジェクトへの操作として選択された操作内容と、に基づいて、当該オブジェクトに対して当該操作内容を実行する自動化プログラムを生成する工程と、
を含む自動化プログラム作成方法。
【請求項2】
請求項１に記載の自動化プログラム作成方法であって、
前記オブジェクト選択受付画面が、前記表示画面の全面を覆うように重畳表示される半透明ウインドウである自動化プログラム作成方法。
前記オブジェクト選択受付画面が、前記表示画面の全面を覆うように重畳表示される半透明ウインドウである自動化プログラム作成方法。
【請求項3】
請求項１又は２に記載の自動化プログラム作成方法であって、
前記操作選択部で指定されたオブジェクトへの操作内容を表示させる出力リストウィンドウを表示画面上に表示させてなる自動化プログラム作成方法。
前記操作選択部で指定されたオブジェクトへの操作内容を表示させる出力リストウィンドウを表示画面上に表示させてなる自動化プログラム作成方法。
【請求項4】
請求項１～３のいずれか一項に記載の自動化プログラム作成方法であって、
前記オブジェクト選択受付画面を表示させる工程において、自動化対象ソフトを表示画面上での全画面表示を解除するよう構成してなる自動化プログラム作成方法。
前記オブジェクト選択受付画面を表示させる工程において、自動化対象ソフトを表示画面上での全画面表示を解除するよう構成してなる自動化プログラム作成方法。
【請求項5】
請求項１～４のいずれか一項に記載の自動化プログラム作成方法であって、
前記操作内容を選択させる工程が、指定されたオブジェクトへの操作として複数の選択肢を一覧表示させた操作内容選択肢を表示させる工程を含んでなる自動化プログラム作成方法。
前記操作内容を選択させる工程が、指定されたオブジェクトへの操作として複数の選択肢を一覧表示させた操作内容選択肢を表示させる工程を含んでなる自動化プログラム作成方法。
【請求項6】
請求項５に記載の自動化プログラム作成方法であって、
前記操作内容選択肢が、特定されたオブジェクトをメモリ部に保持させる操作を含む自動化プログラム作成方法。
前記操作内容選択肢が、特定されたオブジェクトをメモリ部に保持させる操作を含む自動化プログラム作成方法。
【請求項7】
請求項６に記載の自動化プログラム作成方法であって、
前記特定されたオブジェクトを前記メモリ部に保持させる操作が選択されたときに、前記オブジェクトの保持態様の指定を受け付ける自動化プログラム作成方法。
前記特定されたオブジェクトを前記メモリ部に保持させる操作が選択されたときに、前記オブジェクトの保持態様の指定を受け付ける自動化プログラム作成方法。
【請求項8】
請求項５に記載の自動化プログラム作成方法であって、
前記操作内容選択肢が、特定されたオブジェクトに対してメモリ部に保持されるデータを書き込む操作を含む自動化プログラム作成方法。
前記操作内容選択肢が、特定されたオブジェクトに対してメモリ部に保持されるデータを書き込む操作を含む自動化プログラム作成方法。
【請求項9】
請求項８に記載の自動化プログラム作成方法であって、
前記メモリ部に保持されるデータが表形式のデータであって、
前記特定されたオブジェクトに対して前記メモリ部に保持されるデータを書き込む操作が選択されたときに、前記表形式のデータのうち前記オブジェクトに対して書き込まれるデータの指定を受け付ける自動化プログラム作成方法。
前記メモリ部に保持されるデータが表形式のデータであって、
前記特定されたオブジェクトに対して前記メモリ部に保持されるデータを書き込む操作が選択されたときに、前記表形式のデータのうち前記オブジェクトに対して書き込まれるデータの指定を受け付ける自動化プログラム作成方法。
【請求項10】
請求項５～９のいずれか一項に記載の自動化プログラム作成方法であって、
前記操作内容選択肢として、前記操作内容と、前記操作内容を実現する方法とを表示させる自動化プログラム作成方法。
前記操作内容選択肢として、前記操作内容と、前記操作内容を実現する方法とを表示させる自動化プログラム作成方法。
【請求項11】
請求項５～１０のいずれか一項に記載の自動化プログラム作成であって、
特定された前記オブジェクトに係る情報を取得する工程を含み、
前記操作内容選択肢として、前記取得した情報に対応する選択肢を表示させる自動化プログラム作成方法。
特定された前記オブジェクトに係る情報を取得する工程を含み、
前記操作内容選択肢として、前記取得した情報に対応する選択肢を表示させる自動化プログラム作成方法。
【請求項12】
請求項１～１１のいずれか一項に記載の自動化プログラム作成方法であって、
前記オブジェクト選択受付画面を一時的に停止する指示を受け付け可能である自動化プログラム作成方法。
前記オブジェクト選択受付画面を一時的に停止する指示を受け付け可能である自動化プログラム作成方法。
【請求項13】
請求項１～１２のいずれか一項に記載の自動化プログラム作成方法であって、さらに、
前記操作選択部で指定したオブジェクトへの操作を、自動化プログラムを作成するより前に、当該オブジェクトに実行する工程を含んでなる自動化プログラム作成方法。
前記操作選択部で指定したオブジェクトへの操作を、自動化プログラムを作成するより前に、当該オブジェクトに実行する工程を含んでなる自動化プログラム作成方法。
【請求項14】
自動化対象ソフトに含まれかつ表示画面上でユーザ操作を受け付けるオブジェクトに対する操作を記録して、対応する操作を実行するための自動化プログラムを生成する自動化プログラム生成プログラムであって、
自動化対象ソフトの表示画面を視認可能な態様で、自動化対象ソフトに含まれるオブジェクトに対する操作を遮断する、オブジェクト選択受付画面を表示する機能と、
前記オブジェクト選択受付画面に対するユーザ操作を受け付けて、当該ユーザ操作を受け付けた前記オブジェクト選択受付画面上の位置に対応する、自動化対象ソフトに含まれるオブジェクトを特定する機能と、
特定された前記オブジェクトへの操作内容を選択させる機能と、
特定された前記オブジェクトと、特定された前記オブジェクトへの操作として選択された操作内容と、に基づいて、当該オブジェクトに対して当該操作内容を実行する自動化プログラムを生成する機能と、
をコンピュータに実現させるための自動化プログラム作成プログラム。
自動化対象ソフトの表示画面を視認可能な態様で、自動化対象ソフトに含まれるオブジェクトに対する操作を遮断する、オブジェクト選択受付画面を表示する機能と、
前記オブジェクト選択受付画面に対するユーザ操作を受け付けて、当該ユーザ操作を受け付けた前記オブジェクト選択受付画面上の位置に対応する、自動化対象ソフトに含まれるオブジェクトを特定する機能と、
特定された前記オブジェクトへの操作内容を選択させる機能と、
特定された前記オブジェクトと、特定された前記オブジェクトへの操作として選択された操作内容と、に基づいて、当該オブジェクトに対して当該操作内容を実行する自動化プログラムを生成する機能と、
をコンピュータに実現させるための自動化プログラム作成プログラム。
【請求項15】
請求項１４に記載のプログラムを格納したコンピュータで読み取り可能な記録媒体又は記憶した機器。
【請求項16】
自動化対象ソフトに含まれかつ表示画面上でユーザ操作を受け付けるオブジェクトに対する操作を記録して、対応する操作を実行するための自動化プログラムを生成する自動化プログラム生成装置であって、
自動化対象ソフトの表示画面を視認可能な態様で、自動化対象ソフトに含まれるオブジェクトに対する操作を遮断する、オブジェクト選択受付画面を表示させるためのオブジェクト選択受付部と、
前記オブジェクト選択受付部で表示された前記オブジェクト選択受付画面に対するユーザ操作を受け付けて、当該ユーザ操作を受け付けた前記オブジェクト選択受付画面上の位置に対応する、自動化対象ソフトに含まれるオブジェクトを特定する入力部と、
前記入力部で特定された前記オブジェクトへの操作内容を選択させるための操作選択部と、
特定された前記オブジェクトと、特定された前記オブジェクトへの操作として前記操作選択部で選択された操作内容と、に基づいて、当該オブジェクトに対して当該操作内容を実行する自動化プログラムを生成するための自動化プログラム生成部と、
を備える自動化プログラム作成装置。
自動化対象ソフトの表示画面を視認可能な態様で、自動化対象ソフトに含まれるオブジェクトに対する操作を遮断する、オブジェクト選択受付画面を表示させるためのオブジェクト選択受付部と、
前記オブジェクト選択受付部で表示された前記オブジェクト選択受付画面に対するユーザ操作を受け付けて、当該ユーザ操作を受け付けた前記オブジェクト選択受付画面上の位置に対応する、自動化対象ソフトに含まれるオブジェクトを特定する入力部と、
前記入力部で特定された前記オブジェクトへの操作内容を選択させるための操作選択部と、
特定された前記オブジェクトと、特定された前記オブジェクトへの操作として前記操作選択部で選択された操作内容と、に基づいて、当該オブジェクトに対して当該操作内容を実行する自動化プログラムを生成するための自動化プログラム生成部と、
を備える自動化プログラム作成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、自動化プログラム作成装置、自動化プログラム作成方法、自動化プログラム作成プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。
【背景技術】
【0002】
ロボティックプロセスオートメーション（ＲＰＡ）では、人がコンピュータのデスクトップ環境で行っていた作業をプログラムが実行することにより、人がデスクトップ環境で行っていた作業が自動化される。従来、人が行っていた作業をプログラムに反映する手法として、人の操作を、コンピュータが認識可能な形態で記録する方法が知られている。
【0003】
作成されるプログラムの精度を向上させるためには、操作を行うユーザの意図を正確に把握する必要がある。したがってユーザが操作する対象であるオブジェクトに係る情報を正確に取得する必要がある。しかしながら、当該オブジェクトがクリック等の操作を受けて態様が変化するようなオブジェクトである場合、操作が実行される時点すなわち操作が実行される直前のオブジェクトに係る情報を取得することが困難である。
【0004】
特許文献１では、操作前の情報を取得するための構成として、一定の周期で予備取得するログのデータと、操作が実行された後のデータとを比較して、操作直前のデータを取得する方法が開示される。しかしながら、取得するデータの正確性を向上させるためには、予備取得の周期を短くする必要があり、処理の負荷が増大する、という虞があった。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１５－１５３２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示の目的の一は、自動化対象ソフトへの直接の操作によって、動的に変化するオブジェクトを記録する場合でも、当該オブジェクトの情報を安定的に取得可能とした自動化プログラム作成装置、自動化プログラム作成方法、自動化プログラム作成プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を提供することにある。
【課題を解決するための手段】
【0007】
本発明の一形態に係る自動化プログラム作成方法によれば、自動化対象ソフトに含まれかつ表示画面上でユーザ操作を受け付けるオブジェクトに対する操作を記録して、対応する操作を実行するための自動化プログラムを生成する、自動化プログラムの生成方法であって、自動化対象ソフトの表示画面を視認可能な態様で、自動化対象ソフトに含まれるオブジェクトに対する操作を遮断する、オブジェクト選択受付画面を表示する工程と、前記オブジェクト選択受付画面に対するユーザ操作を受け付けて、当該ユーザ操作を受け付けた前記オブジェクト選択受付画面上の位置に対応する、自動化対象ソフトに含まれるオブジェクトを特定する工程と、特定された前記オブジェクトへの操作内容を選択させる工程と、特定された前記オブジェクトと、特定された前記オブジェクトへの操作として選択された操作内容と、に基づいて、当該オブジェクトに対して当該操作内容を実行する自動化プログラムを生成する工程とを含むことができる。これにより、自動化対象ソフトと入力部の間にオブジェクト選択受付画面を介在させることで、オブジェクトが操作によって消えるなど、表示画面の状態の変化によらず、動作を記録することが可能となる。
【0008】
また、本発明の他の形態に係る自動化プログラム作成プログラムによれば、自動化対象ソフトに含まれかつ表示画面上でユーザ操作を受け付けるオブジェクトに対する操作を記録して、対応する操作を実行するための自動化プログラムを生成する自動化プログラム生成プログラムであって、自動化対象ソフトの表示画面を視認可能な態様で、自動化対象ソフトに含まれるオブジェクトに対する操作を遮断する、オブジェクト選択受付画面を表示する機能と、前記オブジェクト選択受付画面に対するユーザ操作を受け付けて、当該ユーザ操作を受け付けた前記オブジェクト選択受付画面上の位置に対応する、自動化対象ソフトに含まれるオブジェクトを特定する機能と、特定された前記オブジェクトへの操作内容を選択させる機能と、特定された前記オブジェクトと、特定された前記オブジェクトへの操作として選択された操作内容と、に基づいて、当該オブジェクトに対して当該操作内容を実行する自動化プログラムを生成する機能とをコンピュータに実現させるための自動化プログラム作成プログラムである。上記構成により、自動化対象ソフトと入力部の間にオブジェクト選択受付画面を介在させることで、オブジェクトが操作によって消えるなど、表示画面の状態の変化によらず、動作を記録することが可能となる。
【0009】
さらにまた、本発明の他の形態に係るコンピュータで読み取り可能な記録媒体又は記憶した機器は、上記いずれかの形態に係るプログラムを格納する媒体又は該プログラムを記憶した機器である。記録媒体には、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ－ｒａｙ（商品名）、ＵＨＤ ＢＤ（商品名）、ＨＤ ＤＶＤ（ＡＯＤ：商品名）等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記憶した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。また本明細書においてコンピュータで読み取り可能な記録媒体は、非一過性で有形の媒体、又は一過性の伝搬信号を含む。
【0010】
さらにまた、本発明の他の形態に係る自動化プログラム作成装置によれば、自動化対象ソフトに含まれかつ表示画面上でユーザ操作を受け付けるオブジェクトに対する操作を記録して、対応する操作を実行するための自動化プログラムを生成する自動化プログラム生成装置であって、自動化対象ソフトの表示画面を視認可能な態様で、自動化対象ソフトに含まれるオブジェクトに対する操作を遮断する、オブジェクト選択受付画面を表示させるためのオブジェクト選択受付部と、前記オブジェクト選択受付部で表示された前記オブジェクト選択受付画面に対するユーザ操作を受け付けて、当該ユーザ操作を受け付けた前記オブジェクト選択受付画面上の位置に対応する、自動化対象ソフトに含まれるオブジェクトを特定する入力部と、前記入力部で特定された前記オブジェクトへの操作内容を選択させるための操作選択部と、特定された前記オブジェクトと、特定された前記オブジェクトへの操作として前記操作選択部で選択された操作内容と、に基づいて、当該オブジェクトに対して当該操作内容を実行する自動化プログラムを生成するための自動化プログラム生成部とを備えることができる。上記構成により、自動化対象ソフトと入力部の間にオブジェクト選択受付画面を介在させることで、オブジェクトが操作によって消えるなど、表示画面の状態の変化によらず、動作を記録することが可能となる。
【発明の効果】
【0011】
本開示の一形態によれば、自動化対象ソフトへの操作を記録するときに、当該自動化対象ソフトへの直接の操作によって、動的に変化するようなオブジェクトに対する操作を記録する場合でも、当該オブジェクトの情報を安定的に取得することができる。
【図面の簡単な説明】
【0012】
【図1】自動化したい一連の作業を示す模式図である。
【図2】本発明の一実施形態に係る自動化プログラム作成装置のハードウェア構成を示すブロック図である。
【図4】本発明の一実施形態に係る自動化プログラム作成プログラムのソフトウェア構成を示すブロック図である。
【図5】自動化プログラム作成プログラムと、表計算ソフトとのやりとりを示す模式図である。
【図6】自動化プログラム作成プログラムと、Ｗｅｂブラウザとのやりとりを示す模式図である。
【図7】自動化プログラム作成プログラムと、自動化対象ソフトとのやりとりの一例を示す模式図である。
【図8】ＲＰＡソフトを用いて自動化プログラムを作成する手順を示すフローチャートである。
【図9】概略手順作成画面を示す模式図である。
【図10】表計算ソフト取込詳細設定を行う手順を示すフローチャートである。
【図11】表計算ソフト取得範囲指定画面を示す模式図である。
【図12】転記設定の手順を示すフローチャートである。
【図13】一般転記詳細設定画面を示す模式図である。
【図14】操作レコード画面の一例を示す模式図である。
【図15】アクティビティ一覧画面を示す模式図である。
【図16】操作レコード画面を設定する画面を示す模式図である。
【図17】表データ転記出力詳細設定画面の一例を示す模式図である。
【図19】列名選択肢が表示された状態を示す模式図である。
【図20】表ナビ画面を示す模式図である。
【図21】表操作画面を示す模式図である。
【図23】結合対象の表を示す模式図である。
【図25】縦積み対象の表を示す模式図である。
【図28】差分を取る対象となる表を示す模式図である。
【図31】対象Ｗｅｂページにおいて、一の記事のタイトルを手動で選択した状態を示す模式図である。
【図33】出力詳細設定画面の一例を示す模式図である。
【図35】Ｗｅｂスクレイピング抽出プレビュー表示の他の例を示す模式図である。
【図36】Ｗｅｂ取込詳細設定を行う手順を示すフローチャートの前段である。
【図40】自動化対象ソフトのメニューに係る操作レコードを行う様子を示す模式図である。
【図41】２つのアプリケーションに対し半透明ウインドウを重畳表示させる様子を示す模式図である。
【図43】表ＵＩを有する転記元アプリケーションの一例を示す模式図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための自動化プログラム作成装置、自動化プログラム作成方法、自動化プログラム作成プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を例示するものであって、本発明は自動化プログラム作成装置、自動化プログラム作成方法、自動化プログラム作成プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
［実施形態１］
［実施形態１］
【0014】
自動化プログラム作成装置は、一般にＲＰＡ（Robotic Process Automation）と呼ばれる、パソコンのデスクトップ環境でユーザが行っていた作業をプログラムで代替して自動化する自動化プログラムを、ユーザが作成する作業を支援する装置である。図１は、本発明の自動化プログラム作成装置を用いて、任意のファイル中のデータ、もしくはアプリケーション中のデータを、任意のファイルのフォーム、もしくはアプリケーションのフォームに出力する転記作業を実行するＲＰＡプログラムを作成する方法を示す概念図である。図１において左に位置する表計算ソフトＳＳ、ＷｅｂブラウザＷＢ、及び自動化対象ソフトＧＳは転記作業で転記されるデータを表示する転記元アプリケーションである。図１において右に位置する表計算ソフトＳＳ、ＷｅｂブラウザＷＢ、自動化対象ソフトＧＳ、及びメールソフトＭＳは、転記作業で転記されるデータが出力される転記先アプリケーションである。なお、本実施形態において自動化対象ソフトＧＳは、デスクトップ環境でユーザが操作可能なアプリケーション全般を示す。例えば、本実施形態における転記元アプリケーションとしての自動化対象ソフトＧＳは、表計算ソフトＳＳ及びＷｅｂブラウザＷＢ以外の、ユーザが操作可能なアプリケーションを示す。また、例えば、本実施形態における転記先アプリケーションとしての自動化対象ソフトＧＳは、表計算ソフトＳＳ、ＷｅｂブラウザＷＢ、及びメールソフトＭＳ以外の、ユーザが操作可能なアプリケーションを示す。
【0015】
本実施形態では、転記作業を、転記元アプリケーションからデータを取得し、転記先アプリケーションに出力する作業、と定義する。例えば、表計算ソフトＳＳのデータファイル中のデータを、同じ表計算ソフトＳＳの別のデータファイルに転記する転記作業は、図１では、図１中の左に示される、転記元アプリケーションとしての表計算ソフトＳＳのデータファイルからデータを取得して、当該データ、もしくは当該データに基づくデータを、図１中の右に示される転記先アプリケーションとしての表計算ソフトＳＳのデータファイルに出力する作業として示される。また、Ｗｅｂブラウザで閲覧しているページ中のデータを所定のソフトのフォームに転記する作業は、図１では、図１中の左に示される転記元アプリケーションとしてのＷｅｂブラウザＷＢからデータを取得して、当該データ、もしくは当該データに基づくデータを、図１中の右に示される転記先アプリケーションとしての自動化対象ソフトＧＳに出力する作業として示される。
【0016】
ユーザがこのような転記作業を実行するＲＰＡプログラムを作成するときには、どのデータを変数として扱うのか、どのようにその変数を扱うのか、を考慮する必要がある。例えば、転記元アプリケーションからどのデータをどのような変数として取得するのか、取得したデータをどのように編集して転記先に出力するためのデータに加工するのか、転記先アプリケーションに対してどの変数をどのように出力するのか、といったことを考慮する必要がある。変数の扱い方を考慮しながらプログラムを作成するのは、プログラムに不慣れなユーザにとって困難である。本実施形態においては、図１に示すように、転記元アプリケーションから取得するデータを表として保持することによって、変数の扱い方に係る指定を容易にする。詳細は後述する。
【0017】
図２は、本実施形態の自動化プログラム作成装置として機能する汎用のコンピュータＰＣの構成を示す。コンピュータＰＣは、ディプレイ等の表示部１１と、入力部１２と、バス１３と、通信部１４と、プロセッサ部２０と、メモリ部１５と、ストレージ部１６と、を備える。コンピュータＰＣに自動化プログラム作成プログラムがインストールされることによって、コンピュータＰＣは自動化プログラム作成装置として機能する。本実施例にでは、汎用のコンピュータＰＣが自動化プログラム作成装置として機能するが、専用の自動化プログラム作成装置がハードウェアで構成されてもよい。
【0018】
表示部１１は、図１に示される各アプリケーションや、自動化プログラム作成プログラムにより提供される画面情報を表示する。表示部１１は、例えば液晶ディスプレイ（ＬＣＤ）、有機ＥＬ等で構成される。表示部１１はタッチパネルで構成されてもよく、この場合、タッチパネルは表示部１１と入力部１２とを兼ねる。入力部１２は、キーボード１２ａ、マウス１２ｂ、タッチパッド１２ｃ等の入力デバイスである。バス１３は、各部材間でデータのやりとりを行うためのデータ伝送路を構成する。通信部１４は、外部機器との間でデータ通信を行うための部材であり、イーサネット（商品名）やＩＥＥＥ８０２．ｘ等の規格化された通信インターフェースやモジュールが利用できる。このように外部機器との接続は、有線や無線で行うことができる。プロセッサ部２０は各種演算や処理を行う部材であり、ＣＰＵやＭＰＵ、ＳｏＣ、ＡＳＩＣなどで好適に実現できる。メモリ部１５はコンピュータプログラムの実行時にロードモジュールが展開され、コンピュータプログラムの実行時に発生する一時的なデータ等を保持する。このようなメモリ部１５は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成されたＲＡＭや、ＥＥＰＲＯＭ等の不揮発性メモリで構成されたＲＯＭが利用できる。ストレージ部１６は、自動化プログラム実行ファイルやデータや設定情報等の各種の情報を保持するための部材である。このストレージ部１６は、ハードディスクや半導体メモリ、可搬メディア等で構成される。
【0019】
また入力部１２は、後述するオブジェクト選択受付部３８で重畳表示されたオブジェクト選択受付画面上で、入力を受け付けるための部材として機能する。
（プロセッサ部２０）
（プロセッサ部２０）
【0020】
図３は、本実施形態の自動化プログラム生成装置として機能するコンピュータＰＣのプロセッサ部２０の機能を示す機能ブロック図である。プロセッサ部２０は自動化プログラム生成部２５と自動化プログラム実行部２６とを有する。自動化プログラム生成部２５は自動化プログラムを生成するための機能ブロックであり、概略手順作成部２１と、取得範囲指定部２２と、転記指定部２３と、操作レコード設定部４８と、を有する。自動化プログラム実行部２６は、自動化プログラム生成部２５により生成された自動化プログラムを実行するための機能ブロックである。
【0021】
概略手順作成部２１は、自動化する転記作業における各アプリ―ケーション間でのデータの受け渡しを示す概略手順を設定するための機能ブロックである。概略手順作成部２１は、繰返設定部３１を有する。繰返設定部３１は、概略手順作成部２１により設定された概略手順のうち、繰り返し行われる手順を設定するための機能ブロックである。
【0022】
取得範囲指定部２２は、転記元アプリケーションのデータのうち、取得するデータが存在する範囲を指定するための機能ブロックであり、当該範囲を指定するための画面情報を表示したり、当該画面情報に対するユーザの指定を受け付けたりする。本実施形態において、転記元アプリケーションのデータとは、転記元アプリケーションにより扱われるファイルに含まれるデータと、転記元アプリケーションの機能により表示される画面情報に含まれるデータと、を含む。例えば、転記元アプリケーションが表計算ソフトＳＳであり、表計算ソフトＳＳにより表形式で表示されるファイルからデータを取得する場合が、転記元アプリケーションにより扱われるファイルに含まれるデータを取得する場合である。この場合、ファイルにおいて取得するデータが存在する範囲の指定が受け付ける。特に、表計算ソフトＳＳにより表形式で表示されるファイルからデータを取得する場合には、当該表の行と列とが指定されることにより、取得するデータが存在する範囲が指定される。また、例えば、転記元アプリケーションが自動化対象ソフトＧＳであり、当該ソフトの機能により表示される文字列をデータとして取得する場合が、転記元アプリケーションの機能により表示される画面情報に含まれるデータを取得する場合である。この場合も、画面情報において取得する文字列が存在する範囲の指定を受け付ける。なお、詳細は後述するが、表計算ソフトＳＳにおける行と列とによるデータの指定のような、対象のアプリケーションに固有の方法によるデータの指定が困難な場合は、後述する操作レコード設定部４８の機能により、データの取得範囲が指定される。
【0023】
また、取得範囲指定部２２は、自動表認識実行部３５を有する。自動表認識実行部３５は、表計算ソフトＳＳにより扱われるものの、データの配置が一定ではなくユーザが取得するデータの範囲を指定しにくい形状のファイルから、データを抽出し、ユーザが範囲指定しやすい形状に整形する機能ブロックである。例えば、表として意図された部分とそうでない部分とを含むファイルの場合、罫線で囲まれた部分を表として意図された部分と認識して、表を抽出する。また、例えば、複数列にわたって結合されたセルを単一列のセルと認識して表を抽出する。さらに、例えば、複数のファイルからデータを抽出するとき、各行の抽出元を示すファイル名を新たな列として付加して表を抽出する。このように、既知のアルゴリズムを適宜適用して、ユーザが範囲指定しやすい形状に整形した表を生成する。ユーザは、整形された表に対して行と列とを指定することにより、取得するデータが存在する範囲を指定する。
【0024】
このように、取得範囲指定部２２により取得するデータが存在する範囲が指定された転記元アプリケーションのデータは、表データとしてメモリ部１５に保持される。
【0025】
転記元アプリケーションが表計算ソフトＳＳである場合は表計算ソフトＳＳ上で表示される列ごとに、転記元アプリケーションに含まれるデータが配置されて表データが生成される。自動表認識実行部により表が認識された場合も、整形された後の表に基づいてデータが配置されて表データが生成される。すなわち、表計算ソフトＳＳは、表データの生成に使用するのが容易な規則としての行及び列、に従ったデータ配置がされるアプリケーションである。また、転記元アプリケーションがＷｅｂブラウザＷＢである場合、ＷｅｂブラウザＷＢによりユーザに視認されるデータはｈｔｍｌタグにしたがって配置される。このため、タグごとに転記元アプリケーションに含まれるデータが配置されて表データが生成される。すなわち、ＷｅｂブラウザＷＢは、表データの生成に使用するのが容易な規則としてのタグ情報、に従ったデータ配置がされるアプリケーションである。このように、表データの生成に使用するのが容易な規則に従ってデータ配置がなされるアプリケーションが転記元アプリケーションであるときは、当該規則に従って、表データを生成する。なお、本実施例においては、表データの生成に使用するのが容易な規則に従ってデータが配置されるアプリケーションとして、表計算ソフトＳＳとＷｅｂブラウザＷＢとが挙げられるが、これに限られない。転記元アプリケーションのデータが一定の規則に従って配置され、かつ、当該規則が周知されている場合には、取得範囲指定部２２に予め当該転記元アプリケーションのデータから表データを生成する方法が設定されうるため、表データの生成に使用するのが容易な規則に従ってデータ配置がなされる、と言える。この場合は、表計算ソフトＳＳとＷｅｂブラウザＷＢと同様に、概略手順作成部２１により当該転記元アプリケーションの種類が設定されることにより、対応する表データ生成方法が適用され、転記元アプリケーションのデータから表データが生成される。表データにおいては、当該転記元アプリケーションにおいてデータを配置する規則に従ってデータが配置される。なお、生成される表データの列名は、ユーザにより適宜設定されても良い。
【0026】
また、転記元アプリケーションとしての自動化対象ソフトＧＳのデータの配置規則に取得範囲指定部２２が対応していない場合、例えば自動化対象ソフトＧＳが、ある企業内でのみ使用されるようなアプリケーションである場合、には、自動化対象ソフトＧＳにおけるデータの配置規則に従って表データを生成することが困難である。このような場合に、上述したように、操作レコード設定部４８の機能によりデータの取得範囲が指定される。操作レコード設定部４８の機能によるデータの取得範囲の指定においては、ユーザの操作にしたがってデータの取得範囲と、表データの列名とがユーザの操作にしたがって指定される。より詳細には、ユーザにより指定されるデータに係るオブジェクト階層における位置情報や座標情報と、指定された列名と、が対応付けられる。このように対応付けられることによって、自動化対象ソフトＧＳにより表示される第一の画面情報に含まれるデータと、自動化対象ソフトＧＳにより表示される第二の画面情報に含まれ当該データと同じ位置に位置するデータと、が同じ列に配置される表データが生成される。
【0027】
このようにして、取得範囲指定部２２により取得するデータが存在する範囲が指定された転記元アプリケーションのデータは、当該転記元アプリケーションの種類に応じた適切な方法で表データとして取得され、当該表データがメモリ部１５に保持される。なお、メモリ部１５に保持される表データは、同様にメモリ部１５に保持される表データと識別可能なように、名称が付されるが、当該名称がユーザによって付与されてもよい。この場合取得範囲指定部２２は、表データに付与される名称を受け付ける。
【0028】
転記指定部２３は、転記先アプリケーションへ転記するデータを指定するための機能ブロックである。転記指定部２３は、転記先指定部２３ａ、転記単位指定部２３ｂ、表操作部２３ｃ、転記データプレビュー部２３ｄとを有する。
【0029】
転記先指定部２３ａは、転記先アプリケーションにおけるデータを書き込むフォームを指定するための機能ブロックであり、当該フォームを指定するための画面情報を表示したり、当該画面情報に対するユーザの指定を受け付けたりする。本実施形態において、転記先アプリケーションのフォームは、従来の転記作業においてユーザが転記するデータに基づいて何らかの指定を行っていた対象であり、ユーザによりテキストデータが入力されるテキストボックス、ユーザにより予め定められた選択肢から任意の選択肢が選択されるコンボボックス、及び複数の選択肢のうちいずれかが選択されたことを示すラジオボタン、を含む。
【0030】
転記単位指定部２３ｂは、取得範囲指定部２２により指定された範囲から取得されるデータを転記する単位を指定するための機能ブロックである。すなわち、転記単位指定部２３ｂにより、一回の転記で転記されるデータの範囲が指定される。上述の通り、転記先アプリケーションに転記されるデータは表データとしてメモリ部１５に保持されるため、転記単位指定部２３ｂはデータを転記する単位として行数の指定を受け付ける。
【0031】
表操作部２３ｃは、表データとしてメモリ部１５に保持されるデータを操作して、転記先アプリケーションに書き込むデータを編集するための機能ブロックである。表操作部２３ｃによる表データの操作は、ある列に含まれるデータが所定の条件を満たすか否かに応じて表示する行を決めるフィルタ操作や、複数の表データを、共通する列項目などの条件にしたがって結合する表結合操作などを含む。
【0032】
転記データプレビュー部２３ｄは、表操作部２３ｃにより操作された表と、当該表において転記単位指定部２３ｂにより指定されたデータを転記する単位を示す表示を行う機能ブロックである。ユーザは転記データプレビュー部２３ｄにより表示される情報を見て、自身が設定した転記単位や表操作の結果を確認する。
【0033】
操作レコード設定部４８は、アプリケーションに対するユーザの操作を記録するための機能ブロックである。操作レコード設定部４８は、取得範囲指定部の一部としても機能し、ユーザが転記元アプリケーションのうちデータを取得する範囲を指定する操作を、記録する。また、操作レコード設定部４８は、転記先指定部２３ａの一部としても機能し、ユーザが転記先アプリケーションのうちデータを書き込むフォームを指定する操作を、記録する。なお、操作レコード設定部４８が記録するユーザの操作は、転記元アプリケーション、もしくは転記先アプリケーションに対するユーザの操作に限定されず、任意のアプリケーションに対するユーザの操作を記録する。
【0034】
操作レコード部４８は、オブジェクト選択受付部３８と、操作選択部３９と、要素識別部４０と、操作実行部４１と、を有する。
【0035】
オブジェクト選択受付部３８は、ユーザによる、自動化対象ソフトＧＳにより表示されるオブジェクトの選択を受け付ける。より詳細には、自動化対象ソフトＧＳの表示画面に重畳して、ユーザ操作を受け付けるオブジェクト選択受付画面を表示する。本実施形態の自動化プログラム作成装置として機能するコンピュータＰＣは、ユーザが表示画面に表示されるカーソルを用いて操作を指示した場合、当該カーソルに対応する位置にある表示画面のうち、最前面に位置する表示画面のアプリケーションが当該操作を受け付ける。このため、オブジェクト選択受付部３８は、オブジェクト選択受付画面を、ディスプレイ部の表示画面で自動化対象ソフトＧＳより前面に配置することにより、自動化対象ソフトＧＳに優先してマウスやキーボード等によるユーザ操作を受け付ける。なお、オブジェクト選択受付部３８がオブジェクト選択受付画面を表示することによって受け付けるユーザ操作は、ユーザがオブジェクトを選択することのみを意図してなされた操作に限定されず、オブジェクトに対して何らかの処理を指示することを意図してなされた操作を含む。前者の操作は、例えば、「いずれかのオブジェクトを選択してください」という表示と共にユーザに促される操作である。後者の操作は、例えば、「作業で自動化対象ソフトＧＳに行う操作を実行してください」という表示と共に、ユーザに促される操作である。
【0036】
本実施形態のオブジェクト選択受付画面は、表示画面の全面を覆う半透明ウインドウＴＷである。半透明ウインドウＴＷは、当該半透明ウインドウＴＷの背面側にある自動化対象ソフトをユーザが視認できる程度に透明であることが好ましい（後述する図１４等）。これにより、オブジェクト選択受付部３８は、ユーザが、自動化対象ソフトＧＳを視認しながら自動化対象ソフトＧＳを対象とすることを意図して操作できる状態で、オブジェクト選択受付部３８は、自動化対象ソフトＧＳを対象とすることが意図された操作を受け付けることができる。また、半透明ウインドウＴＷは、自動化対象ソフトＧＳに重ねて表示されることが視認可能な程度に透明でないことが好ましい。オブジェクト選択受付画面は、ユーザが操作の対象として意図する自動化対象ソフトＧＳに代わって操作を受け付けるため、ユーザにとって、操作したにもかかわらず自動化対象ソフトＧＳが操作に対応して変化しない状態となる。したがって、これによれば、自動化対象ソフトＧＳに代わって、オブジェクト選択受付画面が操作を受け付ける現在の状態をユーザに視覚的に把握させることが可能となる。さらに、オブジェクト選択受付画面は、表示画面の前面を覆うように表示されることが好ましい。これによれば、自動化対象ソフトＧＳが複数ある場合であっても、表示画面にこれら複数の自動化対象ソフトＧＳが表示される限り、オブジェクト選択受付画面が操作を受け付ける範囲を変更することなくユーザ操作を受け付けることができる。このため、操作を行う自動化対象ソフトＧＳに応じて、オブジェクト選択受付画面の位置を変更する、オブジェクト選択受付画面のサイズを変更する、といった工程が不要である。
【0037】
なお、選択受付画面を重畳表示させる際、自動化対象ソフトを表示画面上でのウィンドウサイズの全画面表示を解除し、一回り小さく表示させるようにしてもよい。この構成により、自動化対象ソフトを全画面表示でなく小さく表示させることで、自動化対象ソフト以外のオブジェクトを視認し易くなる利点が得られる。
【0038】
操作選択部３９は、オブジェクト選択受付部３８により受け付けたユーザ操作により選択されるオブジェクトへの操作内容を指定可能とするための機能ブロックである。操作レコード設定部４８がユーザ操作を正確に記録するためには、当該ユーザ操作の対象のオブジェクトと、当該操作の内容とを記録する必要がある。本実施形態では、ユーザ操作をオブジェクト選択受付部３８が表示するオブジェクト選択受付画面で受け付け、また、選択されたオブジェクトへの操作内容を操作選択部３９で選択する。これにより、自動化対象ソフトＧＳがユーザ操作を受け付ける前に、操作レコード設定部４８が操作対象のオブジェクトと当該オブジェクトへの操作内容とを記録することができる。したがって、オブジェクトがユーザ操作に応じて動的に変化する、例えば、オブジェクトが操作によって消えるといった場合でも、表示画面の状態の変化によらず、動作を記録することが可能となる。また操作選択部３９で指定されたオブジェクトへの操作内容を表示させる出力リストウィンドウ１６１を表示画面上に表示させてもよい（後述する図３７等）。これにより、自動化プログラムの作成時において、ユーザが操作した内容を出力リストウィンドウ１６１で確認することができ、作成状況を視覚的に把握できる利点が得られる。
【0039】
操作選択部３９は、指定されたオブジェクトへの操作として複数の選択肢を一覧表示させた操作内容選択肢を表示させることもできる。これにより、ユーザが指定したオブジェクトに応じて、当該オブジェクトに対して操作可能な候補を自動で表示させ、ユーザに選択させることで、入力内容を限定してある程度固定化でき、操作レコード設定部４８による記録の精度が向上する。また、表示する選択内容選択肢として、操作内容をプログラムにおいてどのように再現するかを選択させても良い。例えば、あるフォームに対して文字列を入力する操作は、ユーザがキーボードを操作して入力する方法と、クリップボードの内容を張り付ける方法と、で実現される。操作選択肢３９が表示する選択肢を用いて、ユーザに自動化プログラムにおいてどちらの方法で文字列を入力するかを選択させることができるため、確実な自動化が見込まれる。文字列を入力する操作以外にも、例えばオブジェクトをクリックする操作では当該オブジェクトを特定する方法として、座標情報を用いて特定する方法と、当該オブジェクトを含むオブジェクト群の階層関係に基づいて特定する方法とがあるため、適切な方法をユーザが選択できることが好ましい。
【0040】
操作レコード設定部４８が取得範囲指定部２２の機能の一部として機能する場合、操作選択部３９で指定可能なオブジェクトへの操作として、メモリ部１５の特定のメモリ領域への保持を選択することもできる。この場合、ユーザ操作対象の自動化対象ソフトＧＳは転記元アプリケーションである。操作選択部３９によりメモリ部へのデータ保持が選択される場合、メモリ部１５で表データとして保持されるのか否かが設定可能であることが好ましい。また、メモリ部１５で表データとして保持される場合に、オブジェクトから取得されるデータが属する表データや、表データのうちオブジェクトから取得されるデータが配置される列を指定できることが好ましい。
【0041】
操作レコード設定部４８が転記指定部２３の機能の一部として機能する場合、操作選択部３９で指定可能なオブジェクトへの操作としてメモリ部１５に保持される表形式データの転記を選択することもできる。この場合、選択されたオブジェクトに対して、表データのいずれの列項目のデータを転記するかが選択できること、すなわち、表データの列項目を自動化対象ソフトＧＳのオブジェクトに含まれる入力フォームに割り当てることができることが好ましい。このように、表形式のデータを自動化対象ソフトのオブジェクトの各入力フォームに割り当てることで、自動化プログラムの作成を容易に行える利点が得られる。
【0042】
要素識別部４０は、選択されたオブジェクトの属性を識別するための機能ブロックである。要素識別部４０は、オブジェクト選択受付部３８がオブジェクトの選択を受け付けると、オブジェクトと、オブジェクトに係る情報とが紐づけられるライブラリを利用して、選択されたオブジェクトがどのようなオブジェクトであるかの情報を取得する。本実施例におけるライブラリは、例えばMicrosoft社の UI Automation（商品又はサービス名）である。
【0043】
要素識別部４０が取得する情報について選択されたオブジェクトがコンボボックスである場合を例に説明する。選択されたオブジェクトがコンボボックスである場合、選択されたオブジェクトは選択肢を有し、ユーザはその選択肢からオブジェクトに入力する情報を選択することができる。要素識別部４０は選択されたオブジェクトがコンボボックスであると識別し、当該オブジェクトに係る情報として、オブジェクトに入力可能な選択肢の情報を取得する。要素識別部４０により取得された情報は、操作選択部３９が表示する操作内容の選択肢として表示されることが好ましい。選択されたオブジェクトがコンボボックスである場合、当該オブジェクト自体が、当該オブジェクトに入力される情報の選択肢を有するが、当該選択肢が操作選択部３９に表示される選択肢に反映されることで、自動化対象ソフトＧＳに対して実行可能な操作が指定されるため、ユーザ操作の記録の精度が向上する。
【0044】
なお、要素識別部４０がオブジェクトに係る情報を取得する際には、ユーザ操作が自動化対象ソフトＧＳに反映されることが好ましい。オブジェクトには、ユーザ操作を受け付けることで当該オブジェクトに係る情報がより正確に取得されるようになるオブジェクトがあり、操作を受け付ける前と操作を受け付けた後との情報を取得することが好ましいからである。ユーザ操作が自動化対象ソフトＧＳに反映されるようにする方法としては、一時的にオブジェクト選択受付部を非表示とする方法や、操作レコード設定部４８が操作内容を自動化対象ソフトＧＳに実行する方法などがある。
【0045】
操作実行部４１は、操作選択部３９で指定したオブジェクトへの操作を、自動化対象ソフトＧＳのオブジェクトに実行する。操作実行部４１による操作は、オブジェクトが選択され、かつ、当該オブジェクトに対する操作内容が選択された後に実行される。これに加えて、上述したように、要素識別部４０がオブジェクトに係る情報を取得する過程で、操作実行部４１が選択されたオブジェクトに対する操作を実行しても良い。
【0046】
また操作レコード設定部４８は、操作レコードを一時的に停止する指示を受け付け可能としてもよい。これにより、必要に応じて操作レコード機能を一時的に停止することが可能となり、例えば記録したくない操作については記録対象外とするなど、自動化対象ソフトへの操作の柔軟性を高めることができる。さらに操作レコードを一時的に停止する指示に応じて、オブジェクト選択受付画面の重畳表示を解除し、入力部であるマウス又はキーボードによる入力を受け付け可能としてもよい。
【0047】
図４から図７は、本実施形態の自動化プログラム作成装置として機能するコンピュータＰＣが有するソフトウェアとデータとの関連性を示す図である。図４から図７に示されるＲＰＡソフトＲＳは、自動化プログラム生成プログラムである。ＲＰＡソフトＲＳがインストールされることにより、プロセッサ部２０は自動化プログラム生成部２５と自動化プログラム実行部２６として機能するため、ＲＰＡソフトＲＳに包含される機能ブロックとして図４から図７に記載される。
【0048】
図４に示すように、ＲＰＡソフトＲＳは、表計算ソフトＳＳ、ＷｅｂブラウザＷＢ、及びその他の自動化対象ソフトＧＳなどの既存のアプリケーションからのデータの取得、これら既存のアプリケーションへのデータの書き込みを行う。既存のアプリケーションに対するデータ取得とデータ書き込みとは、自動化プログラムが生成されるときに自動化プログラム生成部２５が有する各機能ブロックの機能により行われ、かつ、生成された自動化プログラムが実行されるときに自動化プログラム実行部２６により行われる。また、自動化プログラム生成部２５は、転記元アプリケーションから取得するデータに基づいて表データを生成してメモリ部１５に保持し、メモリ部１５に保持される表データを参照して転記先アプリケーションへのデータの書き込みを設定することにより、自動化プログラムを生成する。自動化プログラム実行部２６は、生成された自動化プログラムに基づいて転記作業を実行する。
【0049】
ＲＰＡソフトＲＳで自動化プログラムの作成支援を行う際には、図４に示すように、ｘｌｓｘ等のデータファイルを読み込んだＭｉｃｒｏｓｏｆｔ Ｅｘｃｅｌ（商品又はサービス名）等の表計算ソフトＳＳ等の外部のプログラムと、ＲＰＡソフトＲＳはＡＰＩを介してデータ等をやりとりする。またＷｅｂブラウザＷＢ（データ形式はｈｔｍｌファイル）とＲＰＡソフトＲＳは、selenium等を用いてプロセス間通信をし、データを取得する、書き込み、操作する。
【0050】
また自動化プログラム生成部２５は、表データ形式で自動化プログラムの作成を支援する。自動化プログラム生成部２５で作成された自動化プログラムは、ＲＰＡプログラムファイルとしてストレージ部１６などに保存される。さらに自動化プログラム実行部２６は、保存されたＲＰＡプログラムファイルを読み出して、自動化プログラムを実行する。これにより、予め規定された一連の操作が自動的に実行される。
【0051】
図５はＲＰＡソフトＲＳと表計算ソフトＳＳとの関連性を示す。ＲＰＡソフトＲＳは、表計算ソフトＳＳとの間でＣＯＭ通信を行って、表計算ソフトＳＳを操作する。ＲＰＡソフトＲＳは、表計算ソフトＳＳの操作を行うことによって、ファイルに含まれるデータの取得として表計算ソフトＳＳにより表示される表のセルの値を取得したり、データの書き込みとして表計算ソフトＳＳにより表示される表のセルにデータを書き込んだりする。また、本実施例において、表計算ソフトＳＳはＥｘｃｅｌであり、表計算ソフトＳＳにより表示されるファイルは、拡張子．ｘｌｓｘのファイルである。この場合において、ＲＰＡソフトＲＳは、Ｅｘｃｅｌファイル操作ライブラリのプロセス内で使用してファイルにデータを書き込んでも良い。
【0052】
図６はＲＰＡソフトＲＳとＷｅｂブラウザＷＢとの関連性を示す。ＲＰＡソフトＲＳは、Ｗｅｂブラウザからデータを取得するときに、ユーザにＷｅｂブラウザを操作させる。このとき、ＷｅｂブラウザＷＢに予め追加された拡張機能を介して、ユーザによりマウス等のポインティングデバイスでクリックされた要素のパスを取得する。ＲＰＡソフトＲＳは、取得したパスに基づく検索式としてのＸｐａｔｈを使用して、Ｘｐａｔｈに該当するパスの要素を抽出する。ＲＰＡソフトＲＳが作成された自動化プログラムを実行するときは、ＷｅｂブラウザＷＢの拡張機能を介してＷｅｂブラウザＷＢ上で表示されるフォームのパスを特定し、特定されたパスの要素に対し、データを転記する。
【0053】
なお、ＲＰＡソフトＲＳは、ＷｅｂブラウザＷＢの拡張機能により取得したパスからＸｐａｔｈを生成するときに、当該パスに対応する要素と同じ階層にある要素を抽出可能なＸｐａｔｈを生成して、ユーザがＷｅｂブラウザＷＢを操作することによって指定した要素と同じ階層にある要素を複数抽出することができる。このとき、ユーザが同階層にあると判断する複数の要素を指定させる場合、当該複数の要素のパスに共通する部分からＸｐａｔｈを生成することができるため、同階層にある要素を抽出するのに適したＸｐａｔｈを生成する精度が向上する。
【0054】
図７はＲＰＡソフトＲＳと、操作レコード設定部４８の機能により操作を自動化する自動化対象ソフトＧＳとの関連性を示す。ＲＰＡソフトＲＳと自動化対象ソフトＧＳとは、ＵＩＡｕｔｏｍａｔｉｏｎを介してやりとりを行う。ＵＩＡｕｔｏｍａｔｉｏｎとは、マイクロソフト社の提供するライブラリである。自動化プログラムの作成時においては、ユーザが自動化対象ソフトＧＳの操作に対して行う操作を、自動化プログラム生成部２５が受け付ける。より具体的には、自動化プログラムは、自動化対象ソフトＧＳより前面に自動化対象ソフトＧＳの表示情報を視認可能な程度に透過する半透明ウインドウＴＷを表示する。本実施形態におけるコンピュータＰＣは、最前面に表示される画面情報に対応するアプリケーションが操作を受け付けるため、半透明ウインドウＴＷの後面にあるアプリケーションに対してユーザが行ったつもりの操作は、半透明ウインドウＴＷに対する操作として受け付けられる。半透明ウインドウＴＷの機能によってユーザ操作を受け付ける自動化プログラム生成部２５は、受け付けたユーザ操作で指定されたマウス位置をＵＩＡｕｔｏｍａｔｉｏｎに渡す。マウス位置を渡した結果、ＵＩＡｕｔｏｍａｔｉｏｎは当該マウス位置にあるユーザインターフェースのＵＩ要素に係る情報を受け取る。ここでいうＵＩ要素に係る情報とは、階層におけるＵＩの位置や、ＵＩの属性（例えばデータ入力可能か、コンボボックスであるか）を含む。このＵＩ要素に係る情報に基づいて、自動化プログラム生成部２５は、当該ＵＩ要素に対して実施する操作の内容を示す操作内容の選択肢を表示する。自動化プログラム生成部２５は、当該ＵＩ要素に対してユーザが選択した操作内容を受け付け、当該操作内容とＵＩ要素とを対応付けて記録するとともに、操作内容と当該ＵＩ要素を指定する情報とをＵＩＡｕｔｏｍａｔｉｏｎに返し、自動化対象ソフトＧＳに対する操作を実行させる。
【0055】
作成された自動化プログラムを実行する際には、ＵＩ要素を指定する情報と、当該ＵＩ要素に対応付けられた操作内容と、をＵＩＡｕｔｏｍａｔｉｏｎに送り、当該ＵＩに対する所定の操作を実行する。
【0056】
なお、ＲＰＡソフトＲＳで自動化対象ソフトＧＳに対し、自動化プログラムの作成支援や実行を行うに際しては、上述したＵＩＡｕｔｏｍａｔｉｏｎ等を用いる方法に限られない。例えば、自動化対象ソフトＧＳやＲＰＡソフトＲＳを実行される環境であるＯＳが備えるＡＰＩを用いてもよい。一例として、Ｗｉｎｄｏｗｓ（商品又はサービス名）ＯＳが有するＷｉｎ３２ＡＰＩ（商品又はサービス名）を用いて、ＯＳから各アプリケーションへ送られる操作イベントを監視して自動化プログラムを生成しても良い。また、Ｗｉｎ３２ＡＰＩを介して自動化プログラムに示される操作内容を自動化対象ソフトＧＳに対して実施して、自動化プログラムを実行しても良い。
【0057】
本実施形態のＲＰＡソフトＲＳは、自動プログラムを作成するモードとして複数のモードを備える。複数のモードの一つとしてのナビゲーションモードでは、ユーザが作成しようとする自動化プログラムに合わせて、ユーザに対して自動化プログラムを作成するのに必要な手順をガイダンスしながら、自動化プログラムの作成を行うガイド付きモードである。図８は、ナビゲーションモードのＲＰＡソフトＲＳで転記作業を実行する自動化プログラムを作成するときのフローチャートを示す。
【0058】
まず図８のステップＳ９０１で、概略手順作成部２１が、ユーザが概略手順を作成するための画面情報として概略手順作成画面を表示する。
（概略手順作成画面１１０）
（概略手順作成画面１１０）
【0059】
図９は概略手順作成画面１１０の一例を示す。ユーザは概略手順作成画面１１０を操作して概略手順を生成する。ここでユーザにより生成される概略手順は、転記作業に対応する手順であり、ユーザは転記元アプリケーションと転記先アプリケーションとの指定を行う。したがって、「表計算ソフトＳＳからデータを取り出す」という選択肢が表示され、ユーザが当該選択肢を選択した場合も、転記元アプリケーションとして表計算ソフトＳＳが選択されたとみなすことができる。このように、本実施例の自動化プログラム作成装置は、転記作業において使用するアプリケーションという、比較的指定しやすい項目を選択肢として表示することによって、ユーザに概略手順の作成を促す。また、ユーザがアプリケーションを選択することによって作成される概略手順に従って、転記元アプリケーションからデータを取得するために必要な情報や、転記先にデータを書き込むために必要な情報を指定するための画面情報を表示する。これにより、ユーザが自動化プログラムを作成することの難易度が低減する。
【0060】
図９を用いて概略手順作成画面１１０の詳細を説明する。概略シナリオをまず構築してから詳細シナリオを構築することで、ユーザの業務フローをシナリオに起こしやすくなる。画面中央の項目が選択できる大まかな操作（アクティビティ）である。画面中央の操作候補一覧１１２で列挙された大まかな操作のうち、選択したい項目をクリックで選択状態にしてから「追加」ボタン１１３を押すことで、画面右側の操作選択一覧１１４に追加することが可能である。さらにまた「次へ」ボタン１１７を押すと、右側の操作選択一覧１１４にアクティビティが追加されている場合は、追加された項目順に各大まかな操作の詳細設定を行うための画面に遷移される。一方、操作選択一覧１１４に何もない場合は遷移しない。また「破棄して戻る」ボタン１１８を押すと、作成ナビの設定を中止し、終了する。
【0061】
なお、概略手順作成画面１１０では、操作候補一覧１１２中の概略手順アイコン１１１が操作選択一覧１１４に追加されることで、転記元アプリケーションの選択と、転記先アプリケーションの選択とがなされる。図９の例において、「何からデータを取り出しますか？」というフォームの「表計算ソフト」という概略手順アイコン１１１が操作選択一覧１１４に追加されると、転記元アプリケーションとして表計算ソフトＳＳが選択される。「Ｗｅｂ」というアイコンはＷｅｂブラウザＷＢに対応し、「任意のアプリ」というアイコンは自動化対象ソフトＧＳに対応する。また、図９の例において、「何にデータを書き出しますか？」というフォームの「表計算ソフト」という概略手順アイコン１１１が操作選択一覧１１４に追加されると、転記先アプリケーションとして表計算ソフトＳＳが選択される。
【0062】
また、概略手順作成画面１１０は、繰り返し設定アイコン１１９が含まれる。ユーザは、繰り返し設定アイコン１１９と組み合わせて概略手順を作成することで、繰り返し実行する手順を含む概略手順を作成する。繰返設定部３１は、繰り返し設定アイコン１１９を含む概略手順に基づいて繰り返しに係る画面情報を表示する。図９においては、概略手順として並んだ概略手順アイコン１１１を選択した状態で、ユーザが「指定範囲を繰り返しにする」ボタン１１５を選択することで、選択された概略手順の上に繰り返し設定アイコン１１９が挿入される。選択されていた概略手順アイコン１１１は、繰り返し設定アイコン１１９より一段下がった表示になり、繰り返し設定がなされた概略手順であることを示す。
【0063】
なお実施形態１の例では、転記元アプリケーションとして表計算ソフトＳＳが選択され、転記先アプリケーションとして表計算ソフトＳＳ、ＷｅｂブラウザＷＢとが選択された状態である。また、転記先アプリケーションとしての自動化対象ソフトＧＳ、表計算ソフトＳＳ、ＷｅｂブラウザＷＢにデータを書き込む動作の一部が繰り返し行われるように設定される。
【0064】
図８に示すように、ステップＳ９０１で概略手順作成画面１１０を表示した後、ステップＳ９０２において、概略手順の作成が終了したか否かを判定し、未だの場合はステップＳ９０２を繰り返し、終了した場合はステップＳ９０３に進む。
【0065】
ステップＳ９０３で、自動化プログラム作成部は、ステップＳ９０１で転記元アプリケーションが選択されたか否かを判定する。自動化プログラム作成部が、転記元アプリケーションが選択されたと判定した場合、ステップＳ９０４で転記元アプリケーションとして選択されたアプリケーションに応じて取得範囲の設定を開始する。自動化プログラム作成部がステップＳ９０４で取得範囲の設定が完了した後、ステップＳ９０５に進む。また、ステップＳ９０３で、自動化プログラム作成部が、転記元アプリケーションが選択されていないと判定した場合、ステップＳ９０５に進む。（表計算ソフトＳＳに対する取込範囲設定）
【0066】
図１０は、転記元アプリケーションとして表計算ソフトＳＳが選択された場合に、取得範囲指定部２２が実行する取得範囲の指定の詳細を示すフローチャートである。ステップＳ１１０１で、取得範囲指定部２２は、自動表認識を行う表自動取得モードか否かを判定する。取得範囲指定部２２が表自動取得モードであると判定する場合、ステップＳ１１０２として、取得範囲指定部２２は自動表認識実行部の機能により、表の自動認識を行う。表の自動認識を行い、整形された表を生成してステップＳ１１０３に進む。ステップＳ１１０１において取得範囲指定部２２が表自動取得モードでない、と判断した場合はステップＳ１１０３に進む。ステップＳ１１０３で取得範囲指定部２２は、自動表認識実行部により整形された表、もしくは表計算ソフトＳＳにより表形式で表示される表で、取得するデータが存在する範囲を指定する。ステップＳ１１０３で取得範囲が指定された後、取得範囲指定部２２は、ステップＳ１１０４で取得するデータから生成される表データの名称を指定する。ステップＳ１１０４における取得範囲指定部２２は、ユーザから表データの名称を受け付けても良いし、既にメモリ部１５に保持される他の表データと識別可能な名称を指定しても良い。ステップＳ１１０５で、取得範囲指定部２２は、ステップＳ１１０３で指定された取得範囲の最上行を列項目とする表データを生成し、当該表データに対して、ステップＳ１１０４で指定された名称を付与してメモリ部１５に保持させる。
【0067】
図１１は、表自動取得モードでない場合に取得範囲指定部２２が表示する表計算ソフト取得範囲指定画面１３０である。この図は、上述した図１０におけるステップＳ１１０３やＳ１１０４において、ユーザ操作を受け付ける画面である。図１１では、ステップＳ１１０３で実行する表の範囲の指定を受け付けるために、「ファイル名」「シート名」「セル」というラベルが付与されたフォームが表示される。また、図１１では、ステップＳ１１０４で実行する名称の指定を受け付けるために、「取り出した表の名前」というラベルが付与されたフォームが表示される。図１１の例では、「経費一覧表」という名称が指定されている。さらに図１１では、ステップｓ１１０５を実行するためのトリガボタン１３８が設けられる。なお、ステップＳ１１０４において指定される表データの名称は、ＲＰＡソフトＲＳにおいて当該表データをメモリ部１５から呼び出すための変数名である。
【0068】
図８に示すように、自動化プログラム作成部は、取得範囲の指定が完了した後、ステップＳ９０５で、ステップS９０１において転記先アプリケーションが選択されたか否かを判定する。自動化プログラム作成部が、転記先アプリケーションが選択されたと判定した場合、ステップＳ９０６で転記設定を実行する。自動化プログラム作成部は、ステップＳ９０６で転記設定が完了した後、ステップＳ９０７に進む。ステップＳ９０５で、自動化プログラム作成部が、転記先アプリケーションが選択されていないと判定した場合、自動化プログラムはステップ９０７に進む。
【0069】
図１２は、転記先アプリケーションとして任意のアプリケーションが選択された場合に、転記指定部２３が実行する転記に係る設定の詳細を示すフローチャートである。ステップＳ１３０１で、メモリ部１５から呼び出す表データを選択させる。ステップＳ１３０２では、表操作部２３ｃの機能としてステップＳ１３０１で選択された表データに対する操作を受け付け、操作に応じて表データを編集する。ステップＳ１３０３では、転記単位指定部２３ｂの機能としてステップＳ１３０１で呼び出された表データ、もしくは、ステップＳ１３０２で編集された表データに対して、転記先アプリケーションに転記する単位の指定を行う。ステップＳ１３０３で転記する単位の指定を受け付けた後、ステップＳ１３０４で転記先指定部２３ａの機能として、転記先アプリケーションにおいてデータが転記されるフォームを指定する。
【0070】
ステップＳ１３０４において、転記先指定部２３ａは、転記先アプリケーションに応じて、ユーザから転記先のフォームの指定を受け付けるための画面情報を表示する。転記先アプリケーションが表計算ソフトＳＳである場合、転記先のファイル、シート、セルなどの指定を受け付ける。転記先アプリケーションがＷｅｂブラウザＷＢである場合、ＷｅｂブラウザＷＢを起動し、ＷｅｂブラウザＷＢに対するユーザ操作をＷｅｂブラウザＷＢが有する拡張機能を介して取得し、ＷｅｂブラウザＷＢ上でユーザによって選択されたフォームを特定する。転記先アプリケーションが自動化対象ソフトＧＳである場合、操作レコード部の機能により、フォームを特定する。
【0071】
図１３は、ステップＳ９０６の転記設定の一態様として表示される一般転記詳細設定画面１５０を示している。この図に示す一般転記詳細設定画面１５０は転記指定部２３の一態様を示している。一般転記詳細設定画面１５０では、データ転記の詳細を設定する。図１３の例では、一般転記詳細設定画面１５０は、画面左にアクティビティ表示欄１２１が表示され、画面中央から右に転記詳細指定欄１５２が表示される。この例では、アクティビティ表示欄１２１で選択されたアクティビティ、ここでは「操作を記録して入出力を行う」に関しての詳細設定画面が、一般転記詳細設定画面１５０で表示されている。
【0072】
図３の取得範囲指定部２２で設定された範囲のデータを表形式の取得元データとして転記するデータ転記の詳細は、ユーザにより転記指定部２３で指定される。
【0073】
図１３の転記詳細指定欄１５２には、転記指定部２３の一形態として転記データ指定欄１５３と実施操作決定欄１５６とが設けられている。
（転記データ指定欄１５３）
（転記データ指定欄１５３）
【0074】
転記データ指定欄１５３は、図１２のフローチャートに示されるステップＳ１３０１で実行する表データ選択、ステップＳ１３０２で実行する表操作、ステップＳ１３０３で実行する転記単位指定のそれぞれに対応する欄が設けられる。ユーザは、転記データ指定欄１５３を操作することにより、転記先アプリケーションに転記するデータの詳細を設定することができる。
【0075】
転記データ指定欄１５３は、表データ参照有無指定欄１５５と、表データ指定欄１５３ｂを有する。ユーザは、表データ参照有無指定欄１５５を操作することで、メモリ部１５に保持される表データを参照するか否かを指定することができる。図１３の例では、表データを参照することが選択されている。また、ユーザは、表データ指定欄１５３ｂを操作することで、転記するデータ、もしくは転記するデータを生成するためのデータを含む表データを指定する。すなわち、転記データ指定欄は上述した図１２のフローチャートのステップＳ１３０１に対応する。図１３の例では、「経費一覧」という名称の表データが選択されることが示される。
【0076】
転記データ指定欄１５３は、また転記単位プレビュー部２４の一形態として、転記単位プレビュー欄１５４を有する。転記単位プレビュー欄１５４は、ユーザが転記データ指定欄１５３を操作することによって設定される転記データの詳細の設定に基づいて、転記されるデータの態様を表示する。また、転記単位プレビュー欄１５４は、上述した図１２のフローチャートのステップＳ１３０２における表データの編集をユーザに行わせるための部材でもある。ユーザが転記単位プレビュー欄１５４を操作すると、図２０の表ナビ画面３８０が表示され、ユーザによる表操作が受け付けられる。
【0077】
転記データ指定欄１５３は、転記単位指定部２３ｂの一形態として、転記単位指定欄１５３ｃを有する。ユーザは、転記単位指定欄１５３ｃを操作することで、転記先アプリケーションへの一回のデータの転記において転記する対象を指定する。すなわち、転記単位指定欄１５３ｃは、図１２のフローチャートのステップＳ１３０３に対応する。表データ指定欄１５３ｂにより指定された表データからの転記単位として「一行ずつ」「表全体」「グルーピング」が選択可能である。「一行ずつ」が選択された場合、一回の転記で、表データ選択欄１５３ｂで選択された変数名の表データが一行ずつ転記される。また「表全体」が選択された場合は、一回の転記で、表データの全体が転記される。さらに「グルーピング」を選択した場合は、表データの列の値が同じ行のデータが入力される。このため「グルーピング」では、表データ選択欄１５３ｂで選択された変数名の表データが有する列の項目を選択可能としている。図１３の例では、「グルーピング」という選択肢と合わせて「日付」という列項目が示される。この場合、一回の転記で、表データ選択欄１５３ｂで選択された変数名の表データのうち、「日付」という名称の列が同じ値のデータが転記される。
（実施操作決定欄１５６）
（実施操作決定欄１５６）
【0078】
さらに、図１３の転記詳細指定欄１５２において転記単位指定欄１５３の下部には、実施操作決定欄１５６が設けられている。実施操作決定欄１５６は、上述した図１２のフローチャートのステップＳ１３０４におけるデータ転記先としてのフォームの指定をユーザに行わせるための部材である。
【0079】
実施操作決定欄１５６は、転記先アプリケーションとして自動化対象ソフトＧＳが指定される場合に表示される。ユーザは、当該自動化対象ソフトＧＳにおけるフォームを指定するために実施操作決定欄１５６から操作レコード設定部４８の機能により操作レコードを開始する。図１３に示される実施操作決定欄１５６は、自動化プログラムの実行において繰り返さない操作を決定するための部材であるが、繰り返す操作を決定するための実施操作決定欄が別途設けられても良い。この場合、繰り返さない操作を決定するための実施操作決定欄と、繰り返す操作を決定するための実施操作決定欄とが、同じ画面に表示されることが好ましい。ここで言う「同じ画面に表示される」とは、スクロール操作で上記二つの実施操作決定欄が表示可能な配置を含む。これによれば、ユーザは、同じ画面から繰り返す操作と繰り返さない操作との両方を設定することができるため、繰り返す操作と繰り返さない操作とが混在する作業に係る自動化プログラムを容易に生成することができる。
（操作レコード画面１６０）
（操作レコード画面１６０）
【0080】
図１４は、操作レコード設定部４８に含まれるオブジェクト選択受付部３８の機能により表示されるオブジェクト選択受付画面を含む表示画面の態様である。
【0081】
図１４に示される操作レコード画面１６０には、自動化対象ソフトＧＳとしての経費精算アプリにより表示される「経費精算」フォームＧＳ１が表示される。操作レコード設定部４８は、自動化対象ソフトＧＳにより生成されるオブジェクト選択受付画面より前面に半透明ウィンドウＴＷを表示する。半透明ウィンドウＴＷは、当該半透明ウィンドウＴＷに重なりかつ当該半透明ウィンドウＴＷより後ろに位置する画面情報が視認可能な程度に透明であればよいため、透明なウィンドウであっても良い。半透明なウィンドウを表示することによって、ユーザが自動化対象ソフトＧＳにより生成される画面情報に対して何らかの画面情報が重ねて表示されていることが認識できるため、ユーザが視認可能な程度に透明でないことが好ましい。なお、図１４では、半透明ウィンドウＴＷを図上で明らかにするために、図１４の枠より内側に半透明ウィンドウＴＷの枠があるが、実際には、全画面に表示される。
【0082】
ユーザは、操作レコード画面１６０に対して操作を実行する。より詳細には、操作レコード設定部４８は、ユーザが半透明ウィンドウＴＷ越しにフォームＧＳ１に含まれる所定のオブジェクトを対象とする操作を、半透明ウィンドウＴＷで受け付け、ユーザにより選択されたフォームＧＳ１中のオブジェクトを特定する。これにより取得範囲指定部２２は、転記元アプリケーションとしての自動化対象ソフトＧＳのデータの取得範囲を指定することができる。また、これにより転記先設定部は、転記先アプリケーションとしての自動化対象ソフトＧＳにおいてデータが書き込まれるフォームを特定する。図１４の例では、自動化対象ソフトの「経費精算」フォームＧＳ１のうち、「申請者」という説明が付与されたフォームが、選択されたオブジェクトである。操作を判り易くするため、マウスカーソルの位置を○で表している。
【0083】
図３７は、オブジェクト選択受付部３８によりオブジェクトの選択が受け付けられた後に、操作選択部３９の機能により、当該オブジェクトに対して選択可能な操作を示す操作内容選択肢１７１が表示された状態を示す。
【0084】
操作内容選択肢１７１は、オブジェクトに実行する操作内容の選択肢を有する。図３７では、「マウス操作」１７１ａと、「入力」１７１ｂとが該当する。マウス操作は、より詳細の操作内容として例えば「クリック」と「ダブルクリック」と、を有しても良い。これら「クリック」や「ダブルクリック」は、「マウス操作」１７１ａからサブメニューで表示させることができる。
【0085】
また、操作内容選択肢１７１は、自動化プログラムを実行するときの操作の実現方法を示す選択肢を有する。図３７では、「入力」１７１ｂの選択肢として、ユーザのキーボード操作を反映する「テキスト入力」１７２ａ、１７２ｃと、クリップボードの内容を反映する「ペースト入力」１７２ｂ、１７２ｄとが該当する。これによれば、ユーザの意図が自動化プログラムに反映されやすい。
【0086】
また、操作内容選択肢１７１は、選択されたオブジェクトに対して入力する情報を、メモリ部１５に保持される表データから選択するための選択肢が表示される。図３７では、「表入力（列名）：申請者」１７２ｅと「表入力（列名）金額」１７２ｆとが該当する。この選択肢は、図３７は、自動化対象ソフトＧＳが転記先アプリケーションとして扱われる場合に表示されることが好ましい。これによれば、メモリ部１５に保持される表データを利用して容易に、転記先の割り当てが設定できる。
【0087】
ここで、図３７の自動化対象ソフトＧＳは、図３８に示すように「申請者」というフォームから「金額」フォームまでの各フォームに情報が入力された状態で、申請ボタン１８７がクリックされることで申請ＩＤフォーム１８６に文字列を表示するアプリケーションである。このため、例えば申請ＩＤフォーム１８６に表示される文字列を取得する場合に、操作実行部４１が、選択されたオブジェクトに対して選択された操作を逐一実行することで、ユーザは、申請ＩＤフォーム１８６に表示される文字列を選択しやすい。
【0088】
図３９は、申請ＩＤフォーム１８６に表示列を取得するときの画面である。本実施形態においては、操作選択部３９により選択された操作が、操作実行部４１により自動化対象ソフトＧＳに反映されるため、申請ＩＤフォーム１８６に取得したい文字列が表示されることをユーザが把握しやすい。ユーザは、申請ＩＤフォーム１８６を選択することにより表示される操作内容選択肢１９１から、「値を取得する」１９１ａという選択肢を選択し、申請ＩＤフォーム１８６中の文字列をメモリ部１５に保持させる。このとき、取得するデータをどのような形態でメモリ部１５に保持させるかを設定できることが好ましい。図３９では、どのような変数名でメモリ部１５に保持させるかの設定を受け付ける表示がある。なお、変数名以外に、データが含まれる表データや、表データにおいて取得したデータが配置される位置などが指定できることが好ましい。
【0089】
データが書き込まれるフォームが特定された後、操作レコード設定部４８は、転記指定部２３によりメモリ部１５から呼び出された表データに基づいて、当該フォームに書き込まれるデータをユーザに選択させる画面情報を表示する。表データが表操作部２３ｃにより編集される場合は、編集された表データに基づいて画面情報を表示しても良い。また、転記単位指定部２３ｂにより指定される単位に基づいて画面情報を表示しても良い。
【0090】
ユーザは、操作レコード設定部４８により表示される、書き込むデータの選択肢から、当該フォームに書き込むべきデータを選択する。操作レコード設定部４８はユーザの選択を受け付け、特定されたフォームと当該フォームに書き込むデータとを対応付ける。これにより転記先指定部２３ａにより、転記先アプリケーションのうちデータを書き込むフォームと、当該フォームに書き込むデータとを指定する。
【0091】
なお、操作レコード設定部４８は、ユーザに選択されたデータを特定されたフォームに書き込む。これにより、操作レコード画面を介して操作を選択した直後に自動化対象ソフトで実行させることで、ユーザは、選択したデータがエラーなく特定されたフォームに書きこまれるか否かを確認することができ、デバッグ作業も容易となる
【0092】
図８に示すように自動化プログラム作成部は、ステップＳ９０７に進み、詳細が設定されていない操作レコード手順があるか否かを判定する。ここで有無の判定をする操作レコード手順は、ステップＳ９０４における転記元アプリケーションの取得範囲の設定や、ステップＳ９０６における転記先アプリケーションへの転記設定に含まれる操作レコードの手順ではなく、転記作業において、データを転記する手順の前後に実施されるユーザ操作に対応する手順として設定されるものである。ステップＳ９０７において、未設定の操作レコード手順があると判定した場合ステップＳ９０８に進み操作レコード設定を実行する。ステップＳ９０８においては、操作レコード設定部４８の機能により半透明ウィンドウＴＷが表示され、当該半透明ウィンドウＴＷに対して実施されるユーザ操作が記録される。ステップＳ９０８におけるユーザ操作の記録が完了すると、ステップＳ９０９に進み、ステップＳ９０１、Ｓ９０４、Ｓ９０６、Ｓ９０８の少なくともいずれかのステップで設定された内容に基づいて自動化プログラムの内容を示す画面情報を生成する。ステップＳ９０７において、未設定の操作レコード手順がないと判断した場合、ステップＳ９０８に進み、ステップＳ９０１、Ｓ９０４、Ｓ９０６の少なくともいずれかのステップで設定された内容に基づいて自動化プログラムの内容を示す画面情報を生成する。
（アクティビティ一覧画面２２０）
（アクティビティ一覧画面２２０）
【0093】
図１５は、ステップＳ９０９で表示される、作成される自動化プログラムの内容を示すアクティビティ一覧画面２２０を示す。アクティビティ一覧画面２２０では、作成された手順がステップＳ９０１で設定した概略手順単位でまとめられて表示される。アクティビティ一覧画面２２０は、概略アクティビティ表示欄２２１を画面左側に設けている。概略アクティビティ表示欄２２１では、作成されたアクティビティが概略アクティビティ単位でまとめられて表示される。図１５のアクティビティ一覧画面２２０では、変数がオレンジ色で表示されている。本実施形態では、表データ自体が生成された自動化プログラムにおいても変数として扱われるため、表データ自体に付与された名前が変数名として扱われる。また表データに含まれる各列項目も、転記時に参照されるため変数名として扱われる。
【0094】
図１５のアクティビティ一覧画面２２０では、各種データの取り込み詳細設定や、転記を行う操作の設定が完了した状態を示している。この図の「操作を記録して入出力を行う」との部分が概略アクティビティヘッドライン部２２２であり、フローに相当する概略アクティビティを表示している。また概略アクティビティヘッドライン部２２２の下には、概略アクティビティ詳細表示領域２２５が設けられている。概略アクティビティ詳細表示領域２２５には、「アプリ起動」、「表の繰り返し」、「アプリ終了」が表示されており、「操作を記録して入出力を行う」との概略アクティビティを構成する具体的な操作すなわちアクティビティが列挙されている。各種設定が完了した時の概略アクティビティの単位は、図９で作成した概略手順に対応する。ここで、概略アクティビティヘッドライン部２２２の内、「操作を記録して入出力を行う」との表示は概略名２２３として、ユーザが手動で入力する一方、その右にある「経費一覧表を入力する」との概略ラベル２２４は自動で生成される。
【0095】
図８に示すようにステップＳ９０９でアクティビティ一覧画面２２０を表示した後、自動化プログラム作成部はステップＳ９１０で自動化プログラムを作成する。当該自動化プログラムは、ステップＳ９０１、Ｓ９０４、Ｓ９０６、Ｓ９０８の少なくともいずれかで設定された内容に基づいて生成される。
［実施形態３］
（操作レコード画面２８０）
［実施形態３］
（操作レコード画面２８０）
【0096】
図１６は、転記先指定部２３ａの機能によりユーザが指定する転記先アプリケーションのフォームが表形式で表示される表ＵＩであるときの操作レコード画面２８０を示す。なお、この図では、説明のために、半透明ウィンドウは非表示としている。
【0097】
図１６の操作レコード画面２８０において、ユーザがマウスで表ＵＩを選択したことを検出すると図１７の操作レコード画面３００に示すように、表ＵＩへの表データの転記の詳細を設定するための表データ転記詳細設定ウィンドウ３０１が表示される。表データ転記詳細設定ウィンドウ３０１は、表入力位置指定欄３０２と、表選択欄３０３を設けている。まず、出力先の表ＵＩを特定するために、表入力位置指定欄３０２において、表の左上端のセルをユーザに選択させる。ユーザの選択を検出して、表ＵＩの左上セルを特定した後、表ＵＩの左上を選択する操作を表ＵＩに反映させる。図１８では、自動化対象ソフトＧＳである日報管理用アプリが、表ＵＩのうち選択されたセルを青枠で表示している。また表入力位置指定欄３０２において「選択済み」と表示され、表の左上セルの選択が終了していることが示される。
【0098】
次に表の選択を行う。図１８の表データ転記詳細設定ウィンドウ３０１において、表選択欄３０３には、表移動方向指定欄３０４と、行挿入指定欄３０５、行削除指定欄３０６、「表の移動を試す」ボタン３０７が設けられている。「表の移動を試す」ボタン３０７を押下すると、表ＵＩが正しく選択できているかを確認することができる。この確認では、ＲＰＡソフトがユーザ操作を「右：→」のような対応するキーボードで受け付け、キーボードを操作したときにそのように選択箇所が表ＵＩ上を移動するかどうかを確認することができる。
【0099】
ＲＰＡソフトに表示される表は、自動化対象ソフトの表ＵＩ、つまり転記先アプリケーションとしての日報管理用アプリの表ＵＩに対応する。一例として、表ＵＩの左から二番目の列にデータを転記したい場合に、この列に転記するデータを選択する状態を図１９の操作レコード画面３２０に示す。この操作レコード画面３２０では、自動化対象ソフトＧＳの表ＵＩの各列と、ＲＰＡソフトでのＲＰＡプログラム作成のために取り込まれた表データの各列とをどのように対応付け、その際の設定画面の態様を確認することができる。図において、横長の棒状で示すＬ１の部分が、自動化対象ソフトＧＳの表ＵＩがＲＰＡソフトＲＳの設定画面に反映されている。またその下にある列名選択肢３２１では、取込済表データの列項目の名称が選択肢として表示されている。列名選択肢３２１は、ＲＰＡソフトＲＳの実行時に自動化対象ソフトＧＳに転記する表データに対応する列名を選択する。例えば、Ｌ１の左から２番目の列のプルダウンで表示される列名選択肢３２１の内、「品目」を選んで設定すると、ＲＰＡソフトＲＳを実行する際には、取込済表データの「品目」が自動化対象ソフトＧＳの左から２番目の列に転記されることになる。このように設定することで、自動化対象ソフトＧＳで表示される表ＵＩの特定の列に書き込まれる表データ中のデータが指定される。
【0100】
操作レコード画面３２０で設定された内容は、相当するユーザ操作に置き換えられて記録される。例えば、ここで、操作レコード画面２８０に表示される表ＵＩは、Ｆ２キーを押すことで選択したセルが入力状態になり、Ｔａｂキーを押すことで選択されるセルが１つ右の列に移動し、ＳｈｉｆｔキーとＴａｂキーとを合わせて押すことにより選択されるセルが１つ左の列に移動し、↓キーを押すと選択される列が１つ下の行に移動するような表ＵＩであるとする。操作レコード画面３２０で最も左の列から右に向かって順に「単価」「品目」「納期」の項目を対応付けた場合、以下のような操作に置き換えられて記録される。
［操作］
表の左上をクリックする。
行ごとに以下を繰り返す。
Ｆ２キー押下（※入力状態にする）
ペースト：「単価」
Ｔａｂキーｘ１押下
Ｆ２キー押下（※入力状態にする）
ペースト：「品目」
Ｔａｂキーｘ１押下
Ｆ２キー押下（※入力状態にする）
ペースト：「納期」
Ｓｈｉｆｔ＋Ｔａｂキーｘ３押下
↓キー押下
（表操作）
［操作］
表の左上をクリックする。
行ごとに以下を繰り返す。
Ｆ２キー押下（※入力状態にする）
ペースト：「単価」
Ｔａｂキーｘ１押下
Ｆ２キー押下（※入力状態にする）
ペースト：「品目」
Ｔａｂキーｘ１押下
Ｆ２キー押下（※入力状態にする）
ペースト：「納期」
Ｓｈｉｆｔ＋Ｔａｂキーｘ３押下
↓キー押下
（表操作）
【0101】
次に表操作部２３ｃにより実行可能な表データの編集の詳細を説明する。メモリ部１５に保持する表データを編集する機能を「表ナビ」と呼ぶ。例えば図１３の一般転記詳細設定画面１５０において、表操作を呼び出して表データの編集を行える。
【0102】
また図２０の表ナビ画面３８０から、希望する表操作に該当する種類を選択して実行することもできる。操作実行後の表データはメモリ部１５に保持される。このとき、メモリ部に保持される表データは、ユーザが指定した名称が付されてメモリ部１５に保持されても良いし、既にメモリ部１５に保持される表データと識別可能な名称が付されて、メモリ部１５に保持されても良い。
【0103】
また、メモリ部１５に複数の表データが保持されており、かつ、図１２に示すフローにおけるステップＳ１３０１の表データ選択で複数の表データが選択される場合に、当該複数の表データを結合したり、当該複数の表データの差分を抽出したりすることもできる。図２１は図２０の別例である。例えば図２１の表操作画面３９０において、表１として図２２Ａのような経費一覧表が生成されている場合に、「表を条件で絞り込む」を選択すると、アクティビティとして「表１を条件で絞り込む」が生成される。
【0104】
ここで例えば経費が１０００円以上の場合のみ申請をする、というシナリオを作成する場合には、「経費一覧表を金額＞１０００で絞り込む」という設定を行えば、図２２Ａの経費一覧表が絞り込まれて、図２２Ｂのような表が生成される。このようにして新たに生成された表も、変数として扱うことができる。例えば、図２２Ｂの表に申請対象経費一覧表という名前を付ければ、申請対象経費一覧表という表をそのほかのアクティビティでも使用することができる。
【0105】
またこの機能を使うことで、分岐処理指定を代替することも可能である。例えば、通常の分岐処理では、ｉｆ文のような分岐処理（今回の場合は「金額＞１０００」）の処理を、ユーザが分岐すべき個所をコード中から特定し、適切な位置に分岐処理を挿入するといった操作をする必要があり、手間であった。これに対し、本機能を使えば、一つの表として扱うことができるため、作成ナビの繰り返し処理と合わせて使用することで、分岐処理を自分で挿入せずとも分岐相当の操作が可能になる。
（表操作機能）
（表操作機能）
【0106】
また複数の表に対して、結合や縦積み、差分抽出、共通部分抽出、表絞込、列追加、列削除といった様々な操作を行うことができる。このような表操作機能は、図３の表操作部２３ｃで実行される。ここで表操作機能の一例として、まず複数の表を結合する表結合機能について、図２３～図２４に基づいて説明する。
（表結合機能）
（表結合機能）
【0107】
表結合機能では、複数の表に対して、特定の列の名前で表を結合することができる。例えば図２３に示すように、２つの表がある場合に、特定の列の名前、ここでは「客先コード」で合体させて図２４の表を生成することができる。
【0108】
このように、表データが結合されることにより、別の表データとして保持される表データ中のデータを、対応付けられたデータとして扱う転記作業に係る自動化プログラムを生成することができる。図２３の例では、「客先名」を有する表データと「メールアドレス」を有する表データが別の表データとして保持される。表結合機能により、同じ画面に存在する複数のフォームに対して、「客先名」と当該「客先名」に関連する「メールアドレス」とを転記する転記作業に係る自動化プログラムが生成される。
（表縦積み機能）
（表縦積み機能）
【0109】
また表縦積み機能では、同じ項目を規定した複数の表を列方向に連結することができる。例えば図２５に示すように、共通の項目（ここでは「客先名」、「客先コード」、「状態」の３つ）を有する２つの表に対し、表縦積み機能を実行して図２６のように一つの表にまとめることができる。なお、上述した図２３のように、共通しない項目が存在する表に対して表縦積み機能を実行すると、図２７のように、存在しない項目については空のセルとなる。
【0110】
このように、表データが縦積みされることにより、別の表データとして保持されていた同種のデータを同じ表データに保持されるデータとして扱う転記作業に係る自動化プログラムを生成することができる。図２５の例では、２つの表は列項目が全て共通であるため、各行のデータは同種のデータである。表縦積み機能により、図２６に示すように単一の表データとして扱われるため、当該表データに対して転記指定部２３による転記指定を行うことで、複数の表データに対して同様の転記を行う転記作業に係る自動化プログラムが生成される。
（差分抽出機能）
（差分抽出機能）
【0111】
さらに、複数の表の差分をとる差分抽出機能について説明する。差分抽出機能では、複数の表に対して、一の表の特定列のうち、他の表の特定列に存在しない行を残す。例えば、図２８に示すような２つの表があり、左の表１に項目名として客先名と客先コードと状態、右の表２に客先コードとメールアドレスを記録している例を考える。これらの表に対して、メールアドレスが存在しない客先のみを抜き出すには、差分抽出機能を使用する。ここでは、表１の特定列である客先コードの内、表２の客先コードが存在しない行を表１から抽出する。この結果、図２９に示すように、客先コードが表２に存在せず、メールアドレスが存在していない仮名銀行をリストアップした表が作成される。
【0112】
このように、複数の表データから差分を抽出されることにより、ある表データのデータを別の表データを条件に絞り込みした結果のデータを転記する転記作業に係る自動化プログラムを生成することができる。図２８の例では、左側の表を右側の表を条件に絞り込む。これにより、左側の表データのうち、右側の表データに対応する「客先コード」が無いデータを転記する自動化プログラムを生成することができる。
（共通部分抽出機能）
（共通部分抽出機能）
【0113】
さらに表の共通部分を抜き出す共通部分抽出機能について説明する。共通部分抽出機能では、複数の表に対して、一の表の特定列の内、他の表の特定列に存在する行のみを残す。例えば、上述した図２８の表に対して、メールアドレスが存在する客先のみを抽出する例を考える。ここでは、表１の特定列である客先コードの内、表２の客先コードが存在する行を表１から抽出する。この結果、図３０に示すように、客先コードが表２に存在し、メールアドレスが存在してする仮名マニュファクチャリングをリストアップした表が作成される。
【0114】
このように、複数の表データから共通部分を抽出することにより、差分抽出機能と同様に、ある表データのデータを別の表データを条件に絞り込みした結果のデータを転記する転記作業に係る自動化プログラムを生成することができる。図２８の例では、左側の表を右側の表を条件に絞り込む。これにより、左側の表データのうち、右側の表データに対応する「客先コード」があるデータを転記する自動化プログラムを生成することができる。
【0115】
なお上述した図２３や図２５、図２８の例では、２つの表を横方向、即ち行方向に並べた例を示しているが、これに限らず、縦方向や斜め方向等、任意の位置に配置された複数の表に対して、表結合機能や表縦積み機能、差分抽出機能等の各表操作機能を実行できることは言うまでもない。
（表絞込機能）
（表絞込機能）
【0116】
表の絞り込みを行う表絞込機能では、特定の列でフィルタを行う。複数列の条件を入れることもできる。
（列追加機能）
（列追加機能）
【0117】
列の追加を行う列追加機能では、表計算ソフトの列を、数式を含めて追加することができる。
（列削除機能）
（列削除機能）
【0118】
列削除機能は、不要な列を削除する機能である。
【0119】
なお上述した表データ中の列に対する各種の操作は、行に対する操作とすることもでき、逆に行に対する操作を、列に対する操作に入れ替えることも可能である。
［実施形態４：Ｗｅｂスクレイピング］
（Ｗｅｂ取込詳細設定）
［実施形態４：Ｗｅｂスクレイピング］
（Ｗｅｂ取込詳細設定）
【0120】
取得範囲指定部２２は、ＷｅｂブラウザＷＢから取得する要素データが指定された後、Ｗｅｂデータ取得設定画面５４０を表示する。Ｗｅｂデータ取得設定画面では、ユーザが指定した要素データと同階層の要素データを取得するか否かを選択させる。また、同階層の要素データを取得する場合に当該同階層の要素データを同じ列に配置するかもしくは同じ行に配列するかの設定を受け付ける。これらの設定により、ＷｅｂブラウザＷＢから取得するデータが表データとしてメモリ部１５に保持される。
【0121】
図３２は、図３３で、ユーザにより指定された要素データと同階層の要素データを取得することが選択された場合の画面である。同階層の要素データを取得することが選択された場合、取得範囲指定部２２は、ユーザが指定した要素データのパスに基づいて、同階層の要素データを抽出可能な検索式を作成する。図３２では、当該検索式により抽出されるパスに該当する要素データを強調表示される。
【0122】
図３６は、転記元アプリケーションとしてＷｅｂブラウザＷＢが指定されたときに、図８のステップＳ９０４において取得範囲設定部により取得範囲を設定するときに、取得範囲設定部が実行するフローチャートである。なお、本フローチャートはＷｅｂブラウザＷＢにデータを取得する対象のページが表示されている状態から、取得範囲設定部が実行するフローチャートを示す。ＷｅｂブラウザＷＢを起動することと、データを取得する対象のページを表示することとは、別途操作レコード設定部４８により設定されても良い。
【0123】
取得範囲設定部は、ステップＳ５７０１として、ＷｅｂブラウザＷＢに表示される要素データの指定を受け付ける。取得範囲設定部は、ステップＳ５７０２で、ＷｅｂブラウザＷＢの拡張機能を介して、ＷｅｂブラウザＷＢ上でユーザが指定した要素データのパスを取得する。取得範囲設定部は、ステップＳ５７０３で、取得したパスに基づいて、当該パスに該当する要素データを強調表示させる。図３１は、ステップＳ５７０３により、ユーザが指定した要素データが強調表示された状態を示す。ユーザは、自身が指定した要素データを識別することができる。
【0124】
取得範囲設定部は、ステップＳ５７０４で、ステップＳ５７０１でユーザが指定した要素データと同階層の要素データを取得するか否か判定する。ユーザが指定した要素データと同階層の要素データを取得する場合、ステップＳ５７０５として、ステップＳ５７０２で取得したパスに基づいて、ステップＳ５７０１でユーザが指定した要素データと同階層の要素データを取得するためのＸｐａｔｈを用いた検索式を生成する。本実施例において、ステップＳ５７０５における検索式の生成は、ステップＳ５７０２で取得するパスに基づくが、当該パスとして複数パスに基づいて検索式が生成されても良い。例えば、ユーザがステップＳ５７０１で指定した要素データと同階層の要素データであると認識する要素データの指定を受け付け、複数の要素データのパスに基づいて検索式が生成されても良い。この場合、ユーザの意図に対して同階層の要素データが抽出できる検索式が生成される確度が向上する。図３２では、ステップＳ５７０５で生成された検索式により抽出される要素データが強調表示された状態を示す。ステップＳ５７０４でユーザが指定した要素データと同階層の要素データを取得しないと判定した場合、ステップＳ５７０８に進み、ＷｅｂブラウザＷＢからのデータ取得範囲の設定を終了する。
【0125】
ステップＳ５７０５が完了すると取得範囲設定部はステップＳ５７０６で、同階層の要素データの配置方向の選択を受け付ける。ステップＳ５７０６で選択される要素データの配置方向は、ＷｅｂブラウザＷＢから取得するデータを、メモリ部１５で表データとして保持するときに、同階層の要素データが同じ列に配置されるようにするか、同じ行に配置されるようにするか、に反映される。図３４は、ステップＳ５７０６において、同階層の要素データが同じ列に配置されるように設定された場合にメモリ部１５で保持される表データの態様を示す。ステップＳ５７０６での選択が完了すると、取得範囲設定部は、ステップＳ５７０７として取得するデータの追加を受け付ける。ステップＳ５７０７で指定されるデータは、表データとしてメモリ部１５に保持されるときに、ステップＳ５７０６で選択された配置にしたがって配置される。例えば、ステップＳ５７０６で、同階層の要素データが同じ列に配置されるように選択された場合、ステップＳ５７０７で指定されるデータは新たな列に配置されるデータとして取得される。図３５は、ステップＳ５７０６において同階層の要素データが同じ列に配置されるように設定され、かつ、ステップＳ５７０７で、２種類のデータが追加された場合に、メモリ部１５で保持される表データの態様を示す。なお、各ステップでの設定に応じて、図３４、図３５に示される表データの態様が、取得するデータのプレビューとして表示されてもよい。
【0126】
ステップＳ５７０７でのデータの追加が完了した後、ステップＳ５７０８に進みＷｅｂブラウザＷＢからのデータ取得範囲の設定を終了する。
【0127】
以上のように、各実施形態に係る本願発明によれば、表データとして取得できるデータ群を、表データとして取得できるようにユーザにガイドすることで、自動化プログラムの作成を容易に行うことが可能である。特に自動化対象ソフトがＥｘｃｅｌのような表計算ソフトであれば、自動認識や表の範囲設定を行うことができる。また自動化対象ソフトがＷｅｂブラウザであれば、Ｗｅｂスクレイピングの際の繰り返し方向の設定を容易に行える。さらに自動化対象ソフトが他の汎用的なプログラムであれば、操作内容として「データ取得」を選んだ際の、変数名設定が可能な画面を表示することで、表データに名称を付与して参照できるようにし、自動化プログラムの作成を容易に行える利点が得られる。
【0128】
以下、操作レコード機能に係る詳細機能について説明する。
（自動化対象ソフトのメニュー操作の記録）
（自動化対象ソフトのメニュー操作の記録）
【0129】
ここで自動化対象ソフトのメニューに係る操作レコードを行う例を、図４０に基づいて説明する。まず、経費精算アプリを操作して「申請ＩＤ」を取得する手順を操作レコード画面７４０で記録する。ここでは図４０の操作レコード画面７４０において、左側に示す経費精算アプリのメニュー欄にある「編集」メニュー１８８を、半透明ウインドウＴＷ上からクリックする。クリックされたタイミングで、一旦「編集」メニュー１８８の全階層を開き、「編集」メニュー１８８の下位項目である「コピー」を要素識別部４０で取得する。図４０の例では、要素識別部４０が選択肢のある「編集」メニュー１８８内のオブジェクトを選択しているため、入力候補リスト７４１に「メニュー」カテゴリ７４２が表示される。また「メニュー」カテゴリ７４２の下位には、経費精算アプリと同様の階層関係となる選択項目、ここでは「編集」の「コピー（Ｃ）」７４４又は「貼り付け（Ｐ）」７４５が操作内容選択肢７４３として一覧表示される。
【0130】
以上の例では、一の自動化対象ソフトを起動して状態で操作レコード機能を実行する例を説明したが、本発明はこの構成に限らず、複数のプログラムを自動化対象ソフトとして、操作レコード機能を実行することもできる。一例として、２つのアプリケーションＧＳａ、ＧＳｂを実行する場合を図４１、図４２に示す。これらの図に示すように、複数のアプリケーションＧＳａ、ＧＳｂが起動している場合でも、表示画面の全体を半透明ウィンドウ７５０で覆うことができる。この半透明ウィンドウ７５０の上から自動化対象ソフト上のオブジェクトの位置をクリックすると、当該クリックを受け付けるのは自動化対象ソフトでなく、半透明ウィンドウ７５０側となる。この仕様のため、オブジェクト等のオブジェクトを選択するための操作、例えばクリックは、即座には自動化対象ソフトに反映されない。
【0131】
操作レコードの対象として選択した、自動化対象ソフトのメニューの項目の中には、クリックすると表示が消えて正しくデータが取れないものがある。これに対し本実施形態に係る自動化プログラム作成プログラムでは、自動化対象ソフトでクリックを受け付けるのでなく、まず自動化プログラム作成プログラム側でクリックを受け付けるため、データを取得するタイミングを適切にコントロールすることが可能となる。特にクリックすることによって態様が変化する、あるいは情報が取れなくなる（例えば「閉じるボタン」を押すと画面が消えてしまう）ようなオブジェクトに対する操作内容の設定において有用となる。
【0132】
ここで操作レコードで設定可能な操作内容の例を説明する。例えば、クリックする位置の座標を指定したクリック、座標を指定しない通常のクリック、フォーカスを合わせる、キー入力、表入力等が共通で設定可能な操作項目として挙げられる。またテキストポックスに対する操作としては、テキスト入力、クリップポード貼り付け、キーポード入力等が挙げられる。さらにコンポボックスに対しては、いずれかの要素の選択が挙げられる。さらにまたチェックポックスに対しては、チェックＯＮやチェックＯＦＦ等が挙げられる。一方メニューに関しては、階層取得→クリック、階層取得→チェックＯＮ（チェック可能なもの）、階層取得→チェックＯＦＦ（チェック可能なもの）等が挙げられる。さらにリポン（オフィス系ソフト等で多く見られる。）に関しては、ＸＰａｔｈ対応や階層取得→クリック等が挙げられる。さらにまたスクロールに関しては、スクロールダウンやスクロールアップ等が挙げられる。
（低レベルレコードモード）
（低レベルレコードモード）
【0133】
操作レコード設定部４８は、低レベルレコードを実行することができる。本実施形態における低レベルレコードとは、ユーザが操作するマウスの移動や、マウスボタンのアップ及びダウン、キーボードで押されたキーを記録するレコードである。このモードにおいては、ユーザが実行した操作をそのまま記録するため、自動化対象ソフトＧＳへの反映を阻害するオブジェクト選択受付画面の表示や、操作内容選択肢の表示は不要である。なおマウスボタンのダウンとはユーザの指でボタンを押した状態であり、マウスボタンのアップが指を離してマウスボタンが元の位置に戻った状態を指す。
（表ＵＩ取込機能）
（表ＵＩ取込機能）
【0134】
転記元アプリケーションとしての自動化対象ソフトＧＳの表ＵＩから、情報を二次元表のデータとして取り込む表ＵＩ取込機能を備えることもできる。このような表ＵＩ取込機能を、図４３に基づいて説明する。ここでは、取り込み元すなわち転記元アプリケーションである経費精算アプリの表ＵＩは、図４３のようなＵＩとする。ここでは、ユーザに対し以下の設定を行わせる。
１．図４３の経費精算アプリの表ＵＩの、表の左上のセルをクリックさせる。
２．表ＵＩの、どの列のどの値を取得するかの設定を行う。ここでは、列項目である「発生日」、「手段」、「金額」の列値を取得する。
３．終了条件を指定させる。ここでは、「空の行に到達するまで」、又は「最大行数［１０］行」のいずれかを選択させる。
１．図４３の経費精算アプリの表ＵＩの、表の左上のセルをクリックさせる。
２．表ＵＩの、どの列のどの値を取得するかの設定を行う。ここでは、列項目である「発生日」、「手段」、「金額」の列値を取得する。
３．終了条件を指定させる。ここでは、「空の行に到達するまで」、又は「最大行数［１０］行」のいずれかを選択させる。
【0135】
このような設定を行った結果として、自動化プログラム作成プログラムの内部的な処理として以下のような操作を生成する。なお転記元アプリケーションのコントロールによって取得方法が異なるので、下記は一例である。
表の左上をクリックする。
空の行に到達するか、１０行コピーするまで以下を繰り返す。
新規行追加。
セルをコピーして、新規行の「発生日」列に保存する。
Ｔａｂキーｘ２
セルをコピーして、新規行の「手段」列に保存する。
Ｔａｂキーｘ１
セルをコピーして、新規行の「金額」に保存する。
Ｓｈｉｆｔ＋Ｔａｂキーｘ３
↓キー
（その他の変形例）
表の左上をクリックする。
空の行に到達するか、１０行コピーするまで以下を繰り返す。
新規行追加。
セルをコピーして、新規行の「発生日」列に保存する。
Ｔａｂキーｘ２
セルをコピーして、新規行の「手段」列に保存する。
Ｔａｂキーｘ１
セルをコピーして、新規行の「金額」に保存する。
Ｓｈｉｆｔ＋Ｔａｂキーｘ３
↓キー
（その他の変形例）
【0136】
本実施形態においてオブジェクト選択受付画面は半透明ウィンドウであったが、オブジェクト選択受付画面は、半透明ウィンドウに限らず、オブジェクト選択受付画面が介在されていることをユーザに告知できれば足りる。例えばディスプレイ部の画面上に「オブジェクト選択受付中」等のメッセージを表示させたり、オブジェクト選択受付画面であることを示すアイコンを重畳表示させたり、マウスカーソルの形状を変化させたり、画面を点滅させたり、音を鳴らしたり、あるいはバイブレータ機能を有するタブレット等の場合はバイブレータを継続的、断続的にＯＮさせるといった、ユーザが視覚的、聴覚的、触覚的にオブジェクト選択受付機能が動作中であることを認識できる手段を適宜利用できる。またオブジェクト選択受付機能が動作中であることをユーザに認識できれば足りる。また、ユーザが視認しやすいように、ディスプレイ部の表示画面の前面にオブジェクト選択受付画面に表示されるが、上記のように、ユーザがオブジェクト選択受付機能が動作中であることを認識できれば良いので、表示画面の一部のみに表示させてもよい。例えばオブジェクト選択受付機能のウィジェットを表示画面の隅部に配置してもよい。ユーザが操作レコード機能で記録したい自動化対象ソフトへの操作や入力フォームの表示を妨げない程度に、自動化対象ソフトのオブジェクトの視認性が維持されていれば足りる。すなわち自動化対象ソフトの全体が常に視認できる状態でなくてもよく、入力フォームなど、操作に必要な表示が確保されていることがオブジェクト選択受付画面の条件となる。
【産業上の利用可能性】
【0137】
本発明の自動化プログラム作成装置、自動化プログラム作成方法、自動化プログラム作成プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器は、Ｅｘｃｅｌ等の表計算ソフトやＷｅｂブラウザ、その他の自動化対象ソフトに対する操作を自動化する自動化プログラムの作成を支援するＲＰＡソフトなどに好適に利用できる。
【符号の説明】
【0138】
１１…表示部
１２…入力部；１２ａ…キーボード；１２ｂ…マウス；１２ｃ…タッチパッド
１３…バス
１４…通信部
１５…メモリ部
１６…ストレージ部
２０…プロセッサ部
２１…概略手順作成部
２２…取得範囲指定部
２３…転記指定部；２３ａ…転記先指定部；２３ｂ…転記単位指定部；２３ｃ…表操作部；２３ｄ…転記データプレビュー部
２４…転記単位プレビュー部
２５…自動化プログラム生成部
２６…自動化プログラム実行部
３１…繰返設定部
３８…オブジェクト選択受付部
３９…操作選択部
４０…要素識別部
４１…操作実行部
４８…操作レコード設定部
１１０…概略手順作成画面
１１１…概略手順アイコン
１１２…操作候補一覧
１１３…「追加」ボタン
１１４…操作選択一覧
１１５…「指定範囲を繰り返しにする」ボタン
１１７…「次へ」ボタン
１１８…「破棄して戻る」ボタン
１１９…繰り返し設定アイコン
１２１…アクティビティ表示欄
１２３…「自動表認識機能で取り出す」ボタン
１２４…「表計算ソフトのシートの範囲を指定」
１２５…「レコード機能で取り出す」ボタン
１３０…表計算ソフト取得範囲指定画面
１３２…表計算ソフト取込詳細指定欄
１３８…「次へ」ボタン
１５０…一般転記詳細設定画面
１５２…転記詳細指定欄
１５３…転記単位指定欄；１５３ｂ…「入力するデータ」選択欄；１５３ｃ…「繰り返し単位」選択欄；１５３ｄ…グルーピング詳細設定欄
１５４…「入力単位のプレビュー」欄
１５５…「他の操作の結果を入力する」欄
１５６…実施操作決定欄
１５７…「事前準備の動作」設定欄
１５９…「事後の動作」設定欄
１６０…操作レコード画面
１６１…出力リストウィンドウ
１７０…操作レコード画面
１７１…操作内容選択肢；１７１ａ…「マウス操作」；１７１ｂ…「入力」
１７２…入力候補リスト；１７２ａ、１７２ｃ…「テキスト入力」；１７２ｂ、１７２ｄ…「ペースト入力」；１７２ｅ…「表入力（列名）：申請者」；１７２ｆ…「表入力（列名）金額」
１８０…動的変化反映後の操作レコード画面
１８６…「申請ＩＤ」欄
１８８…「編集」メニュー
１９０…操作レコード画面
１９１…操作内容選択肢；１９１ａ…「値を取得する」
２０２…「書き出すセルを個別に指定する」欄
２０８…「次へ」ボタン
２２０…アクティビティ一覧画面
２２１…概略アクティビティ表示欄
２２２…概略アクティビティヘッドライン部
２２３…概略名
２２４…概略ラベル
２２５…概略アクティビティ詳細表示領域
２３１…「ファイル選択」ボタン
２３２…「フォルダ選択」ボタン
２３４…「自動抽出」ボタン
２３５…「プレビュー」ボタン
２３６…「マニュアル抽出」ボタン
２３７…「設定」ボタン
２６２…「決定」ボタン
２８０…操作レコード画面
３００…操作レコード画面
３０１…表データ転記詳細設定ウィンドウ
３０２…表入力位置指定欄
３０３…表選択欄
３０４…表移動方向指定欄
３０５…行挿入指定欄
３０６…行削除指定欄
３０７…「表の移動を試す」ボタン
３１０…操作レコード画面
３２０…操作レコード画面
３２１…列名選択肢
３５８…「ＯＫ」ボタン
３８０…表ナビ画面
３９０…表操作画面
５１３…「Ｗｅｂページを開く」設定欄；５１３ｂ…「設定」ボタン
５１４…「抽出対象の選択」欄：５１４ｂ…「設定」ボタン
５１５…「繰り返し設定」欄；５１５ｂ…「設定」ボタン
５１６…「出力の設定」欄；５１６ｂ…「設定」ボタン
５４０…出力詳細設定画面
７４０…操作レコード画面
７４１…入力候補リスト
７４２…「メニュー」カテゴリ
７４３…操作内容選択肢
７４４…「コピー（Ｃ）」
７４５…「貼り付け（Ｐ）」
７５０…半透明ウィンドウ
ＳＳ…表計算ソフト
ＷＢ…Ｗｅｂブラウザ
ＧＳ…自動化対象ソフト；ＧＳ１…経費精算アプリの「経費精算」フォーム
ＲＳ…ＲＰＡソフト
ＰＣ…コンピュータ
ＴＷ…半透明ウィンドウ
Ｌ１…表ＵＩに対応する領域
ＧＳａ、ＧＳｂ…アプリケーション
１２…入力部；１２ａ…キーボード；１２ｂ…マウス；１２ｃ…タッチパッド
１３…バス
１４…通信部
１５…メモリ部
１６…ストレージ部
２０…プロセッサ部
２１…概略手順作成部
２２…取得範囲指定部
２３…転記指定部；２３ａ…転記先指定部；２３ｂ…転記単位指定部；２３ｃ…表操作部；２３ｄ…転記データプレビュー部
２４…転記単位プレビュー部
２５…自動化プログラム生成部
２６…自動化プログラム実行部
３１…繰返設定部
３８…オブジェクト選択受付部
３９…操作選択部
４０…要素識別部
４１…操作実行部
４８…操作レコード設定部
１１０…概略手順作成画面
１１１…概略手順アイコン
１１２…操作候補一覧
１１３…「追加」ボタン
１１４…操作選択一覧
１１５…「指定範囲を繰り返しにする」ボタン
１１７…「次へ」ボタン
１１８…「破棄して戻る」ボタン
１１９…繰り返し設定アイコン
１２１…アクティビティ表示欄
１２３…「自動表認識機能で取り出す」ボタン
１２４…「表計算ソフトのシートの範囲を指定」
１２５…「レコード機能で取り出す」ボタン
１３０…表計算ソフト取得範囲指定画面
１３２…表計算ソフト取込詳細指定欄
１３８…「次へ」ボタン
１５０…一般転記詳細設定画面
１５２…転記詳細指定欄
１５３…転記単位指定欄；１５３ｂ…「入力するデータ」選択欄；１５３ｃ…「繰り返し単位」選択欄；１５３ｄ…グルーピング詳細設定欄
１５４…「入力単位のプレビュー」欄
１５５…「他の操作の結果を入力する」欄
１５６…実施操作決定欄
１５７…「事前準備の動作」設定欄
１５９…「事後の動作」設定欄
１６０…操作レコード画面
１６１…出力リストウィンドウ
１７０…操作レコード画面
１７１…操作内容選択肢；１７１ａ…「マウス操作」；１７１ｂ…「入力」
１７２…入力候補リスト；１７２ａ、１７２ｃ…「テキスト入力」；１７２ｂ、１７２ｄ…「ペースト入力」；１７２ｅ…「表入力（列名）：申請者」；１７２ｆ…「表入力（列名）金額」
１８０…動的変化反映後の操作レコード画面
１８６…「申請ＩＤ」欄
１８８…「編集」メニュー
１９０…操作レコード画面
１９１…操作内容選択肢；１９１ａ…「値を取得する」
２０２…「書き出すセルを個別に指定する」欄
２０８…「次へ」ボタン
２２０…アクティビティ一覧画面
２２１…概略アクティビティ表示欄
２２２…概略アクティビティヘッドライン部
２２３…概略名
２２４…概略ラベル
２２５…概略アクティビティ詳細表示領域
２３１…「ファイル選択」ボタン
２３２…「フォルダ選択」ボタン
２３４…「自動抽出」ボタン
２３５…「プレビュー」ボタン
２３６…「マニュアル抽出」ボタン
２３７…「設定」ボタン
２６２…「決定」ボタン
２８０…操作レコード画面
３００…操作レコード画面
３０１…表データ転記詳細設定ウィンドウ
３０２…表入力位置指定欄
３０３…表選択欄
３０４…表移動方向指定欄
３０５…行挿入指定欄
３０６…行削除指定欄
３０７…「表の移動を試す」ボタン
３１０…操作レコード画面
３２０…操作レコード画面
３２１…列名選択肢
３５８…「ＯＫ」ボタン
３８０…表ナビ画面
３９０…表操作画面
５１３…「Ｗｅｂページを開く」設定欄；５１３ｂ…「設定」ボタン
５１４…「抽出対象の選択」欄：５１４ｂ…「設定」ボタン
５１５…「繰り返し設定」欄；５１５ｂ…「設定」ボタン
５１６…「出力の設定」欄；５１６ｂ…「設定」ボタン
５４０…出力詳細設定画面
７４０…操作レコード画面
７４１…入力候補リスト
７４２…「メニュー」カテゴリ
７４３…操作内容選択肢
７４４…「コピー（Ｃ）」
７４５…「貼り付け（Ｐ）」
７５０…半透明ウィンドウ
ＳＳ…表計算ソフト
ＷＢ…Ｗｅｂブラウザ
ＧＳ…自動化対象ソフト；ＧＳ１…経費精算アプリの「経費精算」フォーム
ＲＳ…ＲＰＡソフト
ＰＣ…コンピュータ
ＴＷ…半透明ウィンドウ
Ｌ１…表ＵＩに対応する領域
ＧＳａ、ＧＳｂ…アプリケーション
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】