特許 7174014 操作システム、処理システム、操作方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-08

(45)【発行日】2022-11-17

(54)【発明の名称】操作システム、処理システム、操作方法、及びプログラム

(51)【国際特許分類】

   G06F 9/451 20180101AFI20221109BHJP

   G05B 19/042 20060101ALI20221109BHJP

   G06F 3/0481 20220101ALI20221109BHJP

【ＦＩ】

G06F9/451

G05B19/042

G06F3/0481

【請求項の数】 17

(21)【出願番号】P 2020116434

(22)【出願日】2020-07-06

(65)【公開番号】P2022014215

(43)【公開日】2022-01-19

【審査請求日】2021-07-16

【早期審査対象出願】

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】100108062

【弁理士】

【氏名又は名称】日向寺 雅彦

(74)【代理人】

【識別番号】100168332

【弁理士】

【氏名又は名称】小崎 純一

(74)【代理人】

【識別番号】100146592

【弁理士】

【氏名又は名称】市川 浩

(74)【代理人】

【識別番号】100157901

【弁理士】

【氏名又は名称】白井 達哲

(74)【代理人】

【識別番号】100172188

【弁理士】

【氏名又は名称】内田 敬人

(74)【代理人】

【識別番号】100197538

【弁理士】

【氏名又は名称】竹内 功

(72)【発明者】

【氏名】渕上 康徳

【審査官】多賀 実

(56)【参考文献】

【文献】国際公開第２０１３／１９０７１４（ＷＯ，Ａ１）

【文献】国際公開第２０１３／０３１７３５（ＷＯ，Ａ１）

【文献】特表２０１８－５３５４５９（ＪＰ，Ａ）

【文献】国際公開第２０１１／１１５２４９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １９／００－１９／４６

Ｇ０５Ｂ ２３／０２

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ８／００－８／７７

Ｇ０６Ｆ ９／４４－９／４５５

Ｇ０６Ｆ １１／３６

(57)【特許請求の範囲】

【請求項1】

操作対象である第１装置から、表示装置に向けて送信される映像信号を取得する取得部と、
前記映像信号の取得結果及び予め作成された動作ファイルに基づいて、操作命令を生成する演算部と、
前記操作命令に基づいて前記第１装置に対応した操作信号を生成し、前記第１装置へ送信する生成部と、
を備え、
前記動作ファイルは、
前記操作命令を生成するための生成動作が記述された第１ファイルと、
前記生成動作の実行時に参照され、前記映像信号の識別及び前記操作信号の生成に使用され、前記表示装置の画面上において入力装置による前記第１装置への選択操作が実行される座標を含み、テキスト形式で記述される第２ファイルと、
を含み、
前記演算部は、前記第１ファイルに記述された前記生成動作を実行して、前記選択操作のための選択操作命令を含む前記操作命令を生成する場合に、前記第２ファイルにテキスト形式で記述された前記座標を参照し、前記操作命令を生成する、操作システム。

【請求項2】

前記演算部は、前記映像信号が示す画像を認識し、前記画像の認識結果に基づいて、前記操作信号による前記第１装置への操作が完了したか判定する、請求項１記載の操作システム。

【請求項3】

前記選択操作命令に基づく前記操作信号による前記第１装置への操作が完了しない場合に、前記演算部は、前記座標とは別の座標を選択する別の選択操作命令を生成する、請求項２記載の操作システム。

【請求項4】

前記演算部は、前記画像の認識において、パターンマッチング、文字認識、及び色認識から選択される少なくとも１つを実行する請求項２又は３に記載の操作システム。

【請求項5】

前記第２ファイルには、前記パターンマッチングにおいて参照される画像のファイル名がテキスト形式で記述される、請求項４記載の操作システム。

【請求項6】

前記第２ファイルに記述された前記ファイル名が変更された場合に、前記演算部は、前記第２ファイルの変更された前記ファイル名に対応する画像を参照し、前記パターンマッチングを実行する、請求項５記載の操作システム。

【請求項7】

入力装置及び前記生成部の一方からの信号を前記第１装置へ送信する切替部をさらに備えた請求項１～６のいずれか１つに記載の操作システム。

【請求項8】

前記第２ファイルに記述された前記座標が変更された場合に、前記演算部は、前記第２ファイルの変更された前記座標を参照し、前記選択操作命令を含む前記操作命令を生成する、請求項１～７のいずれか１つに記載の操作システム。

【請求項9】

前記演算部は、
前記第１装置に向けた命令を送信する第２装置から、前記命令を受信し、
前記命令に応じて前記操作命令の生成を開始する、
請求項１～８のいずれか１つに記載の操作システム。

【請求項10】

識別情報を読み取る読取装置をさらに備え、
前記演算部は、前記読取装置による識別情報の読み取りに応じて、前記操作命令の生成を開始する、請求項１～９のいずれか１つに記載の操作システム。

【請求項11】

請求項１～１０のいずれか１つに記載の操作システムと、
ワークの処理を実行する前記第１装置と、
を備えた処理システム。

【請求項12】

操作対象である第１装置から、表示装置に向けて送信される映像信号を取得し、
前記映像信号の取得結果及び予め作成された動作ファイルに基づいて、操作命令を生成し、
前記操作命令に基づいて前記第１装置に対応した操作信号を生成し、前記第１装置へ送信する操作方法であって、
前記動作ファイルは、
前記操作命令を生成するための生成動作が記述された第１ファイルと、
前記生成動作の実行時に参照され、前記映像信号の識別及び前記操作信号の生成に使用され、前記表示装置の画面上において入力装置による前記第１装置への選択操作が実行される座標を含み、テキスト形式で記述される第２ファイルと、
を含み、
前記第１ファイルに記述された前記生成動作を実行して、前記選択操作のための選択操作命令を含む前記操作命令を生成する場合に、前記第２ファイルにテキスト形式で記述された前記座標を参照し、前記操作命令を生成する、操作方法。

【請求項13】

前記映像信号が示す画像を識別し、前記画像の認識結果に基づいて、前記操作信号による前記第１装置への操作が完了したか判定する、請求項１２記載の操作方法。

【請求項14】

前記選択操作命令に基づく前記操作信号による前記第１装置への操作が完了しない場合に、前記座標とは別の座標を選択する別の選択操作命令を生成する、請求項１３記載の操作方法。

【請求項15】

操作対象である第１装置から表示装置に向けて送信される映像信号の取得結果の受信に応じてコンピュータに操作命令を生成させるプログラムであって、
前記操作命令を生成するための生成動作が記述された第１ファイルと、
前記生成動作の実行時に参照され、前記映像信号の識別と前記操作命令に基づく前記第１装置に対応した操作信号の生成とに使用され、前記表示装置の画面上において入力装置による前記第１装置への選択操作が実行される座標を含み、テキスト形式で記述される第２ファイルと、
を含む動作ファイルを前記コンピュータに参照させ、
前記コンピュータに、前記第１ファイルに記述された前記生成動作を実行させ、前記選択操作のための選択操作命令を含む前記操作命令を生成させる場合に、前記第２ファイルにテキスト形式で記述された前記座標を参照させ、前記操作命令を生成させる、プログラム。

【請求項16】

前記コンピュータに、前記映像信号が示す画像を認識させ、前記画像の認識結果に基づいて、前記操作信号による前記第１装置への操作が完了したか判定させる、請求項１５記載のプログラム。

【請求項17】

前記選択操作命令に基づく前記操作信号による前記第１装置への操作が完了しない場合に、前記コンピュータに、前記座標とは別の座標を選択する別の選択操作命令を生成させる、請求項１６記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、操作システム、処理システム、操作方法、及びプログラムに関する。

【背景技術】

【0002】

装置を自動的に操作するシステムがある。このシステムについて、ユーザへの負担の低減が求められている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－１１０４８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、ユーザへの負担を低減可能な、操作システム、処理システム、操作方法、及びプログラムを提供することである。

【課題を解決するための手段】

【0005】

実施形態に係る操作システムは、取得部、演算部、及び生成部を備える。前記取得部は、操作対象である第１装置からの出力を取得する。前記演算部は、前記出力の取得結果及び予め作成された動作ファイルに基づいて、操作命令を生成する。前記生成部は、前記操作命令に基づいて前記第１装置に対応した操作信号を生成し、前記第１装置へ送信する。前記動作ファイルは、前記操作命令を生成するための生成動作が記述された第１ファイルと、前記生成動作の実行時に参照され、前記出力の識別及び前記操作信号の生成に使用される情報を含む第２ファイルと、を含む。

【図面の簡単な説明】

【0006】

【図1】実施形態に係る操作システムを表す模式図である。

【図2】表示装置の画面を例示する模式図である。

【図3】表示装置の画面を例示する模式図である。

【図4】第１ファイルの一部及び第２ファイルの一部を例示する模式図である。

【図5】実施形態に係る操作システムによる操作のための手順を表すフローチャートである。

【図6】実施形態に係る操作システムによる操作の試行の一部を表すフローチャートである。

【図7】第１変形例に係る操作システムを表す模式図である。

【図8】第２変形例に係る操作システムを表す模式図である。

【図9】第３変形例に係る操作システムを表す模式図である。

【図10】第４変形例に係る操作システムを表す模式図である。

【図11】実施形態に係る操作システムのハードウェア構成を表す模式図である。

【発明を実施するための形態】

【0007】

以下に、本発明の各実施形態について図面を参照しつつ説明する。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

【0008】

図１は、実施形態に係る操作システムを表す模式図である。
図１に表したように、実施形態に係る操作システム１０は、取得部１１、演算部１２、生成部１３、及び記憶装置１４を含む。操作システム１０は、処理装置２１（第１装置）を自動的に操作するために用いられる。

【0009】

処理装置２１は、ワークを処理する。処理は、例えば、搬送、加工、洗浄、加熱、冷却、及び乾燥から選択される少なくとも１つである。加工は、例えば、成膜、エッチング、研磨、リソグラフィ、及び接合から選択される少なくとも１つである。

【0010】

処理装置２１は、制御部２１ａを含む。処理装置２１の各構成要素は、制御部２１ａから送信された命令に基づいて動作し、ワークを処理する。制御部２１ａは、例えば、中央演算処理装置（ＣＰＵ）、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、記憶装置、入力インタフェース、出力インタフェース、通信インタフェース、及びこれらを接続するバスを含む。制御部２１ａは、処理装置２１のための専用コンピュータであっても良いし、汎用コンピュータであっても良い。複数のコンピュータの協働により、制御部２１ａの機能が実現されても良い。

【0011】

入力装置２２は、ユーザが処理装置２１に情報を入力するために用いられる。ユーザは、例えば、処理装置２１により実行される処理を担当するオペレータである。入力装置２２は、例えば、キーボード、マウス、タッチパッド、及びマイク（音声入力）から選択される少なくとも１つを含む。

【0012】

表示装置２３は、処理装置２１から出力された信号を、ユーザが視認できるように表示する。表示装置２３は、モニタを含む。

【0013】

取得部１１は、操作対象である処理装置２１から表示装置２３への出力を取得する。

【0014】

例えば、出力は、処理装置２１から表示装置２３へ送信される映像信号を含む。取得部１１は、映像信号を受信する。取得部１１は、映像信号を取得するとともに、その映像信号を表示装置２３へ送信する。取得部１１は、例えば、映像信号の分配器及びキャプチャユニットを含む。取得部１１は、映像信号を動画又は静止画として取得し、演算部１２へ送信する。

【0015】

又は、出力は、処理装置２１から発せられる光であっても良い。例えば、取得部１１は、撮像装置を含む。取得部１１は、光を発する発光装置の写真を撮影する。取得部１１は、動画又は静止画を取得し、演算部１２へ送信する。

【0016】

又は、出力は、処理装置２１から発せられる音であっても良い。例えば、取得部１１は、マイクを含む。取得部１１は、処理装置２１から発せられた音を電気信号として取得し、演算部１２へ送信する。

【0017】

演算部１２は、取得部１１による取得結果を認識する。例えば、演算部１２は、取得部１１が取得した画像を認識する。画像認識では、パターンマッチング、文字認識、カラーマッチング等の処理が実行される。又は、演算部１２は、取得部１１で取得された音を認識する。音の認識では、パターンマッチング等の処理が実行される。

【0018】

また、演算部１２は、予め作成された動作ファイルを参照する。動作ファイルは、第１ファイル及び第２ファイルを含む。第１ファイルは、操作命令を生成するための生成動作が記述されている。例えば、第１ファイルは、操作命令を生成して生成部１３へ送信するための動作シーケンスが記述されたプログラムファイルである。第２ファイルは、生成動作の実行時に参照される。第２ファイルは、出力信号の識別と、後述する操作信号の生成と、において使用される情報を含む。例えば、第２ファイルは、入力装置２２により選択される座標、画像認識の際に参照されるデータの情報などを含む。

【0019】

演算部１２は、取得部１１による取得結果に基づいて、第２ファイルに含まれる情報を参照しながら、第１ファイルの生成動作を実行する。これにより、処理装置２１を操作するための操作命令が生成される。演算部１２は、操作命令を生成部１３へ送信する。

【0020】

演算部１２は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、入力インタフェース、出力インタフェース、通信インタフェース、及びこれらを接続するバスを含む。演算部１２は、専用又は汎用のコンピュータである。複数のコンピュータの協働により、演算部１２の機能が実現されても良い。

【0021】

生成部１３は、操作命令に基づき、処理装置２１に対応した操作信号を生成する。生成部１３は、生成した操作信号を処理装置２１（制御部２１ａ）へ入力する。例えば、入力装置２２がマウス又はキーボードを含む場合、操作信号は、マウス又はキーボードから送信される信号に相当する。処理装置２１は、操作信号を受け付けると、その操作信号に従って、ポインタの移動、文字の入力などを実行する。生成部１３は、例えば、入力装置２２から送信される信号に相当する操作信号を生成するようにプログラミングされたマイコンを含む。

【0022】

記憶装置１４は、処理装置２１の操作に必要な各種データを記憶する。例えば、記憶装置１４は、動作ファイルを記憶する。また、記憶装置１４は、画像認識に必要な参照データを記憶する。記憶装置１４は、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ネットワーク接続ハードディスク（ＮＡＳ）などを含む。

【0023】

動作ファイル及び取得結果の認識に必要な参照データは、入力装置１５及び表示装置１６を用いてユーザにより予め準備される。入力装置１５は、ユーザが演算部１２に情報を入力するために用いられる。入力装置１５は、例えば、キーボード、マウス、タッチパッド、及びマイクから選択される少なくとも１つを含む。表示装置１６は、演算部１２から出力された信号を、ユーザが視認できるように表示する。表示装置１６は、モニタを含む。

【0024】

ここでは、主に、取得部１１が、処理装置２１から出力された映像信号を取得する場合について説明する。

【0025】

画像認識では、テンプレートマッチング、文字認識、及び色認識から選択される少なくとも１つが実行される。ユーザは、予めこれらの処理に必要な参照データを準備し、記憶装置１４に記憶する。

【0026】

テンプレート画像の準備において、取得部１１は、画像認識を実行するときの処理装置２１から表示装置２３への映像信号を取得する。演算部１２は、映像信号に基づく画像を、表示装置１６に表示させる。ユーザは、入力装置１５を用いて、表示された画像の一部を選択する。選択された画像は、テンプレート画像として記憶装置１４に記憶される。また、ユーザは、参照するテンプレート画像のファイル名を、後述する第２ファイルに記述する。例えば、操作システム１０による自動的な操作が実行される全ての画面に対して、テンプレート画像の準備が行われる。

【0027】

例えば、処理装置２１が操作されると、画面に変化が生じる。例えば、表示されている画面が別の画面に遷移したり、ウインドウが表示されたりする。変化前の画面に含まれず、変化後の画面に含まれる部分画像が、テンプレート画像として使用される。

【0028】

文字認識範囲の準備において、取得部１１は、文字を認識する必要があるときの処理装置２１から表示装置２３への映像信号を取得する。演算部１２は、映像信号に基づく画像を、表示装置１６に表示させる。ユーザは、入力装置１５を用いて、表示された画像において、文字認識が実行される範囲を確認する。ユーザは、その範囲を後述する第２ファイルに記述する。

【0029】

色認識の準備において、取得部１１は、色を認識する必要があるときの処理装置２１から表示装置２３への映像信号を取得する。演算部１２は、映像信号に基づく画像を、表示装置１６に表示させる。ユーザは、入力装置１５を用いて、表示された画像において、色認識が実行される範囲を選択する。選択された範囲の画像は、記憶装置１４に記憶される。また、ユーザは、その範囲を後述する第２ファイルに記述する。

【0030】

テンプレート画像を用いた画像認識では、演算部１２は、テンプレート画像と類似する画像が、映像信号に基づく画像に含まれているか判定する。文字認識では、演算部１２は、予め記憶された範囲の画像を切り出す。演算部１２は、その画像に対して、Optical Character Recognition（ＯＣＲ）などの文字認識の処理を実行する。色認識では、演算部１２は、予め記憶された範囲の画像を切り出す。演算部１２は、予め記憶された画像と切り出した画像との間で、各部の色が一致するか判定する。演算部１２は、これらの処理により画像を認識することで、操作信号による処理装置２１への操作が完了したか判定する。

【0031】

動作ファイルの準備では、第１ファイル及び第２ファイルの作成が行われる。第１ファイルは、例えば、Ｃ言語などの汎用のプログラミング言語で記述される。第２ファイルは、ポインティングデバイスの選択座標、参照されるテンプレート画像、入力される文字などがテキスト形式で記述される。

【0032】

マウスなどのポインティングデバイスに関して、ユーザは、選択（クリック）する座標を第２ファイルに記述し、記憶装置１４に記憶する。例えば、取得部１１は、ポインティングデバイスを操作するときの処理装置２１から表示装置２３への映像信号を取得する。演算部１２は、映像信号に基づく画像を、表示装置１６に表示させる。ユーザは、表示された画像において選択する部分にポインタを合わせ、その座標を確認する。ユーザは、座標を第２ファイルに記述する。

【0033】

キーボードに関して、取得部１１は、キーボードにより文字を入力するときの処理装置２１から表示装置２３への映像信号を取得する。演算部１２は、映像信号に基づく画像を、表示装置１６に表示させる。ユーザは、表示された画像において、文字を入力するテキストボックスにポインタを合わせ、その座標を確認する。ユーザは、座標と、そのテキストボックスに入力する１つ以上の文字と、を第２ファイルに記述する。

【0034】

処理装置２１に操作信号が送られた後、演算部１２は、画像認識を行うことにより、操作信号に応じて処理装置２１が操作されたか判定する。操作されていないと判定される場合、演算部１２は、表示装置１６又は他の端末装置に、操作できない旨の通知を送信しても良い。画像認識に使用されるテンプレート画像のファイル名、文字認識に使用される範囲、色認識に使用される画像及び範囲などは、上述したように第２ファイルに記述される。

【0035】

具体例を参照しながら、操作システム１０について説明する。
図２及び図３は、表示装置の画面を例示する模式図である。
図４（ａ）は、第１ファイルの一部を例示する模式図である。図４（ｂ）は、第２ファイルの一部を例示する模式図である。

【0036】

処理装置２１による処理過程の一部において、処理装置２１から出力された映像信号に基づき、図２及び図３に表した画面が、表示装置２３に表示される。図２（ａ）に表した画面Ａ１には、アイコンＢ１～Ｂ７と、処理装置２１により処理されているワークに関する情報Ｃ１と、が表示されている。図２（ｂ）に表した画面Ａ２には、アイコンＢ１～Ｂ４、アイコンＢ１１～Ｂ１４、処理装置２１の模式図Ｄと、が表示されている。図３（ａ）に表した画面Ａ３には、アイコンＢ１～Ｂ４、アイコンＢ２１～Ｂ２４、模式図Ｄと、が表示されている。図３（ｂ）に表した画面Ａ４には、アイコンＢ１～Ｂ４、アイコンＢ２１～Ｂ２４、処理装置２１により処理条件に関する情報Ｃ２、が表示されている。

【0037】

例えば、操作システム１０を用いない場合、ユーザは、図２（ａ）に表した画面Ａ１において、アイコンＢ３にポインタを移動させ、アイコンＢ３を選択する。表示装置２３に、図２（ｂ）に表した画面Ａ２が表示される。ユーザは、画面Ａ２において、アイコンＢ１４にポインタを移動させ、アイコンＢ１４を選択する。表示装置２３に、図３（ａ）に表した画面Ａ３が表示される。ユーザは、画面Ａ３において、アイコンＢ２１にポインタを移動させ、アイコンＢ２１を選択する。表示装置２３に、図３（ｂ）に表した画面Ａ４が表示される。

【0038】

操作システム１０により処理装置２１を操作する場合、演算部１２が、画面Ａ１を表示装置１６に表示させる。ユーザは、画面Ａ１において、アイコンＢ３の座標を確認し、第２ファイルに記述する。次に、演算部１２が、画面Ａ２を表示装置１６に表示させる。ユーザは、画面Ａ１から画面Ａ２への遷移を判定するためのテンプレート画像を、画面Ａ２から切り出す。例えば、模式図Ｄ及びアイコンＢ１１～Ｂ１４のいずれかが、テンプレート画像として使用される。ユーザは、切り出したテンプレート画像を、画像データとして記憶装置１４に記憶する。ユーザは、画面Ａ１から画面Ａ２への遷移の判定時に参照されるテンプレート画像のファイル名を、第２ファイルに記述する。

【0039】

以降は、同様に、テンプレート画像の記憶、第２ファイルへのファイル名の記述が繰り返される。例えば、画面Ａ３が表示装置１６に表示されると、ユーザは、画面の遷移を判定するためのテンプレート画像を画面Ａ３から切り出し、画像データとして記憶装置１４に記憶する。ユーザは、そのテンプレート画像のファイル名を、第２ファイルに記述する。

【0040】

例えば図４（ａ）及び図４（ｂ）に表したように、操作システム１０による操作のために、第１ファイル及び第２ファイルが準備される。第１ファイルには、上述した、特定のアイコンを選択するための操作命令の生成、テンプレート画像の参照など、演算部１２により実行される動作が記述される。第２ファイルには、選択される座標、参照されるテンプレート画像のファイル名などが記述される。

【0041】

操作システム１０による操作の開始のトリガは、任意である。例えば、処理装置２１に入力された信号や、別のセンサや計測器等から送られた信号などに基づいて操作が開始されても良い。別の操作システム１０から送信された信号、又は別の操作システム１０によって操作される別の処理装置２１から送信された信号に応じて、操作が開始されても良い。信号は、別の操作システム１０による操作時に送信されても良いし、別の操作システム１０による操作時以外で送信されても良い。表示装置２３に特定の画面が表示されたときに、操作が開始されても良い。ユーザが演算部１２に特定の命令を入力したときに、操作が開始されても良い。

【0042】

図５は、実施形態に係る操作システムによる操作のための手順を表すフローチャートである。
ユーザは、第１ファイルを作成する（ステップＳ１）。次に、ユーザは、参照データを作成し（ステップＳ２）、第２ファイルを作成する（ステップＳ３）。操作システム１０は、作成された、第１ファイル、参照データ、及び第２ファイルを用いて、処理装置２１を自動的に操作する（ステップＳ４）。

【0043】

実施形態の効果を説明する。
操作システム１０は、処理装置２１からの出力信号を取得するとともに、処理装置２１に対応した操作信号を入力する。このため、操作システム１０は、既存の処理装置２１に適用できる。操作が自動化されていない処理装置２１に操作システム１０を適用することで、処理装置２１の操作を自動化できる。例えば、処理装置２１の改造やプログラムの書き換え等を行わずに、処理装置２１の操作を自動化できる。

【0044】

操作システム１０では、処理装置２１を操作する際に、動作ファイルが参照される。動作ファイルは、第１ファイル及び第２ファイルを含む。第１ファイルは、操作命令を生成するための生成動作が記述されている。第２ファイルは、第１ファイルとは別に作成され、第１ファイルの記述に基づく生成動作の実行時に参照される。

【0045】

製造現場では、同じ種類の複数の処理装置２１が使用されることがある。複数の処理装置２１は、複数の操作システム１０により、それぞれ自動で操作できる。この場合、共通の動作ファイル及び共通の参照データが使用されても良い。例えば、１つの処理装置２１を操作するための動作ファイル及び参照データが用意されると、その動作ファイル及び参照データが複製され、それぞれの操作システム１０による操作において使用される。

【0046】

ただし、同じ種類の処理装置２１同士の間でも、表示される画面が僅かに異なることがある。例えば、同じ画面における同じアイコンの位置が、処理装置２１同士の間で僅かに異なることがある。この結果、第２ファイルに記述された座標をポインティングデバイスで選択したときに、所望のアイコンを選択できないことがある。また、同じ種類の処理装置２１同士の間でも、ノイズの影響、処理装置２１における映像信号の出力部の経年劣化などにより、テンプレート画像の見え方が異なることもある。この結果、画像認識の精度が低下することがある。

【0047】

従来の操作システムでは、このような機差が存在する場合、その機差を補正した新たなプログラムファイルを作成する必要があった。すなわち、演算部１２により実行される基本的な動作や、使用される参照データ、入力される文字などが、処理装置２１同士の間でほぼ同じにも拘わらず、操作命令を生成するためのプログラムファイルを作り直す必要があった。

【0048】

実施形態に係る操作システム１０では、操作命令の生成時に使用される情報が、第１ファイルとは別の第２ファイルに記述される。例えば、アイコンの座標のずれが存在する場合には、そのずれを補正するように、座標の記述を変更すれば良い。テンプレート画像の見え方が異なる場合には、見え方の異なるテンプレート画像を用意し、その画像データを参照するように第２ファイルの記述を変更すれば良い。実施形態によれば、機差を容易に補正でき、操作システム１０の準備に必要なユーザの負担を低減できる。

【0049】

また、実施形態によれば、ユーザによる負担を低減可能な、操作システム１０及び処理装置２１を含む処理システム１が提供される。

【0050】

第２ファイルは、例えばテキストファイルである。このため、プログラミングに関する知識の無いユーザでも、テキスト形式で第２ファイルを記述でき、第２ファイルを容易に修正できる。

【0051】

ユーザは、製造ラインの稼働前に、操作システム１０による操作に不具合が存在しないか確かめるため、操作を試行しても良い。例えば、ユーザは、操作の試行において、アイコンが適切に選択されるか、画像が正常に認識されているか、などを確認する。操作の不具合が確認された場合には、ユーザは、第２ファイルの記述を適宜修正する。

【0052】

演算部１２は、第２ファイルに記述された座標を自動的に修正しても良い。例えば、操作の試行において、演算部１２は、第２ファイルに記述された座標を選択するための選択操作命令を生成し、生成部１３に送信する。生成部１３は、選択操作命令に基づいて操作信号を生成し、処理装置２１に送信する。演算部１２は、操作信号が送信された後に取得部１１によって取得された画像を認識し、予め用意されたテンプレート画像が表示されているか判定する。テンプレート画像が表示されない場合、演算部１２は、第２ファイルに記述されていた座標とは異なる別の座標を選択するための別の選択操作命令を生成する。例えば、当該別の座標は、第２ファイルに記述されていた座標近傍からランダムに決定される。演算部１２は、生成部１３に別の選択操作命令を送信する。生成部１３は、別の選択操作命令に基づいて別の操作信号を生成し、処理装置２１に送信する。別の選択操作命令の生成は、例えば、予め用意されたテンプレート画像が表示されるか、又は予め設定された回数に達するまで繰り返される。演算部１２は、それまでの座標とは異なる別の座標を選択するように、別の選択操作命令を生成する。

【0053】

図６は、実施形態に係る操作システムによる操作の試行の一部を表すフローチャートである。
例えば、図５に表したフローチャートにおいて、ステップＳ１～Ｓ３の後でありステップＳ４の前に、第１ファイル、第２ファイル、及び参照データを用いた操作が試行される。試行の一部において、演算部１２は、画面の一部を選択するための選択操作命令を生成する（ステップＳ１１）。生成部１３は、その選択操作命令に基づく操作信号を生成し、処理装置２１に送信する。演算部１２は、画面の認識結果に基づき、操作信号による処理装置２１への操作が完了したか判定する（ステップＳ１２）。

【0054】

操作が完了しないとき、演算部１２は、選択操作の試行回数が規定回数未満か判定する（ステップＳ１３）。試行回数が規定回数未満のとき、演算部１２は、別の座標を選択するための別の選択操作命令を生成する（ステップＳ１４）。生成部１３は、その選択操作命令に基づく操作信号を生成し、処理装置２１に送信する。選択操作の試行回数が規定回数に達すると、演算部１２は、ユーザに向けて報知する（ステップＳ１５）。例えば、操作を適切に実行できないことを知らせる情報を、表示装置１６に表示させる。

【0055】

ステップＳ１２において、選択操作命令に応じた操作が完了したと判定されると、演算部１２は、第２ファイルに記述された座標を、選択操作を実行できた選択操作命令に使用された座標に修正する（ステップＳ１６）。なお、第２ファイルに記述されていた元の座標で選択操作を実行できた場合には、第２ファイルの修正は実行されない。

【0056】

図６に表したフローチャートによる処理により、第２ファイルに記述された座標を修正する必要がある場合には、その座標が自動的に修正される。このため、操作システム１０の利便性をさらに向上できる。

【0057】

なお、処理装置２１に操作信号が入力されたときに、処理装置２１による応答が遅延することがある。選択操作命令に応じた操作が完了したか判定された際には、遅延により画面が変化しておらず、判定後に正常に画面が変化する可能性がある。このため、表示装置２３への画面の表示に遅延が生じうる処理装置２１に対しては、操作信号を送信する間隔をより長く設定するか、選択操作命令に基づく操作信号を複数回送信する。例えば、図６に表したフローチャートにおいて、ある操作信号が処理装置２１に入力された後に操作が完了しない場合、生成部１３から同じ操作信号が処理装置２１に再度入力される。

【0058】

（第１変形例）
図７は、第１変形例に係る操作システムを表す模式図である。
処理装置２１には、入力装置と表示装置としての機能を備える入力表示装置が接続されても良い。例えば、図７に表したように、入力表示装置として、タッチパネル２４が設けられる。第１変形例に係る操作システム１０ａは、切替部１７をさらに含む。処理システム１ａは、操作システム１０ａ及び処理装置２１を含む。

【0059】

生成部１３は、タッチパネル２４から送信される信号に相当する操作信号を生成する。切替部１７は、処理装置２１に入力される信号を切り替える。具体的には、切替部１７には、タッチパネル２４から送信された信号と、生成部１３から送信された操作信号と、が入力される。切替部１７は、タッチパネル２４から送信された信号が処理装置２１に入力される状態と、生成部１３から送信された操作信号が処理装置２１に入力される状態と、を切り替える。操作システム１０ａによる操作中、切替部１７は、操作信号を処理装置２１に入力する。

【0060】

切替部１７により、操作システム１０ａによる操作中に、ユーザがタッチパネル２４により処理装置２１を操作することを回避できる。例えば、ユーザの操作により、別の画面に遷移し、操作システム１０ａによる操作が中断されることを回避できる。

【0061】

切替部１７は、例えばリレー回路又はスイッチング回路を含む。切替部１７を設けることで、タッチパネル２４が使用される処理装置２１を、操作システム１０ａにより操作することが可能となる。

【0062】

また、タッチパネル２４については、同じ種類の装置であったとしても、生成される操作信号の座標のずれが大きい。これは、タッチを検出するセンサの座標と表示器の位置関係が個別に調整されているためである。従って、同じ種類の複数の処理装置２１に、それぞれ、同じ種類の複数のタッチパネル２４を用いた場合でも、自動操作時に選択又は参照される座標を、処理装置２１ごとに修正しなければならないことがある。

【0063】

実施形態によれば、第２ファイルに記述された座標を修正することで、座標のずれに関する機差を容易に修正できる。このため、実施形態に係る発明は、特にタッチパネル２４が用いられる処理装置２１に好適である。第１変形例によれば、タッチパネル２４を含む処理システム１ａに対するユーザの負担を低減できる。

【0064】

（第２変形例）
図８は、第２変形例に係る操作システムを表す模式図である。
第２変形例に係る操作システム１０ｂは、操作システム１０と比較して、切替部１７をさらに含む。生成部１３又は入力装置２２から処理装置２１に向けて送信された信号は、切替部１７を介して、処理装置２１に入力される。切替部１７は、入力装置２２から送信された信号が処理装置２１に入力される状態と、生成部１３から送信された操作信号が処理装置２１に入力される状態と、を切り替える。

【0065】

操作システム１０ｂによる操作中、切替部１７は、操作信号を処理装置２１に入力する。これにより、操作システム１０ｂによる操作中に、ユーザが入力装置２２を用いて処理装置２１を操作することを回避できる。第２変形例によれば、操作システム１０ｂ及び処理装置２１を含む処理システム１ｂの利便性を向上できる。

【0066】

（第３変形例）
図９は、第３変形例に係る操作システムを表す模式図である。
図９に表したように、第３変形例に係る操作システム１０ｃは、操作システム１０に比べて、読取装置１８ａ及び１８ｂをさらに含む。読取装置１８ａ及び１８ｂは、識別情報を読み取る。識別情報として、一次元バーコード、二次元バーコード、又はRadio Frequency IDentifier（ＲＦＩＤ）を用いることができる。読取装置１８ａ及び１８ｂは、バーコードリーダ又はＲＦＩＤリーダである。例えば、読取装置１８ａは、処理装置２１を担当するオペレータの識別情報を読み取る。読取装置１８ｂは、処理装置２１で処理されるワークの識別情報を読み取る。

【0067】

例えば、処理装置２１による処理を実行する際、ユーザ（オペレータ）は、読取装置１８ｂがワークの識別情報を読み取り可能な場所に、ワークを置く。その後、ユーザは、読取装置１８ａに自身の識別情報を読み取らせる。演算部１２は、読取装置１８ａによる識別情報の読み取りに応じて、処理装置２１の操作を開始する。例えば、演算部１２は、ワークの識別情報を読取装置１８ｂに読み取らせ、その後に操作命令の生成を開始する。

【0068】

操作システム１０ｃは、読み取られた識別情報に応じた操作信号を生成し、処理装置２１へ入力しても良い。又は、演算部１２から処理装置２１へ、通信ポートを介してシリアル通信等により識別情報が直接的に入力されても良い。

【0069】

第３変形例のように、操作システム１０ｃは、処理装置２１により実行される処理に関係する他の装置を含んでいても良い。また、他の装置の動作に応じて、処理装置２１の操作が開始されても良い。これにより、ユーザは、操作の開始のために入力装置１５又は２２を操作する必要が無い。第３変形例によれば、操作システム１０ｃの利便性を向上させることができる。また、操作システム１０ｃ及び処理装置２１を含む処理システム１ｃの利便性を向上させることができる。

【0070】

（第４変形例）
図１０は、第４変形例に係る操作システムを表す模式図である。
第４変形例に係る操作システム１０ｄは、図１０に表したように、管理装置３０（第２装置）と接続される。例えば、演算部１２が、ネットワーク、有線通信、又は無線通信により管理装置３０と接続される。管理装置３０は、処理装置２１に向けて命令を送信する上位の装置である。

【0071】

管理装置３０が処理装置２１に向けた命令を送信すると、操作システム１０ｄは、その命令を受信する。操作システム１０ｄは、命令に応じて操作を実行する。例えば、演算部１２は、命令に応じた操作命令を生成し、生成部１３へ送信する。

【0072】

例えば、記憶装置１４には、複数の動作ファイルが記憶される。演算部１２は、管理装置３０から送信された命令に応じて、複数の動作ファイルの１つを選択する。演算部１２は、選択した動作ファイルに含まれるプログラムを実行し、操作命令を生成する。又は、管理装置３０から送信される命令は、操作の開始のトリガとして用いられても良い。

【0073】

管理装置３０は、複数の操作システム１０ｄと接続されても良い。別の操作システム１０ｃから送信された信号、又は別の操作システム１０ｄによって操作される別の処理装置２１から送信された信号に応じて、操作システム１０ｄによる操作が開始されても良い。信号は、別の操作システム１０ｄによる操作時に送信されても良いし、別の操作システム１０ｄによる操作時以外で送信されても良い。複数の操作システム１０ｄ、複数の処理装置２１、及び管理装置３０の３つ以上の間で、操作の開始のための信号が送受信されることで、例えば、複数の処理装置２１を効率的に稼動できる。

【0074】

操作システム１０ｄは、処理装置２１により実行される処理に関するパラメータを、処理装置２１に入力しても良い。パラメータは、処理されるワークの数、処理実行時の条件などである。条件は、例えば、温度、圧力、気体又は液体の流量、電流、電圧、処理時間などである。操作システム１０ｄは、パラメータの数値を入力するための操作信号を生成し、処理装置２１へ送信する。これにより、表示装置２３に表示されたテキストボックス等に、数値が入力される。

【0075】

管理装置３０は、操作システム１０ｄから処理装置２１に入力されるパラメータを、操作システム１０ｄへ送信しても良い。操作システム１０ｄは、パラメータとして入力される数値を受信し、その数値に応じた操作信号を生成する。これにより、管理装置３０から送信された数値が処理装置２１へ入力される。

【0076】

管理装置３０は、処理されるワークに関する情報を操作システム１０ｄへ送信しても良い。例えば、管理装置３０は、ワークの識別情報（ＩＤ）を、操作システム１０ｄへ送信する。操作システム１０ｄは、通信ポートを介して識別情報を処理装置２１へ入力する。又は、操作システム１０ｄは、識別情報に応じた操作信号を生成し、処理装置２１へ入力しても良い。

【0077】

製造現場では、複数の処理装置を管理するために、より上位の装置が設けられることがある。一方、処理装置２１と管理装置３０との間の通信ＩＦの互換性、通信規格の相違などにより、管理装置３０から処理装置２１へ、直接命令を送信できない場合がある。例えば、処理装置２１が古いと、管理装置３０から送信される命令を、処理装置２１が受け付けられないことがある。この場合、操作システム１０ｄを用いることで、管理装置３０により処理装置２１を管理することが可能となる。例えば、処理装置２１の改造等を行う必要が無く、より容易に生産効率を向上できる。また、操作システム１０ｄを用いることで、単体又は複数の処理装置２１の稼働状況を管理装置３０へ送信できる。このため、管理装置３０が、処理システム１ｄの単体又は複数の稼動率又は稼働状況に関する情報を容易に取得できる。

【0078】

図１１は、実施形態に係る操作システムのハードウェア構成を表す模式図である。
例えば、演算部１２は、コンピュータであり、ＲＯＭ１２ａ、ＲＡＭ１２ｂ、ＣＰＵ１２ｃ、およびＨＤＤ１２ｄを含む。ＲＯＭ１２ａは、コンピュータの動作を制御するプログラムを記憶している。ＲＯＭ１２ａには、各種処理をコンピュータに実現させるために必要なプログラムが記憶されている。

【0079】

ＲＡＭ１２ｂは、ＲＯＭ１２ａに記憶されたプログラムが展開される記憶領域として機能する。ＣＰＵ１２ｃは、処理回路を含む。ＣＰＵ１２ｃは、ＲＯＭ１２ａに記憶された制御プログラムを読み込み、当該制御プログラムに従ってコンピュータの動作を制御する。また、ＣＰＵ１２ｃは、コンピュータの動作によって得られた様々なデータをＲＡＭ１２ｂに展開する。ＨＤＤ１２ｄは、読み取りに必要なデータや、読み取りの過程で得られたデータを記憶する。ＨＤＤ１２ｄは、図１に表した記憶装置１４として機能しても良い。

【0080】

以上で説明した操作システム、処理システム、又は操作方法を用いることで、利便性を向上できる。同様に、コンピュータに上述した処理を実行させるためのプログラム又はそのプログラムを記憶した記憶媒体を用いることで、操作システムの利便性を向上できる。

【0081】

上記の種々のデータの処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク及びハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、または、他の記録媒体に記録されても良い。

【0082】

例えば、記録媒体に記録されたデータは、コンピュータ（または組み込みシステム）により読み出されることが可能である。記録媒体において、記録形式（記憶形式）は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させる。コンピュータにおいて、プログラムの取得（または読み出し）は、ネットワークを通じて行われても良い。

【0083】

以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。

【符号の説明】

【0084】

１，１ａ～１ｄ：処理システム、 １０，１０ａ～１０ｄ：操作システム、 １１：取得部、 １２：演算部、 １２ａ：ＲＯＭ、 １２ｂ：ＲＡＭ、 １２ｃ：ＣＰＵ、 １２ｄ：ＨＤＤ、 １３：生成部、 １４：記憶装置、 １５：入力装置、 １６：表示装置、 １７：切替部、 １８ａ：読取装置、 １８ｂ：読取装置、 ２１：処理装置、 ２１ａ：制御部、 ２２：入力装置、 ２３：表示装置、 ２４：タッチパネル、 ３０：管理装置、 Ａ１～Ａ４：画面、 Ｂ１～Ｂ７，Ｂ１１～Ｂ１４，Ｂ２１～Ｂ２４：アイコン、 Ｃ１，Ｃ２：情報、 Ｄ：模式図

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】