知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社東芝の特許一覧 ▶ 東芝ソリューション株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024067151
(43)【公開日】2024-05-17
(54)【発明の名称】設備制御システム、設備制御装置、設備制御方法
(51)【国際特許分類】
G05B 23/02 20060101AFI20240510BHJP
【ＦＩ】
G05B23/02 301N
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022176994
(22)【出願日】2022-11-04
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】301063496
【氏名又は名称】東芝デジタルソリューションズ株式会社
(74)【代理人】
【識別番号】110001737
【氏名又は名称】弁理士法人スズエ国際特許事務所
(72)【発明者】
【氏名】堀内 健介
(72)【発明者】
【氏名】伊藤 誠
【テーマコード（参考）】
3C223
【Ｆターム（参考）】
3C223AA11
3C223BA02
3C223BB08
3C223CC02
3C223DD03
3C223EA09
3C223FF09
3C223FF23
3C223GG01
3C223HH02
(57)【要約】
【課題】本実施形態は、設備、装置、システムなどを使用するユーザの負担を軽減するとともに、表示パネル型操作装置が常備されている設備を、さらにＲＰＡシナリオに基づいて制御する。
【解決手段】ＲＰＡシナリオに基づいて得られるシリアル信号で、設備の動作を制御する設備制御システムである。画像認識部５１２は、前記制御に応答する前記設備の操作状況の画像を認識する。入力ディスプレイ信号利用操り装置６１１は、前記画像認識部５１２の前記画像の認識結果と前記ＲＰＡシナリオに基づいて生成される前記シリアル信号を設備制御装置１０１に送信する。前記入力ディスプレイ信号利用操り装置６１１が含む表示パネルエミュレート機能６１４は、前記ＲＰＡシナリオにより特定された次のシーケンスを実行するためのパネル表示信号を生成し、この信号をエミュレータ表示パネル装置６１７に与え、前記パネル表示信号は、さらに操作位置エンコーダ６１８によりエンコードされる。
【選択図】図２
【解決手段】ＲＰＡシナリオに基づいて得られるシリアル信号で、設備の動作を制御する設備制御システムである。画像認識部５１２は、前記制御に応答する前記設備の操作状況の画像を認識する。入力ディスプレイ信号利用操り装置６１１は、前記画像認識部５１２の前記画像の認識結果と前記ＲＰＡシナリオに基づいて生成される前記シリアル信号を設備制御装置１０１に送信する。前記入力ディスプレイ信号利用操り装置６１１が含む表示パネルエミュレート機能６１４は、前記ＲＰＡシナリオにより特定された次のシーケンスを実行するためのパネル表示信号を生成し、この信号をエミュレータ表示パネル装置６１７に与え、前記パネル表示信号は、さらに操作位置エンコーダ６１８によりエンコードされる。
【選択図】図２
【特許請求の範囲】
【請求項1】
あらかじめ定義したロボテック・プロセス・オートメーション・シナリオ（ＲＰＡシナリオ）に基づいて得られる設備制御用のシリアル信号で、操作対象である設備の動作を制御し、
前記制御に対して、現場の設備制御装置と現場表示パネル装置が応答して、前記設備制御装置は、設備を制御しつつ前記設備の応答から設備操作状況を把握し、前記設備操作状況を示す信号をディスプレイ信号として出力する、設備制御システムであって、
前記ディスプレイ信号の画像を認識する画像認識部と、
前記画像認識部による認識結果と前記ＲＰＡシナリオに基づいて生成される前記シリアル信号を前記設備制御装置に送信する入力ディスプレイ信号利用操り装置と、を有し、
前記入力ディスプレイ信号利用操り装置は表示パネルエミュレート機能を備え、
前記表示パネルエミュレート機能は、
前記ＲＰＡシナリオにより特定される次のシーケンスを実行するための制御信号をパネル表示信号として生成し、このパネル表示信号をエミュレータ表示パネル装置に与え、
さらに前記パネル表示信号を操作位置エンコーダに与えて、前記パネル表示信号を前記シリアル信号にエンコードさせるように構成した、設備制御システム。
前記制御に対して、現場の設備制御装置と現場表示パネル装置が応答して、前記設備制御装置は、設備を制御しつつ前記設備の応答から設備操作状況を把握し、前記設備操作状況を示す信号をディスプレイ信号として出力する、設備制御システムであって、
前記ディスプレイ信号の画像を認識する画像認識部と、
前記画像認識部による認識結果と前記ＲＰＡシナリオに基づいて生成される前記シリアル信号を前記設備制御装置に送信する入力ディスプレイ信号利用操り装置と、を有し、
前記入力ディスプレイ信号利用操り装置は表示パネルエミュレート機能を備え、
前記表示パネルエミュレート機能は、
前記ＲＰＡシナリオにより特定される次のシーケンスを実行するための制御信号をパネル表示信号として生成し、このパネル表示信号をエミュレータ表示パネル装置に与え、
さらに前記パネル表示信号を操作位置エンコーダに与えて、前記パネル表示信号を前記シリアル信号にエンコードさせるように構成した、設備制御システム。
【請求項2】
前記シリアル信号は、実行ログに相当するものであり、この実行ログは、前記ＲＰＡシナリオのシーケンス情報と共に、実行ログ出力部に出力され、記憶装置に格納される、請求項１記載の設備制御システム。
【請求項3】
前記画像認識部が認識した画像は、ＯＣＲ処理したデータを含み、このデータも実行ログとして取り扱われる、請求項１記載の設備制御システム。
【請求項4】
前記表示パネルエミュレート機能は、前記エミュレータ表示パネル装置に設定画面を表示し、この設定画面に対して、前記エミュレータ表示パネル装置の表示画像と他の前記現場表示パネル装置の表示画像との座標オフセットを整合するためのデータ入力ボックスを表示させる、請求項１記載の設備制御システム。
【請求項5】
前記表示パネルエミュレート機能は、前記エミュレータ表示パネル装置に設定画面を表示し、この設定画面に対して、前記シリアル信号の出力端子であるシリアルポートを指定するためのボックスを表示させる、請求項１記載の設備制御システム。
【請求項6】
前記表示パネルエミュレート機能は、前記エミュレータ表示パネル装置に設定画面を表示し、この設定画面に対して、前記シリアル信号の出力端子であるシリアルポートを設定するためのボックス、
パリティービットをセットさせるためのボックス、前記シリアル信号のスピードを設定するためのボックス、フロー制御を設定するためのボックス、ストップビットを設定するためのボックス、データのスピードを設定するためのボックス、ビデオキャプチャデバイスを設定するためのボックス、及びフレームレートを設定するためのボックスの少なくとも２つを表示させる、請求項１記載の設備制御システム。
パリティービットをセットさせるためのボックス、前記シリアル信号のスピードを設定するためのボックス、フロー制御を設定するためのボックス、ストップビットを設定するためのボックス、データのスピードを設定するためのボックス、ビデオキャプチャデバイスを設定するためのボックス、及びフレームレートを設定するためのボックスの少なくとも２つを表示させる、請求項１記載の設備制御システム。
【請求項7】
前記表示パネルエミュレート機能が出力する、前記実行ログを、第３次制御システムにネットワークを介して送信する通信器を備える請求項２記載の設備制御システム。
【請求項8】
ディスプレイ信号の画像を認識する画像認識部と、
前記画像認識部による認識結果とロボテック・プロセス・オートメーション・シナリオ（ＲＰＡシナリオ）に基づいて設備制御用のシリアル信号を生成する入力ディスプレイ信号利用操り装置とを備え、
前記入力ディスプレイ信号利用操り装置は表示パネルエミュレート機能を含み、
前記表示パネルエミュレート機能は、
表示パネル制御部と、
エミュレータ表示パネル装置と、
操作位置エンコーダを有し、
表示パネル制御部は、
前記ＲＰＡシナリオにより特定される次のシーケンスを実行するための制御信号をパネル表示信号として生成し、このパネル表示信号をエミュレータ表示パネル装置に与え、
さらに前記パネル表示信号を操作位置エンコーダに与えて、前記パネル表示信号を前記シリアル信号にエンコードさせ、
前記シリアル信号を、製造関連設備を制御する制御装置に送信するように構成した、
設備制御装置。
前記画像認識部による認識結果とロボテック・プロセス・オートメーション・シナリオ（ＲＰＡシナリオ）に基づいて設備制御用のシリアル信号を生成する入力ディスプレイ信号利用操り装置とを備え、
前記入力ディスプレイ信号利用操り装置は表示パネルエミュレート機能を含み、
前記表示パネルエミュレート機能は、
表示パネル制御部と、
エミュレータ表示パネル装置と、
操作位置エンコーダを有し、
表示パネル制御部は、
前記ＲＰＡシナリオにより特定される次のシーケンスを実行するための制御信号をパネル表示信号として生成し、このパネル表示信号をエミュレータ表示パネル装置に与え、
さらに前記パネル表示信号を操作位置エンコーダに与えて、前記パネル表示信号を前記シリアル信号にエンコードさせ、
前記シリアル信号を、製造関連設備を制御する制御装置に送信するように構成した、
設備制御装置。
【請求項9】
画像認識部と、入力ディスプレイ信号利用操り装置とを用いた設備制御方法において、
前記画像認識部がディスプレイ信号の画像を認識し、
前記入力ディスプレイ信号利用操り装置が、前記認識の結果とロボテック・プロセス・オートメーション・シナリオ（ＲＰＡシナリオ）に基づいて、設備制御用のシリアル信号を生成し、
前記入力ディスプレイ信号利用操り装置が含む表示パネルエミュレート機能が
前記ＲＰＡシナリオにより特定される次のシーケンスを実行するための制御信号をパネル表示信号として生成し、このパネル表示信号をエミュレータ表示パネル装置に与え、
さらに前記パネル表示信号を操作位置エンコーダに与え、前記パネル表示信号を前記シリアル信号にエンコードさせ、
前記シリアル信号を、製造関連設備を制御する制御装置に送信する、
設備制御方法。
前記画像認識部がディスプレイ信号の画像を認識し、
前記入力ディスプレイ信号利用操り装置が、前記認識の結果とロボテック・プロセス・オートメーション・シナリオ（ＲＰＡシナリオ）に基づいて、設備制御用のシリアル信号を生成し、
前記入力ディスプレイ信号利用操り装置が含む表示パネルエミュレート機能が
前記ＲＰＡシナリオにより特定される次のシーケンスを実行するための制御信号をパネル表示信号として生成し、このパネル表示信号をエミュレータ表示パネル装置に与え、
さらに前記パネル表示信号を操作位置エンコーダに与え、前記パネル表示信号を前記シリアル信号にエンコードさせ、
前記シリアル信号を、製造関連設備を制御する制御装置に送信する、
設備制御方法。
【請求項10】
現場の設備制御ＰＣに対してイメージの座標データを起点とした指令を現場表示パネル装置又は通信手段が与えた場合、前記設備制御ＰＣから得られる第１の操作状況イメージデータを受取る手段と、
前記第１の操作状況イメージデータに基づいて、ロボテック・プロセス・オートメーション・シナリオ（ＲＰＡシナリオ）に基づく次のシナリオを特定するＲＰＡと、
第１の操作状況イメージを表示すると共に、前記ＲＰＡが特定した前記次のシナリオに基づいて、前記第１の操作状況イメージを第２の操作状況イメージに変化させるエミュレータ表示パネル装置と、
前記第２の操作状況イメージの少なくとも前記変化した部分の座標データを取り出して、前記現場の設備制御ＰＣへ送信するエンコーダと、を備える設備制御装置。
前記第１の操作状況イメージデータに基づいて、ロボテック・プロセス・オートメーション・シナリオ（ＲＰＡシナリオ）に基づく次のシナリオを特定するＲＰＡと、
第１の操作状況イメージを表示すると共に、前記ＲＰＡが特定した前記次のシナリオに基づいて、前記第１の操作状況イメージを第２の操作状況イメージに変化させるエミュレータ表示パネル装置と、
前記第２の操作状況イメージの少なくとも前記変化した部分の座標データを取り出して、前記現場の設備制御ＰＣへ送信するエンコーダと、を備える設備制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、設備制御システム、設備制御装置、及び設備制御方法に関する。
【背景技術】
【0002】
工場の設備としては、種々の設備がある。これらの設備がとり得る動作期間としては、設備が起動するとき（ウォームアップ時）の動作期間、設備が物を製造しているときの動作期間、設備が停止するとき（クールダウン時）の動作期間、設備が停止中の期間等が存在する。
【0003】
さらに各動作期間では、設備の動作状態や動作機能が時間的に変化する複数の工程が存在する。ここで、設備を現在の工程から次の工程に移行させるための操作信号を設備の駆動システムに対して与えるために、手動操作装置を利用している。ここで、「工程」とは、主として設備が例えばものづくりを行う設備であり、部品を配置したり、部品を加工したり、部品を移動させたり、する各段階のことを言う。したがって工程は、設備に対して複数の操作が段階的に手順を踏んで行われるいわゆるものづくりでの工程を指す。
【0004】
この手動操作は、オペレータにより操作される。オペレータは、手動操作装置のボタンやランプ等の表示内容を目視して、次の操作の可否を判断し、工程遷移のための操作を手動で実施している。
【0005】
しかし、この操作システムであると、設備毎に常駐するオペレータが必要である。また、操作を確実なものとするために、オペレータを教育し熟練したオペレータを育成する期間も必要である。その結果、設備の運転を行うために、従来は多くの人手と育成期間が必要であった。
【0006】
そこで、人手と育成期間を軽減するために、設備の各工程を遷移させるための操作手順（或は操作パターン）に着目した技術がある。この技術では、ロボットが、操作手順に従って自動的に各工程で必要な操作信号を出力するというものである。このロボットによる操作は、ＲＰＡ（Ｒｏｂｏｔｉｃ Ｐｒｏｃｅｓｓ Ａｕｔｏｍａｔｉｏｎ）と称されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０２２－１４２１５号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
ところで、設備を制御する手動操作装置として、タッチパネル型操作装置が増加している。しかしこのタッチパネル型操作装置も手動操作を要するものであり、人手不足の解消や、オペレータの教育・育成期間の緩和が得られているとは言えない。またタッチパネル型操作装置は、設備やメーカにより操作画面のレイアウトなどが異なる場合がある。
【0009】
なお、上記のタッチパネル型操作装置は画面に表示されている操作ボタンにユーザが接触するものであるが、クリックパネル型操作装置も存在する。このクリックパネル型操作装置は、ユーザがマウスを操作し、カーソルを所定の操作ボタンの位置に合わせ、マウスを通じてクリック操作を行うタイプである。このため以降は、タッチパネル型操作装置、クリックパネル型操作装置を共通に表わす用語として、表示パネル装置と称することにする。
【0010】
本発明が解決しようとする課題は、設備、装置、システムなどを使用するユーザ（オペレータ）の負担を軽減するとともに、表示パネル装置が常備されている設備をＲＰＡシナリオに基づいて制御する際に、表示パネル装置のディスプレイ信号を有効活用した、設備制御システム、設備制御装置、設備制御方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
本願の一実施形態によれば、あらかじめ定義したロボテック・プロセス・オートメーション・シナリオ（ＲＰＡシナリオ）に基づいて得られるシリアル信号により、操作対象設備の動作を制御する設備制御システムであって、前記制御に応答する前記操作対象設備の操作状況を、設備制御装置を介して表示する現場表示パネル装置からの画像を認識する画像認識部と、前記画像認識部による認識結果と前記ＲＰＡシナリオに基づいて生成される前記シリアル信号を前記設備制御装置に送信する入力ディスプレイ信号利用操り装置と、を有し、前記入力ディスプレイ信号利用操り装置は表示パネルエミュレート機能を備え、前記表示パネルエミュレート機能は、前記ＲＰＡシナリオにより特定される次のシーケンスを実行するための信号をパネル表示信号として生成し、このパネル表示信号をエミュレータ表示パネル装置に与え、さらに前記パネル表示信号を操作位置エンコーダに与えて、前記パネル表示信号を前記シリアル信号にエンコードさせるように構成した、設備制御システムが提供される。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
以下、実施の形態について図面を参照して説明する。
＜全体概要を説明する＞
図１は、一実施形態の設備制御システムを概略的に示している。符号１１は工場を示し、符号１３は執務室を示している。工場１１と執務室１３は、社内ＬＡＮ１２で接続されている。工場１１内には、第１次制御システム１００と、第２次制御システム２００と、製造関連設備１５が設置されている。製造関連設備１５は、直接製造を行う設備の他に、当該設備の環境を整えるための設備（温度制御設備、空調制御設備、材料・部品・燃料などの補給・搬送設備など）を含むものとする。
＜全体概要を説明する＞
図１は、一実施形態の設備制御システムを概略的に示している。符号１１は工場を示し、符号１３は執務室を示している。工場１１と執務室１３は、社内ＬＡＮ１２で接続されている。工場１１内には、第１次制御システム１００と、第２次制御システム２００と、製造関連設備１５が設置されている。製造関連設備１５は、直接製造を行う設備の他に、当該設備の環境を整えるための設備（温度制御設備、空調制御設備、材料・部品・燃料などの補給・搬送設備など）を含むものとする。
【0014】
製造関連設備１５は、この製造関連設備１５が設置された現場に配置されている第１次制御システム１００により直接的に制御される。
【0015】
第１次制御システム１００は、基本的には、第２次制御システム２００内に設けられているロボティック・プロセス・オートメーション・シナリオ（以降ＲＰＡシナリオと称する）６１５（図２に示す）に基づいて制御される。したがって、第２次制御システム２００は、製造関連設備１５を間接的に制御していると言える。
【0016】
この第２次制御システム２００は、執務室１３内に設けられている第３次制御システム３００により、社内ＬＡＮ１２を介して制御される。したがって、第３次制御システム３００は、第２制御システム２００、第１次制御システム１００を介して製造関連設備１５を間接的に制御すると言える。
【0017】
以後、各制御システム１００、２００、３００をさらに説明する。
第１次制御システム１００は、設備制御パーソナルコンピュータ（以下設備制御ＰＣと記述する）１０１と、現場の操作用表示パネル装置（現場表示パネル装置と称してもよい）１０２と、設備制御ＰＣ１０１との間に設けられた分岐器１０３、１０４を有する。
第１次制御システム１００は、設備制御パーソナルコンピュータ（以下設備制御ＰＣと記述する）１０１と、現場の操作用表示パネル装置（現場表示パネル装置と称してもよい）１０２と、設備制御ＰＣ１０１との間に設けられた分岐器１０３、１０４を有する。
【0018】
分岐器１０３は、設備制御ＰＣ１０１からの応答信号（状況通知信号或はディスプレイ信号或は表示パターン信号と称してもよい）の通知ルートに配置されている。応答信号（ディスプレイ信号）は、分岐器１０３を介して現場表示パネル装置１０２に入力するとともに、ディスプレイ信号キャプチャユニット１０５に入力する。一方、分岐器１０４は、設備制御ＰＣ１０１に対して、タッチ（或はクリック）操作により発生した操作信号（指令信号）の伝送ルートに配置されている。なお、設備制御ＰＣ１０１は、ＯＣＲ（Optical Character Recognition）処理する機能を有するので、ＯＣＲ信号を外部に送出することも可能である。
【0019】
上記の操作信号（指令信号）は、シリアル信号として後述する第２次制御システム２００から与えられる。第２次制御システム２００では、表示パネルに表示されている操作ボタンにユーザがタッチすると、そのタッチ位置の座標データが、指令信号（シリアル信号）になり、第１次制御システム１００の設備制御ＰＣ１０１へ送られる。なお上記の「タッチ」の代わりに、マウスにより、画面上のカーソルが前記操作ボタンの位置に移動され、そしてクリック操作されてもよい。以後の説明では、タッチ操作或はクリック操作により発生した信号を、操作信号と称する。
【0020】
上記の座標データ（操作信号）は、分岐器１０４を介して設備制御ＰＣ１０１を制御する、次に設備制御ＰＣ１０１は、製造関連設備１５を制御する。さらに製造関連設備１５の動作状況が、分岐器１０３を現場表示パネル装置１０２にも与えられる。すると第２次制御システム２００内の表示パネル上の操作状況が、現場表示パネル装置１０２で再生される。したがって、第２次制御システム２００内のＲＰＡシナリオに基づく自動的な操作状況は、現場においても現場表示パネル装置１０２で確認することができる。つまり、現場表示パネル装置１０２で表示されているディスプレイ信号は、製造関連設備１５の制御状態及び制御に基づく設備応答状態を示している。よって現場のユーザは、表示ボタンの点灯位置、表示グラフの状態、或は表示された数値等を目視することにより、製造関連設備１５の制御状態及び応答状態を確認することができる。
【0021】
第２次制御システム２００は、後で図２を参照して詳細に説明することとし、ここでは、簡単に説明する。
【0022】
第２次制御システム２００は、先の分岐器１０３、ディスプレイ信号キャプチャユニット１０５を介して、先のディスプレイ信号を受取り、エミュレータ表示パネル装置６１７（図２に示す）の画面に当該ディスプレイ信号を表示する。これによりユーザは、エミュレータ表示パネル装置６１７の画面上で製造関連設備１５の制御状態及び応答状態を認識することができる。第２次制御システム５００は、ロボティック・プロセス・オートメーション・シナリオ（ＲＰＡシナリオ）６１５（図２に示す）を備えており、製造関連設備１５に対する複数の工程で必要な各操作信号を、シナリオに沿って発生することができる。操作信号は、操作内容に応じて同時に複数発生する場合もある。
【0023】
この操作信号は、分岐器１０４を介して設備制御ＰＣ１０１に入力される。設備制御ＰＣ１０１は、操作信号に基づいて製造関連設備１５を制御する。製造関連設備１５の制御状態及びその応答状態は、設備制御ＰＣ１０１により把握され、制御状態及び応答状態に対応する（制御状態及び応答状態を表す）ディスプレイ信号（表示信号、或は設備状態信号と称してもよい）が分岐器４０３、ディスプレイ信号キャプチャユニット１０５を介して、第２次制御システム２００に入力される。
【0024】
なおディスプレイ信号は、動作開始時に初期の全画面データが第２次制御システム２００に送られる。その後に、製造関連設備１５の自動操作が開始された場合は、部分的なディスプレイ信号、つまり操作（タッチ位置或はクリック位置）に応答した一部のディスプレイ信号（設備自身の応答信号も含む）が第２次制御システム２００に送られればよい。
【0025】
この第２次制御システム２００は、製造関連設備１５の状態を表すディスプレイ信号を、さらに第３次制御システム３００（執務室１３内）に送信することができる。
【0026】
さらに本システムでは、図１に示すように、製造関連設備１５の近くにマイクロホン７０２、スピーカ７０３のいずれか若しくは両者が配置されてもよい。マイクロホン７０２とスピーカ７０３は、第２次制御システム２００のオーディオ信号入出力端子７０１と接続されている。オーディオ信号は、例えば製造関連設備１５の異常動作音或は正常動作音を確認するために利用される。またスピーカ７０３は、遠隔の執務室１３から、現場の作業者に指示が与えられる場合に利用される。
【0027】
図２は、第２次制御システム２００内の各機能ブロックを示している。
第１次制御システム１００から出力された現場表示パネル装置用のディスプレイ信号は、ディスプレイ信号キャプチャユニット１０５でキャプチャされ、ＵＳＢケーブル、ＵＳＢ端子５１１を介して、第２次制御システム２００内の画像認識部５１２に入力される。この画像認識部５１２は、後で説明する入力ディスプレイ信号利用操り装置（manipulator using input display signal）６１１、或は表示パネルエミュレート機能６１４内に組み込まれていてもよい。
第２次制御システム２００は、さらに外部への接続機能として、第３次制御システム３００と接続するための通信器５１３、第１次制御システム１００に操作用の信号を送るための出力端子５１４を備える。
第１次制御システム１００から出力された現場表示パネル装置用のディスプレイ信号は、ディスプレイ信号キャプチャユニット１０５でキャプチャされ、ＵＳＢケーブル、ＵＳＢ端子５１１を介して、第２次制御システム２００内の画像認識部５１２に入力される。この画像認識部５１２は、後で説明する入力ディスプレイ信号利用操り装置（manipulator using input display signal）６１１、或は表示パネルエミュレート機能６１４内に組み込まれていてもよい。
第２次制御システム２００は、さらに外部への接続機能として、第３次制御システム３００と接続するための通信器５１３、第１次制御システム１００に操作用の信号を送るための出力端子５１４を備える。
【0028】
第２次制御システム２００は、内部に画像認識部５１２に接続された入力ディスプレイ信号利用操り装置(以下単純に操り装置等と称する場合もある)６１１を備える。操り装置６１１は、表示パネルエミュレート機能６１４と、ＲＰＡシナリオ６１５（このシナリオのデータは、バッファ回路或は記憶装置６１３に格納されていてもよい）を備える。さらに、操り装置６１１は、システム全体の動作順序、セキュリティー機能などを統括制御するシステム制御部（システムＣＰＵと称してもよい）６１２、記憶装置６１３を備える。また、システム制御部（システムＣＰＵと称してもよい）６１２は、記憶装置６１３に格納されているソフトウエアに基づいて、エミュレート機能６１４に種々の動作を実行させることができる。
【0029】
上記の表示パネルエミュレート機能６１４は、表示パネル制御部６１６を含み、この表示パネル制御部６１６を介して、エミュレータ表示パネル装置６１７、クリック／タッチ変換部（操作位置エンコーダと称してもよい）６１８を制御する。さらに、表示パネルエミュレート機能６１４は、ＲＰＡシナリオに基づいて第１次制御システム１００を操ることで、製造関連設備１５を制御する。
【0030】
さらに表示パネルエミュレート機能６１４は、表示パネル制御部６１６の動作状況をログデータとして出力する。例えば製造関連設備１５を制御するために出力端子５１４を介して出力した操作信号を実行ログ（操作ログと称してもよい）として、出力部６２２から出力することができる。この場合、実行ログには、操作信号の他に操作工程を識別するためにＲＰＡシナリオのシーケンス情報（例えば工程番号）も含めている。また、実行ログとしては、操作信号の実行ログだけでなく、画像認識部５１２で認識されたディスプレイ信号（文字、グラフなどの表示信号）と、これに対応するシーケンス情報も含まれる。
【0031】
また、操作工程の途中でクラッシュが生じた場合は、クラッシュログとして出力部６２３から出力することができる。この場合も、クラッシュログには、シナリオの工程を識別するためにＲＰＡシナリオのシーケンス情報（例えば工程番号）も含めている。
【0032】
上記の実行ログやクラッシュログは、記憶装置６１３に格納される。上記のようにログの種類としては、表示パネルエミュレート機能６１４が、外部から入力したディスプレイ信号を認識した場合の実行ログ（受信時ログ）と、現場表示パネル装置１０２を制御するための実行ログ（出力時ログ）と、クラッシュログが少なくとも存在する。これらのログデータは、発生した時間時刻など、上記した各種の参考情報を含む。このため過去のログデータを、種々の解析や検証のために活用することができる。
【0033】
さらに表示パネルエミュレート機能６１４は、動作モード設定部６２４に接続されている。この動作モード設定部６２４は、表示パネルエミュレート機能６１４に対して、外部から動作モードを設定する場合に利用される。例えば、表示パネルエミュレート機能６１４に対して、第３次制御システム３００から、一時停止指令を与えたり、記憶装置６１３に対し新しいソフトウエアを書き込ませたり、ＲＰＡシナリオの一部の修正、書き換え、追加などを行うことが可能である。またＲＰＡシナリオ６１５は、そのシナリオの一部の修正、書き換えの他に、別のＲＰＡシナリオを格納しているメモリカードと交換可能としていてもよい。
【0034】
また表示パネルエミュレート機能６１４は、後でも詳しく説明するが、自身の機能を、操作画面を通じて各種設定することが可能である。例えば、エミュレータ表示パネル装置６１７の動作と、第１次制御システム１００の現場表示パネル装置１０２の動作との整合性を得ることができる。設定する項目としては、信号方式、シリアルポートの設定、表示パネル座標のオフセット設定、ディスプレイ信号キャプチャデバイスの設定、フレームレートなどがある。
【0035】
また、オーディオ信号入出力端子７０１は、音声処理部７０４に接続されており、この音声処理部７０４は、通信器５１３を介して執務室の業務用ＰＣ３０１と連携することができる。音声処理部７０４は、表示パネルエミュレート機能６１４と一体に構成されていてもよいし、独立して設けられていてもよい。さらに音声処理部７０４の入出力データは、記憶装置６１３に記憶されてもよい。
【0036】
図３は、上記した第１次制御システム１００、第２次制御システム２００、第３制御システム３００の相互の関連動作を時間経過に沿って示している。図２及び図３を参照してシステム動作の概要を説明する。
＜第１工程操作の説明＞
今、ユーザが、第３次制御システム３００の業務用ＰＣ３０１の表示パネルを利用して、製造関連設備１５に対して、ある操作を行ったとする。図の例では、操作内容は、製造関連設備１５の起動操作、或は物づくり開始操作、などいずれでもよいものとする。
＜第１工程操作の説明＞
今、ユーザが、第３次制御システム３００の業務用ＰＣ３０１の表示パネルを利用して、製造関連設備１５に対して、ある操作を行ったとする。図の例では、操作内容は、製造関連設備１５の起動操作、或は物づくり開始操作、などいずれでもよいものとする。
【0037】
業務用ＰＣ３０１は、オペレータからの起動操作或は物づくり開始操作などの操作指示の操作内容を判定し（Ｓ１１）、作業開始信号を第２次制御システム２００に送信する。すると、第２次制御システム２００の表示パネルエミュレート機能６１４が、作業開始信号の内容を認識する（Ｓ２１）。次に表示パネルエミュレート機能６１４は、複数のＲＰＡシナリオ６１５の中から作業に対応するシナリオを特定する（Ｓ３１）。例えば、表示パネルエミュレート機能６１４は、作業開始信号に含まれる作業コードと、この作業コードが付加されて管理されているＲＰＡシナリオを特定し、特定情報を表示パネル制御部６１６に通知する。
【0038】
表示パネル制御部６１６は、シナリオを認識し、当該シナリオに対応する初期操作画面を表示するためのディスプレイ信号を記憶装置６１３から読出し、エミュレータ表示パネル装置６１７に与える。
【0039】
さらに表示パネルエミュレート機能６１４は、表示パネル制御部６１６を介して、シナリオに設定されている第１操作工程を実行するための操作信号（座標データ）を発生する。この操作信号はエミュレータ表示パネル装置６１７に与えられ、エミュレータ表示パネル装置６１７の画面は、操作信号を反映した状態に変化する。また同時に、操作信号（座標データ）は、クリック／タッチ変換部（操作位置エンコーダ）６１８により、所定のフォーマットのシリアル信号に変換されて、出力端子５１４へ出力される（Ｓ２２）。
【0040】
第１次制御システム１００では、上記のシリアル信号を受取る。なお、現場表示パネル装置１０２の表示状態は、第１次制御システム１００の電源がオンされた時点で、初期画面が表示されている。
【0041】
現場表示パネル装置１０２の表示状態は、上記のシリアル信号を受けた時点で、先のエミュレータ表示パネル装置６１７と同じ表示状態となる（Ｓ５１）。
【0042】
さらに上記のシリアル信号は、設備制御ＰＣ１０１にも入力される。設備制御ＰＣ１０は、シリアル信号に基づいて操作内容を判断し、操作（制御）信号を製造関連設備１５に与える（Ｓ４１）。
【0043】
製造関連設備１５は、設備制御ＰＣ１０１からの制御信号に基づいて動作し、その応答動作を実行する（Ｓ６１）。この応答動作は、設備制御ＰＣ１０１により確認される（Ｓ４２）。確認方法は各種あり、例えばセンサ、エンコーダなどの出力状態で確認される。
【0044】
設備制御ＰＣ１０１は、応答動作を確認すると、確認信号（具体的には例えば動作完了ボタン表示用の例えば座標データ）を現場表示パネル装置１０２と表示パネルエミュレート機能６１４に返信する（Ｓ４３）。これにより現場表示パネル装置１０２は、第１工程の動作が実行されたことを示す表示を行う（Ｓ５２）。なおこの実施形態では、座標データがＶＧＡ信号をも示す（含む）ものとする。また表示パネルエミュレート機能６１４は、第１工程の動作が実行されたことを認識し（Ｓ２３）、エミュレータ表示パネル装置６１７を制御する。これにより、エミュレータ表示パネル装置６１７も第１工程の動作が実行されたことを示す状況表示を行う（Ｓ２３）。
【0045】
さらに第２次制御システム２００は、第３次制御システム３００にも第１工程の動作が実行されたことを示す表示情報を送信する。この時の表示情報は、先の座標データ（シリアル信号）と同じフォーマットでもよいし、他のフォーマットでもよい。
【0046】
これにより、第３次制御システム３００の業務用ＰＣ３０１に接続された表示装置と、第２次制御システム２００に設置されているエミュレータ表示パネル装置６１７と、第１次制御システム１００に設けられている現場表示パネル装置１０２には、同じ内容の情報が表示される（Ｓ１２）。
【0047】
さらに第２次制御システム２００（具体的には操り装置６１１或は表示パネルエミュレート機能６１４）は、少なくとも上記した、第１工程の動作を指示するシリアル信号を出力端子５１４へ出力したことと、第１工程の動作が実行されたことを認識したことを示す実行ログを発生する。この実行ログは、例えば記憶装置６１３に保存される。記憶装置６１３のデータは、定期的にシステム制御部６１２により制御されて、第３次制御システム３００に送信されるか、又は第３次制御システム３００からの要請に応答して送信される。
＜第２工程操作の説明＞
さらに上記の表示パネルエミュレート機能６１４は、ＲＰＡシナリオの次の工程操作（第２工程操作）のためのシナリオを確認する（Ｓ２３）。
＜第２工程操作の説明＞
さらに上記の表示パネルエミュレート機能６１４は、ＲＰＡシナリオの次の工程操作（第２工程操作）のためのシナリオを確認する（Ｓ２３）。
【0048】
そして、このシナリオの確認に基づいて、表示パネルエミュレート機能６１４は、表示パネル制御部６１６を介して、シナリオに設定されている第２操作工程を実行するための操作信号（座標データ）を発生する。この操作信号はエミュレータ表示パネル装置６１７に与えられ、エミュレータ表示パネル装置６１７の画面は、当該操作信号を反映した状態に変化する。また同時に、操作信号は、クリック／タッチ変換部（操作位置エンコーダ）６１８により、所定のフォーマットのシリアル信号に変換されて、出力端子５１４へ出力される（Ｓ２４）。
【0049】
この場合も第１次制御システム１００では、上記のシリアル信号に基づいて、現場表示パネル装置１０２の表示状態がエミュレータ表示パネル装置６１７と同じ表示状態となる（Ｓ５３）。また上記のシリアル信号は、設備制御ＰＣ１０１に入力される。設備制御ＰＣ１０１は、シリアル信号に基づいて操作内容を判断し、設備操作のための制御信号を製造関連設備１５に与える（Ｓ４４）。
【0050】
製造関連設備１５は、設備制御ＰＣ１０１からの制御信号に基づいて動作し、その応答動作を実行する（Ｓ６２）。この応答動作は、設備制御ＰＣ１０１により確認される（Ｓ４５）。
【0051】
設備制御ＰＣ１０１は応答動作を確認すると、確認信号（具体的には動作確認ボタン表示用の座標データ）を現場表示パネル装置１０２と表示パネルエミュレート機能６１４に返信する（Ｓ４６）。これにより現場表示パネル装置１０２は、第２工程の動作が実行されたことを示す表示を行う（Ｓ５４）。また表示パネルエミュレート機能６１４は、第２工程の動作が実行されたことを認識し（Ｓ２５）、エミュレータ表示パネル装置６１７を制御する。これにより、エミュレータ表示パネル装置６１７も第２工程の動作が実行されたことを示す表示を行う。
【0052】
さらに第２次制御システム２００は、第３次制御システム３００にも第２工程の動作が実行されたことを示す表示情報を送信する。また、さらに上記の表示パネルエミュレート機能６１４は、ＲＰＡシナリオの次の工程操作（第２工程操作）のためのシナリオを確認する（Ｓ２５）。
【0053】
次のシナリオが存在する場合には、上記した第１工程操作、第２工程操作と同様な操作が繰り返される。ステップＳ２６、Ｓ５５、Ｓ４７、Ｓ６３、Ｓ４８、Ｓ４５、Ｓ５６、Ｓ２７は、第ｎ工程操作が実行された場合のシーケンスを表している。表示パネルエミュレート機能６１４は、ステップＳ２２において、シナリオの最終工程を確認した場合は、エミュレータ表示パネル装置６１７にシナリオ（操作工程）が全て達成されたことを表示させる。また表示パネルエミュレート機能６１４は、最終工程が完了したことを第３次制御システム３００にも通知する。なおシナリオの各工程は、シーケンス情報により識別されている。
【0054】
この段階で、第３次制御システム３００は、表示パネルエミュレート機能６１４に対して、記憶装置６１３に格納されているログデータを要求してもよい（Ｓ１５）。
【0055】
上記の第１から第ｎ工程操作がさらに繰り返される場合は、ＲＰＡシナリオの最終シナリオに、第１工程操作に戻るための指示が記述されている。さらに繰り返し操作を制限するための時間情報、期間情報、繰り返しの上限回数情報が最終シナリオに含まれていてもよい。
【0056】
図４は、図２、図３で示したエミュレータ表示パネル装置６１７とクリック／タッチ変換部（操作位置エンコーダ）６１８の関係を説明するための図である。ここでは、特にクリック／タッチ変換部（操作位置エンコーダ）６１８の機能ブロックを示している。エミュレータ表示パネル装置６１７が、操作（タッチ或はクリック）されると、タッチ或はクリック位置の位置データが取得（検知）される（６８ａ）。
【0057】
タッチパネルの場合、例えば表示パネル内には、画像を表示するために画素電極が２次元に配列されている。またタッチ位置を検知するために、表示パネル内には、タッチ検出電極が２次元に配列されている。タッチ位置検出機能は、タッチ操作があると、検出電極と共通電極との間の容量変化が生じることを検出する。つまり、容量変化した検出電極が読出しラインを介して検出され、この時の検出信号がタッチ位置検出データとして利用される。
【0058】
一方、クリック位置検出機能は、画像内で特定のパターン及びレベルのカーソル（ポインタ）を表示する。そしてこの機能は、ユーザのマウス操作に応じて画像上の任意の位置にカーソルを移動可能なカーソル移動制御回路を有する。さらにこの機能は、カーソルの画面上の座標データの変化を常時追跡し、カーソルの現在位置データを把握するカーソル追跡回路を備える。そしてこの機能は、マウスからのクリック操作があったときの現在位置データ（座標データ）をラッチするラッチ回路を有する。このラッチ回路の出力が、クリック位置検出データ（座標データ）として用いられる。
【0059】
次に上記のクリック又はタッチ位置検出データ（座標データ）は、座標取得部６８ａに一旦保持される。次に座標変換機能６８ｂにより、予め設定しているオフセット値に基づいて、現場表示パネル装置１０２に整合する座標データに変換される。この座標データは、操作信号送出機能６８ｃにより、操作信号として第１次制御システム１００の分岐器１０４へ送信される。このとき操作信号送出機能６８ｃは、このときの操作信号を実行ログとして出力部６２２へ出力する。
【0060】
上記したように、本システムでは、表示パネルエミュレート機能６１４は、クリック／タッチ変換部（操作位置エンコーダ）６１８を有するために、現場表示パネル装置１０２に整合する座標データ（操作信号）を送信することができる。
【0061】
図５Ａ、図５Ｂ、図５Ｃ、図５Ｄは、上記したエミュレータ表示パネル装置６１７が表示可能な各種の画面６１７ａ、６１７ｂ、６１７ｃ、６１７ｄの例を示している。これら画面例は、エミュレータ表示パネル装置６１７が、各種のタイプの現場表示パネル装置１０２に整合するための高い整合能力を持つように工夫されていることを示している。
【0062】
図５Ａは、図３のエミュレータ表示パネル装置６１７のメイン操作画面６１７ａの例を示す説明図である。メイン操作画面６１７ａにおいて、表示領域６７ａには、操作の「開始ボタン」を表示し、表示領域６７ｂには、操作の「停止ボタン」を表示する。
【0063】
メイン操作画面６１７ａが表示された場合は、タイトルバーとして「タッチパネルエミュレータ」が表示される。またメニューバーが表示され、メニューバーの領域には「ファイル（Ｆ）」６７ｇ、「ヘルプ（Ｈ）」６７ｈと言う表記がなされている。この表記は、後述する設定画面に移行するための操作ボタンである。これらはウィンドウズ（登録商標）の機能が利用されている。
【0064】
画面内において、
表示領域６７ｄには、製造設備が加工しようとする個体識別番号（ここでは「０１２３」）を表示する。
表示領域６７ｅには、製造設備が加工しようとする製品識別名（ここでは「ａｂｃｄ」）を表示する。
表示領域６７ｆには、製造設備が加工するための圧力などのセンサ設定値もしくは加工している最中のセンサ値（ここでは「９８７６」）を表示する。
表示領域６７ｃには、製造設備が加工している最中のセンサ値の変化をグラフ形式で表示する。
上記は第２次制御システム２００が第１次制御システム１００に接続され、設備１５の試運転などが行われた後、調整を行う段階での画面例である。この画面は一例であり、制御目的や監視目的に対するユーザの要望に応じて任意に変更可能である、また、複数項目が同時に表示された状態、或は個別の項目が単一で表示された状態に切り替え可能であってもよい。例えば、緊急時に特別な操作が行われる場合は、ＲＰＡシナリオの切り替わりとともに、自動的に表示形態も切り替わる。この場合は、緊急用のＲＰＡシナリオが読み出され、対応するビデオデータが記憶装置６１３から読み出される。このケースでは、第１次制御システム側の現場表示パネル１０２は、緊急時に表示する画像データを最初から備えるものとする。
表示領域６７ｄには、製造設備が加工しようとする個体識別番号（ここでは「０１２３」）を表示する。
表示領域６７ｅには、製造設備が加工しようとする製品識別名（ここでは「ａｂｃｄ」）を表示する。
表示領域６７ｆには、製造設備が加工するための圧力などのセンサ設定値もしくは加工している最中のセンサ値（ここでは「９８７６」）を表示する。
表示領域６７ｃには、製造設備が加工している最中のセンサ値の変化をグラフ形式で表示する。
上記は第２次制御システム２００が第１次制御システム１００に接続され、設備１５の試運転などが行われた後、調整を行う段階での画面例である。この画面は一例であり、制御目的や監視目的に対するユーザの要望に応じて任意に変更可能である、また、複数項目が同時に表示された状態、或は個別の項目が単一で表示された状態に切り替え可能であってもよい。例えば、緊急時に特別な操作が行われる場合は、ＲＰＡシナリオの切り替わりとともに、自動的に表示形態も切り替わる。この場合は、緊急用のＲＰＡシナリオが読み出され、対応するビデオデータが記憶装置６１３から読み出される。このケースでは、第１次制御システム側の現場表示パネル１０２は、緊急時に表示する画像データを最初から備えるものとする。
【0065】
図５Ｂは図３のエミュレータ表示パネル装置６１７の閲覧モードオフを表示した場合の画面６１７ｂの例を示す図である。閲覧モードオフの画面６１７ｂが表示された場合は、タイトルバーとして「タッチパネルエミュレータ閲覧モードオフ」が表示される。この画面６１７ｂにおいても、メニューバーの領域に、設定画面に移行するため操作ボタンである「ファイル（Ｆ）」６７ｇ、「ヘルプ（Ｈ）」６７ｈ」がある。
【0066】
図５Ｃは、メニューバーの「ファイル（Ｆ）」６７ｇがタッチ又はクリックされた場合に表示される設定画面６１７ｃである。
【0067】
この画面６１７ｃには、出力端子５１４からシリアル信号として出力される操作信号のための設定部が存在する。即ち、
ボックス６７ｊは、シリアルポートを設定するためのボックスであり、複数あるシリアルポートの中から対応する第１次制御システム１００へ接続するポートが選択される。
ボックス６７ｋは、シリアル信号に付加するパリティービットを選択するためのボックスである。
ボックス６７ｍは、シリアル信号の１秒当たりの伝送ビット数を選択するためのボックスである。
ボックス６７ｎは、フロー制御を実行するための制御データの指定を行うボックスである。本システムを構成する第１次制御システムは各種存在し、このため第１次制御システムにより処理速度の違いがあり、その多様性に対応するためにこの設定部が存在する。
フロー制御が使用される場合は、事前に例えば、次のような準備が行われている。設計者又はユーザは、システムのＲＰＡシナリオＡ1に基づくシリアル信号を第１次制御システムに送信する。次ぎに第１次制御システムから戻ってくるディスプレイ信号の応答時間を予め測定する。そして次のＲＰＡシナリオＡ２に基づく次のシリアル信号を送信する場合、前記応答時間に応じて設定する。即ち、当該次のシリアル信号が、バッファ回路から出力される遅延時間を適切なタイミングに設定し、第１次制御システムが確実に当該シリアル信号を受取れるように設定する。なお上記設定用のプログラムは、入力ディスプレイ信号利用操り装置６１１に導入されているものとする。
ボックス６７ｊは、シリアルポートを設定するためのボックスであり、複数あるシリアルポートの中から対応する第１次制御システム１００へ接続するポートが選択される。
ボックス６７ｋは、シリアル信号に付加するパリティービットを選択するためのボックスである。
ボックス６７ｍは、シリアル信号の１秒当たりの伝送ビット数を選択するためのボックスである。
ボックス６７ｎは、フロー制御を実行するための制御データの指定を行うボックスである。本システムを構成する第１次制御システムは各種存在し、このため第１次制御システムにより処理速度の違いがあり、その多様性に対応するためにこの設定部が存在する。
フロー制御が使用される場合は、事前に例えば、次のような準備が行われている。設計者又はユーザは、システムのＲＰＡシナリオＡ1に基づくシリアル信号を第１次制御システムに送信する。次ぎに第１次制御システムから戻ってくるディスプレイ信号の応答時間を予め測定する。そして次のＲＰＡシナリオＡ２に基づく次のシリアル信号を送信する場合、前記応答時間に応じて設定する。即ち、当該次のシリアル信号が、バッファ回路から出力される遅延時間を適切なタイミングに設定し、第１次制御システムが確実に当該シリアル信号を受取れるように設定する。なお上記設定用のプログラムは、入力ディスプレイ信号利用操り装置６１１に導入されているものとする。
【0068】
ボックス６７ｐは、システム間の非同期動作に対応するためにシリアル信号の最後にストップビットを設定するためのボックスである。なおボックスは、必ずしもボックスである必要はなく、操作を実現するためのマークであればよい。
【0069】
また、タッチ／クリックパネル座標オフセットに対応するためのボックス６７ｑ、６７ｒが用意されている。即ち、第１次制御システム１００の現場表示パネル装置１０２の各種ボタンの表示座標データと、エミュレータ表示パネル装置６１７の各種ボタンの表示座標データは、必ずしも１対１で対応しているわけではない。現場表示パネル装置１０２とエミュレータ表示パネル装置６１７の対応する操作ボタンの操作位置では、座標にオフセットがある。そこで、本システムでは、画面上で、例えば左上のＸ座標とＹ座標、右下のＸ座標とＹ座標のオフセット値を入力可能としている。このときの調整は、現場表示パネル装置１０２とエミュレータ表示パネル装置６１７の両方をユーザが目視して調整してもよい。
【0070】
上記ように、少なくとも表示パネルエミュレート機能６１４は、エミュレータ表示パネル装置６１７に設定画面を表示し、この設定画面に対して、エミュレータ表示パネル装置６１７の表示画像と他の現場表示パネル装置１０２の表示画像との座標オフセットを整合するためのデータ入力ボックス６７ｑ、６７ｒを表示させることができる。
【0071】
また、本システムのエミュレータ表示パネル装置６１７は、操作画面モードと、閲覧画面モードを持つことができる。そこで、閲覧モードのオン、オフ設定ボタンも設けられている。さらにまた、第１次制御システム１００から第２次制御システム２００は、ディスプレイ信号キャプチャユニット１０５を介してディスプレイ信号を受取る。そこで、ディスプレイ信号キャプチャユニット１０５のデバイスＩＤを指定することも可能である。そのためのボックス６７ｔが用意されている。
【0072】
また、ディスプレイ信号を処理する（受信する）フレームレートを設定するためのボックス６７ｕも設けられている。これは、設備によっては、図３で説明した１つ１つの操作工程の時間区間が長いものがある。このような場合は、１操作工程で多数回同じ画面の内容（操作状況）を監視（認識）する必要が無い。そこで、このような場合は、フレームレートを調整可能としている。
【0073】
上記の各設定について、例えばユーザがマニュアルや仕様書を確認した上で確定することができるように次のボタンが用意されている。設定が誤っていない場合は、当該設定を確定するための「ＯＫ」ボタン、設定が誤っている場は、当該設定をキャンセルするための「キャンセル」ボタンが用意されている。
【0074】
図５Ｄは、図３のエミュレータ表示パネル装置６１７のさらに他の操作画面６１７ｄの例を示す説明図である。この画面６１７ｄは、画面６１７ａ，或は６１７ｂにおいて、メニューバーの領域「ヘルプ（Ｈ）」６７ｈ」が選択されたときに表示される画面である。
【0075】
この画面６１７ｄでは、表示パネルエミュレート機能６１４のバージョン情報が表示される。
【0076】
図６は、図５Ｃの画面を表示させるまでの画面遷移の例を示している。図５Ａ、図５Ｃと同一部分には同一符号を付している。画面６１７ａの「ファイル（Ｆ）」６７ｇがクリック又はタッチ操作されると、画面６１７ａにピクチャーインされたメニュー画面Ｐ１１が表示される。このメニュー画面Ｐ１１には、項目として「設定Ｕ」、「スナップショットＳ」、「終了Ｘ」が表示される。
【0077】
項目の「設定Ｕ」がクリック又はタッチ操作されると、先に説明した各種設定用の画面６１７ｃが表示される。ユーザは、この画面６１７ｃを利用して、表示パネルエミュレート機能６１４の各種設定を行う。設定終了後、「ＯＫ」ボタン、或は「キャンセル」ボタンが操作されると、元の、画面６１７ａに戻る。
【0078】
なお、項目の「スナップショットＳ」が操作された場合は、操作時点のディスプレイ信号（或は設備状況信号）が、その時点の時間情報・設備ＩＤと共にたとえば記憶装置６１３に保存される。項目「終了Ｘ」が操作された場合は、ウィンドウが閉じられ、アプリケーションが終了する。
【0079】
図７は、図５Ｄの画面６１７ｄを表示させるまでの画面遷移の例を示している。図５Ａ、図５Ｄと同一部分には同一符号を付している。図５Ｄの画面６１７ｄを表示させる場合は、
画面６１７ａの「ヘルプ（Ｈ）」６７ｈがクリック又はタッチ操作されると、画面６１７ａにピクチャーインされたメニュー画面Ｐ１２が表示される。このメニュー画面Ｐ１２には、「バージョン情報Ａ」が記述されている。ユーザが、この「バージョン情報Ａ」をクリック又はタッチ操作すると、画面６１７ｄが表示される。この画面６１７ｄには、入力ディスプレイ信号利用操り装置６１１の例えば商品名とそのバージョン情報、及び製造メーカ名が表示される。画面６１７ｄにおいて、「ＯＫ」ボタンが操作されると、元の、画面６１７ａに戻る。
画面６１７ａの「ヘルプ（Ｈ）」６７ｈがクリック又はタッチ操作されると、画面６１７ａにピクチャーインされたメニュー画面Ｐ１２が表示される。このメニュー画面Ｐ１２には、「バージョン情報Ａ」が記述されている。ユーザが、この「バージョン情報Ａ」をクリック又はタッチ操作すると、画面６１７ｄが表示される。この画面６１７ｄには、入力ディスプレイ信号利用操り装置６１１の例えば商品名とそのバージョン情報、及び製造メーカ名が表示される。画面６１７ｄにおいて、「ＯＫ」ボタンが操作されると、元の、画面６１７ａに戻る。
【0080】
【0081】
次に図８から図１０において、初めて第２次制御システム２００が第１次制御システムに接続された場合、或は第２次制御システム２００が交換された場合のエミュレータ表示パネル装置６１７の画面の変化について説明する。特に本システムでは、エミュレータ表示パネル装置６１７と現場表示パネル装置１０２とが、設備を操作する操作機能上で、整合している必要がある。このために、エミュレータ表示パネル装置６１７に対して種々の項目を設定する必要がある。
【0082】
図８は、図３の第２次制御システム２００を第１次制御システム１００に接続し、スタートさせたときにエミュレータ表示パネル装置６１７の画面に表示される画像例を示している。また、図９は図８のエミュレータ表示パネル装置６１７の画面が設定操作画面に切り換えられたときの画面例を示す。さらに、図１０は図８のエミュレータ表示パネル装置の画面がバージョン情報確認画面に切り換えられたときの画面例を示す。以下、なお図４から図７と同一部分には、同一符号を付して説明する。
【0083】
図８に示すように、第２次制御システム２００を第１次制御システム１００に接続し、電源をオンすると、エミュレータ表示パネル装置６１７には、第１次制御システム１００の現場表示パネル装置１０２の操作画面と同じ画面が表示される。このディスプレイデータは、第１次制御システム１００の設備制御ＰＣ１０１から送られてきても良いし、予め記憶装置６１３に記録されているデータであってもよい。
【0084】
このように、制御対象となる製造関連設備１５側の現場表示パネル装置１０２の操作画面と同じ画面を表示することにより、ユーザは、第２次制御システム２００を誤った第１次制御システムに接続することが防止される。
【0085】
また、現場表示パネル装置１０２の操作画面のみならず、製造関連設備１５の外観映像あるいは、その特徴的な外観イメージ映像、或は特徴を表すマーク映像が表示されるように構成しても、ユーザは、第２次制御システム２００を誤った第１次制御システムに接続することが防止される。
【0086】
次にユーザは、エミュレータ表示パネル装置６１７と現場表示パネル装置１０２との整合を行うための設定を行う。例えばメニューバーの領域の「ファイル（Ｆ）」６７ｇに対するタッチ或はクリックを行うと、画面６１７ａにピクチャーインされたメニュー画面Ｐ１１が表示される。このメニュー画面Ｐ１１には、項目として「設定Ｕ」、「スナップショットＳ」、「終了Ｘ」が表示される。
【0087】
ユーザが「設定Ｕ」をタッチ又はクリックすると、設定画面６１７ｃが表示される。この画面には、図６で説明した設定画面と同様に各種の設定用のボックス（マーク）が表示される。図６と同一部分には、同一符号を付して説明は省略するが、図６の設定画面とのボックスの配置位置と、図９の設定画面とのボックスの配置位置は異なってもよい。
【0088】
またボックス６７ｗが表示されているが、これは、１単位となるデータ（Ｄ）のデータ長を設定するためのボックスである。図の例では、８ビットが設定されている。なおこの表示例は一例であり、バイト長、単位となるバイト数が使用されてもよく、第２次制御システムの取り扱い説明書に従うことになる。
【0089】
上記の設定画面６１７ｃは、図５Ｃ、図６で説明した設定画面と置き換えてもよい。図９の画面は、上部から、閲覧モードのオンオフに関する設定領域、タッチパネルのタッチ信号の方式や、タッチパネルの座標設定に関する設定領域、シリアルポートに関する設定領域、画像信号に関する設定領域が枠で区分されている。このため、ユーザにとって各種設定時の作業の種類が分かり易い。
【0090】
図１０は、画面６１７ａの「ヘルプ（Ｈ）」６７ｈがクリック又はタッチ操作され、画面６１７ａにピクチャーインされたメニュー画面Ｐ１２が表示された状態と、このメニュー画面Ｐ１２の「バージョン情報Ａ」がクリック又はタッチ操作された場合を示している。
画面Ｐ１２の「バージョン情報Ａ」が操作されると、「バージョン情報」を確認するための画面６１７ｄが表示される。この画面６１７ｄには、入力ディスプレイ信号利用操り装置６１１の例えば商品名とそのバージョン情報、及び製造メーカ名が表示される。画面６１７ｄにおいて、「ＯＫ」ボタンが操作されると、元の、画面６１７ａに戻る。
画面Ｐ１２の「バージョン情報Ａ」が操作されると、「バージョン情報」を確認するための画面６１７ｄが表示される。この画面６１７ｄには、入力ディスプレイ信号利用操り装置６１１の例えば商品名とそのバージョン情報、及び製造メーカ名が表示される。画面６１７ｄにおいて、「ＯＫ」ボタンが操作されると、元の、画面６１７ａに戻る。
【0091】
図１１は本発明の実施形態の他の例を示す図である。先の図１、図２に示した実施形態は、第１次制御システム１００と第２次制御システム２００とが一対一の構成例を示した。しかし、第１次制御システム１００と第２次制御システム２００とが複数対一の関係であってもよい。このような構成を実現した場合、第２次制御システム２００において、図５Ａから図５Ｄ、図６、図７において説明した各種の設定機能が有効に活用される。
【0092】
図１１の例は、複数（２つ）の第１次制御システム１００Ａ，１００Ｂがそれぞれ設備１５Ａ、１５Ｂを制御することを想定した図である。この場合、第２次制御システム２００と、第１次制御システム１００Ａ，１００Ｂの間に第１次制御システムを任意に選択できる選択スイッチ１１００が配置される。
【0093】
この選択スイッチ１１００は、第２次制御システム２００を第１次制御システム１００Ａに接続した状態と、第１次制御システム１００Ｂに接続した状態とを選択的に得ることができる。図１１の例は、第２次制御システム２００が第１次制御システム１００Ｂに接続した状態を示している。つまり、選択スイッチ１１００が、第１次制御システム１００Ｂを選択している様子を示している。
【0094】
この実施形態では、第２次制御システム２００の操り装置６１１内には、第１次制御システム１００Ａ用のＲＰＡシナリオ６１５Ａと、第１次制御システム１００Ｂの用のＲＰＡシナリオ６１５Ｂが用意されている。また、第２次制御システム２００のシステム制御部６１２からは、上記の選択スイッチ１１００のシステム制御状態を切り替えるためのスイッチ制御信号が出力されている。選択スイッチ１１００の切り替えタイミングは、第１次制御システム１００Ａの設備１５Ａを制御・監視するのに必要な期間の繰り返し周波数と、第１次制御システム１００Ｂの設備１５Ａを制御・監視するのに必要な期間の繰り返し周波数とに、関係して設定されている。例えば３０秒のうち「１０秒」を設備１５Ａの制御・監視に割り当て、３０秒を設備１５Ｂの制御・監視に割り当てるような設定も可能となる。この場合、設備１５Ａと設備１５Ｂの制御・監視のタイミングで、エミュレータ表示パネルの背景画面の色が変化してもよい。
【0095】
本発明は、上記の実施形態に限定されるものではない。入力ディスプレイ信号利用操り装置６１１は、さらに現場表示パネル装置１０２の輝度を制御する操作機能を有してもよい。例えば輝度を明るくする期間は、例えば現場にユーザが居るときのみに設定することもできる。この設定は、第３次制御システム３００のオペレータが行ってもよい。この機能を持つことで、節電及び操作ボタンなどの秘匿を行うことが可能となる。
【0096】
本システムでは、操作状況や設備動作状況の表示は、パネルに表示されるボタン等の表示信号の座標データが利用されている。定期的、或は、ランダムに、ボタン等の表示位置を変更するとともに、操作信号及び設備動作状況信号を表示するための座標データも容易に変更することが可能である。これにより、設備の操作に関する秘匿処理が可能である。同時に表示パネル装置の輝度を落として、外部から画像が把握されないようにすることで、秘匿処理が一層向上する。
【0097】
上記の対策を行うために、送信側と受信側に座標データの整合用（同期用）ソフトウエアを付加する。例えば、エミュレータ表示パネル装置６１７と現場表示パネル装置１０２に、ソフトウエア切替えボタン（通常は表示されていなくてもよい）が設けられている。例えば、ＲＰＡシナリオが多数回（予め設定された回数）繰り替えされたときに発生する特別なシナリオが設定されている。この特別なシナリオは、設備操作のためのタッチ位置或はクリック位置を示す座標データではなく、前記ソフトウエア切替えボタンを指定するための座標データ（動作モード切替用の座標データ）を発生させるためのシナリオである。エミュレータ表示パネル装置６１７と現場表示パネル装置１０２及び現場設備制御ＰＣ１０１は、上記の座標データを認識したときは、それぞれの操作ボタンの座標位置がシフトする。また、動作モード切替用の座標データに応じて、現場設備制御ＰＣ１０１は、ＲＰＡシナリオ用の座標データに対する認識機能が切り替わるアダプタを備えている。これにより、ＲＰＡシナリオの動作状態の秘匿機能を実現することが可能となる。
この例は、一例であり、本システムは、上記のように座標データとＲＰＡシナリオを用いるシステムである。このため、システム制御のための種々の対策が、座標データの変更とその変更に対する応答機能（アダプタ）を設けることで、操作状況に対する秘匿性を得ることができる。
この例は、一例であり、本システムは、上記のように座標データとＲＰＡシナリオを用いるシステムである。このため、システム制御のための種々の対策が、座標データの変更とその変更に対する応答機能（アダプタ）を設けることで、操作状況に対する秘匿性を得ることができる。
【0098】
また、図５Ａ，図５Ｂでは、設備の動作状況がエミュレータ表示パネル装置６１７に表示された例を示したが、これ以外に、任意の画像（例えば風景画像など）が表示されてもよい。さらに、「設備の動作状況表示」と「風景画像表示」が任意に切り替えされてもよい。
【0099】
この機能を設けることで、特に第２次制御システムと第３次制御システムとが遠隔の場合、或は両者間のネットワークが外部ネットワーク（インターネットを含む）を利用している場合は、有用となる。またこのような操作（或は制御）システムは、他の分野においても適用可能である。
【0100】
上記した設備制御システム、設備制御装置、設備制御方法によると、ディスプレイ信号を用いて第１次制御システムの現場表示パネル装置と、第２次制御システムの入力ディスプレイ信号利用操り装置が、相互に、操作状況の把握と設備動作状況の把握を行うことができる。また現場表示パネル装置、エミュレータ表示パネル装置が設備操作信号を共有することができる。ディスプレイ信号は、一般に称されるコマンド（機械言語）と異なり、ユーザが視覚により表示器上で認識可能である。また、ＲＰＡシナリオも、ディスプレイ信号から操作状況の把握と設備動作状況を判断するとともに次の工程のシーンを決定可能である。このために、設備が言語の異なる種々の国のものであり、第１次制御システムの現場パネル表示装置に表示される言語と第２次制御システムで使用される言語が異なる場合でも、座標データにより、操作状況の把握と設備動作状況の把握を行うことができる。即ち、
上記実施形態では、表示パネルの座標データが種々の命令や指令等の信号となり得る。また、座標データが通知・応答等の信号となり得るところにユニーク性がある。そして表示装置が用いられることで、ソフトウエアが異なる場合、言語が異なる場合、コマンド形式が異なる場合があっても各制御システムに対して、ＲＰＡシナリオを作成することで、本システムは容易に適用することが可能である。
上記実施形態では、表示パネルの座標データが種々の命令や指令等の信号となり得る。また、座標データが通知・応答等の信号となり得るところにユニーク性がある。そして表示装置が用いられることで、ソフトウエアが異なる場合、言語が異なる場合、コマンド形式が異なる場合があっても各制御システムに対して、ＲＰＡシナリオを作成することで、本システムは容易に適用することが可能である。
【0101】
図１２は、本発明の実施形態のさらに他の例を示すと共に音声信号処理の動作を説明する図である。第３次制御システム３００は、社内ＬＡＮ１２を介して、複数の工場（第１工場１１Ａ、第２工場１１Ｂ、第３工場１１Ｃ）の動作状況を選択的、或は同時に監視可能とする機能を備えている。なお社内ＬＡＮ１２は、外部のインターネットに置き換わってもよい。
【0102】
第３次制御システム３００の業務用ＰＣ３０１は、表示装置３１１と接続され、表示装置３１１に複数の工場（１１Ａ、１１Ｂ、１１Ｃ）のエニュミレータ表示パネル装置６１７と同様な操作状況を示す画像３２１、３２２、３２３を表示することができる。操作状況を示す画像３２１、３２２、３２３の下部には、第１工場、第２工場、第３工場の例えば工場名が表示される。
【0103】
図の例は、第１工場、第２工場、第３工場の操作状況を示す画像３２１、３２２、３２３が同時に表示された例を示している。この表示は「同時」と記載されたボタン３２４を操作することで得られる。ここで、スクロールボタン３２５の左方向或は右方向矢印を、タッチ或はクリックすると、画面は、左方向或は右方向へスライドする。さらに画面をスライドさせた状態で、「拡大」ボタン３２６をタッチ或はクリックすると、中央に位置する画面が拡大表示される。図の例の場合は、「拡大」ボタン３２６が操作されると、第２工場の画面が拡大表示される。
【0104】
なお、表示装置３１１には、エニュミレータ表示パネル装置６１７と同じ内容の画面が表示される。また、執務室内に設置された第３次制御システム３００からも、図６、図７、図９、図１０で説明したような各種設定を行う事も可能となっている。
【0105】
次に、音声処理系統について説明する。製造関連設備１５の近辺で集音されたオーディオ信号は、執務室の表示装置３１１に設けられているスピーカ３３７から出力される。また前記集音されたオーディオ信号は、業務用ＰＣ３０１に組み込まれた解析装置３５１によっても解析可能である。
【0106】
解析装置３５１は、オーディオ信号の例えば周波数やレベルを解析し、設備が安定して動作しているときの波形のデータと、その波形が得られているときのＲＰＡシナリオのシーン識別データをペアにして記憶装置に記憶している。そして、オーディオ信号の波形のデータが、設備の安定時とは異なる模様或は値となった場合は、解析装置３５１は、表示装置３１１に対して「警告」の表示を行う。またこの時の音声をスピーカ３２７から出力してもよい。図の例は、第１工場のための画面３２１に「警告」３２１ｗが表示された例を示している。このような場合、執務室の管理者は、マイク用スイッチＭＳＷ１をオンにし、現場のスピーカ７０３を介して、現場に注意或は対処法を音声で指示することが可能である。
【0107】
上記で説明した第３次制御システム３００には、図１、図２、図３で説明し第２次制御システム２００の機能が設けられてもよい。
また、上記システムのこれまでの説明は、先に存在する第１次制御システム１００に対して、新しく第２次制御システム２００を接続すると言う想定で説明した。しかし、本発明は、このようなケースに適用されるだけでなく、先に存在する第２次制御システム２００に対して、新しく別の第１次制御システム１００が接続される場合にも適用可能であることは勿論である。
また、上記システムのこれまでの説明は、先に存在する第１次制御システム１００に対して、新しく第２次制御システム２００を接続すると言う想定で説明した。しかし、本発明は、このようなケースに適用されるだけでなく、先に存在する第２次制御システム２００に対して、新しく別の第１次制御システム１００が接続される場合にも適用可能であることは勿論である。
【0108】
先の図４から図１０において説明したように、第２次制御システム２００の入力ディスプレイ信号を利用する操り装置６１１は、第１次制御システムに対して極めて柔軟な適応能力を有する。これは、双方のシステム１００と２００とを整合させるための各種の整合用の情報を入力することができる設定画面を備えるからである。またＲＰＡシナリオは、ダウンロードにより、或は外部からのインストールにより、さらには、メモリカードにより変更することが可能であるからである。なお、設定画面における設定情報は、例示したものに限らず、各種の制限情報なども追加できるように設計してもよい。例えば、設備からの各種の計測データの変動幅に応じて、次のシナリオの選択が切り替わってもよい。つまり、設備に対する運転操作が変化してもよいことを意味する。
【0109】
したがって、この意味から本システムは、製造設備にかぎらず、操作パネルを備える各種の移動体（飛翔体も含む）に関しても適用可能であることは勿論である。
【0110】
上記した本発明の代表的な観点をまとめる。
Ａ１：あらかじめ定義したロボテック・プロセス・オートメーション・シナリオ（ＲＰＡシナリオ）に基づいて得られる設備制御用のシリアル信号で、操作対象である設備の動作を制御する。この制御に基づき、第１次制御システム１００の現場の設備制御装置１０１が設備１５を制御し、設備１５の応答から設備操作状況を把握して、現場表示パネル装置１０２に設備操作状況を示すと共に、設備操作状況を示す信号をディスプレイ信号として出力する、設備制御システムである。
そして、第２次制御システム２００は、前記ディスプレイ信号の画像を認識する画像認識部５１２と、前記画像認識部５１２による認識結果と前記ＲＰＡシナリオ６１５に基づいて生成される前記シリアル信号を前記設備制御装置１０１に送信する入力ディスプレイ信号利用操り装置６１１と、を有する。この入力ディスプレイ信号利用操り装置６１１は表示パネルエミュレート機能６１４を備える。さらに
前記表示パネルエミュレート機能６１４は、
前記ＲＰＡシナリオ６１５により特定される次のシーケンスを実行するための制御信号をパネル表示信号として生成し、このパネル表示信号をエミュレータ表示パネル装置６１７に与え、
さらに前記パネル表示信号を操作位置エンコーダ６１８に与えて、前記パネル表示信号を前記シリアル信号にエンコードさせるように構成している。
Ａ１：あらかじめ定義したロボテック・プロセス・オートメーション・シナリオ（ＲＰＡシナリオ）に基づいて得られる設備制御用のシリアル信号で、操作対象である設備の動作を制御する。この制御に基づき、第１次制御システム１００の現場の設備制御装置１０１が設備１５を制御し、設備１５の応答から設備操作状況を把握して、現場表示パネル装置１０２に設備操作状況を示すと共に、設備操作状況を示す信号をディスプレイ信号として出力する、設備制御システムである。
そして、第２次制御システム２００は、前記ディスプレイ信号の画像を認識する画像認識部５１２と、前記画像認識部５１２による認識結果と前記ＲＰＡシナリオ６１５に基づいて生成される前記シリアル信号を前記設備制御装置１０１に送信する入力ディスプレイ信号利用操り装置６１１と、を有する。この入力ディスプレイ信号利用操り装置６１１は表示パネルエミュレート機能６１４を備える。さらに
前記表示パネルエミュレート機能６１４は、
前記ＲＰＡシナリオ６１５により特定される次のシーケンスを実行するための制御信号をパネル表示信号として生成し、このパネル表示信号をエミュレータ表示パネル装置６１７に与え、
さらに前記パネル表示信号を操作位置エンコーダ６１８に与えて、前記パネル表示信号を前記シリアル信号にエンコードさせるように構成している。
【0111】
Ａ２：Ａ１において、前記シリアル信号は、実行ログに相当するものであり、この実行ログは、前記ＲＰＡシナリオのシーケンス情報と共に、実行ログ出力部６２２に出力され、記憶装置に格納される。
【0112】
Ａ３：Ａ１において、前記画像認識部５１２が認識した画像は、ＯＣＲ処理したデータを含み、このデータも実行ログとして取り扱われる。
【0113】
Ｂ１：上記Ａ１－Ａ３のいずれかにおいて、前記入力ディスプレイ信号利用操り装置６１１は、前記設備の近辺に配置されたマイクロホン７０２で集音したオーディオ信号を、ネットワーク１２を介して遠隔に配置された、業務用ＰＣ３０１に送信する機能を備え、前記業務用ＰＣは、前記オーディオ信号を出力するスピーカ若しくは前記オーディオ信号を解析する解析装置３５１を含む。
【0114】
Ｂ２：Ｂ１において、前記業務用ＰＣは、表示装置３１１を含み、前記表示装置３０１にはマイクロホン３２８を接続可能であり、このマイクロホン３２８から前記ネットワークを介して、前記製造関連設備の近辺のスピーカ７２３に音声出力を得られるように構成している。
【0115】
Ｂ３：Ｂ１において、前記業務用ＰＣは、表示装置３１１を含み、前記表示装置は、複数の工場の各エミュレータ表示パネル装置が表示する画像をモニタリング可能であり、同時に複数画像或は単独画像を見ることができるように構成している。
【0116】
Ａ１又はＢ１において、前記設備は、移動体である。
【0117】
Ａ１又はＢ１において、前記現場表示パネル装置は、前記エミュレータ表示パネル装置の設置より後に設置されたものである、または、前記現場表示パネル装置は、前記エミュレータ表示パネル装置の設置より先に設置されたもののいずれかである。
【0118】
また本システムにおいては、以下のような特徴的な観点も備える。即ち、第２次制御システムにおいては、現場の設備制御ＰＣに対して第１の操作イメージの座標データを起点とした指令を与える現場表示パネル装置から、前記第１の操作イメージデータを受取る手段を備える。次に前記第１の操作イメージデータに基づいて、ＲＰＡシナリオに基づく次のシナリオを特定するＲＰＡを備えている。さらに、前記第１の操作イメージを表示すると共に、前記ＲＰＡが特定した前記次のシナリオに基づいて、前記第１の操作イメージを第２の操作イメージに変化させるエミュレータ表示パネル装置を備える。そして、前記第２の操作イメージの少なくとも前記変化した部分の座標データを取り出して、前記現場の設備制御ＰＣへ送信するエンコーダを備えるものである。
【0119】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また、複数の実施形態を組み合わせてもよく、この組み合わせで構成される実施例も発明の範疇である。
【0120】
また、図面は、説明をより明確にするため、実際の態様に比べて、各部の幅、厚さ、形状等について模式的に表される場合がある。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。また、使用している名称や用語についても限定されるものではなく、他の表現であっても実質的に同一内容、同趣旨であれば、本発明に含まれるものである。
【符号の説明】
【0121】
１００…第１次制御システム、１０１・・・設備制御ＰＣ、１０２・・・現場表示パネル装置、１０３、１０４・・・分岐器、１０５・・・ディスプレイ信号キャプチャユニット、
２００・・・第２次制御システム、３００・・・第３次制御システム、３０１・・・業務用ＰＣ、３０２・・・通信器、
５１１・・・ＵＳＢ端子、５１２・・・画像認識部、５１３・・・通信器、５１４・・・出力端子、６１１・・・入力ディスプレイ信号利用操り装置、６１２・・・システム制御部、６１３・・・記憶装置、６１４・・・表示パネルエミュレート機能、６１５・・・ＲＰＡシナリオ、６１６・・・表示パネル制御部、６１７・・・エミュレータ表示パネル装置、６１８・・・操作位置エンコーダ、６２２・・・実行ログ出力部、６２３・・・クラッシュログ出力部、６２４・・・動作モード設定部。
２００・・・第２次制御システム、３００・・・第３次制御システム、３０１・・・業務用ＰＣ、３０２・・・通信器、
５１１・・・ＵＳＢ端子、５１２・・・画像認識部、５１３・・・通信器、５１４・・・出力端子、６１１・・・入力ディスプレイ信号利用操り装置、６１２・・・システム制御部、６１３・・・記憶装置、６１４・・・表示パネルエミュレート機能、６１５・・・ＲＰＡシナリオ、６１６・・・表示パネル制御部、６１７・・・エミュレータ表示パネル装置、６１８・・・操作位置エンコーダ、６２２・・・実行ログ出力部、６２３・・・クラッシュログ出力部、６２４・・・動作モード設定部。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】