特開 2022-185899 タッチパネルコントローラ、タッチパネルモニタ、およびタッチパネルコントローラの制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022185899

(43)【公開日】2022-12-15

(54)【発明の名称】タッチパネルコントローラ、タッチパネルモニタ、およびタッチパネルコントローラの制御方法

(51)【国際特許分類】

   G05B 19/05 20060101AFI20221208BHJP

【ＦＩ】

G05B19/05 L

【審査請求】未請求

【請求項の数】25

【出願形態】ＯＬ

(21)【出願番号】P 2021093811

(22)【出願日】2021-06-03

(71)【出願人】

【識別番号】512093491

【氏名又は名称】株式会社アスコ

(71)【出願人】

【識別番号】508133019

【氏名又は名称】株式会社シーズウェア

(71)【出願人】

【識別番号】393019436

【氏名又は名称】株式会社ディ・エム・シー

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】和田 進

(72)【発明者】

【氏名】山田 雅昭

(72)【発明者】

【氏名】岡坂 治利

【テーマコード（参考）】

5H220

【Ｆターム（参考）】

5H220AA06

5H220BB11

5H220CC03

5H220CC07

5H220CX06

5H220CX08

5H220GG03

5H220GG11

5H220GG15

5H220JJ12

5H220JJ27

5H220JJ29

(57)【要約】

【課題】タッチパネルコントローラをインテリジェント化させることで機器を変更することなく、制御システム全体の機能を向上させることができる。
【解決手段】タッチパネルコントローラ（１０）は、ビデオ信号に基づいて表示画像に対して加工処理を行う表示加工処理部（３１）を備える。または、タッチパネルコントローラ（１０）は、入力信号に基づいて機器（１）への指示出力の内容を決定する入力制御処理部（３４）を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

機器から表示画像を示すビデオ信号を受信するビデオ信号受信部と、
前記ビデオ信号に基づいて表示部に表示するための前記表示画像に対して加工処理を行う表示加工処理部と、を備える、タッチパネルコントローラ。

【請求項2】

外部から生体情報を取得する生体情報取得部をさらに備え、
前記表示加工処理部は、前記生体情報に基づいて前記表示画像の表示を許可する、請求項１に記載のタッチパネルコントローラ。

【請求項3】

前記表示加工処理部は、前記表示画像に対して光学文字認識を行い、前記表示画像に含まれる文字に対応する文字画像を、前記表示画像に重畳させる、または記憶部に格納する、請求項１に記載のタッチパネルコントローラ。

【請求項4】

前記表示加工処理部は、前記表示画像と予め用意されている所定の画像とが類似しているか否かを判定し、前記表示画像と前記所定の画像とが類似していると判定した場合、前記表示画像を前記所定の画像に対応する別の画像に差し替える、請求項１に記載のタッチパネルコントローラ。

【請求項5】

前記表示加工処理部は、前記表示画像と予め用意されている所定の画像とが類似しているか否かを判定し、前記表示画像と前記所定の画像とが類似していると判定した場合、前記所定の画像に対応する文字画像を前記表示画像に重畳させる、請求項１に記載のタッチパネルコントローラ。

【請求項6】

前記表示加工処理部は、前記表示画像に対して、文字のフォントの変更、文字の大きさの変更、色の調整、明るさの調整、コントラストの調整、あるいは輪郭強調処理を行う、請求項１に記載のタッチパネルコントローラ。

【請求項7】

前記表示部に前記表示画像を含む複数の画像を、マルチウインドウを用いて表示させる表示合成部をさらに備える、請求項１に記載のタッチパネルコントローラ。

【請求項8】

前記複数の画像は、前記表示画像の一部を拡大した画像を含む、請求項７に記載のタッチパネルコントローラ。

【請求項9】

前記表示画像を印刷する指示を外部のプリンタに出力する、あるいは前記表示画像を記憶部に格納するプリンタ出力部をさらに備える、請求項１に記載のタッチパネルコントローラ。

【請求項10】

前記表示加工処理部は、数値を含む前記表示画像に対して光学文字認識を行い、前記数値が所定の範囲外であるときに、アラームを出力する、請求項１に記載のタッチパネルコントローラ。

【請求項11】

前記機器から音声信号を受信する音声信号受信部と、
該音声信号に基づいてスピーカに出力するための音声に対して加工処理を行う音声加工処理部と、をさらに備える、請求項１に記載のタッチパネルコントローラ。

【請求項12】

外部から生体情報を取得する生体情報取得部をさらに備え、
前記音声加工処理部は、前記生体情報に基づいて前記音声の出力を許可する、請求項１１に記載のタッチパネルコントローラ。

【請求項13】

入力操作を受け付ける入力装置から、該入力操作に伴う入力信号を受信する装置側入力部と、
前記入力信号に基づいて機器への指示出力の内容を決定する入力制御処理部と、を備える、タッチパネルコントローラ。

【請求項14】

外部から生体情報を取得する生体情報取得部をさらに備え、
前記入力制御処理部は、前記生体情報に基づいて前記機器への指示出力を許可する、請求項１３に記載のタッチパネルコントローラ。

【請求項15】

前記生体情報に対応するユーザ情報と、前記入力操作とを対応付けて記憶する記憶部をさらに備える、請求項１４に記載のタッチパネルコントローラ。

【請求項16】

外部装置からの入力信号を受信し、該入力信号を前記入力制御処理部に送信する通信制御部をさらに備え、
前記入力制御処理部は、前記外部装置からの入力信号を前記入力装置からの入力信号の１つとして前記機器に送信する、請求項１３に記載のタッチパネルコントローラ。

【請求項17】

記憶部を備え、複数の入力操作に対応する前記機器への複数の指示出力を示すデータを前記記憶部に登録し、
前記入力制御処理部は、前記入力信号によって前記データを呼び出し、該データに基づき、前記複数の指示出力を前記機器へ自動的に出力する請求項１３に記載のタッチパネルコントローラ。

【請求項18】

記憶部と、
前記装置側入力部からメモ情報を前記入力信号として受信すると、該メモ情報を前記記憶部に格納し、前記装置側入力部から前記メモ情報を出力する旨の前記入力信号を受信すると、前記メモ情報を前記記憶部から取得し装置側出力部に送信する入力補助部と、を備える、請求項１３に記載のタッチパネルコントローラ。

【請求項19】

前記装置側入力部から数値と演算子とを前記入力信号として受信し、前記数値と前記演算子とを用いた計算結果を前記機器へ出力する入力補助部を備える、請求項１３に記載のタッチパネルコントローラ。

【請求項20】

前記入力装置に入力されるジェスチャ操作に基づき前記指示出力の内容を決定する入力補助部を備える、請求項１３に記載のタッチパネルコントローラ。

【請求項21】

前記入力制御処理部は、前記装置側入力部から外部スイッチによる入力値を前記入力信号として取得し、該入力値に基づいて前記機器への指示出力を許可する、請求項１３に記載のタッチパネルコントローラ。

【請求項22】

外部装置から前記タッチパネルコントローラを動作させるプログラムを取得し、該プログラムを更新するプログラム更新部をさらに備える、請求項１から２１のいずれか一項に記載のタッチパネルコントローラ。

【請求項23】

請求項１から２２のいずれか一項に記載のタッチパネルコントローラと表示部とタッチパネルとを備えるタッチパネルモニタ。

【請求項24】

機器から表示画像を示すビデオ信号を受信するビデオ信号受信ステップと、
前記ビデオ信号に基づいて表示部に表示するための前記表示画像に対して加工処理を行う表示加工処理ステップと、を含む、タッチパネルコントローラの制御方法。

【請求項25】

入力操作を受け付ける入力装置から、該入力操作に伴う入力信号を受信する装置側入力ステップと、
前記入力信号に基づいて機器への指示出力の内容を決定する入力制御処理ステップと、を含む、タッチパネルコントローラの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、タッチパネルコントローラ、タッチパネルモニタ、およびタッチパネルコントローラの制御方法に関する。

【背景技術】

【0002】

近年、表示画像を表示する表示部と入力操作を受け付けるタッチパネルとを備えるタッチパネルモニタ（表示器）が設けられた機器が知られている。特に、工場等の生産ラインにおいて使用される、稼働状況の確認または制御指示を行うためのタッチパネルモニタが設けられたＦＡ（factory automation）機器が知られている。例えば、特許文献１には、入出力機器を制御するＰＬＣ（Programmable Logic Controller）に接続され、表示部とタッチ検出部とを備えるプログラマブル表示器が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１６６８２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般的に、上述のような機器に設けられるタッチパネルモニタは、表示部およびタッチパネルとしての標準インターフェースを有するタッチパネルモニタであることが多い。そのため、タッチパネルモニタは、機器から受信する表示画像に対して加工処理を行うといった、標準インターフェースを超える機能を有していない。また、タッチパネルモニタに、そのような新しい機能を追加することもできない。

【0005】

従って、上述のような機能を追加する場合、機器本体で当該機能を実現する必要がある。しかしながら、機器本体で当該機能を実現するためには、機器の内部を改造する、あるいは機器を新規に設計する必要があり、コストあるいは開発時間がかかってしまうといった問題がある。

【0006】

本発明の一態様は、上記の問題点を鑑みてなされたものであり、その目的は、タッチパネルコントローラをインテリジェント化させることで機器を変更することなく、制御システム全体の機能を向上させることにある。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様に係るタッチパネルコントローラは、機器から表示画像を示すビデオ信号を受信するビデオ信号受信部と、前記ビデオ信号に基づいて表示部に表示するための前記表示画像に対して加工処理を行う表示加工処理部と、を備える。

【0008】

上記の構成によれば、機器と比較し量産性に優れているタッチパネルコントローラに、表示画像に対して加工処理を行う機能を持たせる（タッチパネルコントローラをインテリジェント化する）ことができる。そのため、標準インターフェースを有するタッチパネルモニタを本実施形態に係るタッチパネルコントローラを含むタッチパネルモニタに取り換えることで、機器本体を取り換えたり改造したりすることなく、制御システムに上述の機能を追加することができる。

【0009】

また、前記タッチパネルコントローラは、外部から生体情報を取得する生体情報取得部をさらに備え、前記表示加工処理部は、前記生体情報に基づいて前記表示画像の表示を許可してもよい。

【0010】

上記の構成によれば、機器への操作権限を有するユーザのみが機器から送信される表示画像を閲覧することができる。そのため、タッチパネルコントローラは、機器の不正アクセスおよびなりすまし等を検出することができ、機器に対するセキュリティを向上させることができる。

【0011】

また、前記表示加工処理部は、前記表示画像に対して光学文字認識を行い、前記表示画像に含まれる文字に対応する文字画像を、前記表示画像に重畳させる、または記憶部に格納してもよい。

【0012】

上記の構成によれば、タッチパネルコントローラは、表示画像中の文字をユーザが所望する異なる言語に翻訳し、翻訳した文字を表示画像に表示させることができる。すなわち、タッチパネルコントローラにより機器を多言語に対応させることができる。

【0013】

また、前記表示加工処理部は、前記表示画像と予め用意されている所定の画像とが類似しているか否かを判定し、前記表示画像と前記所定の画像とが類似していると判定した場合、前記表示画像を前記所定の画像に対応する別の画像に差し替えてもよい。

【0014】

また、前記表示加工処理部は、前記表示画像と予め用意されている所定の画像とが類似しているか否かを判定し、前記表示画像と前記所定の画像とが類似していると判定した場合、前記所定の画像に対応する文字画像を前記表示画像に重畳させてもよい。

【0015】

また、前記表示加工処理部は、前記表示画像に対して、文字のフォントの変更、文字の大きさの変更、色の調整、明るさの調整、コントラストの調整、あるいは輪郭強調処理を行ってもよい。

【0016】

また、前記タッチパネルコントローラは、前記表示部に前記表示画像を含む複数の画像（例えば、画像加工前の元画像および画像加工後の表示画像、過去のキャプチャ画像および現在の表示画像、操作ログ、マニュアルなどの画像）を、マルチウインドウを用いて表示させる表示合成部をさらに備えてもよい。また、前記複数の画像は、前記表示画像の一部を拡大した画像を含んでもよい。

【0017】

上記の構成によれば、タッチパネルコントローラは、複数の画像を、マルチウインドウを用いて表示させることでユーザの使い勝手を向上させることができる。

【0018】

また、前記タッチパネルコントローラは、前記表示画像を印刷する指示を外部のプリンタに出力する、あるいは前記表示画像を記憶部に格納する表示合成部を備えてもよい。

【0019】

また、前記表示加工処理部は、数値を含む前記表示画像に対して光学文字認識を行い、前記数値が所定の範囲外であるときに、アラームを出力してもよい。

【0020】

上記の構成によれば、タッチパネルコントローラは、機器に代わって機器の稼働状況を示す数値の異常をユーザに報知することができる。

【0021】

また、前記タッチパネルコントローラは、前記機器から音声信号を受信する音声信号受信部と、該音声信号に基づいてスピーカに出力するための音声に対して加工処理を行う音声加工処理部と、をさらに備えてもよい。

【0022】

また、前記タッチパネルコントローラは、外部から生体情報を取得する生体情報取得部をさらに備え、前記音声加工処理部は、前記生体情報に基づいて前記音声の出力を許可してもよい。

【0023】

上記の課題を解決するために、本発明の一態様に係るタッチパネルコントローラは、入力操作を受け付ける入力装置から、該入力操作に伴う入力信号を受信する装置側入力部と、前記入力信号に基づいて機器への指示出力の内容を決定する入力制御処理部と、を備える。

【0024】

上記の構成によれば、機器と比較し量産性に優れているタッチパネルコントローラに、入力信号に基づいて機器への指示出力の内容を決定する機能を持たせる（タッチパネルコントローラをインテリジェント化する）ことができる。そのため、標準インターフェースを有するタッチパネルモニタを本実施形態に係るタッチパネルコントローラを含むタッチパネルモニタに取り換えることで、機器本体を取り換えたり改造したりすることなく、制御システムに上述の機能を追加することができる。

【0025】

また、前記タッチパネルコントローラは、外部から生体情報を取得する生体情報取得部をさらに備え、前記入力制御処理部は、前記生体情報に基づいて前記機器への指示出力を許可してもよい。

【0026】

上記の構成によれば、機器への操作権限を有するユーザのみが機器への指示出力を行うことができる。そのため、タッチパネルコントローラは、機器の不正アクセスおよびなりすまし等を検出することができ、機器に対するセキュリティを向上させることができる。

【0027】

また、前記タッチパネルコントローラは、前記生体情報に対応するユーザ情報と、前記入力操作とを対応付けて記憶する記憶部をさらに備えてもよい。

【0028】

上記の構成によれば、ユーザを特定し、ログとしてユーザの操作履歴を残すことができるので、機器に対するトレーサビリティを向上させることができる。

【0029】

また、前記タッチパネルコントローラは、外部装置からの入力信号を受信し、該入力信号を前記入力制御処理部に送信する通信制御部をさらに備え、前記入力制御処理部は、前記外部装置からの入力信号を前記入力装置からの入力信号の１つとして前記機器に送信してもよい。

【0030】

上記の構成によれば、タッチパネルコントローラはＶＮＣ機能を有し得る。すなわち、タッチパネルコントローラは、機器から離れた場所から機器をリモートで操作することができる。

【0031】

また、前記タッチパネルコントローラは、記憶部を備え、複数の入力操作に対応する前記機器への複数の指示出力を示すデータを前記記憶部に登録し、前記入力制御処理部は、前記入力信号によって前記データを呼び出し、該データに基づき、前記複数の指示出力を前記機器へ自動的に出力してもよい。

【0032】

上記の構成によれば、タッチパネルコントローラはＲＰＡ機能を有し得る。すなわち、タッチパネルコントローラは、定型的な操作をユーザの入力操作に代わって実行することができる。そのため、タッチパネルコントローラは、機器を使用した業務の自動化に貢献することができる。

【0033】

また、前記タッチパネルコントローラは、記憶部と、前記装置側入力部からメモ情報を前記入力信号として受信すると、該メモ情報を前記記憶部に格納し、前記装置側入力部から前記メモ情報を出力する旨の前記入力信号を受信すると、前記メモ情報を前記記憶部から取得し装置側出力部に送信する入力補助部と、を備えてもよい。

【0034】

上記の構成によれば、タッチパネルコントローラは、ユーザのメモ情報を受け付け、メモ情報を記憶部に格納することができる。そのため、ユーザはタッチパネルコントローラを介して別のユーザにメモ情報を通知することができる。

【0035】

また、前記タッチパネルコントローラは、前記装置側入力部から数値と演算子とを示す前記入力信号を受信し、前記数値と前記演算子とを用いた計算結果を前記機器へ出力する入力補助部を備えてもよい。

【0036】

上記の構成によれば、タッチパネルコントローラは、ハードウェアとしての電卓の代わりに、数値と演算子とを用いて計算結果を算出することができる。そのため、タッチパネルコントローラは、ユーザが別途電卓を用意する手間を軽減することができる。

【0037】

また、前記タッチパネルコントローラは、前記入力装置に入力されるジェスチャ操作に基づき前記指示出力の内容を決定する入力補助部を備えてもよい。

【0038】

また、前記タッチパネルコントローラは、外部装置から前記タッチパネルコントローラを動作させるプログラムを取得し、該プログラムを更新するプログラム更新部をさらに備えてもよい。

【0039】

上記の構成によれば、タッチパネルコントローラは、タッチパネルコントローラの各機能を実行するプログラムを外部装置から取得することができる。そのため、タッチパネルコントローラは、タッチパネルコントローラの機能を追加または変更することができる。

【0040】

また、前記入力制御処理部は、前記装置側入力部から外部スイッチによる入力値を前記入力信号として取得し、該入力値に基づいて前記機器への指示出力を許可してもよい。

【0041】

上記の課題を解決するために、本発明の一態様に係るタッチパネルモニタは、前記タッチパネルコントローラと表示部とタッチパネルとを備える。

【0042】

上記の課題を解決するために、本発明の一態様に係るタッチパネルコントローラの制御方法は、機器から表示画像を示すビデオ信号を受信するビデオ信号受信ステップと、前記ビデオ信号に基づいて表示部に表示するための前記表示画像に対して加工処理を行う表示加工処理ステップと、を含む。

【0043】

上記の課題を解決するために、本発明の一態様に係るタッチパネルコントローラの制御方法は、入力操作を受け付ける入力装置から、該入力操作に伴う入力信号を受信する装置側入力ステップと、前記入力信号に基づいて機器への指示出力の内容を決定する入力制御処理ステップと、を含む。

【発明の効果】

【0044】

本発明の一態様によれば、タッチパネルコントローラをインテリジェント化させることで機器を変更することなく、制御システム全体の機能を向上させることができる。

【図面の簡単な説明】

【0045】

【図1】本発明の一実施形態に係る制御システムの概略構成を示したブロック図である。

【図2】上記制御システムにおけるタッチパネルモニタの表示加工処理の一例を示すフローチャートである。

【図3】上記タッチパネルモニタの入力制御処理の一例を示すフローチャートである。

【図4】上記タッチパネルモニタの生体認証処理の一例を示すフローチャートである。

【図5】上記タッチパネルモニタのＶＮＣ機能に係る処理の一例を示すフローチャートである。

【図6】上記タッチパネルモニタのＲＰＡ機能に係る処理の一例を示すフローチャートである。

【図7】上記タッチパネルモニタの言語変換処理の一例を示すフローチャートである。

【図8】上記タッチパネルモニタの言語変換処理の一例を示すフローチャートである。

【図9】上記タッチパネルモニタの言語変換処理の一例を示すフローチャートである。

【図10】上記タッチパネルモニタのマルチウインドウ機能に係る処理の一例を示すフローチャートである。

【図11】上記タッチパネルモニタが表示画像の一部を拡大した画像を表示する様子を示す模式図である。

【図12】上記タッチパネルモニタの数値検出機能に係る処理の一例を示すフローチャートである。

【図13】上記タッチパネルモニタのメモ機能に係る処理の一例を示すフローチャートである。

【図14】上記タッチパネルモニタの電卓機能に係る処理の一例を示すフローチャートである。

【図15】上記タッチパネルモニタのプログラム更新機能に係る処理の一例を示すフローチャートである。

【図16】上記タッチパネルモニタの音声加工処理の一例を示すフローチャートである。

【図17】上記タッチパネルモニタの、外部スイッチによる認証処理の一例を示すフローチャートである。

【図18】本発明の他の実施形態に係る制御システムの概略構成を示したブロック図である。

【図19】本発明のさらに他の実施形態に係る制御システムの概略構成を示したブロック図である。

【発明を実施するための形態】

【0046】

〔実施形態１〕
（構成例）
図１は、本発明の実施形態１に係る制御システム１００の概略構成を示したブロック図である。図１に示すように、制御システム１００において、タッチパネルモニタ２（表示器）は、機器１と接続されている。機器１は、例えば工場の生産ラインにおけるＦＡ機器である。

【0047】

タッチパネルモニタ２は、タッチパネルコントローラ１０（制御装置）と、表示部２２（出力装置）と、タッチパネル２３（入力装置）とを備える。タッチパネルモニタ２において、タッチパネルコントローラ１０と、表示部２２と、タッチパネル２３とは一体となって構成されている。タッチパネルコントローラ１０は、機器側入力部１１と、機器側出力部１６とを備える。機器側入力部１１は、機器１からビデオ信号を受信するビデオ信号受信部２１を備える。ビデオ信号は、表示部２２に送信される。表示部２２は、ビデオ信号が示す表示画像を表示する。表示画像は、例えば、ユーザが機器１の稼働状況を確認する、または機器１への制御指示を行うための画像である。

【0048】

なお、機器側入力部１１は、機器１から音声信号を受信する音声信号受信部１１１を備えてもよい。音声信号は、外部のスピーカ１３１に送信される。スピーカ１３１は、音声信号が示す音声データを出力する。なお、スピーカ１３１は、タッチパネルモニタ２と一体となって設けられていてもよい。

【0049】

タッチパネル２３は、ユーザの入力操作を受け付ける、すなわち、タッチセンサによりユーザの入力操作を入力信号として検知する。ここで、入力信号は、タッチ座標を示す信号である。入力操作は、例えば、タッチ操作あるいはジェスチャ操作等である。入力信号は、機器側出力部１６に送信される。機器側出力部１６は、入力信号に基づいて機器１への指示出力を行う指示出力部２４と、入力信号に基づいて機器１の電源の制御を行う電源制御部２５とを備える。

【0050】

タッチパネルモニタ２の上述のような構成は、標準インターフェースを有する従来のタッチパネルモニタと同様である。すなわち、タッチパネルモニタ２は、従来のタッチパネルモニタと同様に、機器１から受信したビデオ信号が示す表示画像を表示部２２に表示する。また、タッチパネルモニタ２は、従来のタッチパネルモニタと同様に、タッチパネル２３が受け付けた入力操作を、入力信号として機器１に送信する。タッチパネルモニタ２は、このような従来のタッチパネルモニタの構成に加え、以下に示す追加の構成を備える。

【0051】

タッチパネルコントローラ１０は、装置側出力部１２と、装置側入力部１５と、入出力加工制御部２０をさらに備える。入出力加工制御部２０は、認証処理部４２、通信制御部５２、表示加工処理部３１、音声加工処理部３５、入力補助部３３、および入力制御処理部３４を備える。入出力加工制御部２０に含まれる機能部としてはこれらに限定されず、後述するプログラム更新部９１により新たに追加されてもよい。

【0052】

装置側出力部１２は、加工処理された表示画像に対して、出力制御処理を行う表示合成部３２を備える。出力制御処理は、例えば、表示画像を含む複数の画像をマルチウインドウとして表示部２２に表示させる処理である。また、装置側出力部１２は、タッチパネルモニタ２に接続される外部出力装置１３（出力装置）への指示出力を行ってもよい。外部出力装置１３は、例えば、プリンタ７、スピーカ１３１、およびＬＥＤ（light emitting diode）１３２等である。

【0053】

装置側入力部１５は、ユーザの入力操作を受け付けるタッチパネル２３から、該入力操作に伴う入力信号を受信する。また、装置側入力部１５は、タッチパネルモニタ２に接続され、ユーザの入力操作を受け付ける外部入力装置１４（入力装置）から、該入力操作に伴う入力信号を受信してもよい。外部入力装置１４は、例えば、キーボード・マウス８、マイク１４１、バーコードリーダ１４２、数値センサ１４３、および外部スイッチ１４４等である。

【0054】

表示加工処理部３１は、ビデオ信号受信部２１が受信したビデオ信号に基づいて、表示部に表示するための表示画像に対して加工処理を行う。加工処理は、例えば、表示画像内の文字を他の言語に変換する処理、あるいは表示画像内の文字のフォントまたは大きさを変更する処理等である。

【0055】

入力補助部３３は、ユーザの入力装置（タッチパネル２３および外部入力装置１４）への入力操作をトリガとして、タッチパネル２３の入力モードを切り替える旨の指示を表示合成部３２に送信する。ここで、入力モードは、例えば、座標入力モード、またはキーボード入力モード等である。入力補助部３３は、例えば、タッチパネル２３の入力モードをキーボード入力モードに切り替えるとき、表示部２２にスクリーンキーボードを表示させる旨の指示を表示合成部３２に送信する。

【0056】

また、入力補助部３３は、タッチパネル２３から受信する入力信号を、タッチパネル２３の入力モードに基づいた信号に変換する。座標入力モードでは、入力補助部３３は、タッチ座標を示す信号であるタッチ入力信号をそのまま入力制御処理部３４に送信する。キーボード入力モードでは、入力補助部３３は、タッチ座標に対応するキー入力信号を特定し、キー入力信号を入力制御処理部３４に送信する。

【0057】

入力制御処理部３４は、入力操作に伴う入力信号に基づいて、機器１への指示出力の内容を決定する。例えば、入力制御処理部３４は、後述する認証処理部４２による認証処理の結果に基づき、機器１への指示出力を許可するか否かを決定してもよい。または、入力制御処理部３４は、後述するＲＰＡ（Robotic Process Automation）機能により、複数の指示出力を機器１へ自動的に出力してもよい。

【0058】

また、タッチパネルモニタ２は、外部の生体情報取得装置４から生体情報を取得する生体情報取得部４１を備えてもよい。生体情報取得装置４は、例えば、ユーザの生体情報を撮像するカメラである。生体情報は、例えば、ユーザの顔画像あるいは指紋画像である。認証処理部４２は、生体情報取得部４１が取得したユーザの生体情報と、記憶部６１に登録済みの生体情報との照合（認証処理）を行う。認証処理部４２は、認証処理の結果を入力制御処理部３４または表示加工処理部３１に送信する。

【0059】

また、タッチパネルモニタ２は、無線ＬＡＮ（Local Area Network）等により外部装置５とデータの送受信を行う通信部５１を備えてもよい。ここで、外部装置５は、例えば、スマートフォンまたはタブレットＰＣ等のリモート端末である。通信制御部５２は、ＶＮＣ（Virtual Network Computing）機能により、通信部５１を介して外部装置５とデータの送受信を行う。通信制御部５２は、外部装置５から受信した入力信号を入力制御処理部３４に送信する。

【0060】

また、タッチパネルモニタ２は、プログラム更新部９１を備えてもよい。プログラム更新部９１は、通信部５１を介して外部装置５から入出力加工制御部２０に含まれる各部（機能ブロック）を動作させるプログラムを取得する。ここで、通信部５１は、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ（Universal Serial Bus）等により外部装置５からプログラムを取得する。

【0061】

（動作例）
図２は、タッチパネルモニタ２の表示加工処理の一例を示すフローチャートである。図３は、タッチパネルモニタ２の入力制御処理の一例を示すフローチャートである。図２、図３を参照して、タッチパネルモニタ２の入出力加工制御部２０に係る制御方法（表示制御方法および入力制御方法）の概要について、以下に説明する。

【0062】

図２に示すように、まず、ビデオ信号受信部２１は、機器１から表示画像を示すビデオ信号を受信する（ビデオ信号受信ステップＳ１）。ビデオ信号受信部２１は、ビデオ信号を表示加工処理部３１に送信する。次に、表示加工処理部３１は、ビデオ信号に基づいて、表示画像に対して加工処理を行う（表示加工処理ステップＳ２）。表示加工処理部３１は、加工処理された表示画像を表示合成部３２に送信する。次に、表示合成部３２は、加工処理された表示画像に対して、出力制御処理を行う（ステップＳ３）。表示部２２は、表示合成部３２の制御指示に従い、表示画像を表示する（ステップＳ４）。以上のように、タッチパネルモニタ２は、機器１から受信するビデオ信号が示す表示画像に対して表示加工処理を行うことができる。

【0063】

図３に示すように、まず、入力装置は、ユーザの入力操作を受け付ける。装置側入力部１５は、入力装置から入力操作に伴う入力信号を受信する（装置側入力ステップＳ５）。次に、入力補助部３３は、入力信号を入力モードに基づいた信号に変換する（ステップＳ６）。入力補助部３３は、変換した信号を入力信号として入力制御処理部３４に送信する。次に、入力制御処理部３４は、入力信号に基づいて、機器１への指示出力の内容を決定する（入力制御処理ステップＳ７）。指示出力部２４は、入力制御処理部３４が決定した指示出力の内容に従い、機器１への指示出力を行う（ステップＳ８）。以上のように、タッチパネルモニタ２は、入力装置からの入力信号に対して入力制御処理を行うことができる。

【0064】

タッチパネルモニタ２は、上述の表示加工処理または入力制御処理を行う機能を有する。すなわち、タッチパネルモニタ２はインテリジェント化されている。そのため、標準インターフェースを有するタッチパネルモニタを本実施形態に係るタッチパネルモニタ２に取り換えることで、機器本体を取り換えたり改造したりすることなく、制御システム１００に上述の機能を追加することができる。

【0065】

図４～図１７は、本実施形態に係るタッチパネルモニタ２が有する各機能を示すフローチャートおよび模式図である。図４～図１７を参照し、タッチパネルモニタ２が有する各機能を以下に説明する。

【0066】

（生体認証機能）
図４は、タッチパネルモニタ２の生体認証処理の一例を示すフローチャートである。図４を参照して、タッチパネルモニタ２が生体認証機能により機器１への指示出力の内容を決定する場合の動作例について、以下に説明する。

【0067】

図４に示すように、まず、入力装置に対するユーザの入力操作をトリガとして、タッチパネルモニタ２は生体認証を開始する。タッチパネルモニタ２は、生体情報取得装置４を起動させる（ステップＳ１１）。また、表示合成部３２は、表示部２２に対して生体認証を開始する旨を示す表示画像（以下、認証画像と称する）を表示させてもよい。これにより、ユーザは生体認証を開始することができる。

【0068】

次に、生体情報取得部４１は、生体情報取得装置４からユーザの生体情報を取得する（ステップＳ１２）。ここで、生体情報は、ユーザの顔画像、指紋画像等のユーザを特定するための情報に加えて、ユーザの体温、心拍数等のユーザの健康状態を示す情報を含んでもよい。すなわち、生体情報取得装置４はユーザの顔画像、指紋画像等を撮像するカメラに加えて、ユーザの体温、心拍数等を測定する測定装置（例えば温度センサ）を含んでもよい。

【0069】

次に、認証処理部４２は、認証処理を行う（ステップＳ１３）。すなわち、認証処理部４２は、生体情報取得部４１が取得したユーザの生体情報と、記憶部６１に登録済みの生体情報との照合を行う。認証処理部４２は、生体情報の照合において、公知の画像処理技術を用いて、一致あるいは不一致を判定する。認証処理部４２は、認証処理の結果を入力制御処理部３４に送信する。認証処理部４２は、認証処理の結果を表示合成部３２に送信してもよい。

【0070】

次に、入力制御処理部３４は、認証処理の結果に応じて、機器１への指示出力の内容を決定する。すなわち、生体情報の照合が成功した場合（ステップＳ１４におけるＹＥＳ）、入力制御処理部３４は、機器１への指示出力を許可する（ステップＳ１５）。生体情報の照合が失敗した場合（ステップＳ１４におけるＮＯ）、入力制御処理部３４は、機器１への指示出力を許可しない（ステップＳ１６）。ここで、入力制御処理部３４が「機器１への指示出力を許可する」ことは、指示出力部２４に機器１への指示出力を出力させること、および電源制御部２５に機器１の電源をＯＮにさせることを含む。また、表示合成部３２は、表示部２２に認証処理の結果を表示させてもよい。

【0071】

以上のように、入力制御処理部３４が、認証処理の結果に応じて、機器１への指示出力の内容を決定することにより、機器１への操作権限を有するユーザのみが機器１への指示出力を行うことができる。そのため、タッチパネルモニタ２は、不正アクセスおよびなりすまし等を検出することができ、機器１に対するセキュリティを向上させることができる。

【0072】

なお、タッチパネル２３に対するユーザの入力操作をトリガとして、タッチパネルモニタ２は生体情報の登録処理を行ってもよい。認証処理部４２は、生体情報取得部４１が取得したユーザの生体情報をユーザ情報（ユーザを特定するための識別子、ユーザの名前等）と対応付けて記憶部６１に登録する。

【0073】

また、生体情報の照合が成功した場合、入力制御処理部３４は、生体情報に対応するユーザ情報と、認証処理後に入力される入力操作のログとを対応付けて記憶部６１に格納してもよい。入力操作のログとは、例えば、タッチ座標の時系列データである。これにより、ユーザを特定し、ログとしてユーザの操作履歴を残すことができるので、機器１に対するトレーサビリティをさらに向上させることができる。

【0074】

また、ユーザ情報は、ユーザの機器１への操作権限を示す情報を含んでもよい。入力制御処理部３４は、認証処理の結果に対応する操作権限に基づき、機器１への指示出力の内容を決定してもよい。例えば、生体認証処理により特定されたユーザが、機器１の稼働状況を確認するための操作権限のみを有する場合、入力制御処理部３４は、機器１の稼働状況を確認するための操作のみを許可し、機器１への制御指示を行うための操作を許可しない。

【0075】

また、入力制御処理部３４は、認証処理の結果に加え、ユーザの体温、心拍数等のユーザの状態を示す情報に基づき、機器１への指示出力の内容を決定してもよい。例えば、入力制御処理部３４は、温度センサの測定値が所定の下限値以上の場合、当該測定値はユーザの体温であると判定するが、温度センサにより測定した値が所定の下限値より低い場合、機器１への指示出力を許可しない。これにより、写真等によるなりすましを検出することができる。また、入力制御処理部３４は、ユーザの体温が所定の上限値以下の場合、機器１への指示出力を許可するが、ユーザの体温が所定の上限値より高い場合、機器１への指示出力を許可しない。これにより、入力制御処理部３４は、ユーザの健康状態に基づき、機器１への指示出力の許可あるいは不許可を決定することができる。

【0076】

また、認証処理部４２は、認証処理の結果を表示加工処理部３１に送信してもよい。表示加工処理部３１は、認証処理の結果に応じて、表示画像に対する加工処理を行う。すなわち、生体情報の照合が成功した場合、表示加工処理部３１は、表示画像の表示を許可する。生体情報の照合が失敗した場合、表示加工処理部３１は、表示画像の表示を許可しない。例えば、生体情報の照合が失敗した場合、表示加工処理部３１は、表示画像の代わりに生体情報の照合が失敗した旨の画像を表示させる。

【0077】

（ＶＮＣ機能）
図５は、タッチパネルモニタ２のＶＮＣ機能に係る処理の一例を示すフローチャートである。図５を参照して、タッチパネルモニタ２がＶＮＣ機能により機器１への指示出力の内容を決定する場合の動作例について、以下に説明する。

【0078】

まず、入力装置に対するユーザの入力操作（タッチパネル２３において特定のオブジェクトを選択する等）をトリガとして、タッチパネルモニタ２はＶＮＣを開始する。または、タッチパネルモニタ２は、外部装置５から認証要求（ユーザ識別子およびパスワードを含む）を受信すると、認証手続を経て、ＶＮＣを開始する。通信制御部５２は、表示合成部３２から加工処理された表示画像を取得し、通信部５１を介して表示画像を周期的に外部装置５に送信する（ステップＳ２１）。これにより、外部装置５は、表示部２２に表示されている表示画像と同じ表示画像を表示することができる。

【0079】

次に、通信制御部５２は、外部装置５からの入力信号を受け付ける（ステップＳ２２）。例えば、外部装置５からの入力信号は、スマートフォンまたはタブレットＰＣに設けられたタッチパネルへのタッチ入力あるいはキー入力に伴う入力信号である。または、外部装置５からの入力信号は、ＰＣに接続されたマウスあるいはキーボードによる入力に伴う入力信号である。通信制御部５２は、外部装置５から受信した入力信号を入力制御処理部３４に送信する。

【0080】

次に、入力制御処理部３４は、操作権限が入力装置あるいは外部装置５のどちらにあるかに応じて、機器１への指示出力の内容を決定する。すなわち、操作権限が外部装置５側にある場合（ステップＳ２３におけるＹＥＳ）、入力制御処理部３４は、外部装置５からの入力信号に基づく機器１への指示出力を許可する（ステップＳ２４）。このとき、入力制御処理部３４は、入力装置からの入力信号に基づく機器１への指示出力を許可しない。入力制御処理部３４は、外部装置５からの入力信号を入力装置からの入力信号として機器１に送信する。操作権限が入力装置側にある場合（ステップＳ２３におけるＮＯ）、入力制御処理部３４は、入力装置からの入力信号に基づく機器１への指示出力を許可する（ステップＳ２５）。このとき、入力制御処理部３４は、外部装置５からの入力信号に基づく機器１への指示出力を許可しない。なお、タッチパネルモニタ２が外部装置５と接続されている間、入力制御処理部３４は、操作権限が入力装置あるいは外部装置５のどちらにあるかをユーザの入力操作に基づき決定する。なお、操作権限は入力装置および外部装置５のどちらにあってもよい。このとき、入力制御処理部３４は、外部装置５からの入力信号を入力装置からの入力信号の１つとして機器１に送信する。

【0081】

以上のように、タッチパネルモニタ２はＶＮＣ機能を有し得る。すなわち、タッチパネルモニタ２は、機器１から離れた場所から機器１をリモートで操作することができる。また、入力制御処理部３４は、外部装置５からの入力信号または入力装置からの入力信号のどちらか一方に基づく指示出力を行い、他方に基づく指示出力を行わないように設けられてもよい。

【0082】

（ＲＰＡ機能）
図６は、タッチパネルモニタ２のＲＰＡ機能に係る処理の一例を示すフローチャートである。図６を参照して、タッチパネルモニタ２がＲＰＡ機能により機器１への指示出力の内容を決定する場合の動作例について、以下に説明する。

【0083】

図６に示すように、まず、入力装置に対する入力操作（タッチパネル２３において特定のオブジェクトを選択する等）をトリガとして、タッチパネルモニタ２は、機器１への複数の指示出力を示すデータ（以下、ＲＰＡデータと称する）の登録を行う（ステップＳ３１）。このとき、入力補助部３３は、入力装置の入力モードをＲＰＡデータ登録モードに切り替える。例えば、入力補助部３３は、表示部２２にＲＰＡデータを登録するための表示画像を表示させる旨の指示を表示合成部３２に送信する。このとき、ユーザは例えば、表示画像に示された機器１への複数の指示出力を含むフローチャートを編集し、ＲＰＡデータを決定する。入力補助部３３はユーザにより決定されたＲＰＡデータを記憶部６１に格納する。または、入力補助部３３は、ＲＰＡデータ登録モードの間、実際に入力装置に入力される入力操作をＲＰＡデータとして記憶部６１に格納してもよい。

【0084】

ここで、複数の指示出力は、表示部２２が示す表示画像と、タッチ座標または特定のオブジェクト（ボタン）との対応付けにより決定される。ＲＰＡデータは、複数の指示出力と、各指示の間の時間間隔とを規定する。

【0085】

次に、入力装置に対する入力操作をトリガとして、入力補助部３３は、入力装置の入力モードをＲＰＡデータ実行モードに切り替える。また、入力補助部３３は、入力操作に伴う、特定のＲＰＡデータを実行する旨の入力信号を入力制御処理部３４に送信する。入力制御処理部３４は、入力信号によって特定のＲＰＡデータを記憶部６１から呼び出す（ステップＳ３２）。次に、入力制御処理部３４は、入力信号によって特定のＲＰＡデータを呼び出すと、ＲＰＡデータに基づき、複数の指示出力を機器１へ自動的に出力する（ステップＳ３３）。

【0086】

以上のように、タッチパネルモニタ２はＲＰＡ機能を有し得る。すなわち、タッチパネルモニタ２は、定型的な操作をユーザの入力操作に代わって実行することができる。そのため、タッチパネルモニタ２は、機器１を使用した業務の自動化に貢献することができる。

【0087】

（言語変換機能）
図７～図９は、タッチパネルモニタ２の言語変換処理の一例を示すフローチャートである。図７～図９を参照して、タッチパネルモニタ２が言語変換機能により表示画像に対して加工処理を行う場合の各動作例について、以下に説明する。

【0088】

図７に示すように、タッチパネルモニタ２は、光学文字認識により表示画像中の文字を対応する文字（例えば翻訳文）に変換してもよい。まず、表示加工処理部３１は、ビデオ信号受信部２１から受信した表示画像に対して光学文字認識（ＯＣＲ（Optical Character Recognition））を実行する（ステップＳ４１）。すなわち、表示加工処理部３１は、表示画像に含まれる画像データとしての文字を、テキストデータに変換する。

【0089】

次に、表示加工処理部３１は、テキストデータに基づき、表示画像に含まれる文字に対応する文字画像を生成する（ステップＳ４２）。例えば、表示加工処理部３１は、テキストデータを、ユーザの入力操作により決定された翻訳言語のテキストデータに翻訳する。表示加工処理部３１は、翻訳後のテキストデータを表示する文字画像を生成する。また、表示加工処理部３１は、表示画像に含まれる文字のフォントまたは大きさを変更した文字画像を生成してもよい。また、表示加工処理部３１は、テキストデータまたは文字画像を記憶部６１に格納してもよい。

【0090】

次に、表示加工処理部３１は、文字画像を表示画像に重畳させる（ステップＳ４３）。例えば、表示加工処理部３１は、表示画像における文字が表示されている箇所に、翻訳後のテキストデータを表示する文字画像を重畳させる。

【0091】

以上のように、タッチパネルモニタ２は、表示画像中の文字をユーザが所望する異なる言語に翻訳し、翻訳した文字を表示画像に表示させることができる。すなわち、タッチパネルモニタ２は、このような表示加工処理部３１を備えることにより、機器を多言語に対応させることができる。また、後述する図８および図９に示す実施形態と比較し、事前に所定の画像を準備する必要がなく、ユーザにとって手間とならない。

【0092】

また、図８に示すように、タッチパネルモニタ２は、表示画像と予め用意されている所定の画像（以下、基準画像と称する）とが類似している場合に、表示画像を基準画像に対応する別の画像（以下、翻訳画像と称する）に差し替えることで、表示画像中の文字を対応する文字に変換してもよい。基準画像は、例えば、過去に表示部２２が表示した表示画像のキャプチャ画像である。翻訳画像は、基準画像中の少なくとも一部の文字を対応する文字（例えば翻訳文）に置換した表示画像である。まず、表示加工処理部３１は、記憶部６１から基準画像および翻訳画像を取得する。次に、表示加工処理部３１は、ビデオ信号受信部２１から受信した表示画像と、基準画像との一致率を特定する（ステップＳ５１）。

【0093】

次に、表示加工処理部３１は、表示画像と基準画像とが類似していると判定した場合、表示画像を対応する翻訳画像に差し替える。すなわち、一致率が所定の閾値以上の基準画像が存在した場合（ステップＳ５２におけるＹＥＳ）、表示加工処理部３１は、表示画像を、一致率が所定の閾値以上の基準画像に対応する翻訳画像に差し替える（ステップＳ５３）。一致率が所定の閾値以上の基準画像が存在しなかった場合（ステップＳ５２におけるＮＯ）、表示加工処理部３１は、表示画像をそのまま表示合成部３２に送信する（ステップＳ５４）。

【0094】

また、図９に示すように、タッチパネルモニタ２は、表示画像と基準画像とが類似している場合に基準画像に対応する文字画像を重畳させることで、表示画像中の文字を対応する文字に変換してもよい。文字画像は、例えば、基準画像中の文字の翻訳文を表示する画像である。まず、表示加工処理部３１は、記憶部６１から基準画像および文字画像を取得する。次に、表示加工処理部３１は、図８に示したステップＳ５１と同様の処理を行う。

【0095】

次に、表示加工処理部３１は、表示画像と基準画像とが類似していると判定した場合、表示画像に対応する文字画像を重畳させる。すなわち、一致率が所定の閾値以上の基準画像が存在した場合（ステップＳ５２におけるＹＥＳ）、表示加工処理部３１は、表示画像に、一致率が所定の閾値以上の基準画像に対応する文字画像を重畳させる（ステップＳ５５）。一致率が所定の閾値以上の基準画像が存在しなかった場合（ステップＳ５２におけるＮＯ）、表示加工処理部３１は、表示画像をそのまま表示合成部３２に送信する（ステップＳ５４）。

【0096】

（マルチウインドウ機能）
図１０は、タッチパネルモニタ２のマルチウインドウ機能に係る処理の一例を示すフローチャートである。図１１は、タッチパネルモニタ２が表示画像の一部を拡大した画像を表示する様子を示す模式図である。図１０および図１１を参照して、タッチパネルモニタ２がマルチウインドウ機能により表示画像に対して出力制御処理を行う場合の動作例について、以下に説明する。なお、以下では、表示加工処理部３１により加工処理された表示画像を第１表示画像Ｄ１と表す。

【0097】

まず、装置側入力部１５は、入力装置から第１表示画像Ｄ１とは異なる第２表示画像Ｄ２を表示させる旨の入力信号を受け付ける。表示合成部３２は、装置側入力部１５から入出力加工制御部２０を介して当該入力信号を受信する（ステップＳ６１）。例えば、第２表示画像Ｄ２は、表示加工処理部３１によって加工処理される前の元画像であってもよい。または、第２表示画像Ｄ２は、過去に表示部２２が表示した表示画像のキャプチャ画像であってもよい。または、第２表示画像Ｄ２は、ユーザの操作ログを示す画像であってもよい。または、第２表示画像Ｄ２は、予め記憶部６１に格納したマニュアルであってもよい。または、第２表示画像Ｄ２は、第１表示画像Ｄ１の一部領域Ｒを拡大した画像であってもよい（図１１参照）。

【0098】

次に、表示合成部３２は、第２表示画像Ｄ２を取得する（ステップＳ６２）。例えば、表示合成部３２は、記憶部６１から入出力加工制御部２０を介してキャプチャ画像あるいはマニュアルを取得する。または、表示合成部３２は、入力信号に基づき、一部領域Ｒを拡大した画像を生成する。

【0099】

次に、表示合成部３２は、表示部２２に第１表示画像Ｄ１を含む複数の画像を、マルチウインドウを用いて表示させる。すなわち、表示合成部３２は、第１表示画像Ｄ１を第１ウインドウＷ１に表示させる（ステップＳ６３）。次に、表示合成部３２は、第２表示画像Ｄ２を第１ウインドウＷ１とは異なる第２ウインドウＷ２に表示させる（ステップＳ６４）。なお、図１０および図１１では２つのウインドウにそれぞれ画像を表示させる一例を示したが、ウインドウの数としてはこれに限定されない。

【0100】

以上のように、タッチパネルモニタ２は、複数の画像を、マルチウインドウを用いて表示させることでユーザの使い勝手を向上させることができる。

【0101】

（画像処理機能）
表示加工処理部３１は、表示画像の画像パラメータを補正してもよい。ここで、画像パラメータは、色相、彩度、輝度、および輪郭強調の程度を示すパラメータ等である。表示加工処理部３１は、ユーザの入力装置への入力操作に従って画像パラメータを補正する。例えば、表示加工処理部３１は、色相、彩度、あるいは輝度を補正することで、表示画像に対して、色の調整、明るさの調整、あるいはコントラストの調整を行う。例えば、表示加工処理部３１は、輪郭に対応する画素の画素値を変更することで、表示画像に対して輪郭強調処理を行う。これにより、表示画像の視認性を向上させることができる。例えば、表示画像が生産ラインにおける製品を撮像した画像である場合、表示加工処理部３１は、製品の傷に特定の色を付けるように、表示画像の色相を調整してもよい。これにより、ユーザは、表示部２２に表示された表示画像を通して、製品の傷を容易に発見することができる。

【0102】

（印刷機能）
タッチパネルモニタ２は、表示画像を印刷する指示を、外部のプリンタ７に出力するプリンタ出力部７１をさらに備えてもよい。プリンタ出力部７１は、表示部２２が表示している表示画像のキャプチャ画像を所定のデータ形式に変換して記憶部６１に格納してもよい。

【0103】

（数値検出機能）
図１２は、タッチパネルモニタ２の数値検出機能に係る処理の一例を示すフローチャートである。図１２を参照して、タッチパネルモニタ２が数値検出機能により表示画像に対して出力制御処理を行う場合の動作例について、以下に説明する。

【0104】

図１２に示すように、まず、表示加工処理部３１は、ビデオ信号受信部２１から受信した表示画像が機器１の稼働状況を示す数値（以下、監視パラメータと称する）を含む特定の画像であるか否かを判定する（ステップＳ７１）。

【0105】

次に、表示加工処理部３１は、表示画像に対して光学文字認識を実行する（ステップＳ７２）。これにより、表示加工処理部３１は、監視パラメータを示すテキストデータを生成する。ここで、表示加工処理部３１は、表示画像における監視パラメータが表示される位置を示す情報を予め有している。そのため、表示加工処理部３１は、少なくとも監視パラメータが表示される位置の近傍に対してのみ光学文字認識を実行すればよい。

【0106】

次に、表示加工処理部３１は、光学文字認識により検出した監視パラメータを監視する（ステップＳ７３）。また、表示加工処理部３１は、監視パラメータを示すテキストデータを経時的に記憶部６１に格納する。監視パラメータが所定の範囲内である場合（ステップＳ７４におけるＹＥＳ）、ステップＳ７１に戻る。監視パラメータが所定の範囲外である場合（ステップＳ７４におけるＮＯ）、表示加工処理部３１は、監視パラメータが所定の範囲外であることを示すアラームを出力する（ステップＳ７５）。例えば、表示加工処理部３１は、表示合成部３２にアラームを出力する。表示合成部３２は、表示加工処理部３１からアラームを受信したとき、監視パラメータが所定の範囲外であることを示す表示画像を表示部２２に表示させる。または、表示加工処理部３１は、音声出力部１２１あるいはＬＥＤ出力部１２２にアラームを出力する。音声出力部１２１は、表示加工処理部３１からアラームを受信したとき、外部のスピーカ１３１にブザー音を出力させる。ＬＥＤ出力部１２２は、表示加工処理部３１からアラームを受信したとき、外部のＬＥＤ１３２を点灯させる。

【0107】

また、表示加工処理部３１は、光学文字認識により検出した監視パラメータを通信制御部５２に送信してもよい。通信制御部５２は、通信部５１を介して監視パラメータをネットワークで接続された外部装置５に出力する。同様に、表示加工処理部３１は、監視パラメータが所定の範囲外である場合、アラームを外部装置５に出力してもよい。または、表示加工処理部３１は、監視パラメータが所定の範囲外である場合、監視パラメータを、タッチパネルモニタ２に接続された外部記憶装置（図示せず）に記憶させてもよい。

【0108】

以上のように、タッチパネルモニタ２は、機器１に代わって監視パラメータの異常をユーザに報知することができる。また、タッチパネルモニタ２は、通信部５１を介して、機器１から離れた外部装置５にアラームを出力することができる。

【0109】

（メモ機能）
図１３は、タッチパネルモニタ２のメモ機能に係る処理の一例を示すフローチャートである。図１３を参照して、タッチパネルモニタ２がメモ機能により入力信号の加工処理を行う場合の動作例について、以下に説明する。

【0110】

まず、入力補助部３３は、ユーザの入力装置への入力操作をトリガとして、入力装置の入力モードをメモ入力モードに切り替える。入力補助部３３は、装置側入力部１５からユーザにより入力されたメモ情報を示す入力信号を受信する（ステップＳ８１）。入力補助部３３は、メモ情報を記憶部６１に格納する（ステップＳ８２）。

【0111】

次に、入力補助部３３は、装置側入力部１５から出力装置（表示部２２および外部出力装置１３）にメモ情報を出力させる旨の入力信号を受信する（ステップＳ８３）。入力補助部３３は、当該入力信号を受信すると、メモ情報を記憶部６１から取得し装置側出力部１２に送信する。装置側出力部１２は、メモ情報を出力装置に出力させる（ステップＳ８４）。例えば、表示合成部３２は、メモ情報を含む表示画像を表示部２２に表示させる。

【0112】

以上のように、タッチパネルモニタ２は、ユーザのメモ情報を受け付け、メモ情報を記憶部６１に格納することができる。そのため、ユーザはタッチパネルモニタ２を介して別のユーザにメモ情報を通知することができる。

【0113】

（電卓機能）
図１４は、タッチパネルモニタ２の電卓機能に係る処理の一例を示すフローチャートである。図１４を参照して、タッチパネルモニタ２が電卓機能により入力信号の加工処理を行う場合の動作例について、以下に説明する。

【0114】

図１４に示すように、まず、入力補助部３３は、ユーザの入力装置への入力操作をトリガとして、タッチパネル２３の入力モードを電卓情報入力モードに切り替える。ここで、入力補助部３３は、表示部２２に電卓を表示させる旨の指示を表示合成部３２に送信する。表示合成部３２は、表示部２２に電卓を含む表示画像を表示させる（ステップＳ９１）。

【0115】

次に、入力補助部３３は、タッチ座標を示す信号であるタッチ入力信号をタッチパネル２３から受信し、タッチ座標に対応する数値と演算子とを特定する。すなわち、入力補助部３３は、タッチパネル２３から数値と演算子とを示す入力信号を受信する（ステップＳ９２）。

【0116】

次に、入力補助部３３は、タッチパネル２３から受信した一連の数値と演算子とを用いた計算結果を算出する（ステップＳ９３）。入力補助部３３は、計算結果を入力制御処理部３４に送信する。

【0117】

以上のように、タッチパネルモニタ２は、ハードウェアとしての電卓の代わりに、数値と演算子とを用いて計算結果を算出することができる。そのため、タッチパネルモニタ２は、ユーザが別途電卓を用意する手間を軽減することができる。

【0118】

（プログラム更新機能）
図１５は、タッチパネルモニタ２のプログラム更新機能に係る処理の一例を示すフローチャートである。図１５を参照して、タッチパネルモニタ２がプログラム更新機能によりタッチパネルモニタ２の機能を追加する場合の動作例について、以下に説明する。

【0119】

図１５に示すように、まず、プログラム更新部９１は、通信部５１を介して外部装置５から入出力加工制御部２０に含まれる各部を動作させるプログラムを取得する（ステップＳ１０１）。次に、プログラム更新部９１は、各部を動作させるプログラムを、外部装置５から取得したプログラムで更新する（ステップＳ１０２）。

【0120】

以上のように、タッチパネルモニタ２は、上述したタッチパネルモニタ２の各機能を実行するプログラムを外部装置から取得することができる。そのため、タッチパネルモニタ２は、タッチパネルモニタ２の機能を追加または変更することができる。

【0121】

（変形例）
図１６は、タッチパネルモニタ２の音声加工処理の一例を示すフローチャートである。図１６を参照して、タッチパネルモニタ２が機器１から音声信号を受信する場合における、入出力加工制御部２０に係る制御方法の概要について、以下に説明する。

【0122】

図１６に示すように、まず、音声信号受信部１１１は、機器１から音声信号を受信する（ステップＳ１１１）。音声信号受信部１１１は、音声信号を音声加工処理部３５に送信する。次に、音声加工処理部３５は、音声信号に基づいて、スピーカに出力するための音声に対して加工処理を行う（ステップＳ１１２）。音声に対しての加工処理は、例えば、音声のボリューム調整などである。音声信号受信部１１１は、加工処理された音声を音声出力部１２１に送信する。次に、音声出力部１２１は、加工処理された音声に対して、出力制御を行う（ステップＳ１１３）。スピーカ１３１は、音声出力部１２１の制御指示に従い、音声を出力する（表示ステップＳ１１４）。以上のように、タッチパネルモニタ２は、機器１から受信する音声信号が示す音声に対して音声加工処理を行うことができる。

【0123】

また、音声加工処理部３５は、表示加工処理部３１と同様に、認証処理の結果に応じて音声に対する加工処理を行ってもよい。すなわち、生体情報の照合が成功した場合、音声加工処理部３５は、音声の出力を許可する。生体情報の照合が失敗した場合、音声加工処理部３５は、表示画像の表示を許可しない。

【0124】

また、タッチパネルモニタ２は、ハードウェアとしてのキーボード・マウス８を、例えばＵＳＢを介して接続されていてもよい。装置側入力部１５は、キーボード・マウス８からのキー入力信号あるいはタッチ入力信号を受け付け、キー入力信号あるいはタッチ入力信号を入力制御処理部３４に送信する。同様に、タッチパネルモニタ２は、マイク１４１、バーコードリーダ１４２、および数値センサ１４３を接続されていてもよい。入力補助部３３は、マイク１４１、バーコードリーダ１４２、および数値センサ１４３からの入力信号に対応する機器１の制御内容を特定する。例えば、入力補助部３３は、マイク１４１からの音声信号に対応するキー入力信号あるいはタッチ入力信号を特定する。

【0125】

また、タッチパネルモニタ２は、外部スイッチ１４４（ＧＰＩＯ（General purpose Input/Output:汎用入出力））を接続されていてもよい。図１７は、タッチパネルモニタ２の、外部スイッチ１４４による認証処理の一例を示すフローチャートである。図１７に示すように、まず、装置側入力部１５は外部スイッチ１４４から入力値を受信する。入力制御処理部３４は、装置側入力部１５から当該入力値を入力信号として取得する（ステップＳ１２１）。次に、入力制御処理部３４は、入力値に応じて、機器１への指示出力の内容を決定する。すなわち、入力値が機器１への指示出力の許可を示す場合（ステップＳ１２２におけるＹＥＳ）、入力制御処理部３４は、機器１への指示出力を許可する（ステップＳ１２３）。入力値が機器１への指示出力の許可を示さない場合（ステップＳ１２２におけるＮＯ）、入力制御処理部３４は、機器１への指示出力を許可しない（ステップＳ１２４）。

【0126】

以上のように、入力制御処理部３４は、外部スイッチ１４４の入力値に基づき、機器１への指示出力の許可あるいは不許可を決定することができる。

【0127】

また、入力補助部３３は、タッチパネル２３に入力されるジェスチャ操作に基づき指示出力の内容を決定してもよい。すなわち、入力補助部３３は、タッチパネル２３に入力されるジェスチャ操作を特定し、ジェスチャ操作に対応するキー入力信号を入力制御処理部３４に送信する。入力制御処理部３４は、キー入力信号に基づき機器１への指示出力の内容を決定する。例えば、タッチパネル２３に左右方向のフリック操作が入力された場合、入力補助部３３は、左右方向のフリック操作に対応する、表示画像を切り替えるキー入力信号を入力制御処理部３４に送信する。これにより、タッチパネルモニタ２は、もともとジェスチャ操作が想定されていない機器１に対しても、キー入力信号としてジェスチャ操作に対応する入力信号を機器１に送信することができる。

【0128】

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0129】

図１８は、本発明の他の実施形態に係る制御システム２００の概略構成を示したブロック図である。制御システム２００は、タッチパネルコントローラ２１０と、表示部２２２およびタッチパネル２２３とが一体となっていない点で、制御システム１００と相違する。すなわち、表示部２２２およびタッチパネル２２３はタッチパネルコントローラ２１０の外部に接続されている。表示部２２２およびタッチパネル２２３はそれぞれ、外部出力装置２１３および外部入力装置２１４に含まれる。なお、表示部２２２とタッチパネル２２３とは、タッチモニタとして一体となって構成されていてもよい。また、表示部２２２およびタッチパネル２２３のうちいずれかのみが、タッチパネルコントローラ２１０と一体となって構成されていてもよい。

【0130】

〔実施形態３〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0131】

図１９は、本発明のさらに他の実施形態に係る制御システム３００の概略構成を示したブロック図である。制御システム３００は、表示加工処理に係る各部を備えていない点で、制御システム２００と相違する。すなわち、タッチパネルコントローラ３１０は、機器側入力部１１および装置側出力部１２を備えておらず、外部出力装置２１３と接続されていない点でタッチパネルコントローラ２１０と相違する。このような構成により、タッチパネルコントローラ３１０の構成を簡略化することができる。

【0132】

〔ソフトウェアによる実現例〕
タッチパネルモニタ（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に入出力加工制御部２０に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0133】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0134】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0135】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0136】

また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。

【0137】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0138】

１ 機器
２ タッチパネルモニタ（表示器）
５ 外部装置
７ プリンタ
１０、２１０、３１０ タッチパネルコントローラ（制御装置）
１１ 機器側入力部
１２ 装置側出力部
１３、２１３ 外部出力装置（出力装置）
１４、２１４ 外部入力装置（入力装置）
１５ 装置側入力部
１６ 機器側出力部
２０ 入出力加工制御部
２１ ビデオ信号受信部
２２、２２２ 表示部（出力装置）
２３、２２３ タッチパネル（入力装置）
３１ 表示加工処理部
３２ 表示合成部
３３ 入力補助部
３４ 入力制御処理部
３５ 音声加工処理部
４１ 生体情報取得部
４２ 認証処理部
５１ 通信部
５２ 通信制御部
６１ 記憶部
７１ プリンタ出力部
９１ プログラム更新部
１１１ 音声信号受信部
１４４ 外部スイッチ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】