知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-02-05
(45)【発行日】2024-02-14
(54)【発明の名称】用役管理装置およびプログラム
(51)【国際特許分類】
G06V 30/24 20220101AFI20240206BHJP
G06F 16/583 20190101ALI20240206BHJP
【ＦＩ】
G06V30/24 620Z
G06F16/583
【請求項の数】
5
(21)【出願番号】P 2023068775
(22)【出願日】2023-04-19
【審査請求日】2023-04-19
(73)【特許権者】
【識別番号】000233044
【氏名又は名称】株式会社日立パワーソリューションズ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】糸日谷 秀一
(72)【発明者】
【氏名】江口 博之
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】国際公開第２０２２／２５９５６１（ＷＯ，Ａ１）
【文献】特開２００７－１１７３７（ＪＰ，Ａ）
【文献】特開２０２０－１１５２８４（ＪＰ，Ａ）
【文献】特開２０１８－１８１０８１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ ３０／００ － ３０／４２４
Ｇ０６Ｆ １６／５８３
(57)【特許請求の範囲】
【請求項1】
監視対象システムが備える表示装置に表示される画像情報を取得する機能と、前記監視対象システムにおけるソフトウエアの動作順序である動作シナリオデータを取得する機能と、前記画像情報から、前記監視対象システムの状態を表す文字情報を抽出する複数の画像解析手法を有する画像解析手法データを取得する機能と、前記動作シナリオデータに従って遷移する複数の前記画像情報の順番と何れかの前記画像解析手法とを紐づけるデータ収集シナリオを取得する機能と、を備えるデータ収集部と、前記画像情報の順番に紐づく前記画像解析手法を選択する画像解析手法選択部と、
前記画像解析手法選択部が選択した前記画像解析手法を用いて、前記画像情報から、前記文字情報を抽出する画像解析部と、を備える
ことを特徴とする用役管理装置。
【請求項2】
前記データ収集部は、任意の前記画像情報に対して、第１手法および第２手法を含む複数の前記画像解析手法を紐づけた前記データ収集シナリオを取得するものであり、前記画像解析部は、前記第１手法に基づいて前記文字情報の取得を試行する機能と、前記第１手法に基づく前記文字情報の取得が失敗したことを条件として前記第２手法に基づいて前記文字情報の取得を試行する機能と、を備える
ことを特徴とする請求項１に記載の用役管理装置。
【請求項3】
前記第１手法は、前記表示装置に表示される各文字のドットパターンを予め取得した結果である既取得ドットパターンと、前記画像情報に現れるドットパターンである表示ドットパターンとを比較することによって前記文字情報を取得する手法であり、前記第２手法は、前記既取得ドットパターンを用いることなく前記文字情報を取得する手法である
ことを特徴とする請求項２に記載の用役管理装置。
【請求項4】
前記データ収集シナリオは、任意の前記画像情報に対して複数の前記画像解析手法を紐づけたものであり、前記画像解析部は、複数の前記画像解析手法に各々対応する複数パターンの前記文字情報を抽出するものであり、
複数パターンの前記文字情報を対比して、複数パターンの前記文字情報におけるエラーの有無を判定するエラーチェック部をさらに備える
ことを特徴とする請求項１に記載の用役管理装置。
【請求項5】
コンピュータを、監視対象システムが備える表示装置に表示される画像情報を取得する機能と、前記監視対象システムにおけるソフトウエアの動作順序である動作シナリオデータを取得する機能と、前記画像情報から、前記監視対象システムの状態を表す文字情報を抽出する複数の画像解析手法を有する画像解析手法データを取得する機能と、前記動作シナリオデータに従って遷移する複数の前記画像情報の順番と何れかの前記画像解析手法とを紐づけるデータ収集シナリオを取得する機能と、を備えるデータ収集手段、
前記画像情報の順番に紐づく前記画像解析手法を選択する画像解析手法選択手段、
前記画像解析手法選択手段が選択した前記画像解析手法を用いて、前記画像情報から、前記文字情報を抽出する画像解析手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、用役管理装置およびプログラムに関する。
【背景技術】
【0002】
本技術分野の背景技術として、下記特許文献１の要約には、「画像で構成された表示画面中から所定の文字列情報やグラフィカルユーザインタフェースの部品を検索することができる文字列画像検索装置、部品画像検索装置を提供する。」と記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６３５５７６８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上述した技術において、表示画面から一層適切に文字情報を取得したいという要望がある。
この発明は上述した事情に鑑みてなされたものであり、表示画面から適切に文字情報を取得できる用役管理装置およびプログラムを提供することを目的とする。
この発明は上述した事情に鑑みてなされたものであり、表示画面から適切に文字情報を取得できる用役管理装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するため本発明の用役管理装置は、監視対象システムが備える表示装置に表示される画像情報を取得する機能と、前記監視対象システムにおけるソフトウエアの動作順序である動作シナリオデータを取得する機能と、前記画像情報から、前記監視対象システムの状態を表す文字情報を抽出する複数の画像解析手法を有する画像解析手法データを取得する機能と、前記動作シナリオデータに従って遷移する複数の前記画像情報の順番と何れかの前記画像解析手法とを紐づけるデータ収集シナリオを取得する機能と、を備えるデータ収集部と、前記画像情報の順番に紐づく前記画像解析手法を選択する画像解析手法選択部と、前記画像解析手法選択部が選択した前記画像解析手法を用いて、前記画像情報から、前記文字情報を抽出する画像解析部と、を備えることを特徴とする。
【発明の効果】
【0006】
本発明によれば、表示画面から適切に文字情報を取得できる。
【図面の簡単な説明】
【0007】
【図1】第１実施形態による用役管理装置システムのブロック図である。
【図2】コンピュータのブロック図である。
【図3】動作シナリオデータの一例を示す図である。
【図4】データ収集シナリオデータの一例を示す図である。
【図5】画像解析手法データの一例を示す図である。
【図6】第２実施形態による用役管理装置システムのブロック図である。
【図7】第２実施形態におけるデータ収集シナリオデータの一例を示す図である。
【図8】第２実施形態における評価ルーチンのフローチャートである。
【発明を実施するための形態】
【0008】
［実施形態の概要］
企業や工場が有する設備では、設備を監視するための設備監視システムが稼働している。例えば、オフィスであれば、オフィス内に設けられた空調設備などを監視するシステムが設けられている。これらの設備監視システムのうち、稼働年数が長く製造年度が古いシステムは、設備の監視データを短期間しか保存することができない、システム外部へ監視データを出力できない、等の技術的制約を有する場合が多い。これにより、設備監視システムが取得した設備監視データを十分に活用できない場合が生じる。また、設備監視システムを更新して機能を追加すれば、設備監視データを予兆診断に活用できるものの、高額な更新費用がかかることから、特に中小企業では機器更新が進んでいないのが実情である。従って、既存の設備監視システムを活用したままで、設備監視データの利活用が望まれている。
企業や工場が有する設備では、設備を監視するための設備監視システムが稼働している。例えば、オフィスであれば、オフィス内に設けられた空調設備などを監視するシステムが設けられている。これらの設備監視システムのうち、稼働年数が長く製造年度が古いシステムは、設備の監視データを短期間しか保存することができない、システム外部へ監視データを出力できない、等の技術的制約を有する場合が多い。これにより、設備監視システムが取得した設備監視データを十分に活用できない場合が生じる。また、設備監視システムを更新して機能を追加すれば、設備監視データを予兆診断に活用できるものの、高額な更新費用がかかることから、特に中小企業では機器更新が進んでいないのが実情である。従って、既存の設備監視システムを活用したままで、設備監視データの利活用が望まれている。
【0009】
特許文献１に記載された技術を応用すると、画像で構成された表示画面中から所定の文字列情報を探し出すことができ、その位置情報に基づいて操作を自動化することができると考えられる。しかし、単純に特許文献１に記載された技術を応用すると、様々な理由により、表示画面中から文字列情報を抽出できない場合が生じる。例えば、表示画面の色合い、コントラストにより、文字列情報が取得しにくい場合がある。
【0010】
また、特に古いコンピュータシステムでは、ドット数が少ないドットマトリクスによって文字を表現するものがある。ドット数が少ない場合には、文字の混同を防止するため、一般的な文字の形状とは異なる形状のドットパターンが採用されることがある。このような場合は、一般的なＯＣＲ（Optical character recognition；光学文字認識）ソフトウエアを使用しても、文字列情報を適切に読み取れない場合がある。そこで、後述する実施形態は、できるだけ適切に文字列情報を取得しようとするものである。
【0011】
［第１実施形態］
〈第１実施形態の構成〉
図１は、第１実施形態による用役管理装置システム１のブロック図である。
用役管理装置システム１は、用役管理装置１０と、データベース部３０と、監視対象システム４０と、を備えている。
用役管理装置１０は、データベース部３０に記憶されたデータに基づいて、監視対象システム４０を監視するものである。
〈第１実施形態の構成〉
図１は、第１実施形態による用役管理装置システム１のブロック図である。
用役管理装置システム１は、用役管理装置１０と、データベース部３０と、監視対象システム４０と、を備えている。
用役管理装置１０は、データベース部３０に記憶されたデータに基づいて、監視対象システム４０を監視するものである。
【0012】
監視対象システム４０は、複数の監視対象設備４２－１，４２－２，４２－３と、設備監視装置４４と、表示装置４６と、を備えている。なお、以下の説明において、同一または類似の機能、意義を有する複数の構成要素や情報等を、例えば「監視対象設備４２－１，４２－２，４２－３」のように、同一の符号に「－」と英数字を付して、表記する場合がある。但し、これら複数の構成要素等を区別する必要がない場合には、例えば「監視対象設備４２」のように、「－」と英数字を省略して表記する場合がある。設備監視装置４４は、監視対象設備４２から様々な状態量を受信し、その状態量を含む画像情報を表示装置４６に表示する。
【0013】
また、用役管理装置１０は、データ収集部１２（データ収集手段）と、画像解析部１４（画像解析手段）と、画像解析手法選択部１６（画像解析手法選択手段）と、動作シナリオ実行部１８と、を備えている。また、データベース部３０は、データ収集シナリオ記憶部３２と、ソフトウエア動作シナリオ記憶部３４と、画像解析手法記憶部３６と、設備監視データベース３８と、を備えている。
【0014】
また、用役管理装置１０におけるデータ収集部１２は、監視対象システム４０から、ラスタデータである表示画面情報ＤＶ（画像情報）を取得し、データベース部３０に対して各種データを入出力する。データ収集部１２が表示画面情報ＤＶを取得する場合は、例えば、表示装置４６の表示画面をカメラ等で撮影することが考えられる。但し、設備監視装置４４から監視対象システム４０に供給される映像信号を直接的に取得できる場合には、この映像信号から表示画面情報ＤＶを取得してもよい。
【0015】
動作シナリオ実行部１８は、指定された動作シナリオデータＳＤ（図３参照）に従って、設備監視装置４４に制御信号ＣＳを送信する。ここで、動作シナリオデータＳＤは、設備監視装置４４における各種処理の実行順序等を定めたものである。これにより、設備監視装置４４は、制御信号ＣＳに従って遠隔操作され、監視対象設備４２の各種状態の取得や表示装置４６の表示画面の制御等を実行する。但し、監視対象システム４０において制御信号ＣＳによる遠隔操作が不可能である場合もある。このような場合、動作シナリオ実行部１８は、設備監視装置４４において行うべき操作をユーザに対して指示し、ユーザは、この指示に従って設備監視装置４４をマニュアル操作することにより、動作シナリオデータＳＤを実行してもよい。
【0016】
動作シナリオ実行部１８が動作シナリオデータＳＤの各レコード（行）に対して実行する動作は次の通りである。
・ステップ＃１：指定された座標を設備監視装置４４のマウスでクリックする。より正確には、制御信号ＣＳによって、設備監視装置４４におけるマウスカーソル座標を指定座標に移動させ、設備監視装置４４においてマウスクリックイベントを発生させる。
・ステップ＃２：マウスをクリックした結果、表示画面情報ＤＶが次の画面に遷移するまで処理を待機する。
・ステップ＃１：指定された座標を設備監視装置４４のマウスでクリックする。より正確には、制御信号ＣＳによって、設備監視装置４４におけるマウスカーソル座標を指定座標に移動させ、設備監視装置４４においてマウスクリックイベントを発生させる。
・ステップ＃２：マウスをクリックした結果、表示画面情報ＤＶが次の画面に遷移するまで処理を待機する。
【0017】
・ステップ＃３：画面が遷移した後の表示画面情報ＤＶをキャプチャし、その結果を設備監視データベース３８に保存する。なお、キャプチャする対象は表示画面情報ＤＶの全体であり、文字が表示されている範囲のみならず、図形等が表示されている範囲も含む。
・ステップ＃４：所定の待機時間だけ、処理を待機させる。その理由は、ステップ＃１のマウスクリックによって、表示画面情報ＤＶが次の画面に遷移したとしても、さらに、監視対象設備４２の状態を取得して各種数値を表示装置４６の画面上に反映するまで、ある程度の時間を要するためである。
・ステップ＃４：所定の待機時間だけ、処理を待機させる。その理由は、ステップ＃１のマウスクリックによって、表示画面情報ＤＶが次の画面に遷移したとしても、さらに、監視対象設備４２の状態を取得して各種数値を表示装置４６の画面上に反映するまで、ある程度の時間を要するためである。
【0018】
動作シナリオデータＳＤに基づく制御信号ＣＳに応じて設備監視装置４４において実行する処理内容が特定されると、設備監視装置４４は、現在の処理内容に応じた表示画面を表示装置４６に表示させ、データ収集部１２は、該表示画面の内容を表示画面情報ＤＶとして取得する。画像解析手法選択部１６は、現在の表示画面情報ＤＶに対して適切と考えられる画像解析手法を、複数の手法の中から選択する。
【0019】
画像解析部１４は、指定された画像解析手法と、データ収集シナリオデータＳＥに基づいて、表示画面情報ＤＶのうち、指定された抽出箇所の画像を解析する。このデータ収集シナリオデータＳＥは、各段階の表示画面情報ＤＶに応じて、文字列を抽出する箇所を指定するデータである。そして、画像解析部１４は、当該抽出箇所に示された文字列の推定結果である推定文字列データＤＣ（文字情報）を出力する。
【0020】
データベース部３０におけるソフトウエア動作シナリオ記憶部３４は、上述した動作シナリオデータＳＤを記憶する。また、データ収集シナリオ記憶部３２は、上述したデータ収集シナリオデータＳＥを記憶する。また、画像解析手法記憶部３６は、画像解析手法データＳＦを記憶する。この画像解析手法データＳＦは、画像解析部１４に対して適用され得る複数種類の画像解析手法のアルゴリズムを定めるデータである。設備監視データベース３８は、画像解析部１４が出力した推定文字列データＤＣ等を記憶する。
【0021】
図２は、コンピュータ９８０のブロック図である。
図１に示した用役管理装置１０、データベース部３０および監視対象システム４０は、何れも図２に示すコンピュータ９８０を、１台または複数台備えている。
図２において、コンピュータ９８０は、ＣＰＵ９８１と、記憶部９８２と、通信Ｉ／Ｆ（インタフェース）９８３と、入出力Ｉ／Ｆ９８４と、メディアＩ／Ｆ９８５と、を備える。ここで、記憶部９８２は、ＲＡＭ９８２ａと、ＲＯＭ９８２ｂと、ＨＤＤ９８２ｃと、を備える。通信Ｉ／Ｆ９８３は、通信回路９８６に接続される。入出力Ｉ／Ｆ９８４は、入出力装置９８７に接続される。入出力装置９８７は、キーボード、マウス等を備えている。メディアＩ／Ｆ９８５は、記録媒体９８８からデータを読み書きする。
図１に示した用役管理装置１０、データベース部３０および監視対象システム４０は、何れも図２に示すコンピュータ９８０を、１台または複数台備えている。
図２において、コンピュータ９８０は、ＣＰＵ９８１と、記憶部９８２と、通信Ｉ／Ｆ（インタフェース）９８３と、入出力Ｉ／Ｆ９８４と、メディアＩ／Ｆ９８５と、を備える。ここで、記憶部９８２は、ＲＡＭ９８２ａと、ＲＯＭ９８２ｂと、ＨＤＤ９８２ｃと、を備える。通信Ｉ／Ｆ９８３は、通信回路９８６に接続される。入出力Ｉ／Ｆ９８４は、入出力装置９８７に接続される。入出力装置９８７は、キーボード、マウス等を備えている。メディアＩ／Ｆ９８５は、記録媒体９８８からデータを読み書きする。
【0022】
ＲＯＭ９８２ｂには、ＣＰＵによって実行されるＩＰＬ（Initial Program Loader）等が格納されている。ＨＤＤ９８２ｃには、制御プログラムや各種データ等が記憶されている。ＣＰＵ９８１は、ＨＤＤ９８２ｃからＲＡＭ９８２ａに読み込んだ制御プログラム等を実行することにより、各種機能を実現する。先に図１に示した、用役管理装置１０、データベース部３０および監視対象システム４０の内部は、制御プログラム等によって実現される機能をブロックとして示したものである。
【0023】
図３は、動作シナリオデータＳＤの一例を示す図である。
動作シナリオデータＳＤは、監視対象システム４０に実行させる動作の動作順序を示すものであり、各動作に対応する複数のレコード（行）を備え、これらレコードは、実行順に配列されている。そして、各レコードは、動作ＩＤ情報ＳＤ２と、マウスクリック座標ＳＤ４と、待機時間情報ＳＤ６と、を含む。
動作シナリオデータＳＤは、監視対象システム４０に実行させる動作の動作順序を示すものであり、各動作に対応する複数のレコード（行）を備え、これらレコードは、実行順に配列されている。そして、各レコードは、動作ＩＤ情報ＳＤ２と、マウスクリック座標ＳＤ４と、待機時間情報ＳＤ６と、を含む。
【0024】
動作ＩＤ情報ＳＤ２は、各レコードを一意に特定する情報である。マウスクリック座標ＳＤ４は、上述した「ステップ＃１」において、マウスでクリックすべき表示装置４６上の座標である。待機時間情報ＳＤ６は、上述した「ステップ＃４」において、処理を待機すべき待機時間である。
【0025】
図４は、データ収集シナリオデータＳＥの一例を示す図である。
データ収集シナリオデータＳＥは、複数のレコード（行）を備えており、各レコードは、動作ＩＤ情報ＳＥ２と、データ抽出範囲情報ＳＥ４と、データ名ＳＥ６と、画像解析手法ＩＤ情報ＳＥ８と、を含む。動作ＩＤ情報ＳＥ２は、動作シナリオデータＳＤ（図３参照）における動作ＩＤ情報ＳＤ２に対応付けられている。これにより、データ収集シナリオデータＳＥにおける各レコードは、動作シナリオデータＳＤにおける各レコードに対応付けられている。
データ収集シナリオデータＳＥは、複数のレコード（行）を備えており、各レコードは、動作ＩＤ情報ＳＥ２と、データ抽出範囲情報ＳＥ４と、データ名ＳＥ６と、画像解析手法ＩＤ情報ＳＥ８と、を含む。動作ＩＤ情報ＳＥ２は、動作シナリオデータＳＤ（図３参照）における動作ＩＤ情報ＳＤ２に対応付けられている。これにより、データ収集シナリオデータＳＥにおける各レコードは、動作シナリオデータＳＤにおける各レコードに対応付けられている。
【0026】
データ抽出範囲情報ＳＥ４は、表示画面情報ＤＶのうち推定文字列データＤＣを抽出すべき範囲を指定する情報である。データ名ＳＥ６には、任意の文字列を指定できる。画像解析手法ＩＤ情報ＳＥ８は、当該レコードに適用される画像解析手法を特定する情報である。
【0027】
図５は、画像解析手法データＳＦの一例を示す図である。
画像解析手法データＳＦは、複数のレコード（行）を備えており、各レコードは、画像解析手法ＩＤ情報ＳＦ２と、画像解析手法情報ＳＦ４（画像解析手法）と、を含む。画像解析手法ＩＤ情報ＳＦ２は、データ収集シナリオデータＳＥ（図４参照）における画像解析手法ＩＤ情報ＳＥ８に対応付けられている。画像解析手法情報ＳＦ４は、当該画像解析手法ＩＤ情報ＳＦ２に対応する画像解析手法のアルゴリズムを特定する情報である。
画像解析手法データＳＦは、複数のレコード（行）を備えており、各レコードは、画像解析手法ＩＤ情報ＳＦ２と、画像解析手法情報ＳＦ４（画像解析手法）と、を含む。画像解析手法ＩＤ情報ＳＦ２は、データ収集シナリオデータＳＥ（図４参照）における画像解析手法ＩＤ情報ＳＥ８に対応付けられている。画像解析手法情報ＳＦ４は、当該画像解析手法ＩＤ情報ＳＦ２に対応する画像解析手法のアルゴリズムを特定する情報である。
【0028】
画像解析手法情報ＳＦ４として、例えば以下のものを適用することができる。
・手法＃１：監視対象システム４０の表示装置４６に表示される各文字のドットパターンを予め取得し、取得したドットパターンである既取得ドットパターンと、表示画面情報ＤＶにおける文字のドットパターンである表示ドットパターンとを比較することにより、推定文字列データＤＣを取得する。
さらに、手法＃１においては、様々な表示条件（文字の大きさ、背景色、文字色等）の組合せに対応した、複数種類の既取得ドットパターンの中から、表示画面情報ＤＶに応じたものを選択するとよい。これにより、表示画面情報ＤＶの色合いやコントラストに変動が生じたとしても、適切な推定文字列データＤＣを取得できる。
・手法＃２：一般的なＯＣＲソフトウエアによって表示画面情報ＤＶから推定文字列データＤＣを取得する。
・手法＃１：監視対象システム４０の表示装置４６に表示される各文字のドットパターンを予め取得し、取得したドットパターンである既取得ドットパターンと、表示画面情報ＤＶにおける文字のドットパターンである表示ドットパターンとを比較することにより、推定文字列データＤＣを取得する。
さらに、手法＃１においては、様々な表示条件（文字の大きさ、背景色、文字色等）の組合せに対応した、複数種類の既取得ドットパターンの中から、表示画面情報ＤＶに応じたものを選択するとよい。これにより、表示画面情報ＤＶの色合いやコントラストに変動が生じたとしても、適切な推定文字列データＤＣを取得できる。
・手法＃２：一般的なＯＣＲソフトウエアによって表示画面情報ＤＶから推定文字列データＤＣを取得する。
【0029】
〈第１実施形態の動作〉
次に、本実施形態の動作を説明する。
動作シナリオ実行部１８は、指定された動作シナリオデータＳＤ（図３参照）に従って、設備監視装置４４に制御信号ＣＳを送信する。これにより、監視対象システム４０の設備監視装置４４は、制御信号ＣＳによって指定された動作を実行する。その結果、設備監視装置４４は、表示装置４６の表示画面を遷移させる。
次に、本実施形態の動作を説明する。
動作シナリオ実行部１８は、指定された動作シナリオデータＳＤ（図３参照）に従って、設備監視装置４４に制御信号ＣＳを送信する。これにより、監視対象システム４０の設備監視装置４４は、制御信号ＣＳによって指定された動作を実行する。その結果、設備監視装置４４は、表示装置４６の表示画面を遷移させる。
【0030】
一方、用役管理装置１０において、データ収集部１２は、遷移された表示画面の内容を表示画面情報ＤＶとして取得する。また、画像解析手法選択部１６は、動作シナリオデータＳＤにおいて現在実行中のレコードに対応する、データ収集シナリオデータＳＥ（図４参照）のレコードを参照し、画像解析手法ＩＤ情報ＳＥ８を取得する。さらに、画像解析手法選択部１６は、画像解析手法ＩＤ情報ＳＥ８に基づいて画像解析手法データＳＦ（図５参照）を参照し、画像解析手法情報ＳＦ４を取得する。
【0031】
これにより、画像解析手法選択部１６は、取得した画像解析手法情報ＳＦ４を、画像解析部１４に対して通知する。画像解析部１４は、表示画面情報ＤＶのうち、データ抽出範囲情報ＳＥ４（図４参照）で指定された範囲の画像を、画像解析手法選択部１６によって指定された手法で解析し、当該範囲に表示された文字列を推定する。そして、画像解析部１４は、その推定結果を、推定文字列データＤＣとして、設備監視データベース３８に記録させる。
【0032】
以上の動作を動作シナリオデータＳＤの各レコードに対して繰り返すことにより、表示装置４６の表示画面に現れたと推定される文字列を、推定文字列データＤＣとして、設備監視データベース３８に蓄積することができる。
【0033】
［第２実施形態］
図６は、第２実施形態による用役管理装置システム２のブロック図である。
なお、以下の説明において、上述した第１実施形態の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
用役管理装置システム２は、用役管理装置１０と、データベース部３０と、監視対象システム４０と、を備えている。
図６は、第２実施形態による用役管理装置システム２のブロック図である。
なお、以下の説明において、上述した第１実施形態の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
用役管理装置システム２は、用役管理装置１０と、データベース部３０と、監視対象システム４０と、を備えている。
【0034】
データベース部３０および監視対象システム４０の構成は第１実施形態のもの（図１参照）と同様である。用役管理装置１０は、第１実施形態の用役管理装置１０と同様の要素に加えて、エラーチェック部２２と、警告発出部２４と、を備えている。また、データ収集シナリオ記憶部３２に記憶されている情報も、第１実施形態のものとは異なる。
【0035】
図７は、第２実施形態におけるデータ収集シナリオデータＳＥの一例を示す図である。
図７において、データ収集シナリオデータＳＥは、第１実施形態のものと同様に、複数のレコード（行）を備えており、各レコードは、動作ＩＤ情報ＳＥ２と、データ抽出範囲情報ＳＥ４と、データ名ＳＥ６と、画像解析手法ＩＤ情報ＳＥ８と、を含む。
図７において、データ収集シナリオデータＳＥは、第１実施形態のものと同様に、複数のレコード（行）を備えており、各レコードは、動作ＩＤ情報ＳＥ２と、データ抽出範囲情報ＳＥ４と、データ名ＳＥ６と、画像解析手法ＩＤ情報ＳＥ８と、を含む。
【0036】
但し、本実施形態において、データ収集シナリオデータＳＥの各レコードは、複数の画像解析手法ＩＤ情報ＳＥ８を含めることができる。図７の例において、動作ＩＤ情報ＳＥ２が「０００３」であるレコードは、「解析－０００２」および「解析－０００１」という二つの画像解析手法ＩＤ情報ＳＥ８を含んでいる。ここで、あるレコードに複数の画像解析手法ＩＤ情報ＳＥ８が含まれる場合、これら画像解析手法ＩＤ情報ＳＥ８は、優先度の高い順に配列される。図７の例においては、「解析－０００２」が「解析－０００１」よりも前に配列されているため、「解析－０００２」は「解析－０００１」よりも優先度が高いことになる。
【0037】
図８は、第２実施形態における評価ルーチンのフローチャートである。
この評価ルーチンは、データ収集シナリオデータＳＥ（図７参照）のレコード毎に、用役管理装置１０によって実行される。
図８において処理がステップＳ２に進むと、画像解析部１４は、画像調整を行う。ここで、「画像調整」とは、例えば画像のグレースケール化、輪郭強調等の処理である。
この評価ルーチンは、データ収集シナリオデータＳＥ（図７参照）のレコード毎に、用役管理装置１０によって実行される。
図８において処理がステップＳ２に進むと、画像解析部１４は、画像調整を行う。ここで、「画像調整」とは、例えば画像のグレースケール化、輪郭強調等の処理である。
【0038】
次に、処理がステップＳ４に進むと、画像解析部１４は、「第１手法」によって表示画面情報ＤＶを解析し、推定文字列データＤＣの抽出を試行する。ここで、「第１手法」とは、現在のデータ収集シナリオデータＳＥのレコードにおいて最も優先度の高い画像解析手法ＩＤ情報ＳＥ８に対応する手法である。この第１手法としては、上述した「手法＃１」、すなわち、予め取得した既取得ドットパターンと、表示画面情報ＤＶにおける表示ドットパターンと、を比較する手法を採用することが好ましい。
【0039】
次に、処理がステップＳ６に進むと、画像解析部１４は、第１手法による解析が成功したか否かを判定する。ここで、「Ｙｅｓ」（解析が成功）と判定されると、処理はステップＳ８に進む。ステップＳ８において、画像解析部１４は、推定文字列データＤＣと、「第１種成功」の情報と、を設備監視データベース３８に登録し、本ルーチンの処理が終了する。
【0040】
一方、ステップＳ６において「Ｎｏ」（解析が失敗）と判定されると、処理はステップＳ１０に進み、画像解析部１４は、「第２手法」によって表示画面情報ＤＶを解析し、推定文字列データＤＣの抽出を試行する。ここで、「第２手法」とは、「第１手法」の次に優先度の高い画像解析手法ＩＤ情報ＳＥ８に対応する手法である。この第２手法としては、上述した「手法＃２」、すなわち、既取得ドットパターンを用いない一般的なＯＣＲソフトウエアの機能を適用することが好ましい。
【0041】
次に、処理がステップＳ１２に進むと、画像解析部１４は、第２手法による解析が成功したか否かを判定する。ここで、「Ｙｅｓ」（解析が成功）と判定されると、処理はステップＳ１６に進む。ステップＳ１６において、画像解析部１４は、推定文字列データＤＣと、「第２種成功」の情報と、を設備監視データベース３８に登録し、本ルーチンの処理が終了する。
【0042】
一方、ステップＳ１２において「Ｎｏ」（解析が失敗）と判定されると、処理はステップＳ１４に進み、「解析失敗」の情報を、設備監視データベース３８に登録する。以上の処理が全ての画像解析手法ＩＤ情報ＳＥ８（図７参照）の全てのレコードについて繰り返されることにより、設備監視データベース３８には、各々のレコードに対応して「第１種成功」、「第２種成功」または「解析失敗」の情報が登録される。
【0043】
エラーチェック部２２は、設備監視データベース３８に、「第２種成功」または「解析失敗」の情報が登録されている場合には、警告発出部２４を介して、その旨をユーザに警告する。
【0044】
［第３実施形態］
次に、第３実施形態について説明する。なお、以下の説明において、上述した他の実施形態の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
第３実施形態のハードウエア構成およびデータ構成は、第２実施形態のもの（図６、図７参照）と同様である。但し、画像解析部１４等の動作内容は、以下に述べるように第２実施形態のものとは異なる。
次に、第３実施形態について説明する。なお、以下の説明において、上述した他の実施形態の各部に対応する部分には同一の符号を付し、その説明を省略する場合がある。
第３実施形態のハードウエア構成およびデータ構成は、第２実施形態のもの（図６、図７参照）と同様である。但し、画像解析部１４等の動作内容は、以下に述べるように第２実施形態のものとは異なる。
【0045】
すなわち、データ収集シナリオデータＳＥ（図７参照）において、複数の画像解析手法ＩＤ情報ＳＥ８が指定されているレコード（例えば動作ＩＤ情報ＳＥ２が「０００３」であるレコード）が存在する場合、本実施形態の画像解析部１４は、複数の画像解析手法ＩＤ情報ＳＥ８に対応する複数の画像解析手法に基づいて、各々データ抽出範囲情報ＳＥ４で指定された範囲の文字列を抽出する。そして、エラーチェック部２２は、全ての画像解析手法に基づいて抽出した文字列が一致するか否かを判定する。この判定結果が肯定である場合、エラーチェック部２２は、当該文字列を推定文字列データＤＣとして設備監視データベース３８に登録するとともに、「エラー無」の情報を設備監視データベース３８に登録する。
【0046】
一方、判定結果が否定であった場合、エラーチェック部２２は、全ての画像解析手法に基づいて抽出した文字列と、「エラー有」の情報を設備監視データベース３８に登録する。さらに、エラーチェック部２２は、エラー場発生した旨の警告を警告発出部２４を介して表示させる。これにより、複数の画像解析手法に基づいて抽出した文字列を照合することにより、推定文字列データＤＣの信頼性を高めることができる。
【0047】
［実施形態の効果］
以上のように上述した実施形態によれば、用役管理装置１０は、画像情報（ＤＶ）の順番に紐づく画像解析手法（ＳＦ４）を選択する画像解析手法選択部１６と、画像解析手法選択部１６が選択した画像解析手法（ＳＦ４）を用いて、画像情報（ＤＶ）から、文字情報（ＤＣ）を抽出する画像解析部１４と、を備える。これにより、画像情報（ＤＶ）の順番に基づいて適切な画像解析手法（ＳＦ４）を選択することができるため、適切に文字情報を取得できる。
以上のように上述した実施形態によれば、用役管理装置１０は、画像情報（ＤＶ）の順番に紐づく画像解析手法（ＳＦ４）を選択する画像解析手法選択部１６と、画像解析手法選択部１６が選択した画像解析手法（ＳＦ４）を用いて、画像情報（ＤＶ）から、文字情報（ＤＣ）を抽出する画像解析部１４と、を備える。これにより、画像情報（ＤＶ）の順番に基づいて適切な画像解析手法（ＳＦ４）を選択することができるため、適切に文字情報を取得できる。
【0048】
また、データ収集部１２は、任意の画像情報（ＤＶ）に対して、第１手法および第２手法を含む複数の画像解析手法（ＳＦ４）を紐づけたデータ収集シナリオ（ＳＥ）を取得するものであり、画像解析部１４は、第１手法に基づいて文字情報（ＤＣ）の取得を試行する機能（Ｓ４）と、第１手法に基づく文字情報（ＤＣ）の取得が失敗したことを条件として第２手法に基づいて文字情報（ＤＣ）の取得を試行する機能（Ｓ１０）と、を備えることを特徴とする請求項１に記載の用役管理装置１０。と一層好ましい。これにより、第１手法および第２手法を段階的に適用することができ、一層適切に適切に文字情報を取得できる。
【0049】
また、第１手法は、表示装置４６に表示される各文字のドットパターンを予め取得した結果である既取得ドットパターンと、画像情報（ＤＶ）に現れるドットパターンである表示ドットパターンとを比較することによって文字情報（ＤＣ）を取得する手法であり、第２手法は、既取得ドットパターンを用いることなく文字情報（ＤＣ）を取得する手法であると一層好ましい。これにより、既取得ドットパターンを用いる第１手法を第２手法よりも優先的に適用できるため、一層適切に適切に文字情報を取得できる。
【0050】
また、画像解析部１４は、複数の画像解析手法（ＳＦ４）に各々対応する複数パターンの文字情報（ＤＣ）を抽出するものであり、複数パターンの文字情報（ＤＣ）を対比して、複数パターンの文字情報（ＤＣ）におけるエラーの有無を判定するエラーチェック部２２をさらに備えると一層好ましい。これにより、複数パターンの文字情報（ＤＣ）を対比することができ、一層適切に適切に文字情報を取得できる。
【0051】
［変形例］
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について削除し、もしくは他の構成の追加・置換をすることが可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について削除し、もしくは他の構成の追加・置換をすることが可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。
【0052】
（１）上記実施形態における用役管理装置１０、データベース部３０および監視対象システム４０のハードウエアは一般的なコンピュータによって実現できるため、上述した各ブロック図、各フローチャートに対応する処理、その他上述した各種処理を実行するプログラム等を記憶媒体（プログラムを記録したコンピュータ読み取り可能な記録媒体）に格納し、または伝送路を介して頒布してもよい。
【0053】
（２）上述した各ブロック図、各フローチャートに対応する処理、その他上述した各種処理を実行するプログラム等は、上記実施形態ではプログラムを用いたソフトウエア的な処理として説明したが、その一部または全部をＡＳＩＣ(Application Specific Integrated Circuit；特定用途向けＩＣ)、あるいはＦＰＧＡ(Field Programmable Gate Array)等を用いたハードウエア的な処理に置き換えてもよい。
【0054】
（３）データベース部３０は、ネットワーク上のクラウド等に置いてもよく、用役管理装置システム１，２に含めなくてもよい。
【符号の説明】
【0055】
１０ 用役管理装置
１２ データ収集部（データ収集手段）
１４ 画像解析部（画像解析手段）
１６ 画像解析手法選択部（画像解析手法選択手段）
２２ エラーチェック部
４０ 監視対象システム
４６ 表示装置
ＤＣ 推定文字列データ（文字情報）
ＤＶ 表示画面情報（画像情報）
ＳＤ 動作シナリオデータ
ＳＥ データ収集シナリオデータ（データ収集シナリオ）
ＳＦ 画像解析手法データ
ＳＦ４ 画像解析手法情報（画像解析手法）
１２ データ収集部（データ収集手段）
１４ 画像解析部（画像解析手段）
１６ 画像解析手法選択部（画像解析手法選択手段）
２２ エラーチェック部
４０ 監視対象システム
４６ 表示装置
ＤＣ 推定文字列データ（文字情報）
ＤＶ 表示画面情報（画像情報）
ＳＤ 動作シナリオデータ
ＳＥ データ収集シナリオデータ（データ収集シナリオ）
ＳＦ 画像解析手法データ
ＳＦ４ 画像解析手法情報（画像解析手法）
【要約】
【課題】表示画面から適切に文字情報を取得できるようにする。
【解決手段】監視対象システム４０が備える表示装置４６に表示される画像情報ＤＶを取得する機能を備えるデータ収集部１２と、前記画像情報ＤＶの順番に紐づく前記画像解析手法ＳＦ４を選択する画像解析手法選択部１６と、前記画像解析手法選択部１６が選択した前記画像解析手法ＳＦ４を用いて、前記画像情報ＤＶから、前記文字情報ＤＣを抽出する画像解析部１４と、を用役管理装置１０に設けた。
【選択図】図１
【解決手段】監視対象システム４０が備える表示装置４６に表示される画像情報ＤＶを取得する機能を備えるデータ収集部１２と、前記画像情報ＤＶの順番に紐づく前記画像解析手法ＳＦ４を選択する画像解析手法選択部１６と、前記画像解析手法選択部１６が選択した前記画像解析手法ＳＦ４を用いて、前記画像情報ＤＶから、前記文字情報ＤＣを抽出する画像解析部１４と、を用役管理装置１０に設けた。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】