特開 2024-132373 監視情報アクセスシステム及び監視情報アクセス方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024132373

(43)【公開日】2024-10-01

(54)【発明の名称】監視情報アクセスシステム及び監視情報アクセス方法

(51)【国際特許分類】

   G05B 23/02 20060101AFI20240920BHJP

【ＦＩ】

G05B23/02 Z

G05B23/02 X

G05B23/02 301Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023043111

(22)【出願日】2023-03-17

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】岩代 彩

(72)【発明者】

【氏名】大井 里美

【テーマコード（参考）】

3C223

【Ｆターム（参考）】

3C223AA02

3C223BA03

3C223BB02

3C223BB08

3C223CC02

3C223DD03

3C223EB01

3C223FF02

3C223FF03

3C223FF12

3C223FF13

3C223HH02

3C223HH05

3C223HH06

3C223HH08

3C223HH17

3C223HH29

(57)【要約】

【課題】プラントなどの監視システムの画面を監視している作業者が、監視状況から何らかの対処が必要な際に、必要な情報を迅速に取り出せるようにする。
【解決手段】所定の設備が備える制御対象機器の状況を表示する監視システムによる監視作業を、携帯端末３０により支援する監視情報アクセスシステムである。ここで、監視情報アクセスシステムは、監視システムにより表示された監視状況の少なくとも一部を撮影する端末内蔵の撮影部３１と、予め用意された画像認識用データを使って撮影部３１が撮影した画像を認識して、制御対象機器を認識する画像認識部３２と、画像認識部３２が認識した制御対象機器に関する業務情報を生成する情報生成部３４と、情報生成部３４が生成した業務情報を表示する端末内蔵の表示部３５と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の設備が備える制御対象機器の状況を表示する監視システムによる監視作業を、携帯端末により支援する監視情報アクセスシステムであり、
前記監視システムにより表示された監視状況の少なくとも一部を前記携帯端末で撮影する撮影部と、
予め用意された画像認識用データを使って、前記撮影部が撮影した画像に基づいて制御対象機器を認識する画像認識部と、
前記画像認識部が認識した制御対象機器に関する業務情報を生成する情報生成部と、
前記情報生成部が生成した業務情報を前記携帯端末で表示する表示部と、を備える
監視情報アクセスシステム。

【請求項2】

前記情報生成部は、前記携帯端末と業務系ネットワークを介して接続されたデータ格納サーバから、前記業務情報を取得して、前記表示部に表示させる
請求項１に記載の監視情報アクセスシステム。

【請求項3】

前記画像認識部は、前記撮影部が撮影した画像に含まれる系統図の中のシンボルを抽出して、前記制御対象機器を特定する
請求項２に記載の監視情報アクセスシステム。

【請求項4】

さらに、画像認識部は、抽出したシンボルの周辺のシルエット及び文字を抽出する
請求項３に記載の監視情報アクセスシステム。

【請求項5】

前記撮影部が撮影する際には、前記表示部が認識を行う範囲を示す枠を表示し、
前記画像認識部は、前記枠の内部の画像から前記シンボルを認識する
請求項３に記載の監視情報アクセスシステム。

【請求項6】

前記表示部は、特定した機器に関する業務情報の選択画面を表示し、
前記選択画面で選択が行われたとき、その選択された業務情報を、対応したデータ格納サーバから取得して表示する
請求項３に記載の監視情報アクセスシステム。

【請求項7】

さらに、前記画像認識部は、抽出したシンボルとその周辺の表示形態、又はシンボルの周辺の文字から、前記制御対象機器の状態を認識し、
前記情報生成部は認識した状態に適切な業務情報を生成して、前記表示部に表示させる
請求項４に記載の監視情報アクセスシステム。

【請求項8】

所定の設備が備える制御対象機器の状況を表示する監視システムによる監視作業を、携帯端末により支援する監視情報アクセス方法であり、
前記監視システムにより表示された監視状況の少なくとも一部を前記携帯端末で撮影した画像から、予め用意された画像認識用データを使って画像認識して、制御対象機器を認識する画像認識処理と、
前記画像認識処理により認識した制御対象機器に関する業務情報を生成する情報生成処理と、
前記情報生成処理により生成した業務情報を前記携帯端末で表示する表示処理と、を実行する
監視情報アクセス方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視情報アクセスシステム及び監視情報アクセス方法に関する。

【背景技術】

【0002】

発電プラントなどの社会インフラ設備や、工場に設置された製造プラントなどの各種設備は、監視装置（監視制御装置）により稼働状況を監視し、制御するようにしている。例えば発電プラントの場合、監視装置の画面上には、発電プラントの構成を示す系統図面を表示し、その系統図面内に、製造プラント等の各種設備における各部の温度、圧力、流量などの詳細を表示している。

【0003】

特許文献１には、火力発電プラントの監視制御システムの監視状況を、監視制御システムと無線接続された遠隔情報端末が表示する技術が記載されている。
特許文献１に記載される技術によると、監視装置の画面に表示される情報を、別の端末に表示することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４－２１７８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、プラントを監視している作業者にとっては、監視画面からプラントの稼働状況を確認した上で、どのような操作や対処が必要であるかを確認する必要がある。例えば、監視画面で何らかの不具合を発見したとき、監視作業者は、どのような対処が必要になるかを予め用意されたマニュアルを見て判断している。
発電プラントのような大規模なプラントの場合、プラント設備ごとに、その設備に合致した専用のマニュアルが用意される。また、それぞれのプラントの監視項目や操作項目も多数あり、発電所などの大規模プラントのマニュアルは非常に膨大な文書になっている。

【0006】

したがって、監視画面で何らかの不具合を監視作業者が発見した際には、監視作業者は、その不具合についてどのような対処が必要になるかを、用意されたマニュアルから探し出す作業を行う必要があり、適切な操作が行われるまでに多くの手間と時間がかかっていた。

【0007】

本発明は、かかる点に鑑み、監視画面を監視している作業者が、監視状況から何らかの対処を行う際に、必要な情報を迅速に取り出すことができる監視情報アクセスシステム及び監視情報アクセス方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、本発明の監視情報アクセスシステムは、所定の設備が備える制御対象機器の状況を表示する監視システムによる監視作業を、携帯端末により支援する監視情報アクセスシステムであり、監視システムにより表示された監視状況の少なくとも一部を撮影する撮影部と、予め用意された画像認識用データを使って、撮影部が撮影した画像を認識して、制御対象機器を認識する画像認識部と、画像認識部が認識した制御対象機器に関する業務情報を生成する情報生成部と、情報生成部が生成した業務情報を携帯端末で表示する表示部と、を備える。

【発明の効果】

【0009】

本発明によれば、プラント設備等における制御対象機器に関する情報をその場で、即座に取得することが可能になる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施の形態例による監視情報アクセスシステムの例を示す構成図である。

【図2】本発明の一実施の形態例による監視情報アクセスシステムのネットワーク構成とハードウェア構成の例を示す図である。

【図3】本発明の一実施の形態例による監視情報アクセスシステムによる処理例を示すフローチャートである。

【図4】本発明の一実施の形態例による携帯端末での機器の認識処理例を示すフローチャートである。

【図5】本発明の一実施の形態例による撮影状況の例を示す図である。

【図6】本発明の一実施の形態例による表示例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施の形態例（以下、「本例」と称する）による監視情報アクセスシステム及び監視情報アクセス方法を、添付図面を参照して説明する。

【0012】

［監視情報アクセスシステムの構成］
図１は、本例の監視情報アクセスシステムの構成を示す。
本例の監視情報アクセスシステムは、発電プラントなどの監視中の設備について、監視作業者が必要な情報にアクセスするためのシステムである。
すなわち、監視作業者は、設備の監視及び制御を行う監視システムである制御系ネットワーク１０が備える監視端末１１の表示部１２に表示される監視画面を見て、監視中の設備に関する情報にアクセスする。
ここで、監視作業者は、スマートフォンやタブレット端末などの携帯端末３０を所持している。携帯端末３０は、監視作業を支援する業務系ネットワーク２０を構成する機器であり、業務系ネットワーク２０内の他の機器と通信を行って情報を取得する機能を有する。

【0013】

携帯端末３０は、撮影部３１、画像認識部３２、画像認識用データ記憶部３３、情報生成部３４、及び表示部３５を備える。
撮影部３１は、携帯端末３０を所持する監視作業者の操作により、静止画又は動画を撮影することができる。
本例の場合、監視作業者合は、撮影部３１により、制御系ネットワーク１０の監視端末１１の表示部１２に表示される監視画面の中の、詳細情報（業務情報）を確認したい制御対象機器の箇所（シンボルなど）を撮影する。

【0014】

画像認識部３２は、撮影部３１で撮影された撮影画像を取得し、画像に含まれる制御対象機器を判別する（画像認識処理）。すなわち、画像認識部３２は、画像認識用データ記憶部３３に記憶された画像認識用データ（照合用データ）を使って画像認識処理を行う。画像認識用データは、業務系ネットワーク２０が予め用意したデータである。なお、画像認識部３２は、制御対象機器の認識の他に、画像認識により制御対象機器の状態を判別するようにしてもよい。

【0015】

画像認識部３２における画像認識処理で得た照合結果のデータである制御対象機器などの情報は、情報生成部３４に送られる。
情報生成部３４は、照合結果の制御対象機器のデータに基づいて、制御対象機器の業務情報（画面表示情報）を生成する。
ここで、情報生成部３４は、業務系ネットワーク２０に用意されたデータ格納サーバ４１，４２，・・・と通信を行って、データ格納サーバ４１，４２，・・・から、該当する制御対象機器の業務情報（画面表示情報）を取得する。

【0016】

それぞれのデータ格納サーバ４１，４２，・・・には、例えば制御系ネットワーク１０により制御される設備（発電プラントなど）の操作マニュアル、過去や現在の業務記録（点検や修理の記録など）、操作時のチェックリストなどが格納されている。
なお、データ格納サーバ４１，４２，・・・は、制御系ネットワーク１０と連動してデータを格納してもよい。
また、携帯端末３０が制御対象機器の業務情報を記憶する業務情報記憶部を備えている場合には、情報生成部３４は、携帯端末３０が備える業務情報記憶部から、画面表示情報としての業務情報を取得してもよい。

【0017】

情報生成部３４は、取得した業務情報（画面表示情報）を表示部３５に送り、表示部３５に業務情報を表示する。ここで、表示部３５は、業務情報を表示する際に最初に選択画面を表示し、その選択画面での選択が行われたとき、選択結果を情報生成部３４に送る。
表示部３５から選択結果を取得した情報生成部３４は、選択結果に基づいた業務情報（画面表示情報）を選択して表示部３５に送る。
表示部３５は、情報生成部３４から供給された業務情報（画面表示情報）を表示する。
なお、表示部３５には、タッチパネルが装着されており、監視作業者は、表示部３５の表示画面上のタッチにより、選択などの操作を行うことができる。

【0018】

図２は、本例の制御系ネットワーク１０と業務系ネットワーク２０の構成、並びに携帯端末３０のハードウェア構成を示す。制御系ネットワーク１０と業務系ネットワーク２０は、互いに繋がりのないネットワークである。
図２に示すように、制御系ネットワーク１０には監視端末１１が接続されている。監視端末１１は、プラントの制御対象機器（不図示）と接続され、監視端末１１から制御対象機器に制御指令を送ることができる。また、監視端末１１は、制御対象機器の動作状態を示すデータや、プラントに設置された各種センサのデータを受信して、表示部１２（図１）に監視画面を表示させることができる。

【0019】

業務系ネットワーク２０には、無線により携帯端末３０が接続されている。また、業務系ネットワーク２０には、監視対象のプラントについての業務情報を格納した複数のデータ格納サーバ４１，４２，・・・が接続されており、携帯端末３０からの要求により、データ格納サーバ４１，４２，・・・に格納されている業務情報が携帯端末３０に転送される。
図２では２つのデータ格納サーバ４１，４２を示すが、１つのデータ格納サーバ、又は３つ以上のデータ格納サーバで構成してもよい。

【0020】

携帯端末３０は、図２の上側に示すように、ＣＰＵ(Central Processing Unit)３０ａ、メモリ３０ｂ、操作部３０ｃ、通信部３０ｄ、撮影部３１、及び表示部３５がデータ転送可能に接続されている。そして、ＣＰＵ３０ａがメモリ３０ｂに用意されたプログラムを実行することにより、図１で説明した画像認識部３２や情報生成部３４などの携帯端末３０の処理部が構成される。携帯端末３０が有する画像認識用データ記憶部３３も、メモリ３０ｂの一部を使用して構成される。

【0021】

操作部３０ｃは、携帯端末３０の所持者（監視作業者）の操作を受け付ける処理部である。この操作部３０ｃによる操作の受け付け処理としては、携帯端末３０に配置された操作キーによる操作の他に、表示部３５に組み込まれたタッチセンサによるタッチ検出での操作がある。通信部３０ｄは、データ格納サーバ４１，４２，・・・などとの無線通信を行う。

【0022】

［監視情報アクセスシステムによる処理］
図３は、本例の監視情報アクセスシステムによる手順の流れを示すフローチャートである。
図３の左側は携帯端末３０における処理を示し、右側はデータ格納サーバ４１，４２，・・・における処理を示す。
まず、携帯端末３０の操作者である監視作業者は、監視端末１１の表示部１２に表示された監視画面内から、業務情報を表示させたい機器の箇所を選択して撮影する。
例えば、プラントの監視画面には、そのプラントの配管系統などの系統図が表示されるので、監視作業者は、その系統図の中の特定の設備対象機器のシンボルを撮影部３１により撮影する（ステップＳ１１）。

【0023】

ステップＳ１１の撮影が行われると、画像認識部３２は、撮影画像の認識処理を行い、撮影画像に含まれる対象機器を特定する（ステップＳ１２）。
ステップＳ１２で対象機器が特定されると、表示部３５は、その対象機器の業務情報を選択するための選択画面を表示する（ステップＳ１３）。
そして、監視作業者は、ステップＳ１３で表示された選択画面から任意のボタンを選択する操作を行う。この任意のボタンの選択操作は、携帯端末３０により受け付けられる（ステップＳ１４）。

【0024】

ステップＳ１４における任意のボタンの選択受け付けがあると、情報生成部３４は、選択された内容に関する業務情報が格納されたデータ格納サーバ（ここではサーバ４１とする）に対して、対象機器の業務情報を要求する（ステップＳ１５）。
ステップＳ１５の要求を受信したデータ格納サーバ４１は、その要求を受け付けた後（ステップＳ１６）、受け付けたデータである対象機器の業務情報を携帯端末３０に送信する（ステップＳ１７）。

【0025】

携帯端末３０は、ステップＳ１７で送信された対象機器の業務情報を受信する（ステップＳ１８）。情報生成部３４は、この受信した業務情報を表示させる表示情報を生成する（ステップＳ１９）。そして、表示部３５は、生成された表示情報を画面上に表示する（ステップＳ２０）。

【0026】

［対象機器を特定する処理］
図４は、携帯端末３０の画像認識部３２が、撮影画像から、対象機器を特定する手順を示すフローチャートである。
画面の撮影画像から特定される対象機器は、画面全体及び画面内に表示された文字又はシンボルで表される。画像認識用データ記憶部３３には、例えば、監視端末１１の画面フォーマット、及び特定された対象機器の箇所とその近傍のシルエットのデータが照合用データとして格納される。

【0027】

そして、撮影者（監視作業者）は、撮影部３１で、携帯端末３０に表示されたガイド枠３６（図５参照）に収まるように、対象機器のシンボルが表示された箇所を撮影する（ステップＳ２１）。
画像認識部３２は、ステップＳ２１での撮影で得た撮影画像から、ガイド枠３６内のシンボルと、その周辺画像のシルエット及び文字を抽出する（ステップＳ２２）。
そして、画像認識部３２は、抽出したシンボル、シルエット及び文字を、画像認識用データ記憶部３３に格納された照合用データと比較する（ステップＳ２３）。この比較により、画像認識部３２は、撮影した箇所に表示されたシンボルが示す対象機器を特定する（ステップＳ２４）。

【0028】

［監視画面と撮影画像の例］
図５は、監視端末１１の表示部１２に表示される監視画面と、撮影画像との一例を示す。
図５に示すように、監視端末１１の表示部１２には、監視画面１２ａとして、監視しているプラントの配管系統図が表示される。
ここで、この配管系統図の中の特定の機器の操作マニュアルなどの業務情報を確認したいとき、監視作業者は、その特定の機器のシンボル１２ｂを含む撮影範囲３１ａを、携帯端末３０の撮影部３１で撮影する。

【0029】

この撮影時には、図５の下側に示すように、表示部３５の画面には、撮影範囲３１ａが表示される。ここで、表示部３５の画面中には、ほぼ中央にガイド枠３６を表示する。撮影者は、このガイド枠３６内に、対象機器のシンボルを表示させた状態で撮影する。

【0030】

［業務情報の表示例］
図６は、携帯端末３０の表示部３５が、業務情報を表示する際の例を示す。
携帯端末３０の表示部３５には、情報生成部３４で機器を特定したとき、図６の左側に示すように、選択画面が表示される。
この選択画面には、選択できる項目を示すボタン１０１，１０２，１０３，・・・が表示される。
図６の例では、系統図面のボタン１０１、点検情報のボタン１０２、チェックリストのボタン１０３が表示されている。

【0031】

系統図面のボタン１０１が選択されると、表示部３５に、図６の右側の上段に示すように、該当する機器の周辺の系統図１１１が表示される。
また、点検情報のボタン１０２が選択されると、表示部３５に、図６の右側の中段に示すように、該当する機器の周辺の点検記録１１２が表示される。
チェックリストのボタン１０３が選択されると、表示部３５は、図６の右側の下段に示すように、該当する機器についてチェックする際のチェックリスト１１３が表示される。

【0032】

［本実施の形態例による効果］
以上説明したように、本例の監視情報アクセスシステムによると、監視端末１１でプラントなどの設備を監視している監視作業者は、監視中の特定の機器の業務情報を確認したい場合に、携帯端末３０で必要な業務情報を取得して表示することができる。すなわち、図５で説明したように、監視作業者は、系統図などで表示された対応機器のシンボルなどを撮影するだけで、図６に示すようにその機器の業務情報を携帯端末３０に表示させることができるので、必要な情報を迅速に得ることができる。

【0033】

また、画像認識部３２は、撮影部３１が撮影した画像に含まれる系統図の中のシンボルを抽出して、制御対象機器を特定するようにしたことで、監視画面として表示された系統図の一部を撮影するだけで、簡単に機器を特定することが可能になる。

【0034】

また、画像認識部３２は、抽出したシンボルの周辺のシルエット及び文字を抽出することで、より確実に対象機器を特定できるようになる。例えば、監視画面として表示された系統図に同じシンボルが複数ある場合に、撮影したシンボルの周辺のシルエットや文字から、系統図のどの箇所のシンボルかを特定することができるので、対象機器を適切に特定できるようになる。

【0035】

さらに、撮影部３１が撮影する際には、認識を行う範囲を示すガイド枠３６が表示部３５によって表示されるので、画像認識部３２は、そのガイド枠３６の内部の画像からシンボルを認識することにより、対象機器を撮影で確実に特定することができる。

【0036】

さらに、特定した機器に関する業務情報の選択画面上で選択された業務情報を、対応したデータ格納サーバ４１などから取得して表示部３５に表示することで、様々な業務情報を表示することができるようになる。

【0037】

［変形例］
なお、ここまで説明した実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるシステムに限定されるものではない。また、上述した実施の形態例で説明した構成や処理は、各種の変形や変更が可能である。

【0038】

例えば、上述した実施の形態例における画像認識処理や表示情報生成処理は、携帯端末３０内で行われるようにしたが、画像認識処理と表示情報生成処理の少なくとも一方は、携帯端末３０と通信を行う外部のサーバで行われるようにしてもよい。

【0039】

また、画像認識部３２は、抽出したシンボルとその周辺の表示形態、又はシンボルの周辺の文字から、制御対象機器の状態を認識してもよい。情報生成部３４は、画像認識部３２が認識した状態に適切な業務情報を生成して、表示部３５に表示してもよい。
例えば、監視画面として、特定の対象機器を示すシンボルの周辺に、そのシンボルの機器の温度、圧力、流量などの数値を表示部３５に表示し、情報生成部３４は、その数値が適切でない値であると判断したとき、該当する対象機器を適正に調整するための手順などを示す業務情報を取得して表示部３５に表示させるようにしてもよい。

【0040】

あるいは、特定の機器の状態に異常があるために、監視画面で該当する機器を示すシンボル又はそのシンボルの周辺のシルエットが、通常とは異なる色（赤色など）などの表示形態で表示されたとき、画像認識部３２は、その色などの表示形態を識別して、その状態（異常状態）の対処などを示した業務情報を表示部３５に表示してもよい。
これらの表示状態に応じた業務情報の表示を行うことで、監視作業者に対して、より適切な指示などを表示できるようになる。

【0041】

また、図５に示す例では、監視画面から１つのシンボルだけをガイド枠に入れて撮影する例としたが、例えば、撮影時には、監視画面全体を撮影して、その監視画面で示された系統全体の業務情報を表示させるようにしてもよい。

【0042】

また、上述した実施の形態例では、携帯端末３０は業務系ネットワーク２０が備える端末（スマートフォン、タブレット端末などとして構成されたコンピュータ）とした。
携帯端末３０として構成される端末は、図３及び図４のフローチャートで説明した処理を実行するプログラムを実装する必要があるが、そのプログラムは、携帯端末３０内のメモリに用意される他に、外部のメモリ、ＩＣカード、ＳＤカード、光ディスク等の記録媒体に置いて、携帯端末３０に転送するようにしてもよい。

【0043】

また、図１及び図２の構成図では、制御線や情報線は説明上必要と考えられるものだけを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。また、図３及び図４に示すフローチャートについても、処理結果が同じであれば、処理順序を変更したり、複数の処理を同時に実行したりしてもよい。

【符号の説明】

【0044】

１０…制御系ネットワーク、１１…監視端末、１２…表示部、１２ａ…監視画面、１２ｂ…シンボル、２０…業務系ネットワーク、３０…携帯端末、３０ａ…ＣＰＵ、３０ｂ…メモリ、３０ｃ…操作部、３０ｄ…通信部、３１…撮影部、３１ａ…撮影範囲、３２…画像認識部、３３…画像認識用データ記憶部、３４…情報生成部、３５…表示部、３６…ガイド枠、４１，４２…データ格納サーバ、１０１，１０２，１０３…ボタン、１１１…系統図、１１２…点検記録、１１３…チェックリスト

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】