特許 7158909 表示システム、ウェアラブル装置及び監視制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-14

(45)【発行日】2022-10-24

(54)【発明の名称】表示システム、ウェアラブル装置及び監視制御装置

(51)【国際特許分類】

   G05B 23/02 20060101AFI20221017BHJP

【ＦＩ】

G05B23/02 301P

【請求項の数】 3

(21)【出願番号】P 2018116864

(22)【出願日】2018-06-20

(65)【公開番号】P2019219917

(43)【公開日】2019-12-26

【審査請求日】2021-05-11

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】仲野 美穂

【審査官】今井 貞雄

(56)【参考文献】

【文献】特開２００３－３０８１１７（ＪＰ，Ａ）

【文献】特開２０１７－０４１１９３（ＪＰ，Ａ）

【文献】特開２０１４－０７８１２２（ＪＰ，Ａ）

【文献】特開２０１４－１５３７３４（ＪＰ，Ａ）

【文献】特開２００３－０８７１９０（ＪＰ，Ａ）

【文献】特開２０１７－１３８７３３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００８９８７０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ ２３／０２

(57)【特許請求の範囲】

【請求項1】

空間を撮像する撮像部と、
前記撮像部により撮像された画像から特定の物体、文字又はコードを検出する検出部と、
前記検出部によって検出された前記物体、文字又はコードに係る情報に応じて、ユーザーが操作しようとしている操作装置及び操作装置で操作可能な機器に関する監視情報を取得する取得部と、
前記取得部にて取得された前記操作装置及び前記機器に関する監視情報を、前記ユーザーに装着されることにより前記ユーザーの視野内に表示する表示部と、
を備える表示システム。

【請求項2】

空間を撮像する撮像部と、
前記撮像部により撮像された画像から特定の物体、文字又はコードを検出する検出部と、
前記検出部によって検出された前記物体、文字又はコードに係る情報に応じて、ユーザーが操作しようとしている操作装置及び操作装置で操作可能な機器に関する監視情報を取得する取得部と、
前記取得部にて取得された前記操作装置及び前記機器に関する監視情報を、前記ユーザーに装着されることにより前記ユーザーの視野内に表示する表示部と、
を備えるウェアラブル装置。

【請求項3】

空間を撮像する撮像部により撮像された画像から検出された特定の物体、文字又はコードに係る情報を受信する通信部と、
前記物体、文字又はコードに係る情報に応じて、ユーザーが操作しようとしている操作装置及び操作装置で操作可能な機器に関する監視情報を取得する取得部と、を備え、
前記通信部は、前記取得部にて取得された前記操作装置及び前記機器に関する監視情報を、前記ユーザーに装着されることにより前記ユーザーの視野内に表示する表示部を備えたウェアラブル装置、又は前記ウェアラブル装置と通信可能な情報機器へ送信する、監視制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、表示システム、ウェアラブル装置及び監視制御装置に関する。

【背景技術】

【0002】

上下水道プラントでは、安全な水環境の維持のために、負荷の運転状況や管理対象の水に関する情報を監視し制御するための中央監視制御システムが導入されている。中央監視制御システムには、各プラントに設置された運用機器の動作に関する情報等が集められ、中央監視制御システム側の監視者は、運用機器等に対して遠隔制御することが可能である。しかし、中央監視制御システムで得られる運用機器に関する情報には限界があるため、プラントの設置された現場に実際に保守作業員が赴き、そこで保守作業員が運用機器に対し、保守点検や手動による制御といった作業を行うことが必要である。このような実情において、現場の保守作業員の作業効率や作業の精度を向上させる技術が提案されている。

【0003】

プラントの現場における保守作業員による作業として、プラントの運用機器に対し、現場に設置された操作盤より手動による制御操作を行うことがあり、この場合、作業員はプラントの運用機器の動作状況等の各種情報を確認しながら、作業を行う必要がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００３－８７１９０号公報

【文献】特開２００７－１２２１９６号公報

【文献】特開２００２－２８７８１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、作業現場において必要とされる情報を容易に知覚することができる表示システム、ウェアラブル装置及び監視制御装置を提供することである。

【課題を解決するための手段】

【0006】

実施形態の表示システムは、撮像部と、検出部と、取得部と、表示部と、を持つ。撮像部は、空間を撮像する。検出部は、前記撮像部により撮像された画像から特定の物体、文字又はコードを検出する。取得部は、前記検出部によって検出された前記物体、文字又はコードに係る情報に応じて、ユーザーが操作しようとしている操作装置及び操作装置で操作可能な機器に関する監視情報を取得する。表示部は、前記取得部にて取得された前記操作装置及び前記機器に関する監視情報を、前記ユーザーに装着されることにより前記ユーザーの視野内に表示する。

【図面の簡単な説明】

【0007】

【図1】表示システム１００のシステム構成の具体例を示す図である。

【図2】中央監視制御装置２０の機能構成例を示す概略ブロック図である。

【図3】プロセス情報記憶部２４が記憶するプロセス情報テーブルの具体例を示す図である。

【図4】アラーム情報記憶部２５が記憶するアラーム情報テーブルの具体例を示す図である。

【図5】操作履歴情報記憶部２６が記憶する操作履歴情報の具体例を示す図である。

【図6】表示画面情報テーブルの具体例を示す図である。

【図7】ウェアラブル装置３０の機能構成例を示す概略ブロック図である。

【図8】端末装置４０の機能構成例を示す概略ブロック図である。

【図9】表示システム１００の動作の流れの具体例を示すシーケンスチャートである。

【図10】ウェアラブル装置３０の外観例と画面の表示例とを示す図である。

【図11】中央監視制御装置２０の構成の変形例を示す概略ブロック図である。

【発明を実施するための形態】

【0008】

以下、実施形態の表示システム、ウェアラブル装置及び監視制御装置を、図面を参照して説明する。

【0009】

図１は、表示システム１００のシステム構成の具体例を示す図である。表示システム１００は、複数の機器１１、制御装置１２、操作装置１３、中央監視制御装置２０、ウェアラブル装置３０及び端末装置４０を備える。制御装置１２、中央監視制御装置２０及び端末装置４０は、ネットワーク９０及びアクセスポイント５０を介して互いに通信可能に接続される。機器１１、制御装置１２及び操作装置１３は、プラント１０に設置される。複数台の機器１１がプラント１０に設置され、各機器１１は制御装置１２と通信可能に接続される。制御装置１２と操作装置１３とは、有線通信又は無線通信で通信可能に接続される。ウェアラブル装置３０と端末装置４０とは、有線通信又は無線通信で通信可能に接続される。また、端末装置４０とアクセスポイント５０とは、有線通信又は無線通信で通信可能に接続される。以下、各装置について説明する。

【0010】

機器１１は、中央監視制御装置２０の監視対象となる設備（運用設備）に設けられた個々の装置である。中央監視制御装置２０の監視対象が水処理プラントである場合、機器１１は例えばポンプ、濾過機、貯槽、調整機構（例えば調整弁）である。機器１１は、自装置の状態を表す状態情報を取得する。このような状態情報の取得は、機器１１が行ってもよいし、機器１１に設けられた１以上のセンサが行ってもよい。機器１１によって取得される状態情報の具体例として、機器１１が動作しているか否かを示す情報、機器１１が動作している継続時間（運転時間）などがある。機器１１に設けられるセンサの具体例として、温度センサ、湿度センサ、加速度センサ、加重センサ、赤外線センサ、画像センサがある。画像センサは撮像素子を備えており、予め定められた領域の空間の画像（静止画像又は動画像）を撮像する。この場合、撮像された画像が状態情報である。機器１１は、機器１１の状態を表す状態情報を含む信号（以下「状態情報信号」という。）を生成し、制御装置１２へ出力する。

【0011】

制御装置１２は、例えばＰＬＣ（Programmable Logic Controller）等の情報処理装置を用いて構成される。制御装置１２は、状態情報信号を機器１１から受信する。状態情報は、例えば機器１１の温度、周辺の湿度、運転時間、装置の回転数又は蓄積されている物質（例えば水や土）の量を表す。状態情報が具体的にどのような状態の情報を示すかは、監視対象となる設備や機器１１の種別に応じて適宜決定される。状態情報信号は、デジタル信号及びアナログ信号のいずれであってもよい。状態情報信号は、どのようなプロトコルで生成されてもよい。制御装置１２は、少なくとも1台の機器１１から状態情報信号を受信する。制御装置１２は、複数台の機器１１から状態情報信号を受信してもよい。制御装置１２は、1台の機器１１から複数種の状態情報信号を受信してもよい。制御装置１２は、機器１１の状態情報と、状態情報信号が受信された日時と、機器１１の識別情報と、を対応づけた情報（以下「プロセス情報」という。）を生成する。制御装置１２は、生成されたプロセス情報を、ネットワーク９０を介して中央監視制御装置２０に送信する。

【0012】

中央監視制御装置２０は、パーソナルコンピューターやサーバー装置等の情報処理装置を用いて構成される。中央監視制御装置２０は、操作装置１３から物理的に離れた位置に設置される。本実施形態では、中央監視制御装置２０はプラント１０の外部に設置される。

【0013】

図２は、中央監視制御装置２０の機能構成例を示す概略ブロック図である。中央監視制御装置２０は、通信部２１、入力部２２、表示部２３、プロセス情報記憶部２４、アラーム情報記憶部２５、操作履歴情報記憶部２６、表示画面情報記憶部２７及び制御部２８を備える。

【0014】

通信部２１は、ネットワークインターフェースを用いて構成される。通信部２１は、ネットワーク９０を介して他の装置と通信する。通信部２１は、例えば制御装置１２から各機器１１のプロセス情報を受信する。

【0015】

入力部２２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。例えば、入力部２２は操作卓（コンソール）として構成されてもよい。入力部２２は、ユーザーの指示を中央監視制御装置２０に入力する際にユーザーによって操作される。入力部２２は、入力装置を中央監視制御装置２０に接続するためのインタフェースであっても良い。この場合、入力部２２は、入力装置においてユーザーの入力に応じ生成された入力信号を中央監視制御装置２０に入力する。

【0016】

表示部２３は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部２３は、制御部２８によって生成される画像を表示する。表示部２３は、画像表示装置を中央監視制御装置２０に接続するためのインタフェースであっても良い。この場合、表示部２３は、制御部２８によって生成される画像を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

【0017】

プロセス情報記憶部２４は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。プロセス情報記憶部２４は、プロセス情報を記憶する。図３は、プロセス情報記憶部２４が記憶するプロセス情報テーブルの具体例を示す図である。プロセス情報テーブルは、日時、機器識別情報及び状態情報を有する。プロセス情報テーブルの各レコードが一つのプロセス情報を示す。

【0018】

アラーム情報記憶部２５は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。アラーム情報記憶部２５は、アラーム情報を記憶する。図４は、アラーム情報記憶部２５が記憶するアラーム情報テーブルの具体例を示す図である。アラーム情報テーブルは、日時、機器識別情報及びアラーム情報を有する。アラーム情報テーブルの各レコードが一つのアラーム情報を示す。なお、アラーム情報は制御部２８によって所定のタイミングで生成される。

【0019】

操作履歴情報記憶部２６は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。操作履歴情報記憶部２６は、操作装置１３を介して行われた操作に関する履歴を示す情報（以下「操作履歴情報」という。）を記憶する。図５は、操作履歴情報記憶部２６が記憶する操作履歴情報の具体例を示す図である。操作履歴情報は、日時、操作装置識別情報、機器識別情報、操作情報及び表示画面情報の各値を有する。日時は、操作が行われた日時を示す。操作装置識別情報は、操作装置１３を示す識別情報である。操作履歴情報における操作装置識別情報は、操作に用いられた操作装置１３を示す。機器識別情報は、機器１１を示す識別情報である。操作履歴情報における機器識別情報は、操作の対象となった機器１１を示す。操作情報は、操作装置１３を介して行われた操作の内容を示す。表示画面情報は、その操作が行われた際にウェアラブル装置３０において表示されていた画面を示す。操作時に複数の画面が表示されていた場合には、表示画面情報として複数の値が登録されてもよい。

【0020】

例えば、図５の一番上の段の情報によれば、２０１４年１月３日１２時４分４０秒にポンプ００１に対して操作装置ＡＡを用いて運転停止の操作が行われ、その時点でウェアラブル装置３０に表示されていた画面がポンプ００１のトレンドグラフとポンプ００１のアラーム一覧であったことがわかる。トレンドグラフは特定の機器１１の状態を示す値の時間変化を示すグラフを示す画面である。アラーム一覧は特定の機器１１に関して出力されたアラームの内容とその日時との一覧を示す画面である。グラフィックは、特定の設備に接続された複数の機器１１の状態や接続関係などを示す画面である。その他にも様々な画面が中央監視制御装置２０の出力機能として設けられてもよい。

【0021】

表示画面情報記憶部２７は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。表示画面情報記憶部２７は、表示画面情報テーブルを記憶する。表示画面情報テーブルは、画面の表示に関する所定の条件（以下「表示条件」という。）と、その表示条件が満たされた場合にウェアラブル装置３０に表示される画面を示す識別情報（以下「表示画面識別情報」という。）と、を対応付けて有する。表示画面情報記憶部２７は、表示条件が満たされた場合にウェアラブル装置３０において音声出力される音声情報を示す識別情報（以下「音声識別情報」という。）をさらに対応付けて記憶してもよい。

【0022】

図６は、表示画面情報テーブルの具体例を示す図である。表示画面情報テーブルは、操作装置識別情報、機器識別情報、表示画面識別情報及び音声識別情報の各値を有する。図６の例では、操作装置識別情報及び機器識別情報の組み合わせが表示条件を示す。例えば、ウェアラブル装置３０を装着したユーザーが操作しようとしている操作装置１３及び機器１１を示すそれぞれの識別情報が、操作装置識別情報及び機器識別情報と適合した場合に、表示条件が満たされたと判定される。機器識別情報に値がない場合（例えば図６の一番上の段のレコード）、操作装置識別情報のみに基づいて表示条件が判定されてもよい。

【0023】

表示画面識別情報及び音声識別情報は、表示条件が満たされた場合に、ウェアラブル装置３０によって出力される画面及び音声を示す。

【0024】

例えば、図６の一番上の段のレコードでは、操作に用いられる操作装置１３が操作装置ＡＡである場合に、ユーザーのウェアラブル装置３０に表示される画面が、操作装置ＡＡで操作可能な全ての機器１１のアラーム一覧（ＡＡアラーム一覧）であり、ウェアラブル装置３０で出力される音声が操作装置ＡＡで操作可能な全ての機器１１のアラーム一覧を示す音声情報（ＡＡアラーム一覧）であることが示されている。

【0025】

例えば、図６の上から二番目の段のレコードでは、操作に用いられる操作装置１３が操作装置ＡＡであり且つ操作対象の機器１１がポンプ００１である場合に、ユーザーのウェアラブル装置３０に表示される画面が、ポンプ００１のトレンドグラフ及びポンプ００１のアラーム一覧であり、ウェアラブル装置３０で出力される音声がポンプ００１のアラーム一覧を示す音声情報であることが示されている。

【0026】

図２の説明に戻る。制御部２８は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。制御部２８は、プロセッサーがプログラムを実行することによって、プロセス情報制御部２８１、操作履歴情報制御部２８２、表示画面制御部２８３及び監視対象制御部２８４として機能する。

【0027】

プロセス情報制御部２８１は、通信部２１を介して受信されたプロセス情報をプロセス情報記憶部２４に記録する。

【0028】

操作履歴情報制御部２８２は、通信部２１を介して受信された操作情報を操作履歴情報記憶部２６に記録する。

【0029】

表示画面制御部２８３（決定部）は、通信部２１を介して受信されたユーザー状態情報に基づいて、ウェアラブル装置３０に表示される表示画面を判定する。ユーザー状態情報とは、ユーザーの状態に関する情報である。ユーザー状態情報は、例えばユーザーが操作しようとしている操作装置１３及び機器１１を示すそれぞれの識別情報を含む情報である。

【0030】

表示画面制御部２８３は、ユーザー状態情報が満たす表示条件を表示画面情報記憶部２７から検索する。満たされた表示条件がある場合、表示画面制御部２８３は、その表示条件に対応付けて記憶されている表示画面識別情報及び音声識別情報を表示画面情報記憶部２７から読み出す。表示画面制御部２８３は、読み出された表示画面識別情報が示す画面のデータ（以下「表示画面データ」という。：監視情報）を、プロセス情報記憶部２４及びアラーム情報記憶部２５に記憶されている情報に基づいて生成する。表示画面制御部２８３は、生成された表示画面データを、通信部２１を介して、ユーザー状態情報に関連する端末装置４０に対して送信する。

【0031】

表示画面制御部２８３は、読み出された音声識別情報が示す音声のデータを、プロセス情報記憶部２４及びアラーム情報記憶部２５に記憶されている情報に基づいて生成する。表示画面制御部２８３は、生成された音声のデータを、通信部２１を介してユーザー状態情報に関連するウェアラブル装置３０に対して送信する。

【0032】

監視対象制御部２８４は、通信部２１を介して受信されたプロセス情報に基づいて、監視対象となっている各機器１１の状態を監視する。予め定められたアラーム条件が満たされた場合には、監視対象制御部２８４は、監視対象の機器１１に異常が発生したと判定する。この場合、監視対象制御部２８４は、アラーム情報を生成してアラーム情報記憶部２５にアラーム情報を記録する。アラーム条件とは、例えば機器１１と、その機器１１から受信されるプロセス情報に関する閾値等の条件との組み合わせである。

【0033】

次にウェアラブル装置３０について説明する。ウェアラブル装置３０は、プラント１０内において各機器１１の監視や操作装置１３を用いた操作を行うユーザーによって装着される装置である。図７は、ウェアラブル装置３０の機能構成例を示す概略ブロック図である。ウェアラブル装置３０は、通信部３１、音声入力部３２、音声出力部３３、撮像部３４、表示部３５、記憶部３６及び制御部３７を備える。

【0034】

通信部３１は、ネットワークインターフェースを用いて構成される。通信部３１は端末装置４０と通信する。通信部３１は、例えば端末装置４０に対し、撮像部３４によって撮像された画像のデータを送信する。通信部３１は、例えば端末装置４０から画面データを受信する。

【0035】

音声入力部３２は、マイク（音声入力装置）を用いて構成される。音声入力部３２は、ユーザーの発話によって生じた音声に応じた電気信号を生成する。

【0036】

音声出力部３３は、スピーカーやヘッドホンやイヤホン等の音声出力装置を用いて構成される。音声出力部３３は、中央監視制御装置２０から送信された音声データを再生することによって音声を出力する。音声出力部３３は、音声出力装置を端末装置に接続するためのインタフェースであってもよい。

【0037】

撮像部３４は、カメラ（撮像装置）を用いて構成される。撮像部３４は、ウェアラブル装置３０が装着されなかったと仮定した場合にユーザーの視野に入ると想定される物体を撮像する。言い換えれば、撮像部３４はユーザーの本来の視野の映像を撮像する。ウェアラブル装置３０がユーザーの視野を殆ど妨げない場合（例えばウェアラブル装置３０がスマートグラスである場合）には、撮像部３４は、ウェアラブル装置３０を装着したユーザーが見ている景色を撮像する。ウェアラブル装置３０がユーザーの視野を妨げる場合（例えばウェアラブル装置３０がヘッドマウントディスプレイである場合）には、撮像部３４は、ウェアラブル装置３０が装着されなかったと仮定した場合にユーザーが見たであろう景色を撮像する。このような映像が撮像されるように、撮像部３４は、ウェアラブル装置３０を装着したユーザーの前方にレンズを向けて配置される。

【0038】

表示部３５は、ウェアラブル装置３０がユーザーに装着された場合に、ユーザーの視野内に表示面が位置するように配置される。表示部３５は、中央監視制御装置２０によって生成された画面を表示する。また、ウェアラブル装置３０がユーザーの視野を妨げる場合（例えばウェアラブル装置３０がヘッドマウントディスプレイである場合）には、表示部３５は、撮像部３４によって撮像された映像を表示してもよい。この場合、表示部３５は、撮像部３４によって撮像された映像に対し、中央監視制御装置２０によって生成された画面を重畳して表示する。

【0039】

記憶部３６は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部３６は、制御部３７によって一時的にデータを保存する場合に用いられる。

【0040】

制御部３７は、ＣＰＵ等のプロセッサーやメモリーを用いて構成される。制御部３７は、ウェアラブル装置３０の各機能を制御する。制御部３７は、例えば音声入力部３２によって音声の信号が生成された場合、生成された音声の信号を、通信部３１を介して端末装置４０に送信する。制御部３７は、例えば撮像部３４によって撮像された画像を、通信部３１を介して端末装置４０に送信する。制御部３７は、端末装置４０から音声のデータを受信すると、受信されたデータの音声を音声出力部３３に出力させる。制御部３７は、端末装置４０から画像のデータを受信すると、受信されたデータの画像を表示部３５に表示させる。

【0041】

次に端末装置４０について説明する。端末装置４０は、プラント１０内において各機器１１の監視や操作装置１３を用いた操作を行うユーザーによって携帯される情報処理装置（情報機器）である。端末装置４０は、例えばモバイルエッジコンピューティングデバイスを用いて構成されてもよい。図８は、端末装置４０の機能構成例を示す概略ブロック図である。端末装置４０は、第一通信部４１、第二通信部４２、記憶部４３及び制御部４４を備える。

【0042】

第一通信部４１は、ネットワークインターフェースを用いて構成される。第一通信部４１はウェアラブル装置３０と通信する。第一通信部４１は、例えばウェアラブル装置３０をから画像のデータを受信する。第一通信部４１は、例えば中央監視制御装置２０によって生成された画面のデータをウェアラブル装置３０に送信する。

【0043】

第二通信部４２は、ネットワークインターフェースを用いて構成される。第二通信部４２はネットワーク９０を介して中央監視制御装置２０と通信する。第二通信部４２は、例えば制御部４４の処理によって得られた情報を中央監視制御装置２０に送信する。第二通信部４２は、例えば中央監視制御装置２０から画面のデータを受信する。

【0044】

記憶部４３は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部４３は、制御部４４によって一時的にデータを保存する場合に用いられる。

【0045】

制御部４４は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部４４は、プロセッサーがプログラムを実行することによって、通信制御部４４１、検出部４４２及び音声認識部４４３として機能する。

【0046】

通信制御部４４１は、第一通信部４１及び第二通信部４２を制御することによって、ウェアラブル装置３０及び中央監視制御装置２０との通信を制御する。

【0047】

検出部４４２は、ウェアラブル装置３０から受信された画像において、所定の条件を満たす物体、文字列又はコードの画像（以下「特定画像」という。）を検出する。検出部４４２は、検出された特定画像がどのような物体、文字列又はコードであるか認識することによって、所定の条件を満たす物体、文字列又はコードを示す情報（以下「特定情報」という。）を取得する。検出部４４２は、検出された特定画像の物体、文字列又はコードに関する情報（特定情報）を、第二通信部４２を介して中央監視制御装置２０に送信する。

【0048】

所定の条件を満たす物体とは、例えば操作装置１３の筐体である。操作装置１３が複数存在する場合、検出部４４２は、画像内に撮像されている操作装置１３がいずれの操作装置１３であるかを特定してもよい。この場合、記憶部４３は、操作装置１３の識別情報毎に画像の特徴量を記憶していてもよい。所定の条件を満たす物体は、例えば機器１１の筐体である。検出部４４２は、画像内に撮像されている機器１１がいずれの機器１１であるかを特定してもよい。この場合、記憶部４３は、機器１１の識別情報毎に画像の特徴量を記憶していてもよい。検出部４４２は、特定された操作装置１３又は機器１１を示す情報（特定情報）を中央監視制御装置２０に送信する。

【0049】

所定の条件を満たす文字列とは、例えば操作装置１３の筐体に付されている文字列であってもよい。このような文字列の具体例として、操作装置１３の盤名称や盤番号（ロケーション）がある。検出部４４２は、検出された文字列に基づいて、画像内に撮像されている操作装置１３がいずれの操作装置１３であるか特定してもよい。この場合、記憶部４３は、操作装置１３の識別情報毎に、検出される文字列を記憶していてもよい。検出部４４２は、検出された文字列に基づいて、画像内に撮像されている機器１１がいずれの機器１１であるか特定してもよい。この場合、記憶部４３は、機器１１の識別情報毎に、検出される文字列を記憶していてもよい。検出部４４２は、特定された文字列を示す情報（特定情報）を中央監視制御装置２０に送信する。

【0050】

所定の条件を満たすコードとは、例えば操作装置１３の筐体に付されているコードであってもよい。このようなコードの具体例として、操作装置１３の盤名称や盤番号（ロケーション）を示すコード（例えばバーコード）がある。検出部４４２は、検出されたコードに応じて得られる情報に基づいて、画像内に撮像されている操作装置１３がいずれの操作装置１３であるか特定してもよい。検出部４４２は、例えば検出されたコードを復号化することによって文字列などの情報を取得してもよい。記憶部４３は、操作装置１３の識別情報毎に、検出されるコードを記憶していてもよい。検出部４４２は、検出されたコードに基づいて、画像内に撮像されている機器１１がいずれの機器１１であるか特定してもよい。この場合、記憶部４３は、機器１１の識別情報毎に、検出されるコードを記憶していてもよい。検出部４４２は、特定されたコードを示す情報（特定情報）を中央監視制御装置２０に送信する。

【0051】

音声認識部４４３は、ウェアラブル装置３０から受信された音声に対し音声認識処理を実行することによって文字列情報を取得する。音声認識部４４３は、音声認識処理によって取得された文字列情報を、第二通信部４２を介して中央監視制御装置２０へ送信する。

【0052】

図９は、表示システム１００の動作の流れの具体例を示すシーケンスチャートである。ウェアラブル装置３０の撮像部３４は、所定のタイミングで画像を撮像する（ステップＳ１０１）。ウェアラブル装置３０の制御部３７は、撮像部３４によって撮像された画像のデータを端末装置４０に送信する（ステップＳ１０２）。端末装置４０の通信制御部４４１は、第一通信部４１を介してウェアラブル装置３０から画像のデータを受信する。検出部４４２は、受信された画像から特定画像を検出する（ステップＳ１０３）。検出部４４２は、特定画像に対して認識処理を実行することによって特定情報を取得する（ステップＳ１０４）。端末装置４０の通信制御部４４１は、第二通信部４２を介して特定情報を中央監視制御装置２０へ送信する（ステップＳ１０５）。

【0053】

中央監視制御装置２０の表示画面制御部２８３は、特定情報を受信すると、受信された特定情報に基づいて、表示画面情報記憶部２７の各表示条件について満たされているか否か判定する。満たされた表示条件が存在する場合、表示画面制御部２８３は、その表示条件に対応付けられている表示画面識別情報を表示すべき画面の情報として決定する（ステップＳ１０６）。表示画面制御部２８３は、決定された表示画面識別情報に応じた表示画面データを生成する（ステップＳ１０７）。表示画面制御部２８３は、生成された表示画面データを、特定情報の送信元である端末装置４０に送信する（ステップＳ１０８）。端末装置４０は、中央監視制御装置２０から表示画面データを受信すると、受信された表示画面データをウェアラブル装置３０に送信する（ステップＳ１０９）。ウェアラブル装置３０の制御部３７は、表示画面データを受信し、取得すると、取得した表示画面データに応じた画像を表示部３５に表示させる（ステップＳ１１０）。

【0054】

以上の一連の動作について、具体的な例を以下に示す。
現場において保守点検をする作業者に着けられた、ウェアラブル装置３０は、撮像部３４で撮像した画像をデータとして端末装置４０に送信し続け、端末装置４０側では検出部４４２において受信される画像から特定画像の検出を行う。検出部４４２において特定画像である、操作装置１３であるプラントに設置された操作盤(物体)又は、操作盤の表面に付された盤名称や盤番号(文字列)、又は操作盤に付されたコードの画像を検出した場合、端末装置４０は、特定画像に係る特定情報を取得して中央監視制御装置２０へ送信する。一方、中央監視制御装置２０は特定情報を受信すると、所定の条件等に基づき、表示画面制御部２８３にて表示画像識別情報に応じた表示画面データを生成し、これを特定情報の送信元である端末装置４０に送信する。端末装置４０は、中央監視制御装置２０から表示画面データを受信すると、受信された表示画面データをウェアラブル装置３０に送信し、ウェアラブル装置３０の制御部３７は、取得した表示画面データに応じた画像を表示部３５に表示させる。これにより、ウェアラブル装置３０を着けた作業者は、保守対象とする操作盤毎に、保守に参考となるプラントの各種機器の状況等の情報に関するデータを両手がフリーな状態で知り得ることができ、操作盤に対する手動操作をすることができるので、大変作業効率が良くなる。

【0055】

図１０は、ウェアラブル装置３０の外観例と画面の表示例とを示す図である。図１０の例では、ウェアラブル装置３０はスマートグラスとして構成されている。そのため、表示部３５は光を透過する表示装置を用いて構成されている。人間の左右の目の位置に応じて配置される２つの表示部３５に対し、テンプル３８が設けられている。テンプル３８の一部には保持部３９が設けられ、保持部３９の先端には音声入力部３２が設けられている。表示部３５には、１又は複数の画面３５１が表示される。画面３５１は、中央監視制御装置２０によって生成された表示画像データに基づいて生成される画面である。例えば、表示画像データとして複数の画面の画像が生成された場合、その数に応じた画面３５１が表示部３５に表示される。画面３５１は、左側の表示部３５の左側、右側の表示部３５の右側のいずれか一方に表示されてもよい。

【0056】

各画面３５１が表示部３５のいずれの箇所に表示されるかは、制御部３７によって制御される。制御部３７は、例えば画面３５１の数に応じて表示位置を決定してもよい。例えば、１つの画面３５１が表示される場合には、左上部分の画面３５１－１の位置に画面を表示してもよい。例えば、２つの画面３５１が表示される場合には、左上部分の画面３５１－１と、その下に位置する画面３５１－２と、の位置に画面を表示してもよい。例えば、３つの画面３５１が表示される場合には、左上部分の画面３５１－１と、その下に位置する画面３５１－２と、右上部分の画面３５１－３と、の位置に画面を表示してもよい。どの画面がどの位置に表示されるかについては、中央監視制御装置２０によって制御されてもよい。この場合、中央監視制御装置２０から送信される表示画像データには、各画面の表示位置を示す位置情報が含まれてもよい。制御部３７は、位置情報に応じて各画面の表示位置を決定してもよい。

【0057】

このように構成された表示システム１００では、ユーザーはプラント１０において容易に複数の情報を知覚することが可能となる。具体的には以下の通りである。ユーザーは、ウェアラブル装置３０の表示部３５を見ることによって、中央監視制御装置２０から送信される表示画像データに応じた画面に基づいて情報を知覚することができる。また、ウェアラブル装置３０の表示部３５が光を透過する場合には、画面の情報に加えてさらに、ユーザーが位置する場所から見える物体（例えば機器１１や操作装置１３）の情報も知覚することができる。ウェアラブル装置３０の表示部３５がヘッドマウントディスプレイであっても、撮像部３４によって撮像された映像が表示されることにより同様の効果が得られる。

【0058】

また、このように構成された表示システム１００では、ウェアラブル装置３０によって情報が得られるため、ユーザーは情報の知覚のために端末装置を手で操作する回数が少なくて済む。そのため、手の自由度が向上し、その結果歩行中や監視中における安全性を向上させることが可能となる。

【0059】

また、このように構成された表示システム１００では、ウェアラブル装置３０でユーザーにとって必要な情報を見ることができる。そのため、このような情報を操作装置１３において知覚可能に表示する必要性が低下する。その結果、操作装置１３において表示しなければならい情報が減少し、操作装置１３をより簡素に構成することが可能となる。また、操作装置１３をより簡素に構成することに応じて、操作装置１３の表面積をより小さくし、操作装置１３の小型化を実現することが可能となる。

【0060】

また、このように構成された表示システム１００では、ユーザーはより小さな視線の移動で複数の情報を閲覧することが可能となる。そのため、作業効率を向上させることが可能となる。

【0061】

以上説明した少なくともひとつの実施形態によれば、ウェアラブル装置３０の表示部３５において表示すべき画像を生成する表示画面制御部２８３を持つことにより、ユーザーがプラント１０において容易に複数の情報を知覚することが可能となる。

【0062】

（変形例）
中央監視制御装置２０は、プラント１０内に設置されてもよい。
端末装置４０の検出部４４２は、中央監視制御装置２０の制御部２８に実装されてもよい。この場合、通信制御部４４１は、ウェアラブル装置３０から受信された画像のデータを中央監視制御装置２０に送信する。端末装置４０の音声認識部４４３は、中央監視制御装置２０の制御部２８に実装されてもよい。この場合、通信制御部４４１は、ウェアラブル装置３０から受信された音声のデータを中央監視制御装置２０に送信する。

【0063】

中央監視制御装置２０の表示画面制御部２８３は、特定情報のみではなく、音声認識部４４３によって認識された文字列に基づいて表示条件が満たされたか否かを判定してもよい。すなわち、表示画面制御部２８３は、音声認識部４４３によって認識された文字列において操作装置１３又は機器１１を示す文字列が含まれている場合には、その文字列に基づいて表示条件を判定してもよい。

【0064】

中央監視制御装置２０の表示画面制御部２８３は、音声認識部４４３によって認識された文字列に表示画面識別情報が含まれる場合、表示条件にかかわらず、その表示画面識別情報が示す画面のデータを生成して端末装置４０に送信してもよい。このように構成されることにより、ユーザーは所望する画面の表示画面識別情報を声に出すだけで、表示部３５で見ることが可能となる。

【0065】

端末装置４０の通信制御部４４１は、ウェアラブル装置３０において撮像された画像を中央監視制御装置２０へ送信してもよい。この場合、中央監視制御装置２０の監視対象制御部２８４は、受信された画像を表示部２３に表示してもよい。このように構成されることによって、プラント１０の現場のユーザーと、中央監視制御装置２０が設置された場所にいるユーザーとの間で、プラント１０の現場における映像を共有することが可能となる。そのため、例えば現場のユーザーが経験の浅い者であったとしても、中央監視制御装置２０が設置された場所からより適切なアドバイスをすることが可能となる。

【0066】

図１１は、中央監視制御装置２０の構成の変形例を示す概略ブロック図である。図１１に示される中央監視制御装置２０は、表示画面情報記憶部２７に代えて学習結果情報記憶部２９を備える。表示画面制御部２８３は、学習結果情報記憶部２９に記憶される学習結果情報を用いることによって、表示画面を決定する。学習結果情報記憶部２９は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。学習結果情報記憶部２９は、学習装置によって予め実行された学習処理によって得られる学習結果情報を記憶する。学習装置は、予め取得される教師データを用いて機械学習処理を行う。教師データとして、表示条件に相当する情報と、その表示条件が満たされた場合に表示することが選択されるべき表示画面の識別情報とを対応付けた複数のデータが用いられる。このような教師データとして、例えばベテランのユーザーが過去にプラント１０の現場で操作した際に得られた操作履歴情報が用いられてもよい。学習装置には、教師付き学習によって識別器を生成又は更新するための機械学習技術が適用されてもよい。機械学習技術の具体例として、ＳＶＭ（Support Vector Machine）やＤＬ（Deep Learning）がある。学習装置は、複数の教師データに基づいて機械学習処理を行うことによって、識別器を生成又は更新する。学習装置は、生成又は更新された識別器を表すパラメータ等のデータを学習結果情報記憶部２９に記録する。学習装置は、所定のタイミングで、操作履歴情報記憶部２６に新たに記録された情報に基づいて学習処理を実行し、学習結果情報記憶部２９に記録される学習結果情報を更新してもよい。

【0067】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0068】

１０…プラント、１１…機器、１２…制御装置、１３…操作装置、２０…中央監視制御装置、２１…通信部、２２…入力部、２３…表示部、２４…プロセス情報記憶部、２５…アラーム情報記憶部、２６…操作履歴情報記憶部、２７…表示画面情報記憶部、２８…制御部、２８１…プロセス情報制御部、２８２…操作履歴情報制御部、２８３…表示画面制御部、２８４…監視対象制御部、３０…ウェアラブル装置、３１…通信部、３２…音声入力部、３３…音声出力部、３４…撮像部、３５…表示部、３６…記憶部、３７…制御部、４０…端末装置、４１…第一通信部、４２…第二通信部、４３…記憶部、４４…制御部、４４１…通信制御部、４４２…検出部、４４３…音声認識部、５０…アクセスポイント、９０…ネットワーク、１００…表示システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】