【文献】
津田 崇博,死角を透視表示する屋外型複合現実感システムにおける提示手法の比較検討,電子情報通信学会技術研究報,日本,社団法人電子情報通信学会,2005年 8月25日,第105巻 第256号,第41−47頁
【文献】
山本 治由,屋外における複合現実型情報提示の広域化 −特性の異なるカメラ群の利用−,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2006年11月23日,第106巻 第396号,第23−28頁
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施形態による情報表示装置及び情報表示システムについて詳細に説明する。
【0015】
〔第1実施形態〕
図1は、本発明の第1実施形態による情報表示システムの全体構成を示す図である。
図1に示す通り、本実施形態の情報表示システム1は、複数のフィールド機器10、サーバ装置20、及び情報表示装置30を備えており、フィールド機器10についての静的情報をフィールド機器10の画像に重ねて情報表示装置30に表示可能であるとともに、情報表示装置30を用いてフィールド機器10の設定や管理を行うことが可能である。尚、本実施形態において、上記の静的情報は、フィールド機器10の各々に一意に割り当てられたタグ情報(識別情報)であるとする。
【0016】
ここで、フィールド機器10及びサーバ装置20はネットワークN1を介して接続され、サーバ装置20及び情報表示装置30はネットワークN2を介して接続される。ネットワークN1は、ISA100.11aやWirelessHART(登録商標)等の産業用無線通信規格に準拠した無線通信が可能な無線通信ネットワーク、フィールドバス等の有線通信ネットワーク、或いはこれらが混在するネットワークである。他方、ネットワークN2は、Wi−Fi(登録商標)、WiMAX(登録商標)、3G/LTE(登録商標)等の無線通信規格に準拠した無線通信が可能な無線通信ネットワークである。
【0017】
フィールド機器10は、例えば流量計や温度センサ等のセンサ機器、流量制御弁や開閉弁等のバルブ機器、ファンやモータ等のアクチュエータ機器、その他のプラントの現場に設置される機器である。これらフィールド機器10は、例えば上述したISA100.11a或いはWirelessHART(登録商標)等に準拠した無線通信を行う。尚、
図1中の符号P1〜P4が付された円柱は、フィールド機器10が設置されるプラント内の施設(例えば、タンクやパイプ)を表している。
【0018】
サーバ装置20は、ネットワークN1を介してフィールド機器10の管理(監視や制御を含む)を行う。また、サーバ装置20は、情報表示装置30からの要求に応じ、ネットワークN2を介してフィールド機器10の管理情報を情報表示装置30に提供するとともに、ネットワークN2を介した情報表示装置30からの指示に応じたフィールド機器10に対する設定や管理を行う。
【0019】
情報表示装置30は、作業者Wによって操作され、カメラ31で撮影した画像G1とフィールド機器10のタグ情報(サーバ装置20からネットワークN2を介して提供される管理情報に含まれる情報)を示す画像G2とを重ねた画像をタッチパネル32に表示する。具体的に、
図1に示す例において、タッチパネル32に表示される画像G1はフィールド機器10と施設P1〜P4とを撮影した画像(カメラ31の視野F内の画像)であり、画像G2は文字「DEV1」〜「DEV9」が吹き出しにされた画像である。また、情報表示装置30は、作業者Wの操作に応じて、フィールド機器10の設定や管理の指示を、ネットワークN2を介してサーバ装置20に送信する。尚、作業者Wが情報表示装置30を使用するには、ID及びパスワードの入力が必要である。
【0020】
図2は、本発明の第1実施形態におけるサーバ装置及び情報表示装置の要部構成を示すブロック図である。尚、
図2においては、図示の簡略化のため、
図1に示したフィールド機器10、ネットワークN1、及びプラント内の施設P1〜P4の図示を省略している。また、サーバ装置20及び情報表示装置30については、説明を行う上で必要な構成のみを図示している。
【0021】
図2に示す通り、サーバ装置20は、管理装置21、フィールド機器データベース22、及び通信装置23を備える。管理装置21は、ネットワークN1を介してフィールド機器10を管理し、その管理情報をフィールド機器データベース22に格納する。また、管理装置21は、情報表示装置30から送信されてくる情報(詳細は後述する)に基づいて、情報表示装置30のカメラ31の視野F内に位置するフィールド機器10の管理情報を情報表示装置30に提供する。
【0022】
フィールド機器データベース22は、フィールド機器10の管理情報が格納されるデータベースである。具体的に、このフィールド機器データベース22には、フィールド機器10の位置を示す位置情報D1、タグ情報D2、及びフィールド機器10の設定や管理の指示を行う指示画面を得るためのアドレス情報(URL(Uniform Resource Locator))D3が格納される。通信装置23は、ネットワークN2に接続されており、ネットワークN2を介した通信を行う。
【0023】
情報表示装置30は、カメラ31(撮影装置)及びタッチパネル32(表示装置)に加えて、測位装置33(検出装置)、姿勢検出装置34(検出装置)、無線通信装置35、メモリ36、及び制御装置37を備える。カメラ31は、CCD(Charge Coupled Device:電荷結合素子)やCOMS(Complementary Metal Oxide Semiconductor:相補型金属酸化膜半導体)等の固体撮像素子を備えており、静止画及び動画の撮影が可能である。タッチパネル32は、液晶表示装置や有機EL(Electro Luminescence)表示装置等の表示装置とタッチパッド等の位置入力装置とを組み合わせた操作表示装置である。
【0024】
測位装置33は、情報表示装置30の位置を測定する装置である。具体的に、測位装置33は、全地球測位システム(GPS:Global Positioning System)で用いられる衛星からの電波を受信するとともに、受信信号に対する信号処理を行って情報表示装置30の位置を測定する。姿勢検出装置34は、ジャイロセンサや地磁気センサ(電子コンパス)等を備えており、情報表示装置30の姿勢や方位を検出する。尚、姿勢検出装置34の検出結果からカメラ31の撮影方向を特定することができる。
【0025】
無線通信装置35は、前述したWi−Fi(登録商標)、WiMAX(登録商標)、3G/LTE(登録商標)等の無線通信規格に準拠した無線通信が可能であり、ネットワークN2を介した通信を行う。メモリ36(格納装置)は、半導体メモリ等の記憶装置或いはハードディスク等の記録装置で実現され、制御装置37で用いられる各種情報を記憶する。
【0026】
制御装置37は、フィールド機器10のタグ情報を示す画像G2を生成し、カメラ31で撮影された画像G1に対して画像G2を重ねた画像をタッチパネル32に表示させる(
図1参照)。また、制御装置37は、作業者Wによるタッチパネル32の操作に応じて、フィールド機器10の設定や管理の指示をするための指示画面をタッチパネル32に表示させ、指示画面に対する操作に応じた指示をネットワークN2を介してサーバ装置20に送信する。
【0027】
この制御装置37は、画像処理部41、フィールド機器特定部42(特定手段)、重畳画像生成部43、表示制御部44(表示制御手段)、及びリモート管理部45を備える。画像処理部41は、カメラ31で撮影された画像に対し、ノイズ除去処理や明るさ調整処理等の画像処理を行う。フィールド機器特定部42は、測位装置33の測定結果及び姿勢検出装置34の検出結果を用いて、カメラ31で撮影されている方向に位置するフィールド機器10を特定する。
【0028】
具体的に、フィールド機器特定部42は、測位装置33で測定された情報表示装置30の位置を示す情報、姿勢検出装置34で検出された情報表示装置30の姿勢を示す情報、及びカメラ31の画角を示す情報をサーバ装置20に送信する。そして、サーバ装置20から提供される機器情報から、カメラ31で撮影されている方向に位置するフィールド機器10を特定する。
【0029】
重畳画像生成部43は、カメラ31で撮影された画像G1に重畳させる画像を生成する。具体的に、重畳画像生成部43は、フィールド機器特定部42で特定されたフィールド機器10のタグ情報を示す画像G2や、作業者Wによってカメラ31で撮影されたフィールド機器10の1つを特定する操作がなされた場合に、特定されたフィールド機器10の設定や管理の指示をするための指示画面の画像を生成する。尚、指示画面の画像は、重畳画像生成部43が、作業者Wによって特定されたフィールド機器10の管理情報に含まれるアドレス情報で特定されるアドレスにアクセスして得られる情報を用いて生成される。
【0030】
表示制御部44は、タッチパネル32の表示制御を行うとともに、タッチパネル32を介した入力処理を行う。具体的に、表示制御部44は、画像処理部41で画像処理が行われた画像と重畳画像生成部43で生成された画像とを重ね合わせてタッチパネル32に表示させる。また、タッチパネル32に対する作業者Wの操作内容に応じて、作業者Wの指示内容を重畳画像生成部43又はリモート管理部45に出力する。リモート管理部45は、指示画面に対する作業者Wの操作に応じた指示をネットワークN2を介してサーバ装置20に送信する。
【0031】
次に、上記構成における情報表示システム及び情報表示装置の動作について説明する。
図3は、本発明の第1実施形態による情報表示装置の動作を示すフローチャートである。尚、本実施形態の情報表示装置30には、カメラ31で撮影された画像をそのままタッチパネル32に表示する通常表示モードと、カメラ31で撮影された画像とフィールド機器10のタグ情報を示す画像等とを重ねてタッチパネル32に表示する重畳表示モードとが用意されている。
図3に示すフローチャートは、例えば作業者Wがタッチパネル32を操作して情報表示装置30の動作モードを重畳画像表示モード等に設定することにより開始される。
【0032】
情報表示装置30の動作モードが重畳表示モードに設定されると、まずカメラ31による画像の撮影が行われる(ステップS11)。ここでは、フィールド機器10が設置されたプラント等の現場で作業する作業者Wによって情報表示装置30が操作されているため、現場の画像がカメラ31で撮影される。カメラ31で撮影された画像は、画像処理部41で画像処理されて表示制御部44に出力される。
【0033】
次に、情報表示装置30の位置が測位装置33で測定されるとともに、情報表示装置30の姿勢が姿勢検出装置34で検出される(ステップS12)。測位装置33の測定結果及び姿勢検出装置34の検出結果は、制御装置37のフィールド機器特定部42に入力され、カメラ31の画角を示す情報とともに無線通信装置35からネットワークN2を介してサーバ装置20に送信される。
【0034】
情報表示装置30から送信されてきた測定結果等を受信すると、サーバ装置20の管理装置21は、情報表示装置30のカメラ31の視野F内に位置するフィールド機器10を特定する。そして、特定したフィールド機器10の管理情報(位置情報D1、タグ情報D2、及びアドレス情報D3)をフィールド機器データベース22から読み出して通信装置23に出力し、情報表示装置30に向けて送信させる。
【0035】
サーバ装置20から送信されたフィールド機器10の管理情報は、ネットワークN2を介して情報表示装置30の無線通信装置35で受信され、フィールド機器特定部42に入力される。これにより、情報表示装置30において、カメラ31の視野F内に位置するフィールド機器10の管理情報(位置情報D1、タグ情報D2、及びアドレス情報D3)が得られるため、カメラ31で撮影されている方向に位置するフィールド機器10が特定される(ステップS13)。
【0036】
カメラ31で撮影されている方向に位置するフィールド機器10が特定されると、特定されたフィールド機器10のタグ情報を示す画像が重畳画像生成部43で生成される。重畳画像生成部43で生成されたタグ情報を示す画像は、表示制御部44に出力されて、画像処理部41で画像処理が行われた画像と重ね合わされてタッチパネル32に表示される。これにより、
図1に示す通り、カメラ31で撮影された画像G1とフィールド機器10のタグ情報を示す画像G2とが重なった画像がタッチパネル32に表示される(ステップS14)。
【0037】
以上の処理が終了すると、作業者Wによってタッチパネル32に表示されたフィールド機器10を選択する選択操作がなされたか否かが表示制御部44で判断される(ステップS15)。選択操作がなされていないと表示制御部44で判断された場合(判断結果が「NO」の場合)には、ステップS11〜ステップS14の処理が行われる。尚、ステップS15の判断結果が「NO」である間は、ステップS11〜S14の処理が繰り返し行われる。このため、作業者Wが情報表示装置30の向きを変えれば、カメラ31で撮影される画像の変化(タッチパネル32に表示される画像G1の変化)に合わせて、タッチパネル32に表示される画像G2も変化することになる。
【0038】
これに対し、上記の選択操作がなされたと表示制御部44で判断された場合(ステップS15の判断結果が「YES」の場合)には、選択されたフィールド機器10を示す情報が表示制御部44から重畳画像生成部43に出力される。すると、重畳画像生成部43は、選択されたフィールド機器10の管理情報に含まれるアドレス情報D3で特定されるアドレスにアクセスし、そのフィールド機器10の設定や管理の指示をするための指示画面の画像を生成する。重畳画像生成部43で生成された指示画面の画像は、表示制御部44に出力されてタッチパネル32に表示される(ステップS16)。
【0039】
図4は、本発明の第1実施形態で表示される指示画面の一例を示す図である。
図4(a)に示す指示画面は、圧力を測定するフィールド機器についての指示画面であり、設定項目として、「データ更新周期」、「データ単位」、「アラーム種別」、「アラーム閾値」等が設けられている。各々の設定項目に対応して設けられた入力ボックスB1〜B4等に表示された数値が現在の設定値であり、この数値を変更することによってフィールド機器10の設定を変更することができる。尚、
図4(b)に示す通り、過去の測定値(圧力の測定値)の経時変化を示す指示画面を表示させることも可能である。
【0040】
指示画面がタッチパネル32に表示された後は、指示画面に対する指示に応じた処理がリモート管理部45によって行われる(ステップS17)。例えば、
図4(a)に示す入力ボックスB1〜B4の数値が変更された場合には、リモート管理部45がサーバ装置20に対して、フィールド機器10の設定値の変更を要求する処理が行われる。次に、作業者Wによる重畳表示モードの終了指示がなされたか否かが表示制御部44で判断される(ステップS18)。終了指示がなされていない場合(判断結果が「NO」の場合)には、ステップS11以降の処理が繰り返され、終了指示がなされた場合(判断結果が「YES」の場合)には、
図3に示す一連の処理が終了する。
【0041】
以上の通り、本実施形態では、情報表示装置30の位置を測位装置33で測定するとともに姿勢を姿勢検出装置34で検出し、これら測定結果及び検出結果を用いてカメラ31で撮影されている方向に位置するフィールド機器10を特定し、特定されたフィールド機器10のタグ情報をカメラ31で撮影された画像に重ねてタッチパネル32に表示するようにしている。また、タッチパネル32に表示されたフィールド機器10を選択する操作がなされた場合には、選択されたフィールド機器10の設定や管理の指示をするための指示画面をタッチパネル32に表示し、指示に応じた設定や管理を可能にしている。
【0042】
これにより、カメラ31で撮影されている方向に位置するフィールド機器10を遠隔で操作することができるため、業者Wがフィールド機器10の設置場所に赴かなくてもフィールド機器10のメンテナンスを行うことができ、作業者Wの負担軽減及び作業効率の向上を図ることができる。ここで、仮にフィールド機器10が物陰に隠れて作業者Wが目視できない状況であっても、そのフィールド機器10の設置場所にカメラ31を向ければそのフィールド機器10のタグ情報が表示されるため、物陰に隠れたフィールド機器10を探す手間が省けて作業効率が向上する。
【0043】
また、情報表示装置30は、前述した通り、ID及びパスワードを入力して認証されれば使用可能な状態になる。このため、特別なセキュリティ鍵を情報表示装置30にインストールする必要が無いため、情報表示装置30が持ち出され、盗難、紛失等された場合であっても、セキュリティ鍵が漏洩する事態が生じ得ず、セキュリティを高めることができる。
【0044】
尚、以上の実施形態では、フィールド機器特定部42が、サーバ装置20から提供されるフィールド機器10の管理情報から、カメラ31で撮影されている方向に位置するフィールド機器10を特定する例について説明した。しかしながら、サーバ装置20のフィールド機器データベース22に格納される管理情報を予めダウンロードして情報表示装置30のメモリ36に記憶しておき、メモリ36に記憶された管理情報を用いてカメラ31の視野F内に位置するフィールド機器10(カメラ31で撮影されている方向に位置するフィールド機器10)を特定するようにしても良い。
【0045】
〔第2実施形態〕
図5,
図6は、本発明の第2実施形態による情報表示システムの全体構成を示す図である。尚、
図5,
図6においては、
図1に示す構成に相当する構成については同一の符号を付してある。
図5,
図6に示す通り、本実施形態の情報表示システム2は、
図1に示すフィールド機器10に代えてフィールド機器10a,10bを設けるとともに、情報表示装置30に代えて情報表示装置50を設けた構成である。かかる構成の情報表示システム2は、フィールド機器10a,10bについてのタグ情報を第1実施形態よりも正確にフィールド機器10a,10bの画像に重ねて情報表示装置50に表示可能であるとともに、情報表示装置50を用いてフィールド機器10a,10bの設定や管理を行うことが可能である。
【0046】
ここで、測位装置33の測定結果及び姿勢検出装置34の検出結果は、ある程度の誤差があるため、前述した第1実施形態においては、タッチパネル32上のフィールド機器10の表示位置とタグ情報の表示位置とがずれる虞が考えられる。このような表示位置のずれが生ずると、作業者Wの意図とは異なるフィールド機器10に対する設定等が行われる虞が考えられる。本実施形態の情報表示システム2は、フィールド機器10a,10bについてのタグ情報を第1実施形態よりも正確にフィールド機器10a,10bの画像に重ねて情報表示装置50に表示することで、作業者Wの意図に反した設定等が行われるのを防止するものである。
【0047】
フィールド機器10a,10bは、
図1に示すフィールド機器10と同様のものであるが、互いに外観が異なるフィールド機器である。例えば、フィールド機器10aは、円形の表示窓が設けられたフィールド機器であるのに対し、フィールド機器10bは、矩形形状の表示窓が設けられたフィールド機器である。尚、ここでは説明を簡単にするために外観が異なる2種類のフィールド機器10a,10bを例に挙げて説明するが、外観が異なる3種類以上のフィールド機器が設けられていても良い。また、
図5中の符号P0が付された建屋は、
図6中の施設P1〜P4が収容される建屋を表している。
【0048】
情報表示装置50は、
図1に示す情報表示装置30と同様に、作業者Wによって操作され、カメラ31で撮影された画像G1とフィールド機器10a,10bのタグ情報を示す画像G2とを重ねた画像をタッチパネル32に表示する。但し、情報表示装置50は、カメラ31で撮影された画像G1内にフィールド機器10a,10bの画像が含まれている場合には、フィールド機器10a,10bの画像とこれらのタグ情報とが対応してタッチパネル32に表示されるように、タグ情報の表示位置を調整する。
【0049】
図5に示す通り、作業者Wが建屋P0の外観を撮影する場合のように、フィールド機器10a,10bの設置場所から離れた位置で撮影を行う場合(遠距離撮影を行う場合)には、カメラ31で撮影された画像G1内にフィールド機器10a,10bの画像が含まれていない。このような場合には、情報表示装置50は、第1実施形態と同様の方法でカメラ31で撮影された画像G1とフィールド機器10a,10bのタグ情報を示す画像G2とを重ねた画像をタッチパネル32に表示する。
【0050】
これに対し、
図6に示す通り、作業者Wが建屋P0内において施設P1〜P4を撮影する場合のように、フィールド機器10a,10bの設置場所に近い位置で撮影する場合(近距離撮影を行う場合)には、カメラ31で撮影された画像G1内にフィールド機器10a,10bの画像が含まれる。このような場合には、情報表示装置50は、カメラ31で撮影された画像G1に含まれるフィールド機器10a,10bの画像と、これらフィールド機器10a,10bのタグ情報を示す画像G2とが対応してタッチパネル32に表示されるようタグ情報の表示位置を調整する。
【0051】
図7は、本発明の第2実施形態におけるサーバ装置及び情報表示装置の要部構成を示すブロック図である。尚、
図7においては、
図2に示すブロックと同様のブロックには同一の符号を付してあり、図示の簡略化のために
図5,6に示したフィールド機器10a,10b、ネットワークN1、並びに建屋P0及び施設P1〜P4の図示を省略している。また、サーバ装置20及び情報表示装置50については、説明を行う上で必要な構成のみを図示している。
【0052】
図7に示す通り、情報表示装置50は、カメラ31〜制御装置37を備えており、
図2に示す情報表示装置30と同様の構成である。但し、フィールド機器10a,10bの画像を示すテンプレート画像TPがメモリ36に記憶されている点、及び、制御装置37について画像処理部41に代えて画像処理部51(画像処理手段)が設けられているとともに表示位置調整部52(調整手段)が新たに設けられている点が
図2に示す情報表示装置30とは相違する。
【0053】
メモリ36に記憶されたテンプレート画像TPは、フィールド機器10a,10bの画像を示すテンプレート画像である。画像処理部51は、
図2に示す画像処理部41が行う画像処理と同様の画像処理に加えて、メモリ36に記憶されたテンプレート画像TPを用いてカメラ31で撮影された画像に対する画像処理(例えば、テンプレートマッチング処理)を行う。この画像処理を行うことにより、画像処理部51は、カメラ31で撮影された画像内におけるフィールド機器10a,10bの画像の位置を特定する。
【0054】
表示位置調整部52は、画像処理部51で行われた画像処理によって特定されたフィールド機器10a,10bの画像の位置に応じて、重畳画像生成部43で生成されたタグ情報を示す画像のタッチパネル52内における表示位置を調整する。具体的には、カメラ31で撮影された画像G1に含まれるフィールド機器10a,10bの画像と、これらフィールド機器10a,10bのタグ情報を示す画像G2とが対応してタッチパネル32に表示されるようタグ情報を示す画像の表示位置を調整する。
【0055】
次に、上記構成における情報表示システム及び情報表示装置の動作について説明する。
図8は、本発明の第2実施形態による情報表示装置の動作を示すフローチャートである。
図8に示すフローチャートは、
図3に示すステップS11の処理とステップS12の処理との間にステップS21の処理が追加され、
図3に示すステップS13の処理とステップS14の処理との間にステップS22,S23の処理が追加されたものである。
図8に示すフローチャートも、
図3に示すフローチャートと同様に、例えば作業者Wがタッチパネル32を操作して情報表示装置50の動作モードを重畳画像表示モード等に設定することにより開始される。
【0056】
情報表示装置50の動作モードが重畳表示モードに設定されると、まずカメラ31による画像の撮影が行われる(ステップS11)。カメラ31で撮影された画像は、画像処理部51で第1実施形態と同様の画像処理が行われて表示制御部44に出力される。また、カメラ31で撮影された画像は、画像処理部51でメモリ36に記憶されたテンプレート画像TPを用いた画像処理が行われ、カメラ31で撮影された画像内におけるフィールド機器10a,10bの画像の位置を特定する処理が行われる(ステップS21)。この処理結果を示す情報は、表示位置調整部52に出力される。
【0057】
次に、情報表示装置50の位置が測位装置33で測定されるとともに、情報表示装置50の姿勢が姿勢検出装置34で検出される(ステップS12)。測位装置33の測定結果及び姿勢検出装置34の検出結果は、制御装置37のフィールド機器特定部42に入力され、カメラ31の画角を示す情報とともに無線通信装置35からネットワークN2を介してサーバ装置20に送信される。そして、第1実施形態と同様に、情報表示装置50のカメラ31の視野F内に位置するフィールド機器10a,10bの管理情報(位置情報D1、タグ情報D2、及びアドレス情報D3)がサーバ装置20から情報表示装置50に送信される。
【0058】
サーバ装置20から送信されてきたフィールド機器10a,10bの管理情報は、情報表示装置50のフィールド機器特定部42に入力される。これにより、情報表示装置50において、カメラ31の視野F内に位置するフィールド機器10a,10bの管理情報(位置情報D1、タグ情報D2、及びアドレス情報D3)が得られるため、カメラ31で撮影されている方向に位置するフィールド機器10a,10bが特定される(ステップS13)。カメラ31で撮影されている方向に位置するフィールド機器10a,10bが特定されると、特定されたフィールド機器10a,10bのタグ情報を示す画像が重畳画像生成部43で生成されて表示位置調整部52に出力される。
【0059】
次いで、ステップS21で行われた画像処理部51の画像処理によって、カメラ31出撮影された画像内におけるフィールド機器10a,10bの画像の位置が特定できたか否かが表示位置調整部52によって判断される(ステップS22)。フィールド機器10a,10bの画像の位置が特定できたと判断された場合(判断結果が「YES」の場合)には、特定されたフィールド機器10a,10bの画像の位置に応じて、重畳画像生成部43で生成されたタグ情報を示す画像のタッチパネル52内における表示位置が表示位置調整部52によって調整される(ステップS23)。これに対し、フィールド機器10a,10bの画像の位置が特定できなかったと判断された場合(判断結果が「NO」の場合)には、ステップS23の処理は省略される。
【0060】
ここで、ステップS22において、フィールド機器10a,10bの画像の位置が特定できたと判断される(判断結果が「YES」になる)のは、例えば
図6に示す通り、近距離撮影を行った場合である。これに対し、ステップS22において、フィールド機器10a,10bの画像の位置が特定できなかったと判断される(判断結果が「NO」になる)のは、例えば
図5に示す通り、遠距離撮影を行った場合である。
【0061】
次いで、表示位置調整部52から表示位置制御部44に対してタグ情報を示す画像が出力される。そして、位置調整が行われたタグ情報を示す画像、又は位置調整が行われなかったタグ情報を示す画像が、画像処理部41からの画像と重ね合わされてタッチパネル32に表示される。これにより、
図6に示す通り、フィールド機器10a,10bの画像と、フィールド機器10a,10bのタグ情報を示す画像G2とが対応してタッチパネル32に表示される。或いは、
図6に示す通り、カメラ31で撮影された画像G1とフィールド機器10のタグ情報を示す画像G2とが単純に重なった画像がタッチパネル32に表示される(ステップS14)。
【0062】
以上の処理が終了すると、作業者Wによってタッチパネル32に表示されたフィールド機器10を選択する選択操作がなされたか否かが表示制御部44で判断される(ステップS15)。そして、選択操作がなされてないと判断された場合(判断結果が「NO」の場合)には、ステップS11,S21,S12,S13,S22〜S24の処理が行われ、選択操作がなされたと判断された場合(ステップS15の判断結果が「YES」の場合)には、ステップS16〜S18の処理が行われる。
【0063】
以上の通り、本実施形態では、情報表示装置50の位置を測位装置33で測定するとともに姿勢を姿勢検出装置34で検出し、これら測定結果及び検出結果を用いてカメラ31で撮影されている方向に位置するフィールド機器10を特定し、特定されたフィールド機器10のタグ情報をカメラ31で撮影された画像に重ねてタッチパネル32に表示するようにしている。このとき、カメラ31で撮影された画像に対して画像処理を行ってフィールド機器10a,10bの画像の位置を特定し、この特定された位置に基づいてタグ情報の表示位置を調整している。また、第1実施形態と同様に、タッチパネル32に表示されたフィールド機器10を選択する操作がなされた場合には、選択されたフィールド機器10の設定や管理の指示をするための指示画面をタッチパネル32に表示し、指示に応じた設定や管理を可能にしている。
【0064】
これにより、カメラ31で撮影されている方向に位置するフィールド機器10を遠隔で操作することができるため、業者Wがフィールド機器10の設置場所に赴かなくてもフィールド機器10のメンテナンスを行うことができ、作業者Wの負担軽減及び作業効率の向上を図ることができる。また、フィールド機器10a,10bの画像と、フィールド機器10a,10bのタグ情報を示す画像G2とが対応してタッチパネル32に表示されるため、作業者Wの意図に反した設定等が行われるのを防止することができる。更に、第1実施形態と同様に、物陰に隠れたフィールド機器10を探す手間が省けて作業効率が向上する。また、情報表示装置50は、第1実施形態の情報表示装置30と同様に、ID及びパスワードを入力して認証されれば使用可能な状態になるため、セキュリティを高めることができる。
【0065】
尚、以上の実施形態では、フィールド機器10a,10bのテンプレート画像TPが情報表示装置50のメモリ36に記憶されている例について説明したが、テンプレート画像TPをサーバ装置20に格納しておき、情報表示装置50が必要に応じてダウンロートするようにしても良い。このようにすることで、新たな外観のフィールド機器が追加された場合であっても、テンプレート画像TPの追加や更新を容易に行うことができる。
【0066】
また、本実施形態においても、第1実施形態と同様に、サーバ装置20のフィールド機器データベース22に格納される管理情報を予めダウンロードして情報表示装置50のメモリ36に記憶しておいても良い。このようにすれば、サーバ装置20にアクセスすることなく、メモリ36に記憶された管理情報を用いてカメラ31の視野F内に位置するフィールド機器10(カメラ31で撮影されている方向に位置するフィールド機器10)を特定することができる。
【0067】
〔第3実施形態〕
図9は、本発明の第3実施形態による情報表示システムの全体構成を示す図である。尚、
図9においては、
図1に示す構成に相当する構成については同一の符号を付してある。
図9に示す通り、本実施形態の情報表示システム3は、複数のフィールド機器10、サーバ装置60、及び情報表示装置70を備えており、フィールド機器10についての動的情報をフィールド機器10の画像に重ねて情報表示装置70に表示可能である。尚、本実施形態において、上記の動的情報は、フィールド機器10の通信状態を示す情報であるとする。また、
図9中の符号P5が付された円柱は、フィールド機器10が設置されるプラント内の施設を表している。
【0068】
サーバ装置60は、
図1,
図5に示すサーバ装置20と同様に、ネットワークN1を介したフィールド機器10の管理を行うとともに、ネットワークN2を介した情報表示装置70への管理情報の提供を行う。加えて、サーバ装置60は、情報表示装置70に対して、フィールド機器10の通信状態を示す情報を提供する。ここで、フィールド機器10の通信状態を示す情報とは、フィールド機器10間の通信リンクの強度を示す情報、フィールド機器10から放射される電磁波の様子を示す情報、ビットエラーレート等の通信品質を示す情報、過去の履歴から予測される通信状態の時間推移を示す情報等の情報である。
【0069】
情報表示装置70は、作業者Wによって操作され、カメラ31で撮影された画像G1とフィールド機器10の通信状態を示す情報を示す画像G3とを重ねた画像をタッチパネル32に表示する。具体的に、
図9に示す例において、タッチパネル32に表示される画像G1は施設P5に設けられた複数のフィールド機器10のうちの6つのフィールド機器10を撮影した画像(カメラ31の視野F内の画像)であり、画像G3は撮影されたフィールド機器10の間を接続する線状の画像である。この画像G3は、通信リンクが確立されたフィールド機器10間に表示され、その太さが通信リンクの強度を表している。尚、
図9に示す画像G3はあくまでも一例であって、情報表示装置70に表示される画像G3は、線状の画像以外に矢印の画像や電磁波の強度を等高線で表した画像であっても良い。
【0070】
図10は、本発明の第3実施形態におけるサーバ装置及び情報表示装置の要部構成を示すブロック図である。尚、
図10においては、
図2に示すブロックと同様のブロックには同一の符号を付してあり、図示の簡略化のために
図9に示したフィールド機器10、ネットワークN1、並びに施設P5の図示を省略している。また、サーバ装置60及び情報表示装置70については、説明を行う上で必要な構成のみを図示している。
【0071】
図10に示す通り、サーバ装置60は、
図2に示すサーバ装置20が備える管理装置21〜通信装置23に加えて通信状態解析部24を備える。この通信状態解析部24は、フィールド機器10が設置された施設P5の地図及び構造物情報を用いてネットワークシミュレーションや電磁波シミュレーションを行い、その結果を管理装置21に出力する。この通信状態解析部24によって、上述したフィールド機器10間の通信リンクの強度を示す情報、或いはフィールド機器10から放射される電磁波の様子を示す情報等が得られる。尚、フィールド機器データベース22には、フィールド機器10の位置を示す位置情報D1がフィールド機器10の管理情報として記憶される。
【0072】
情報表示装置70は、カメラ31〜制御装置37を備えており、
図2に示す情報表示装置30と同様の構成である。但し、制御装置37について重畳画像生成部43に代えて重畳画像生成部71が設けられているとともにリモート管理部45が省略されている点が
図2に示す情報表示装置30とは相違する。
図2に示す重畳画像生成部43は、タグ情報を示す画像G2を生成するものであったが、重畳画像生成部71は、サーバ装置60から提供されるフィールド機器10の通信状態を示す情報に応じて、
図9に示す画像G3を生成する。
【0073】
次に、上記構成における情報表示システム及び情報表示装置の動作について説明する。
図11は、本発明の第3実施形態による情報表示装置の動作を示すフローチャートである。
図11に示すフローチャートも、
図3に示すフローチャートと同様に、例えば作業者Wがタッチパネル32を操作して情報表示装置70の動作モードを重畳画像表示モード等に設定することにより開始される。
【0074】
情報表示装置70の動作モードが重畳表示モードに設定されると、まずカメラ31による画像の撮影が行われる(ステップS31)。ここでは、フィールド機器10が設置されたプラント等の現場で作業する作業者Wによって情報表示装置70が操作されているため、現場の画像がカメラ31で撮影される。カメラ31で撮影された画像は、画像処理部41で画像処理されて表示制御部44に出力される。
【0075】
次に、情報表示装置70の位置が測位装置33で測定されるとともに、情報表示装置70の姿勢が姿勢検出装置34で検出される(ステップS32)。測位装置33の測定結果及び姿勢検出装置34の検出結果は、制御装置37のフィールド機器特定部42に入力され、カメラ31の画角を示す情報とともに無線通信装置35からネットワークN2を介してサーバ装置60に送信される。
【0076】
情報表示装置70から送信されてきた測定結果等を受信すると、サーバ装置60の管理装置21は、情報表示装置70のカメラ31の視野F内に位置するフィールド機器10を特定する。そして、管理装置21は、特定したフィールド機器10の管理情報(位置情報D1)をフィールド機器データベース22から読み出して通信装置23に出力し、情報表示装置30に向けて送信させる。
【0077】
サーバ装置60から送信されたフィールド機器10の管理情報は、ネットワークN2を介して情報表示装置70の無線通信装置35で受信され、フィールド機器特定部42に入力される。これにより、情報表示装置70において、カメラ31の視野F内に位置するフィールド機器10の管理情報(位置情報D1)が得られるため、カメラ31で撮影されている方向に位置するフィールド機器10が特定される(ステップS33)。
【0078】
カメラ31で撮影されている方向に位置するフィールド機器10が特定されると、特定されたフィールド機器10を示す情報がフィールド機器特定部42から重畳画像生成部71に出力され、無線通信装置35からネットワークN2を介してサーバ装置60に送信される。情報表示装置70からの情報を受信すると、サーバ装置60の管理装置21は、その情報で特定されるフィールド機器10の通信状態を示す情報を通信状態解析部24から取得して通信装置23に出力し、情報表示装置30に向けて送信させる。
【0079】
サーバ装置60から送信されたフィールド機器10の通信状態を示す情報は、ネットワークN2を介して情報表示装置70の無線通信装置35で受信され、重畳画像生成部71に入力される。これにより、カメラ31で撮影されている方向に位置するフィールド機器10の通信状態を示す情報が取得される(ステップS34)。すると、重畳画像生成部71において、フィールド機器10の通信状態を示す画像が生成される。
【0080】
重畳画像生成部43で生成されたフィールド機器10の通信状態を示す画像は、表示制御部44に出力されて、画像処理部41で画像処理が行われた画像と重ね合わされてタッチパネル32に表示される。これにより、
図9に示す通り、カメラ31で撮影された画像G1とフィールド機器10の通信状態を示す情報画像G3とが重なった画像がタッチパネル32に表示される(ステップS35)。
【0081】
以上の処理が終了すると、作業者Wによる重畳表示モードの終了指示がなされたか否かが表示制御部44で判断される(ステップS36)。終了指示がなされていない場合(判断結果が「NO」の場合)には、ステップS31以降の処理が繰り返され、終了指示がなされた場合(判断結果が「YES」の場合)には、
図11に示す一連の処理が終了する。
【0082】
以上の通り、本実施形態では、情報表示装置70の位置を測位装置33で測定するとともに姿勢を姿勢検出装置34で検出し、これら測定結果及び検出結果を用いてカメラ31で撮影されている方向に位置するフィールド機器10を特定し、特定されたフィールド機器10の通信状態を示す情報をカメラ31で撮影された画像に重ねてタッチパネル32に表示するようにしている。これにより、カメラ31で撮影されている方向に位置するフィールド機器10の通信状態を示す情報を視認することができるため、例えばフィールド機器10の設置場所を変更する場合には電波状況が良好な場所を容易に特定することができ、作業者Wの負担軽減及び作業効率の向上を図ることができる。また、フィールド機器10の通信状態が作業の前後でどの程度改善されたかを知ることができるため、信頼性を確保することもできる。
【0083】
また、情報表示装置70は、第1実施形態の情報表示装置30と同様に、ID及びパスワードを入力して認証されれば使用可能な状態になる。このため、特別なセキュリティ鍵を情報表示装置70にインストールする必要が無いため、情報表示装置70が持ち出され、盗難、紛失等された場合であっても、セキュリティ鍵が漏洩する事態が生じ得ず、セキュリティを高めることができる。
【0084】
また、本実施形態においても、第1実施形態と同様に、サーバ装置60のフィールド機器データベース22に格納される管理情報を予めダウンロードして情報表示装置70のメモリ36に記憶しておいても良い。このようにすれば、サーバ装置60にアクセスすることなく、メモリ36に記憶された管理情報を用いてカメラ31の視野F内に位置するフィールド機器10(カメラ31で撮影されている方向に位置するフィールド機器10)を特定することができる。
【0085】
尚、以上の第1〜第3実施形態で説明した情報表示装置30,50,70は、カメラ31とタッチパネル32とを備えており、作業者Wによって携帯される装置であった。このような情報表示装置30は、例えばスマートフォン、タブレット端末、ヘッドマウントディスプレイ等のカメラ付き携帯端末によって実現することができる。
【0086】
前述した第1,第2実施形態による情報表示システム及び情報表示装置は、機器を識別する情報をカメラ31で撮影された画像に重ねてタッチパネル32に表示し、選択された機器を遠隔で操作するものである。このため、ビルオートメーションやホームオートメーションを実現する機器の管理や保守を行う用途に用いることができる。例えば、壁内や壁裏に埋め込まれたセンサ、スイッチ、制御機器等の遠隔管理を行い、無線の通じにくい上下フロアの機器や設備の遠隔管理等を行うといった具合である。また、カメラ31とタッチパネル32を分離すれば、カメラ31を搭載したロボットをタッチパネル32の操作によって遠隔操作するといった用途にも用いることができる。
【0087】
前述した第3実施形態による情報表示システム及び情報表示装置は、機器の通信状態を示す情報(通信リンクの強度を示す情報、放射される電磁波の様子を示す情報、通信品質を示す情報、過去の履歴から予測される通信状態の時間推移を示す情報等)をカメラ31で撮影された画像に重ねてタッチパネル32に表示するものである。このため、無線通信機器を通信状態の良好な場所に設置する用途、或いは医療機器から放射される電磁波の影響を測定する用途に用いることができる。