IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 横河電機株式会社の特許一覧

特許7643626情報提供装置、情報提供方法、および情報提供プログラム
<>
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図1
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図2
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図3
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図4
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図5
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図6
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図7
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図8
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図9
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図10
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図11
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図12
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図13
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図14
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図15
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図16
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図17
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図18
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図19
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図20
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図21
  • 特許-情報提供装置、情報提供方法、および情報提供プログラム 図22
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-03-03
(45)【発行日】2025-03-11
(54)【発明の名称】情報提供装置、情報提供方法、および情報提供プログラム
(51)【国際特許分類】
   G05B 23/02 20060101AFI20250304BHJP
   H04N 7/18 20060101ALI20250304BHJP
【FI】
G05B23/02 T
H04N7/18 C
【請求項の数】 14
(21)【出願番号】P 2024112653
(22)【出願日】2024-07-12
【審査請求日】2024-07-12
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006507
【氏名又は名称】横河電機株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】有吉 正宣
【審査官】渡邊 捷太郎
(56)【参考文献】
【文献】特開平08-049845(JP,A)
【文献】特開2022-137657(JP,A)
【文献】特開2020-160794(JP,A)
【文献】特開2020-160795(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G05B 23/02
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
各色相に対応する各変換値を含む変換情報を受け付ける受付部と、
撮影機器が撮影した監視対象の映像データを取得する取得部と、
受け付けられた前記変換情報および取得された前記映像データに基づいて、前記監視対象の状態を評価する評価値を算出する算出部と、
を備え
前記受付部は、
原色領域、白系領域、および黒系領域を示す領域区分を受け付け、
前記算出部は、
前記領域区分に応じて設定された前記変換情報を用いて、前記評価値を算出する、
情報提供装置。
【請求項2】
前記受付部は、
前記映像データの指定範囲を受け付け、
前記算出部は、
前記指定範囲に含まれる前記映像データの各画素の前記各色相に対応する前記各変換値を用いて、前記評価値を算出する、
請求項1に記載の情報提供装置。
【請求項3】
前記受付部は、
利用者の利用者端末の設定画面に表示された映像上で、前記利用者の操作によって前記指定範囲を受け付ける、
請求項2に記載の情報提供装置。
【請求項4】
前記受付部は、
利用者の利用者端末の設定画面上で、前記利用者が彩度および明度を入力することによって前記領域区分を受け付ける、
請求項に記載の情報提供装置。
【請求項5】
前記受付部は、
前記変換情報として前記各色相と前記各変換値との関係性を示す変換関数を受け付け、
前記算出部は、
前記変換関数によって換算された前記映像データの各画素の前記各色相に対応する前記各変換値を用いて、前記評価値を算出する、
請求項1に記載の情報提供装置。
【請求項6】
前記受付部は、
所定の色相間における直線状の方程式を示す前記変換関数を受け付ける、
請求項に記載の情報提供装置。
【請求項7】
前記受付部は、
所定の色相間における曲線状の方程式を示す前記変換関数を受け付ける、
請求項に記載の情報提供装置。
【請求項8】
前記算出部は、
前記評価値として、前記映像データの各画素の前記各色相に対応する前記各変換値の合計値を算出する、
請求項1からのいずれか1項に記載の情報提供装置。
【請求項9】
前記算出部は、
前記評価値として、前記映像データの各画素の前記各色相に対応する前記各変換値の平均値を算出する、
請求項1からのいずれか1項に記載の情報提供装置。
【請求項10】
算出された前記評価値が閾値を超過した場合には、前記監視対象の異常を示すアラームを利用者に通知する通知部、
をさらに備える請求項1からのいずれか1項に記載の情報提供装置。
【請求項11】
算出された前記評価値を示す表またはグラフを利用者に通知する通知部、
をさらに備える請求項1からのいずれか1項に記載の情報提供装置。
【請求項12】
前記取得部は、
プラントの製造プロセスに設置された前記撮影機器が出力した静止画データまたは動画データを取得する、
請求項1からのいずれか1項に記載の情報提供装置。
【請求項13】
コンピュータが、
各色相に対応する各変換値を含む変換情報を受け付け、
撮影機器が撮影した監視対象の映像データを取得し、
受け付けた前記変換情報および取得した前記映像データに基づいて、前記監視対象の状態を評価する評価値を算出する、
処理を実行し、
原色領域、白系領域、および黒系領域を示す領域区分を受け付け、
前記領域区分に応じて設定された前記変換情報を用いて、前記評価値を算出する、
情報提供方法。
【請求項14】
コンピュータに、
各色相に対応する各変換値を含む変換情報を受け付け、
撮影機器が撮影した監視対象の映像データを取得し、
受け付けた前記変換情報および取得した前記映像データに基づいて、前記監視対象の状態を評価する評価値を算出する、
処理を実行させ
原色領域、白系領域、および黒系領域を示す領域区分を受け付け、
前記領域区分に応じて設定された前記変換情報を用いて、前記評価値を算出する、
情報提供プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報提供装置、情報提供方法、および情報提供プログラムに関する。
【背景技術】
【0002】
プラントの製造プロセスの推移や状態の監視、異常の発生の有無等を確認する目的で、監視カメラが使用されている。オペレータは、監視カメラが撮影した映像をリアルタイムに監視することもできるし、記憶装置に保存した映像を後から見返すこともできる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2004-336171号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、プラントの製造プロセス等の監視対象の状態を効果的に把握することは難しい。例えば、リアルタイムに監視する場合では、オペレータが映像を監視して状態を確認する必要があるので、見落としがないことが求められるとオペレータの負担が大きくなる。また、記憶装置に保存した映像を確認する場合では、オペレータが見落とすリスクは無くなるが、後から映像を見返す必要があるので、オペレータの負担が大きくなる。
【0005】
本発明は、上記に鑑みてなされたものであって、監視対象の状態を効果的に把握することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一実施形態に係る情報提供装置は、各色相に対応する各変換値を含む変換情報を受け付ける受付部と、撮影機器が撮影した監視対象の映像データを取得する取得部と、受け付けられた前記変換情報および取得された前記映像データに基づいて、前記監視対象の状態を評価する評価値を算出する算出部と、を備える。
【0007】
本発明の一実施形態に係る情報提供方法は、コンピュータが、各色相に対応する各変換値を示す変換情報を受け付け、撮影機器が撮影した監視対象の映像データを取得し、受け付けた前記変換情報および取得した前記映像データに基づいて、前記監視対象の状態を評価する評価値を算出する、処理を実行する。
【0008】
本発明の一実施形態に係る情報提供プログラムは、コンピュータに、各色相に対応する各変換値を示す変換情報を受け付け、撮影機器が撮影した監視対象の映像データを取得し、受け付けた前記変換情報および取得した前記映像データに基づいて、前記監視対象の状態を評価する評価値を算出する、処理を実行させる。
【発明の効果】
【0009】
本発明によれば、監視対象の状態を効果的に把握することができるという効果がある。
【図面の簡単な説明】
【0010】
図1】実施形態に係るプロセス監視システムの構成例および処理例を示す図である。
図2】実施形態に係るプロセス監視システムの評価算出処理の処理例を示す図である。
図3】実施形態に係るプロセス監視システムの各装置の構成例を示すブロック図である。
図4】実施形態に係るサーバ装置の設定情報記憶部の一例を示す図である。
図5】実施形態に係るサーバ装置の映像データ記憶部の一例を示す図である。
図6】実施形態に係るサーバ装置の評価値記憶部の一例を示す図である。
図7】実施形態に係るプロセス監視システムで使用するHSVモデル全体を説明するための図である。
図8】実施形態に係るプロセス監視システムで使用するHSVモデルの色相を説明するための図である。
図9】実施形態に係るプロセス監視システムで使用するHSVモデルの彩度および明度を説明するための図である。
図10】実施形態に係るプロセス監視システムの各処理の具体例1を示す図である。
図11】実施形態に係るプロセス監視システムの各処理の具体例2を示す図である。
図12】実施形態に係るプロセス監視システムの各処理の具体例3を示す図である。
図13】実施形態に係るプロセス監視システムの各処理の具体例4-1を示す図である。
図14】実施形態に係るプロセス監視システムの各処理の具体例4-2を示す図である。
図15】実施形態に係るプロセス監視システムの各処理の具体例4-3を示す図である。
図16】実施形態に係るプロセス監視システムの各処理の具体例4-4を示す図である。
図17】実施形態に係るプロセス監視システム全体の流れの一例を示すフローチャートである。
図18】実施形態に係るプロセス監視システムの設定情報管理処理の流れの一例を示すフローチャートである。
図19】実施形態に係るプロセス監視システムの映像データ管理処理の流れの一例を示すフローチャートである。
図20】実施形態に係るプロセス監視システムの評価値管理処理の流れの一例を示すフローチャートである。
図21】実施形態に係るプロセス監視システムのアラーム管理処理の流れの一例を示すフローチャートである。
図22】実施形態に係るハードウェア構成例を説明する図である。
【発明を実施するための形態】
【0011】
以下に、本発明の実施形態に係る情報提供装置、情報提供方法、および情報提供プログラムを、図面を参照して詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
【0012】
以下に、実施形態に係るプロセス監視システム100の構成および処理、プロセス監視システム100の各装置の構成および処理、プロセス監視システム100の処理の流れを順に説明し、最後に実施形態の効果を説明する。
【0013】
〔1.プロセス監視システム100の構成および処理〕
図1を用いて、実施形態に係るプロセス監視システム100の構成および処理を詳細に説明する。図1は、実施形態に係るプロセス監視システム100の構成例および処理例を示す図である。以下では、プロセス監視システム100全体の構成例、プロセス監視システム100の処理例、およびプロセス監視システム100の効果について説明する。なお、実施形態では、プラントの製造プロセスにおける監視を一例にして説明するが、監視対象や利用分野を限定するものではない。
【0014】
(1-1.プロセス監視システム100全体の構成例)
プロセス監視システム100は、サーバ装置10、オペレータ端末20、およびカメラ30を有する。ここで、サーバ装置10、オペレータ端末20、およびカメラ30は、図示しない所定の通信網を介して、有線または無線により通信可能に接続される。なお、所定の通信網には、インターネットや専用線等の各種通信網を採用することができる。
【0015】
(1-1-1.サーバ装置10)
サーバ装置10は、カメラ30から取得した映像データをもとに、プラントの製造プロセスの状態を評価する評価値を算出する情報提供装置である。例えば、サーバ装置10は、クラウド環境、オンプレミス環境、エッジ環境等によって実現される。なお、図1に示したプロセス監視システム100には、複数台のサーバ装置10が含まれてもよい。
【0016】
(1-1-2.オペレータ端末20)
オペレータ端末20は、プラントの製造プロセスの管理者であるオペレータOが使用する管理者端末である。なお、図1に示したプロセス監視システム100には、複数台のオペレータ端末20が含まれてもよい。
【0017】
(1-1-3.カメラ30)
カメラ30は、プラントの製造プロセスに設置された撮影機器である。なお、図1に示したプロセス監視システム100には、複数台のカメラ30が含まれてもよい。
【0018】
(1-2.プロセス監視システム100全体の処理例)
上記のようなプロセス監視システム100全体の処理について説明する。なお、下記のステップS1~S4の処理は、異なる順序で実行することもできる。また、下記のステップS1~S4の処理のうち、省略される処理があってもよい。
【0019】
(1-2-1.設定情報受付処理)
第1に、サーバ装置10は、オペレータ端末20から設定情報を受け付ける(ステップS1)。例えば、サーバ装置10は、オペレータOによってオペレータ端末20の設定画面に入力された設定情報を受け付け、保存する。
【0020】
ここで、設定情報とは、監視対象の評価値を算出する際の設定に関する情報であって、例えば、指定範囲、領域区分、変換情報等を含む情報である。指定範囲とは、オペレータOによって設定された、映像データのうち評価値を算出する各画素を含む範囲である。領域区分とは、オペレータOによって設定された、映像データのうち画素の色素を分類する区分(原色領域、白系領域、黒系領域)である。変換情報とは、オペレータOによって設定された、各色情報に対応する各変換値を示す変換表、変換関数、固定値等である。
【0021】
(1-2-2.映像データ取得処理)
第2に、サーバ装置10は、カメラ30から映像データを取得する(ステップS2)。例えば、サーバ装置10は、プラントの製造プロセスに設置されたカメラ30から、1秒ごとに撮影した静止画の映像データを取得する。また、サーバ装置10は、プラントの製造プロセスに設置された設置されたカメラ30から、動画の映像データを取得してもよい。
【0022】
(1-2-3.評価値算出処理)
第3に、サーバ装置10は、映像データから評価値を算出する(ステップS3)。例えば、サーバ装置10は、オペレータOによって設定された設定情報(例:指定範囲、領域区分、変換情報)、およびカメラ30から取得した映像データを用いて、プラントの製造プロセスの状態を評価する評価値を算出する。
【0023】
図1の例では、サーバ装置10は、プラントの製造プロセスのバーナーの映像データのうち、炎に対応する指定範囲における時間ごとの評価値として、{時間:「9:10」,評価値:「50」}、{時間:「9:20」,評価値:「160」}、および{時間:「9:30」,評価値:「450」}を算出し、バーナーの炎の温度が時間とともに上昇している状態を監視している。なお、評価値算出処理の詳細については、(1-3.プロセス監視システム100の評価値算出処理)にて後述する。
【0024】
(1-2-4.アラーム通知処理)
第4に、サーバ装置10は、オペレータOにアラームを通知する(ステップS4)。例えば、サーバ装置10は、算出した評価値がオペレータOによって設定された閾値を超過した場合には、異常状態を示すアラームデータをオペレータ端末20に送信し、オペレータ端末20のモニタ画面にアラームを表示させる。また、サーバ装置10は、オペレータ端末20に評価値を示す表データやグラフデータを送信し、オペレータ端末20のモニタ画面に評価値の表やグラフ(例:折れ線グラフ、ヒストグラム)を表示させることができる。
【0025】
(1-3.プロセス監視システム100の評価値算出処理)
図2を用いて、実施形態に係るプロセス監視システム100の評価算出処理について説明する。図2は、実施形態に係るプロセス監視システム100の評価算出処理の処理例を示す図である。以下では、指定範囲特定処理、HSV値変換処理、領域区分分類処理、変換値出力処理、および変換値集計処理について説明する。
【0026】
(1-3-1.指定範囲特定処理)
第1に、サーバ装置10は、映像データの指定範囲を特定する(図2(1)参照)。図2(1)の例では、サーバ装置10は、オペレータOによってオペレータ端末20の設定画面を介して設定された、プラントの製造プロセスのバーナーの映像データのうち、炎に対応する指定範囲を特定する。
【0027】
(1-3-2.HSV値変換処理)
第2に、サーバ装置10は、映像データの指定範囲に含まれる各画素の色素(色情報)をHSV値に変換する(図2(2)参照)。図2(2)の例では、サーバ装置10は、プラントの製造プロセスのバーナーの映像データのうち、炎に対応する指定範囲に含まれる各画素の色素(例:水色、赤色、白色、黒色)をそれぞれ、色味の違いを示す数値(0~360°)である色相(Hue)、鮮やかさを示す数値(0~255)である彩度(Saturation)、および明るさを示す数値(0~255)である明度(Value)の組合せであるHSV値に変換する。
【0028】
(1-3-3.領域区分分類処理)
第3に、サーバ装置10は、映像データの指定範囲に含まれる各画素の色素(色情報)を領域区分に分類する(図2(3)参照)。図2(3)の例では、サーバ装置10は、水色(網掛)、赤色(斜線)、白色(無地)、および黒色(菱形網状)の色素について、水色および赤色を原色領域に分類し、白色を白系領域に分類し、黒色を黒系領域に分類している。
【0029】
(1-3-4.変換値出力処理)
第4に、サーバ装置10は、領域区分に応じて設定された変換情報を用いて各画素の変換値を出力する(図2(4a)および(4b)参照)。図2(4a)の例では、サーバ装置10は、原色領域に分類された水色および赤色について、変換情報として色相(0~360°)に対応する変換値を示す色相と変換値との方程式である変換関数を用いて、変換値を出力している。また、図2(4b)の例では、サーバ装置10は、白系領域に分類された白色について、変換情報として白系領域に分類された色素の固定値「30」を用いて、変換値を出力している。また、図2(4b)の例では、サーバ装置10は、黒系領域に分類された黒色について、変換情報として黒系領域に分類された色素の固定値「0」を用いて、変換値を出力している。上記のように、サーバ装置10は、映像データの指定範囲に含まれる全画素について、HSV値変換処理、領域区分分類処理、および変換値出力処理を繰り返す。
【0030】
(1-3-5.変換値集計処理)
第5に、サーバ装置10は、全画素の変換値を集計し、評価値を算出する(図2(5)参照)。図2(5)の例では、サーバ装置10は、水色(網掛)の変換値「10」、赤色(斜線)の変換値「20」、白色(無地)の変換値「30」、および黒色(菱形網状)の変換値「0」を集計し、評価値として全画素の合計値である「60」を算出している。また、図2(5)の例では、サーバ装置10は、水色(網掛)の変換値「10」、赤色(斜線)の変換値「20」、白色(無地)の変換値「30」、および黒色(菱形網状)の変換値「0」を集計し、評価値として全画素の平均値である「15」を算出している。
【0031】
(1-3-6.その他)
サーバ装置10は、算出した評価値をオペレータOが所望する数値にさらに換算することもできる。例えば、サーバ装置10は、プラントの製造プロセスのバーナーの炎の温度に対応する数値に換算するために、評価値として算出した全画素の平均値「15」に対して、所定の係数「30」を乗じることによって、炎の温度「450℃」に換算することもできる。
【0032】
(1-4.プロセス監視システム100の効果)
以下では、参考技術に係るプロセス監視システム100Pの問題点について説明した上で、プロセス監視システム100の効果について説明する。
【0033】
(1-4-1.プロセス監視システム100Pの問題点)
参考技術に係るプロセス監視システム100Pでは、プラントの製造プロセスの推移や状態の監視、異常の発生の有無等を確認する目的で、監視カメラ等のカメラ30が使用されている。このとき、オペレータOは、カメラ30が撮影した映像をリアルタイムに監視することもできるし、記憶装置に保存した映像を後から見返すこともできる。また、プロセス監視システム100Pでは、正常状態か異常状態かを判断するために、AI(Artificial Intelligence)を利用することもできる。
【0034】
しかしながら、プロセス監視システム100Pでは、以下の問題点がある。第1に、プロセス監視システム100Pでは、リアルタイムに監視する場合では、オペレータOが映像を監視して状態を確認する必要があるので、見落としがないことが求められるとオペレータOの負担が大きくなる。第2に、記憶装置に保存した映像を確認する場合では、オペレータOが見落とすリスクは無くなるが、後から映像を見返す必要があるので、オペレータOの負担が大きくなる。第3に、AIを利用する場合では、該当する製造プロセスにおける正常状態や異常状態をAIに学習させる必要があり、オペレータOの負担は大きくなる。
【0035】
(1-4-2.プロセス監視システム100の概要)
プロセス監視システム100では、以下の処理が実行される。第1に、サーバ装置10は、オペレータOから、指定範囲、領域区分、変換情報等を含む設定情報を受け付ける。第2に、サーバ装置10は、プラントの製造プロセスに設置されたカメラ30から、静止画や動画の映像データを取得する。第3に、サーバ装置10は、オペレータOによって設定された設定情報、およびカメラ30から取得した映像データを用いて、プラントの製造プロセスの状態を評価する評価値を算出する。第4に、サーバ装置10は、算出された評価値がオペレータOによって設定された閾値を超過した場合には、異常状態を示すアラームをオペレータOに通知する。
【0036】
上記の処理を実行することによって、プロセス監視システム100では、監視対象の映像における色情報をオペレータOが所望する数値に変換するための仕組みを提供することができる。また、プロセス監視システム100では、映像全体ではなく、オペレータOが設定した指定範囲単位で監視対象の状態に関するラベリング(監視したい領域を細かく区切り、識別できる名称を付けて管理する)をすることができる。
【0037】
(1-4-3.プロセス監視システム100の効果)
プロセス監視システム100では、以下の効果がある。第1に、プロセス監視システム100では、オペレータOは、オペレータOが設定した指定範囲における色変化や大きさ(広がり)の変化を、数値データの推移をトレンド表示することによって時系列的に把握することができる。第2に、プロセス監視システム100では、オペレータOは、カメラ30の映像を確認することなく、プラントの製造プロセスの状態を数値の大小で把握することができる。
【0038】
以上のように、プロセス監視システム100では、監視対象の状態を効果的に把握することができる。
【0039】
〔2.プロセス監視システム100の各装置の構成および処理〕
図3を用いて、図1に示したプロセス監視システム100が有する各装置の構成および処理について説明する。図3は、実施形態に係るプロセス監視システム100の各装置の構成例を示すブロック図である。以下では、実施形態に係るプロセス監視システム100全体の構成例を説明した上で、サーバ装置10の構成例および処理例、オペレータ端末20の構成例および処理例、ならびにカメラ30の構成例および処理例を詳細に説明する。
【0040】
(2-1.プロセス監視システム100全体の構成例)
図3を用いて、図1に示したプロセス監視システム100全体の構成例について説明する。図3に示すように、プロセス監視システム100は、サーバ装置10、オペレータ端末20、およびカメラ30によって構成される。また、サーバ装置10、オペレータ端末20、およびカメラ30は、インターネットや専用線等で実現される通信網Nによって通信可能に接続されている。
【0041】
サーバ装置10は、クラウド環境、オンプレミス環境、エッジ環境等に設置される。また、オペレータ端末20は、オペレータOが管理する施設や設備の監視ルーム等に設置される。また、カメラ30は、施設や設備の監視現場である監視対象拠点に設置される。
【0042】
(2-2.サーバ装置10の構成例および処理例)
図3を用いて、サーバ装置10の構成例および処理例について説明する。サーバ装置10は、情報提供装置であって、入力部11、出力部12、通信部13、記憶部14、および制御部15を有する。
【0043】
(2-2-1.入力部11)
入力部11は、サーバ装置10への各種情報の入力を司る。例えば、入力部11は、マウスやキーボード等で実現され、サーバ装置10への各種情報の入力を受け付ける。
【0044】
(2-2-2.出力部12)
出力部12は、サーバ装置10からの各種情報の出力を司る。例えば、出力部12は、ディスプレイ等で実現され、サーバ装置10に保存された各種情報を表示する。
【0045】
(2-2-3.通信部13)
通信部13は、他の装置との間でのデータ通信を司る。例えば、通信部13は、ルータ等を介して、各通信装置との間でデータ通信を行う。また、通信部13は、図示しないオペレータの端末との間でデータ通信を行うことができる。
【0046】
(2-2-4.記憶部14)
記憶部14は、制御部15が動作する際に参照する各種情報や、制御部15が動作した際に取得した各種情報を記憶する。記憶部14は、設定情報記憶部14a、映像データ記憶部14b、および評価値記憶部14cによって構成される。ここで、記憶部14は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置等で実現され得る。なお、図3の例では、記憶部14は、サーバ装置10の内部に設置されているが、サーバ装置10の外部に設置されてもよいし、複数の記憶部が設置されていてもよい。
【0047】
(2-2-4-1.設定情報記憶部14a)
設定情報記憶部14aは、設定情報を記憶する。例えば、設定情報記憶部14aは、後述する制御部15の受付部15aによって受け付けられた設定情報を記憶する。ここで、図4を用いて、設定情報記憶部14aが記憶するデータの一例を説明する。図4は、実施形態に係るサーバ装置10の設定情報記憶部14aの一例を示す図である。図4の例において、設定情報記憶部14aは、「監視対象」、「指定範囲」、「領域区分」、「変換情報」といった項目を有する。
【0048】
「監視対象」は、状態を評価する施設や設備や区画を識別するための識別情報を示し、例えば、プラントの製造プロセスの識別番号や識別記号である。「指定範囲」は、利用者によって設定された、映像データのうち評価値を算出する各画素を含む範囲を示し、例えば、オペレータOによって設定画面上で指定された、映像における矩形、円形、扇形、多角形ポリゴン等の他、任意の形状で囲まれた範囲である。「領域区分」は、利用者によって設定された、映像データのうち画素の色素を分類する区分を示し、例えば、オペレータOによって設定画面上で入力された、彩度または明度の最大値や最小値によって定義された原色領域、白系領域、黒系領域等の色情報の区分である。「変換情報」は、利用者によって設定された、色情報に対応する変換値を示し、例えば、オペレータOによって設定画面上で入力された、原色領域の色情報における各色相に対応する各変換値を示す変換表や変換関数、白系領域や黒系領域の色情報における固定値等の情報である。
【0049】
すなわち、図4では、監視対象「製造プロセス#1」について、{指定範囲:「指定範囲#1」,領域区分:「領域区分#1」,変換情報:「変換情報#1」}、{指定範囲:「指定範囲#2」,領域区分:「領域区分#2」,変換情報:「変換情報#2」}、{指定範囲:「指定範囲#3」,領域区分:「領域区分#3」,変換情報:「変換情報#3」}、・・・であるデータが、設定情報記憶部14aに記憶されている例が示されている。
【0050】
(2-2-4-2.映像データ記憶部14b)
映像データ記憶部14bは、映像データを記憶する。例えば、映像データ記憶部14bは、後述する制御部15の取得部15bによって取得された映像データを記憶する。ここで、図5を用いて、映像データ記憶部14bが記憶するデータの一例を説明する。図5は、実施形態に係るサーバ装置10の映像データ記憶部14bの一例を示す図である。図5の例において、映像データ記憶部14bは、「監視対象」、「監視機器」、「時間」、「映像データ」といった項目を有する。
【0051】
「監視対象」は、状態を評価する施設や設備や区画を識別するための識別情報を示し、例えば、プラントの製造プロセスの識別番号や識別記号である。「監視機器」は、撮影機器を識別するための識別情報を示し、例えば、プラントの製造プロセスの監視カメラであるカメラ30の識別番号や識別記号である。「時間」は、撮影機器による撮影時刻を示し、例えば、年月日、時分秒で表わされる。「映像データ」は、撮影時刻における映像データを示し、例えば、1秒ごとに取得された、静止画の映像データ、動画の映像データ、音声データを含む動画の映像データ等である。
【0052】
すなわち、図5では、監視対象「製造プロセス#1」および「カメラ#1」によって識別される監視機器であるカメラ30について、{時間:「時間#1」,映像データ:「映像データ#1」}、{時間:「時間#2」,映像データ:「映像データ#2」}、{時間:「時間#3」,映像データ:「映像データ#3」}、・・・であるデータが、映像データ記憶部14bに記憶されている例が示されている。
【0053】
(2-2-4-3.評価値記憶部14c)
評価値記憶部14cは、評価値を記憶する。例えば、評価値記憶部14cは、後述する制御部15の算出部15cによって算出された評価値を記憶する。ここで、図6を用いて、評価値記憶部14cが記憶するデータの一例を説明する。図6は、実施形態に係るサーバ装置10の評価値記憶部14cの一例を示す図である。図6の例において、評価値記憶部14cは、「監視対象」、「指定範囲」、「時間」、「評価値」といった項目を有する。
【0054】
「監視対象」は、状態を評価する施設や設備や区画を識別するための識別情報を示し、例えば、プラントの製造プロセスの識別番号や識別記号である。「指定範囲」は、利用者によって設定された、映像データのうち評価値を算出する各画素を含む範囲を示し、例えば、オペレータOによって設定画面上で指定された、映像における矩形、円形、扇形、多角形ポリゴン等の他、任意の形状で囲まれた範囲である。「時間」は、撮影機器による撮影時刻を示し、例えば、年月日、時分秒で表わされる。「評価値」は、監視対象の状態を評価する数値を示し、例えば、プラントの製造プロセスのバーナーの炎の温度に対応する数値、危険性や安全性を示す数値等である。
【0055】
すなわち、図6では、監視対象「製造プロセス#1」および「指定範囲#1」によって識別される評価値の指定範囲について、{時間:「時間#1」,評価値:「評価値#1」}、{時間:「時間#2」,評価値:「評価値#2」}、{時間:「時間#3」,評価値:「評価値#3」}、・・・であるデータが、評価値記憶部14cに記憶されている例が示されている。
【0056】
(2-2-5.制御部15)
制御部15は、当該サーバ装置10全体の制御を司る。制御部15は、受付部15a、取得部15b、算出部15c、および通知部15dを有する。ここで、制御部15は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路やASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現され得る。
【0057】
(2-2-5-1.受付部15a)
受付部15aは、各種情報を受け付ける。なお、受付部15aは、受け付けた各種情報を記憶部14に格納する。以下では、設定情報受付処理(指定範囲受付処理、領域区分受付処理、変換情報受付処理)について説明する。
【0058】
(設定情報受付処理)
受付部15aは、設定情報受付処理を実行する。例えば、受付部15aは、設定情報として、利用者の利用者端末の設定画面において設定された、指定範囲、領域区分、および変換情報を受け付ける。
【0059】
設定情報受付処理の具体的な例について説明する。受付部15aは、監視対象「製造プロセス#1」を管理するオペレータOによってオペレータ端末20を介して設定された設定情報として、{指定範囲:「指定範囲#1」,領域区分:「領域区分#1」,変換情報:「変換情報#1」}、{指定範囲:「指定範囲#2」,領域区分:「領域区分#2」,変換情報:「変換情報#2」}、{指定範囲:「指定範囲#3」,領域区分:「領域区分#3」,変換情報:「変換情報#3」}、・・・を受け付け、設定情報記憶部14aに格納する。
【0060】
(指定範囲受付処理)
受付部15aは、設定情報受付処理として、指定範囲受付処理を実行する。例えば、受付部15aは、映像データの指定範囲を受け付ける。また、受付部15aは、利用者の利用者端末の設定画面に表示された映像上で、利用者の操作によって指定範囲を受け付ける。
【0061】
(領域区分受付処理)
受付部15aは、設定情報受付処理として、領域区分受付処理を実行する。例えば、受付部15aは、原色領域、白系領域、および黒系領域を示す領域区分を受け付ける。また、受付部15aは、利用者の利用者端末の設定画面上で、利用者が彩度および明度を入力することによって領域区分を受け付ける。
【0062】
(変換情報受付処理)
受付部15aは、設定情報受付処理として、変換情報受付処理を実行する。例えば、受付部15aは、色情報に対応する変換値を示す変換情報(変換表、変換関数、固定値)を受け付ける。また、受付部15aは、各色相に対応する各変換値を含む変換情報を受け付ける。また、受付部15aは、各彩度に対応する各変換値を含む変換情報を受け付ける。また、受付部15aは、各明度に対応する各変換値を含む変換情報を受け付ける。以下では、変換情報として、変換表、変換関数、および固定値について説明する。
【0063】
(変換表)
受付部15aは、変換情報として各色相と各変換値との関係性を示す変換表を受け付ける。例えば、受付部15aは、0~360°の各色相それぞれを各変換値に変換可能な変換表を受け付ける。このとき、受付部15aは、各彩度や各明度それぞれを各変換値に変換可能な変換表を受け付けることもできる。
【0064】
(変換関数)
受付部15aは、変換情報として各色相と各変換値との関係性を示す変換関数を受け付ける。例えば、受付部15aは、所定の色相間における直線状の方程式を示す変換関数を受け付ける。また、受付部15aは、所定の色相間における曲線状の方程式を示す変換関数を受け付ける。このとき、受付部15aは、所定の彩度間や所定の明度間における直線状の方程式や曲線状の方程式を示す変換関数を受け付けることもできる。
【0065】
(固定値)
受付部15aは、変換情報として領域区分によって規定される固定値を受け付ける。例えば、受付部15aは、領域区分として白系領域に分類された画素の色素に対応する固定値を受け付ける。また、受付部15aは、領域区分として黒系領域に分類された画素の色素に対応する固定値を受け付ける。このとき、受付部15aは、領域区分として原色領域に分類された画素の色素に対応する固定値を受け付けることもできる。
【0066】
(2-2-5-2.取得部15b)
取得部15bは、各種情報を取得する。なお、取得部15bは、取得した各種情報を記憶部14に格納する。以下では、映像データ取得処理について説明する。
【0067】
(映像データ取得処理)
取得部15bは、映像データ取得処理を実行する。例えば、取得部15bは、撮影機器であるカメラ30が撮影した監視対象の映像データを取得する。また、取得部15bは、プラントの製造プロセスに設置されたカメラ30が出力した静止画データまたは動画データを取得する。
【0068】
映像データ取得処理の具体的な例について説明する。取得部15bは、監視対象「製造プロセス#1」に設置された「カメラ#1」で識別される監視機器であるカメラ30が生成し、サーバ装置10に送信した映像データとして、{時間:「時間#1」,映像データ:「映像データ#1」}、{時間:「時間#2」,映像データ:「映像データ#2」}、{時間:「時間#3」,映像データ:「映像データ#3」}、・・・の映像データを取得し、映像データ記憶部14bに格納する。
【0069】
(2-2-5-3.算出部15c)
算出部15cは、各種情報を算出する。なお、算出部15cは、記憶部14によって記憶される各種情報を参照する。また、算出部15cは、算出結果を記憶部14に格納する。以下では、評価値算出処理について説明する。
【0070】
(評価値算出処理)
算出部15cは、評価値算出処理を実行する。例えば、算出部15cは、受け付けられた変換情報(変換表、変換関数、固定値)および取得された映像データに基づいて、監視対象の状態を評価する評価値を算出する。
【0071】
算出部15cは、指定範囲に含まれる映像データの各画素の色情報に対応する各変換値を用いて、評価値を算出する。例えば、算出部15cは、指定範囲に含まれる映像データの各画素の各色相に対応する各変換値を用いて、評価値を算出する。このとき、算出部15cは、指定範囲に含まれる映像データの各画素の各彩度や各明度に対応する各変換値を用いて、評価値を算出することもできる。
【0072】
算出部15cは、領域区分に応じて設定された変換情報を用いて、評価値を算出する。例えば、算出部15cは、領域区分として原色領域に分類された画素の色素について、変換情報として変換表または変換関数を用いて、評価値を算出する。また、算出部15cは、領域区分として白系領域または黒系領域に分類された画素の色素について、変換情報として固定値を用いて、評価値を算出する。
【0073】
算出部15cは、変換関数によって換算された映像データの各画素の各色相に対応する各変換値を用いて、評価値を算出する。例えば、算出部15cは、直線状の方程式や曲線状の方程式を示す変換関数によって換算された映像データの各画素の各色相に対応する各変換値を用いて、評価値を算出する。
【0074】
算出部15cは、評価値として、映像データの各画素の各色相に対応する各変換値の合計値を算出する。また、算出部15cは、評価値として、映像データの各画素の各色相に対応する各変換値の平均値を算出する。さらに、算出部15cは、評価値として、算出した合計値や平均値に対して、利用者が設定した所定の係数を用いて、利用者が所望する数値に変換することもできる。
【0075】
評価値算出処理の具体的な例について説明する。第1に、算出部15cは、設定情報記憶部14aによって記憶される{指定範囲:「指定範囲#1」,領域区分:「領域区分#1」,変換情報:「変換情報#1」}を参照する。第2に、算出部15cは、映像データ記憶部14bによって記憶される{時間:「時間#1」,映像データ:「映像データ#1」}、{時間:「時間#2」,映像データ:「映像データ#2」}、{時間:「時間#3」,映像データ:「映像データ#3」}を参照する。第3に、算出部15cは、評価値として、{時間:「時間#1」,評価値:「評価値#1」}、{時間:「時間#2」,評価値:「評価値#2」}、{時間:「時間#3」,評価値:「評価値#3」}を算出し、評価値記憶部14cに格納する。
【0076】
(2-2-5-4.通知部15d)
通知部15dは、各種情報を通知する。なお、通知部15dは、各種情報を記憶部14から取得してもよい。以下では、アラーム通知処理および評価値通知処理について説明する。
【0077】
(アラーム通知処理)
通知部15dは、アラーム通知処理を実行する。例えば、通知部15dは、算出された評価値が閾値を超過した場合には、監視対象の異常を示すアラームを利用者に通知する。
【0078】
アラーム通知処理の具体的な例について説明する。通知部15dは、算出部15cによって算出された評価値「評価値#3」が閾値を超過した場合には、監視対象「製造プロセス#1」の異常状態を示すアラームデータとして「異常アラーム#1」をオペレータ端末20に送信し、「異常アラーム#1」が示すアラームをオペレータ端末20のディスプレイに表示させることによってオペレータOに通知する。
【0079】
(評価値通知処理)
通知部15dは、評価値通知処理を実行する。例えば、通知部15dは、算出された評価値を示す表またはグラフを利用者に通知する。このとき、通知部15dは、算出された評価値を示す表として、撮影時刻ごとの評価値を示す表を通知する。また、通知部15dは、算出された評価値を示すグラフとして、撮影時刻ごとの評価値を示す折れ線グラフ、変換値および評価値の分布を示すヒストグラム等を通知する。
【0080】
評価値通知処理の具体的な例について説明する。第1に、通知部15dは、評価値記憶部14cによって記憶される{時間:「時間#1」,評価値:「評価値#1」}、{時間:「時間#2」,評価値:「評価値#2」}、{時間:「時間#3」,評価値:「評価値#3」}を参照する。第2に、通知部15dは、撮影時刻ごとの評価値を示す表データ「表#1~3」、撮影時刻ごとの評価値を示す折れ線グラフデータ「折れ線グラフ#1~3」、および変換値および評価値の分布を示すヒストグラムデータ「ヒストグラム#1~3」を生成する。第3に、通知部15dは、「表#1~3」、「折れ線グラフ#1~3」、および「ヒストグラム#1~3」をオペレータ端末20に送信し、「表#1~3」が示す表、「折れ線グラフ#1~3」が示す折れ線グラフ、および「ヒストグラム#1~3」が示すヒストグラムをオペレータ端末20のディスプレイに表示させることによってオペレータOに通知する。
【0081】
(2-3.オペレータ端末20の構成例および処理例)
再び図3を用いて、オペレータ端末20の構成例および処理例について説明する。オペレータ端末20は、入出力部21、送受信部22、および通信部23によって構成される。
【0082】
(2-3-1.入出力部21)
入出力部21は、オペレータ端末20への各種情報の入力を司る。例えば、入出力部21は、マウスやキーボードやタッチパネル等で実現され、オペレータ端末20への各種情報の入力を受け付ける。また、入出力部21は、オペレータ端末20からの各種情報の表示を司る。例えば、入出力部21は、ディスプレイ等で実現され、オペレータ端末20に記憶された各種情報を表示する。
【0083】
また、入出力部21は、オペレータOの操作によって設定情報の入力を可能とする設定画面を表示する。また、入出力部21は、情報提供装置であるサーバ装置10から送信されたアラームデータが示すアラームを表示する。また、入出力部21は、サーバ装置10から送信された表データが示す表、またはグラフデータが示すグラフを表示する。
【0084】
(2-3-2.送受信部22)
送受信部22は、各種情報を送信する。例えば、送受信部22は、オペレータOによって設定画面を介して入力された設定情報をサーバ装置10に送信する。
【0085】
送受信部22は、各種情報を受信する。例えば、送受信部22は、サーバ装置10から送信されたアラームデータを受信する。また、送受信部22は、サーバ装置10から送信された表データまたはグラフデータを受信する。
【0086】
(2-3-3.通信部23)
通信部23は、他の装置との間でのデータ通信を司る。例えば、通信部23は、ルータ等を介して、各通信装置との間でデータ通信を行う。また、通信部23は、図示しないオペレータの端末との間でデータ通信を行うことができる。
【0087】
(2-4.カメラ30の構成例および処理例)
再び図3を用いて、カメラ30の構成例および処理例について説明する。例えば、カメラ30は、オペレータOが管理する施設等に設置される監視カメラ、防犯カメラ等の撮影機器であるカメラ30によって実現され、生成部31および通信部32によって構成される。
【0088】
(2-4-1.生成部31)
生成部31は、映像データを生成する。例えば、生成部31は、施設内を1秒ごとに撮影することによって、静止画や動画の映像データを生成する。
【0089】
生成部31は、生成した映像データをサーバ装置10に送信する。例えば、生成部31は、生成した静止画や動画の映像データをサーバ装置10に送信する。
【0090】
(2-4-2.通信部32)
通信部32は、他の装置との間でのデータ通信を司る。例えば、通信部32は、ルータ等を介して、各通信装置との間でデータ通信を行う。また、通信部32は、図示しない端末との間でデータ通信を行うことができる。
【0091】
〔3.プロセス監視システム100の各処理の具体例〕
図7図16を用いて、実施形態に係るプロセス監視システム100の各処理の具体例について説明する。以下では、プロセス監視システム100で使用する色モデルの1つであるHSVモデルの基本原理について説明した上で、プロセス監視システム100の各処理の具体例1~4について説明する。
【0092】
(3-1.HSVモデルの基本原理)
ここで、図7図9を用いて、プロセス監視システム100で使用するHSVモデルの基本原理について説明する。図7は、実施形態に係るプロセス監視システム100で使用するHSVモデル全体を説明するための図である。図8は、実施形態に係るプロセス監視システム100で使用するHSVモデルの色相を説明するための図である。図9は、実施形態に係るプロセス監視システム100で使用するHSVモデルの彩度および明度を説明するための図である。以下では、プロセス監視システム100で使用する色モデルの前提について説明した上で、HSVモデルの要素について説明する。
【0093】
(3-1-1.色モデルの前提)
プロセス監視システム100で使用する色モデルの前提について説明する。第1に、プロセス監視システム100で使用する色モデルは、人が直観的に使用できる色モデルが望ましい。例えば、人は、赤や紫といった色なら指定しやすいし区別しやすいが、(R255,B0,G0)や(C150,M200,Y0)といった色を認識しにくい。そのため、プロセス監視システム100で使用する色モデルは、できるだけ人の感覚(日常的に慣れ親しんだ感覚)にマッチするものが望ましい。
【0094】
ここで、コンピュータにおける色の表現として一般的な色モデルであるRGBモデルについて説明する。RGBモデルは、赤(R)、緑(G)、および青(B)の3原色の量を調整して混ぜあわせる加法混色によって幅広い色を表現する色モデルであって、ディスプレイ等で光を作り出しやすい。一方、RGBモデルでは、赤(R)、緑(G)、および青(B)の組合せ(RGB値)としては、約1677万通りあるので、人が色を見て、RGB値を推測したり、指定したりするのは難しい。
【0095】
第2に、プロセス監視システム100で使用する色モデルは、日射量や照明による影響で数値が大きく変わらないことが望ましい。例えば、実際の監視現場では、太陽の光線量や照明の影響により、いつも全く同じ色とはならないので、光量の違いで変換値が大きくずれる色モデルでは、数値での比較が難しくなってしまう。そのため、プロセス監視システム100で使用する色モデルは、多少光量が違ったとしても、変換値が大きく変動しないことが望ましい。
【0096】
以上より、プロセス監視システム100で使用する色モデルは、「人の直観に近くて使いやすい」、かつ「明るさ等の影響を受けにくい」という条件を満たすHSVモデルが望ましい。なお、HSBモデルについても同様である。
【0097】
(3-1-2.HSVモデルの要素)
プロセス監視システム100で使用するHSVモデルの要素について説明する。HSVモデルは、色相(Hue)、彩度(Saturation)、および明度(Value)の3つの数値の組合せで色を表現する色モデルである。HSVモデルは、原色の組合せにより色が決まるRGBモデルよりも、人の感覚に近く、イメージした色を伝えやすいという特徴がある。
【0098】
図7(1)の「H」に示すように、色相は、HSVモデルの円柱において円周を示し、0~360°で表わされる。また、図7(2)の「S」に示すように、彩度は、HSVモデルの円柱において円中心から円周までの距離を示し、0~255で表わされる。また、図7(2)の「V」に示すように、明度は、HSVモデルの円柱において底面から上面までの高さを示し、0~255で表わされる。
【0099】
図8(1)に示すように、色相は、「H60」が「黄」、「H120」が「緑」、「H180」が「シアン」、「H240」が「青」、「H300」が「マゼンタ」、および「H360」(「H0」)が「赤」に対応する色相環で表わされる。また、図8(2)に示すように、色相は、0~360°の目盛りと対応する色とを示す色相スケールで表わされる。
【0100】
図9に示すように、彩度および明度は、それぞれ0~255の目盛りと対応する色を示す2次元スケールで表わされる。ここで、彩度が大きく、かつ明度が大きいほど原色に近くなる。また、彩度が小さく、かつ明度が大きいほど白色に近くなる。また、明度が小さいほど黒色に近くなる。
【0101】
(3-2.具体例1)
ここで、図10を用いて、プロセス監視システム100の各処理の具体例1について説明する。図10は、実施形態に係るプロセス監視システム100の各処理の具体例1を示す図である。以下では、プロセス監視システム100で使用するHSVモデルの前提について説明した上で、プロセス監視システム100のサーバ装置10が実行する領域区分分類処理の具体例について説明する。
【0102】
(3-2-1.HSVモデルの前提)
プロセス監視システム100で使用するHSVモデルの前提について説明する。第1に、HSVモデルは、明度が低い場合には、どの色相でも黒っぽくなってしまう。第2に、HSVモデルは、彩度が低く、かつ明度が高い場合には、どの色相でも白っぽくなってしまう。第3に、HSVモデルは、色相環に白と黒がないので、「白」や「黒」が選べない。
【0103】
(3-2-2.領域区分)
プロセス監視システム100で使用するHSVモデルに基づく領域区分について説明する。上記の前提に基づき、サーバ装置10は、彩度および明度によって、「原色領域」、「白系領域」、および「黒系領域」の3つの領域区分に分類する。また、サーバ装置10は、分類したそれぞれの領域区分に応じて、変換情報を設定する。以下では、原色領域、白系領域、および黒系領域の領域区分の変換情報について説明する。
【0104】
(3-2-2-1.原色領域)
原色領域の領域区分の変換情報について説明する。図10(1)の例に示すように、サーバ装置10は、所定の彩度以上であって、かつ所定の明度以上を示す色素を原色領域に分類する。このとき、サーバ装置10は、変換情報として、0~360°の各色相それぞれを各変換値に変換可能な変換表や、所定の色相間の色相を変換値に変換可能な直線状の方程式や曲線状の方程式を示す変換関数を用いる。
【0105】
(3-2-2-2.白系領域)
白系領域の領域区分の変換情報について説明する。図10(2)の例に示すように、サーバ装置10は、所定の彩度未満であって、かつ所定の明度以上を示す色素を白系領域に分類する。このとき、サーバ装置10は、変換情報として、白系領域の色素に設定された固定値を用いる。なお、サーバ装置10は、変換情報として、原色領域の色素と同様に変換表や変換関数を用いることもできる。
【0106】
(3-2-2-3.黒系領域)
黒系領域の領域区分の変換情報について説明する。図10(3)の例に示すように、サーバ装置10は、所定の明度未満を示す色素を黒系領域に分類する。このとき、サーバ装置10は、変換情報として、黒系領域の色素に設定された固定値を用いる。なお、サーバ装置10は、変換情報として、原色領域の色素と同様に変換表や変換関数を用いることもできる。
【0107】
(3-3.具体例2)
ここで、図11を用いて、プロセス監視システム100の各処理の具体例2について説明する。図11は、実施形態に係るプロセス監視システム100の各処理の具体例2を示す図である。以下では、プロセス監視システム100のサーバ装置10が実行する変換値出力処理および評価値算出処理の具体例について説明する。
【0108】
(3-3-1.変換値出力処理の具体例)
プロセス監視システム100の変換値出力処理の具体例について説明する。図11(1)の例では、サーバ装置10は、原色領域の色素である水色(横線)について、変換情報を用いて変換値「10」を出力している。また、サーバ装置10は、原色領域の色素である黄色(斜線)について、変換情報を用いて変換値「30」を出力している。また、サーバ装置10は、原色領域の色素である橙色(縦線)について、変換情報を用いて変換値「50」を出力している。
【0109】
(3-3-2.評価値算出処理の具体例)
プロセス監視システム100の評価値算出処理の具体例について説明する。図11(2)の例では、サーバ装置10は、指定範囲に含まれる画素数(色素数)16のうち、水色の変換値の合計が10×14=140、黄色の変換値の合計が30×2=60、橙色の変換値の合計が50×0=0であるので、評価値として、合計値「200」および平均値「12.5」を算出している。
【0110】
図11(3)の例では、サーバ装置10は、指定範囲に含まれる画素数(色素数)16のうち、水色の変換値の合計が10×12=120、黄色の変換値の合計が30×4=120、橙赤色の変換値の合計が50×0=0であるので、評価値として、合計値「240」および平均値「15」を算出している。
【0111】
図11(4)の例では、サーバ装置10は、指定範囲に含まれる画素数(色素数)16のうち、水色の変換値の合計が10×6=60、黄色の変換値の合計が30×6=180、橙色の変換値の合計が50×4=200であるので、評価値として、合計値「440」および平均値「27.5」を算出している。
【0112】
(3-4.具体例3)
ここで、図12を用いて、プロセス監視システム100の各処理の具体例3について説明する。図12は、実施形態に係るプロセス監視システム100の各処理の具体例3を示す図である。以下では、プロセス監視システム100のサーバ装置10が実行する変換値出力処理で用いる変換関数の前提について説明した上で、変換関数の具体例として、直線方程式および曲線方程式について説明する。
【0113】
(3-4-1.変換関数の前提)
プロセス監視システム100の変換値出力処理で用いる変換関数の前提について説明する。プロセス監視システム100では、オペレータOが変換情報として、各色相に対応する各変換値を設定する必要がある。しかしながら、例えば、色相0~360°の各整数値について各変換値を設定することは、オペレータOの負担が大きい。そのため、プロセス監視システム100では、色相と変換値とを数点プロットすることによって作成した変換関数を用いて変換値を求めることができる。すなわち、プロセス監視システム100では、変換関数を用いることによって、全色相に対応する変換値の設定が不要となり、オペレータOの負担をさらに軽減することができる。
【0114】
(3-4-2.変換関数の具体例1:直線方程式)
プロセス監視システム100の変換値出力処理で用いる変換関数の具体例1として、直線方程式について説明する。図12(1)の例に示すように、サーバ装置10は、横軸に色相、および縦軸に変換値を示し、0~360°の間での色相を変換値に変換可能な直線状の変換関数を設定する。図12(1)の例では、サーバ装置10は、直線方程式を用いて、色相「150」に対応する変換値「25」を出力している。
【0115】
(3-4-3.変換関数の具体例2:曲線方程式)
プロセス監視システム100の変換値出力処理で用いる変換関数の具体例2として、曲線方程式について説明する。図12(2)の例に示すように、サーバ装置10は、横軸に色相、および縦軸に変換値を示し、0~360°の間での色相を変換値に変換可能な曲線状の変換関数を設定する。図12(2)の例では、サーバ装置10は、曲線方程式を用いて、色相「150」に対応する変換値「10」を出力している。
【0116】
(3-5.具体例4)
ここで、図13図16を用いて、プロセス監視システム100の各処理の具体例4について説明する。以下では、プロセス監視システム100のオペレータ端末20が表示する設定画面の具体例について説明する。
【0117】
(3-5-1.設定画面の具体例1:設定画面全体)
ここで、図13を用いて、オペレータ端末20が表示する設定画面の具体例1について説明する。図13は、実施形態に係るプロセス監視システム100の各処理の具体例4-1を示す図である。以下では、指定範囲設定画面、および変換情報設定画面・領域区分設定画面について説明する。
【0118】
(3-5-1-1.指定範囲設定画面)
図13(1)の例に示すように、オペレータ端末20は、カメラ30が撮影した映像を表示する指定範囲設定画面を表示する。図13(1)の例では、オペレータ端末20は、指定範囲設定画面として、プラントの製造プロセスにおけるバーナー付近の映像を表示している。このとき、オペレータOは、表示された映像上で所定の範囲をポインタで囲むことによって指定し、画像切り出しボタン(図13(6)参照)をクリック操作することによって、映像データの指定範囲を設定することができる。なお、指定範囲設定画面の詳細については(3-5-2.設定画面の具体例2:指定範囲設定画面)で後述する。
【0119】
(3-5-1-2.変換情報設定画面・領域区分設定画面)
図13(3)の例に示すように、オペレータ端末20は、色情報に対応する変換値を入力する変換情報設定画面・領域区分設定画面を表示する。図13(3)の例では、オペレータ端末20は、変換情報設定画面として、変換値を入力可能な変換値入力テキストボックス、および固定値を入力可能な固定値入力テキストボックスを表示している。このとき、オペレータOは、各テキストボックスに変換値や固定値を入力することによって、変換情報を設定することができる。また、オペレータOは、各テキストボックスに変換値を入力する際に、色相スケール(図13(2)参照)上で変換値を設定したい色相を選択することもできる。また、オペレータOは、各テキストボックスに変換値を入力した後に、「グラフ描画」ボタンをクリック操作することによって、変換関数を設定するとともに変換関数を示す変換関数グラフ(図13(4)参照)を表示することができる。なお、変換情報設定画面および変換関数グラフの詳細については(3-5-3.設定画面の具体例3:変換情報設定画面)で後述する。
【0120】
また、図13(3)の例では、オペレータ端末20は、領域区分設定画面として、原色領域、白系領域、および黒系領域の領域区分に対応する彩度または明度を入力可能な領域区分条件入力テキストボックスを表示している。このとき、オペレータOは、各テキストボックスに彩度または明度を入力することによって、領域区分条件を設定することができる。また、オペレータOは、各テキストボックスに領域区分に対応する彩度または明度を入力することによって、領域区分条件を設定するとともに領域区分を示す領域区分グラフ(図13(5)参照)を表示することができる。なお、領域区分設定画面および領域区分グラフの詳細については(3-5-4.設定画面の具体例4:領域区分設定画面)で後述する。
【0121】
(3-5-2.設定画面の具体例2:指定範囲設定画面)
ここで、図14を用いて、オペレータ端末20が表示する設定画面の具体例2について説明する。図14は、実施形態に係るプロセス監視システム100の各処理の具体例4-2を示す図である。以下では、指定範囲設定画面の詳細として、映像表示画面および映像詳細画面について説明する。
【0122】
(3-5-2-1.映像表示画面)
図14(1)の例に示すように、オペレータ端末20は、指定範囲設定画面として、プラントの製造プロセスにおけるバーナー付近の映像を表示した映像表示画面を表示する。このとき、オペレータOは、映像表示画面に表示されたプラントの製造プロセスにおけるバーナー付近の映像上で、所定の範囲をポインタで囲むことによって炎を含む矩形の範囲を指定することができる。
【0123】
このとき、オペレータOは、指定範囲の形状として、矩形、円形、扇形、多角形ポリゴン等の形状の他、任意の形状の範囲を指定することができる。また、オペレータOは、映像データの指定範囲に対応する座標値を入力することによって範囲を指定することができる。
【0124】
(3-5-2-2.映像詳細画面)
図14(2)の例に示すように、オペレータ端末20は、指定範囲設定画面として、指定範囲に対応する映像詳細画面を表示する。図14(2)の例では、映像詳細画面として、オペレータ端末20は、(a)が示す指定範囲映像、(b)が示す色相ヒストグラム、および(c)が示す評価値ヒストグラムを表示している。
【0125】
図14(2)(a)の例では、オペレータ端末20は、オペレータOによって切り出された指定範囲に対応する指定範囲映像を表示するとともに、横軸に映像横方向の画素(ピクセル)、および縦軸に映像縦方向の画素(ピクセル)を表示している。
【0126】
図14(2)(b)の例では、オペレータ端末20は、指定範囲の映像データにおける色相の分布を示す色相ヒストグラムを表示するとともに、横軸に色相、および縦軸に同一数値の色相の変換値の合計値を表示している。
【0127】
図14(2)(c)の例では、オペレータ端末20は、指定範囲の映像データにおける評価値の分布を示す評価値ヒストグラムを表示し、横軸に評価値、および縦軸に同一数値の色相の変換値の合計値を表示するとともに、指定範囲の映像データにおける変換値の平均値を表示している。
【0128】
(3-5-3.設定画面の具体例3:変換情報設定画面)
ここで、図15を用いて、オペレータ端末20が表示する設定画面の具体例3について説明する。図15は、実施形態に係るプロセス監視システム100の各処理の具体例4-3を示す図である。以下では、変換情報設定画面の詳細として、変換情報入力テキストボックスおよび変換関数グラフ画面について説明する。
【0129】
(3-5-3-1.変換情報入力テキストボックス)
図15(1)の例に示すように、オペレータ端末20は、変換情報設定画面として、色情報に対応する変換値または固定値を入力可能な変換情報入力テキストボックスを表示する。図15(1)の例では、オペレータ端末20は、変換情報入力テキストボックスとして、(a)が示す変換値入力テキストボックス、および(b)が示す固定値入力テキストボックスを表示している。
【0130】
図15(1)(a)の例では、オペレータ端末20は、原色領域の領域区分に分類された画素の色素について色相に対応する変換値を入力可能な変換値入力テキストボックスを表示している。また、図15(1)(a)の例では、オペレータOは、変換値入力テキストボックスそれぞれに、色相「0」に対応する変換値「30」、色相「60」に対応する変換値「36」、色相「120」に対応する変換値「24」、色相「180」に対応する変換値「24」、色相「240」に対応する変換値「24」、色相「300」に対応する変換値「28」、および色相「360」に対応する変換値「30」を入力している。
【0131】
図15(1)(b)の例では、オペレータ端末20は、白系領域の領域区分に分類された画素の色素について固定値を入力可能な変換値入力テキストボックスを表示している。また、同様に、オペレータ端末20は、黒系領域の領域区分に分類された画素の色素について固定値を入力可能な変換値入力テキストボックスを表示している。また、図15(1)(b)の例では、オペレータOは、変換値入力テキストボックスそれぞれに、白系領域の領域区分の画素の固定値「36」、および黒系領域の領域区分の画素の固定値「10」を入力している。
【0132】
(3-5-3-2.変換関数グラフ画面)
図15(2)の例に示すように、オペレータ端末20は、変換情報設定画面から表示可能または遷移可能な設定画面として、色相と変換値との関係性を示す変換関数グラフを表示する。図15(2)の例では、オペレータ端末20は、オペレータOによって変換値入力テキストボックスに入力された変換値と色相との関係性を示す変換関数グラフとして、{色相:「0」,変換値:「30」}、{色相:「60」,変換値:「36」}、{色相:「120」,変換値:「24」}、{色相:「180」,変換値「24」}、{色相:「240」,変換値:「24」}、{色相:「300」,変換値:「28」}、および{色相:「360」,変換値:「30」}をプロットし、各点を直線で結合した変換関数グラフを作成し、表示している。
【0133】
(3-5-4.設定画面の具体例4:領域区分設定画面)
ここで、図16を用いて、オペレータ端末20が表示する設定画面の具体例4について説明する。図16は、実施形態に係るプロセス監視システム100の各処理の具体例4-4を示す図である。以下では、領域区分設定画面の詳細として、領域区分条件入力テキストボックスおよび領域区分グラフ画面について説明する。
【0134】
(3-5-4-1.領域区分条件入力テキストボックス)
図16(1)の例に示すように、オペレータ端末20は、領域区分設定画面として、領域区分条件を入力可能な領域区分条件入力テキストボックスを表示する。図16(1)の例では、オペレータ端末20は、領域区分条件入力テキストボックスとして、(a)が示す原色領域区分条件入力テキストボックス、(b)が示す白系領域区分条件入力テキストボックス、および(c)が示す黒系領域区分条件入力テキストボックスを表示している。
【0135】
図16(1)(a)の例では、オペレータ端末20は、原色領域の領域区分条件である彩度および明度を入力可能な原色領域区分条件入力テキストボックスを表示している。また、図16(1)(a)の例では、オペレータOは、原色領域の領域区分条件として、彩度の最小値として「0.3」、および明度の最小値として「0.4」を入力している。
【0136】
図16(1)(b)の例では、オペレータ端末20は、白系領域の領域区分条件である彩度および明度を入力可能な白系領域区分条件入力テキストボックスを表示している。また、図16(1)(b)の例では、オペレータOは、白系領域の領域区分条件として、彩度の最大値として「0.3」、および明度の最小値として「0.6」を入力している。
【0137】
図16(1)(c)の例では、オペレータ端末20は、黒系領域の領域区分条件である明度を入力可能な黒系領域区分条件入力テキストボックスを表示している。また、図16(1)(c)の例では、オペレータOは、黒系領域の領域区分条件として、明度の最大値として「0.3」を入力している。
【0138】
(3-5-4-2.領域区分グラフ画面)
図16(2)の例に示すように、オペレータ端末20は、領域区分設定画面から表示可能または遷移可能な設定画面として、領域区分条件と領域区分との関係性を示す領域区分グラフを表示する。図16(2)の例では、オペレータ端末20は、領域区分グラフとして、(a)が示す原色領域、(b)が示す白系領域、および(c)が示す黒系領域を表示している。
【0139】
図16(2)(a)の例では、オペレータ端末20は、原色領域(斜線)を表示している。また、図16(2)(a)の例では、オペレータ端末20は、原色領域の領域区分条件として、{彩度:「0.3~1.0」,明度:「0.4~1.0」}を表示している。なお、オペレータ端末20は、彩度および明度について、0~255の数値で設定することもできる。
【0140】
図16(2)(b)の例では、オペレータ端末20は、白系領域(網掛)を表示している。また、図16(2)(b)の例では、オペレータ端末20は、白系領域の領域区分条件として、{彩度:「0.0~0.3」,明度:「0.6~1.0」}を表示している。なお、オペレータ端末20は、彩度および明度について、0~255の数値で設定することもできる。
【0141】
図16(2)(c)の例では、オペレータ端末20は、黒系領域(菱形網状)を表示している。また、図16(2)(c)の例では、オペレータ端末20は、黒系領域の領域区分条件として、{明度:「0.0~0.3」}を表示している。なお、オペレータ端末20は、明度について、0~255の数値で設定することもできる。
【0142】
〔4.プロセス監視システム100の各処理の流れ〕
図17図21を用いて、実施形態に係るプロセス監視システム100の処理の流れについて説明する。以下では、プロセス監視システム100全体の処理の流れについて説明した上で、各処理として、設定情報管理処理、映像データ管理処理、評価値管理処理、およびアラーム管理処理について説明する。
【0143】
(4-1.プロセス監視システム100全体の処理)
図17を用いて、実施形態に係るプロセス監視システム100全体の処理の流れについて説明する。図17は、実施形態に係るプロセス監視システム100全体の流れの一例を示すフローチャートである。なお、下記のステップS101~S104の処理は、異なる順序で実行することもできる。また、下記のステップS101~S104の処理のうち、省略される処理があってもよい。
【0144】
(4-1-1.設定情報管理処理)
第1に、プロセス監視システム100は、設定情報管理処理を実行する(ステップS101)。例えば、プロセス監視システム100は、後述するステップS201~S204の処理を実行することによって、オペレータOによって設定された設定情報を管理する。
【0145】
(4-1-2.映像データ管理処理)
第2に、プロセス監視システム100は、映像データ管理処理を実行する(ステップS102)。例えば、プロセス監視システム100は、後述するステップS301~S303の処理を実行することによって、カメラ30が撮影した監視対象の映像データを管理する。
【0146】
(4-1-3.評価値管理処理)
第3に、プロセス監視システム100は、評価値管理処理を実行する(ステップS103)。例えば、プロセス監視システム100は、後述するステップS401~S408の処理を実行することによって、監視対象の状態を評価する評価値を管理する。
【0147】
(4-1-4.アラーム管理処理)
第4に、プロセス監視システム100は、アラーム管理処理を実行する(ステップS104)。例えば、プロセス監視システム100は、後述するステップS501~S504の処理を実行することによって、監視対象の異常状態を示すアラームを管理する。
【0148】
(4-2.設定情報管理処理)
図18を用いて、実施形態に係るプロセス監視システム100の設定情報管理処理の流れについて説明する。図18は、実施形態に係るプロセス監視システム100の設定情報管理処理の流れの一例を示すフローチャートである。なお、下記のステップS201~S204の処理は、異なる順序で実行することもできる。また、下記のステップS201~S204の処理のうち、省略される処理があってもよい。
【0149】
(4-2-1.指定範囲受付処理)
第1に、サーバ装置10は、指定範囲受付処理を実行する(ステップS201)。例えば、サーバ装置10は、オペレータOがオペレータ端末20を介して設定した映像データの指定範囲を受け付ける。
【0150】
(4-2-2.領域区分受付処理)
第1に、サーバ装置10は、領域区分受付処理を実行する(ステップS202)。例えば、サーバ装置10は、オペレータOがオペレータ端末20を介して設定した原色領域、白系領域、および黒系領域の領域区分を受け付ける。
【0151】
(4-2-3.変換情報受付処理)
第1に、サーバ装置10は、変換情報受付処理を実行する(ステップS203)。例えば、サーバ装置10は、オペレータOがオペレータ端末20を介して設定した変換表、変換関数、固定値等の変換情報を受け付ける。
【0152】
(4-2-4.設定情報格納処理)
第4に、サーバ装置10は、設定情報格納処理を実行し(ステップS204)、設定情報管理処理を終了する。例えば、サーバ装置10は、映像データの指定範囲、領域区分、および変換情報を含む設定情報を設定情報記憶部14aに格納する。
【0153】
(4-3.映像データ管理処理)
図19を用いて、実施形態に係るプロセス監視システム100の映像データ管理処理の流れについて説明する。図19は、実施形態に係るプロセス監視システム100の映像データ管理処理の流れの一例を示すフローチャートである。なお、下記のステップS301~S303の処理は、異なる順序で実行することもできる。また、下記のステップS301~S303の処理のうち、省略される処理があってもよい。
【0154】
(4-3-1.映像データ生成処理)
第1に、カメラ30は、映像データ生成処理を実行する(ステップS301)。例えば、カメラ30は、監視対象を撮影し、静止画または動画の映像データを生成する。
【0155】
(4-3-2.映像データ取得処理)
第2に、サーバ装置10は、映像データ取得処理を実行する(ステップS302)。例えば、サーバ装置10は、カメラ30が生成した静止画または動画の映像データを取得する。
【0156】
(4-3-3.映像データ格納処理)
第3に、サーバ装置10は、映像データ格納処理を実行し(ステップS303)、映像データ管理処理を終了する。例えば、サーバ装置10は、カメラ30から取得した静止画または動画の映像データを映像データ記憶部14bに格納する。
【0157】
(4-4.評価値管理処理)
図20を用いて、実施形態に係るプロセス監視システム100の評価値管理処理の流れについて説明する。図20は、実施形態に係るプロセス監視システム100の評価値管理処理の流れの一例を示すフローチャートである。なお、下記のステップS401~S408の処理は、異なる順序で実行することもできる。また、下記のステップS401~S408の処理のうち、省略される処理があってもよい。
【0158】
(4-4-1.設定情報参照処理)
第1に、サーバ装置10は、設定情報参照処理を実行する(ステップS401)。例えば、サーバ装置10は、設定情報記憶部14aが記憶する映像データの指定範囲、領域区分、および変換情報を含む設定情報を参照する。
【0159】
(4-4-2.映像データ参照処理)
第2に、サーバ装置10は、映像データ参照処理を実行する(ステップS402)。例えば、サーバ装置10は、映像データ記憶部14bが記憶する映像データを参照する。
【0160】
(4-4-3.指定範囲特定処理)
第3に、サーバ装置10は、指定範囲特定処理を実行する(ステップS403)。例えば、サーバ装置10は、設定情報が示す指定範囲を用いて映像データの指定範囲を特定する。
【0161】
(4-4-4.HSV値変換処理)
第4に、サーバ装置10は、HSV値変換処理を実行する(ステップS404)。例えば、サーバ装置10は、映像データの指定範囲に含まれる各画素の色情報を、色相、彩度、および明度の組合せであるHSV値に変換する。
【0162】
(4-4-5.領域区分分類処理)
第5に、サーバ装置10は、領域区分分類処理を実行する(ステップS405)。例えば、サーバ装置10は、設定情報が示す領域区分を用いて各画素の色素を原色領域、白系領域、および黒系領域の領域区分に分類する。
【0163】
(4-4-6.変換値出力処理)
第6に、サーバ装置10は、変換値出力処理を実行する(ステップS406)。例えば、サーバ装置10は、分類した領域区分に応じた変換情報を用いて各画素の変換値を出力する。
【0164】
(4-4-7.変換値集計処理)
第7に、サーバ装置10は、変換値集計処理を実行する(ステップS407)。例えば、サーバ装置10は、出力した各画素の変換値を集計し、全画素の変換値の合計値または平均値を評価値として算出する。このとき、サーバ装置10は、変換値または評価値を示す表やグラフを作成することもできる。
【0165】
(4-4-8.評価値格納処理)
第8に、サーバ装置10は、評価値格納処理を実行し(ステップS408)、評価値管理処理を終了する。例えば、サーバ装置10は、算出した評価値を評価値記憶部14cに格納する。
【0166】
(4-5.アラーム管理処理)
図21を用いて、実施形態に係るプロセス監視システム100の映像データ管理処理の流れについて説明する。図21は、実施形態に係るプロセス監視システム100のアラーム管理処理の流れの一例を示すフローチャートである。なお、下記のステップS501~S504の処理は、異なる順序で実行することもできる。また、下記のステップS501~S504の処理のうち、省略される処理があってもよい。
【0167】
(4-5-1.評価値参照処理)
第1に、サーバ装置10は、評価値参照処理を実行する(ステップS501)。例えば、サーバ装置10は、評価値記憶部14cが記憶する評価値を参照する。このとき、サーバ装置10は、評価値が閾値を超過した場合(ステップS502:Yes)、ステップS503の処理に移行する。一方、サーバ装置10は、評価値が閾値を超過していない場合(ステップS502:No)、ステップS504の処理に移行する。
【0168】
(4-5-2.アラーム通知処理)
第2に、サーバ装置10は、アラーム通知処理を実行する(ステップS503)。例えば、サーバ装置10は、監視対象の異常状態を示すアラームデータをオペレータ端末20に送信し、オペレータ端末20にアラームを表示させることによって、オペレータOにアラームを通知する。
【0169】
(4-5-3.評価値通知処理)
第3に、サーバ装置10は、評価値通知処理を実行し(ステップS504)、アラーム管理処理を終了する。例えば、サーバ装置10は、評価値を示す表データやグラフデータをオペレータ端末20に送信し、オペレータ端末20に評価値を示す表やグラフを表示させることによって、オペレータOに評価値を通知する。
【0170】
〔5.実施形態の効果〕
最後に、実施形態の効果について説明する。以下では、実施形態に係る処理に対応する効果1~13について説明する。
【0171】
(5-1.効果1)
第1に、上述した実施形態に係る処理では、サーバ装置10は、各色相に対応する各変換値を含む変換情報を受け付け、カメラ30が撮影した監視対象の映像データを取得し、受け付けた変換情報および取得した映像データに基づいて、監視対象の状態を評価する評価値を算出する。このため、本処理では、監視対象の状態を効果的に把握することができる。
【0172】
(5-2.効果2)
第2に、上述した実施形態に係る処理では、サーバ装置10は、映像データの指定範囲を受け付け、指定範囲に含まれる映像データの各画素の各色相に対応する各変換値を用いて、評価値を算出する。このため、本処理では、オペレータOが指定した監視対象の状態を効果的に把握することができる。
【0173】
(5-3.効果3)
第3に、上述した実施形態に係る処理では、サーバ装置10は、オペレータOのオペレータ端末20の設定画面に表示された映像上で、オペレータOの操作によって指定範囲を受け付ける。このため、本処理では、リアルタイムに監視するオペレータOが指定した監視対象の状態を効果的に把握することができる。
【0174】
(5-4.効果4)
第4に、上述した実施形態に係る処理では、サーバ装置10は、原色領域、白系領域、および黒系領域を示す領域区分を受け付け、領域区分に応じて設定された変換情報を用いて、評価値を算出する。このため、本処理では、異なる領域区分の色素に応じた変換方式を採用することによって、監視対象の状態を効果的に把握することができる。
【0175】
(5-5.効果5)
第5に、上述した実施形態に係る処理では、サーバ装置10は、オペレータOのオペレータ端末20の設定画面上で、オペレータOが彩度および明度を入力することによって領域区分を受け付ける。このため、本処理では、色相だけではなく彩度または明度を考慮した領域区分の色素に応じた変換方式を採用することによって、監視対象の状態を効果的に把握することができる。
【0176】
(5-6.効果6)
第6に、上述した実施形態に係る処理では、サーバ装置10は、変換情報として各色相と各変換値との関係性を示す変換関数を受け付け、変換関数によって換算した映像データの各画素の各色相に対応する各変換値を用いて、評価値を算出する。このため、本処理では、変換情報の設定を容易にする変換関数を採用することによって、監視対象の状態を効果的に把握することができる。
【0177】
(5-7.効果7)
第7に、上述した実施形態に係る処理では、サーバ装置10は、所定の色相間における直線状の方程式を示す変換関数を受け付ける。このため、本処理では、変換情報の設定を容易にする変換関数として直線方程式を採用することによって、監視対象の状態を効果的に把握することができる。
【0178】
(5-8.効果8)
第8に、上述した実施形態に係る処理では、サーバ装置10は、所定の色相間における曲線状の方程式を示す前記変換関数を受け付ける。このため、本処理では、変換情報の設定を容易にする変換関数として曲線方程式を採用することによって、監視対象の状態を効果的に把握することができる。
【0179】
(5-9.効果9)
第9に、上述した実施形態に係る処理では、サーバ装置10は、評価値として、映像データの各画素の各色相に対応する各変換値の合計値を算出する。このため、本処理では、評価値として映像全体の強度を算出することによって、監視対象の状態を効果的に把握することができる。
【0180】
(5-10.効果10)
第10に、上述した実施形態に係る処理では、サーバ装置10は、評価値として、映像データの各画素の各色相に対応する各変換値の平均値を算出する。このため、本処理では、評価値として映像の平均化した強度を算出することによって、監視対象の状態を効果的に把握することができる。
【0181】
(5-11.効果11)
第11に、上述した実施形態に係る処理では、サーバ装置10は、算出した評価値が閾値を超過した場合には、監視対象の異常を示すアラームをオペレータOに通知する。このため、本処理では、オペレータOが常時監視することなく、監視対象の状態を効果的に把握することができる。
【0182】
(5-12.効果12)
第12に、上述した実施形態に係る処理では、サーバ装置10は、算出した評価値を示す表またはグラフをオペレータOに通知する。このため、本処理では、オペレータOが過去の監視対象の状態を効果的に把握することができる。
【0183】
(5-13.効果13)
第13に、上述した実施形態に係る処理では、サーバ装置10は、プラントの製造プロセスに設置されたカメラ30が出力した静止画データまたは動画データを取得する。このため、本処理では、安全性や緊急性を要求されるプラントの製造プロセスの状態を効果的に把握することができる。
【0184】
〔6.実施形態の応用例〕
実施形態の応用例について説明する。以下では、実施形態の応用例1~8について説明する。
【0185】
(6-1.応用例1)
実施形態の応用例1として、プラントの製造プロセスにおいて、ベルトコンベアによって流れる鉄鉱石の不純物を検出することが可能である。
【0186】
(6-2.応用例2)
実施形態の応用例2として、プラントの製造プロセスにおいて、配管を流れる流体に含まれる不純物を検出することが可能である。
【0187】
(6-3.応用例3)
実施形態の応用例3として、プラントの製造プロセスにおいて、配管を流れる流体の水位や水流の異常を検出することが可能である。
【0188】
(6-4.応用例4)
実施形態の応用例4として、プラントの製造プロセスにおいて、配管やタンクの圧力による歪みを検出することが可能である。
【0189】
(6-5.応用例5)
実施形態の応用例5として、プラントの製造プロセスにおいて、ベルトコンベアによって流れる製品の異常を検出することが可能である。
【0190】
(6-6.応用例6)
実施形態の応用例6として、プラントの製造プロセスにおいて、煙突から排出される噴煙の異常を検出することが可能である。
【0191】
(6-7.応用例7)
実施形態の応用例7として、建物や農作地等において、人や動物の侵入を検出することが可能である。
【0192】
(6-8.応用例8)
実施形態の応用例8として、公園や道路や河川等において、異常を検出することが可能である。
【0193】
〔7.システム〕
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【0194】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0195】
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0196】
〔8.ハードウェア〕
次に、情報提供装置であるサーバ装置10のハードウェア構成例を説明する。なお、他の装置も同様のハードウェア構成とすることができる。図22は、実施形態に係るハードウェア構成例を説明する図である。図22に示すように、サーバ装置10は、通信装置10a、HDD(Hard Disk Drive)10b、メモリ10c、プロセッサ10dを有する。また、図22に示した各部は、バス等で相互に接続される。
【0197】
通信装置10aは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。HDD10bは、図3に示した機能を動作させるプログラムやデータベースを記憶する。
【0198】
プロセッサ10dは、図3に示した各処理部と同様の処理を実行するプログラムをHDD10b等から読み出してメモリ10cに展開することで、図3等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、サーバ装置10が有する各処理部と同様の機能を実行する。具体的には、プロセッサ10dは、受付部15a、取得部15b、算出部15c、通知部15d等と同様の機能を有するプログラムをHDD10b等から読み出す。そして、プロセッサ10dは、受付部15a、取得部15b、算出部15c、通知部15d等と同様の処理を実行するプロセスを実行する。
【0199】
このように、サーバ装置10は、プログラムを読み出して実行することで各種処理方法を実行する装置として動作する。また、サーバ装置10は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施形態と同様の機能を実現することもできる。なお、実施形態のプログラムは、サーバ装置10によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
【0200】
このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO(Magneto-Optical disk)、DVD(Digital Versatile Disc)などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
【0201】
〔9.その他〕
開示される技術特徴の組合せのいくつかの例を以下に記載する。
【0202】
(1)各色相に対応する各変換値を含む変換情報を受け付ける受付部と、撮影機器が撮影した監視対象の映像データを取得する取得部と、受け付けられた前記変換情報および取得された前記映像データに基づいて、前記監視対象の状態を評価する評価値を算出する算出部と、を備える情報提供装置。
【0203】
(2)前記受付部は、前記映像データの指定範囲を受け付け、前記算出部は、前記指定範囲に含まれる前記映像データの各画素の前記各色相に対応する前記各変換値を用いて、前記評価値を算出する、(1)に記載の情報提供装置。
【0204】
(3)前記受付部は、利用者の利用者端末の設定画面に表示された映像上で、前記利用者の操作によって前記指定範囲を受け付ける、(2)に記載の情報提供装置。
【0205】
(4)前記受付部は、原色領域、白系領域、および黒系領域を示す領域区分を受け付け、前記算出部は、前記領域区分に応じて設定された前記変換情報を用いて、前記評価値を算出する、(1)~(3)のいずれか1つに記載の情報提供装置。
【0206】
(5)前記受付部は、利用者の利用者端末の設定画面上で、前記利用者が彩度および明度を入力することによって前記領域区分を受け付ける、(4)に記載の情報提供装置。
【0207】
(6)前記受付部は、前記変換情報として前記各色相と前記各変換値との関係性を示す変換関数を受け付け、前記算出部は、前記変換関数によって換算された前記映像データの各画素の前記各色相に対応する前記各変換値を用いて、前記評価値を算出する、(1)~(5)のいずれか1つに記載の情報提供装置。
【0208】
(7)前記受付部は、所定の色相間における直線状の方程式を示す前記変換関数を受け付ける、(6)に記載の情報提供装置。
【0209】
(8)前記受付部は、所定の色相間における曲線状の方程式を示す前記変換関数を受け付ける、(6)に記載の情報提供装置。
【0210】
(9)前記算出部は、前記評価値として、前記映像データの各画素の前記各色相に対応する前記各変換値の合計値を算出する、(1)~(8)のいずれか1つに記載の情報提供装置。
【0211】
(10)前記算出部は、前記評価値として、前記映像データの各画素の前記各色相に対応する前記各変換値の平均値を算出する、(1)~(9)のいずれか1つに記載の情報提供装置。
【0212】
(11)算出された前記評価値が閾値を超過した場合には、前記監視対象の異常を示すアラームを利用者に通知する通知部、をさらに備える(1)~(10)のいずれか1つに記載の情報提供装置。
【0213】
(12)算出された前記評価値を示す表またはグラフを利用者に通知する通知部、をさらに備える(1)から(11)のいずれか1つに記載の情報提供装置。
【0214】
(13)前記取得部は、プラントの製造プロセスに設置された前記撮影機器が出力した静止画データまたは動画データを取得する、(1)~(12)のいずれか1つに記載の情報提供装置。
【0215】
(14)コンピュータが、各色相に対応する各変換値を含む変換情報を受け付け、撮影機器が撮影した監視対象の映像データを取得し、受け付けた前記変換情報および取得した前記映像データに基づいて、前記監視対象の状態を評価する評価値を算出する、処理を実行する情報提供方法。
【0216】
(15)コンピュータに、各色相に対応する各変換値を含む変換情報を受け付け、撮影機器が撮影した監視対象の映像データを取得し、受け付けた前記変換情報および取得した前記映像データに基づいて、前記監視対象の状態を評価する評価値を算出する、処理を実行させる情報提供プログラム。
【符号の説明】
【0217】
10 サーバ装置
10a 通信装置
10b HDD
10c メモリ
10d プロセッサ
11 入力部
12 出力部
13 通信部
14 記憶部
14a 設定情報記憶部
14b 映像データ記憶部
14c 評価値記憶部
15 制御部
15a 受付部
15b 取得部
15c 算出部
15d 通知部
20 オペレータ端末
21 入出力部
22 送受信部
23 通信部
30 カメラ
31 生成部
32 通信部
100 プロセス監視システム
N 通信網
O オペレータ
【要約】
【課題】監視対象の状態を効果的に把握すること。
【解決手段】サーバ装置10は、各色相に対応する各変換値を含む変換情報を受け付け、カメラ30が撮影した監視対象の映像データを取得し、受け付けた変換情報および取得した映像データに基づいて、監視対象の状態を評価する評価値を算出する。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22