特開 2024-118151 状態特定装置、状態特定方法および状態特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024118151

(43)【公開日】2024-08-30

(54)【発明の名称】状態特定装置、状態特定方法および状態特定プログラム

(51)【国際特許分類】

   G01F 23/292 20060101AFI20240823BHJP

   G06T 7/13 20170101ALI20240823BHJP

   G01N 21/27 20060101ALI20240823BHJP

   G01N 21/952 20060101ALI20240823BHJP

   G01N 21/88 20060101ALI20240823BHJP

【ＦＩ】

G01F23/292 Z

G06T7/13

G01N21/27 A

G01N21/952

G01N21/88 J

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023024416

(22)【出願日】2023-02-20

(71)【出願人】

【識別番号】000006507

【氏名又は名称】横河電機株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】劉 長迪

(72)【発明者】

【氏名】御供 頌弘

【テーマコード（参考）】

2F014

2G051

2G059

5L096

【Ｆターム（参考）】

2F014FA04

2F014GA01

2G051AB03

2G051AB15

2G051EA08

2G051EA16

2G051EA17

2G051EB01

2G051EC03

2G051ED01

2G051ED04

2G059AA05

2G059EE13

2G059FF01

2G059HH02

2G059KK04

2G059MM01

2G059MM03

2G059MM05

5L096AA02

5L096AA06

5L096BA03

5L096CA02

5L096CA24

5L096DA02

5L096EA06

5L096EA35

5L096FA09

5L096FA24

5L096FA32

5L096FA69

5L096GA03

5L096GA51

(57)【要約】

【課題】対象物の状態を効率的に特定すること。
【解決手段】状態特定装置１０は、プラントに用いられる配管やレール等の対象物が撮像された画像データを取得し、当該画像データの各画素値に基づいて画像データに含まれる色差を検出し、当該色差に基づいて、配管内の液体界面の位置やレールのひび割れの位置等の対象物の状態を特定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象物が撮像された画像データを取得する取得部と、
前記画像データの各画素値に基づいて、前記画像データに含まれる色差を検出する検出部と、
前記色差に基づいて、前記対象物の状態を特定する特定部と、
を備える状態特定装置。

【請求項2】

前記取得部は、
前記画像データとして、ＲＧＢ画像データを取得し、
前記検出部は、
前記ＲＧＢ画像データをグレースケール画像データに変換し、前記グレースケール画像データの各画素値に基づいて、前記色差を検出する、
請求項１に記載の状態特定装置。

【請求項3】

前記検出部は、
前記グレースケール画像データの各画素値のうち、行方向または列方向のうちの一方向の画素値の平均値を算出して前記平均値を平滑化し、
平滑化された前記平均値について他方向の二回差分値を算出することによって、前記色差を検出する、
請求項２に記載の状態特定装置。

【請求項4】

前記取得部は、
液体を収容する配管が撮像された前記画像データを取得し、
前記特定部は、
前記画像データに含まれる前記色差が最大となる位置を前記配管における液体界面の位置として特定する、
請求項１に記載の状態特定装置。

【請求項5】

前記取得部は、
固体表面が撮像された前記画像データを取得し、
前記特定部は、
前記画像データに含まれる前記色差が最大となる位置を前記固体表面におけるひび割れの位置として特定する、
請求項１に記載の状態特定装置。

【請求項6】

前記色差が最大となる位置に基づいて算出された前記対象物の前記状態を示す数値が所定値を超過した場合に、前記対象物の異常を判定する判定部、
をさらに備える請求項１に記載の状態特定装置。

【請求項7】

前記特定部は、
配管における液体界面の位置を特定するとともに、前記配管における前記液体界面の液位を示す数値を算出し、
前記判定部は、
前記液位を示す数値が所定値を超過した場合に、前記配管の異常を判定する、
請求項６に記載の状態特定装置。

【請求項8】

前記特定部は、
固体表面におけるひび割れの位置を特定するとともに、前記固体表面における前記ひび割れの大きさを示す数値を算出し、
前記判定部は、
前記大きさを示す数値が所定値を超過した場合に、前記固体表面の異常を判定する、
請求項６に記載の状態特定装置。

【請求項9】

コンピュータが、
対象物が撮像された画像データを取得し、
前記画像データの各画素値に基づいて、前記画像データに含まれる色差を検出し、
前記色差に基づいて、前記対象物の状態を特定する、
処理を実行する状態特定方法。

【請求項10】

コンピュータに、
対象物が撮像された画像データを取得し、
前記画像データの各画素値に基づいて、前記画像データに含まれる色差を検出し、
前記色差に基づいて、前記対象物の状態を特定する、
処理を実行させる状態特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、状態特定装置、状態特定方法および状態特定プログラムに関する。

【背景技術】

【0002】

プラントにおいて、配管内の液体界面の位置やレールのひび割れの位置等の設備の状態を特定する技術が知られている。例えば、配管内の液体界面の位置を特定する技術として、プローブによる静電容量変化を検出する技術、複数のレベルセンサを用いる技術、ディープラーニング等の機械学習モデルを用いた画像認識等が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３－０５７０９６号公報

【特許文献2】特表２０１９－５２９０９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、配管やレール等を含む対象物の状態を効率的に特定することは難しい。例えば、上記技術では、複数の測定機器を準備したり、学習データの用意や機械学習モデルの訓練を行ったりする等、対象物の状態を検知するための事前準備に時間がかかる。

【0005】

本発明は、上記に鑑みてなされたものであって、プラントに用いられる配管内の液体界面の位置やレールのひび割れの位置等の対象物の状態を、効率的に特定することができる。

【課題を解決するための手段】

【0006】

本発明は、対象物が撮像された画像データを取得する取得部と、前記画像データの各画素値に基づいて、前記画像データに含まれる色差を検出する検出部と、前記色差に基づいて、前記対象物の状態を特定する特定部と、を備える状態特定装置を提供する。

【0007】

また、本発明は、コンピュータが、対象物が撮像された画像データを取得し、前記画像データの各画素値に基づいて、前記画像データに含まれる色差を検出し、前記色差に基づいて、前記対象物の状態を特定する、処理を実行する状態特定方法を提供する。

【0008】

また、本発明は、コンピュータに、対象物が撮像された画像データを取得し、前記画像データの各画素値に基づいて、前記画像データに含まれる色差を検出し、前記色差に基づいて、前記対象物の状態を特定する、処理を実行させる状態特定プログラムを提供する。

【発明の効果】

【0009】

本発明によれば、対象物の状態を効率的に特定することができるという効果がある。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る状態特定システムの構成例および処理例を示す図である。

【図2】実施形態に係る状態特定システムの各装置の構成例を示すブロック図である。

【図3】実施形態に係る状態特定装置の画像データ記憶部の一例を示す図である。

【図4】実施形態に係る状態特定装置の算出データ記憶部の一例を示す図である。

【図5】実施形態に係る画像切取処理の実行例を示す図である。

【図6】実施形態に係る画像変換処理の実行例を示す図である。

【図7】実施形態に係る平均値算出処理の実行例を示す図である。

【図8】実施形態に係る輝度平均値データの具体例を示す図である。

【図9】実施形態に係る平滑化データの具体例を示す図である。

【図10】実施形態に係る二回差分値データの具体例を示す図である。

【図11】実施形態に係る表示画面の具体例を示す図である。

【図12】実施形態に係る状態特定処理全体の流れの一例を示すフローチャートである。

【図13】実施形態に係るハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0011】

以下に、本発明の一実施形態に係る状態特定装置、状態特定方法および状態特定プログラムを、図面を参照して詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

【0012】

〔実施形態〕
以下に、実施形態に係る状態特定システムの構成および処理、状態特定装置等の構成および処理、各処理の流れを順に説明し、最後に実施形態の効果を説明する。

【0013】

〔１．状態特定システム１００の構成および処理〕
図１を用いて、実施形態に係る状態特定システム１００の構成および処理を詳細に説明する。図１は、実施形態に係る状態特定システム１００の構成例および処理例を示す図である。以下では、状態特定システム１００全体の構成例、状態特定システム１００の処理例、状態特定システム１００の効果について説明する。なお、実施形態では、配管Ｐ内の液体界面Ｓの位置や、レールＲ表面のひび割れＣの位置を特定する状態特定装置１０を一例にして説明するが、対象物や利用分野を限定するものではない。

【0014】

（１－１．状態特定システム１００全体の構成例）
状態特定システム１００は、状態特定装置１０および撮像装置２０を有する。ここで、状態特定装置１０と撮像装置２０とは、図示しない所定の通信網を介して、有線または無線により通信可能に接続される。また、状態特定装置１０は、液体界面Ｓの位置やひび割れＣの位置を特定する情報処理装置の一例である。また、撮像装置２０は、配管ＰやレールＲを撮像するカメラの一例である。なお、図１に示した状態特定システム１００には、複数台の状態特定装置１０または複数台の撮像装置２０が含まれてもよい。また、図１の例では、状態特定装置１０がデスクトップＰＣ（Personal Computer）によって実現される場合を示したが、サーバ装置やクラウドシステム等により実現されてもよい。

【0015】

（１－２．状態特定システム１００の処理例１：配管Ｐの液体界面特定処理）
上記のような状態特定システム１００の処理例として、プラントに設置される配管Ｐ内の液体界面Ｓを特定する処理について説明する。以下では、対象物撮像処理、画像取得処理、画像変換処理、平均値算出処理、対象物状態特定処理、特定結果表示処理の順に説明する。なお、下記の処理は、異なる順序で実行することもできる。また、下記の処理のうち、省略される処理があってもよい。

【0016】

（１－２－１．対象物撮像処理）
撮像装置２０は、状態を特定する対象物である配管Ｐを撮像する（ステップＳ１）。例えば、撮像装置２０は、流体のうち液体が収容される配管Ｐを撮像し、液体界面Ｓが含まれるＲＧＢ画像データを生成する。

【0017】

（１－２－２．画像取得処理）
状態特定装置１０は、撮像装置２０により撮像された画像データを撮像装置２０から取得する（ステップＳ２）。このとき、状態特定装置１０は、画像データを取得して、保存する。また、状態特定装置１０は、取得した画像データのうち配管Ｐが含まれる部分を切り取る。

【0018】

（１－２－３．画像変換処理）
状態特定装置１０は、撮像装置２０から取得し、切り取った画像データをグレースケール画像データに変換する（ステップＳ３）。例えば、状態特定装置１０は、配管Ｐのみを切り取ったＲＧＢ画像データをグレースケール画像データに変換し、保存する。

【0019】

（１－２－４．平均値算出処理）
状態特定装置１０は、グレースケール画像データの画素値として輝度を用いて、平均値を算出する（ステップＳ４）。例えば、状態特定装置１０は、グレースケール画像データの行方向の輝度の平均値を算出し、保存する。なお、状態特定装置１０は、グレースケール画像データの列方向の輝度の平均値を算出してもよい。

【0020】

（１－２－５．対象物状態特定処理）
状態特定装置１０は、輝度の平均値を用いて画像データの色差を検出し、対象物の状態を特定する（ステップＳ５）。例えば、状態特定装置１０は、輝度の平均値を平滑化した上で列方向の二回差分値を算出し、二回差分値が最大となる行を液体界面Ｓの位置として特定する。なお、状態特定装置１０は、上記のステップＳ４の処理で列方向の輝度の平均値を算出していた場合には、輝度の平均値を平滑化した上で行方向の二回差分値を算出し、二回差分値が最大となる列を液体界面Ｓの位置として特定する。

【0021】

（１－２－６．特定結果表示処理）
状態特定装置１０は、特定結果を表示する（ステップＳ６）。例えば、状態特定装置１０は、特定した液体界面Ｓの位置や、当該位置から推定される配管Ｐにおける液体の水位をモニタに表示する。このとき、状態特定装置１０は、配管Ｐにおける液体の水位が所定値以上であった場合には、配管Ｐの異常を判定する。

【0022】

（１－３．状態特定システム１００の処理例２：レールＲのひび割れ特定処理）
また、上記のような状態特定システム１００の処理例として、プラントに設置される金属製のレールＲ表面のひび割れＣを特定する処理について説明する。なお、上記の配管Ｐの液体界面特定処理と共通する処理については説明を省略する。また、下記の処理は、異なる順序で実行することもできる。また、下記の処理のうち、省略される処理があってもよい。

【0023】

上記のステップＳ１～Ｓ６の処理では、配管Ｐの液体界面Ｓの特定処理について説明したが、状態特定システム１００は、プラントに設置される金属製のレールＲのひび割れＣの特定処理についても適用することができる。

【0024】

すなわち、上記のステップＳ５において、状態特定装置１０は、輝度の平均値を平滑化した上で列方向に二回差分値を算出し、二回差分値が最大となる行をひび割れＣの位置として特定する。また、上記のステップＳ６において、状態特定装置１０は、状態特定装置１０は、特定したひび割れＣの位置や大きさをモニタに表示する。このとき、状態特定装置１０は、レールＲにおけるひび割れＣの大きさが所定値以上であった場合には、レールＲの異常を判定する。

【0025】

（１－４．状態特定システム１００の効果）
以下では、参考技術１～３の問題点を説明した上で、状態特定システム１００の効果について説明する。

【0026】

（１－４－１．参考技術１の問題点）
例えば、プローブを用いる参考技術１では、プローブによる物体界面接触時の静電容量変化を検出して、検出信号に基づいて物体界面位置を判別する。参考技術１では、液体界面の水位レベルを測定する際に、プローブを液体と接触させる必要があるという問題点がある。

【0027】

（１－４－２．参考技術２の問題点）
また、複数のレベルセンサを用いる参考技術２では、複数のレベルセンサのセンシング結果から液体界面の位置を判別する。参考技術２では、液体界面の水位レベルを測定する際に、複数のレベルセンサが必要となるという問題点がある。

【0028】

（１－４－３．参考技術３の問題点）
また、機械学習モデルを用いる参考技術３では、機械学習モデルを構築し、ディープラーニング画像認識によって液体界面の位置を検出する。参考技術３では、液体界面の水位レベルを測定する際に、学習データセットと学習済みの機械学習モデルを用意する必要があるとともに、使用場面によって再トレーニングする必要があるという問題点がある。

【0029】

（１－４－４．状態特定システム１００の概要）
状態特定システム１００では、撮像装置２０は、状態を特定する対象物である配管Ｐを撮像し、画像データを状態特定装置１０に送信する。状態特定装置１０は、撮像装置２０から取得し、配管Ｐ部分を切り取った画像データをグレースケール画像データに変換し、グレースケール画像データの輝度を用いて平均値を算出し、平滑化処理後の輝度の平均値を用いて画像データの二回差分値をもとに色差を検出し、液体界面Ｓの位置を対象物の状態として特定する。また、状態特定装置１０は、特定結果を表示したり、特定結果に基づき配管Ｐの異常等を判定したりすることもできる。

【0030】

また、状態特定システム１００では、撮像装置２０は、状態を特定する対象物であるレールＲを撮像し、画像データを状態特定装置１０に送信する。状態特定装置１０は、撮像装置２０から取得し、レールＲ部分を切り取った画像データをグレースケール画像データに変換し、グレースケール画像データの輝度を用いて平均値を算出し、平滑化処理後の輝度の平均値を用いて画像データの二回差分値をもとに色差を検出し、レールＲ表面のひび割れＣの位置を対象物の状態として特定する。また、状態特定装置１０は、特定結果を表示したり、特定結果に基づきレールＲの異常等を判定したりすることもできる。

【0031】

（１－４－５．状態特定システム１００の効果）
上述してきたように、状態特定システム１００では、対象物の状態を効率的に特定することができる。例えば、第１に、状態特定システム１００は、液体界面Ｓの水位レベルを測定する際に、液体と接触させるセンサ等の機器を必要としないので、簡便かつ安全な測定処理を実行することができる。第２に、状態特定システム１００は、液体界面Ｓの水位レベルを測定する際に、複数のセンサ等の機器を必要としないので、簡便かつ安価な測定処理を実行することができる。第３に、状態特定システム１００は、液体界面Ｓの水位レベルを測定する際に、トレーニング用の教師データを用意する必要がなく、また追加データがあっても再トレーニングする必要がないので、簡便かつ迅速な測定処理を実行することができる。第４に、状態特定システム１００は、液体界面Ｓを点検する必要な設備に対して、リアルタイムの測定処理が可能となるので、点検工数を削減することができる。

【0032】

また、状態特定システム１００は、プラントに設置される金属製のレールＲのひび割れＣの特定処理についても、配管Ｐの液体界面Ｓの特定処理と同様の効果を得ることができる。

【0033】

〔２．状態特定システム１００の各装置の構成および処理〕
図２を用いて、図１に示した状態特定システム１００が有する各装置の構成および処理について説明する。図２は、実施形態に係る状態特定システム１００の各装置の構成例を示すブロック図である。以下では、実施形態に係る状態特定システム１００全体の構成例を説明した上で、実施形態に係る状態特定装置１０の構成例および処理例、ならびに撮像装置２０の構成例および処理例について詳細に説明する。

【0034】

（２－１．状態特定システム１００全体の構成例）
図２に示すように、状態特定システム１００は、状態特定装置１０および撮像装置２０を有する。状態特定装置１０は、撮像装置２０と所定の通信網によって通信可能に接続されている。なお、所定の通信網には、インターネットや専用線等の各種通信網を採用することができる。

【0035】

（２－２．状態特定装置１０の構成例および処理例）
まず、図２を用いて、状態特定装置１０の構成例および処理例について説明する。状態特定装置１０は、入力部１１、出力部１２、通信部１３、記憶部１４および制御部１５を有する。

【0036】

（２－２－１．入力部１１）
入力部１１は、当該状態特定装置１０への各種情報の入力を司る。例えば、入力部１１は、マウスやキーボード等で実現され、当該状態特定装置１０への設定情報等の入力を受け付ける。

【0037】

（２－２－２．出力部１２）
出力部１２は、当該状態特定装置１０からの各種情報の出力を司る。例えば、出力部１２は、ディスプレイ等で実現され、当該状態特定装置１０に記憶された設定情報等を表示する。

【0038】

（２－２－３．通信部１３）
通信部１３は、他の装置との間でのデータ通信を司る。例えば、通信部１３は、ルータ等を介して、各通信装置との間でデータ通信を行う。また、通信部１３は、図示しないオペレータの端末との間でデータ通信を行うことができる。

【0039】

（２－２－４．記憶部１４）
記憶部１４は、制御部１５が動作する際に参照する各種情報や、制御部１５が動作した際に取得した各種情報を記憶する。記憶部１４は、画像データ記憶部１４ａおよび算出データ記憶部１４ｂを有する。ここで、記憶部１４は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置等で実現され得る。なお、図２の例では、記憶部１４は、状態特定装置１０の内部に設置されているが、状態特定装置１０の外部に設置されてもよいし、複数の記憶部が設置されていてもよい。

【0040】

（２－２－４－１．画像データ記憶部１４ａ）
画像データ記憶部１４ａは、後述する制御部１５の取得部１５ａによって取得された画像データ、後述する制御部１５の検出部１５ｂによって変換された画像データ等を記憶する。ここで、図３を用いて、画像データ記憶部１４ａが記憶するデータの一例を説明する。図３は、実施形態に係る状態特定装置１０の画像データ記憶部１４ａの一例を示す図である。図３の例において、画像データ記憶部１４ａは、「プラント」、「全体画像データ」、「配管画像データ」、「変換画像データ」、「表示画像データ」といった項目を有する。

【0041】

「プラント」は、対象物である配管ＰやレールＲ等が設置されるプラントを識別するための識別情報を示し、例えばプラントの識別番号や識別記号である。「全体画像データ」は、撮像装置２０から取得した配管ＰやレールＲ等を含む全体画像データを示し、例えば全体画像データのＲＧＢ画像データの他、識別情報、撮像時刻、撮像装置２０の識別情報等を含む。「配管画像データ」は、全体画像データから配管ＰやレールＲ等の対象物のみをトリミングした対象画像データを示し、例えば対象画像データのＲＧＢ画像データの他、識別情報、撮像時刻、配管ＰやレールＲの識別情報を含む。「変換画像データ」は、全体画像データや対象画像データをグレースケール画像に変換した変換画像データを示し、例えば変換画像データのグレースケール画像データの他、識別情報、撮像時刻、配管ＰやレールＲの識別情報等を含む。「表示画像データ」は、配管ＰやレールＲ等の特定結果を表示した表示画像データを示し、例えば全体画像データ上に液体界面Ｓの位置や配管Ｐの水位レベルを表示した画像データ、全体画像データ上にひび割れＣの位置や大きさを表示した画像データである。

【0042】

すなわち、図３では、「プラントＰＳ００１」によって識別されるプラントについて、｛「全体画像データＯＩ００１」，「配管画像データＰＩ００１」，「変換画像データＣＩ００１」，「表示画像データＤＩ００１」，・・・｝、｛「全体画像データＯＩ００２」，「配管画像データＰＩ００２」，「変換画像データＣＩ００２」，「表示画像データＤＩ００２」，・・・｝、｛「全体画像データＯＩ００３」，「配管画像データＰＩ００３」，「変換画像データＣＩ００３」，「表示画像データＤＩ００３」，・・・｝等が、画像データ記憶部１４ａに記憶されている例が示されている。

【0043】

（２－２－４－２．算出データ記憶部１４ｂ）
算出データ記憶部１４ｂは、後述する制御部１５の検出部１５ｂによって算出された算出データ、後述する制御部１５の特定部１５ｃによって算出された算出データ等を記憶する。ここで、図４を用いて、算出データ記憶部１４ｂが記憶するデータの一例を説明する。図４は、実施形態に係る状態特定装置１０の算出データ記憶部１４ｂの一例を示す図である。図４の例において、算出データ記憶部１４ｂは、「プラント」、「配管」、「輝度平均値データ」、「平滑化データ」、「二回差分値データ」、「界面位置データ」といった項目を有する。

【0044】

「プラント」は、対象物である配管ＰやレールＲ等が設置されるプラントを識別するための識別情報を示し、例えばプラントの識別番号や識別記号である。「輝度平均値データ」は、行方向または列方向の輝度を相加平均した数値を示す。「平滑化データ」は、輝度平均値データをＬＯＷＥＳＳ（locally weighted scatter plot smooth）平滑化処理した数値を示す。「二回差分値データ」は、平滑化データの二回差分値を示す。「界面位置データ」は、配管ＰやレールＲ等の対象物の特定結果を示し、例えば液体界面Ｓの位置や配管Ｐの水位レベルを表わす数値、ひび割れＣの位置や大きさを表わす数値である。

【0045】

すなわち、図４では、「プラントＰＳ００１」によって識別されるプラントについて、｛「配管ＰＩＤ００１」，「輝度平均値データＢＭ００１」，「平滑化データＬＳ００１」，「二回差分値データＴＤ００１」，「界面位置データＳＬ００１」，・・・｝、｛「配管ＰＩＤ００２」，「輝度平均値データＢＭ００２」，「平滑化データＬＳ００２」，「二回差分値データＴＤ００２」，「界面位置データＳＬ００２」，・・・｝、｛「配管ＰＩＤ００３」，「輝度平均値データＢＭ００３」，「平滑化データＬＳ００３」，「二回差分値データＴＤ００３」，「界面位置データＳＬ００３」，・・・｝等が、算出データ記憶部１４ｂに記憶されている例が示されている。

【0046】

（２－２－５．制御部１５）
制御部１５は、当該状態特定装置１０全体の制御を司る。制御部１５は、取得部１５ａ、検出部１５ｂ、特定部１５ｃおよび判定部１５ｄを有する。ここで、制御部１５は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現され得る。

【0047】

（２－２－５－１．取得部１５ａ）
取得部１５ａは、対象物が撮像された画像データを取得する。このとき、取得部１５ａは、撮像装置２０によって撮像された画像データをリアルタイムに取得することもでき、外部のデータベースや記憶部１４等の蓄積された画像データを取得することもできる。なお、取得部１５ａは、取得した画像データを画像データ記憶部１４ａに格納する。

【0048】

対象物について説明すると、例えば、取得部１５ａは、液体を収容する配管Ｐが、サイトグラスを通じて撮像装置２０によって撮像された画像データを取得する。また、取得部１５ａは、金属製のレールＲ等の固体表面が、撮像装置２０によって撮像された画像データを取得する。このとき、取得部１５ａは、配管ＰやレールＲ以外の対象物を含む全体画像データを取得してもよいし、配管ＰやレールＲのみを対象物として含む対象画像データを取得してもよい。

【0049】

画像データの種類について説明すると、例えば、取得部１５ａは、画像データとして、ＲＧＢ画像データを取得する。ここで、ＲＧＢ画像データとは、Ｒ（Red）、Ｇ（Green）およびＢ（Blue）の三原色を用いたＲＧＢカラーモデルによって表現された画像データである。また、取得部１５ａは、画像データとして、グレースケール画像データを取得してもよい。ここで、グレースケール画像データとは、ＲＧＢ画像データから変換された白と黒とその中間の何段階かの灰色とのみで表現された画像データであって、画素値として輝度を含む画像データである。また、取得部１５ａは、画像データとして、各画素の色相、彩度、明度を特定するための数値を取得してもよいし、各画素の輝度を取得してもよい。

【0050】

配管Ｐについて具体的な例を説明すると、取得部１５ａは、「プラントＰＳ００１」によって識別されるプラントの配管ＰのＲＧＢ画像データを取得し、｛「全体画像データＯＩ００１」，「全体画像データＯＩ００２」，「全体画像データＯＩ００３」｝として、画像データ記憶部１４ａに格納する。

【0051】

レールＲについて具体的な例を説明すると、取得部１５ａは、「プラントＰＳ０１１」によって識別されるプラントのレールＲのＲＧＢ画像データを取得し、｛「全体画像データＯＩ０１１」，「全体画像データＯＩ０１２」，「全体画像データＯＩ０１３」｝として、画像データ記憶部１４ａに格納する。

【0052】

（２－２－５－２．検出部１５ｂ）
検出部１５ｂは、画像データに基づいて色差を検出する。ここで、色差とは、対象物の特徴を特定するために用いられる各画素（ピクセル）の色相、彩度、明度の差異である。例えば、検出部１５ｂは、取得部１５ａによって取得された画像データの各画素値に基づいて、画像データに含まれる色差を検出する。以下では、検出部１５ｂの処理について、画像切取処理、画像変換処理、平均値算出処理、平滑化処理、二回差分値算出処理の順に説明する。

【0053】

（画像切取処理）
第１に、画像データが全体画像データであった場合には、検出部１５ｂは、画像切取処理を実行する。例えば、検出部１５ｂは、全体画像データのうち対象物部分の切取（トリミング）を実行することで、対象物部分以外を除去した対象画像データを生成する。なお、画像データが対象画像データであった場合には、検出部１５ｂは、画像切取処理の実行を省略する。

【0054】

配管Ｐについて具体的な例を説明すると、検出部１５ｂは、「全体画像データＯＩ００１」から「配管画像データＰＩ００１」を生成し、「全体画像データＯＩ００２」から「配管画像データＰＩ００２」を生成し、「全体画像データＯＩ００３」から「配管画像データＰＩ００３」｝を生成し、画像データ記憶部１４ａに格納する。

【0055】

レールＲについて具体的な例を説明すると、検出部１５ｂは、「全体画像データＯＩ０１１」から「レール画像データＲＩ０１１」を生成し、「全体画像データＯＩ０１２」から「レール画像データＲＩ０１２」を生成し、「全体画像データＯＩ０１３」から「レール画像データＲＩ０１３」を生成し、画像データ記憶部１４ａに格納する。

【0056】

（画像切取処理の実行例）
ここで、図５を用いて、検出部１５ｂによって実行される画像切取処理の実行例について説明する。図５は、実施形態に係る画像切取処理の実行例を示す図である。

【0057】

図５の例では、検出部１５ｂは、配管Ｐを含む全体画像データからサイトグラス部分、すなわち配管Ｐ部分をトリミングすることによって、対象画像データを生成する。このとき、検出部１５ｂは、配管Ｐ部分を画像認識することによってトリミングしてもよいし、オペレータの操作に基づいてトリミングしてもよい。

【0058】

（画像変換処理）
第２に、画像データがＲＧＢ画像データであった場合には、検出部１５ｂは、画像変換処理を実行する。例えば、検出部１５ｂは、ＲＧＢ画像データをグレースケール画像データに変換する。なお、画像データがグレースケール画像データであった場合には、検出部１５ｂは、画像変更処理の実行を省略する。

【0059】

配管Ｐについて具体的な例を説明すると、検出部１５ｂは、ＲＧＢ画像データである「配管画像データＰＩ００１」をグレースケール画像データである「変換画像データＣＩ００１」に変換し、ＲＧＢ画像データである「配管画像データＰＩ００２」をグレースケール画像データである「変換画像データＣＩ００２」に変換し、ＲＧＢ画像データである「配管画像データＰＩ００３」をグレースケール画像データである「変換画像データＣＩ００３」に変換し、画像データ記憶部１４ａに格納する。

【0060】

レールＲについて具体的な例について説明すると、検出部１５ｂは、ＲＧＢ画像データである「レール画像データＲＩ０１１」をグレースケール画像データである「変換画像データＣＩ０１１」に変換し、ＲＧＢ画像データである「レール画像データＲＩ０１２」をグレースケール画像データである「変換画像データＣＩ０１２」に変換し、ＲＧＢ画像データである「レール画像データＲＩ０１３」をグレースケール画像データである「変換画像データＣＩ０１３」に変換し、画像データ記憶部１４ａに格納する。

【0061】

（画像変換処理の実行例）
ここで、図６を用いて、検出部１５ｂによって実行される画像変換処理の実行例について説明する。図６は、実施形態に係る画像変換処理の実行例を示す図である。

【0062】

図６の例では、検出部１５ｂは、図６（１）に示すＲＢＧ画像データから、図６（２）に示すグレースケール画像データに変換する。このとき、検出部１５ｂは、各画素の輝度として、｛第１行，第１列：「９３」｝、｛第１行，第２列：「９２」｝、｛第１行，第３列：「８５」｝、｛第１行，第４列：「８６」｝、｛第２行，第１列：「７３」｝、｛第２行，第２列：「７７」｝、｛第２行，第３列：「７５」｝、｛第２行，第４列：「７６」｝、｛第３行，第１列：「１２０」｝、｛第３行，第２列：「１１７」｝、｛第３行，第３列：「１２５」｝、｛第３行，第４列：「１２０」｝、｛第４行，第１列：「１２４」｝、｛第４行，第２列：「１３４」｝、｛第４行，第３列：「１４０」｝、｛第４行，第４列：「１３８」｝、｛第５行，第１列：「１３４」｝、｛第５行，第２列：「１３５」｝、｛第５行，第３列：「１３６」｝、｛第５行，第４列：「１４０」｝、｛第６行，第１列：「１３６」｝、｛第６行，第２列：「１３４」｝、｛第６行，第３列：「１３８」｝、｛第６行，第４列：「１４０」｝、｛第７行，第１列：「１３９」｝、｛第７行，第２列：「１４０」｝、｛第７行，第３列：「１４２」｝、｛第７行，第４列：「１４１」｝、｛第８行，第１列：「１４０」｝、｛第８行，第２列：「１４３」｝、｛第８行，第３列：「１４４」｝、｛第８行，第４列：「１４６」｝、・・・のように、輝度データを取得する。

【0063】

（平均値算出処理）
第３に、検出部１５ｂは、平均値算出処理を実行する。例えば、検出部１５ｂは、グレースケール画像データの各画素値のうち、行方向または列方向のうちの一方向の画素値の平均値を算出する。なお、検出部１５ｂは、生成した輝度平均値データを算出データ記憶部１４ｂに格納する。

【0064】

配管Ｐについて具体的な例を説明すると、検出部１５ｂは、グレースケール画像データの各画素値である輝度を行方向に相加平均した数値として、「変換画像データＣＩ００１」から「輝度平均値データＢＭ００１」を算出し、「変換画像データＣＩ００２」から「輝度平均値データＢＭ００２」を算出し、「変換画像データＣＩ００３」から「輝度平均値データＢＭ００３」を算出し、算出データ記憶部１４ｂに格納する。

【0065】

レールＲについて具体的な例について説明すると、検出部１５ｂは、グレースケール画像データの各画素値である輝度を行方向に相加平均した数値として、「変換画像データＣＩ０１１」から「輝度平均値データＢＭ０１１」を算出し、「変換画像データＣＩ０１２」から「輝度平均値データＢＭ０１２」を算出し、「変換画像データＣＩ０１３」から「輝度平均値データＢＭ０１３」を算出し、算出データ記憶部１４ｂに格納する。

【0066】

（平均値算出処理の実行例）
ここで、図７を用いて、検出部１５ｂによって実行される平均値算出処理の実行例について説明する。図７は、実施形態に係る平均値算出処理の実行例を示す図である。

【0067】

図７の例では、検出部１５ｂは、図７（１）に示すグレースケール画像データの輝度データから行方向で平均を計算し、図７（２）に示す輝度平均値データを算出する。このとき、検出部１５ｂは、各行の輝度の平均値として、｛第１行：「８９」｝、｛第２行：「７５．２５」｝、｛第３行：「１２０．５」｝、｛第４行：「１３４」｝、｛第５行：「１３６．２５」｝、｛第６行：「１３７」｝、｛第７行：「１４０．５」｝、｛第８行：「１４３．２５」｝、・・・のように、各行の輝度平均値データを算出する。

【0068】

（輝度平均値データの具体例）
また、図８を用いて、検出部１５ｂによって算出される輝度平均値データの具体例について説明する。図８は、実施形態に係る輝度平均値データの具体例を示す図である。

【0069】

図８のグラフで示す輝度平均値データは、第１行の輝度平均値データＢ＿Ｒ１（Ａｖｅ）＝Σ（Ｂ＿Ｒ１）／Ｎ、第２行の輝度平均値データＢ＿Ｒ２（Ａｖｅ）＝Σ（Ｂ＿Ｒ２）／Ｎ、第３行の輝度平均値データＢ＿Ｒ３（Ａｖｅ）＝Σ（Ｂ＿Ｒ３）／Ｎ、第４行の輝度平均値データＢ＿Ｒ４（Ａｖｅ）＝Σ（Ｂ＿Ｒ４）／Ｎ、第５行の輝度平均値データＢ＿Ｒ５（Ａｖｅ）＝Σ（Ｂ＿Ｒ５）／Ｎ、第６行の輝度平均値データＢ＿Ｒ６（Ａｖｅ）＝Σ（Ｂ＿Ｒ６）／Ｎ、第７行の輝度平均値データＢ＿Ｒ７（Ａｖｅ）＝Σ（Ｂ＿Ｒ７）／Ｎ、第８行の輝度平均値データＢ＿Ｒ８（Ａｖｅ）＝Σ（Ｂ－Ｒ８）／Ｎ、・・・のように算出される。なお、「Ｂ＿Ｒ１」、「Ｂ＿Ｒ２」、・・・は、第１行の輝度データ、第２行の輝度データ、・・・であり、「Ｎ」は、列数であり、「Σ」は、総和を示す。

【0070】

（平滑化処理）
第４に、検出部１５ｂは、平滑化処理を実行する。例えば、検出部１５ｂは、行方向または列方向のうちの一方向の画素値の平均値をＬＯＷＥＳＳ平滑化する。ここで、ＬＯＷＥＳＳ平滑化は、局所的に重み付けされた散布図平滑化によるデータ処理を実行して円滑化したものであるが、平滑化処理に用いるデータ処理は特に限定されない。なお、検出部１５ｂは、平滑化した平滑化データを算出データ記憶部１４ｂに格納する。

【0071】

配管Ｐについて具体的な例を説明すると、検出部１５ｂは、行方向の輝度の平均値を平滑化した数値として、「輝度平均値データＢＭ００１」から「平滑化データＬＳ００１」を生成し、「輝度平均値データＢＭ００２」から「平滑化データＬＳ００２」を生成し、「輝度平均値データＢＭ００３」から「平滑化データＬＳ００３」を生成し、算出データ記憶部１４ｂに格納する。

【0072】

レールＲについて具体的な例を説明すると、検出部１５ｂは、行方向の輝度の平均値を平滑化した数値として、「輝度平均値データＢＭ０１１」から「平滑化データＬＳ０１１」を生成し、「輝度平均値データＢＭ０１２」から「平滑化データＬＳ０１２」を生成し、「輝度平均値データＢＭ０１３」から「平滑化データＬＳ０１３」を生成し、算出データ記憶部１４ｂに格納する。

【0073】

（輝度平均値データの具体例）
ここで、図９を用いて、検出部１５ｂによって算出される平滑化データの具体例について説明する。図９は、実施形態に係る平滑化データの具体例を示す図である。

【0074】

図９のグラフで示す平滑化データは、第１行の輝度平均値データＢ＿Ｒ１（Ａｖｅ）→第１行の平滑化データＢ＿Ｒ１（Ａｖｅ）’、第２行の輝度平均値データＢ＿Ｒ２（Ａｖｅ）→第２行の平滑化データＢ＿Ｒ２（Ａｖｅ）’、第３行の輝度平均値データＢ＿Ｒ３（Ａｖｅ）→第３行の平滑化データＢ＿Ｒ３（Ａｖｅ）’、第４行の輝度平均値データＢ＿Ｒ４（Ａｖｅ）→第４行の平滑化データＢ＿Ｒ４（Ａｖｅ）’、第５行の輝度平均値データＢ＿Ｒ５（Ａｖｅ）→第５行の平滑化データＢ＿Ｒ５（Ａｖｅ）’、第６行の輝度平均値データＢ＿Ｒ６（Ａｖｅ）→第６行の平滑化データＢ＿Ｒ６（Ａｖｅ）’、第７行の輝度平均値データＢ＿Ｒ７（Ａｖｅ）→第７行の平滑化データＢ＿Ｒ７（Ａｖｅ）’、第８行の輝度平均値データＢ＿Ｒ８（Ａｖｅ）→第８行の平滑化データＢ＿Ｒ８（Ａｖｅ）’、・・・のようにデータが円滑化される。なお、「Ｂ＿Ｒ１（Ａｖｅ）」、「Ｂ＿Ｒ１（Ａｖｅ）」、・・・は、第１行の輝度平均値データ、第２行の輝度平均値データ、・・・であり、「’」は、平滑化されていることを示す。

【0075】

図９の例では、第２行の輝度平均値データＢ＿Ｒ２（Ａｖｅ）が特に平滑化され、円滑化された線形に近似されている。なお、上記の平滑化処理を実行する際に、末端に対応する輝度平均値データを追加してもよい。上記の平滑化処理を実行することによって、画像ノイズの影響を受けにくい状態特定処理を実現することができる。

【0076】

（二回差分値算出処理）
第５に、検出部１５ｂは、二回差分値算出処理を実行する。例えば、検出部１５ｂは、平滑化された輝度の平均値について、行方向または列方向のうちの平均値が算出された方向とは他方向の二回差分値を算出することによって、画像データに含まれる色差を検出する。ここで、検出部１５ｂは、平滑化した平均値の一回差分値を算出し、画像データに含まれる色差を検出してもよい。なお、検出部１５ｂは、算出した二回差分値データを算出データ記憶部１４ｂに格納する。

【0077】

配管Ｐについて具体的な例を説明すると、検出部１５ｂは、行方向の二回差分値として、「平滑化データＬＳ００１」から「二回差分値データＴＤ００１」を算出し、「平滑化データＬＳ００２」から「二回差分値データＴＤ００２」を算出し、「平滑化データＬＳ００３」から「二回差分値データＴＤ００３」を算出し、算出データ記憶部１４ｂに格納する。

【0078】

レールＲについて具体的な例を説明すると、検出部１５ｂは、行方向の二回差分値として、「平滑化データＬＳ０１１」から「二回差分値データＴＤ０１１」を算出し、「平滑化データＬＳ０１２」から「二回差分値データＴＤ０１２」を算出し、「平滑化データＬＳ０１３」から「二回差分値データＴＤ０１３」を算出し、算出データ記憶部１４ｂに格納する。

【0079】

（二回差分値データの具体例）
ここで、図１０を用いて、検出部１５ｂによって算出される二回差分値データの具体例について説明する。図１０は、実施形態に係る二回差分値データの具体例を示す図である。

【0080】

図１０のグラフで示す二回差分値データは、以下のように算出される。まず、第１行の一回差分値データＴＤ＿Ｒ１＿０＝Ｂ＿Ｒ２（Ａｖｅ）’－Ｂ＿Ｒ１（Ａｖｅ）’、第２行の一回差分値データＴＤ＿Ｒ２＿０＝｛Ｂ＿Ｒ３（Ａｖｅ）’－Ｂ＿Ｒ１（Ａｖｅ）’｝／２、第３行の一回差分値データＴＤ＿Ｒ３＿０＝｛Ｂ＿Ｒ４（Ａｖｅ）’－Ｂ＿Ｒ２（Ａｖｅ）’｝／２、第４行の一回差分値データＴＤ＿Ｒ４＿０＝｛Ｂ＿Ｒ５（Ａｖｅ）’－Ｂ＿Ｒ３（Ａｖｅ）’｝／２、第５行の一回差分値データＴＤ＿Ｒ５＿０＝｛Ｂ＿Ｒ６（Ａｖｅ）’－Ｂ＿Ｒ４（Ａｖｅ）’｝／２、第６行の一回差分値データＴＤ＿Ｒ６＿０＝｛Ｂ＿Ｒ７（Ａｖｅ）’－Ｂ＿Ｒ５（Ａｖｅ）’｝／２、第７行の一回差分値データＴＤ＿Ｒ７＿０＝｛Ｂ＿Ｒ８（Ａｖｅ）’－Ｂ＿Ｒ６（Ａｖｅ）’｝／２、第８行の一回差分値データＴＤ＿Ｒ８＿０＝Ｂ＿Ｒ８（Ａｖｅ）’－Ｂ＿Ｒ７（Ａｖｅ）’のように、一回差分値データが算出される。なお、「Ｂ＿Ｒ１（Ａｖｅ）’」、「Ｂ＿Ｒ２（Ａｖｅ）’」、・・・は、第１行の平滑化データ、第２行の平滑化データ、・・・であり、「ＴＤ＿Ｒ１＿０」、「ＴＤ＿Ｒ２＿０」、・・・は、第１行の一回差分値データ、第２行の一回差分値データ、・・・であることを示す。ここで、開始末端である第１行については、１つ後の行（すなわち第２行）との平滑化データの差分を求める。また、終了末端である第８行については、１つ前の行（すなわち第７行）との平滑化データの差分を求める。それ以外の第２行から第７行までは、前後の行との平滑化データの差分を幅の２倍（すなわち２行分）で除算した中央差分を求める。

【0081】

そして、第１行の二回差分値データＴＤ＿Ｒ１＝ＴＤ＿Ｒ２＿０－ＴＤ＿Ｒ１＿０、第２行の二回差分値データＴＤ＿Ｒ２＝（ＴＤ＿Ｒ３＿０－ＴＤ＿Ｒ１＿０）／２、第３行の二回差分値データＴＤ＿Ｒ３＝（ＴＤ＿Ｒ４＿０－ＴＤ＿Ｒ２＿０）／２、第４行の二回差分値データＴＤ＿Ｒ４＝（ＴＤ＿Ｒ５＿０－ＴＤ＿Ｒ３＿０）／２、第５行の二回差分値データＴＤ＿Ｒ５＝（ＴＤ＿Ｒ６＿０－ＴＤ＿Ｒ４＿０）／２、第６行の二回差分値データＴＤ＿Ｒ６＝（ＴＤ＿Ｒ７＿０－ＴＤ＿Ｒ５＿０）／２、第７行の二回差分値データＴＤ＿Ｒ７＝（ＴＤ＿Ｒ８＿０－ＴＤ＿Ｒ６＿０）／２、第８行の二回差分値データＴＤ＿Ｒ８＝ＴＤ＿Ｒ８＿０－ＴＤ＿Ｒ７＿０のように、二回差分値データが算出される。なお、「ＴＤ＿Ｒ１」、「ＴＤ＿Ｒ２」、・・・は、第１行の二回差分値データ、第２行の二回差分値データ、・・・であることを示す。ここで、開始末端である第１行については、１つ後の行（すなわち第２行）との一回差分データの差分を求める。また、終了末端である第８行については、１つ前の行（すなわち第７行）との一回差分データの差分を求める。それ以外の第２行から第７行までは、前後の行との一回差分データの差分を幅の２倍（すなわち２行分）で除算した中央差分を求める。

【0082】

図１０の例では、第３行の二回差分値データＴＤ＿Ｒ３が最大値を示し、第３行に色差、すなわち液体界面Ｓが存在することがわかる。なお、上記の二回差分値処理を実行する際に、末端に対応する平滑化データや輝度平均値データを追加してもよい。

【0083】

（その他の色差検出処理）
なお、上記の二回差分値算出処理は、輝度の変化率最大の位置が対象物の状態を示すという前提のもとに実行する処理であって、画像データにおいて最も色差の大きい位置を検出する色差検出処理の一例に過ぎない。例えば、上記の二回差分値算出処理に代えて、ＨｏＧ（Histogram of Gradients）、ハフ変換、ＳＩＦＴ（Scale-Invariant Feature Transform）等の処理によって、画像データから色差を検出することもできる。

【0084】

（２－２－５－３．特定部１５ｃ）
特定部１５ｃは、対象物の状態を特定する。例えば、特定部１５ｃは、画像データに含まれる色差に基づいて、対象物の状態を特定する。

【0085】

特定する状態について説明すると、例えば、特定部１５ｃは、配管Ｐ内の液体の色差に基づいて、配管Ｐにおける液体界面Ｓの位置を特定する。また、特定部１５ｃは、金属製のレールＲ等の固体表面の色差に基づいて、固体表面におけるひび割れＣの位置を特定する。

【0086】

特定の流れについて説明すると、特定部１５ｃは、画像データに含まれる色差が最大となる位置を配管Ｐにおける液体界面Ｓの位置として特定する。このとき、特定部１５ｃは、配管Ｐにおける色差が所定値以上となる位置を、配管Ｐにおける複数の液体界面Ｓの位置として特定してもよい。また、特定部１５ｃは、画像データに含まれる色差が最大となる位置をレールＲ等の固体表面におけるひび割れＣの位置として特定する。このとき、特定部１５ｃは、レールＲ等の固体表面における色差が所定値以上となる位置を、レールＲ等の固体表面における複数のひび割れＣの位置として特定してもよい。

【0087】

色差について説明すると、特定部１５ｃは、画像データに含まれる色差として、検出部１５ｂによって算出された二回差分値データが最大値を示す行または列に、対象物の状態を示す液体界面Ｓやひび割れＣ等が存在することを特定する。

【0088】

また、特定部１５ｃは、画像データに含まれる色差に基づいて、対象物の状態を示す数値を算出する。なお、特定部１５ｃは、算出した界面位置データ等の特定結果を算出データ記憶部１４ｂに格納する。

【0089】

算出する特定結果である状態の数値について説明すると、例えば、特定部１５ｃは、配管Ｐにおける液体界面Ｓの位置を示す数値として、水位レベルを高さ〔ｍ〕、体積〔Ｌ〕、容積比〔％〕等で算出する。また、特定部１５ｃは、金属製のレールＲ等の固体表面におけるひび割れＣの大きさを示す数値として、ひび割れＣの位置、範囲、深さ等を座標や長さ〔ｃｍ〕で算出する。

【0090】

配管Ｐについて具体的な例を説明すると、特定部１５ｃは、「二回差分値データＴＤ００１」を用いて二回差分値が最大値を示す行を特定し、「配管ＰＩＤ００１」の液体界面Ｓの位置を特定し、液体界面Ｓの水位レベルを容積比〔％〕で算出し、液体界面Ｓの位置の座標と液体界面Ｓの水位レベルを容積比〔％〕とを含む「界面位置データＳＬ００１」を生成し、算出データ記憶部１４ｂに格納する。

【0091】

レールＲについて具体的な例を説明すると、特定部１５ｃは、「二回差分値データＴＤ０１１」を用いて二回差分値が最大値を示す行を特定し、「レールＲＩＤ０１１」のひび割れＣの位置を特定し、ひび割れＣの大きさを範囲の長さ〔ｃｍ〕で算出し、ひび割れＣの位置の座標とひび割れＣの大きさを範囲の長さ〔ｃｍ〕とを含む「ひび割れ位置データＣＬ０１１」を生成し、算出データ記憶部１４ｂに格納する。

【0092】

また、特定部１５ｃは、画像データに含まれる色差に基づいて、対象物の状態や状態を示す数値が表示される画像データを生成する。なお、特定部１５ｃは、生成した画像データ等の特定結果を画像データ記憶部１４ａに格納する。

【0093】

生成する特定結果である画像データについて説明すると、例えば、特定部１５ｃは、配管Ｐにおける液体界面Ｓの位置を示す数値として、水位レベルを高さ〔ｍ〕、体積〔Ｌ〕、容積比〔％〕等を、配管Ｐを含む全体画像データに重畳した画像データを生成する。また、特定部１５ｃは、金属製のレールＲ等の固体表面におけるひび割れＣの大きさを示す数値として、ひび割れＣの位置、範囲、深さを示す座標や長さ〔ｃｍ〕等を、レールＲを含む全体画像データに重畳した画像データを生成する。

【0094】

配管Ｐについて具体的な例を説明すると、特定部１５ｃは、液体界面Ｓの位置の座標と液体界面Ｓの水位レベルを容積比〔％〕とを含む「界面位置データＳＬ００１」を参照し、「全体画像データＯＩ００１」の画像データ上に液体界面Ｓの位置の座標と液体界面Ｓの水位レベルである容積比〔％〕とを重畳して表示した「表示画像データＤＩ００１」を生成し、画像データ記憶部１４ａに格納する。

【0095】

レールＲについて具体的な例を説明すると、特定部１５ｃは、ひび割れＣの位置の座標とひび割れＣの大きさを範囲の長さ〔ｃｍ〕とを含む「ひび割れ位置データＣＬ０１１」を参照し、「全体画像データＯＩ０１１」の画像データ上にひび割れＣの位置の座標とひび割れＣの大きさである範囲の長さ〔ｃｍ〕とを重畳して表示した「表示画像データＤＩ０１１」を生成し、画像データ記憶部１４ａに格納する。

【0096】

（対象物状態特定処理の実行例）
ここで、特定部１５ｃによって実行される対象物状態特定処理の実行例について説明する。以下では、後述する判定部１５ｄによって実行される異常判定処理の前提となる、位置を示す座標から状態を示す数値への変換処理について説明する。

【0097】

第１に、特定部１５ｃは、画像データ上の液体界面Ｓの座標を特定する。第２に、特定部１５ｃは、液体界面Ｓの座標を、液体界面Ｓの水位レベルである容積比〔％〕へ変換する。このとき、特定部１５ｃは、容積比が１００％となる座標と容積比が０％となる座標を用いて変換関数を生成する。例えば、特定部１５ｃは、変換関数として、あらかじめ設定した座標値と容積比〔％〕の各数値を対応付けたテーブルや、座標値を容積比〔％〕に変換する変換式を生成する。

【0098】

（表示画像データの具体例）
ここで、図１１を用いて、特定部１５ｃによって生成される表示画像データの具体例について説明する。図１１は、実施形態に係る表示画像データの具体例を示す図である。

【0099】

図１１（１）に示すように、検出部１５ｂは、特定した液体界面Ｓの座標をもとに、「配管ＰＩＤ００１」で識別される配管Ｐについて、液体界面Ｓの位置を示す青色破線を画像データに重畳して表示する表示画像データを生成する。

【0100】

また、図１１（２）に示すように、検出部１５ｂは、特定した液体界面Ｓの水位レベルである容積比〔％〕をもとに、「配管ＰＩＤ００１」で識別される配管Ｐについて、液体界面Ｓの容積比〔％〕を緑色の数字「５４．２８」を画像データに重畳して表示する表示画像データを生成する。

【0101】

（２－２－５－４．判定部１５ｄ）
判定部１５ｄは、対象物の異常を判定する。例えば、判定部１５ｄは、対象物の状態を示す数値に基づいて、対象物の異常を判定する。このとき、判定部１５ｄは、対象物の異常を通知するアラームを対象物の管理者に送信してもよい。

【0102】

判定する異常について説明すると、例えば、判定部１５ｄは、配管Ｐにおける液体界面Ｓの位置を示す数値が所定値を超過した場合に、配管Ｐの異常を判定する。また、判定部１５ｄは、金属製のレールＲ等の固体表面におけるひび割れの大きさを示す数値が所定値を超過した場合に、固体表面の異常を判定する。

【0103】

配管Ｐについて具体的な例を説明すると、判定部１５ｄは、液体界面Ｓの位置の座標と液体界面Ｓの水位レベルである容積比〔％〕とを含む「界面位置データＳＬ００１」を参照し、液体界面Ｓの水位レベルである容積比〔％〕が所定値を超過した場合には、「配管ＰＩＤ００１」における異常の発生を判定し、「プラントＰＳ００１」の管理者に異常を知らせるアラームを通知する。

【0104】

レールＲについて具体的な例を説明すると、判定部１５ｄは、ひび割れＣの位置の座標とひび割れＣの大きさである範囲の長さ〔ｃｍ〕とを含む「ひび割れ位置データＣＬ０１１」を参照し、ひび割れＣの大きさである範囲の長さ〔ｃｍ〕が所定値を超過した場合には、「レールＲＩＤ０１１」における異常の発生を判定し、「プラントＰＳ０１１」の管理者に異常を知らせるアラームを通知する。

【0105】

（異常判定処理の実行例）
ここで、判定部１５ｄによって実行される異常判定処理の実行例について説明する。以下では、異常判定処理の必要性を説明した上で、アラーム通知処理、プロセス制御処理について説明する。

【0106】

（異常判定処理の必要性）
例えば、プラントにおいて、タンクの中に収容される液体の容量が上限値以上になる場合には、他の機器への付着することにより危険な状態になることがある。一方で、タンクの中に収容される液体の容量が下限値以下になる場合には、過熱や空焚きの恐れがある。上記のように、判定部１５ｄは、画像データを用いた液体界面Ｓの特定結果に基づき、配管Ｐ内の液体の異常を判定することができる。

【0107】

（アラーム通知処理）
判定部１５ｄは、特定部１５ｃが生成した変換関数によって変換された液体界面Ｓの水位レベルである容積比〔％〕を用いてｉｆ該当判定を実行する。このとき、判定部１５ｄは、所定値を超過しない場合は、プラントの稼働を容認する。一方、判定部１５ｄは、所定値を超過する場合は、プラントの管理者の要求に応じたプラントの稼働停止やアラーム次数の記録等の異常に対する処理を実行する。

【0108】

すなわち、上記の画像データを用いた異常判定処理は、生産性向上のプロセスに向けての液体に関するアラームシステムを実現することができる。

【0109】

（プロセス制御処理）
判定部１５ｄは、画像データを用いた状態の特定結果による水位をＰＩＤ（Proportional-Integral-Differential）で自動制御することもできる。すなわち、参考技術等において水位制御システムが物理的なハードウェアセンサ（差圧伝送器等）で水位位置を検出し、ＰＩＤアルゴリズムでバルブへの操作量を計算し水位制御を実現しているところ、判定部１５ｄは、ハードウェアセンサではなく、画像データを用いた状態の特定結果を用いてＰＩＤ制御を実現することもできる。

【0110】

すなわち、上記の画像データを用いた異常判定処理は、プラント設備への制御機能と監視機能を一体化することができるという利点がある。

【0111】

（２－３．撮像装置２０の構成例）
図２を用いて、撮像装置２０の構成例および処理例について説明する。例えば、撮像装置２０は、プラントに設置されるカメラによって実現される。

【0112】

撮像装置２０は、画像データを生成する。例えば、撮像装置２０は、対象物を撮像し、画像データを生成する。また、撮像装置２０は、生成した画像データを保存する。

【0113】

対象物について説明すると、例えば、撮像装置２０は、液体を収容する配管Ｐを、サイトグラスを通じて撮像し、画像データを生成する。また、撮像装置２０は、金属製のレールＲ等の固体表面を撮像し、画像データを生成する。このとき、撮像装置２０は、配管ＰやレールＲ以外の対象物を含む全体画像データを生成してもよいし、配管ＰやレールＲのみを対象物として含む対象画像データを生成してもよい。

【0114】

画像データの種類について説明すると、例えば、撮像装置２０は、画像データとして、ＲＧＢ画像データを生成する。また、撮像装置２０は、画像データとして、グレースケール画像データを生成してもよい。

【0115】

配管Ｐについて具体的な例を説明すると、撮像装置２０は、「プラントＰＳ００１」によって識別されるプラントの配管Ｐについて、ＲＧＢ画像データである｛「全体画像データＯＩ００１」，「全体画像データＯＩ００２」，「全体画像データＯＩ００３」｝を生成する。

【0116】

レールＲについて具体的な例を説明すると、撮像装置２０は、「プラントＰＳ０１１」によって識別されるプラントのレールＲについて、ＲＧＢ画像データである｛「全体画像データＯＩ０１１」，「全体画像データＯＩ０１２」，「全体画像データＯＩ０１３」｝を生成する。

【0117】

〔３．状態特定システム１００の処理の流れ〕
図１２を用いて、実施形態に係る状態特定システム１００の処理の流れについて説明する。図１２は、実施形態に係る状態特定処理全体の流れを示すフローチャートである。以下では、画像取得処理、画像切取処理、画像変換処理、平均値算出処理、二回差分値算出処理、対象物状態特定処理、特定結果表示処理、異常判定処理の順に説明する。なお、下記のステップＳ１０１～Ｓ１０９の処理は、異なる順序で実行することもできる。また、下記のステップＳ１０１～Ｓ１０９の処理のうち、省略される処理があってもよい。

【0118】

（３－１．画像取得処理）
第１に、状態特定装置１０は、画像取得処理を実行する（ステップＳ１０１）。例えば、状態特定装置１０は、撮像装置２０から配管Ｐが撮像された画像データを取得し、保存する。また、状態特定装置１０は、撮像装置２０からレールＲが撮像された画像データを取得し、保存する。

【0119】

（３－２．画像切取処理）
第２に、状態特定装置１０は、画像切取処理を実行する（ステップＳ１０２）。例えば、状態特定装置１０は、取得した画像データのうち、配管Ｐが含まれる部分を切り取る。また、状態特定装置１０は、取得した画像データのうち、レールＲが含まれる部分を切り取る。

【0120】

（３－３．画像変換処理）
第３に、状態特定装置１０は、画像変換処理を実行する（ステップＳ１０３）。例えば、状態特定装置１０は、配管Ｐのみを切り取ったＲＧＢ画像データをグレースケール画像データに変換し、保存する。また、状態特定装置１０は、レールＲのみを切り取ったＲＧＢ画像データをグレースケール画像データに変換し、保存する。

【0121】

（３－４．平均値算出処理）
第４に、状態特定装置１０は、平均値算出処理を実行する（ステップＳ１０４）。例えば、状態特定装置１０は、配管Ｐのグレースケール画像データの行方向の輝度の平均値を算出し、保存する。例えば、状態特定装置１０は、レールＲのグレースケール画像データの行方向の輝度の平均値を算出し、保存する。

【0122】

（３－５．平滑化処理）
第５に、状態特定装置１０は、平滑化処理を実行する（ステップＳ１０５）。例えば、状態特定装置１０は、配管Ｐの行方向の輝度の平均値をＬＯＷＥＳＳ平滑化する。また、状態特定装置１０は、レールＲの行方向の輝度の平均値をＬＯＷＥＳＳ平滑化する。

【0123】

（３－６．二回差分値算出処理）
第６に、状態特定装置１０は、二回差分値算出処理を実行する（ステップＳ１０６）。例えば、状態特定装置１０は、配管Ｐの行方向の輝度の平滑化された平均値について、列方向の二回差分値を算出し、配管Ｐの色差を示す数値とする。また、状態特定装置１０は、レールＲの行方向の輝度の平滑化された平均値について、列方向の二回差分値を算出し、レールＲの色差を示す数値とする。

【0124】

（３－７．対象物状態特定処理）
第７に、状態特定装置１０は、対象物状態特定処理を実行する（ステップＳ１０７）。例えば、状態特定装置１０は、配管Ｐについて算出した二回差分値が最大となる行を液体界面Ｓの位置として特定する。また、状態特定装置１０は、レールＲについて算出した二回差分値が最大となる行をひび割れＣの位置として特定する。

【0125】

（３－８．特定結果表示処理）
第８に、状態特定装置１０は、特定結果表示処理を実行する（ステップＳ１０８）。例えば、状態特定装置１０は、特定した液体界面Ｓの位置や、当該位置から算出される配管Ｐにおける液体の水位レベルをモニタに表示する。また、状態特定装置１０は、特定したひび割れＣの位置や、当該位置から算出されるレールＲにおけるひび割れＣの大きさをモニタに表示する。

【0126】

（３－９．異常判定処理）
第９に、状態特定装置１０は、異常判定処理を実行する（ステップＳ１０９）。例えば、状態特定装置１０は、配管Ｐにおける液体の水位レベルが所定値以上であった場合には、配管Ｐの異常を判定する。また、状態特定装置１０は、レールＲにおけるひび割れＣの大きさが所定値以上であった場合には、レールＲの異常を判定する。

【0127】

〔４．実施形態の効果〕
最後に、実施形態の効果について説明する。以下では、実施形態に係る処理に対応する効果１～８について説明する。

【0128】

（４－１．効果１）
第１に、上述した実施形態に係る処理では、状態特定装置１０は、対象物が撮像された画像データを取得し、画像データの各画素値に基づいて画像データに含まれる色差を検出し、当該色差に基づいて対象物の状態を特定する。このため、本処理では、対象物の状態を効率的に特定することができる。

【0129】

（４－２．効果２）
第２に、上述した実施形態に係る処理では、状態特定装置１０は、画像データとして、ＲＧＢ画像データを取得し、ＲＧＢ画像データをグレースケール画像データに変換し、グレースケール画像データの各画素値に基づいて色差を検出する。このため、本処理では、グレースケール画像データの輝度を用いて、対象物の状態を効率的に特定することができる。

【0130】

（４－３．効果３）
第３に、上述した実施形態に係る処理では、状態特定装置１０は、グレースケール画像データの各画素値のうち、行方向または列方向のうちの一方向の画素値の平均値を算出して平均値を平滑化し、平滑化した平均値について他方向の二回差分値を算出することによって、色差を検出する。このため、本処理では、画像ノイズを除去した上で、対象物の状態を効率的に特定することができる。

【0131】

（４－４．効果４）
第４に、上述した実施形態に係る処理では、状態特定装置１０は、液体を収容する配管Ｐが撮像された画像データを取得し、画像データに含まれる色差が最大となる位置を配管Ｐにおける液体界面Ｓの位置として特定する。このため、本処理では、対象物の状態として配管Ｐにおける液体界面Ｓの位置を、効率的に特定することができる。

【0132】

（４－５．効果５）
第５に、上述した実施形態に係る処理では、状態特定装置１０は、レールＲ等の固体表面が撮像された画像データを取得し、画像データに含まれる色差が最大となる位置をレールＲ等の固体表面におけるひび割れＣの位置として特定する。このため、本処理では、対象物の状態としてレールＲ等の固体表面おけるひび割れＣの位置を、効率的に特定することができる。

【0133】

（４－６．効果６）
第６に、上述した実施形態に係る処理では、状態特定装置１０は、色差が最大となる位置に基づいて算出された対象物の状態を示す数値が所定値を超過した場合に、対象物の異常を判定する。このため、本処理では、対象物の状態を効率的に特定するとともに、定量的な数値を出力することができる。

【0134】

（４－７．効果７）
第７に、上述した実施形態に係る処理では、状態特定装置１０は、配管Ｐにおける液体界面Ｓの位置を特定するとともに、配管Ｐにおける液体界面Ｓの液位を示す数値を算出する。このため、本処理では、対象物の状態を効率的に特定するとともに、定量的な数値を出力し、配管Ｐの異常判定に利用することができる。

【0135】

（４－８．効果８）
第８に、上述した実施形態に係る処理では、状態特定装置１０は、レールＲ等の固体表面におけるひび割れＣの位置を特定するとともに、レールＲ等の固体表面におけるひび割れの大きさＣを示す数値を算出する。このため、本処理では、対象物の状態を効率的に特定するとともに、定量的な数値を出力し、レールＲ等の異常判定に利用することができる。

【0136】

〔システム〕
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0137】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0138】

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0139】

〔ハードウェア〕
次に、情報処理装置である状態特定装置１０のハードウェア構成例を説明する。なお、その他の装置も同様のハードウェア構成とすることができる。図１３は、ハードウェア構成例を説明する図である。図１３に示すように、状態特定装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１３に示した各部は、バス等で相互に接続される。

【0140】

通信装置１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

【0141】

プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、状態特定装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、取得部１５ａ、検出部１５ｂ、特定部１５ｃ、判定部１５ｄ等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、取得部１５ａ、検出部１５ｂ、特定部１５ｃ、判定部１５ｄ等と同様の処理を実行するプロセスを実行する。

【0142】

このように、状態特定装置１０は、プログラムを読み出して実行することで各種処理方法を実行する装置として動作する。また、状態特定装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施形態と同様の機能を実現することもできる。なお、この他の実施形態でいうプログラムは、状態特定装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

【0143】

このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

【0144】

〔その他〕
開示される技術特徴の組合せのいくつかの例を以下に記載する。

【0145】

（１）対象物が撮像された画像データを取得する取得部と、前記画像データの各画素値に基づいて、前記画像データに含まれる色差を検出する検出部と、前記色差に基づいて、前記対象物の状態を特定する特定部と、を備える状態特定装置。

【0146】

（２）前記取得部は、前記画像データとして、ＲＧＢ画像データを取得し、前記検出部は、前記ＲＧＢ画像データをグレースケール画像データに変換し、前記グレースケール画像データの各画素値に基づいて、前記色差を検出する、（１）に記載の状態特定装置。

【0147】

（３）前記検出部は、前記グレースケール画像データの各画素値のうち、行方向または列方向のうちの一方向の画素値の平均値を算出して前記平均値を平滑化し、平滑化された前記平均値について他方向の二回差分値を算出することによって、前記色差を検出する、（２）に記載の状態特定装置。

【0148】

（４）前記取得部は、液体を収容する配管が撮像された前記画像データを取得し、前記特定部は、前記画像データに含まれる前記色差が最大となる位置を前記配管における液体界面の位置として特定する、（１）～（３）のいずれか１つに記載の状態特定装置。

【0149】

（５）前記取得部は、固体表面が撮像された前記画像データを取得し、前記特定部は、前記画像データに含まれる前記色差が最大となる位置を前記固体表面におけるひび割れの位置として特定する、（１）～（３）のいずれか１つに記載の状態特定装置。

【0150】

（６）前記色差が最大となる位置に基づいて算出された前記対象物の前記状態を示す数値が所定値を超過した場合に、前記対象物の異常を判定する判定部、をさらに備える（１）～（５）のいずれか１つに記載の状態特定装置。

【0151】

（７）前記特定部は、配管における液体界面の位置を特定するとともに、前記配管における前記液体界面の液位を示す数値を算出し、前記判定部は、前記液位を示す数値が所定値を超過した場合に、前記配管の異常を判定する、（６）に記載の状態特定装置。

【0152】

（８）前記特定部は、固体表面におけるひび割れの位置を特定するとともに、前記固体表面における前記ひび割れの大きさを示す数値を算出し、前記判定部は、前記大きさを示す数値が所定値を超過した場合に、前記固体表面の異常を判定する、（６）に記載の状態特定装置。

【0153】

（９）コンピュータが、対象物が撮像された画像データを取得し、前記画像データの各画素値に基づいて、前記画像データに含まれる色差を検出し、前記色差に基づいて、前記対象物の状態を特定する、処理を実行する状態特定方法。

【0154】

（１０）コンピュータに、対象物が撮像された画像データを取得し、前記画像データの各画素値に基づいて、前記画像データに含まれる色差を検出し、前記色差に基づいて、前記対象物の状態を特定する、処理を実行させる状態特定プログラム。

【符号の説明】

【0155】

１０ 状態特定装置
１１ 入力部
１２ 出力部
１３ 通信部
１４ 記憶部
１４ａ 画像データ記憶部
１４ｂ 算出データ記憶部
１５ 制御部
１５ａ 取得部
１５ｂ 検出部
１５ｃ 特定部
１５ｄ 判定部
２０ 撮像装置
１００ 状態特定システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】