特開 2022-112341 油流出監視システム、及び油流出監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022112341

(43)【公開日】2022-08-02

(54)【発明の名称】油流出監視システム、及び油流出監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220726BHJP

   G06T 19/00 20110101ALI20220726BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

G06T19/00 600

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021008145

(22)【出願日】2021-01-21

(71)【出願人】

【識別番号】000211307

【氏名又は名称】中国電力株式会社

(74)【代理人】

【識別番号】110000176

【氏名又は名称】一色国際特許業務法人

(72)【発明者】

【氏名】横山 哲司

【テーマコード（参考）】

5B050

5C054

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA11

5B050BA18

5B050BA20

5B050CA00

5B050DA04

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5C054FC12

5C054FE16

5C054GB05

5C054HA18

(57)【要約】

【課題】油の流出の監視にかかる人的負担を軽減するとともに、油の流出を迅速かつ確実に検出する。
【解決手段】油流出監視システムは、現場を撮影した映像を取得する映像取得部と、上記映像に写っている油を検出する機械学習モデルである油検出モデルを記憶する記憶部と、上記映像において油が写っている領域を油検出モデルを用いて特定する油検出部と、油が写っている上記領域を示す情報である領域情報を拡張現実として上記映像とともに表示する映像表示部と、を備える。また、油流出監視システムは、上記映像に写っている油に関する情報である属性情報を、機械学習モデルである油属性判定モデルにより取得し、上記映像表示部は、取得した属性情報や当該属性情報に基づく情報を拡張現実として上記映像とともに表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

油の流出の監視を支援する情報処理システムであって、
現場を撮影した映像を取得する映像取得部と、
前記映像に写っている油を検出する機械学習モデルである油検出モデルを記憶する記憶部と、
前記映像において油が写っている領域を前記油検出モデルを用いて特定する油検出部と、
前記油が写っている上記領域を示す情報である領域情報を拡張現実として前記映像とともに表示する映像表示部と、
を備える、油流出監視システム。

【請求項2】

請求項１に記載の油流出監視システムであって、
前記油検出モデルは、前記映像に写っている油に関する情報である属性情報を当該映像に基づき取得する機械学習モデルである油属性判定モデルを含み、
前記映像に油が写っている場合に、当該油の属性情報を前記油属性判定モデルにより取得する油属性取得部を更に備え、
前記映像表示部は、取得した前記属性情報又は当該属性情報に基づき取得される情報を拡張現実として前記映像とともに表示する、
油流出監視システム。

【請求項3】

請求項２に記載の油流出監視システムであって、
前記記憶部は、前記属性情報と油を使用している設備を示す情報とを対応づけた情報である油使用設備情報を更に記憶し、
前記属性情報に対応する前記設備を示す情報を前記油使用設備情報から取得する関連情報取得部を更に備え、
前記映像表示部は、取得した前記設備を示す情報を拡張現実として前記映像とともに表示する、
油流出監視システム。

【請求項4】

請求項１に記載の油流出監視システムであって、
前記油検出モデルは、前記映像に油が写っている場合と写っていない場合の夫々の前記映像の特徴量を学習することにより生成される、
油流出監視システム。

【請求項5】

請求項１に記載の油流出監視システムであって、
前記油検出モデルは、前記映像に油が写っている場合と写っていない場合の夫々の前記映像の時系列変化を特徴量として学習することにより生成される、
油流出監視システム。

【請求項6】

油の流出の監視を支援する方法であって、
情報処理装置が、
現場を撮影した映像を取得するステップと、
前記映像に写っている油を検出する機械学習モデルである油検出モデルを記憶するステップと、
前記映像において油が写っている領域を前記油検出モデルを用いて特定するステップと、
前記油が写っている上記領域を示す情報である領域情報を拡張現実として前記映像とともに表示するステップと、
を実行する、油流出監視方法。

【請求項7】

請求項６に記載の油流出監視方法であって、
前記油検出モデルは、前記映像に写っている油に関する情報である属性情報を当該映像に基づき取得する機械学習モデルである油属性判定モデルを含み、
前記情報処理装置が、
前記映像に油が写っている場合に、当該油の属性情報を前記油属性判定モデルにより取得するステップと、
取得した前記属性情報又は当該属性情報に基づき取得される情報を拡張現実として前記映像とともに表示するステップと、
を更に実行する、油流出監視方法。

【請求項8】

請求項７に記載の油流出監視方法であって、
前記情報処理装置が、
前記属性情報と油を使用している設備を示す情報とを対応づけた情報である油使用設備情報を更に記憶するステップと、
前記属性情報に対応する前記設備を示す情報を前記油使用設備情報から取得するステップと、
取得した前記設備を示す情報を拡張現実として前記映像とともに表示するステップと、
を更に実行する、油流出監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、油流出監視システム、及び油流出監視方法に関する。

【背景技術】

【0002】

特許文献１には、油を取り扱う設備の破損や誤操作により油が流出した場合に、油が排水溝等を介して河川や海岸に流出して環境を汚染する以前にこれを発見して流出を防止することを目的として構成された流出事故監視装置について記載されている。流出事故監視装置は、設備周辺の所定領域の床面（油の流出面を形成するコンクリートの床面等）の上方に所定の距離を保つように支承され、上記所定領域に監視用の光線を投射する光源部及び上記所定領域からの監視用光線の反射光を受光して電気信号に変換する受光素子と、受光素子の出力電気信号を受けてその信号の変化を検出し所定の変化があったとき信号を発する信号処理部と、信号処理部の出力信号を受けて流出油警報を発する警報器と、を備える。

【0003】

また、特許文献２には、各種プラント内に設置されている機器や配管等からの油の漏れを検出する油漏れ検出装置について記載されている。油漏れ検出装置は、油が紫外線を照射すると蛍光を発し可視光を照射されると吸光される特性を利用して油の漏れを検出する。具体的には、油漏れ検出装置は、紫外線と可視光を交互に試料面に照射し、得られた画像の差分をとることにより、油漏れの検出を行う。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】実開昭６０－３３６４４号公報

【特許文献2】特開平８－１２８９１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

工場や電力設備等の油を取り扱う施設においては、油の流出の監視を現場の作業者等の目視により行っているが、迅速な検出が難しい上、人的負担が大きく、また、油の流出の態様は油の性状や現場の環境に応じて様々であるため検出精度を確保することも難しい。

【0006】

また、こうした施設においては、設備や施設に設置されたフロート式液面計の液面の変化に基づき油の流出を検出することも行われている。しかし液面計による場合はある程度の量の油が流出した場合でなければ異常を検出することができない。また、油の流出元は必ずしも特定しているわけではなく、例えば、特許文献１に記載の流出事故監視装置や特許文献２に記載の油漏れ検出装置を施設の特定の場所に設置したとしても、油の流出を確実に検出することは難しい。

【0007】

本発明はこのような背景に鑑みてなされたものであり、油の流出の監視にかかる人的負担を軽減するとともに、油の流出を迅速かつ確実に検出することが可能な、油流出監視システム、及び油流出監視方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するための本発明のうちの一つは、油の流出の監視を支援する情報処理システム（油流出監視システム）であって、現場を撮影した映像を取得する映像取得部と、前記映像に写っている油を検出する機械学習モデルである油検出モデルを記憶する記憶部と、前記映像において油が写っている領域を前記油検出モデルを用いて特定する油検出部と、前記油が写っている上記領域を示す情報である領域情報を拡張現実として前記映像とともに表示する映像表示部と、を備える。

【0009】

このように、本発明の油流出監視システムは、現場を撮影した映像に写っている油を機械学習モデルである油検出モデルにより検出し、油が写っている領域を示す情報である領域情報を拡張現実として映像とともに表示するので、油の流出を監視する作業者等のユーザは、油の流出を容易かつ迅速に発見することができ、適切な対応を早期にとることができる。

【0010】

本発明の他の発明の一つは、上記油流出監視システムであって、前記油検出モデルは、前記映像に写っている油に関する情報である属性情報を当該映像に基づき取得する機械学習モデルである油属性判定モデルを含み、前記映像に油が写っている場合に、当該油の属性情報を前記油属性判定モデルにより取得する油属性取得部を更に備え、前記映像表示部は、取得した前記属性情報又は当該属性情報に基づき取得される情報を拡張現実として前記映像とともに表示する。

【0011】

このように、本発明の油流出監視システムは、機械学習モデルである油属性判定モデルにより、映像に写っている油に関する情報である属性情報を取得し、取得した属性情報を拡張現実として上記映像とともに表示するので、ユーザは、油に関する情報を容易に取得することができる。

【0012】

本発明の他の発明の一つは、上記油流出監視システムであって、前記記憶部は、前記属性情報と油を使用している設備を示す情報とを対応づけた情報である油使用設備情報を更に記憶し、前記属性情報に対応する前記設備を示す情報を前記油使用設備情報から取得する関連情報取得部を更に備え、前記映像表示部は、取得した前記設備を示す情報を拡張現実として前記映像とともに表示する。

【0013】

このように、本発明の油流出監視システムは、属性情報に対応する設備を示す情報を取得し、取得した情報を拡張現実として上記映像とともに表示するので、ユーザは、油の流出元に関する情報を容易に取得することができ、油の流出元の特定作業を効率よく進めることができる。

【0014】

本発明の他の発明の一つは、上記油流出監視システムであって、前記油検出モデルは、前記映像に油が写っている場合と写っていない場合の夫々の前記映像の特徴量を学習することにより生成される。

【0015】

このように、本発明の油流出監視システムは、油が写っている場合と写っていない場合の夫々の映像の特徴量（色、濃淡、模様等）を学習することにより生成される機械学習モデルを用いて油を検出するので、人の目では捉えにくい油の性状毎に特有の油の反射光の違いに基づき高い精度で油を検出することができる。

【0016】

本発明の他の発明の一つは、上記油流出監視システムであって、前記油検出モデルは、前記映像に油が写っている場合と写っていない場合の夫々の前記映像の時系列変化を特徴量として学習することにより生成される。

【0017】

このように、本発明の油流出監視システムは、油が写っている場合と写っていない場合の夫々の映像の時系列変化（油膜の色、濃淡、模様等の映像に映る油膜の時間的な揺らぎ等）を特徴量として学習することにより生成される機械学習モデルを用いて油を検出するので、人の目では捉えにくい油の性状毎に特有の油の反射光の時系列変化に基づき高い精度で油を検出することができる。

【0018】

その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。

【発明の効果】

【0019】

本発明によれば、油の流出の監視にかかる人的負担を軽減するとともに、油の流出を迅速かつ確実に検出することができる。

【図面の簡単な説明】

【0020】

【図1】油流出監視システムが備える主な機能を示す図である。

【図2A】ユーザが現場において油の流出を監視している様子を示す図である。

【図2B】ユーザが所持する携帯情報端末の表示装置に表示される（油が写っていないときの）映像の例である。

【図2C】ユーザが所持する携帯情報端末の表示装置に表示される（油が写っているときの）映像の例である。

【図2D】現場の映像に油に関する情報が拡張現実として表示されている例である。

【図3】油使用設備情報の一例である。

【図4】表示情報の一例である。

【図5】油流出監視システムの実現に用いる情報処理装置の一例である。

【図6】学習処理を説明するフローチャートである。

【図7】油流出監視処理を説明するフローチャートである。

【発明を実施するための形態】

【0021】

以下、発明を実施するための形態について説明する。尚、以下の説明において、同一の又は類似する構成について共通の符号を付して説明を省略することがある。

【0022】

図１に、一実施形態として説明する情報処理システム（以下、「油流出監視システム１」と称する。）が備える主な機能を示している。油流出監視システム１は、油を取り扱う施設において油の流出の監視を行う作業者の作業を支援する。上記の施設は必ずしも限定されないが、例えば、発電所や変電所等の油を使用する電力設備が設置されている電力関連施設、油を使用する装置や機械が設置されている工場や各種プラント等である。

【0023】

油流出監視システム１は、油の流出を監視しようとする現場（河川、側溝等）を撮影した映像を機械学習モデルを用いて分析することにより、油の流出の有無や油の流出状況を示す情報を生成し、生成した情報を現場の作業者等のユーザに提供する。上記の映像は、例えば、現場の作業者が所持する、スマートフォンやタブレット等の携帯情報端末が備える撮影装置（カメラ）により撮影された映像である。油流出監視システム１は、上記映像の分析を、例えば、リアルタイムに行うことにより上記情報を生成し、生成した情報を上記映像とともに拡張現実（ＡＲ（Augmented Reality））としてユーザに提供する。ユーザは、上記の情報を利用することにより油の流出を容易かつ迅速に発見することができ、また、油の流出状況を迅速かつ確実に把握することができる。

【0024】

油流出監視システム１は、上記映像の分析に際し、機械学習モデルを用いて画像分析を行うことにより、油の流出の有無や油の流出状況を示す情報を生成する。また、油流出監視システム１は、例えば、動画（時系列の画像データ群）として撮影された上記映像について時系列分析を行うことにより、油の流出の有無や油の流出状況を示す情報を生成する。

【0025】

また、油流出監視システム１は、例えば、上記の映像を分析することにより油の属性（油種、性状、汚れ具合等）を特定し、特定した属性を示す情報（以下、「属性情報」と称する。）や当該属性情報に基づく情報を拡張現実としてユーザに提供する。ユーザは、提供される情報を用いて、例えば、油の流出元の特定作業を効率よく行うことができる。

【0026】

また、油流出監視システム１は、様々な油の態様について様々な環境で撮影された十分な量の学習データにより学習した機械学習モデルを用いて上記の情報を生成する。そのため、油流出監視システム１は、油の流出の有無の確認や油の流出状況の把握を、油の態様や現場の環境に左右されることなく高い精度で行うことができる。

【0027】

また、油流出監視システム１は、例えば、上記の映像に含まれているノイズ（例えば、河川を撮影した映像に含まれている流木やゴミ等）を適切に除去することにより、油の流出の有無の確認や油の流出状況の把握についての精度向上を図る。

【0028】

図２Ａは、作業者等のユーザ３が、油流出監視システム１を利用して、油を取り扱う施設４から周辺の河川や側溝等の環境５への油の流出の有無の確認（もしくは油の流出状況の把握）を行っている様子を示す図である。同図に示すように、ユーザ３は、所持している携帯情報端末２の撮影装置２１の方向を油の状況を確認しようとする方向に向けつつ、携帯情報端末２のディスプレイ（以下、「表示装置２２」と称する。）に表示される映像を確認している。

【0029】

図２Ｂ及び図２Ｃは、表示装置２２に表示される映像の例である。図２Ｂは、油の流出が無い場合に表示装置２２に表示される映像の一例であり、図２Ｃは油の流出が有る場合に表示装置２２に表示される映像の一例である。

【0030】

図２Ｃに示すように、表示装置２２には、撮影装置２１により撮影中の映像２５に重ねて、油が存在する領域（本例では油が存在する水面の領域）を示す情報（以下、「領域情報２６ａ」と称する。）が拡張現実として表示される。尚、ユーザ３が、例えば、撮影装置２１の撮影方向（カメラの向き）を変えた場合は、現在撮影中の映像２５に合わせて領域情報２６ａも追随する。そのため、ユーザ３は、例えば、撮影装置２１の撮影方向を移動させる（スキャンする）ことで、現場の広い範囲について、油の流出有無の確認や油の流出状況の把握を、容易かつ迅速に行うことができる。

【0031】

このように、油流出監視システム１によれば、ユーザは、肉眼では必ずしも確認することが容易でない、水面に浮かぶ油の確認や油の流出状況の把握を、容易かつ確実に行うことができる。尚、例示する領域情報２６ａは、水面の油が存在する領域を強調表示（色付け、濃淡付け、ハッチング等）した画像としているが、領域情報２６ａの態様は必ずしも限定されない。

【0032】

また例示する表示装置２２は、タッチパネルとしても機能し、例えば、ユーザ３が、表示装置２２の領域情報２６ａの部分に触れると、例えば、図２Ｄに示すように、その位置に写っている油の属性情報や当該属性情報に基づく情報（例えば、属性情報を検索キーとして検索される流出元の候補一覧等。以下、これらの情報を「関連情報２６ｂ」と称する。）が表示装置２２に表示される。ユーザ３は、関連情報２６ｂを利用することで、例えば、油の流出元の特定作業を効率よく行うことができる。

【0033】

図１に戻り、同図に示すように、油流出監視システム１は、記憶部１１０、映像取得部１２０、油検出部１２５、油属性判定部１３０、関連情報取得部１４０、表示情報生成部１４５、映像表示部１５０、及びモデル学習部１６０の各機能を有する。

【0034】

上記機能のうち、記憶部１１０は、画像データ１１１、油検出モデル１１２、学習データ１１３、油使用設備情報１１４、及び表示情報１１５を記憶する。

【0035】

画像データ１１１は、映像取得部１２０によって取得されるデータであり、現場において撮影された映像を所定の形式で符号化することにより得られるデータである。画像データ１１１は、当該画像データ１１１が撮影された日時を示す情報を含む。画像データ１１１は、動画から切り出された一コマ（１フレーム）であってもよい。画像データ１１１は、前述のようにスマートフォン等の携帯情報端末２に備えられている撮影装置２１（カメラ）を用いて人が撮影したものでもよいし、定点カメラ等により自動的に撮影されたものでもよい。

【0036】

油検出モデル１１２は、撮影された現場の映像（画像データ１１１）に基づき油に関する情報を生成する機械学習モデル群であり、画像分析モデル１１２１、時系列分析モデル１１２２、油属性判定モデル１１２３の各機械学習モデルを含む。

【0037】

このうち画像分析モデル１１２１は、撮影された映像（画像データ１１１）について、油が写っているか否かの判定や、油が写っている場合における油が写っている領域の特定等を行う機械学習モデルである。画像分析モデル１１２１は、例えば、油が写っている場合と油が写っていない場合の夫々の映像の特徴量（色、濃淡、模様等）を学習する。また、画像分析モデル１１２１は、例えば、油が写っていない画像データ１１１を定常状態としてオートエンコーダ（ＶＡＥ（Variational Autoencoder）等）により学習した機械学習モデル（異常検知モデル）でもよい。

【0038】

時系列分析モデル１１２２は、撮影された現場の映像（時系列の画像データ１１１群）について、画像データ１１１の時系列変化に基づき、画像データ１１１に油が写っているか否かの判定や、油が写っている場合における油が写っている領域の特定等を行う機械学習モデルである。例えば、時系列分析モデル１１２２は、油が写っている場合と油が写ってない場合の夫々の映像の時系列変化（油膜の色、濃淡、模様等の映像に映る油膜の時間的な揺らぎ等）を特徴量として学習する。また、時系列分析モデル１１２２は、例えば、油が写っていない画像データ１１１の時系列変化を定常状態としてオートエンコーダ（ＶＡＥ等）により学習した機械学習モデル（異常検知モデル）により実現してもよい。

【0039】

尚、画像データ１１１に油が写っているか否かの判定や、画像データ１１１に油が写っている場合における油が写っている領域の特定は、画像分析モデル１１２１及び時系列分析モデル１１２２のうちの一方を用いて行ってもよいし、双方の結果を用いて、例えば、夫々の結果を重み付けした総合的な評価値により行ってもよい。

【0040】

油属性判定モデル１１２３は、撮影された映像（画像データ１１１）について、画像データ１１１に写っている油の属性情報を取得する機械学習モデルである。油属性判定モデル１１２３は、例えば、油の種類毎や現場の環境毎に用意された、油が写っている画像データもしくは油が写っていない画像データと正解情報とを含む学習データにより学習した機械学習モデルである。

【0041】

尚、以上に示した各機械学習モデル（画像分析モデル１１２１、時系列分析モデル１１２２、油属性判定モデル１１２３）の種類は必ずしも限定されないが、例えば、深層学習（ＤＮＮ（Deep Neural Network）、ＣＮＮ（Convolutional Neural Network）等）や各種時系列分析手法により実現される。また、各機械学習モデルによる画像データ１１１に含まれている油や油が写っている領域の特定（物体の検出）は、例えば、「sliding window method」、「ＨＯＧ（Histograms of Oriented Gradients）特徴量」、「region proposal method」、「Faster R-CNN」、「ＹＯＬＯ（You Only Look Once）」、「ＳＳＤ（Single Shot Detector）」、「Ｅｎｄ－ｔｏ－ＥＮＤ学習」等）を用いて行われる。また、各機械学習モデルが用いる特徴量は、人間系により設定してもよいし、例えば、公知の特徴量抽出手法（ＳＩＦＴ（Scale-Invariant Feature Transform)、ＳＵＲＦ（Speeded-Up Robust Features）、ＦＡＳＴ（Features from Accelerated Segment Test）、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）等）により情報処理装置が自動的に抽出した特徴量を用いてもよい。

【0042】

図１に示すように、学習データ１１３は、画像分析モデル１１２１の学習に用いる画像分析用学習データ１１３１、時系列分析モデル１１２２の学習に用いる時系列分析用学習データ１１３２、及び油属性判定モデル１１２３の学習に用いる油属性判定用学習データ１１３３を含む。

【0043】

画像分析用学習データ１１３１は、例えば、油の種類や現場の環境毎に用意された、油が写っている画像データもしくは油が写っていない画像データと、正解情報（油が写っているか否かもしくは油が写っている領域を示す情報）とを対応づけたデータである。尚、画像分析モデル１１２１の精度を高めるために、画像分析モデル１１２１の学習は、様々な環境（場所、季節、時間等が異なる環境、水面に浮かぶゴミ等のノイズを含む環境等）で撮影された画像データに基づく十分な量の画像分析用学習データ１１３１を用いて行われる。

【0044】

時系列分析用学習データ１１３２は、例えば、油の種類や現場の環境毎に用意された、油が写っている時系列の画像データ群及び油が写っていない時系列の画像データ群と正解情報（油が写っているか否かもしくは油が写っている領域を示す情報）とを対応づけたデータである。尚、時系列分析モデル１１２２の精度を高めるために、時系列分析モデル１１２２の学習は、様々な環境（場所、季節、時間、水面に浮かぶゴミ等のノイズ）で撮影された時系列の画像データ群に基づく十分な量の時系列分析用学習データ１１３２を用いて行われる。

【0045】

油属性判定用学習データ１１３３は、例えば、油の種類や現場の環境毎に用意された、油が写っている画像データもしくは油が写っていない画像データと正解情報（属性情報）とを含む学習データである。尚、油属性判定モデル１１２３の精度を高めるために、油属性判定モデル１１２３の学習は、様々な環境（場所、季節、時間、水面に浮かぶゴミ等のノイズ）で撮影された画像データに基づく十分な量の油属性判定用学習データ１１３３を用いて行われる。

【0046】

図１に示す油使用設備情報１１４は、施設４に設けられている各設備の識別子（以下、「設備ＩＤ」と称する。）と属性情報とを対応づけた情報を含む。油使用設備情報１１４は、例えば、施設４の管理者や油の流出を監視する作業者等のユーザによって管理される。

【0047】

図３に、油使用設備情報１１４の一例を示す。例示する油使用設備情報１１４は、設備ＩＤ１１４１、設備種別１１４２、設置位置１１４３、属性情報１１４４等の各項目を有する一つ以上のエントリ（レコード）で構成される。油使用設備情報１１４のエントリの一つは施設４に設けられている一つの設備に対応する。

【0048】

上記項目のうち、設備ＩＤ１１４１には、当該設備の設備ＩＤが設定される。設備種別１１４２には、当該設備の種別を示す情報（形式、型番等）が設定される。設置位置１１４３には、施設４において当該設備が設けられている位置を示す情報が設定される。属性情報１１４４には、当該設備と対応づけられる属性情報（油種等）が設定される。

【0049】

図１に示す表示情報１１５は、表示情報生成部１４５によって生成される情報であり、前述した前述した領域情報２６ａ又は関連情報２６ｂである。

【0050】

図４に、表示情報１１５の一例を示す。例示する表示情報１１５は、表示情報ＩＤ１１５１、形式１１５２、表示位置（領域）１１５３、表示内容１１５４等の各項目を有する一つ以上のエントリ（レコード）で構成される。表示情報１１５のエントリの一つは、表示装置２２に表示される、前述した領域情報２６ａ又は関連情報２６ｂの一つに対応する。

【0051】

上記項目のうち、表示情報ＩＤ１１５１には、領域情報２６ａ又は関連情報２６ｂの識別子（オブジェクトＩＤ）である表示情報ＩＤが設定される。形式１１５２には、当該領域情報２６ａ又は関連情報２６ｂの形式を示す情報（画像、テキスト等）が設定される。表示位置（領域）１１５３には、表示装置２２の画面上の領域情報２６ａ又は関連情報２６ｂが表示される位置や領域を示す情報が設定される。表示内容１１５４には、領域情報２６ａ又は関連情報２６ｂの表示装置２２への表示の方法や内容が設定される。

【0052】

図１に戻り、映像取得部１２０は、ユーザが所持する携帯情報端末２等によって取得された映像（動画又は静止画）の画像データを取得する。映像取得部１２０が取得した画像データは、記憶部１１０が画像データ１１１として記憶する。

【0053】

油検出部１２５は、画像分析部１２５１及び時系列画像分析部１２５２の各機能を含む。このうち画像分析部１２５１は、画像分析モデル１１２１により、映像取得部１２０により取得された画像データ１１１について、油が写っているか否かの判定や、油が写っている場合における油が写っている領域の特定等を行う。時系列画像分析部１２５２は、時系列分析モデル１１２２により、映像取得部１２０により取得された時系列の画像データ１１１群について、油が写っているか否かの判定や、油が写っている場合における油が写っている領域の特定等を行う。

【0054】

油属性判定部１３０は、油属性判定モデル１１２３により、映像取得部１２０により取得された画像データ１１１について、画像データ１１１に写っている油の属性情報を取得する。

【0055】

関連情報取得部１４０は、油属性判定部１３０により取得された属性情報に基づき当該属性情報に関連する情報を取得する。

【0056】

表示情報生成部１４５は、画像分析部１２５１や時系列画像分析部１２５２により特定された油が写っている領域について前述した領域情報２６ａを生成する。また、表示情報生成部１４５は、関連情報取得部１４０が取得した情報に基づき前述した関連情報２６ｂを生成する。

【0057】

映像表示部１５０は、撮影装置２１により撮影された映像を表示装置２２に表示する。また、表示情報生成部１４５によって生成された領域情報２６ａや関連情報２６ｂを、撮影装置２１により撮影中の映像２５に拡張現実として所定の態様で表示する。尚、映像表示部１５０は、過去に取得した画像データ１１１に基づく映像を、当該画像データ１１１について生成した領域情報２６ａや関連情報２６ｂを拡張現実として表示しつつ再生する機能を有していてもよい。これによりユーザは事後的な分析を行うことができる。

【0058】

モデル学習部１６０は、学習データ１１３による油検出モデル１１２の学習、即ち、画像分析用学習データ１１３１による画像分析モデル１１２１の学習、時系列分析用学習データ１１３２による時系列分析モデル１１２２の学習、及び、油属性判定用学習データ１１３３による油属性判定モデル１１２３の学習を行う。尚、学習データ１１３を学習に用いるデータと検証に用いるデータに分割し、学習に用いるデータで学習した後の油検出モデル１１２について検証に用いるデータで検証を行うようにしてもよい。

【0059】

図５は、油流出監視システム１の実現に用いる情報処理装置（コンピュータ）のハードウェアの一例である。例示する情報処理装置１０は、プロセッサ１１、主記憶装置１２、補助記憶装置１３、入力装置１４、出力装置１５、通信装置１６、計時装置１７、及び撮影装置１８を備える。油流出監視システム１は、通信可能に接続された複数の情報処理装置１０により構成してもよい。

【0060】

情報処理装置１０は、その全部又は一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。情報処理装置１０によって提供される機能の全部又は一部は、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現してもよい。情報処理装置１０によって提供される機能の全部又は一部は、例えば、ＳａａＳ（Software as a Service）、ＰａａＳ（Platform as a Service）、ＩａａＳ（Infrastructure as a Service）等を利用して実現されるものであってもよい。

【0061】

また、情報処理装置１０の全部又は一部は、例えば、油の流出の監視が行われる現場でユーザが使用する、スマートフォン、タブレット、ノートブック型パーソナルコンピュータ等の携帯型の情報端末であってもよい。例えば、前述した携帯情報端末２は、情報処理装置１０の一例であり、油流出監視システム１の全部又は一部を構成する。

【0062】

同図において、プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＡＩ（Artificial Intelligence）チップ等を用いて構成されている。

【0063】

主記憶装置１２は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。

【0064】

補助記憶装置１３は、例えば、ＳＳＤ（Solid State Drive）、ハードディスクドライブ、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）、ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の記録媒体の読取／書込装置、クラウドサーバの記憶領域等である。補助記憶装置１３には、記録媒体の読取装置や通信装置１６を介してプログラムやデータを読み込むことができる。補助記憶装置１３に格納（記憶）されているプログラムやデータは主記憶装置１２に随時読み込まれる。

【0065】

入力装置１４は、外部からの入力を受け付けるインタフェースであり、例えば、タッチパネル、キーボード、マウス、カードリーダ、ペン入力方式のタブレット、音声入力装置等である。

【0066】

出力装置１５は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置１５は、例えば、上記の各種情報を可視化する表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、上記の各種情報を音声化する装置（音声出力装置（スピーカ等））、上記の各種情報を文字化する装置（印字装置等）である。尚、例えば、情報処理装置１０が通信装置１６を介して他の装置との間で情報の入力や出力を行う構成としてもよい。

【0067】

入力装置１４及び出力装置１５は、ユーザとの間で情報の受け付けや情報の提示を行うユーザインタフェースを構成する。

【0068】

通信装置１６は、他の装置との間の通信を実現する装置である。通信装置１６は、インターネット等の通信ネットワークを介して他の装置との間の通信を実現する、有線方式又は無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢモジュール等である。

【0069】

計時装置１７は、精度の高い現在日時を生成する装置であり、ＲＴＣ（Real Time Clock）等を用いて構成される。計時装置１７は、通信装置１６がＮＴＰ（Network Time Protocol）により取得した日時により日時を較正するものであってもよい。

【0070】

撮影装置１８は、静止画又は動画を撮影し、撮影した映像に基づき画像データ１１１を生成する。撮影装置１８は、例えば、現場のユーザが使用するスマートフォンに備えられているカメラである。

【0071】

情報処理装置１０には、例えば、オペレーティングシステム、ファイルシステム、ＤＢＭＳ（DataBase Management System）（リレーショナルデータベース、ＮｏＳＱＬ等）、ＫＶＳ（Key-Value Store）等が導入されていてもよい。

【0072】

油流出監視システム１が備える前述した各機能は、情報処理装置１０のプロセッサ１１が、主記憶装置１２に格納されているプログラムを読み出して実行することにより、もしくは、情報処理装置１０のハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）によって実現される。情報処理装置１０は、前述した各種の情報（データ）を、例えば、データベースのテーブルやファイルシステムが管理するファイルとして記憶する。

【0073】

続いて、油流出監視システム１が行う主な処理について説明する。

【0074】

図６は、油流出監視システム１が、油検出モデル１１２（画像分析モデル１１２１、時系列分析モデル１１２２、油属性判定モデル１１２３）の学習に際して行う処理（以下、「学習処理Ｓ６００」と称する。）を説明するフローチャートである。同図に示すように、モデル学習部１６０は、画像分析モデル１１２１、時系列分析モデル１１２２、及び油属性判定モデル１１２３の夫々について、夫々、画像分析用学習データ１１３１、時系列分析用学習データ１１３２、油属性判定用学習データ１１３３を用いて個別に学習を行う（Ｓ６１１）。尚、油検出モデル１１２の学習には通常は多くの情報処理資源を必要とするため、油検出モデル１１２の学習は、例えば、クラウドシステムが提供する機械学習用のＡＰＩ（Application Programming Interface）等を利用して行ってもよい。

【0075】

図７は、油流出監視システム１を利用しつつユーザが油の流出を監視する際に油流出監視システム１が行う処理（以下、「油流出監視処理Ｓ７００」と称する。）を説明するフローチャートである。ユーザは、例えば、油流出監視システム１の構成要素であるスマートフォン等の携帯情報端末２を操作しつつ、現場で油の流出の監視作業を行う。油流出監視処理Ｓ７００は、例えば、携帯情報端末２のアプリケーションソフトウェアがクラウドと連携することにより行われる。以下、同図とともに油流出監視処理Ｓ７００について説明する。

【0076】

まず、油流出監視システム１の映像取得部１２０が、油の流出を監視しようとする現場の所定領域を撮影した映像（動画又は静止画）を取得する（Ｓ７１１）。上記の映像は、動画データから切り出された画像データでもよいし、静止画として撮影された画像データでもよい。映像取得部１２０が取得した映像（画像データ）は、油流出監視システム１の記憶部１１０が画像データ１１１として記憶する。

【0077】

続いて、油流出監視システム１の油検出部１２５（画像分析部１２５１、時系列画像分析部１２５２）が、画像データ１１１について油（油が写っている領域）の検出を行う（Ｓ７１２）。油を検出できなければ（Ｓ７１３：ＮＯ）、処理はＳ７１１に戻る。一方、油を検出すると（Ｓ７１３：ＹＥＳ）、油流出監視システム１の油属性判定部１３０が、検出した油の属性情報を取得する（Ｓ７１４）。

【0078】

続いて、油流出監視システム１の関連情報取得部１４０が、取得した属性情報に関連する情報を油使用設備情報１１４から取得する（Ｓ７１５）。例えば、関連情報取得部１４０は、属性情報を検索キーとして油使用設備情報１１４から情報を取得する。

【0079】

続いて、油流出監視システム１の表示情報生成部１４５が、画像分析部１２５１や時系列画像分析部１２５２により特定された油が写っている領域について前述した領域情報２６ａを生成する。また、表示情報生成部１４５は、関連情報取得部１４０が取得した情報に基づき前述した関連情報２６ｂを生成する（Ｓ７１６）。

【0080】

続いて、油流出監視システム１の映像表示部１５０が、撮影装置２１により撮影された映像を表示装置２２に表示するとともに、表示情報生成部１４５によって生成された領域情報２６ａや領域情報２６ａを、撮影装置２１により撮影中の映像２５に拡張現実として表示する（Ｓ７１７）。

【0081】

続いて、油流出監視システム１が、終了操作を行ったか否かを判定する（Ｓ７１８）。ユーザが、終了操作を行っていなければ（Ｓ７１８：ＮＯ）、処理はＳ７１１に戻る。ユーザが、終了操作を行っていれば（Ｓ７１８：ＹＥＳ）、油流出監視システム１は、油流出監視処理Ｓ７００を終了する。

【0082】

以上に説明したように、油流出監視システム１は、現場を撮影した映像に写っている油を機械学習モデル（画像分析モデル１１２１、時系列分析モデル１１２２）により検出し、油が写っている領域を示す情報である領域情報を拡張現実として映像とともに表示するので、ユーザは、油の流出を迅速かつ確実に発見することができ、適切な対応を早期にとることができる。

【0083】

また、油流出監視システム１は、油属性判定モデルにより、現場を撮影した映像から当該映像に写っている油に関する情報である属性情報を取得し、取得した属性情報を拡張現実として上記映像とともに表示するので、ユーザは、油に関する情報を容易に取得することができる。

【0084】

また、油流出監視システム１は、属性情報に対応する設備ＩＤを取得し、取得した設備ＩＤを拡張現実として上記映像とともに表示するので、ユーザは、取得した設備ＩＤを用いて、例えば、油の流出元の特定作業を効率よく行うことができる。

【0085】

また、油流出監視システム１は、油が写っている場合と写っていない場合の夫々の映像の特徴量（色、濃淡、模様等）を学習することにより生成される機械学習モデルである画像分析モデル１１２１を用いて油を検出するので、人の目では捉えにくい油の性状毎に特有の油の反射光の違いに基づき高い精度で油を検出することができる。

【0086】

また、油流出監視システム１は、油が写っている場合と写っていない場合の夫々の映像の時系列変化（油膜の色、濃淡、模様等の映像に映る油膜の時間的な揺らぎ等）を特徴量として学習することにより生成される機械学習モデルである時系列分析モデル１１２２を用いて油を検出するので、人の目では捉えにくい油の性状毎に特有の油の反射光の時系列変化に基づき高い精度で油を検出することができる。

【0087】

以上、本発明の実施形態について詳述したが、以上の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることは勿論である。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

【0088】

例えば、油流出監視システム１が、ドローン等に搭載した撮影装置で広範囲を撮影した映像の画像データ１１１について油検出部１２５により分析を行い、それにより得られる情報を映像表示部１５０により提供することで、ユーザは広域に拡散した油についての状況を容易かつ迅速に把握することができる。

【符号の説明】

【0089】

１ 油流出監視システム、２ 携帯情報端末、２１ 撮影装置、２２ 表示装置、２５ 映像、２６ａ 領域情報、２６ｂ 関連情報、３ ユーザ、４ 施設、５ 環境、１０ 情報処理装置、１１０ 記憶部、１１１ 画像データ、１１２ 油検出モデル、１１２１ 画像分析モデル、１１２２ 時系列分析モデル、１１２３ 油属性判定モデル、１１３ 学習データ、１１３１ 画像分析用学習データ、１１３２ 時系列分析用学習データ、１１３３ 油属性判定用学習データ、１１４ 油使用設備情報、１１５ 表示情報、１２０ 映像取得部、１２５ 油検出部、１２５１ 画像分析部、１２５２ 時系列画像分析部、１３０ 油属性判定部、１４０ 関連情報取得部、１４５ 表示情報生成部、１５０ 映像表示部、１６０ モデル学習部

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5】

【図6】

【図7】