知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022017900
(43)【公開日】2022-01-26
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
G06T 7/215 20170101AFI20220119BHJP
G06T 7/00 20170101ALI20220119BHJP
H04N 7/18 20060101ALI20220119BHJP
【ＦＩ】
G06T7/215
G06T7/00 350B
H04N7/18 D
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2020120735
(22)【出願日】2020-07-14
(71)【出願人】
【識別番号】000156938
【氏名又は名称】関西電力株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】特許業務法人深見特許事務所
(72)【発明者】
【氏名】角田 恵
(72)【発明者】
【氏名】土増 壯則
(72)【発明者】
【氏名】高橋 一紀
(72)【発明者】
【氏名】阿川 祐樹
(72)【発明者】
【氏名】方 暁倩
(72)【発明者】
【氏名】小野 俊二
【テーマコード（参考）】
5C054
5L096
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054EA01
5C054EA05
5C054FC12
5C054FC13
5C054FC15
5C054FC16
5C054FE05
5C054FE28
5C054HA19
5L096BA02
5L096CA02
5L096DA03
5L096FA19
5L096GA34
5L096GA51
5L096HA04
5L096KA04
(57)【要約】
【課題】流動している塵芥と滞留している塵芥とを判別可能な情報処理装置を提供する。
【解決手段】情報処理装置は、スクリーンが設置された取水口を有する水路のうち取水口が設けられた場所が撮像されたことに基づき、撮像により得られた画像データを取得する取得手段と、画像データ内における塵芥の領域を検知する領域検知手段と、密なオプティカルフローを用いて、画像データ内の領域を静領域と動領域とに分離する第１の分離手段と、検知された塵芥の領域を、静領域に含まれる第１の領域と、動領域に含まれる第２の領域とに分離する第２の分離手段と、第２の分離手段による分離結果に基づく報知を行う報知手段とを備える。
【選択図】図８
【解決手段】情報処理装置は、スクリーンが設置された取水口を有する水路のうち取水口が設けられた場所が撮像されたことに基づき、撮像により得られた画像データを取得する取得手段と、画像データ内における塵芥の領域を検知する領域検知手段と、密なオプティカルフローを用いて、画像データ内の領域を静領域と動領域とに分離する第１の分離手段と、検知された塵芥の領域を、静領域に含まれる第１の領域と、動領域に含まれる第２の領域とに分離する第２の分離手段と、第２の分離手段による分離結果に基づく報知を行う報知手段とを備える。
【選択図】図８
【特許請求の範囲】
【請求項1】
スクリーンが設置された取水口を有する水路のうち前記取水口が設けられた場所が撮像されたことに基づき、前記撮像により得られた画像データを取得する取得手段と、
前記画像データ内における塵芥の領域を検知する領域検知手段と、
密なオプティカルフローを用いて、前記画像データ内の領域を静領域と動領域とに分離する第１の分離手段と、
検知された前記塵芥の領域を、前記静領域に含まれる第１の領域と、前記動領域に含まれる第２の領域とに分離する第２の分離手段と、
前記第２の分離手段による分離結果に基づく報知を行う報知手段とを備える、情報処理装置。
前記画像データ内における塵芥の領域を検知する領域検知手段と、
密なオプティカルフローを用いて、前記画像データ内の領域を静領域と動領域とに分離する第１の分離手段と、
検知された前記塵芥の領域を、前記静領域に含まれる第１の領域と、前記動領域に含まれる第２の領域とに分離する第２の分離手段と、
前記第２の分離手段による分離結果に基づく報知を行う報知手段とを備える、情報処理装置。
【請求項2】
前記領域検知手段は、学習済みモデルであり、
前記学習済みモデルは、前記画像データを入力として受け付け、前記塵芥の領域を示す情報を出力する、請求項１に記載の情報処理装置。
前記学習済みモデルは、前記画像データを入力として受け付け、前記塵芥の領域を示す情報を出力する、請求項１に記載の情報処理装置。
【請求項3】
前記画像データにおける前記第１の領域の位置と、前記画像データにおける前記スクリーンの位置とに基づき、前記スクリーンへの前記塵芥の付着状況を判定する判定手段をさらに備える、請求項１または２に記載の情報処理装置。
【請求項4】
前記判定手段は、前記第１の領域のうち前記スクリーンと前記水路の水面との交線に沿った部分領域の前記交線の方向の第１の長さに基づいて、前記スクリーンへの前記塵芥の付着状況を判定する請求項３に記載の情報処理装置。
【請求項5】
前記判定手段は、前記スクリーンの前記交線の方向の第２の長さに対する前記第１の長さの割合に基づき、前記スクリーンへの前記塵芥の付着状況を判定する、請求項４に記載の情報処理装置。
【請求項6】
前記判定手段は、前記割合が第１の閾値以上である場合には、前記スクリーン全体に前記塵芥が付着していると判定する、請求項５に記載の情報処理装置。
【請求項7】
前記判定手段は、前記割合が前記第１の閾値以上である場合、前記画像データ内の水面領域に対する前記塵芥の領域の割合が第２の閾値以上であるときには、前記水路に濁りが発生していると判定する、請求項６に記載の情報処理装置。
【請求項8】
前記第２の領域の面積に基づき、前記スクリーンに対する前記塵芥の付着状況を予測する予測手段をさらに備える、請求項１から７のいずれか１項に記載の情報処理装置。
【請求項9】
前記予測手段は、前記第２の領域の面積の値と前記塵芥が前記スクリーン全体に付着する時間との関係を示した参照用データに基づき、前記スクリーン全体に前記塵芥が付着するまでの時間を予測する、請求項８に記載の情報処理装置。
【請求項10】
前記報知は、前記情報処理装置が前記第１の領域と前記第２の領域とを異なる表示態様で表示することである、請求項１から９のいずれか１項に記載の情報処理装置。
【請求項11】
前記報知は、判定された前記塵芥の付着状況を外部の端末装置に通知することである、請求項３から７のいずれか１項に記載の情報処理装置。
【請求項12】
前記報知は、予測された前記塵芥の付着状況を外部の端末装置に通知することである、請求項８または９に記載の情報処理装置。
【請求項13】
撮像装置と、サーバ装置と、端末装置とを備えた監視システムであって、
前記撮像装置は、スクリーンが設置された取水口を有する水路のうち前記取水口が設けられた場所を撮像し、かつ撮像によりえら得た画像データを前記サーバ装置に送信し、
前記サーバ装置は、
前記撮像装置から、前記撮像により得られた画像データを受信し、
学習済みモデルを用いて、前記画像データ内における塵芥の領域を検知し、
密なオプティカルフローを用いて、前記画像データ内の領域を静領域と動領域とに分離し、
検知された前記塵芥の領域を、前記静領域に含まれる第１の領域と、前記動領域に含まれる第２の領域とに分離し、
前記塵芥の領域の分離結果に基づく情報を前記端末装置に送信し、
前記端末装置は、前記情報を前記サーバ装置から受信し、かつ前記情報に基づく出力を行う、監視システム。
前記撮像装置は、スクリーンが設置された取水口を有する水路のうち前記取水口が設けられた場所を撮像し、かつ撮像によりえら得た画像データを前記サーバ装置に送信し、
前記サーバ装置は、
前記撮像装置から、前記撮像により得られた画像データを受信し、
学習済みモデルを用いて、前記画像データ内における塵芥の領域を検知し、
密なオプティカルフローを用いて、前記画像データ内の領域を静領域と動領域とに分離し、
検知された前記塵芥の領域を、前記静領域に含まれる第１の領域と、前記動領域に含まれる第２の領域とに分離し、
前記塵芥の領域の分離結果に基づく情報を前記端末装置に送信し、
前記端末装置は、前記情報を前記サーバ装置から受信し、かつ前記情報に基づく出力を行う、監視システム。
【請求項14】
スクリーンが設置された取水口を有する水路のうち前記取水口が設けられた場所が撮像されたことに基づき、前記撮像により得られた画像データを取得するステップと、
前記画像データ内における塵芥の領域を検知するステップと、
密なオプティカルフローを用いて、前記画像データ内の領域を静領域と動領域とに分離するステップと、
検知された前記塵芥の領域を、前記静領域に含まれる第１の領域と、前記動領域に含まれる第２の領域とに分離するステップと、
前記第１の領域と前記第２の領域とへの分離結果に基づく報知を行うステップとを備える、情報処理方法。
前記画像データ内における塵芥の領域を検知するステップと、
密なオプティカルフローを用いて、前記画像データ内の領域を静領域と動領域とに分離するステップと、
検知された前記塵芥の領域を、前記静領域に含まれる第１の領域と、前記動領域に含まれる第２の領域とに分離するステップと、
前記第１の領域と前記第２の領域とへの分離結果に基づく報知を行うステップとを備える、情報処理方法。
【請求項15】
前記画像データにおける前記第１の領域の位置と、前記画像データにおける前記スクリーンの位置とに基づき、前記スクリーンへの前記塵芥の付着状況を判定するステップをさらに備える、請求項１４に記載の情報処理方法。
【請求項16】
前記第２の領域の面積に基づき、前記スクリーンに対する前記塵芥の付着状況を予測するステップをさらに備える、請求項１４または１５に記載の情報処理方法。
【請求項17】
情報処理装置を制御するプログラムであって、
スクリーンが設置された取水口を有する水路のうち前記取水口が設けられた場所が撮像されたことに基づき、前記撮像により得られた画像データを取得するステップと、
前記画像データ内における塵芥の領域を検知するステップと、
密なオプティカルフローを用いて、前記画像データ内の領域を静領域と動領域とに分離するステップと、
検知された前記塵芥の領域を、前記静領域に含まれる第１の領域と、前記動領域に含まれる第２の領域とに分離するステップと、
前記第１の領域と前記第２の領域とへの分離結果に基づく報知を行うステップとを、前記情報処理装置のプロセッサに実行させる、プログラム。
スクリーンが設置された取水口を有する水路のうち前記取水口が設けられた場所が撮像されたことに基づき、前記撮像により得られた画像データを取得するステップと、
前記画像データ内における塵芥の領域を検知するステップと、
密なオプティカルフローを用いて、前記画像データ内の領域を静領域と動領域とに分離するステップと、
検知された前記塵芥の領域を、前記静領域に含まれる第１の領域と、前記動領域に含まれる第２の領域とに分離するステップと、
前記第１の領域と前記第２の領域とへの分離結果に基づく報知を行うステップとを、前記情報処理装置のプロセッサに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、監視システム、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
水路には落ち葉などの塵芥が浮遊している。このような塵芥は、水路の取水口を詰まらせる。詳しくは、水流によって取水口の方向に流された塵芥が取水口に設置されたスクリーンに付着することにより、水路の詰まりを起こす。
【0003】
また従来、動体検知の手法として、オプティカルフロー（optical flow）が知られている。オプティカルフローは、密なオプティカルフローと、疎なオプティカルフローとに区別される。たとえば、国際公開第２０１７／１４５７１１号（特許文献１）には、多数の人によって混雑しているような動的な環境において撮影された連続画像に対して、疎なオプティカルフローを適用した処理が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１７／１４５７１１号
【発明の概要】
【発明が解決しようとする課題】
【0005】
流動している塵芥は、今後、スクリーンに付着する可能性がある。スクリーンに付着した塵芥は、その後もスクリーンにて滞留する。それゆえ、水路の取水口付近の塵芥を流動している塵芥と滞留している塵芥とを自動で判別できれば、水路の管理者にとって利便性が増す。
【0006】
本開示は、流動している塵芥と滞留している塵芥とを判別可能な情報処理装置、監視システム、情報処理方法、およびプログラムを提供する。
【課題を解決するための手段】
【0007】
本開示のある局面に従うと、情報処理装置は、スクリーンが設置された取水口を有する水路のうち取水口が設けられた場所が撮像されたことに基づき、撮像により得られた画像データを取得する取得手段と、画像データ内における塵芥の領域を検知する領域検知手段と、密なオプティカルフローを用いて、画像データ内の領域を静領域と動領域とに分離する第１の分離手段と、検知された塵芥の領域を、静領域に含まれる第１の領域と、動領域に含まれる第２の領域とに分離する第２の分離手段と、第２の分離手段による分離結果に基づく報知を行う報知手段とを備える。
【0008】
本開示の他の局面に従うと、監視システムは、撮像装置と、サーバ装置と、端末装置とを備える。撮像装置は、スクリーンが設置された取水口を有する水路のうち取水口が設けられた場所を撮像し、かつ撮像により得られた画像データをサーバ装置に送信する。サーバ装置は、撮像装置から、撮像により得られた画像データを受信する。サーバ装置は、学習済みモデルを用いて、画像データ内における塵芥の領域を検知する。サーバ装置は、密なオプティカルフローを用いて、画像データ内の領域を静領域と動領域とに分離する。サーバ装置は、検知された塵芥の領域を、静領域に含まれる第１の領域と、動領域に含まれる第２の領域とに分離し、塵芥の領域の分離結果に基づく情報を端末装置に送信する。端末装置は、情報をサーバ装置から受信し、かつ情報に基づく出力を行う。
【0009】
本開示のさらに他の局面に従うと、情報処理方法は、スクリーンが設置された取水口を有する水路のうち取水口が設けられた場所が撮像されたことに基づき、撮像により得られた画像データを取得するステップと、画像データ内における塵芥の領域を検知するステップと、密なオプティカルフローを用いて、画像データ内の領域を静領域と動領域とに分離するステップと、検知された塵芥の領域を、静領域に含まれる第１の領域と、動領域に含まれる第２の領域とに分離するステップと、第１の領域と第２の領域とへの分離結果に基づく報知を行うステップとを備える。
【0010】
本開示のさらに他の局面に従うと、情報処理装置を制御するプログラムは、スクリーンが設置された取水口を有する水路のうち取水口が設けられた場所が撮像されたことに基づき、撮像により得られた画像データを取得するステップと、画像データ内における塵芥の領域を検知するステップと、密なオプティカルフローを用いて、画像データ内の領域を静領域と動領域とに分離するステップと、検知された塵芥の領域を、静領域に含まれる第１の領域と、動領域に含まれる第２の領域とに分離するステップと、第１の領域と第２の領域とへの分離結果に基づく報知を行うステップとを、情報処理装置のプロセッサに実行させる。
【発明の効果】
【0011】
上記開示によれば、流動している塵芥と滞留している塵芥とを判別可能となる。
【図面の簡単な説明】
【0012】
【図1】水路を説明するための図である。
【図2】監視システムのシステム構成を説明するための図である。
【図3】塵芥の状態を表した模式図である。
【図4】監視カメラによって撮像された画像を示した図である。
【図5】動体検知と領域検知とを説明するための図である。
【図6】サーバ装置の機能的構成を説明するための図である。
【図7】学習済みモデルの生成方法を説明するための模式図である。
【図8】フレーム画像に対するデータ処理を説明するための図である。
【図9】密なオプティカルフローを用いたマスク画像の生成方法の詳細を説明するための模式図である。
【図10】制御部によって検知されるデータと、当該データの一部を用いた判定および予測の内容とを示した図である。
【図11】監視カメラによって撮像された画像を示した図である。
【図12】塵芥滞留領域のうちスクリーンと水面との交線に沿った部分領域の当該交線の方向の長さを説明するため図である。
【図14】塵芥滞留領域の面積と、スクリーン占有率との変化を示した図である。
【図16】濁り判定を説明するための図である。
【図17】濁り判定の閾値と、予測処理に用いる閾値の例とを示した図である。
【図18】サーバ装置の処理の流れを表したフロー図である。
【図19】サーバ装置のハードウェア構成を説明するための図である。
【発明を実施するための形態】
【0013】
以下、図面を参照しつつ、本発明の実施の形態に係る監視システムについて説明する。以下の説明では、同一の部材には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0014】
また、以下では、水路に浮遊する塵芥（浮遊性塵芥）の例として、落ち葉を挙げて説明する。ただし、塵芥は、落ち葉に限定されるものではない。さらに、以下に示す、枚数、個数、および閾値等の各数値は、例示であって、記載された具体的数値に限定されるものではない。
【0015】
＜Ａ．水路＞
図１は、水路を説明するための図である。
図１は、水路を説明するための図である。
【0016】
図１を参照して、本例では、水路５０は、河川４０から分岐した水路である。水路５０を流れる水は、小水力発電所９０に供給される。小水力発電所９０では、この水は発電設備の発電用水として利用される。その後、水は、河川４０に放流される。なお、典型的には、１００００ｋＷ以下が「小水力」と称される。
【0017】
河川４０の流域は、通常、広葉落葉樹が多く樹勢している。それゆえ、秋になると大量の落ち葉が、河川４０に流れ込む。流れ込んだ落ち葉（すなわち、塵芥）は、小水力発電所９０用の水路５０にも流れ込む。塵芥は、取水口のスクリーン６０に付着して詰まりを起こすため、発電量低下（「溢水」とも称される）の原因となっている。なお、スクリーン６０は、典型的には金属製の柵である。
【0018】
＜Ｂ．監視システム＞
図２は、監視システムのシステム構成を説明するための図である。
図２は、監視システムのシステム構成を説明するための図である。
【0019】
図２を参照して、監視システム１は、サーバ装置１０と、端末装置２０と、監視カメラ３０とを備える。監視カメラ３０は、サーバ装置１０と通信可能に接続されている。端末装置２０は、ネットワークを介して通信可能にサーバ装置１０に接続されている。
【0020】
端末装置２０は、本例ではデスクトップ型のＰＣ（Personal Computer）を挙げているが、これに限定されるものではない。端末装置２０は、たとえば、ラップトップ型のＰＣ、タブレット端末、またはスマートフォンであってもよい。
【0021】
監視カメラ３０は、水路５０を撮像するために水路５０の傍に設置されている。本例では、監視カメラ３０は、水路５０のうち取水口７０の状態を監視するために、取水口７０が設けられた場所Ｒ１を撮像するように設置されている。なお、取水口７０には、一定形状をした大きな異物（流木等）が発電設備に流れ込まないように、スクリーン６０が設けられている。
【0022】
監視カメラ３０による撮像によって得られた映像（すなわち連続する静止画像）は、サーバ装置１０に送られる。小水力発電所９０の管理者等は、当該映像を端末装置２０で見ることができる。つまり、小水力発電所９０の管理者等は、取水口７０の状態を映像によって監視することができる。
【0023】
サーバ装置１０は、このような監視カメラ３０によって撮像された映像を利用した処理を実行する。詳しくは、サーバ装置１０は、学習済みモデルを用いて、水路５０の塵芥を検知する。また、詳細については後述するが、サーバ装置１０は、検知された塵芥の領域を、密のオプティカルフローを用いて、塵芥が滞留している領域（以下、「塵芥滞留領域」とも称する）と、塵芥が流動している領域（以下、「塵芥流動領域」とも称する）とに分離する。
【0024】
小水力発電所９０の管理者等が行きにくい場所の取水口７０を監視対象とすることにより、監視システム１の利便性が増す。なお、水路５０は、発電所用のものに限定されない。水路５０は、大きな規模の発電所用の水路、あるいは農業用水路等の発電目的以外の水路であってもよい。
【0025】
【0026】
図３を参照して、水路５０に流れこんだ塵芥８０は、水底から水面まで拡がって浮遊している。なお、本例では、「浮遊」は、滞留状態での浮遊と、流動状態での浮遊とを含む。水面で浮遊する塵芥８０もあれば、水面下（水中）で浮遊する塵芥８０もある。
【0027】
水路を浮遊する塵芥８０の一部は、水の流れの向き（矢印Ａ１の向き）に流される。そのうちの一部の塵芥８０は、スクリーン６０に付着する。場所Ｒ１のうちスクリーン６０の領域Ｒ２では、塵芥８０は、スクリーン６０を通過する水の流れによって、既に塵芥８０が付着している場所を避けてスクリーン６０に付着する。図の例では、領域Ｒ２の塵芥８０は、矢印Ａ２の方向ではなく、矢印Ａ３の方向に流される。
【0028】
図４は、監視カメラ３０によって撮像された画像を示した図である。図４（Ａ）は、スクリーン６０に付着する塵芥８０が少ないときの画像２０１を示した図である。図４（Ｂ）は、スクリーン６０全体に塵芥８０が付着したときの画像２０２を示した図である。
【0029】
図４（Ａ）を参照して、塵芥８０は、既に塵芥８０が付着している部分に重ならず、隙間によって水の流れが生じている箇所に付着する。これにより、図４（Ｂ）に示すように、塵芥８０は、スクリーン６０に対して、水面から水底まで薄く、かつ万遍なく付着していく。
【0030】
＜Ｄ．動体検知と領域検知＞
図５は、動体検知と領域検知とを説明するための図である。
図５は、動体検知と領域検知とを説明するための図である。
【0031】
図５を参照して、動体検知の手法として、密なオプティカルフローを用いた手法と、疎なオプティカルフローを用いた手法と、フレーム間差分を用いた手法と、背景差分を用いた手法とがある。
【0032】
密なオプティカルフローでは、画素毎に対象物の移動を追跡することにより、移動ベクトルを算出する。疎なオプティカルフローでは、特徴点のマッチングを行うことにより、対象物の移動を追跡する。フレーム間差分では、連続する前後のフレーム同士の差分に基づき、対象物の移動を検出する。背景差分では、過去のフレームから背景画像を生成し、かつ、生成された背景画像との差分に基づき対象物の移動を検出する。
【0033】
密なオプティカルフローによれば、流動する塵芥を検知できる。ただし、密なオプティカルフローでは、誤検知が多く発生する。疎なオプティカルフロー、フレーム間差分、および背景差分では、流動する塵芥の一部しか検知できない。
【0034】
また、動体検知では、動体を検知するため、滞留しているものは検知されない。それゆえ、図に示すように、「塵芥滞留領域と塵芥流動領域とに分離して塵芥を検知」の欄には、対象外として「－」を記載している。さらに、動体検知では、いずれの手法を用いても、塵芥の量を推定できない。
【0035】
次に、領域検知について説明する。領域検知には、典型的には、機械学習によって生成された学習済みモデルを用いることができる。学習済みモデルは、サポートベクターマシン(ＳＶＭ：Support Vector Machine)、ニューラルネットワーク等に対して教師あり学習を実行させることにより生成される。ニューラルネットワークとして、ディープラーニングによって生成されたディープニューラルネットワークを利用できる。
【0036】
このような領域検知によれば、全ての塵芥を検知（捕捉）できる。ただし、塵芥滞留領域と塵芥流動領域とを分離した上での領域検知は行えない。すなわち、滞留している塵芥と、流動している塵芥とを区別できない。その一方で、領域検知によれば、動体検知とは異なり、塵芥の量を推定できる。
【0037】
各手法の上記特性を考慮し、本実施の形態では、学習済みモデルを用いて塵芥の領域を検知し、かつ、検知された塵芥の領域を密なオプティカルフローを用いて塵芥滞留領域と塵芥流動領域とに分離する。これらの処理の詳細および具体例については、後述する。
【0038】
＜Ｅ．処理の詳細＞
図６は、サーバ装置１０の機能的構成を説明するための図である。
図６は、サーバ装置１０の機能的構成を説明するための図である。
【0039】
図６を参照して、サーバ装置１０は、制御部１１０と、取得部１２０と、送信部１３０と、表示部１４０とを備える。
【0040】
制御部１１０は、サーバ装置１０の全体的な動作を制御する。制御部１１０は、塵芥領域検知部１１１と、第１領域分離部１１２と、第２領域分離部１１３と、判定部１１４と、予測部１１５と、送信制御部１１７と、表示制御部１１８とを含む。
【0041】
なお、送信制御部１１７と、表示制御部１１８と、送信部１３０と、表示部１４０とにより、報知部１５０が構成される。
【0042】
取得部１２０は、監視カメラ３０からフレーム画像（フレーム画像データ）を取得（受信）する。取得部１２０は、監視カメラ３０との間の通信インターフェイスとして機能する。本例では、取得部１２０は、１秒間に３枚のフレーム画像を監視カメラ３０から取得する。取得部１２０は、取得されたフレーム画像を制御部１１０に送る。フレーム画像は、塵芥領域検知部１１１と、第１領域分離部１１２とに送られる。以下、各部の処理の詳細について、説明する。
【0043】
（ｅ１．領域分離）
塵芥領域検知部１１１と、第１領域分離部１１２と、第２領域分離部１１３との処理について説明する。
塵芥領域検知部１１１と、第１領域分離部１１２と、第２領域分離部１１３との処理について説明する。
【0044】
塵芥領域検知部１１１は、取得部１２０から送られてきたフレーム画像内における塵芥の領域を検知する。第１領域分離部１１２は、密なオプティカルフローを用いて、取得部１２０から送られてきたフレーム画像内の領域を静領域と動領域とに分離する。第２領域分離部１１３は、塵芥領域検知部１１１によって検知された塵芥の領域を、静領域に含まれる領域（すなわち、塵芥滞留領域）と、動領域に含まれる領域（塵芥流動領域）とに分離する。詳しく説明すると、以下のとおりである。
【0045】
（１）学習済みモデル
塵芥領域検知部１１１は、学習済みモデルによる検知処理を実行する。以下では、学習済みモデルの利用に先立ち、当該学習済みモデルの生成方法を説明する。すなわち、学習段階を説明する。
塵芥領域検知部１１１は、学習済みモデルによる検知処理を実行する。以下では、学習済みモデルの利用に先立ち、当該学習済みモデルの生成方法を説明する。すなわち、学習段階を説明する。
【0046】
図７は、学習済みモデルの生成方法を説明するための模式図である。
図７を参照して、学習用データ４１０として、複数の画像データを利用する。各画像データに対して、ピクセル単位で塵芥８０であることを示すラベルを付ける。ラベル付けがされた画像データを学習することにより、学習済みモデル４２０が生成される。学習済みモデル４２０は、典型的には、ディープニューラルネットワーク構造と、パラメーターとで構成される。学習済みモデル４２０は、典型的には、逆誤差伝搬法を用いて生成される。なお、学習済みモデル４２０は、サーバ装置１０で生成されてもよいし、他の装置で生成されてもよい。
図７を参照して、学習用データ４１０として、複数の画像データを利用する。各画像データに対して、ピクセル単位で塵芥８０であることを示すラベルを付ける。ラベル付けがされた画像データを学習することにより、学習済みモデル４２０が生成される。学習済みモデル４２０は、典型的には、ディープニューラルネットワーク構造と、パラメーターとで構成される。学習済みモデル４２０は、典型的には、逆誤差伝搬法を用いて生成される。なお、学習済みモデル４２０は、サーバ装置１０で生成されてもよいし、他の装置で生成されてもよい。
【0047】
このような学習済みモデル４２０によれば、フレーム画像毎に、塵芥８０の領域（画素）を判定することが可能となる。また、塵芥８０の領域が判定されるため、当該領域の面積（具体的には、ピクセル数）も検知できる。
【0048】
なお、詳細については後述するが、本例では、動体検知との関係で、１２枚のフレーム画像毎に塵芥８０の領域の検出が行われる。具体的には、４秒に１回、学習済みモデルを用いた領域検知が行われる。
【0049】
（２）処理の概要
図８は、フレーム画像に対するデータ処理を説明するための図である。詳しくは、図８は、塵芥領域検知部１１１による処理と、第１領域分離部１１２による処理と、第２領域分離部１１３による処理との概要を示した模式図である。
図８は、フレーム画像に対するデータ処理を説明するための図である。詳しくは、図８は、塵芥領域検知部１１１による処理と、第１領域分離部１１２による処理と、第２領域分離部１１３による処理との概要を示した模式図である。
【0050】
図８を参照して、塵芥領域検知部１１１は、フレーム画像２１０を学習済みモデル４２０に入力することにより、出力として塵芥の領域を表したデータを得る。画像５１０は、フレーム画像２１０における塵芥の領域に対して、特定の第１の色（たとえば赤色）を付けた画像である。
【0051】
塵芥領域検知部１１１は、塵芥の領域の位置情報（フレーム画像内の位置を示す情報）を第２領域分離部１１３に通知する。また、塵芥領域検知部１１１は、塵芥の領域が特定されたことに基づき、塵芥の領域の面積を算出する。
【0052】
第１領域分離部１１２は、フレーム画像２１０に対して密なオプティカルフローを実行する。正確には、第１領域分離部１１２は、複数のフレーム画像２１０に基づき、密なオプティカルフローを用いた動体検知を実行する。なお、複数のフレーム画像２１０を用いる理由は、１枚のフレーム画像では動体検知できないためである。
【0053】
第１領域分離部１１２は、密なオプティカルフローによりフレーム画像２１０の領域（全体領域）を、静領域６１０Ｓと動領域６１０Ｍとに分離する。具体的には、第１領域分離部１１２は、静領域６１０Ｓを「０（黒）」、動領域６１０Ｍを「１（白）」としたマスク画像６１０（２値画像）を生成する。詳しくは、マスク画像６１０は、連続する複数のフレーム画像に基づいて生成される。詳細については、後述する（図１８）。
【0054】
第２領域分離部１１３は、マスク画像６１０を用いて、検出された塵芥の領域を、塵芥滞留領域と塵芥流動領域とに分離する。すなわち、塵芥８０を、滞留している塵芥８０Ｓと、流動している塵芥８０Ｍとに分類する。
【0055】
画像５１０Ｓは、画像２１０における塵芥滞留領域（滞留している塵芥８０Ｓ）に対して、特定の第２の色（たとえば、ピンク色）を付けた画像である。画像５１０Ｍは、画像２１０における塵芥流動領域（流動している塵芥８０Ｍ）に対して、特定の第３の色（たとえば、緑色）を付けた画像である。
【0056】
以上のような２つの処理（塵芥領域の検知処理および密なオプティカルフローによる動体検知処理）によって、フレーム画像中の塵芥を、滞留している塵芥と流動している塵芥とに分離することが可能となる。
【0057】
第２領域分離部１１３は、判定部１１４と予測部１１５とに分離結果を通知する。詳しくは、第２領域分離部１１３は、塵芥滞留領域の位置情報を判定部１１４に通知する。第２領域分離部１１３は、塵芥流動領域の位置情報を予測部１１５に通知する。
【0058】
以下、上記のような分離手法を採る理由を説明する。
学習済みモデルで検知した塵芥の領域を塵芥滞留領域と塵芥流動領域とに分離するには、「動体検知により流動する塵芥を検知して、かつ当該検知結果と学習済みモデルの結果と合成する」といった手法が考えられる。
学習済みモデルで検知した塵芥の領域を塵芥滞留領域と塵芥流動領域とに分離するには、「動体検知により流動する塵芥を検知して、かつ当該検知結果と学習済みモデルの結果と合成する」といった手法が考えられる。
【0059】
しかしながら、動体検知のうち、疎なオプティカルフロー、フレーム間差分、背景差分は、上述したように、流動する塵芥の一部しか検知できない。それゆえ、塵芥の領域を塵芥滞留領域と塵芥流動領域とに正確に分離することは難しい。また、密なオプティカルフローでは、全ての画素の移動ベクトルを求められるが、流動する塵芥そのもの検知は難しい。
【0060】
そこで、本実施の形態では、画面全体を静と動との２領域に分割したマスク画像を生成し、かつ当該マスクと学習済みモデルで検知した塵芥の領域とを合成する手法を採用した。
【0061】
（３）密なオプティカルフロー
第１領域分離部１１２による密なオプティカルフローを用いたマスク生成について、具体的に説明すると以下のとおりである。なお、密なオプティカルフローは、オープンソースのコンピュータビジョン向けライブラリであるＯｐｅｎＣＶ（Open Source Computer Vision Library）を用いることにより実現できる。
第１領域分離部１１２による密なオプティカルフローを用いたマスク生成について、具体的に説明すると以下のとおりである。なお、密なオプティカルフローは、オープンソースのコンピュータビジョン向けライブラリであるＯｐｅｎＣＶ（Open Source Computer Vision Library）を用いることにより実現できる。
【0062】
図９は、密なオプティカルフローを用いたマスク画像の生成方法の詳細を説明するための模式図である。
【0063】
図９を参照して、第１領域分離部１１２は、フレーム画像２２０（状態（Ａ））に対して、密なオプティカルフローを実行することにより、各画素の移動ベクトルを算出する。本例では、第１領域分離部１１２は、移動ベクトルを、ＨＳＶ（ＨＳＶ色空間）の値に変換する。これにより、ＨＳＶ画像７２０が生成される（状態（Ｂ））。
【0064】
なお、ＨＳＶとは、色を色相（Hue）と彩度（Saturation）と明度（Value）との３要素で表現する方式である。本例では、Ｈの値は、移動方向を表す。Ｈの数値範囲（ＯｐｅｎＣＶでの数値範囲）は、０から１８０である。Ｖは、移動距離を表す。Ｖの数値範囲は、０から２５５である。
【0065】
第１領域分離部１１２は、ＨＳＶで示された画像を、Ｖに関する閾値を用いて２値化する。本例では、閾値を７０としている。第１領域分離部１１２は、Ｖの値が７０未満の画素を「０（黒）」とし、Ｖの値が７０以上の画素を「１（白）」とする。すなわち、第１領域分離部１１２は、Ｖの値が７０以上の画素を動体として検知する。
【0066】
第１領域分離部１１２は、フレーム画像２２０の領域を、Ｖの値が７０未満である静領域６２０Ｓと、Ｖの値が７０以上である動領域６２０Ｍとに分離する。これにより、ＨＳＶ画像７２０からマスク画像６２０が生成される（状態（Ｃ））。
【0067】
次に、第２領域分離部１１３は、フレーム画像２２０とマスク画像６２０とを合成し、合成画像８２０を得る（状態（Ｄ））。このような合成処理により、第２領域分離部１１３は、検出された塵芥の領域を、塵芥滞留領域と塵芥流動領域とに分離することができる。
【0068】
【0069】
図１０は、制御部１１０によって検知されるデータと、当該データの一部を用いた判定および予測の内容とを示した図である。
【0070】
図１０を参照して、学習済みモデル４２０によって、塵芥の領域の位置情報と、塵芥の領域の面積とが検知される。密なオプティカルフローによって、静領域と動領域とを示したマップ（すなわちマスク画像）が得られる。なお、マスク画像（図８のマスク画像６１０を参照）では、フレーム画像のピクセル毎に静の領域と動の領域とが特定されている。上述したように、第２領域分離部１１３によるマスク処理によって、塵芥滞留領域の位置情報と、塵芥流動領域の位置情報とが検知される。
【0071】
判定部１１４は、フレーム画像における塵芥滞留領域の位置と、フレーム画像におけるスクリーン６０の位置とに基づき、スクリーン６０への塵芥の付着状況を判定する。
【0072】
具体的には、判定部１１４は、塵芥滞留領域の位置情報に基づいて、塵芥滞留領域の面積（ピクセル数）を算出する。判定部１１４は、塵芥滞留領域の位置情報に基づいて、塵芥滞留領域のスクリーン６０に沿った長さ（以下、Ｌｓ）を算出する。詳しくは、判定部１１４は、塵芥滞留領域のうちスクリーン６０と水路の水面との交線（図１２参照）に沿った部分領域における当該交線の方向の長さＬｓを算出する。
【0073】
さらに、判定部１１４は、当該交線の長さ（以下、Ｌ０）に対する長さＬｓの割合Ｗ（％）を算出する。すなわち、判定部１１４は、（Ｌｓ／Ｌ０）×１００の値を算出する。なお、割合Ｗを百分率で算出する必要は必ずしもない。なお、以下では、割合Ｗを、「スクリーン占有率」とも称する。
【0074】
判定部１１４は、算出されたスクリーン占有率に基づいて、スクリーン６０への塵芥の付着状況を判定する。たとえば算出されたスクリーン占有率が８０％以上である場合には、判定部１１４は、塵芥がスクリーン６０全体に付着していると判定する。判定部１１４は、判定結果を報知部１５０（図６参照）に通知する。
【0075】
予測部１１５は、塵芥流動領域の位置情報に基づいて、塵芥流動領域の面積（ピクセル数）を算出する。予測部１１５は、算出された塵芥流動領域の面積に基づいて、塵芥の発生状況（傾向）を予測する。たとえば算出された面積が２００ピクセル以上の場合には、予測部１１５は、１時間程度でスクリーン６０全体に塵芥が付着すると予測する。予測部１１５は、予測結果を報知部１５０に通知する。
【0076】
詳しくは、予測部１１５は、塵芥流動領域の面積の値と、塵芥がスクリーン６０全体に付着する時間との関係を示した参照用データを記憶している。予測部１１５は、参照用データに基づき、塵芥の発生状況を予測する。なお、参照用データは、予測部１１５とは異なる場所（図示しない記憶部等）に記憶されていてもよい。
【0077】
詳細については後述するが、塵芥滞留領域の位置情報と、塵芥滞留領域の面積と、塵芥流動領域の位置情報と、塵芥流動領域の面積とのうち、塵芥滞留領域の面積と、塵芥流動領域の面積とが、濁り判定に用いられる。濁り判定については、後述する（図１６，図１７）。
【0078】
なお、上記においては、判定部１１４が塵芥滞留領域の面積を算出し、予測部１１５が塵芥流動領域の面積を算出する構成を例に挙げて説明した。しかしながら、これに限定されず、これらの面積を算出する面積算出部を別途設けてもよい。
【0079】
（２）詳細
濃霧等の特殊な気象条件とならない限り、水面上に取り付けた監視カメラ３０の映像（フレーム画像）において確実に映るのは水面である。スクリーン６０のうち水面下の部分に対する塵芥の付着状況は、濁り、光の反射等で映像に映らないことも想定される。それゆえ、映像に映る水面上の塵芥だけで、スクリーン６０のうち水面下の部分も含めた塵芥の付着状況を推定する必要がある。以下、図１１～図１３に基づき、この点について説明する。
濃霧等の特殊な気象条件とならない限り、水面上に取り付けた監視カメラ３０の映像（フレーム画像）において確実に映るのは水面である。スクリーン６０のうち水面下の部分に対する塵芥の付着状況は、濁り、光の反射等で映像に映らないことも想定される。それゆえ、映像に映る水面上の塵芥だけで、スクリーン６０のうち水面下の部分も含めた塵芥の付着状況を推定する必要がある。以下、図１１～図１３に基づき、この点について説明する。
【0080】
図１１は、図４と同様、監視カメラ３０によって撮像された画像を示した図である。詳しくは、図１１（Ａ）は、図４（Ａ）の画像２０１において、スクリーン６０と水面との交線に沿った領域Ｒ３を明示したものである。図１１（Ｂ）は、図４（Ｂ）の画像２０２において、スクリーン６０と水面との交線に沿った領域Ｒ３を明示したものである。なお、領域Ｒ３は、水面の領域である。
【0081】
図１１（Ａ）を参照して、スクリーン６０に付着する塵芥８０が少ないときの画像２０１では、塵芥滞留領域のうちスクリーン６０（スクリーン面）と水面との交線に沿った部分領域の当該交線の方向の長さ（以下、「長さＬｓ」と称する）は短い。なお、長さＬｓは、交線の方向に並んだ塵芥の長さを累積した長さとも言える。図１１（Ｂ）を参照して、スクリーン６０全体に塵芥８０が付着したときの画像２０２では、長さＬｓは長くなる。
【0082】
画像２０１，２０２には、水底も撮像できている。このような画像２０１，２０２から、「スクリーン６０と水面との交線に沿った領域Ｒ３の当該交線の方向の長さ（水平方向の長さの累積）がスクリーン６０全体の塵芥の付着状況に比例する」ことが判断できる。
【0083】
【0084】
図１２（Ａ）を参照して、交線は、水路５０の水面と、スクリーン６０を平面として捉えたスクリーン面とが交わっている線分である。図１２（Ｂ）を参照して、矢印は、交線の方向を示している。長さＬｓは、交線に沿って並んだ塵芥８０Ｓの塊８５の各長さＬ１～Ｌｎの総和である。なお、ｎは、塊の数である。このように、長さＬｓは、塵芥８０Ｓの塊８５の各長さＬ１～Ｌｎを累積したものである。
【0085】
【0086】
図１３（Ａ）を参照して、画像５２１Ｓは、フレーム画像において、滞留している塵芥８０Ｓを特定の第２の色（たとえばピンク色）で着色したものである。画像５２１Ｓでは、水面下まで視認できない。画像５２１Ｓにおける塵芥滞留領域の面積は、９４３９ピクセルであった。また、上述したスクリーン占有率（Ｗ＝（Ｌｓ／Ｌ０）×１００）は、８０．１％であった。
【0087】
図１３（Ｂ）を参照して、画像５２２Ｓは、画像５２１Ｓが得られたときとは異なる時刻における塵芥滞留領域を表している。具体的には、画像５２２Ｓは、画像５２１Ｓと同様に、フレーム画像において、滞留している塵芥８０Ｓを特定の第２の色（ピンク色）で着色したものである。
【0088】
画像５２２Ｓでは、画像５２１Ｓとは異なり、水面下まで確認できる。画像５２２Ｓにおける塵芥滞留領域の面積は、１７６５７ピクセルであった。詳しくは、画像５２２Ｓにおける塵芥滞留領域の面積が画像５２１Ｓにおける塵芥滞留領域の面積よりも大きいため、画像５２２Ｓでは、画像５２１Ｓとは異なり水面下まで確認できる。また、上述したスクリーン占有率（Ｗ＝（Ｌｓ／Ｌ０）×１００）は、８０．１％であった。
【0089】
図１３（Ａ）の塵芥滞留領域の面積と図１３（Ｂ）の塵芥滞留領域の面積とは異なるが、両者のスクリーン占有率は同じである。このことを図１１から考察すれば、図１３（Ａ）のスクリーン全体の付着状況と図１３（Ｂ）のスクリーン全体の付着状況とは、同じであると推定できる。
【0090】
図１４は、塵芥滞留領域の面積と、スクリーン占有率との変化を示した図である。なお、面積はピクセル数で表記している。
【0091】
図１４を参照して、グラフには、０番目から１４５００番目のフレーム画像に対するデータが記載されている。なお、取得できたデータ数が少なかったため、グラフでは、１２月２日のデータ後に、１１月１１日のデータ（先に取得したデータ）を連結している。
【0092】
グラフでは、流動する塵芥がない状態では、滞留する塵芥の増加も見られない。しかしながら、流動する塵芥が少量でも継続して観測されると、滞留する塵芥が増加する傾向が見て取れる。
【0093】
当該グラフにおいても、上述したように、塵芥流動領域の面積（ピクセル）の閾値を２００とし、滞留している塵芥によるスクリーン占有率（割合Ｗ）の閾値を８０％としている。塵芥流動領域の面積が２００ピクセルを超えると、スクリーン占有率が１％／分（＝１０％／１０分）で増加する傾向がわかる。
【0094】
図１５は、図１４における１００番目のフレーム画像と、６２７２番目のフレーム画像と、１２９９６番目のフレーム画像とに基づく画像を示した図である。詳しくは、図１５は、塵芥滞留領域（滞留している塵芥８０Ｓ）に対して上述した第２の色（ピンク色）を付けた画像と、塵芥流動領域（流動している塵芥８０Ｍ）に対して、上述した第３の色（たとえば緑色）を付けた画像とを示した図である。
【0095】
図１５を参照して、画像５３１Ｓ，５３１Ｍ（状態（Ａ））は、１００番目のフレーム画像に基づく画像である。詳しくは、画像５３１Ｓは、１００番目のフレーム画像の塵芥滞留領域に対して上述した第２の色を付けた画像である。画像５３１Ｍは、１００番目のフレーム画像の塵芥流動領域に対して上述した第３の色を付けた画像である。
【0096】
画像５３１Ｓに基づくと、スクリーン占有率は２３.５％である。また、少量の塵芥８０Ｓを適切に捉えている。大きな誤検知もない。画像５３１Ｍに基づくと、塵芥流動領域の面積は０ピクセルである。つまり、流動している塵芥はない。また、大きな誤検知もない。
【0097】
画像５３２Ｓ，５３２Ｍ（状態（Ｂ））は、６２７２番目のフレーム画像に基づく画像である。詳しくは、画像５３２Ｓは、６２７２番目のフレーム画像の塵芥滞留領域に対して上述した第２の色を付けた画像である。画像５３２Ｍは、６２７２番目のフレーム画像の塵芥流動領域に対して上述した第３の色を付けた画像である。
【0098】
画像５３２Ｓに基づくと、スクリーン占有率は６６.２％である。また、滞留している塵芥８０Ｓを適切に捉えている。大きな誤検知もない。画像５３２Ｍに基づくと、塵芥流動領域の面積は２４９ピクセルである。かなり小さい流動する塵芥については検知できていないが、流動している塵芥８０Ｍを概ね捉えている。また、大きな誤検知もない。
【0099】
画像５３３Ｓ，５３３Ｍ（状態（Ｃ））は、１２９９６番目のフレーム画像に基づく画像である。詳しくは、画像５３３Ｓは、１２９９６番目のフレーム画像の塵芥滞留領域に対して上述した第２の色を付けた画像である。画像５３３Ｍは、１２９９６番目のフレーム画像の塵芥流動領域に対して上述した第３の色を付けた画像である。
【0100】
画像５３３Ｓに基づくと、スクリーン占有率は８３.４％である。また、滞留している塵芥８０Ｓを適切に捉えている。大きな誤検知もない。画像５３３Ｍに基づくと、塵芥流動領域の面積は８５７４ピクセルである。流動している塵芥８０Ｍを塊として捉えている。また、大きな誤検知もない。
【0101】
（３）濁り判定
判定部１１４が、スクリーン６０への塵芥の付着状況を判定に加えて、濁り判定を行う構成について説明する。判定部１１４は、塵芥滞留領域の面積と、塵芥流動領域の面積とに基づき濁り判定を行う。
判定部１１４が、スクリーン６０への塵芥の付着状況を判定に加えて、濁り判定を行う構成について説明する。判定部１１４は、塵芥滞留領域の面積と、塵芥流動領域の面積とに基づき濁り判定を行う。
【0102】
詳しくは、判定部１１４は、塵芥滞留領域の面積と、塵芥流動領域の面積との和を算出する。判定部１１４は、フレーム画像全体の面積に対する上記面積和の割合を算出する。なお、判定部１１４は、塵芥流動領域の面積を算出してもよいし、あるいは予測部１１５から塵芥流動領域の面積を取得してもよい。
【0103】
図１６は、濁り判定を説明するための図である。
図１６（Ａ）は、監視カメラ３０によって撮像されたフレーム画像２４０を示した図である。図１６（Ａ）を参照して、水が濁っていることがわかる。また、塵芥は視認できない。
図１６（Ａ）は、監視カメラ３０によって撮像されたフレーム画像２４０を示した図である。図１６（Ａ）を参照して、水が濁っていることがわかる。また、塵芥は視認できない。
【0104】
図１６（Ｂ）は、フレーム画像２４０に対して、密なオプティカルフローを実行することにより生成されたマスク画像６４０を示した図である。図１６（Ｂ）を参照して、マスク画像６４０は、静領域６４０Ｓと動領域６４０Ｍとを含む。静領域６４０Ｓは、「０（黒）」、動領域６４０Ｍは、「１（白）」で表される。
【0105】
フレーム画像２４０に対しては、学習済みモデル４２０による塵芥領域の検知が行われる。検知された塵芥の領域は、マスク画像６４０によって、塵芥滞留領域と塵芥流動領域とに分離される。
【0106】
図１６（Ｃ）は、フレーム画像２４０の領域のうち塵芥滞留領域に対して第２の色（ピンク色）を付けた図である。図１６（Ｄ）は、フレーム画像２４０の領域のうち塵芥流動領域に対して第３の色（緑色）を付けた図である。
【0107】
図１７は、濁り判定の閾値と、予測処理に用いる閾値の例とを示した図である。
図１７を参照して、判定部１１４は、本例では、スクリーン占有率が８０％以上であって、かつ水面全体の面積（画面における水面領域（水面部分）の面積）に対する、塵芥滞留領域の面積と塵芥流動領域の面積との和（以下、「面積和」とも称する）の割合が３０％未満であることを条件に、スクリーン占有率に基づいた塵芥のスクリーン６０への付着状況の判定を行う。
図１７を参照して、判定部１１４は、本例では、スクリーン占有率が８０％以上であって、かつ水面全体の面積（画面における水面領域（水面部分）の面積）に対する、塵芥滞留領域の面積と塵芥流動領域の面積との和（以下、「面積和」とも称する）の割合が３０％未満であることを条件に、スクリーン占有率に基づいた塵芥のスクリーン６０への付着状況の判定を行う。
【0108】
判定部１１４は、スクリーン占有率が８０％以上であって、かつ水面全体の面積に対する上記面積和の割合が３０％以上である場合には、水路５０の水が濁っていると判定する。この場合、判定部１１４は、スクリーンへの塵芥の付着状況の判定を行わない。
【0109】
スクリーン占有率に関わらず、水面全体の面積に対する上記面積和の割合が３０％未満であって、かつ塵芥流動領域の面積（ピクセル）が上述した閾値２００以上となると、予測部１１５は、１時程度で塵芥がスクリーン６０全体に付着すると予測する。
【0110】
図１６の例の場合には、スクリーン占有率が８０％以上であって、かつ塵芥滞留領域（図１６（Ｃ））の面積と塵芥流動領域（図１６（Ｄ））の面積との和（面積和）が水面全体の面積の３０％以上となっている。このため、判定部１１４は、水路５０の水が濁っていると判定し、スクリーンへの塵芥の付着状況の判定を行わない。
【0111】
（ｅ３．報知処理）
再び図６を参照して、報知部１５０による報知処理について説明する。
再び図６を参照して、報知部１５０による報知処理について説明する。
【0112】
報知部１５０は、判定部１１４から判定結果（判定された塵芥の付着状況）を受け付ける。報知部１５０は、予測部１１５から予測結果（予測された塵芥の付着状況）を受け付ける。
【0113】
ある局面において、送信制御部１１７は、送信部１３０を介して、判定部１１４による判定結果を端末装置２０に通知する。送信制御部１１７は、送信部１３０を介して、予測部１１５による予測結果を端末装置２０に送信する。
【0114】
他の局面において、表示制御部１１８は、表示部１４０に判定部１１４による判定結果を表示させる。また、表示制御部１１８は、表示部１４０に予測部１１５による予測結果を表示させる。
【0115】
表示部１４０を用いた表示による報知を行うか、送信部１３０を用いた遠隔地への報知とするかは、監視システム１において適宜、設定可能である。また、報知内容および報知先については、特に限定されるものではない。報知は、塵芥がスクリーン６０に溜まっていること、およびスクリーン６０に溜まりそうであることの少なくとも一方を、管理者が気付けるような内容であればよい。
【0116】
＜Ｆ．制御構造＞
図１８は、サーバ装置１０の処理の流れを表したフロー図である。なお、当該フロー図では、濁り検知の処理については記載していない。
図１８は、サーバ装置１０の処理の流れを表したフロー図である。なお、当該フロー図では、濁り検知の処理については記載していない。
【0117】
図１８を参照して、ステップＳ１において、取得部１２０は、監視カメラ３０で撮像されたフレーム画像の取得を開始する。これにより、フレーム画像が連続して、制御部１１０内に入力される。本例の場合、１秒間に３枚のフレーム画像が制御部１１０に入力される。第１領域分離部１１２は、フレーム画像を受け取る度に処理を繰り返す。一方、学習済みモデル４２０を利用する塵芥領域検知部１１１は、１２フレーム毎（つまり、４秒毎）に結果を出力する。
【0118】
ステップＳ２において、第１領域分離部１１２は、予め設定された変数ｕの値を１にリセットする。ステップＳ３において、第１領域分離部１１２は、密なオプティカルフローにより各画素の移動ベクトルを算出する。ステップＳ４において、第１領域分離部１１２は、移動ベクトルから、移動方向をＨ、移動距離をＶとするＨＳＶ画像を生成する（図９の状態（Ｂ）参照）。ステップＳ５において、第１領域分離部１１２は、移動距離Ｖの閾値を７０に設定して、２値化画像（以下、「ｍａｓｋ」）を生成する（図９の状態（Ｃ）参照）。
【0119】
ステップＳ６において、第１領域分離部１１２は、ｍａｓｋを予め設定した配列（以下、「ｑｕｅｕｅ」）に追加する。ステップＳ７において、第１領域分離部１１２は、ｑｕｅｕｅの要素数が５であるか否かを判断する。すなわち、第１領域分離部１１２は、ｑｕｅｕｅに５つのｍａｓｋが格納されたか否かを判断する。
【0120】
ｑｕｅｕｅの要素数が５であると判断された場合（ステップＳ７においてＹＥＳ）、第１領域分離部１１２は、ステップＳ８において、ｑｕｅｕｅから一番古い要素を削除する。これにより、ｑｕｅｕｅの要素数は４となる。第１領域分離部１１２は、その後、処理をステップＳ９に進める。ｑｕｅｕｅの要素数が５でないと判断された場合（ステップＳ７においてＮＯ）、第１領域分離部１１２は、処理をステップＳ９に進める。
【0121】
ステップＳ９において、第１領域分離部１１２は、ｑｕｅｕｅの複数の要素（すなわち、ｍａｓｋ）から、分離処理に用いる１つのｍａｓｋ（図８の例の場合、マスク画像６１０）を生成する。ステップＳ１０において、第１領域分離部１１２は、変数ｕの値が１２であるか否かを判断する。
【0122】
ステップＳ９におけるｍａｓｋの生成について説明すると、以下のとおりである。第１領域分離部１１２は、画素毎に４つのマスク画像の値（０または１）を合計する。合計した値は、０～４の値の何れかとなる。第１領域分離部１１２は、合計した値が０なら、当該画素の値を０とする。第１領域分離部１１２は、合計した値が１以上である場合には、当該画素の値を１とする。このような処理を、画素毎に行い、１つのマスク画像を生成する。
【0123】
変数ｕの値が１２でないと判断された場合（ステップＳ１０においてＮＯ）、第１領域分離部１１２は、ステップＳ１１において、変数ｕの値をインクリメントする。すなわち、第１領域分離部１１２は、ｕの値を１だけ増加させる。ステップＳ１２において、第１領域分離部１１２は、次のフレーム画像を読み込む。その後、第１領域分離部１１２は、処理をステップＳ３に戻す。
【0124】
変数ｕの値が１２であると判断された場合（ステップＳ１０においてＹＥＳ）、ステップＳ１３において、塵芥領域検知部１１１は、学習済みモデル４２０を用いて画素毎に塵芥が否かを判定し、判定結果をｍｌ＿ｍａｓｋとして出力する。ステップＳ１４において、第２領域分離部１１３は、ｍａｓｋによって、ｍｌ－ｍａｓｋを塵芥滞留領域（以下、「ｓｃｒｅｅｎ＿ｍａｓｋ」とも称する）と塵芥流動領域（以下、「ｆｌｏａｔ＿ｍａｓｋ」とも称する）とに分離する。
【0125】
ステップＳ１５において、判定部１１４は、ｓｃｒｅｅｎ＿ｍａｓｋに基づき、塵芥滞留領域の面積（以下、「ｓｃｒｅｅｎ＿ｐｉｘｅｌ」とも称する）と、スクリーン占有率（以下、「ｓｃｒｅｅｎ＿ｃｏｖｅｒ」とも称する）とを算出する。ステップＳ１６において、予測部１１５は、ｆｌｏａｔ＿ｍａｓｋに基づき、塵芥流動領域の面積（以下、「ｆｌｏａｔ＿ｐｉｘｅｌ」とも称する）を算出する。
【0126】
ステップＳ１７において、判定部１１４は、ｓｃｒｅｅｎ＿ｃｏｖｅｒに基づき、スクリーン６０への塵芥の付着状況を判定する。ステップＳ１８において、予測部１１５は、ｆｌｏａｔ＿ｐｉｘｅｌに基づき、今後のスクリーン６０への塵芥の付着状況を予測する。
【0127】
ステップＳ１９において、報知部１５０は、判定結果および予測結果の少なくとも一方を報知する。ステップＳ２０において、第１領域分離部１１２は、次のフレーム画像を読み込む。
【0128】
なお、判定結果および予測結果のうち、判定結果のみを報知するのか、予測結果のみを報知するのか、両方を報知するのかは、サーバ装置１０の設定（ソフトウェアの設定）を変更することによって、適宜設定可能である。ただし、判定結果と予測結果との両方を報知することが、水路５０の管理上好ましい。
【0129】
＜Ｇ．ハードウェア構成＞
図１９は、サーバ装置１０のハードウェア構成を説明するための図である。
図１９は、サーバ装置１０のハードウェア構成を説明するための図である。
【0130】
図１９を参照して、サーバ装置１０は、主たる構成要素として、プログラムを実行するプロセッサ１５１と、データを不揮発的に格納するＲＯＭ１５２と、プロセッサ１５１によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するＲＡＭ１５３と、データを不揮発的に格納するＨＤＤ１５４と、通信ＩＦ（Interface）１５５と、操作キー１５６と、電源回路１５７と、ディスプレイ１５８とを含む。各構成要素は、相互にデータバスによって接続されている。なお、通信ＩＦ１５５は、他の機器と間における通信を行なうためのインターフェイスである。
【0131】
サーバ装置１０における処理は、各ハードウェアおよびプロセッサ１５１により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＨＤＤ１５４に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ１５５等を介してダウンロードされた後、ＨＤＤ１５４に一旦格納される。そのソフトウェアは、プロセッサ１５１によってＨＤＤ１５４から読み出され、ＲＡＭ１５３に実行可能なプログラムの形式で格納される。プロセッサ１５１は、そのプログラムを実行する。
【0132】
同図に示されるサーバ装置１０を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１５３、ＨＤＤ１５４、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、サーバ装置１０の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【0133】
サーバ装置１０の制御部１１０（図６）の機能ブロックは、プロセッサ１５１がプログラムを実行することにより実現される。
【0134】
なお、端末装置２０は、サーバ装置１０と同様な構成を備えるため、端末装置２０のハードウェア構成については、繰り返し説明しない。
【0135】
今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0136】
１ 監視システム、１０ サーバ装置、２０ 端末装置、３０ 監視カメラ、４０ 河川、５０ 水路、６０ スクリーン、７０ 取水口、８０，８０Ｍ，８０Ｓ 塵芥、９０ 小水力発電所、１１０ 制御部、１１１ 塵芥領域検知部、１１２ 第１領域分離部、１１３ 第２領域分離部、１１４ 判定部、１１５ 予測部、１１７ 送信制御部、１１８ 表示制御部、１２０ 取得部、１３０ 送信部、１４０ 表示部、１５０ 報知部、１５１ プロセッサ、１５８ ディスプレイ、２０１，２０２，５１０，５１０Ｓ，５２１Ｓ，５２２Ｓ，５３１Ｍ，５３１Ｓ，５３２Ｍ，５３２Ｓ，５３３Ｍ，５３３Ｓ，７２０ 画像、２１０，２２０，２４０ フレーム画像、４１０ 学習用データ、４２０ 学習済みモデル、６１０，６２０，６４０ マスク画像、６１０Ｍ，６２０Ｍ，６４０Ｍ 動領域、６１０Ｓ，６２０Ｓ，６４０Ｓ 静領域、８２０ 合成画像、Ａ１，Ａ２，Ａ３ 矢印、Ｒ１ 場所、Ｒ２，Ｒ３ 領域。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】