特許7083863監視方法、監視方法を実現するためのコンピュータプログラム、および、監視システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-03
(45)【発行日】2022-06-13
(54)【発明の名称】監視方法、監視方法を実現するためのコンピュータプログラム、および、監視システム
(51)【国際特許分類】
G06T 7/62 20170101AFI20220606BHJP
G06T 7/00 20170101ALI20220606BHJP
H04N 7/18 20060101ALI20220606BHJP
E02B 5/00 20060101ALI20220606BHJP
【ＦＩ】
G06T7/62
G06T7/00 350B
H04N7/18 D
E02B5/00 Z
【請求項の数】
5
(21)【出願番号】P 2020072453
(22)【出願日】2020-04-14
(65)【公開番号】P2021170182
(43)【公開日】2021-10-28
【審査請求日】2021-03-19
(73)【特許権者】
【識別番号】000156938
【氏名又は名称】関西電力株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】特許業務法人深見特許事務所
(72)【発明者】
【氏名】角田 恵
(72)【発明者】
【氏名】土増 壯則
(72)【発明者】
【氏名】高橋 一紀
(72)【発明者】
【氏名】小野 俊二
【審査官】片岡 利延
(56)【参考文献】
【文献】特開２０２０－０６０８５２（ＪＰ，Ａ）
【文献】特開２０１９－２１８７７１（ＪＰ，Ａ）
【文献】特開２０２０－０３３７９２（ＪＰ，Ａ）
【文献】沖電気工業株式会社測機事業部，クラゲ検知装置，沖電気研究開発，沖電気工業株式会社，1993年，Vol.60 No.1
【文献】山本 益生，電力会社における設備監視システムの現状と今後の画像利用，テレビジョン学会誌，1995年，Vol.49 No.3，pp.274-280
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／６２
Ｇ０６Ｔ ７／００
Ｈ０４Ｎ ７／１８
Ｅ０２Ｂ ５／００
(57)【特許請求の範囲】
【請求項1】
水路を撮影することにより得られた連続する複数のフレーム画像の入力を受けるステップと、前記複数のフレーム画像のうちの最初のフレーム画像において設定された個数の特徴点の移動を、前記複数のフレーム画像にわたり前記特徴点毎に検出するステップと、
予め準備された学習済みモデルを用いて、前記複数のフレーム画像のうちの１つのフレーム画像を構成する各画素が、前記水路における浮遊物に該当するか否かを判定するステップと、
前記判定の結果に基づいて、前記１つのフレーム画像において浮遊物が存在すると判定された画素数の比率を算出するステップと、
前記特徴点の個数と予め定められた閾値との大小関係と、前記画素数の比率とに基づいて、前記浮遊物が所定の状態で前記水路に存在しているか否かを判定するステップとを含む、監視方法。
【請求項2】
前記浮遊物が所定の状態で前記水路に存在しているか否かを判定するステップは、前記特徴点の個数が前記予め定められた閾値以上であることと、前記画素数の比率が予め定められた比率以上であることとに基づいて、前記浮遊物が所定の状態で前記水路に存在していると判定することを含む、請求項１に記載の監視方法。
【請求項3】
前記複数のフレーム画像のうち所定数のフレーム画像を用いた判定処理を、前記判定処理に使用される先頭のフレーム画像を次のフレーム画像にずらすことにより、予め定められた回数だけ行なって得られた結果を蓄積して、特徴点の個数の合計値を算出するステップと、前記合計値を算出する処理を予め定められた回数繰り返すことにより得られた前記特徴点の個数の合計値を累積するステップとをさらに含み、
前記特徴点の個数が前記予め定められた閾値以上であることは、前記特徴点の個数の合計値が予め定められた閾値以上であることを含む、請求項２に記載の監視方法。
【請求項4】
請求項１～３のいずれかに記載の監視方法を実現するためのコンピュータプログラム。
【請求項5】
請求項４に記載のコンピュータプログラムを格納したメモリと、前記コンピュータプログラムを実行する１つ以上のプロセッサとを備える、監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、水路の浮遊物を検知する技術に関し、より特定的には、浮遊物の誤検知を抑制する技術に関する。
【背景技術】
【0002】
従来、河川から発電所に発電用水を供給する水路には、冬季等においてスノージャムが発生し得る。また、海水を冷却水として用いる発電所の水路には、クラゲが流入することもある。
【0003】
特許文献１には、スノージャム検出装置が開示されている。また、非特許文献１には、監視カメラの映像を利用してクラゲの流入を検知するシステムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００１－６４９５２号公報
【非特許文献】
【0005】
【文献】川角 浩亮 外2名 “監視カメラの映像を利用したクラゲ流入検知システム”、［online］、2001年、T.IEE Japan, Vol.121-C No.5、［平成30年5月28日検索］、インターネット〈URL：https://www.jstage.jst.go.jp/article/ieejeiss1987/121/5/121_5_854/_pdf>
【発明の概要】
【発明が解決しようとする課題】
【0006】
スノージャム、葉、クラゲその他の浮遊物を早期に検出したいという要請がある。スノージャムの検知に関し、例えば、オプティカルフローを用いた検知方法も考えられるが、使用環境によっては、誤検知する場合も有り得る。したがって、誤検知を抑制しつつ早期にオプティカルフローを検知する技術が必要とされている。
【0007】
本開示は上述のような背景に鑑みてなされたものであって、誤検知を抑制しつつ早期に浮遊物を検知する技術が開示される。
【課題を解決するための手段】
【0008】
ある実施の形態に従う監視方法は、水路を撮影することにより得られた連続する複数のフレーム画像の入力を受けるステップと、複数のフレーム画像のうちの最初のフレーム画像において設定された予め定められた個数の特徴点の移動を、複数のフレーム画像にわたり特徴点毎に検出するステップと、予め準備された学習済みモデルを用いて、複数のフレーム画像のうちの１つのフレーム画像を構成する各画素が、水路における浮遊物に該当するか否かを判定するステップと、判定の結果に基づいて、１つのフレーム画像において浮遊物が存在すると判定された画素数の比率を算出するステップと、特徴点の個数と予め定められた個数との大小関係と、画素数の比率とに基づいて、浮遊物が水路に存在しているか否かを判定するステップとを含む。
【0009】
ある局面において、浮遊物が水路に存在しているか否かを判定するステップは、特徴点の個数が予め定められた個数以上であることと、画素数の比率が予め定められた比率以上であることとに基づいて、浮遊物が水路に存在していると判定することを含む。
【0010】
ある局面において、当該監視方法は、複数のフレーム画像のうち所定数のフレーム画像を用いた判定処理を、判定処理に使用される先頭のフレーム画像を次のフレーム画像にずらすことにより、予め定められた回数だけ行なって得られた結果を蓄積して、特徴点の個数の合計値を算出するステップと、合計値を算出する処理を予め定められた回数繰り返すことにより得られた特徴点の個数の合計値を累積するステップとをさらに含む。特徴点の個数が予め定められた個数以上であることは、特徴点の個数の合計値が予め定められた閾値以上であることを含む。
【0011】
他の実施の形態に従うと、上記のいずれかに記載の監視方法を実現するためのコンピュータプログラムが提供される。
【0012】
さらに他の実施の形態に従うと、上記コンピュータプログラムを格納したメモリと、コンピュータプログラムを実行する１つ以上のプロセッサとを備える、監視システムが提供される。
【発明の効果】
【0013】
ある実施の形態に従うと、誤検知を抑制しつつ早期に浮遊物を検知することができる。
この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【0014】
【図1】浮遊物を早期に検出する監視システムとして作動するコンピュータシステムのプロセッサが実行する処理の一部を表わすフローチャートである。
【図2】スノージャムを説明するための図である。
【図3】発電設備（発電所）に水を供給する水路を撮像することにより得られた画像を表した図である。
【図4】監視システムのシステム構成を説明するための図である。
【図5】特徴点を設定するために用いる複数の基準座標（位置）を説明するための図である。
【図6】特徴点の初期位置の設定方法の一例を説明するための図である。
【図7】特徴点の初期座標Ｅｉ［１］を表した図である。
【図8】５０番目のフレーム画像Ｆ５０を表した図である。
【図9】１００番目のフレーム画像Ｆ１００を表した図である。
【図10】特徴点の初期座標Ｅｉ［１］を表した図である。
【図11】１００番目のフレーム画像Ｆ１００’を表した図である。
【図12】夜間における動画像データに基づく検証結果を説明するための図である。
【図13】昼間における動画像データに基づく検証結果を説明するための図である。
【図14】監視システム１のサーバ装置１００の機能的構成を説明するための機能ブロック図である。
【図15】サーバ装置１００において実行される処理の前半部分の流れを説明するためのフロー図である。
【図16】サーバ装置１００において実行される処理の後半部分の流れを説明するためのフロー図である。
【図17】サーバ装置１００のハードウェア構成の典型例を表した図である。
【図18】誤検知要因を表わす図である。
【図19】オプティカルフローを用いた検出における特徴点の基準座標および枠の配置の一例を表わす図である。
【図20】監視システムとして機能するサーバ装置１００のプロセッサ１５１が実行する処理の一部を表わすフローチャートである。
【図21】ある発電所において１２時３０分に保安停止された場合においてスノージャムが検知されたタイミングを表わす図である。
【図22】ある発電所において、保安停止がなかったもののカメラに水滴が付着したことによりスノージャムが発生したと誤検知された場合も含む検知結果の一例を表わす図である。
【図23】誤検知要因が有った場合における検知結果を表わす図である。
【図24】２０１８年１２月２９日に観測された雪面積比率（５分間の平均）の推移を表わす図である。
【図25】誤検知要因が有った場合における検知結果を表わす図である。
【図26】２０１８年１２月２９日に観測された雪面積比率（前回値との差分）の推移を表わす図である。
【図27】ある実施の形態に従う監視システムが誤検知対策として採用する手法の一例を概念的に表わす図である。
【図28】監視システムが、閾値１０％として、雪面積比率をそのまま判定に使用した場合における検知結果を表わす図である。
【図29】監視システムが、閾値１４０％として、雪面積比率の累積値を判定に使用した場合における検知結果を表わす図である。
【図30】ＰｏＣ（Proof of Concept）１モデルのみ、オプティカルフローのみ、および、ＰｏＣ１モデル＆オプティカルフローの併用、の各々の方式による検知特性を表わす図である。
【図31】学習済みモデルの評価結果とオプティカルフローとの組み合わせを説明するための図である。
【図32】２０１８年１２月２８日にスノージャムにより取水が停止した場合におけるスノージャムの発生の検知のタイミングを表わす図である。
【図33】２０１９年１月２４日にスノージャムにより取水が停止した場合におけるスノージャムの発生の検知のタイミングを表わす図である。
【図34】２０１９年１月１５日に、スノージャムが発生していないにもかかわらずスポットライトの光による誤検知が発生した場合の状態を表わす図である。
【図35】２０１９年１月２７日に、スノージャムが発生していないにもかかわらず、水面へ映りこんだ壁面の雪や雲などによる誤検知が発生した場合の状態を表わす図である。
【図36】２０１９年２月１３日の昼間における、監視システムによる検知結果を表わす図である。
【図37】オプティカルフローモデルが採用された場合に誤検知し易い状況下において、ＰｏＣ１モデルが誤検知しない画像と、そのオリジナルの画像とを表わす図である。
【発明を実施するための形態】
【0015】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0016】
【0017】
まず、監視システムは、検査対象を撮影することによって得られたフレーム画像の入力を受け付けて、オプティカルフローの処理を準備する。より具体的には、ステップＳ１１０にて、プロセッサは、カメラによって撮影された画像として、フレーム画像を取得する。ステップＳ１２０にて、プロセッサは、期間ｕの第ｖ番目のフレーム画像中の第1領域に複数の特徴点を設定する。ステップＳ１２５にて、プロセッサは、各特徴点を追跡する。
【0018】
監視システムは、オプティカルフローに基づく判定基準を設定する。より具体的には、ステップＳ１３０にて、プロセッサは、フレーム画像中の第２領域に含まれている特徴点の個数を算出する。ステップＳ１３５にて、プロセッサは、オプティカルフローに基づく判断基準Ａを設定する。
【0019】
次に、監視システムは、学習済みモデル又は画素数比率に基づく判定基準Ｂを設定する。より具体的には、ステップＳ１４０にて、プロセッサは、フレーム画像中の各画素毎に浮遊物の判定処理を実行する。ステップＳ１４５にて、プロセッサは、浮遊物と判定された画素数の比率を算出する。ステップＳ１５０にて、プロセッサは、学習済みモデル又は画素数比率に基づく判定基準Ｂを設定する。
【0020】
次に、監視システムは、浮遊物の検出処理を実行する。より具体的には、ステップＳ１６０にて、プロセッサは、浮遊物の判定処理の結果が判定基準Ａを充足し、かつ、学習済みモデル又は画素数の比率が判定基準Ｂを充足しているか否かを判断する。ステップＳ１７０にて、プロセッサは、浮遊物が存在していると判定する。ステップＳ１８０にて、プロセッサは、所定の通知処理を実行する。ステップＳ１９０にて、プロセッサは、次のフレーム画像を処理の対象に設定する。
【0021】
なお、判定基準Ａが設定される順序と、判定基準Ｂが設定される順序とは逆であっても良い。したがって、ステップＳ１３０，Ｓ１３５は、ステップＳ１４０～Ｓ１５０の後に行なわれてもよい。
【0022】
次に、図２～図１７を参照して、スノージャムの検出の詳細について説明する。
以下の実施の形態では、水路を流れる浮遊物（水路を詰まらせる要因となる物体）として、スノージャムを例に挙げて説明する。ただし、浮遊物は、スノージャムに限定されず、たとえば、海水を冷却手段として使用する発電所の場合には、浮遊物はクラゲの群れであってもよい。さらに、以下に示す、枚数、個数、および閾値等の各数値は、例示であって、記載された具体的数値に限定されるものではない。
以下の実施の形態では、水路を流れる浮遊物（水路を詰まらせる要因となる物体）として、スノージャムを例に挙げて説明する。ただし、浮遊物は、スノージャムに限定されず、たとえば、海水を冷却手段として使用する発電所の場合には、浮遊物はクラゲの群れであってもよい。さらに、以下に示す、枚数、個数、および閾値等の各数値は、例示であって、記載された具体的数値に限定されるものではない。
【0023】
図２は、スノージャムを説明するための図である。
図２を参照して、状態（i）に示すように、山に積もった雪が落ちる。次いで、状態（ii）に示すように、落ちた雪が水路に流れ込む。これにより、スノージャムが発生する。さらに、状態（iii）に示すように、発電所の上流に設けられた上部水槽が、スノージャムにより詰まる。これにより、状態（iv）に示すように、水路から水が溢れる。その結果、発電所に水路の水（冷却水）が供給されなくなり、状態（v）に示すように、発電が停止する。したがって、スノージャムの発生を早期に検出することができれば、発電が停止することを防ぐことができる。
図２を参照して、状態（i）に示すように、山に積もった雪が落ちる。次いで、状態（ii）に示すように、落ちた雪が水路に流れ込む。これにより、スノージャムが発生する。さらに、状態（iii）に示すように、発電所の上流に設けられた上部水槽が、スノージャムにより詰まる。これにより、状態（iv）に示すように、水路から水が溢れる。その結果、発電所に水路の水（冷却水）が供給されなくなり、状態（v）に示すように、発電が停止する。したがって、スノージャムの発生を早期に検出することができれば、発電が停止することを防ぐことができる。
【0024】
また、スノージャムが発生する場所は、通常、発電所の作業員が常駐していない場所である。それゆえ、本例においては、水路をカメラによって撮像された映像を用いて、スノージャムの発生を検出する。
【0025】
ところで、スノージャムの発生初期から中期にかけては、水路がスノージャムによって詰まっておらず、水流がある。それゆえ、スノージャムは水路を流れる。その一方、スノージャムの発生後期においては、水路が詰まり、雪が一ヶ所に滞り始める。本例では、このような特徴を考慮し、スノージャムの発生初期から発生中期におけるスノージャムの検出を行う。
【0026】
図３は、発電設備（発電所）に水を供給する水路を撮像することにより得られた画像を表した図である。具体的には、当該画像Ｇ１は、映像（動画像）のある時点の画像（静止画、１枚のフレーム画像）を表した図である。より詳しくは、画像Ｇ１は、冬季において、水路のうち取水口が設けられた場所を撮像したものである。
【0027】
図３を参照して、水路には、複数のスノージャム（白色で表示した物体）が水面に浮遊している。また、取水口の上部（画像Ｇ１の左上部分）には、雪が積もっている。
【0028】
このような水路では、水の流れ自体や風によって波が立つことにより、水面の状態が変化する。また、夜間の照明によって水面が照らされ、水底においても夜間照明の反射が起こる。また、降雪なども発生する。このように、水路においては、昼夜を含めた日照条件の違いを含む気象条件の違いによって、撮像される画像も画一的ではない。
【0029】
本例では、このような条件下においてもスノージャムの発生を精度良く検出可能なシステムを説明する。
【0030】
＜Ａ．システム構成＞
図４は、監視システムのシステム構成を説明するための図である。
図４は、監視システムのシステム構成を説明するための図である。
【0031】
図４を参照して、監視システム１は、サーバ装置１００と、端末装置２００と、監視カメラ３００とを備える。監視カメラ３００は、サーバ装置１００と通信可能に接続されている。端末装置２００は、ネットワークを介して通信可能にサーバ装置１００に接続されている。
【0032】
監視カメラ３００は、水路５００を撮像するために水路５００の傍に設置されている。本例では、監視カメラ３００は、水路５００のうち取水口７００の状態を監視するために、取水口７００が設けられた場所を撮像するように設置されている。なお、取水口７００には、一定形状をした大きな異物（流木等）が発電設備に流れ込まないように、柵が設けられている。
【0033】
監視カメラ３００によって撮像された映像（動画像）は、サーバ装置１００に送られる。当該映像は、たとえば端末装置２００等の装置で見ることができる。つまり、発電所の作業員等は、取水口７００の状態を映像によって監視することができる。
【0034】
さらに、監視システム１では、このような監視カメラ３００によって撮像された映像を利用して、サーバ装置１００がスノージャムの発生を検出する。詳しくは、動体検出の分野で一般的に用いられているオプティカルフロー（optical flow）を本実施の形態で用いることにより、後述する特徴点の移動を追跡する。これにより、サーバ装置１００がスノージャムの発生を検出する。なお、オプティカルフローは公知の技術であるため、ここでは繰り返し説明しない。
【0035】
詳しくは、以下では、連続する１００枚のフレーム画像を１つの判定単位として、スノージャムの発生の有無を判定する構成を例に挙げて説明する。すなわち、サーバ装置１００は、最初の１００枚のフレーム画像に基づきスノージャムの発生の有無を判定した後、次の１００枚のフレーム画像に基づきスノージャムの発生の有無を判定する。この後、サーバ装置１００は、このような判定処理を繰り返す。
【0036】
＜Ｂ．特徴点の設定および移動検出＞
図５は、特徴点を設定するために用いる複数の基準座標（位置）を説明するための図である。
図５は、特徴点を設定するために用いる複数の基準座標（位置）を説明するための図である。
【0037】
図５を参照して、本例の場合、サーバ装置１００において、４０個の基準座標Ｄ１～Ｄ４０が予め設定（指定）されている。当該基準座標の設定は、たとえば、スノージャムの判定に用いるプログラムのユーザ（端末装置２００のユーザ）によってなされる。あるいは、当該プログラムを設計者が、デフォルトで事前に基準座標を設定しておいてもよい。
【0038】
基準座標の設定は、撮像対象および撮像方向によって、適宜変更可能である。本例の場合、水路５００の上流側（画像の右下の領域）に、略等間隔に４０個の基準座標が設定されている。たとえばユーザが端末装置２００からサーバ装置１００にアクセスすることにより、サーバ装置１００での基準座標の設定あるいは基準座標の設定の変更を行うことができる。なお、以下では、ｉを１～４０の自然数として、基準座標を「Ｄｉ」を用いて表記する。
【0039】
図６は、特徴点の初期位置の設定方法の一例を説明するための図である。
図６を参照して、サーバ装置１００は、基準座標Ｄｉに基づき特徴点の初期座標Ｅｉ［１］を設定する。典型的には、サーバ装置１００は、基準座標Ｄｉを含む予め定められた大きさの要素領域Ａｉにおいて、１つの特徴点の初期座標Ｅｉ［１］を設定する。特徴点の初期座標Ｅｉが重複しないようにするため、要素領域Ａｉ同士は重複しないことが好ましい。
図６を参照して、サーバ装置１００は、基準座標Ｄｉに基づき特徴点の初期座標Ｅｉ［１］を設定する。典型的には、サーバ装置１００は、基準座標Ｄｉを含む予め定められた大きさの要素領域Ａｉにおいて、１つの特徴点の初期座標Ｅｉ［１］を設定する。特徴点の初期座標Ｅｉが重複しないようにするため、要素領域Ａｉ同士は重複しないことが好ましい。
【0040】
サーバ装置１００は、たとえば、監視カメラ３００による撮像により得られたフレーム画像に対して所定の画像処理を実行することにより、特徴点の初期座標Ｅｉ［１］を設定する。たとえば、サーバ装置１００は、要素領域Ａｉ内において、輝度の勾配（変化）の最も強い位置を特徴点の初期座標Ｅｉに設定する。このような処理によって、４０個の基準座標Ｄｉから４０個の特徴点の初期座標Ｅｉ［１］が設定される。
【0041】
特徴点の初期座標Ｅｉ［１］の設定は、たとえば、オープンソースのコンピュータビジョン向けライブラリであるＯｐｅｎＣＶ（Open Source Computer Vision Library）を用いることにより実現できる。詳しくは、サーバ装置１００は、ＯｐｅｎＣＶによって提供されている関数“cv2.cornerSubPix()”を利用して、初期座標Ｅｉを設定する。より詳しくは、サーバ装置１００は、当該関数の引数を“self.gray_next”とし（つまり、画像をグレー画像とし）、隣接する各画素の明るさの違いからコーナを設定（認識）する。特徴点の初期座標Ｅｉ［１］の設定は、このような公知の技術を用いればよいため、これ以上の詳細な説明については、ここでは繰り返さない。
【0042】
次に、特徴点の移動態様を、例を挙げて説明する。
（ｂ１．第１のケース）
スノージャムが数珠繋状態となっている場合における特徴点の移動の態様を説明する。
（ｂ１．第１のケース）
スノージャムが数珠繋状態となっている場合における特徴点の移動の態様を説明する。
【0043】
図７は、特徴点の初期座標Ｅｉ［１］を表した図である。
図７を参照して、サーバ装置１００は、１番目のフレーム画像Ｆ１において、各基準座標Ｄｉに基づき、４０個の特徴点の初期座標Ｅ１［１］，Ｅ２［１］，…，Ｅ８［１］，…，Ｅ１６［１］，…，Ｅ３３［１］，…，Ｅ４０［１］を設定する。なお、各要素領域Ａｉが事前に設定されているため、特徴点の初期座標Ｅ１［１］～Ｅ４０［１］は、予め定めされた領域Ｑ２（第２の領域の例）において設定される。なお、「１番目のフレーム画像」とは、１００枚のうちの最初のフレーム画像を意味する。
図７を参照して、サーバ装置１００は、１番目のフレーム画像Ｆ１において、各基準座標Ｄｉに基づき、４０個の特徴点の初期座標Ｅ１［１］，Ｅ２［１］，…，Ｅ８［１］，…，Ｅ１６［１］，…，Ｅ３３［１］，…，Ｅ４０［１］を設定する。なお、各要素領域Ａｉが事前に設定されているため、特徴点の初期座標Ｅ１［１］～Ｅ４０［１］は、予め定めされた領域Ｑ２（第２の領域の例）において設定される。なお、「１番目のフレーム画像」とは、１００枚のうちの最初のフレーム画像を意味する。
【0044】
また、領域Ｑ２は、領域Ｑ１（第１の領域の例）と重複しないように設定されている。領域Ｑ１は、設備に水路５００の水を取り込む取水口７００の画像が表示された領域と少なくとも一部が重複するように事前に設定されている。領域Ｑ２の設定もユーザあるいはプログラムの設計者によってなされる。
【0045】
図８は、５０番目のフレーム画像Ｆ５０を表した図である。
図８を参照して、複数の特徴点が領域Ｑ１内に移動している。このような特徴点の移動は、上述したように、オプティカルフロー（optical flow）を用いることにより検出できる。なお、図７におけるＥｉ［５０］は、５０番目のフレーム画像Ｆ５０における特徴点の各座標を表している。
図８を参照して、複数の特徴点が領域Ｑ１内に移動している。このような特徴点の移動は、上述したように、オプティカルフロー（optical flow）を用いることにより検出できる。なお、図７におけるＥｉ［５０］は、５０番目のフレーム画像Ｆ５０における特徴点の各座標を表している。
【0046】
図９は、１００番目のフレーム画像Ｆ１００を表した図である。
図９を参照して、図８の状態よりも多くの特徴点が領域Ｑ１内に移動している。図７，図８，図９に基づけば、１００枚のフレーム画像の期間において時間の経過とともに、領域Ｑ２よりも下流側の領域Ｑ１に特徴点が移動していることが分かる。なお、図９におけるＥｉ［１００］は、１００番目のフレーム画像Ｆ１００における特徴点の各座標を表している。
図９を参照して、図８の状態よりも多くの特徴点が領域Ｑ１内に移動している。図７，図８，図９に基づけば、１００枚のフレーム画像の期間において時間の経過とともに、領域Ｑ２よりも下流側の領域Ｑ１に特徴点が移動していることが分かる。なお、図９におけるＥｉ［１００］は、１００番目のフレーム画像Ｆ１００における特徴点の各座標を表している。
【0047】
具体的には、フレーム画像Ｆ１００では、４０個の特徴点のうち、１５個の特徴点が領域Ｑ１内に移動している。また、４０個の特徴点のうち、８個の特徴点が途中で追跡できなくなり、消滅している。
【0048】
（ｂ２．第２のケース）
スノージャムが水面を覆っている状態における特徴点の移動の態様を説明する。
スノージャムが水面を覆っている状態における特徴点の移動の態様を説明する。
【0049】
図１０は、特徴点の初期座標Ｅｉ［１］を表した図である。
図１０を参照して、サーバ装置１００は、１番目のフレーム画像Ｆ１’において、各基準座標Ｄｉに基づき、領域Ｑ２内において、４０個の特徴点の初期座標Ｅ１［１］，Ｅ２［１］，…，Ｅ８［１］，Ｅ９［１］，…，Ｅ３３［１］，…，Ｅ４０［１］を設定する。
図１０を参照して、サーバ装置１００は、１番目のフレーム画像Ｆ１’において、各基準座標Ｄｉに基づき、領域Ｑ２内において、４０個の特徴点の初期座標Ｅ１［１］，Ｅ２［１］，…，Ｅ８［１］，Ｅ９［１］，…，Ｅ３３［１］，…，Ｅ４０［１］を設定する。
【0050】
図１１は、１００番目のフレーム画像Ｆ１００’を表した図である。
図１１を参照して、多くの特徴点が領域Ｑ１内に移動している。１００枚のフレーム画像の期間において時間の経過とともに、領域Ｑ２よりも下流側の領域Ｑ１に特徴点が移動している。
図１１を参照して、多くの特徴点が領域Ｑ１内に移動している。１００枚のフレーム画像の期間において時間の経過とともに、領域Ｑ２よりも下流側の領域Ｑ１に特徴点が移動している。
【0051】
具体的には、フレーム画像Ｆ１００’では、４０個の特徴点のうち、３３個の特徴点が領域Ｑ１内に移動している。また、４０個の特徴点のうち、３７個の特徴点が消滅することなく残存している。スノージャムが水面を覆っている状態では、消滅する特徴点が少ないといった傾向がある。
【0052】
（ｂ３．第３のケース）
スノージャムの発生初期時には、１００番目のフレーム画像において領域Ｑ１に移動する特徴点の数は、第１のケースよりも少なくなる。また、途中で消滅する特徴点の数も、第１のケースよりも多くなる。
スノージャムの発生初期時には、１００番目のフレーム画像において領域Ｑ１に移動する特徴点の数は、第１のケースよりも少なくなる。また、途中で消滅する特徴点の数も、第１のケースよりも多くなる。
【0053】
＜Ｃ．判定基準の設定＞
サーバ装置１００は、「Ａ：スノージャムの発生初期状態」（以下、「Ａ状態」とも称する）と、「Ｂ：スノージャムが数珠繋状態」（以下、「Ｂ状態」とも称する）と、「Ｃ：スノージャムが水面を覆っている状態」（以下、「Ｃ状態」とも称する）とを判定するように構成されている。
サーバ装置１００は、「Ａ：スノージャムの発生初期状態」（以下、「Ａ状態」とも称する）と、「Ｂ：スノージャムが数珠繋状態」（以下、「Ｂ状態」とも称する）と、「Ｃ：スノージャムが水面を覆っている状態」（以下、「Ｃ状態」とも称する）とを判定するように構成されている。
【0054】
詳しくは、サーバ装置１００は、１００番目のフレーム画像における領域Ｑ１内の特徴点の個数Ｒと、１００番目のフレーム画像全体での特徴点の個数Ｚ（以下、「残存個数Ｚ」とも称する）と、個数Ｒに関する閾値Ｔｈａ，Ｔｈｂと、残存個数Ｚに関する閾値Ｔｈｃとに基づき、スノージャムの発生状態を判定する。
【0055】
以下では、「Ａ：スノージャムの発生初期状態」の検出、「Ｂ：スノージャムが数珠繋状態」の検出、「Ｃ：スノージャムが水面を覆っている状態」の検出の順に、検出すべき優先度が高くなるように設定されている構成を例に挙げて説明する。
【0056】
本例の場合、残存個数Ｚに関する閾値Ｔｈｃを、３０個に設定する。また、個数Ｒに関する閾値Ｔｈｂを１５個に設定する。さらに、個数Ｒに関する閾値Ｔｈａを５個に設定する。
【0057】
１００番目のフレーム画像において特徴点の残存個数が３０個以上（閾値Ｔｈｃ以上）であれば、他の条件に関わらず、サーバ装置１００は、「Ｃ：スノージャムが水面を覆っている状態」と判定する。この判定がなされた場合、サーバ装置１００は、取水口７００からの取水を停止させる制御を実行する。
【0058】
１００番目のフレーム画像において領域Ｑ１における特徴点の個数が１５個以上（閾値Ｔｈｂ以上）であれば、「Ｃ：スノージャムが水面を覆っている状態」でないことを条件に、サーバ装置１００は、「Ｂ：スノージャムが数珠繋状態」と判定する。この判定がなされた場合も、サーバ装置１００は、取水口７００からの取水を停止させる制御を実行する。
【0059】
１００番目のフレーム画像において領域Ｑ１における特徴点の個数が５個以上かつ１５個未満（閾値Ｔｈａ以上かつ閾値Ｔｈｂ未満）であれば、「Ｃ：スノージャムが水面を覆っている状態」ではないことを条件に、サーバ装置１００は、「Ａ：スノージャムの発生初期状態」と判定する。この判定がなされた場合、サーバ装置１００は、所定の警告を端末装置２００に通知する。なお、警告の通知先は、予め登録された機器であればよく、端末装置２００に限定されるものではない。
【0060】
＜Ｄ．検証＞
監視カメラ３００を用いた過去の撮像により得られた動画像データ（連続する複数のフレーム画像からなる動画像データ）を利用して、監視システム１の有効性（オプティカルフローによる検出の精度）について検証した。なお、本例では、監視カメラ３００は、毎秒１０回の撮像を行うものとする。
監視カメラ３００を用いた過去の撮像により得られた動画像データ（連続する複数のフレーム画像からなる動画像データ）を利用して、監視システム１の有効性（オプティカルフローによる検出の精度）について検証した。なお、本例では、監視カメラ３００は、毎秒１０回の撮像を行うものとする。
【0061】
（ｄ１．第１の検証結果）
図１２は、夜間における動画像データに基づく検証結果を説明するための図である。
図１２は、夜間における動画像データに基づく検証結果を説明するための図である。
【0062】
（１）水路日誌
図１２を参照して、水路日誌には、期間Ｔ５内の午前４時５分にスノージャムが発生していることが記録されている。水路日誌への記録は、現場の監視員が監視カメラ３００によって得られた動画像をリアルタイムに目視で確認することにより行われる。
図１２を参照して、水路日誌には、期間Ｔ５内の午前４時５分にスノージャムが発生していることが記録されている。水路日誌への記録は、現場の監視員が監視カメラ３００によって得られた動画像をリアルタイムに目視で確認することにより行われる。
【0063】
（２）後日の確認結果
後日、別の者がこのような動画像を注視することにより、スノージャムの発生状態を確認した結果を、「目視確認」の時系列表に記載している。
後日、別の者がこのような動画像を注視することにより、スノージャムの発生状態を確認した結果を、「目視確認」の時系列表に記載している。
【0064】
期間Ｔ１（１７２８９フレーム画像分：約２８．８分間）においては、注視の結果、「Ａ：スノージャムの発生初期状態」が断続的に継続していることが判明した。期間Ｔ１の直後の期間Ｔ２（３７２フレーム画像分：約０．６分間）においては、注視の結果、状態が「Ｂ：スノージャムが数珠繋状態」となっていることが判明した。期間Ｔ２の直後の期間Ｔ３（１３５５フレーム画像分：約２．２分間）においては、状態が「Ｃ：スノージャムが水面を覆っている状態」となっていることが判明した。
【0065】
期間Ｔ３の直後の期間Ｔ４（１８０６フレーム画像分：約３分間）においては、状態が「Ｂ：スノージャムが数珠繋状態」となっていることが判明した。つまり、スノージャムの発生量が、一旦、減少したが判明した。期間Ｔ４の直後の期間Ｔ５（７０３フレーム画像分：約１．２分間）においては、状態が、再度、「Ｃ：スノージャムが水面を覆っている状態」となっていることが判明した。水路日誌によれば、この期間Ｔ５においてスノージャムの発生が記録されている。期間Ｔ５の直後の期間Ｔ６（１０５４フレーム画像分：約１．８分間）においては、状態が「Ｂ：スノージャムが数珠繋状態」となっていることが判明した。つまり、スノージャムの発生量が、再度、減少したことが判明した。
【0066】
期間Ｔ６の直後の期間Ｔ７（８８９３フレーム画像分：約１４．８分間）においては、注視の結果、状態が、再度、「Ｃ：スノージャムが水面を覆っている状態」となっていることが判明した。
【0067】
なお、期間Ｔ７の直後の期間Ｔ８（４０８フレーム画像分：約０．７分間）においては、監視カメラ３００を意図的に移動させ、取水口７００以外を撮像した。それゆえ、スノージャムが派生している状態にかかわらず、Ａ状態，Ｂ状態，Ｃ状態の何れかの判定が行われていない。なお、期間Ｔ８の直後に監視カメラ３００の位置を元の位置に戻した。
【0068】
期間Ｔ８の直後の期間Ｔ９（４１９０フレーム画像分：約７分間）においては、状態が、「Ｃ：スノージャムが水面を覆っている状態」となっていることが判明した。
【0069】
なお、人間の目視では、フレーム画像の各々を識別できないため、上述したフレーム数は参考値である。
【0070】
（３）オプティカルフローを用いた検出結果
期間Ｔ１においては、上述した特徴点の移動に基づく状態判定によって、「Ａ：スノージャムの発生初期状態」が断続的に継続していることが検出された。具体的には、約１７２回ないし１７３回（≒１７２８９フレーム÷１００フレーム）の検出において、Ａ状態であることが２１回検出された。
期間Ｔ１においては、上述した特徴点の移動に基づく状態判定によって、「Ａ：スノージャムの発生初期状態」が断続的に継続していることが検出された。具体的には、約１７２回ないし１７３回（≒１７２８９フレーム÷１００フレーム）の検出において、Ａ状態であることが２１回検出された。
【0071】
期間Ｔ２においては、「Ａ：スノージャムの発生初期状態」と、「Ｃ：スノージャムが水面を覆っている状態」とが検出された。具体的には、４回の検出において、Ａ状態であることが３回、Ｃ状態であることが１回検出された。なお、図１１では、Ａ状態とＣ状態とが同じタイミングで生じているかのような記載となっているが、これは便宜的なものであって、Ａ状態とＣ状態との発生検出タイミングは重複するものではない。このことは、以降の期間Ｔ３～Ｔ９においても同様である。
【0072】
期間Ｔ３においては、「Ａ：スノージャムの発生初期状態」と、「Ｂ：スノージャムが数珠繋状態」と、「Ｃ：スノージャムが水面を覆っている状態」とが検出された。具体的には、１４回の検出において、Ａ状態であることが３回、Ｂ状態であることが８回、Ｃ状態であることが３回検出された。
【0073】
期間Ｔ４においては、Ａ状態であることが６回、Ｂ状態であることが１０回、Ｃ状態であることが２回検出された。期間Ｔ５においては、Ａ状態であることが１回、Ｂ状態であることが４回、Ｃ状態であることが１回検出された。水路日誌によれば、上述したように、この期間Ｔ５においてスノージャムの発生が記録されている。
【0074】
以下、同様に、期間Ｔ６においては、Ａ状態であることが４回、Ｂ状態であることが６回検出された。期間Ｔ７においては、Ａ状態であることが１３回、Ｂ状態であることが６５回、Ｃ状態であることが６回検出された。期間Ｔ８では、上述したように、監視カメラ３００を意図的に移動させ、取水口７００以外を撮像したため、Ａ状態，Ｂ状態，Ｃ状態の何れかの検出が行われていない。期間Ｔ９においては、Ａ状態であることが３回、Ｂ状態であることが２７回、Ｃ状態であることが１０回検出された。
【0075】
後日の目視による確認結果と比較すれば明らかなように、オプティカルフローによる検出結果は、概ね正しい結果を示していると言える。特に、水路日誌に記載されたスノージャムの発生時刻よりも前に、スノージャムの発生を検出することができている。このように、監視システム１によれば、スノージャムの発生を自動的に検出することができる。
【0076】
また、スノージャムが数珠繋になった場合、設備にスノージャムが取り込まれると、上述したように、設備での発電が停止してしまう。しかしながら、監視システム１では、「Ｂ：スノージャムが数珠繋状態」になったことと、「Ｃ：スノージャムが水面を覆っている状態」になったこととを検出できるため、これらの検出タイミングで取水（設備への給水）の停止を停止する制御を行うことより、スノージャムの設備への流れ込によって発電が停止してしまうことを防止できる。
【0077】
（ｄ２．第２の検証結果）
図１３は、昼間における動画像データに基づく検証結果を説明するための図である。
図１３は、昼間における動画像データに基づく検証結果を説明するための図である。
【0078】
（１）水路日誌
図１３を参照して、水路日誌には、期間Ｔ１４内の１５時５分～６分の間に取水を停止したことが記載されている。さらに、水路日誌には、期間Ｔ１５内の１５時６分～７分の間に放流を開始したことが記載されている。
図１３を参照して、水路日誌には、期間Ｔ１４内の１５時５分～６分の間に取水を停止したことが記載されている。さらに、水路日誌には、期間Ｔ１５内の１５時６分～７分の間に放流を開始したことが記載されている。
【0079】
（２）後日の確認結果
図１２と同様、後日、別の者がこのような動画像を注視することにより、スノージャムの発生状態を確認した結果を、「目視確認」の時系列表に記載している。
図１２と同様、後日、別の者がこのような動画像を注視することにより、スノージャムの発生状態を確認した結果を、「目視確認」の時系列表に記載している。
【0080】
期間Ｔ１１および期間Ｔ１３は、監視カメラ３００を意図的に移動させ、取水口７００以外を撮像した期間である。それゆえ、スノージャムの発生状態を判定できていない。
【0081】
期間Ｔ１１と期間Ｔ１３との間の期間Ｔ１２（７２４フレーム画像分：約１．２分間）においては、注視の結果、状態が「Ｃ：スノージャムが水面を覆っている状態」となっていることが判明した。また、期間Ｔ１３の直後の期間Ｔ１４（４２５０フレーム画像分：約７分間）においても、期間Ｔ１２と同様、状態が「Ｃ：スノージャムが水面を覆っている状態」となっていることが判明した。
【0082】
期間Ｔ１５では、Ｃ状態からの放流が開始されたため、スノージャムの状態ではないが、スノージャムに類似した状態が発生していることが視認された。期間Ｔ１５の直後では、スノージャムの発生が視認されず、水が流れている状態となっていることが判明した。
【0083】
（３）オプティカルフローを用いた検出結果
期間Ｔ１２において、Ａ状態であることが１回、Ｂ状態であることが４回、Ｃ状態であることが２回検出された。期間Ｔ１４においては、Ａ状態であることが１２回、Ｂ状態であることが２３回、Ｃ状態であることが２回検出された。
期間Ｔ１２において、Ａ状態であることが１回、Ｂ状態であることが４回、Ｃ状態であることが２回検出された。期間Ｔ１４においては、Ａ状態であることが１２回、Ｂ状態であることが２３回、Ｃ状態であることが２回検出された。
【0084】
放流が開始された直後の期間Ｔ１５においては、Ａ状態，Ｂ状態，Ｃ状態の何れかの状態も検出されなかった。このように、オプティカルフローを利用した監視システム１によれば、「スノージャムの状態ではないが、スノージャムに類似した状態」（期間Ｔ１５の状態）であっても、「スノージャムの状態である」との誤検出はなされない。このように、監視システム１によれば、放流がなされた場合であっても、精度の高い検出を行うことが可能となる。
【0085】
＜Ｅ．機能的構成＞
図１４は、監視システム１のサーバ装置１００の機能的構成を説明するための機能ブロック図である。
図１４は、監視システム１のサーバ装置１００の機能的構成を説明するための機能ブロック図である。
【0086】
図１４を参照して、サーバ装置１００は、監視カメラ３００と、取水装置４００と、端末装置２００とに通信可能に接続されている。サーバ装置１００は、通信ＩＦ（Interface）部１０１と、制御部１０２とを備える。
【0087】
通信ＩＦ部１０１は、サーバ装置１００が他の装置と通信するためのインターフェイスである。通信ＩＦ部１０１は、受信部１１１と、送信部１１２とを含む。
【0088】
制御部１０２は、サーバ装置１００の全体的な動作を制御する。制御部１０２は、典型的には、プロセッサ１５１（図１６参照）がプログラムを実行することによって実現される。制御部１０２は、基準座標設定部１４１と、特徴点設定部１４２と、検出部１４３と、判定部１４４と、給水制御部１４５と、報知部１４６とを含む。
【0089】
受信部１１１は、設備に水を供給する水路５００を撮像する監視カメラ３００から、連続してフレーム画像を受信する。
【0090】
基準座標設定部１４１は、外部入力（たとえば、ユーザ操作）に基づき、複数の基準座標Ｄｉを設定する。なお、基準座標Ｄｉがデフォルトで設定されている場合等には、外部入力は必ずしも必要でない。各基準座標Ｄｉは、特徴点設定部１４２に送られる。
【0091】
制御部１０２が、スノージャムの検出処理の開始を指示する入力（たとえば、ユーザ操作）を受け付けると、特徴点設定部１４２は、当該入力の時点で受信されたフレーム画像を最初のフレーム画像（１００枚中の１枚目のフレーム画像）として、当該最初のフレーム画像の領域Ｑ２において４０個の特徴点を設定する（図６参照）。設定された特徴点の座標Ｅｉは、検出部１４３に送られる。
【0092】
検出部１４３は、撮像により得られた連続する１００枚のフレーム画像のうちの最初のフレーム画像において設定された４０個の特徴点の移動を、１００枚のフレーム画像にわたり特徴点毎に検出する。つまり、検出部１４３により特徴点の追跡がなされる。なお、「１００枚のフレーム画像にわたり特徴点毎に検出する」とは、９９回（１００枚のフレーム画像におけるフレーム画像間の個数に相当）の移動を追跡することを意味する。
【0093】
検出部１４３は、検出結果を判定部１４４に送る。具体的には、検出部１４３は、１００番目のフレーム画像全体における残存個数Ｚと、１００番目のフレーム画像の領域Ｑ１における特徴点の個数Ｒとを、判定部１４４に送る。
【0094】
判定部１４４は、スノージャムの発生状態が、「Ａ：スノージャムの発生初期状態」と、「Ｂ：スノージャムが数珠繋状態」と、「Ｃ：スノージャムが水面を覆っている状態」とのいずれの状態であるかを判定する。
【0095】
判定部１４４は、上述したＢ状態に関し、１００枚のフレーム画像のうちの最後のフレーム画像における領域Ｑ１に存在する特徴点の個数が、閾値Ｔｈｂ（１５個）以上と判定されたことに基づき、水路５００にスノージャムが存在していると判定する。詳しくは、判定部１４４は、スノージャムの発生状態が「Ｂ：スノージャムが数珠繋状態」（Ｂ状態）であると判定する。
【0096】
また、判定部１４４は、上述したＣ状態に関し、最後のフレーム画像における特徴点の個数が閾値Ｔｈｃ（３０個）以上であると判定された場合には、水路５００にスノージャムが存在していると判定する。詳しくは、判定部１４４は、スノージャムの発生状態が「Ｃ：スノージャムが水面を覆っている状態」（Ｃ状態）であると判定する。より詳しくは、判定部１４４は、最後のフレーム画像における領域Ｑ１に存在する特徴点の個数が閾値Ｔｈｂ（１５個）未満と判定された場合であっても、最後のフレーム画像における特徴点の個数が閾値Ｔｈｃ（３０個）以上であると判定された場合には、水路５００にスノージャムが存在していると判定する。なお、本実施の形態の例では、Ｃ状態の方がＢ状態よりもスノージャムの発生度合いが大きいため、Ｃ状態の判定をＢ状態の判定よりも優先する。
【0097】
さらに、判定部１４４は、最後のフレーム画像（１００番目のフレーム画像）における領域Ｑ１に存在する特徴点の個数が、閾値Ｔｈｂ（１５個）未満かつ閾値Ｔｈａ（５個）以上の場合、スノージャムの発生状態が「Ａ：スノージャムの発生初期状態」（Ａ状態）であると判定する。
【0098】
判定部１４４は、Ｂ状態またはＣ状態と判定すると、給水制御部１４５に所定の指示を送信する。この場合、給水制御部１４５は、判定部１４４から上記指示を受け付けると、設備の取水装置４００に対し、送信部１１２を介して取水停止命令を送信する。取水装置４００は、取水停止命令を受信すると、水路５００から設備への水の給水（取水）を停止する。
【0099】
また、判定部１４４は、Ａ状態と判定すると、報知部１４６に対し、予め定められた指示を送信する。この場合、報知部１４６は、判定部１４４から上記指示を受け付けると、端末装置２００に対し、送信部１１２を介して予め定められた報知を行う。典型的には、報知部１４６は、端末装置２００に対して、スノージャムが発生したことを通知する。
【0100】
＜Ｆ．制御構造＞
図１５は、サーバ装置１００において実行される処理の前半部分の流れを説明するためのフロー図である。
図１５は、サーバ装置１００において実行される処理の前半部分の流れを説明するためのフロー図である。
【0101】
図１５を参照して、ステップＳ１０１において、サーバ装置１００（詳しくは、プロセッサ１５１）は、監視カメラ３００によって得られたフレーム画像の取得を開始する。ステップＳ１０２において、サーバ装置１００は、予め定められた変数ｕ，ｖの値を１にリセットする。
【0102】
ステップＳ１０３において、サーバ装置１００は、第ｕの期間におけるｖ番目のフレーム画像の領域Ｑ２内において、４０個の特徴点を設定する。ステップＳ１０４において、サーバ装置１００は、変数ｖの値をインクリメントする。すなわち、サーバ装置１００は、ｖの値を１だけ増加させる。
【0103】
ステップＳ１０５において、サーバ装置１００は、第ｕの期間におけるｖ番目のフレーム画像における各特徴点を追跡する。ステップＳ１０６において、サーバ装置１００は、変数ｖの値が１００以上になったか否かを判断する。
【0104】
サーバ装置１００は、ｖの値が１００未満であると判断すると（ステップＳ１０６においてＮＯ）、処理をステップＳ１０４に進める。サーバ装置１００は、ｖの値が１００以上であると判断すると（ステップＳ１０６においてＹＥＳ）、ステップＳ１０７において、ｖ番目のフレーム画像全体に含まれている特徴点の個数（すなわち、残存個数Ｚ）を算出する。次いで、ステップＳ１０８において、サーバ装置１００は、ｖ番目のフレーム画像の領域Ｑ１に含まれている特徴点の個数Ｒを算出する。その後、サーバ装置１００は、処理をステップＳ１０９（図１５）に進める。
【0105】
図１６は、サーバ装置１００において実行される処理の後半部分の流れを説明するためのフロー図である。
【0106】
図１６を参照して、ステップＳ１０９において、サーバ装置１００（詳しくは、プロセッサ１５１）は、残存個数Ｚが３０個（閾値Ｔｈｃ）以上であるか否かを判断する。サーバ装置１００は、残存個数Ｚが３０個以上であると判断すると（ステップＳ１０９においてＹＥＳ）、ステップＳ１１４において、スノージャムの発生状態が「Ｃ：スノージャムが水面を覆っている状態」であると判定する。その後、サーバ装置１００は、処理をステップＳ１１２に進める。
【0107】
サーバ装置１００は、残存個数Ｚが３０個未満であると判断すると（ステップＳ１０９においてＮＯ）、ステップＳ１１０において、領域Ｑ１に含まれる特徴点の個数Ｒが１５個（閾値Ｔｈｂ）以上であるか否かを判断する。サーバ装置１００は、個数Ｒが１５個以上であると判断すると（ステップＳ１１０においてＹＥＳ）、ステップＳ１１５において、スノージャムの発生状態が「Ｂ：スノージャムが数珠繋状態」であると判定する。その後、サーバ装置１００は、処理をステップＳ１１２に進める。
【0108】
サーバ装置１００は、個数Ｒが１５個未満であると判断すると（ステップＳ１１０においてＮＯ）、ステップＳ１１１において、領域Ｑ１に含まれる特徴点の個数Ｒが５個（閾値Ｔｈａ）以上であるか否かを判断する。サーバ装置１００は、個数Ｒが５個以上であると判断すると（ステップＳ１１１においてＹＥＳ）、ステップＳ１１６において、スノージャムの発生状態が「Ａ：スノージャムの発生初期状態」であると判定する。その後、サーバ装置１００は、処理をステップＳ１１２に進める。
【0109】
ステップＳ１１２において、サーバ装置１００は、変数ｕの値をインクリメントする。ステップＳ１１３において、サーバ装置１００は、変数ｖの値を１にリセットする。その後、サーバ装置１００は、処理をステップＳ１０３（図１４）に進めることにより、次の１００枚のフレーム画像を用いたスノージャムの検出処理を実行する。
【0110】
＜Ｇ．ハードウェア構成＞
図１７は、サーバ装置１００のハードウェア構成の典型例を表した図である。
図１７は、サーバ装置１００のハードウェア構成の典型例を表した図である。
【0111】
図１７を参照して、サーバ装置１００は、主たる構成要素として、プログラムを実行するプロセッサ１５１と、データを不揮発的に格納するＲＯＭ１５２と、プロセッサ１５１によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するＲＡＭ１５３と、データを不揮発的に格納するＨＤＤ１５４と、通信ＩＦ（Interface）１５５と、操作キー１５６と、電源回路１５７と、ディスプレイ１５８とを含む。各構成要素は、相互にデータバスによって接続されている。なお、通信ＩＦ１５５は、他の機器と間における通信を行なうためのインターフェイスである。
【0112】
サーバ装置１００における処理は、各ハードウェアおよびプロセッサ１５１により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＨＤＤ１５４に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ１５５等を介してダウンロードされた後、ＨＤＤ１５４に一旦格納される。そのソフトウェアは、プロセッサ１５１によってＨＤＤ１５４から読み出され、ＲＡＭ１５３に実行可能なプログラムの形式で格納される。プロセッサ１５１は、そのプログラムを実行する。
【0113】
同図に示されるサーバ装置１００を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１５３、ＨＤＤ１５４、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、サーバ装置１００の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【0114】
なお、端末装置２００は、サーバ装置１００と同様な構成を備えるため、端末装置２００のハードウェア構成については、繰り返し説明しない。
【0115】
＜Ｈ．小括＞
上述した処理の一部を抽出すると、以下のとおりである。
上述した処理の一部を抽出すると、以下のとおりである。
【0116】
（１）監視システム１は、設備に水を供給する水路５００を撮像する監視カメラ３００と、上記撮像により得られた連続する複数のフレーム画像のうちの最初のフレーム画像において設定された予め定められた個数の特徴点の移動を、上記複数のフレーム画像にわたり上記特徴点毎に検出する検出部１４３と、上記複数のフレーム画像のうちの最後のフレーム画像における領域Ｑ１に存在する上記特徴点の個数が、閾値Ｔｈｂ以上と判定されたことに基づき、水路５００にスノージャムが存在していると判定する判定部１４４とを備える。このような構成によれば、水路５００を流れるスノージャムを精度良く検出することが可能となる。
【0117】
（２）また、判定部１４４は、上記最後のフレーム画像における領域Ｑ１に存在する上記特徴点の個数が閾値Ｔｈｂ未満と判定された場合であっても、上記最後のフレーム画像における上記特徴点の個数が閾値Ｔｈｃ以上であると判定された場合には、水路５００にスノージャムが存在していると判定する。この場合にも、水路５００を流れるスノージャムを精度良く検出することが可能となる。
【0118】
（３）監視システム１は、水路５００にスノージャムが存在していると判断されたことに基づき、上記設備への水の供給を停止させる給水制御部１４５をさらに備える。このような構成によれば、設備が停止してしまうことを防止できる。
【0119】
（４）監視システム１は、上記最後のフレーム画像における領域Ｑ１に存在する上記特徴点の個数が、閾値Ｔｈｂ未満かつ閾値Ｔｈａ以上と判定されたことに基づき、予め定められた報知を行う報知部１４６をさらに備える。このような構成によれば、設備の管理者等は、スノージャムの発生を早期に知ることができる。
【0120】
（５）監視システム１は、上記最初のフレーム画像の領域Ｑ２において上記予め定められた個数の特徴点を設定する特徴点設定部１４２をさらに備える。また、領域Ｑ１は、領域Ｑ２よりも水路５００の下流側の領域である。
【0121】
（６）特徴点設定部１４２は、領域Ｑ２における上記予め定められた個数の予め指定された座標を基準として、上記複数の特徴点の各々を設定する。このような構成によれば、ユーザ等が座標を指定するだけで、サーバ装置１００が自動的に特徴点を設定（探索）してくれる。
【0122】
（７）特徴点設定部１４２は、上記指定された座標（基準座標）を含む予め定められた大きさの要素領域Ａｉにおいて、１つの上記特徴点を設定する。このような構成によれば、特徴点の座標が重複してしまうことを低減することができる。
【0123】
（８）領域Ｑ１は、上記設備に水路５００の水を取り込む取水口７００の画像が表示された領域と少なくとも一部が重複する。取水口７００には柵が設置されているため、スノージャムは取水口７００に溜まりやすい。それゆえ、このような構成によれば、スノージャムの発生を精度良く検出可能となる。
【0124】
＜Ｉ．変形例＞
（１）上記においては、取水口の場所を監視カメラ３００により撮像したが、これに限定されるものではない。ただし、取水口には、作業員が取水口付近を映像によって確認する目的で監視カメラが設けられていることが多く、この監視カメラを利用することにより、コストを抑えることができる。また、取水口７００では、柵によって浮遊物が滞留しやすいため、他の場所に比べて、浮遊物の存在の有無を検出するのに好適である。
（１）上記においては、取水口の場所を監視カメラ３００により撮像したが、これに限定されるものではない。ただし、取水口には、作業員が取水口付近を映像によって確認する目的で監視カメラが設けられていることが多く、この監視カメラを利用することにより、コストを抑えることができる。また、取水口７００では、柵によって浮遊物が滞留しやすいため、他の場所に比べて、浮遊物の存在の有無を検出するのに好適である。
【0125】
（２）水路５００から水の供給を受ける設備は、発電設備（発電所）に限定されるものではない。
【0126】
【0127】
図１８は、誤検知要因を表わす図である。写真Ａにおいて、領域１８００は、水の流れの方向に照明の反射が伸び縮みしている状態を示している。この伸び縮みは、オプティカルフローにおいて特徴点の誤検知の要因となり得る。写真Ｂは、昼間の水路の表面で光が反射している状態を表わす。画像Ｃは、写真Ｂの画像データを用いて学習済みモデル（「ＰｏＣ１モデル」という場合もある）による２値化処理を行なって得られた画像である。写真Ｂに基づく画像Ｃの場合、瞬間値として、観察時の雪面積比率が３５．２％であるとして誤検知されている。また、５分間の平均値をスノージャムの発生の検知に用いた場合には、雪面積比率が２９．３％であるとして、誤検知されている。
【0128】
本実施の形態において、ＰｏＣ１モデルとは、ある水路を撮影して得られた画像を用いてスノージャムを検知するために使用された画像を用いて学習させることにより得られた学習済みモデルをいう。ＰｏＣ１モデルによれば、監視システム１は、流雪に敏感に反応するものの、水面からの反射をスノージャムと誤検知する場合もある。
【0129】
ＰｏＣ２モデルとは、ＰｏＣ１モデルに対して、誤検知要因が写った画像、あるいは、他の場所（例えば、発電所）のスノージャム画像を追加学習させることにより得られた学習済みモデルをいう。ＰｏＣ２モデルによれば、ＰｏＣ１モデルが使用される場合に生じた誤検知を大幅に削減できる。
【0130】
図１９は、オプティカルフローを用いた検出における特徴点の基準座標および枠の配置の一例を表わす図である。状態（Ａ）は、映像において浮遊物が横方向に流れる場合における特徴点および枠１９１０の配置の一例を表わす。状態（Ｂ）は、映像において浮遊物が斜め方向に流れる場合における特徴点および枠１９２０の配置の一例を表わす。
【0131】
図１９に示されるようなオプティカルフローモデルを採用する場合、浮遊物が流れる方向およびその流れる速さに応じて、領域Ｑ１としての枠１９１０，１９２０の大きさ、形状および位置を設定する必要がある。しかしながら、浮遊物の流れる方向や速さは、観察対象となる水路の流れその他の実際の環境に大きく依存する。したがって、監視システムが稼働する前に事前チューニングを行なうことが難しい。
【0132】
【0133】
ステップＳ２０１０にて、プロセッサ１５１は、フレーム画像の取得を開始する。フレーム画像は、例えば、監視カメラ３００による撮影画像として、サーバ装置１００に送信される。
【0134】
ステップＳ２０１５にて、プロセッサ１５１は、初期化のため、変数ｕ，ｖの値を１にリセットする。
【0135】
ステップＳ２０２０にて、プロセッサ１５１は、第ｕの期間におけるｖ番目のフレーム画像の領域Ｑ２内において、予め設定された数（例えば、４０個）の特徴点を設定する。
【0136】
ステップＳ２０２５にて、プロセッサ１５１は、変数ｖの値をインクリメントする（ｖ←ｖ＋１）。
【0137】
ステップＳ２０３０にて、プロセッサ１５１は、第ｕの期間におけるｖ番目のフレーム画像における各特徴点を追跡し、各特徴点の座標を特定する。
【0138】
ステップＳ２０３５にて、プロセッサ１５１は、変数ｖの値が６以上であるか否かを判断する。変数ｖの値が６以上である場合には（ステップＳ２０３５にてＹＥＳ）、プロセッサ１５１は、制御をステップＳ２０４０およびステップＳ２０５０に切り替える。そうでない場合には（ステップＳ２０３５にてＮＯ）、プロセッサ１５１は、制御をステップＳ２０２５に戻す。
【0139】
ステップＳ２０４０にて、プロセッサ１５１は、ｖ番目のフレーム画像の領域Ｑ１に含まれている特徴点の個数Ｒを算出する。
【0140】
ステップＳ２０４１にて、プロセッサ１５１は、配列ａｃ５の格納数が５であるか否かを判断する。プロセッサ１５１は、配列ａｃ５の格納数が５であると判断すると（ステップＳ２０４１にてＹＥＳ）、制御をステップＳ２０４２に切り替える。そうでない場合には（ステップＳ２０４１にてＮＯ）、プロセッサ１５１は、制御をステップＳ２０４３に切り替える。
【0141】
ステップＳ２０４２にて、プロセッサ１５１は、配列ａｃ５における５番目の値を削除し、初期化する。
【0142】
ステップＳ２０４３にて、プロセッサ１５１は、個数Ｒを配列ａｃ５の１番目に登録する。
【0143】
ステップＳ２０４４にて、プロセッサ１５１は、配列ａｃ５の合計値ａｃ５ｓｕｍを算出する。
【0144】
ステップＳ２０４５にて、プロセッサ１５１は、配列ａｃ１２の格納数が１２であるか否かを判断する。プロセッサ１５１は、配列ａｃ１２の格納数が１２であると判断すると（ステップＳ２０４５にてＹＥＳ）、制御をステップＳ２０４６に切り替える。そうでない場合には（ステップＳ２０４５にてＮＯ）、プロセッサ１５１は、制御をステップＳ２０４７に切り替える。
【0145】
ステップＳ２０４６にて、プロセッサ１５１は、配列ａｃ１２における１２番目の値を削除し、初期化する。
【0146】
ステップＳ２０４７にて、プロセッサ１５１は、合計値ａｃ５ｓｕｍを配列ａｃ１２の１番目に登録する。
【0147】
ステップＳ２０４８にて、プロセッサ１５１は、配列ａｃ１２の合計値ａｃ１２ｓｕｍを算出する。
【0148】
ステップＳ２０５０にて、プロセッサ１５１は、ｖ番目のフレーム画像の各画素毎にＰｏＣ１モデルによるスノージャム判定を実施する。
【0149】
ステップＳ２０５１にて、プロセッサ１５１は、ｖ番目のフレーム画像でスノージャムと判定された画素数比率ａｒｅａを算出する。
【0150】
ステップＳ２０５２にて、プロセッサ１５１は、前回の判定結果ｐｒｅ＿ａｒｅａが登録されているか否かを判断する。前回の判定結果ｐｒｅ＿ａｒｅａが登録されている場合には（ステップＳ２０５２にてＹＥＳ）、プロセッサ１５１は、制御をステップＳ２０６０に切り替える。そうでない場合には（ステップＳ２０５２にてＮＯ）、プロセッサ１５１は、制御をステップＳ２０５３に切り替える。
【0151】
ステップＳ２０５３にて、プロセッサ１５１は、前回の判定結果ｐｒｅ＿ａｒｅａにステップＳ２０５１にて算出した画素数比率ａｒｅａの値を入力する。
【0152】
ステップＳ２０６０にて、プロセッサ１５１は、配列ａｃ１２の合計値ａｃ１２ｓｕｍが予め設定された閾値（たとえば１１５）よりも大きく、かつ、画素数比率ａｒｅａと前回の判定結果ｐｒｅ＿ａｒｅａとの差が予め設定された閾値（例えば４）よりも大きいか否かを判断する。配列ａｃ１２の合計値ａｃ１２ｓｕｍが予め設定された閾値（たとえば１１５）よりも大きく、かつ、画素数比率ａｒｅａと前回の判定結果ｐｒｅ＿ａｒｅａとの差が予め設定された閾値（例えば４）よりも大きい場合には（ステップＳ２０６０にてＹＥＳ）、プロセッサ１５１は、制御をステップＳ２０７０に切り替える。そうでない場合には（ステップＳ２０７０にてＮＯ）、プロセッサ１５１は、制御をステップＳ２０８０に切り替える。
【0153】
ステップＳ２０７０にて、プロセッサ１５１は、スノージャムが監視対象領域に発生していると判定する。プロセッサ１５１は、サーバ装置１００のディスプレイ１５８に、スノージャムが発生している旨を表示する。他の局面において、プロセッサ１５１は、サーバ装置１００に接続されている他の情報端末に、スノージャムが発生していることを通知する警告を送信する。当該警告は、例えば、当該監視対象領域の管理者が使用する携帯通信端末に送信される。
【0154】
ステップＳ２０８０にて、プロセッサ１５１は、前回の判定結果ｐｒｅ＿ａｒｅａにステップＳ２０５１にて算出した画素数比率ａｒｅａの値を入力する。
【0155】
ステップＳ２０８５にて、プロセッサ１５１は、変数ｕの値を１だけインクリメントする。
【0156】
ステップＳ２０９０にて、プロセッサ１５１は、変数ｖの値を１にリセットする。
なお、図２０では、オプティカルフローモデルに基づく判断基準を導出する処理（ステップＳ２０４０～Ｓ２０４８）と、学習済みモデル（ＰｏＣ１またはＰｏＣ２）に基づく判断基準を導出する処理（ステップＳ２０５０～２０５３）とは、並行して実行される態様で例示されているが、他の局面において、これらの処理は、順次実行されてもよい。
なお、図２０では、オプティカルフローモデルに基づく判断基準を導出する処理（ステップＳ２０４０～Ｓ２０４８）と、学習済みモデル（ＰｏＣ１またはＰｏＣ２）に基づく判断基準を導出する処理（ステップＳ２０５０～２０５３）とは、並行して実行される態様で例示されているが、他の局面において、これらの処理は、順次実行されてもよい。
【0157】
本実施の形態に係る監視システム１を構成するサーバ装置１００は、オプティカルフローモデルに基づく判断基準と、学習済みモデルに基づく判断基準とを併用することにより、スノージャムの判断時の誤検知を抑制しつつ、スノージャムを早期に検知することができる。以下、各モデルに基づく検知精度の相違について説明する。
【0158】
＜スノージャムの検知精度の比較＞
図２１および図２２を参照して、スノージャムを検知する各方式の精度の比較結果について説明する。図２１は、ある発電所において１２時３０分に保安停止された場合においてスノージャムが検知されたタイミングを表わす図である。
図２１および図２２を参照して、スノージャムを検知する各方式の精度の比較結果について説明する。図２１は、ある発電所において１２時３０分に保安停止された場合においてスノージャムが検知されたタイミングを表わす図である。
【0159】
［ＰｏＣ２モデル］
グラフ（Ａ）は、ＰｏＣ２モデルにおいて４秒ごとに推定し５分間の平均を採用した場合における検知のタイミングを表わす。この場合、サーバ装置１００は、１１時１１分３９秒にスノージャムを検知したと判断している。
グラフ（Ａ）は、ＰｏＣ２モデルにおいて４秒ごとに推定し５分間の平均を採用した場合における検知のタイミングを表わす。この場合、サーバ装置１００は、１１時１１分３９秒にスノージャムを検知したと判断している。
【0160】
グラフ（Ｂ）は、ＰｏＣ２モデルにおいて４秒ごとに推定し前回の値との差分でスノージャムの検知の判定が行われた場合における検知のタイミングを表わす。この場合、サーバ装置１００は、１１時１０分２３秒にスノージャムを検知したと判断している。
【0161】
［ＰｏＣ１モデル＆オプティカルフロー］
グラフ（Ｃ）およびグラフ（Ｄ）は、ＰｏＣ１モデルとオプティカルフローとの組み合わせでスノージャムの検知が行なわれた場合のタイミングを表わす。グラフ（Ｃ）とグラフ（Ｄ）との違いは、オプティカルフローにおけるチューニング（設定）の内容である。
グラフ（Ｃ）およびグラフ（Ｄ）は、ＰｏＣ１モデルとオプティカルフローとの組み合わせでスノージャムの検知が行なわれた場合のタイミングを表わす。グラフ（Ｃ）とグラフ（Ｄ）との違いは、オプティカルフローにおけるチューニング（設定）の内容である。
【0162】
より具体的には、グラフ（Ｃ）は、ＰｏＣ１モデルにおいて４秒ごとに推定し５分間の平均が採用され、かつ、「チューニング１」が行なわれたオプティカルフローによる判定結果が組み合わされた場合における検知のタイミングを表わす。この場合、サーバ装置１００は、９時４５分４０秒および１１時１１分５１秒に、スノージャムをそれぞれ検知したと判断している。チューニング１では、ＰｏＣ１モデルの推論結果の５分間の平均値が使用された場合において、雪面積比率およびオプティカルフローの累積値が、閾値として採用される。
【0163】
グラフ（Ｄ）は、ＰｏＣ１モデルにおいて４秒ごとに推定し５分間の平均が採用され、かつ、「チューニング２」が行なわれたオプティカルフローによる判定結果が組み合わされた場合における検知のタイミングを表わす。この場合、サーバ装置１００は、９時４５分２０秒および１１時１１分５１秒に、スノージャムをそれぞれ検知したと判断している。チューニング２では、ＰｏＣ１モデルの推論結果の前回値との差分（変化量）が閾値として採用される。
【0164】
［オプティカルフロー］
グラフ（Ｅ）は、オプティカルフローのみが採用された場合におけるスノージャムの検知結果を表わす。すなわち、サーバ装置１００は、９時４５分４０秒および１１時１１分５９秒に、スノージャムをそれぞれ検知したと判断している。
グラフ（Ｅ）は、オプティカルフローのみが採用された場合におけるスノージャムの検知結果を表わす。すなわち、サーバ装置１００は、９時４５分４０秒および１１時１１分５９秒に、スノージャムをそれぞれ検知したと判断している。
【0165】
グラフ（Ａ）およびグラフ（Ｂ）から明らかなように、ＰｏＣ２モデルのみが採用された場合には、スノージャムは、一度だけ検知されている。すなわち、９時４５分過ぎのスノージャムは、ＰｏＣ２モデルでは検知されていない。これに対して、グラフ（Ｃ）、グラフ（Ｄ）およびグラフ（Ｅ）から明らかなように、オプティカルフローが組み合わされた各方式によれば、いずれも、９時４５分過ぎのスノージャムも検知されている。
【0166】
図２２は、ある発電所において、保安停止がなかったもののカメラに水滴が付着したことによりスノージャムが発生したと誤検知された場合も含む検知結果の一例を表わす図である。すなわち、日誌によれば、８時８分４７秒頃に水滴がカメラに付着していることが観察されている。スノージャムに至らない「流雪」は、１０時１４分３１秒に観察されたことが記録されている。図２２に示される観測が行なわれた発電所では、保安停止が行なわれていない。
【0167】
グラフ（Ａ）は、ＰｏＣ２モデルにおいて４秒ごとに推定し５分間の平均を採用した場合における検知のタイミングを表わす。この場合、サーバ装置１００は、８時１３分４２秒にスノージャムを検知したと判断している。その後の流雪が観測された時点では、サーバ装置１００は、スノージャムを検知したとは判断しておらず、この時は誤検知が生じていない。
【0168】
グラフ（Ｂ）は、ＰｏＣ２モデルにおいて４秒ごとに推定し前回の値との差分でスノージャムの検知の判定が行われた場合における検知のタイミングを表わす。この場合、サーバ装置１００は、８時１２分３８秒にスノージャムを検知したと判断している。さらに、サーバ装置１００は、１０時１６分６秒にスノージャムを検知したと判断している。
【0169】
［ＰｏＣ１モデル＆オプティカルフロー］
グラフ（Ｃ）およびグラフ（Ｄ）は、ＰｏＣ１モデルとオプティカルフローとの組み合わせでスノージャムの検知が行なわれた場合のタイミングを表わす。グラフ（Ｃ）とグラフ（Ｄ）との違いは、ＰｏＣ１モデルにおけるチューニングの内容である。
グラフ（Ｃ）およびグラフ（Ｄ）は、ＰｏＣ１モデルとオプティカルフローとの組み合わせでスノージャムの検知が行なわれた場合のタイミングを表わす。グラフ（Ｃ）とグラフ（Ｄ）との違いは、ＰｏＣ１モデルにおけるチューニングの内容である。
【0170】
グラフ（Ｃ）およびグラフ（Ｄ）から明らかなように、いずれの場合も、サーバ装置１００は、８時１２分５４秒および１０時１６分５９秒にスノージャムを検知したと判断している。
【0171】
［オプティカルフロー］
グラフ（Ｅ）は、オプティカルフローのみが採用された場合におけるスノージャムの検知結果を表わす。すなわち、サーバ装置１００は、８時１２分５８秒に、スノージャムを検知したと判断している。
グラフ（Ｅ）は、オプティカルフローのみが採用された場合におけるスノージャムの検知結果を表わす。すなわち、サーバ装置１００は、８時１２分５８秒に、スノージャムを検知したと判断している。
【0172】
【0173】
グラフＡは、ある一日（２０１９年１月２６日）に、従来の監視システムに映る水路に水滴が付着した場合において誤検知とスノージャムの検知とが行なわれたときの５分間の雪面積の平均値の比率の推移を表わす。この場合、監視システムは、７時８分２４秒頃にスノージャムが発生したと誤検知した。このときの比率は１．７３５（％）であった。また、監視システムは、８時１４分１８秒頃に、スノージャムの発生を正しく検知している。
【0174】
グラフＢは、他の一日（２０１９年２月７日）に、従来の監視システムのレンズカバーに水滴が付着し、さらに風波が観測された場合において誤検知とスノージャムの検知とが行なわれたときの５分間の雪面積の平均値の比率の推移を表わす。この場合、監視システムは、１７時３５分３５秒頃にスノージャムが発生したと誤検知した。このときの比率は１．７３６（％）であった。そこで、ある実施の形態に従う監視システムは、平均値の比率の閾値として、１．８（％）を採用し得る。
【0175】
図２４を参照して、他の監視日における検知結果について説明する。図２４は、２０１８年１２月２９日に観測された雪面積比率（５分間の平均）の推移を表わす図である。より具体的には、１１時１２分３４秒頃から流雪が観測され始め、１２時３分３２秒には監視システムに映る水路は、雪で埋もれた状態となっている。
【0176】
【0177】
グラフＡは、ある一日（２０１９年１月２６日）に、従来の監視システムのレンズカバーに水滴が付着した場合において誤検知とスノージャムの検知とが行なわれたときの５分間の雪面積の比率（前回の計測値との差分）の推移を表わす。この場合、監視システムは、８時２１分３２秒頃および１０時２６分５４秒頃にスノージャムが発生したと検知した。
【0178】
グラフＢは、他の一日（２０１９年２月７日）に、従来の監視システムのレンズカバーに水滴が付着し、さらに風波が観測された場合において誤検知とスノージャムの検知とが行なわれたときの５分間の雪面積の比率（前回の計測値との差分）の推移を表わす。この場合、監視システムは、１５時２６分４２秒頃と１７時３５分３５秒頃に、スノージャムが発生したと誤検知した。このときの比率の最大値は、６．４２７（％）であった。そこで、ある実施の形態に従う監視システムは、雪面積の比率の前回値との差分の閾値として、６．５（％）を採用し得る。
【0179】
図２６を参照して、他の監視日における検知結果について説明する。図２６は、２０１８年１２月２９日に観測された雪面積比率（前回値との差分）の推移を表わす図である。より具体的には、１１時１２分３４秒頃から流雪が観測され始め、１２時３分３２秒には監視システムに映る水路は、雪で埋もれた状態となっている。
【0180】
【0181】
例えば、ある一日において、監視システムがスノージャムを誤検知した場合において検出した特徴点の数が９個であるとき、閾値を１０個以上と設定することが考えられる。しかしながら、このように設定すると、監視システムは、小規模なスノージャム（例えば検出した特徴点の個数が９以下）を検知できなくなる。そこで、本実施の形態に従う監視システムは、累積値を用いることにより、小規模なスノージャムを検知し得る。
【0182】
より具体的には、本実施の形態に従う監視システムは、５回分の判定結果を累積し、さらに、その累積を１２回繰り返し、その結果を用いてスノージャムが発生しているか否かを検知する。
【0183】
図２８および図２９を参照して、監視システムの精度の相違について説明する。図２８は、監視システムが、閾値１０として、検出した特徴点の個数をそのまま判定に使用した場合における検知結果を表わす図である。図２９は、監視システムが、閾値１４０として、検出した特徴点個数の累積値を判定に使用した場合における検知結果を表わす図である。
【0184】
図２８のグラフＡに示されるように、２０１８年１２月２９日において、監視システムは、１１時１３分２１秒頃に、スノージャムを検知している。実際には、スノージャムは１１時１２分頃には観測されている。他方、グラフＢに示されるように、２０１９年２月７日には、２３時３６分頃に検出した特徴点の個数が９となっているが、この時は実際にはスノージャムは観測されていない。
【0185】
図２９のグラフＡに示されるように、２０１８年１２月２９日において、監視システムは、１１時１１分５９秒頃に、スノージャムを検知している。実際には、スノージャムは１１時１２分頃には観測されている。他方、グラフＢに示されるように、２０１９年２月７日には、２０時４０分頃に検出した特徴点の個数の累積値が１２９となっているが、この時は実際にはスノージャムは観測されていない。
【0186】
図２９のグラフＡから明らかなように、監視システムは、スノージャムの発生の判定に検出した特徴点の個数の累積値を用いることで、図２８の場合のように検出した特徴点の個数をそのまま使用する場合に比べて、スノージャムを早期に検知することができる。
【0187】
図３０を参照して、監視システムが採用する方式の相違による誤検知の可能性について説明する。図３０は、ＰｏＣ１モデルのみ、オプティカルフローのみ、および、ＰｏＣ１モデル＆オプティカルフローの併用、の各々の方式による検知特性を表わす図である。いずれの方式も、スノージャムを検知できる。ただし、ＰｏＣ１モデル方式は、昼間において、水面からの反射に起因して誤検知する場合があり得る。オプティカルフロー方式は、夜間において、水面からの反射に起因して、スノージャムの発生を誤検知し得る（図１８の画像Ｂおよび画像Ｃ参照）。これに対して、両方式を併用する方式は、そのような誤検知が生じない。
【0188】
本実施の形態において、２つの調整（チューニング１およびチューニング２）が監視システムに適用され得る。
【0189】
チューニング１では、ＰｏＣ１モデルの推論結果の５分間の平均値が使用された場合において、雪面積比率およびオプティカルフローの累積値が、閾値として採用される。この時の関係は、一例として次式のように示され、ＰｏＣ１モデルについては単独では難しかった閾値を設定でき、オプティカルフローについても図２９で示した単独でチューニングした時の値より小さくすることが出来る。
・５分平均の雪面積比率＞４％ かつ オプティカルフローの累積値＞１１５
チューニング２では、ＰｏＣ１モデルの推論結果の前回値との差分（変化量）が閾値として採用される。この場合、雪面積の変化量およびオプティカルフローの累積値の関係は、一例として、次式のように示され、ＰｏＣ１モデルについては単独では難しかった閾値を設定でき、オプティカルフローについても図２９で示した単独でチューニングした時の値より小さくすることが出来る。
・雪面積変化量＞４％ かつ オプティカルフローの累積値＞１１５
図３１は、学習済みモデルの評価結果とオプティカルフローとの組み合わせを説明するための図である。画像Ａ～画像Ｃは、２０倍速（３０ｆｐｓ）で保存されている。推論は、１０ｆｐｓに１回（オリジナル時間で６．６７秒に１回）実施され、監視システムは、５分間の平均値でスノージャームの発生の検知を行なう。この場合の検知の条件は、雪面積比率＞９．４８％、である。
・５分平均の雪面積比率＞４％ かつ オプティカルフローの累積値＞１１５
チューニング２では、ＰｏＣ１モデルの推論結果の前回値との差分（変化量）が閾値として採用される。この場合、雪面積の変化量およびオプティカルフローの累積値の関係は、一例として、次式のように示され、ＰｏＣ１モデルについては単独では難しかった閾値を設定でき、オプティカルフローについても図２９で示した単独でチューニングした時の値より小さくすることが出来る。
・雪面積変化量＞４％ かつ オプティカルフローの累積値＞１１５
図３１は、学習済みモデルの評価結果とオプティカルフローとの組み合わせを説明するための図である。画像Ａ～画像Ｃは、２０倍速（３０ｆｐｓ）で保存されている。推論は、１０ｆｐｓに１回（オリジナル時間で６．６７秒に１回）実施され、監視システムは、５分間の平均値でスノージャームの発生の検知を行なう。この場合の検知の条件は、雪面積比率＞９．４８％、である。
【0190】
画像Ａは、ある局面においてスノージャムが発生した初期に撮影された画像および画像処理の結果を表わす。より具体的には、画像３１００は、スノージャムが発生した初期におけるＰｏＣ１モデルによる検知結果を表わす。画像３１１０は、スノージャムが発生した初期におけるＰｏＣ２モデルによる検知結果を表わす。ある局面では、ＰｏＣ１モデルは、スノージャムの発生を検知できているが、ＰｏＣ２モデルは、スノージャムの発生を検知できていない。
【0191】
画像Ｂは、他の局面において、水面に映った壁面の雪や雲がスノージャムとして誤検知された場合の画像および画像処理の結果を表わす。より具体的には、画像３１２０は、ＰｏＣ１モデルによる検知結果を表わす。画像３１３０は、ＰｏＣ２モデルによる検知結果を表わす。この局面では、ＰｏＣ１モデルによれば、監視システムは、水面に映った壁面の雪や雲をスノージャムが発生したと誤検知している。他方、ＰｏＣ２モデルによれば、監視システムは、水路の表面を流れる雪と、水面に映った雪の識別とを区別できている。
【0192】
画像Ｃは、オプティカルフローによりスノージャムの発生を検知する場合の画像を表わす。オプティカルフローによる判定では、保存映像に対し１２フレーム毎（オリジナル時間で８秒に１回）に判定が実施される。特徴点については、１フレーム目で４２の基準座標が与えられ、監視システムは、１２フレーム目の領域３１４０内の特徴点の個数でスノージャムの発生を判定する。この場合、例えば、領域３１４０内の特徴点が８個以上である場合、監視システムは、スノージャムが発生したと判定する。
【0193】
図３２を参照して、スノージャムの発生のタイミングの相違について説明する。図３２は、２０１８年１２月２８日にスノージャムにより取水が停止した場合におけるスノージャムの発生の検知のタイミングを表わす図である。この日の観測時には、監視システムのカメラについて、３回の画角変更が行なわれている。そのとき、特徴点の数が一時的に急変している。
【0194】
グラフＡは、雪面積比率が判定基準に用いられる場合における学習済みモデルの検知結果を表わす。閾値は、雪面積比率が９．４８％以上である。ＰｏＣ１モデルによれば、監視システムは、２０１８年１２月２８日の２時３３分８秒頃にスノージャムの発生を検知している。ＰｏＣ２モデルによれば、監視システムは、同日の２時３６分１５秒頃にスノージャムの発生を検知している。したがって、この場合は、ＰｏＣ１モデルが、ＰｏＣ２モデルよりも早期にスノージャムを検知できたことになる。
【0195】
グラフＢは、オプティカルフローによる検知結果を表わす。閾値は、特徴点の数が８個である。画角変更が行なわれた時刻を除外すると、監視システムは、オプティカルフローによれば、２時２４分頃にスノージャムの発生を検知できたことになる。
【0196】
図３３は、２０１９年１月２４日にスノージャムにより取水が停止した場合におけるスノージャムの発生の検知のタイミングを表わす図である。
【0197】
グラフＡは、雪面積比率が判定基準に用いられる場合における学習済みモデルの検知結果を表わす。検知の条件（閾値）は、雪面積比率が９．４８％以上である。ＰｏＣ１モデルによれば、監視システムは、２０１９年１月２４日の０時５４分４７秒頃にスノージャムの発生を検知している。ＰｏＣ２モデルによれば、監視システムは、同日の０時５６分５６秒頃にスノージャムの発生を検知している。したがって、この場合は、ＰｏＣ１モデルが、ＰｏＣ２モデルよりも早期にスノージャムを検知できたことになる。
【0198】
グラフＢは、オプティカルフローによる検知結果を表わす。閾値は、特徴点の数が８個である。監視システムは、オプティカルフローによれば、０時５４分頃にスノージャムの発生を検知できたことになる。
【0199】
図３４は、２０１９年１月１５日に、スノージャムが発生していないにもかかわらずスポットライトの光による誤検知が発生した場合の状態を表わす。
【0200】
グラフＡは、雪面積比率が判定基準に用いられる場合における学習済みモデルの検知結果を表わす。検知の条件は、雪面積比率≧閾値（９．４８％）である。ＰｏＣ１モデルによれば、監視システムは、２０１９年１月１５日の１９時２６分頃に、スノージャムが発生したと誤検知している。ＰｏＣ２モデルによれば、監視システムは、スノージャムが発生したと判定していない。したがって、この場合は、ＰｏＣ１モデルのみが、誤検知したことになる。
【0201】
グラフＢは、オプティカルフローによる検知結果を表わす。検知の条件は、特徴点の数≧閾値（８個）である。監視システムは、オプティカルフローによれば、現実と同様に、スノージャムが発生したと判定していないことになる。
【0202】
図３５は、２０１９年１月２７日に、スノージャムが発生していないにもかかわらず、水面へ映りこんだ壁面の雪や雲などによる誤検知が発生した場合の状態を表わす。
【0203】
グラフＡは、雪面積比率が判定基準に用いられる場合における学習済みモデルの検知結果を表わす。検知の条件は、雪面積比率≧閾値（９．４８％）である。ＰｏＣ１モデルによれば、監視システムは、２０１９年１月２７日の１１時３６分頃に、スノージャムが発生したと誤検知している。ＰｏＣ２モデルによれば、監視システムは、スノージャムが発生したと判定していない。したがって、この場合は、ＰｏＣ１モデルのみが、誤検知したことになる。
【0204】
グラフＢは、オプティカルフローによる検知結果を表わす。検知の条件は、特徴点の数≧閾値（８個）である。監視システムは、オプティカルフローによれば、現実と同様に、スノージャムが発生したと判定していないことになる。
【0205】
図３６は、２０１９年２月１３日の昼間における、監視システムによる検知結果を表わす。スノーボードの検知の条件は、雪面積比率≧閾値（９．４８％）である。ＰｏＣ１モデルおよびＰｏＣ２モデルのいずれによっても、監視システムは、スノージャムが発生したと判定していない。
【0206】
図３７は、オプティカルフローモデルが採用された場合に誤検知し易い状況下において、ＰｏＣ１モデルが誤検知しない画像と、そのオリジナルの画像とを表わす図である。
【0207】
画像Ａは、図２９のグラフＢに示される累積値が１２９となった時点の撮影、すなわち、２０１９年２月７日２０時４１分頃の撮影によって取得された画像を表わす。画像Ｂは、その画像をＰｏＣ１モデルに適用した場合に得られた画像である。図３７に例示される画像によれば、オプティカルフローモデルが誤検知し易い状況下において、ＰｏＣ１モデルが検知した雪面積比率は、０．０４１％となり、ＰｏＣ１モデルを採用する監視システムは、殆ど誤検知していないことが見て取れる。
【0208】
以上のようにして、本開示によれば、学習済みモデルを用いた判定とオプティカルフローを用いた判定との組み合わせにより、スノージャムその他の浮遊物を早期に検知できる。また、各判定の基準が組み合わされるため、学習済みモデルを用いた検知の場合に生じ得る誤検知を抑制し得る。これにより、誤検知を抑制しつつ早期に浮遊物を検知できる監視システムを実現することができる。
【0209】
ある局面において、監視システム１は、監視カメラ３００、サーバ装置１００および端末装置２００を所有する事業者によって使用される。他の局面において、監視カメラ３００によって撮影された画像が、監視サービスを運営する事業者のコンピュータに送られ、当該コンピュータが、サーバ装置１００としてスノージャムの検知処理を実行することにより、監視システム１が構成されてもよい。この場合、当該事業者は、各電力会社からの画像を受信し、当該画像を用いた監視サービスを提供することができる。
【0210】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【0211】
開示された技術的特徴は、雪、葉又はクラゲのような浮遊物を含む障害物の存在を検知する必要がある場所、例えば、発電所の取水口を監視する技術として適用可能である。
【符号の説明】
【0212】
１ 監視システム、１００ サーバ装置、１０１ 通信ＩＦ部、１０２ 制御部、１１１ 受信部、１１２ 送信部、１４１ 基準座標設定部、１４２ 特徴点設定部、１４３ 検出部、１４４ 判定部、１４５ 給水制御部、１４６ 報知部、１５１ プロセッサ、１５２ ＲＯＭ、１５３ ＲＡＭ、１５６ 操作キー、１５７ 電源回路、１５８ ディスプレイ、２００ 端末装置、３００ 監視カメラ、４００ 取水装置、５００ 水路、７００ 取水口、８００，Ｑ１，Ｑ２ 領域、１９１０，１９２０ 枠。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
