知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024110170
(43)【公開日】2024-08-15
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240807BHJP
E02B 5/08 20060101ALI20240807BHJP
E02B 9/04 20060101ALI20240807BHJP
G06V 10/70 20220101ALI20240807BHJP
【ＦＩ】
G06T7/00 610B
G06T7/00 350B
E02B5/08 101Z
E02B9/04 E
G06V10/70
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023014582
(22)【出願日】2023-02-02
(71)【出願人】
【識別番号】000156938
【氏名又は名称】関西電力株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】田中 良英
(72)【発明者】
【氏名】平塚 優作
(72)【発明者】
【氏名】小野 俊二
(72)【発明者】
【氏名】米澤 拓孝
(72)【発明者】
【氏名】本田 修平
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA02
5L096CA02
5L096EA02
5L096FA06
5L096FA53
5L096FA60
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA34
5L096GA51
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
【課題】気象条件による影響を受けにくく、かつ、比較的通信状況が悪い環境下でもスクリーンへの塵芥の付着状況を判定できる技術を提供する。
【解決手段】情報処理方法は、スクリーンが設置された取水口を撮影するカメラから静止画像２００を取得するステップＳ１と、静止画像２００において、水面が写る領域Ｒ１と、塵芥が写る１以上の領域Ｒ２と、スクリーンが写る領域Ｒ３とを検知するステップＳ２と、領域Ｒ１および１以上の領域Ｒ２の合成領域Ｒ４と領域Ｒ３との境界の端点ＰＴａ，ＰＴｂを特定するステップＳ３と、端点ＰＴａ，ＰＴｂを結ぶ線分を輪郭の一部として有し、合成領域Ｒ４側に凸となるスクリーン近傍領域ＲＡを設定するステップＳ４と、１以上の領域Ｒ２のうちスクリーン近傍領域ＲＡ内に位置する領域Ｒ２に基づいて、スクリーンへの塵芥の付着状況を判定するステップＳ５とを備える。
【選択図】図７
【解決手段】情報処理方法は、スクリーンが設置された取水口を撮影するカメラから静止画像２００を取得するステップＳ１と、静止画像２００において、水面が写る領域Ｒ１と、塵芥が写る１以上の領域Ｒ２と、スクリーンが写る領域Ｒ３とを検知するステップＳ２と、領域Ｒ１および１以上の領域Ｒ２の合成領域Ｒ４と領域Ｒ３との境界の端点ＰＴａ，ＰＴｂを特定するステップＳ３と、端点ＰＴａ，ＰＴｂを結ぶ線分を輪郭の一部として有し、合成領域Ｒ４側に凸となるスクリーン近傍領域ＲＡを設定するステップＳ４と、１以上の領域Ｒ２のうちスクリーン近傍領域ＲＡ内に位置する領域Ｒ２に基づいて、スクリーンへの塵芥の付着状況を判定するステップＳ５とを備える。
【選択図】図７
【特許請求の範囲】
【請求項1】
スクリーンが設置された取水口を有する水路のうち前記取水口が設けられた場所を撮影するカメラから静止画像を取得する取得部と、
前記静止画像において、水面が写る第１領域と、塵芥が写る１以上の第２領域と、前記スクリーンが写る第３領域とを検知する領域検知部と、
前記第１領域および前記１以上の第２領域の合成領域と前記第３領域との境界の第１端点および第２端点を特定する特定部と、
前記第１端点と前記第２端点とを結ぶ第１線分を輪郭の一部として有し、前記合成領域側に凸となるスクリーン近傍領域を設定する設定部と、
前記１以上の第２領域のうち前記スクリーン近傍領域内に位置する第２領域に基づいて、前記スクリーンへの前記塵芥の付着状況を判定する判定部とを備える、情報処理装置。
前記静止画像において、水面が写る第１領域と、塵芥が写る１以上の第２領域と、前記スクリーンが写る第３領域とを検知する領域検知部と、
前記第１領域および前記１以上の第２領域の合成領域と前記第３領域との境界の第１端点および第２端点を特定する特定部と、
前記第１端点と前記第２端点とを結ぶ第１線分を輪郭の一部として有し、前記合成領域側に凸となるスクリーン近傍領域を設定する設定部と、
前記１以上の第２領域のうち前記スクリーン近傍領域内に位置する第２領域に基づいて、前記スクリーンへの前記塵芥の付着状況を判定する判定部とを備える、情報処理装置。
【請求項2】
前記特定部は、
前記合成領域を膨張させ、
前記第３領域を膨張させ、
膨張された前記合成領域と膨張された前記第３領域とが重なり合う第４領域を抽出し、
前記第４領域に基づいて前記第１端点および前記第２端点を特定する、請求項１に記載の情報処理装置。
前記合成領域を膨張させ、
前記第３領域を膨張させ、
膨張された前記合成領域と膨張された前記第３領域とが重なり合う第４領域を抽出し、
前記第４領域に基づいて前記第１端点および前記第２端点を特定する、請求項１に記載の情報処理装置。
【請求項3】
前記カメラから取得された事前準備用画像に対するユーザ入力に応じて、第１～第４基準座標を登録する登録部を備え、
前記第１基準座標は、高さが第１レベルである前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの左端の写る画素の座標であり、
前記第２基準座標は、高さが前記第１レベルである前記水面と前記スクリーンとの前記交線の、前記水路の上流側から前記スクリーンを見たときの右端の写る画素の座標であり、
前記第３基準座標は、高さが前記第１レベルと異なる第２レベルである前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの左端の写る画素の座標であり、
前記第４基準座標は、高さが前記第２レベルである前記水面と前記スクリーンとの前記交線の、前記水路の上流側から前記スクリーンを見たときの右端の写る画素の座標であり、
前記特定部は、
前記第４領域のうち、前記第１基準座標の点と前記第３基準座標の点とを結ぶ第１端線上の点を前記第１端点として特定し、
前記第４領域のうち、前記第２基準座標の点と前記第４基準座標の点とを結ぶ第２端線上の点を前記第２端点として特定する、請求項２に記載の情報処理装置。
前記第１基準座標は、高さが第１レベルである前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの左端の写る画素の座標であり、
前記第２基準座標は、高さが前記第１レベルである前記水面と前記スクリーンとの前記交線の、前記水路の上流側から前記スクリーンを見たときの右端の写る画素の座標であり、
前記第３基準座標は、高さが前記第１レベルと異なる第２レベルである前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの左端の写る画素の座標であり、
前記第４基準座標は、高さが前記第２レベルである前記水面と前記スクリーンとの前記交線の、前記水路の上流側から前記スクリーンを見たときの右端の写る画素の座標であり、
前記特定部は、
前記第４領域のうち、前記第１基準座標の点と前記第３基準座標の点とを結ぶ第１端線上の点を前記第１端点として特定し、
前記第４領域のうち、前記第２基準座標の点と前記第４基準座標の点とを結ぶ第２端線上の点を前記第２端点として特定する、請求項２に記載の情報処理装置。
【請求項4】
前記特定部は、
前記取得部が前記静止画像を取得するたびに、前記静止画像に対して前記第１端点および前記第２端点を特定し、
最新の静止画像において前記第４領域と前記第１端線とが交わらないことに応じて、前回の静止画像に対して特定された前記第１端点を、前記最新の静止画像における前記第１端点として特定し、
前記最新の静止画像において前記第４領域と前記第２端線とが交わらないことに応じて、前記前回の静止画像に対して特定された前記第２端点を、前記最新の静止画像における前記第２端点として特定する、請求項３に記載の情報処理装置。
前記取得部が前記静止画像を取得するたびに、前記静止画像に対して前記第１端点および前記第２端点を特定し、
最新の静止画像において前記第４領域と前記第１端線とが交わらないことに応じて、前回の静止画像に対して特定された前記第１端点を、前記最新の静止画像における前記第１端点として特定し、
前記最新の静止画像において前記第４領域と前記第２端線とが交わらないことに応じて、前記前回の静止画像に対して特定された前記第２端点を、前記最新の静止画像における前記第２端点として特定する、請求項３に記載の情報処理装置。
【請求項5】
前記特定部は、
前記合成領域の少なくとも一部に属する各点の座標と第１ラベルとを示す第１正解データと、前記第３領域の少なくとも一部に属する各点の座標と第２ラベルとを示す第２正解データとを用いた機械学習を行なうことにより、座標の入力を受けて、前記第１ラベルおよび前記第２ラベルのいずれかを出力する線形分類モデルの分離直線を求め、
前記第４領域に属する複数の点を前記分離直線上に射影することにより得られる複数の射影点のうち、両端に位置する２つの射影点を前記第１端点および前記第２端点として特定する、請求項２に記載の情報処理装置。
前記合成領域の少なくとも一部に属する各点の座標と第１ラベルとを示す第１正解データと、前記第３領域の少なくとも一部に属する各点の座標と第２ラベルとを示す第２正解データとを用いた機械学習を行なうことにより、座標の入力を受けて、前記第１ラベルおよび前記第２ラベルのいずれかを出力する線形分類モデルの分離直線を求め、
前記第４領域に属する複数の点を前記分離直線上に射影することにより得られる複数の射影点のうち、両端に位置する２つの射影点を前記第１端点および前記第２端点として特定する、請求項２に記載の情報処理装置。
【請求項6】
前記カメラから取得された事前準備用画像に対するユーザ入力に応じて、第１基準座標および第２基準座標を登録する登録部を備え、
前記第１基準座標は、前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの左端の写る画素の座標であり、
前記第２基準座標は、前記交線の、前記水路の上流側から前記スクリーンを見たときの右端の写る画素の座標であり、
前記特定部は、
前記複数の射影点のうち、前記第２基準座標の点との距離が最大となる射影点を前記第１端点として特定し、
前記複数の射影点のうち、前記第１基準座標の点との距離が最大となる射影点を前記第２端点として特定する、請求項５に記載の情報処理装置。
前記第１基準座標は、前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの左端の写る画素の座標であり、
前記第２基準座標は、前記交線の、前記水路の上流側から前記スクリーンを見たときの右端の写る画素の座標であり、
前記特定部は、
前記複数の射影点のうち、前記第２基準座標の点との距離が最大となる射影点を前記第１端点として特定し、
前記複数の射影点のうち、前記第１基準座標の点との距離が最大となる射影点を前記第２端点として特定する、請求項５に記載の情報処理装置。
【請求項7】
前記特定部は、
前記取得部が前記静止画像を取得するたびに、前記静止画像に対して前記第１端点および前記第２端点を特定し、
最新の静止画像に対して特定した前記第１端点と前記第２端点とを結ぶ第２線分の長さと、前記第１基準座標の点と前記第２基準座標の点とを結ぶ第３線分の長さとの差が第１閾値以上であること、および、前記第２線分と前記第３線分とのなす角度が第２閾値以上であることの少なくとも一方を満たすことに応じて、前記最新の静止画像に対して特定された前記第１端点および前記第２端点を、前回の静止画像に対して前記スクリーン近傍領域を設定するために用いた前記第１端点および前記第２端点と同一となるように補正し、
前記設定部は、前記第１端点および前記第２端点が補正された場合、補正後の前記第１端点および補正後の前記第２端点を用いて、前記スクリーン近傍領域を設定する、請求項６に記載の情報処理装置。
前記取得部が前記静止画像を取得するたびに、前記静止画像に対して前記第１端点および前記第２端点を特定し、
最新の静止画像に対して特定した前記第１端点と前記第２端点とを結ぶ第２線分の長さと、前記第１基準座標の点と前記第２基準座標の点とを結ぶ第３線分の長さとの差が第１閾値以上であること、および、前記第２線分と前記第３線分とのなす角度が第２閾値以上であることの少なくとも一方を満たすことに応じて、前記最新の静止画像に対して特定された前記第１端点および前記第２端点を、前回の静止画像に対して前記スクリーン近傍領域を設定するために用いた前記第１端点および前記第２端点と同一となるように補正し、
前記設定部は、前記第１端点および前記第２端点が補正された場合、補正後の前記第１端点および補正後の前記第２端点を用いて、前記スクリーン近傍領域を設定する、請求項６に記載の情報処理装置。
【請求項8】
前記特定部は、
前記分離直線と前記静止画像の端との２つの交点のうち、前記第３領域の重心から見て右側の交点を第１基準点として設定し、前記重心から見て左側の交点を第２基準点として設定し、
前記複数の射影点のうち、前記第１基準点との距離が最小となる射影点、または、前記第２基準点との距離が最大となる射影点を前記第１端点として特定し、
前記複数の射影点のうち、前記第１基準点との距離が最大となる射影点、または、前記第２基準点との距離が最小となる射影点を前記第２端点として特定する、請求項５に記載の情報処理装置。
前記分離直線と前記静止画像の端との２つの交点のうち、前記第３領域の重心から見て右側の交点を第１基準点として設定し、前記重心から見て左側の交点を第２基準点として設定し、
前記複数の射影点のうち、前記第１基準点との距離が最小となる射影点、または、前記第２基準点との距離が最大となる射影点を前記第１端点として特定し、
前記複数の射影点のうち、前記第１基準点との距離が最大となる射影点、または、前記第２基準点との距離が最小となる射影点を前記第２端点として特定する、請求項５に記載の情報処理装置。
【請求項9】
前記カメラから取得された事前準備用画像に対するユーザ入力に応じて、第１～第４基準座標を登録する登録部を備え、
前記第１基準座標は、高さが第１レベルである前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの左端の写る画素の座標であり、
前記第２基準座標は、高さが前記第１レベルである前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの右端の写る画素の座標であり、
前記第３基準座標は、高さが前記第１レベルと異なる第２レベルである前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの左端の写る画素の座標であり、
前記第４基準座標は、高さが前記第２レベルである前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの右端の写る画素の座標であり、
前記特定部は、
前記合成領域の少なくとも一部に属する各点の座標と第１ラベルとを示す第１正解データと、前記第３領域の少なくとも一部に属する各点の座標と第２ラベルとを示す第２正解データと、を用いた機械学習を行なうことにより、座標の入力を受けて、前記第１ラベルおよび前記第２ラベルのいずれかを出力する線形分離モデルの分離直線を求め、
前記分離直線と、前記第１基準座標の点と前記第３基準座標の点とを結ぶ第１端線との交点を前記第１端点として特定し、
前記分離直線と、前記第２基準座標の点と前記第４基準座標の点とを結ぶ第２端線との交点を前記第２端点として特定する、請求項１に記載の情報処理装置。
前記第１基準座標は、高さが第１レベルである前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの左端の写る画素の座標であり、
前記第２基準座標は、高さが前記第１レベルである前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの右端の写る画素の座標であり、
前記第３基準座標は、高さが前記第１レベルと異なる第２レベルである前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの左端の写る画素の座標であり、
前記第４基準座標は、高さが前記第２レベルである前記水面と前記スクリーンとの交線の、前記水路の上流側から前記スクリーンを見たときの右端の写る画素の座標であり、
前記特定部は、
前記合成領域の少なくとも一部に属する各点の座標と第１ラベルとを示す第１正解データと、前記第３領域の少なくとも一部に属する各点の座標と第２ラベルとを示す第２正解データと、を用いた機械学習を行なうことにより、座標の入力を受けて、前記第１ラベルおよび前記第２ラベルのいずれかを出力する線形分離モデルの分離直線を求め、
前記分離直線と、前記第１基準座標の点と前記第３基準座標の点とを結ぶ第１端線との交点を前記第１端点として特定し、
前記分離直線と、前記第２基準座標の点と前記第４基準座標の点とを結ぶ第２端線との交点を前記第２端点として特定する、請求項１に記載の情報処理装置。
【請求項10】
前記特定部は、
前記取得部が前記静止画像を取得するたびに、前記静止画像に対して前記第１端点および前記第２端点を特定し、
最新の静止画像において前記分離直線と前記第１端線とが交わらないことに応じて、前回の静止画像に対して特定された前記第１端点を、前記最新の静止画像における前記第１端点として特定し、
前記最新の静止画像において前記分離直線と前記第２端線とが交わらないことに応じて、前記前回の静止画像に対して特定された前記第２端点を、前記最新の静止画像における前記第２端点として特定する、請求項９に記載の情報処理装置。
前記取得部が前記静止画像を取得するたびに、前記静止画像に対して前記第１端点および前記第２端点を特定し、
最新の静止画像において前記分離直線と前記第１端線とが交わらないことに応じて、前回の静止画像に対して特定された前記第１端点を、前記最新の静止画像における前記第１端点として特定し、
前記最新の静止画像において前記分離直線と前記第２端線とが交わらないことに応じて、前記前回の静止画像に対して特定された前記第２端点を、前記最新の静止画像における前記第２端点として特定する、請求項９に記載の情報処理装置。
【請求項11】
前記特定部は、
前記取得部が前記静止画像を取得するたびに、前記静止画像に対して前記第１端点および前記第２端点を特定し、
最新の静止画像に対して特定された前記第１端点および前記第２端点の第１中点と、前回の静止画像に対して設定された前記スクリーン近傍領域の前記第１線分の第２中点との距離が第３閾値以上であることに応じて、前記最新の静止画像に対して特定された前記第１端点および前記第２端点を、前記前回の静止画像に対して前記スクリーン近傍領域を設定するために用いた前記第１端点および前記第２端点と同一となるように補正し、
前記設定部は、前記第１端点および前記第２端点が補正された場合、補正後の前記第１端点および補正後の前記第２端点を用いて、前記スクリーン近傍領域を設定する、請求項１～３，請求項５，請求項６，請求項８および請求項９のいずれか１項に記載の情報処理装置。
前記取得部が前記静止画像を取得するたびに、前記静止画像に対して前記第１端点および前記第２端点を特定し、
最新の静止画像に対して特定された前記第１端点および前記第２端点の第１中点と、前回の静止画像に対して設定された前記スクリーン近傍領域の前記第１線分の第２中点との距離が第３閾値以上であることに応じて、前記最新の静止画像に対して特定された前記第１端点および前記第２端点を、前記前回の静止画像に対して前記スクリーン近傍領域を設定するために用いた前記第１端点および前記第２端点と同一となるように補正し、
前記設定部は、前記第１端点および前記第２端点が補正された場合、補正後の前記第１端点および補正後の前記第２端点を用いて、前記スクリーン近傍領域を設定する、請求項１～３，請求項５，請求項６，請求項８および請求項９のいずれか１項に記載の情報処理装置。
【請求項12】
前記特定部は、前記静止画像のうちの一部である、前記第１基準座標の点と前記第２基準座標の点とを含む所定サイズの範囲を設定し、
前記第１正解データは、前記合成領域のうち前記範囲内の各点の座標を示し、
前記第２正解データは、前記第３領域のうち前記範囲内の各点の座標を示す、請求項６または９に記載の情報処理装置。
前記第１正解データは、前記合成領域のうち前記範囲内の各点の座標を示し、
前記第２正解データは、前記第３領域のうち前記範囲内の各点の座標を示す、請求項６または９に記載の情報処理装置。
【請求項13】
前記スクリーン近傍領域は、前記第１線分を長径とする半楕円形状を有する、請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項14】
前記設定部は、前記第１線分を長径とし、前記第２端点から前記第１端点まで時計回り方向に描かれる楕円弧と、前記第１線分とで囲まれた領域を前記スクリーン近傍領域として設定する、請求項３，請求項６，請求項８および請求項９のいずれか１項に記載の情報処理装置。
【請求項15】
カメラと、サーバ装置と、端末装置とを備えた監視システムであって、
前記カメラは、スクリーンが設置された取水口を有する水路のうち前記取水口が設けられた場所を撮影し、撮影により得られた静止画像を前記サーバ装置に送信し、
前記サーバ装置は、
前記カメラから前記静止画像を受信し、
前記静止画像において、水面が写る第１領域と、塵芥が写る１以上の第２領域と、前記スクリーンが写る第３領域とを検知し、
前記第１領域および前記１以上の第２領域の合成領域と前記第３領域との境界の第１端点および第２端点を特定し、
前記第１端点と前記第２端点とを結ぶ線分を輪郭の一部として有し、前記合成領域側に凸となるスクリーン近傍領域を設定し、
前記１以上の第２領域のうち前記スクリーン近傍領域内に位置する第２領域に基づいて、前記スクリーンへの前記塵芥の付着状況を判定し、
判定結果を前記端末装置に送信し、
前記端末装置は、前記判定結果を前記サーバ装置から受信し、前記判定結果を表示する、監視システム。
前記カメラは、スクリーンが設置された取水口を有する水路のうち前記取水口が設けられた場所を撮影し、撮影により得られた静止画像を前記サーバ装置に送信し、
前記サーバ装置は、
前記カメラから前記静止画像を受信し、
前記静止画像において、水面が写る第１領域と、塵芥が写る１以上の第２領域と、前記スクリーンが写る第３領域とを検知し、
前記第１領域および前記１以上の第２領域の合成領域と前記第３領域との境界の第１端点および第２端点を特定し、
前記第１端点と前記第２端点とを結ぶ線分を輪郭の一部として有し、前記合成領域側に凸となるスクリーン近傍領域を設定し、
前記１以上の第２領域のうち前記スクリーン近傍領域内に位置する第２領域に基づいて、前記スクリーンへの前記塵芥の付着状況を判定し、
判定結果を前記端末装置に送信し、
前記端末装置は、前記判定結果を前記サーバ装置から受信し、前記判定結果を表示する、監視システム。
【請求項16】
１以上のプロセッサが、スクリーンが設置された取水口を有する水路のうち前記取水口が設けられた場所を撮影するカメラから静止画像を取得するステップと、
前記１以上のプロセッサが、前記静止画像において、水面が写る第１領域と、塵芥が写る１以上の第２領域と、前記スクリーンが写る第３領域とを検知するステップと、
前記１以上のプロセッサが、前記第１領域および前記１以上の第２領域の合成領域と前記第３領域との境界の第１端点および第２端点を特定するステップと、
前記１以上のプロセッサが、前記第１端点と前記第２端点とを結ぶ線分を輪郭の一部として有し、前記合成領域側に凸となるスクリーン近傍領域を設定するステップと、
前記１以上のプロセッサが、前記１以上の第２領域のうち前記スクリーン近傍領域内に位置する第２領域に基づいて、前記スクリーンへの前記塵芥の付着状況を判定するステップとを備える、情報処理方法。
前記１以上のプロセッサが、前記静止画像において、水面が写る第１領域と、塵芥が写る１以上の第２領域と、前記スクリーンが写る第３領域とを検知するステップと、
前記１以上のプロセッサが、前記第１領域および前記１以上の第２領域の合成領域と前記第３領域との境界の第１端点および第２端点を特定するステップと、
前記１以上のプロセッサが、前記第１端点と前記第２端点とを結ぶ線分を輪郭の一部として有し、前記合成領域側に凸となるスクリーン近傍領域を設定するステップと、
前記１以上のプロセッサが、前記１以上の第２領域のうち前記スクリーン近傍領域内に位置する第２領域に基づいて、前記スクリーンへの前記塵芥の付着状況を判定するステップとを備える、情報処理方法。
【請求項17】
情報処理装置を制御するプログラムであって、
スクリーンが設置された取水口を有する水路のうち前記取水口が設けられた場所を撮影するカメラから静止画像を取得するステップと、
前記静止画像において、水面が写る第１領域と、塵芥が写る１以上の第２領域と、前記スクリーンが写る第３領域とを検知するステップと、
前記第１領域および前記１以上の第２領域の合成領域と前記第３領域との境界の第１端点および第２端点を特定するステップと、
前記第１端点と前記第２端点とを結ぶ線分を輪郭の一部として有し、前記合成領域側に凸となるスクリーン近傍領域を設定するステップと、
前記１以上の第２領域のうち前記スクリーン近傍領域内に位置する第２領域に基づいて、前記スクリーンへの前記塵芥の付着状況を判定するステップとを、前記情報処理装置のプロセッサに実行させる、プログラム。
スクリーンが設置された取水口を有する水路のうち前記取水口が設けられた場所を撮影するカメラから静止画像を取得するステップと、
前記静止画像において、水面が写る第１領域と、塵芥が写る１以上の第２領域と、前記スクリーンが写る第３領域とを検知するステップと、
前記第１領域および前記１以上の第２領域の合成領域と前記第３領域との境界の第１端点および第２端点を特定するステップと、
前記第１端点と前記第２端点とを結ぶ線分を輪郭の一部として有し、前記合成領域側に凸となるスクリーン近傍領域を設定するステップと、
前記１以上の第２領域のうち前記スクリーン近傍領域内に位置する第２領域に基づいて、前記スクリーンへの前記塵芥の付着状況を判定するステップとを、前記情報処理装置のプロセッサに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、監視システム、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
小水力発電所の水路の周囲には落葉広葉樹が多く、秋になると大量の葉などの塵芥が水路に流れ込む。水路に設けられた取水口のスクリーンに塵芥が付着すると、水路の詰まりが発生する。そのため、作業員は、水路の詰まりが発生したタイミングで塵芥を除去することが好ましい。
【0003】
特開２０２２－１７９００号公報（特許文献１）は、取水口を撮影するカメラからの動画像に対して密なオプティカルフローを適用し、流動している塵芥と滞留している塵芥とを判別する情報処理装置を開示している。特許文献１に開示の情報処理装置は、滞留している塵芥とスクリーンの位置とに基づき、スクリーンへの塵芥の付着状況を判定する。作業員は、この判定結果から、水路の詰まりが発生したタイミングを把握できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２２－１７９００号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１の手法では、動画像に対して密なオプティカルフローが適用される。しかしながら、気象条件（例えば日光の入射角度、明るさなど）の影響により、密なオプティカルフローによって、流動している塵芥と滞留している塵芥とを精度よく判別できない可能性がある。
【0006】
また、無線方式を用いてカメラから動画像を取得する場合、カメラが設置される場所の通信状況によっては、カメラから動画像を取得できない、あるいは、カメラから取得した動画像に基づいてスクリーンへの塵芥の付着状況を精度良く判定できない可能性がある。一般に、動画像を送信する場合、一定時間で必要なデータ（前フレームとの差分を示すデータ）を伝送する必要がある。通信状況が悪く、必要なデータを伝送できない場合、データを間引く処理が実行される。その結果、一部が欠損したデータが伝送されることになり、動画像にブロックノイズが発生する。ブロックノイズが発生した動画像を用いると、スクリーンへの塵芥の付着状況を精度良く判定できない。
【0007】
本開示は、上記のような問題点に鑑みてなされたものであり、その目的は、気象条件による影響を受けにくく、かつ、比較的通信状況が悪い環境下でもスクリーンへの塵芥の付着状況を判定できる技術を提供することである。
【課題を解決するための手段】
【0008】
本開示のある局面に従う情報処理装置は、取得部と、領域検知部と、特定部と、設定部と、判定部とを備える。取得部は、スクリーンが設置された取水口を有する水路のうち取水口が設けられた場所を撮影するカメラから静止画像を取得する。領域検知部は、静止画像において、水面が写る第１領域と、塵芥が写る１以上の第２領域と、スクリーンが写る第３領域とを検知する。特定部は、第１領域および１以上の第２領域の合成領域と第３領域との境界の第１端点および第２端点を特定する。設定部は、第１端点と第２端点とを結ぶ第１線分を輪郭の一部として有し、合成領域側に凸となるスクリーン近傍領域を設定する。判定部は、１以上の第２領域のうちスクリーン近傍領域内に位置する第２領域に基づいて、スクリーンへの塵芥の付着状況を判定する。
【0009】
本開示の他の局面に従う監視システムは、カメラと、サーバ装置と、端末装置とを備える。カメラは、スクリーンが設置された取水口を有する水路のうち取水口が設けられた場所を撮影し、撮影により得られた静止画像をサーバ装置に送信する。サーバ装置は、カメラから静止画像を受信する。サーバ装置は、静止画像において、水面が写る第１領域と、塵芥が写る１以上の第２領域と、スクリーンが写る第３領域とを検知する。サーバ装置は、第１領域および１以上の第２領域の合成領域と第３領域との境界の第１端点および第２端点を特定する。サーバ装置は、第１端点と第２端点とを結ぶ線分を輪郭の一部として有し、合成領域側に凸となるスクリーン近傍領域を設定する。サーバ装置は、１以上の第２領域のうちスクリーン近傍領域内に位置する第２領域に基づいて、スクリーンへの塵芥の付着状況を判定し、判定結果を端末装置に送信する。端末装置は、判定結果をサーバ装置から受信し、判定結果を表示する。
【0010】
本開示のさらに他の局面に従う情報処理方法は、第１～第５のステップを備える。第１のステップは、１以上のプロセッサが、スクリーンが設置された取水口を有する水路のうち取水口が設けられた場所を撮影するカメラから静止画像を取得するステップである。第２のステップは、１以上のプロセッサが、静止画像において、水面が写る第１領域と、塵芥が写る１以上の第２領域と、スクリーンが写る第３領域とを検知するステップである。第３のステップは、１以上のプロセッサが、第１領域および１以上の第２領域の合成領域と第３領域との境界の第１端点および第２端点を特定するステップである。第４のステップは、１以上のプロセッサが、第１端点と第２端点とを結ぶ線分を輪郭の一部として有し、合成領域側に凸となるスクリーン近傍領域を設定するステップである。第５のステップは、１以上のプロセッサが、１以上の第２領域のうちスクリーン近傍領域内に位置する第２領域に基づいて、スクリーンへの塵芥の付着状況を判定するステップである。
【0011】
本開示のさらに他の局面に従うプログラムは、上記の第１～第５のステップを、情報処理装置のプロセッサに実行させる。
【発明の効果】
【0012】
本開示の技術によれば、気象条件による影響を受けにくく、かつ、比較的通信状況が悪い環境下でもスクリーンへの塵芥の付着状況を判定できる。
【図面の簡単な説明】
【0013】
【図1】水路を説明するための図である。
【図2】監視システムのシステム構成を説明するための図である。
【図4】カメラによって撮影された静止画像の一例を示す図である。
【図5】サーバ装置のハードウェア構成を説明するための図である。
【図6】サーバ装置の機能構成の一例を示す図である。
【図7】運用フェーズにおけるサーバ装置の処理の流れの概要を示すフローチャートである。
【図8】第１実施例における登録情報を説明する図である。
【図9】第１実施例の処理の流れの前半を示すフローチャートである。
【図10】第１実施例の処理の流れの後半を示すフローチャートである。
【図15】静止画像から抽出された滞留塵芥領域の一例を示す図である。
【図16】長さＬｓを説明するための図である。
【図17】本実施の形態において設定されたスクリーン近傍領域の一例を示す図である。
【図18】第２実施例の処理の流れの前半を示すフローチャートである。
【図19】第２実施例の処理の流れの後半を示すフローチャートである。
【図20】ステップＳ４４の処理を説明する図である。
【図21】散布図として見なされる範囲と分離直線との関係を示す図である。
【図22】ステップＳ４５～Ｓ４９の処理を説明する図である。
【図23】第３実施例の処理の流れの前半を示すフローチャートである。
【図24】第３実施例の処理の流れの後半を示すフローチャートである。
【図25】ステップＳ６１～Ｓ６７を説明する図である。
【図26】第４実施例の処理の流れの前半を示すフローチャートである。
【図27】第４実施例の処理の流れの後半を示すフローチャートである。
【図28】ステップＳ７１～Ｓ７４を説明する図である。
【発明を実施するための形態】
【0014】
以下、図面を参照しつつ、本発明の実施の形態に係る監視システムについて説明する。以下の説明では、同一の部材には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0015】
また、以下では、水路に浮遊する塵芥（浮遊性塵芥）の例として、落ち葉を挙げて説明する。ただし、塵芥は、落ち葉に限定されるものではない。
【0016】
＜水路＞
図１は、水路を説明するための図である。図１に示す例では、水路５０は、河川４０から分岐した水路である。水路５０を流れる水は、小水力発電所１００に供給される。小水力発電所１００では、この水は発電設備の発電用水として利用される。その後、水は、河川４０に放流される。なお、典型的には、１００００ｋＷ以下が「小水力」と称される。
図１は、水路を説明するための図である。図１に示す例では、水路５０は、河川４０から分岐した水路である。水路５０を流れる水は、小水力発電所１００に供給される。小水力発電所１００では、この水は発電設備の発電用水として利用される。その後、水は、河川４０に放流される。なお、典型的には、１００００ｋＷ以下が「小水力」と称される。
【0017】
河川４０の流域は、通常、落葉広葉樹が多い。それゆえ、秋になると大量の落ち葉が、河川４０に流れ込む。流れ込んだ落ち葉（すなわち、塵芥）は、小水力発電所１００用の水路５０にも流れ込む。塵芥は、取水口７０のスクリーン６０に付着して詰まりを起こすため、発電量低下（「溢水」とも称される）の原因となっている。なお、スクリーン６０は、典型的には金属製の柵である。
【0018】
＜監視システム＞
図２は、監視システムのシステム構成を説明するための図である。図２に示されるように、監視システム１は、サーバ装置１０と、端末装置２０と、カメラ３０とを備える。カメラ３０とサーバ装置１０とは、有線方式または無線方式に従って、通信可能に接続される。以下では、カメラ３０とサーバ装置１０との間の通信回線の一部に無線方式が含まる場合について説明する。端末装置２０は、ネットワークを介して通信可能にサーバ装置１０に接続されている。
図２は、監視システムのシステム構成を説明するための図である。図２に示されるように、監視システム１は、サーバ装置１０と、端末装置２０と、カメラ３０とを備える。カメラ３０とサーバ装置１０とは、有線方式または無線方式に従って、通信可能に接続される。以下では、カメラ３０とサーバ装置１０との間の通信回線の一部に無線方式が含まる場合について説明する。端末装置２０は、ネットワークを介して通信可能にサーバ装置１０に接続されている。
【0019】
端末装置２０は、例えば、デスクトップ型のＰＣ（Personal Computer）である。しかしながら、端末装置２０は、デスクトップ型のＰＣに限定されるものではなく、例えば、ラップトップ型のＰＣ、タブレット端末、またはスマートフォンであってもよい。
【0020】
カメラ３０は、水路５０を撮影するために水路５０の傍に設置される。具体的には、カメラ３０は、水路５０のうち取水口７０の付近に設置される。取水口７０には、一定形状をした大きな異物（流木等）が発電設備に流れ込まないように、スクリーン６０が設けられる。カメラ３０は、水路５０の上流側から水面およびスクリーン６０を撮影するように設置される。
【0021】
カメラ３０による撮影によって得られた静止画像は、サーバ装置１０に送られる。カメラ３０は、例えばＴＣＰ（Transmission Control Protocol）／ＩＰ（Internet Protocol）を用いて、静止画像のデータをサーバ装置１０に送信する。ＴＣＰ／ＩＰでは、カメラ３０とサーバ装置１０との間の通信状況が比較的悪くても、静止画像のデータの全てが正常に伝送されるまで、再送が繰り返される。さらに、ＴＣＰ／ＩＰでは、データの送信元と受信先とが、データの授受が正しく実行されたか否かをお互いに確認し合う。そのため、カメラ３０とサーバ装置１０との間の通信状況が比較的悪くても、静止画像のデータは、画質が劣化することなく、カメラ３０からサーバ装置１０へ送信される。
【0022】
サーバ装置１０は、カメラ３０によって撮影された静止画像を利用した処理を実行する情報処理装置である。詳しくは、サーバ装置１０は、静止画像における、スクリーン６０の近傍に滞留している塵芥の写る領域に基づいて、スクリーン６０への塵芥の付着状況を判定する。サーバ装置１０は、判定結果を端末装置２０に通知する。例えば、サーバ装置１０は、判定結果を含むメールを端末装置２０に送信してもよいし、判定結果へアクセスするためのアドレスが記述されたメールを端末装置２０に送信してもよい。
【0023】
端末装置２０は、判定結果をサーバ装置１０から受信し、判定結果を表示する。
小水力発電所１００の作業者は、端末装置２０に表示された判定結果に基づいて、取水口７０に塵芥が詰まったタイミングで、塵芥の除去作業を行なうことができる。そのため、作業者が行きにくい場所の取水口７０を監視対象とすることにより、監視システム１の利便性が増す。なお、水路５０は、発電所用のものに限定されない。水路５０は、大きな規模の発電所用の水路、あるいは農業用水路等の発電目的以外の水路であってもよい。
小水力発電所１００の作業者は、端末装置２０に表示された判定結果に基づいて、取水口７０に塵芥が詰まったタイミングで、塵芥の除去作業を行なうことができる。そのため、作業者が行きにくい場所の取水口７０を監視対象とすることにより、監視システム１の利便性が増す。なお、水路５０は、発電所用のものに限定されない。水路５０は、大きな規模の発電所用の水路、あるいは農業用水路等の発電目的以外の水路であってもよい。
【0024】
＜塵芥の付着状態＞
図３は、図１および図２に示した取水口における塵芥の状態を表した模式図である。図３に示されるように、水路５０に流れこんだ塵芥８０は、水底から水面まで拡がって浮遊している。なお、本例では、「浮遊」は、滞留状態での浮遊と、流動状態での浮遊とを含む。水面で浮遊する塵芥８０もあれば、水面下（水中）で浮遊する塵芥８０もある。
図３は、図１および図２に示した取水口における塵芥の状態を表した模式図である。図３に示されるように、水路５０に流れこんだ塵芥８０は、水底から水面まで拡がって浮遊している。なお、本例では、「浮遊」は、滞留状態での浮遊と、流動状態での浮遊とを含む。水面で浮遊する塵芥８０もあれば、水面下（水中）で浮遊する塵芥８０もある。
【0025】
水路を浮遊する塵芥８０の一部は、水の流れの向き（矢印Ａ１の向き）に流される。そのうちの一部の塵芥８０は、スクリーン６０に付着する。塵芥８０は、スクリーン６０を通過する水の流れによって、既に塵芥８０が付着している場所を避けてスクリーン６０に付着する。図の例では、塵芥８０は、矢印Ａ２の方向ではなく、矢印Ａ３の方向に流される。
【0026】
図４は、カメラによって撮影された静止画像の一例を示す図である。カメラ３０から出力される静止画像は、カメラ３０の座標系によって表される。カメラ３０の座標系は、カメラ３０の視野の左上を原点Ｏとし、視野の横方向をＸ軸、視野の縦方向をＹ軸とするＸＹ座標系である。そのため、静止画像の各画素は、ＸＹ座標によって表される。
【0027】
図４において、（Ａ）には、スクリーン６０に付着する塵芥８０が少ないときの静止画像２０１が示される。（Ｂ）には、スクリーン６０全体に塵芥８０が付着したときの静止画像２０２が示される。
【0028】
図４に示されるように、塵芥８０は、既に塵芥８０が付着している部分に重ならず、隙間によって水の流れが生じている箇所に付着する。これにより、塵芥８０は、スクリーン６０に対して、水面から水底まで薄く、かつ万遍なく付着していく。
【0029】
＜ハードウェア構成＞
図５は、サーバ装置のハードウェア構成を説明するための図である。図５に示されるように、サーバ装置１０は、主たる構成要素として、プログラムを実行するプロセッサ１５１と、データを不揮発的に格納するＲＯＭ（Read Only Memory）１５２と、プロセッサ１５１によるプログラムの実行により生成されたデータ、又は入力されたデータを揮発的に格納するＲＡＭ（Random Access Memory）１５３と、データを不揮発的に格納するＨＤＤ（Hard Disk Drive）１５４と、通信ＩＦ（Interface）１５５と、入力装置１５６と、電源回路１５７と、ディスプレイ１５８とを含む。各構成要素は、相互にデータバスによって接続されている。なお、通信ＩＦ１５５は、他の機器と間における通信を行なうためのインターフェイスである。
図５は、サーバ装置のハードウェア構成を説明するための図である。図５に示されるように、サーバ装置１０は、主たる構成要素として、プログラムを実行するプロセッサ１５１と、データを不揮発的に格納するＲＯＭ（Read Only Memory）１５２と、プロセッサ１５１によるプログラムの実行により生成されたデータ、又は入力されたデータを揮発的に格納するＲＡＭ（Random Access Memory）１５３と、データを不揮発的に格納するＨＤＤ（Hard Disk Drive）１５４と、通信ＩＦ（Interface）１５５と、入力装置１５６と、電源回路１５７と、ディスプレイ１５８とを含む。各構成要素は、相互にデータバスによって接続されている。なお、通信ＩＦ１５５は、他の機器と間における通信を行なうためのインターフェイスである。
【0030】
サーバ装置１０における処理は、各ハードウェアおよびプロセッサ１５１により実行されるソフトウェア（プログラム）によって実現される。このようなソフトウェアは、ＨＤＤ１５４に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ１５５等を介してダウンロードされた後、ＨＤＤ１５４に一旦格納される。そのソフトウェアは、プロセッサ１５１によってＨＤＤ１５４から読み出され、ＲＡＭ１５３に実行可能なプログラムの形式で格納される。プロセッサ１５１は、そのプログラムを実行する。
【0031】
同図に示されるサーバ装置１０を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１５３、ＨＤＤ１５４、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、サーバ装置１０の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【0032】
なお、端末装置２０は、サーバ装置１０と同様な構成を備えるため、端末装置２０のハードウェア構成については、繰り返し説明しない。
【0033】
＜サーバ装置の機能構成＞
図６は、サーバ装置の機能構成の一例を示す図である。図６に示されるように、サーバ装置１０は、取得部１１０と、領域検知部１１１と、特定部１１２と、設定部１１３と、判定部１１４と、通知部１１５と、登録部１１６と、記憶部１２０とを備える。領域検知部１１１、特定部１１２、設定部１１３、判定部１１４、および登録部１１６は、図５に示すプロセッサ１５１がプログラムを実行することにより実現される。また、取得部１１０および通知部１１５は、図５に示す通信ＩＦ１５５と、プログラムを実行するプロセッサ１５１とによって実現される。記憶部１２０は、図５に示すＲＡＭ１５３またはＨＤＤ１５４によって実現される。
図６は、サーバ装置の機能構成の一例を示す図である。図６に示されるように、サーバ装置１０は、取得部１１０と、領域検知部１１１と、特定部１１２と、設定部１１３と、判定部１１４と、通知部１１５と、登録部１１６と、記憶部１２０とを備える。領域検知部１１１、特定部１１２、設定部１１３、判定部１１４、および登録部１１６は、図５に示すプロセッサ１５１がプログラムを実行することにより実現される。また、取得部１１０および通知部１１５は、図５に示す通信ＩＦ１５５と、プログラムを実行するプロセッサ１５１とによって実現される。記憶部１２０は、図５に示すＲＡＭ１５３またはＨＤＤ１５４によって実現される。
【0034】
サーバ装置１０の処理は、事前準備フェーズの処理と、運用フェーズの処理とを含み得る。事前準備フェーズの処理は、監視システム１を構成する各装置の設置が完了した後、運用フェーズの処理の開始前に実行される。運用フェーズの処理は、事前準備フェーズの処理の後に実行される。
【0035】
取得部１１０は、事前準備フェーズおよび運用フェーズの両者において動作する。領域検知部１１１、特定部１１２、設定部１１３、判定部１１４、および通知部１１５は、運用フェーズにおいて動作する。登録部１１６は、事前準備フェーズにおいて動作する。
【0036】
取得部１１０は、事前準備フェーズにおいて、入力装置１５６（図５参照）が受けたユーザ入力に応じて、カメラ３０から事前準備用の静止画像（以下、「事前準備用画像」と称する）を取得（受信）し、取得した事前準備用画像を登録部１１６に出力する。
【0037】
取得部１１０は、運用フェーズにおいて、周期的（例えば５分または１０分間隔）にカメラ３０から静止画像を取得（受信）し、取得した静止画像を領域検知部１１１に出力する。
【0038】
登録部１１６は、取得部１１０から受けた事前準備用画像をディスプレイ１５８（図５参照）に表示させ、入力装置１５６へのユーザ入力に応じて、特定部１１２の処理に使用され得る登録情報を生成する。登録部１１６は、生成した登録情報を記憶部１２０に格納する。
【0039】
領域検知部１１１は、取得部１１０から受けた静止画像において、水面が写る第１領域（以下、「領域Ｒ１」と称する）と、塵芥８０が写る１以上の第２領域（以下、「領域Ｒ２」と称する）と、スクリーン６０が写る第３領域（以下、「領域Ｒ３」と称する）とを検知する。具体的には、領域検知部１１１は、学習済モデル４２０を用いて、静止画像の各画素に対して、水面，塵芥，スクリーンまたはその他であることを示すラベルを付けるセマンティックセグメンテーションを行なう。領域検知部１１１は、水面を示すラベルが付与された画素塊を領域Ｒ１として検知する。領域検知部１１１は、塵芥を示すラベルが付与された各画素塊を領域Ｒ２として検知する。領域検知部１１１は、スクリーン６０を示すラベルが付与された画素塊を領域Ｒ３として検知する。
【0040】
学習済モデル４２０は、典型的には、ディープニューラルネットワーク構造と、パラメータとで構成される。学習済モデル４２０は、典型的には、逆誤差伝搬法を用いて生成される。学習済モデル４２０は、サーバ装置１０で生成されてもよいし、他の装置で生成されてもよい。
【0041】
学習済モデル４２０は、学習用データを用いて予め生成される。学習用データは、複数の静止画像データと、各静止画像データに対して、画素単位で水面，塵芥８０，スクリーン６０またはその他であることを示すラベルとを含む。ラベル付けがされた静止画像データを学習することにより、学習済モデル４２０が生成される。
【0042】
特定部１１２は、領域Ｒ１および１以上の領域Ｒ２の合成領域Ｒ４と、領域Ｒ３との境界の第１端点（以下、「端点ＰＴａ」と称する）および第２端点（以下、「端点ＰＴｂ」と称する）を特定する。特定部１１２は、特定した端点ＰＴａの座標（以下、「第１端点座標」と称する）と、特定した端点ＰＴｂの座標（以下、「第２端点座標」と称する）を示す端点情報を記憶部１２０に格納する。特定部１１２は、端点ＰＴａ，ＰＴｂを特定するたびに端点情報を更新する。
【0043】
後述するように、特定部１１２は、記憶部１２０が記憶する登録情報を用いて端点ＰＴａ，ＰＴｂを特定してもよいし、登録情報を用いずに端点ＰＴａ，ＰＴｂを特定してもよい。特定部１１２が登録情報を用いずに端点ＰＴａ，ＰＴｂを特定する場合、登録部１１６は省略される。
【0044】
設定部１１３は、端点ＰＴａと端点ＰＴｂとを結ぶ線分を輪郭の一部として有し、合成領域Ｒ４側に凸となるスクリーン近傍領域ＲＡを設定する。スクリーン近傍領域ＲＡの形状は、特に限定されず、半楕円形状、矩形状などを取り得る。ただし、後述するように、スクリーン近傍領域ＲＡは、オープンソースのコンピュータビジョン向けライブラリを用いることにより容易に描画可能である半楕円形状であることが好ましい。
【0045】
判定部１１４は、１以上の領域Ｒ２のうちスクリーン近傍領域ＲＡ内に位置する領域Ｒ２に基づいて、スクリーン６０への塵芥８０の付着状況を判定する。
【0046】
通知部１１５は、判定部１１４による判定結果を端末装置２０に通知する。これにより、判定結果は、端末装置２０に表示される。あるいは、通知部１１５は、判定結果をディスプレイ１５８に表示してもよい。
【0047】
＜サーバ装置の処理の流れの概要＞
図７は、運用フェーズにおけるサーバ装置の処理の流れの概要を示すフローチャートである。
図７は、運用フェーズにおけるサーバ装置の処理の流れの概要を示すフローチャートである。
【0048】
図７に示されるように、まず、取得部１１０として動作するプロセッサ１５１は、カメラ３０から静止画像２００を取得する（ステップＳ１）。
【0049】
次に、領域検知部１１１として動作するプロセッサ１５１は、静止画像２００において、水面が写る領域Ｒ１と、塵芥８０が写る１以上の領域Ｒ２と、スクリーン６０が写る領域Ｒ３とを検知する（ステップＳ２）。
【0050】
次に、特定部１１２として動作するプロセッサ１５１は、領域Ｒ１および１以上の領域Ｒ２の合成領域Ｒ４と、領域Ｒ３との境界の端点ＰＴａ，ＰＴｂを特定する（ステップＳ３）。
【0051】
次に、設定部１１３として動作するプロセッサ１５１は、端点ＰＴａと端点ＰＴｂとを結ぶ線分を輪郭の一部として有し、合成領域Ｒ４側に凸となるスクリーン近傍領域ＲＡを設定する（ステップＳ４）。
【0052】
次に、判定部１１４として動作するプロセッサ１５１は、１以上の領域Ｒ２のうちスクリーン近傍領域ＲＡ内に位置する領域Ｒ２に基づいて、スクリーン６０への塵芥８０の付着状況を判定する（ステップＳ５）。最後に、通知部１１５として動作するプロセッサ１５１は、判定結果を端末装置２０に通知する（ステップＳ６）。
【0053】
＜ステップＳ１～Ｓ６の具体的な実施例＞
以下に、図７に示すステップＳ１～Ｓ６の具体的な実施例の詳細について説明する。
以下に、図７に示すステップＳ１～Ｓ６の具体的な実施例の詳細について説明する。
【0054】
（第１実施例）
第１実施例では、事前準備フェーズにおいて、登録部１１６は、カメラ３０から取得された事前準備用画像に対するユーザ入力に応じて、第１～第４基準座標を示す登録情報を記憶部１２０に格納する。
第１実施例では、事前準備フェーズにおいて、登録部１１６は、カメラ３０から取得された事前準備用画像に対するユーザ入力に応じて、第１～第４基準座標を示す登録情報を記憶部１２０に格納する。
【0055】
図８は、第１実施例における登録情報を説明する図である。登録部１１６は、取得部１１０から受けた事前準備用画像２５０をディスプレイ１５８に表示し、４つの基準画素ＰＸ１～ＰＸ４の指定を受け付ける。
【0056】
基準画素ＰＸ１は、水面の高さが第１レベル（例えば、低レベル）であるときに、水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの左端の写る画素である。登録部１１６は、基準画素ＰＸ１の座標を第１基準座標として登録する。
【0057】
基準画素ＰＸ２は、水面の高さが第１レベル（例えば、低レベル）であるときに、水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの右端の写る画素である。登録部１１６は、基準画素ＰＸ２の座標を第２基準座標として登録する。
【0058】
基準画素ＰＸ３は、水面の高さが第１レベルと異なる第２レベル（例えば、高レベル）であるときに、水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの左端の写る画素である。登録部１１６は、基準画素ＰＸ３の座標を第３基準座標として登録する。
【0059】
基準画素ＰＸ４は、水面の高さが第２レベル（例えば、高レベル）であるときに、水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの右端の写る画素である。登録部１１６は、基準画素ＰＸ４の座標を第４基準座標として登録する。
【0060】
なお、登録部１１６は、事前準備フェーズにおいて取得部１１０から受けた複数の事前準備用画像の中から、水面の高さが第１レベルであるときの事前準備用画像の指定を促し、指定された事前準備用画像をディスプレイ１５８に表示してもよい。そして、登録部１１６は、表示された事前準備用画像において、基準画素ＰＸ１および基準画素ＰＸ２の指定を受け付けてもよい。
【0061】
同様に、登録部１１６は、複数の事前準備用画像の中から、水面の高さが第２レベルであるときの事前準備用画像の指定を促し、指定された事前準備用画像をディスプレイ１５８に表示してもよい。そして、登録部１１６は、表示された事前準備用画像において、基準画素ＰＸ３および基準画素ＰＸ４の指定を受け付けてもよい。
【0062】
図９は、第１実施例の処理の流れの前半を示すフローチャートである。図１０は、第１実施例の処理の流れの後半を示すフローチャートである。図９，図１０において、ステップＳ１２は図７のステップＳ１に対応し、ステップＳ１３は図７のステップＳ２に対応し、ステップＳ１１，Ｓ１４～Ｓ２８は図７のステップＳ３に対応し、ステップＳ２９は図７のステップＳ４に対応し、ステップＳ３０は図７のステップＳ５，Ｓ６に対応する。
【0063】
まず、特定部１１２として動作するプロセッサ１５１は、予め登録された第１～第４基準座標を読み込む（ステップＳ１１）。ステップＳ１１の後、ステップＳ１２～Ｓ１７が実行される。
【0064】
【0065】
ステップＳ１２において、取得部１１０として動作するプロセッサ１５１は、カメラ３０から静止画像２００を取得する（図１１の（ａ）参照）。
【0066】
次にステップＳ１３において、領域検知部１１１として動作するプロセッサ１５１は、学習済モデル４２０を用いて、静止画像２００から、水面が写る領域Ｒ１、塵芥が写る１以上の領域Ｒ２およびスクリーン６０の写る領域Ｒ３を検知する（図１１の（ｂ）参照）。
【0067】
次にステップＳ１４において、特定部１１２として動作するプロセッサ１５１は、領域Ｒ１，Ｒ２を残りの領域から分離し、領域Ｒ１，Ｒ２を合成することにより合成領域Ｒ４を生成する（図１１の（ｃ）参照）。ステップＳ１４の後、処理はステップＳ１５に移る。
【0068】
ステップＳ１５において、プロセッサ１５１は、例えば５×５のカーネル（Kernel）を用いて、合成領域Ｒ４を膨張させる（図１１の（ｄ）参照）。
【0069】
さらに、ステップＳ１４，Ｓ１５と並行して、ステップＳ１６が実行される。ステップＳ１６において、プロセッサ１５１は、領域Ｒ３を残りの領域から分離し（図１１の（ｅ）参照）、例えば５×５のカーネル（Kernel）を用いて、領域Ｒ３を膨張させる（図１１の（ｆ）参照）。
【0070】
ステップＳ１５およびステップＳ１６の後、処理はステップＳ１７に移る。ステップＳ１７において、プロセッサ１５１は、膨張された合成領域Ｒ４と膨張された領域Ｒ３とが重なり合う第４領域（以下、「境界領域Ｒ５」と称する）を他の領域から分離する（図１１の（ｇ）参照）。すなわち、プロセッサ１５１は、膨張された合成領域Ｒ４と膨張された領域Ｒ３とのＡＮＤ処理を行なうことにより、境界領域Ｒ５を抽出する。ステップＳ１７の後、ステップＳ１８～Ｓ２８が実行される。
【0071】
図１２および図１３を参照して、ステップＳ１８～Ｓ２８の詳細について説明する。図１２は、図１０に示すステップＳ１８，Ｓ２１，Ｓ２４を説明する図である。図１３は、図１０に示すステップＳ２０，Ｓ２３を説明する図である。
【0072】
ステップＳ１８において、プロセッサ１５１は、境界領域Ｒ５を示す画像上に、第１基準座標の点（以下、「基準点ＰＴ１」と称する）と第３基準座標の点（以下、「基準点ＰＴ３」と称する）とを結ぶ第１端線（以下、「端線Ｌａ」と称する）を描画する（図１２参照）。さらに、プロセッサ１５１は、境界領域Ｒ５を示す画像上に、第２基準座標の点（以下、「基準点ＰＴ２」と称する）と第４基準座標の点（以下、「基準点ＰＴ４」と称する）とを結ぶ第２端線（以下、「端線Ｌｂ」と称する）を描画する。
【0073】
次のステップＳ１９において、プロセッサ１５１は、端線Ｌａと境界領域Ｒ５とが交わるか否かを判断する。
【0074】
端線Ｌａと境界領域Ｒ５とが交わらない場合（ステップＳ１９でＮＯ）、プロセッサ１５１は、端点情報によって示される第１端点座標（すなわち、前回の静止画像に対するフローのステップＳ２８において保存された端点ＰＴａの座標）の点を端点ＰＴａとして特定する（ステップＳ２０）。
【0075】
図１３に示す例では、夜間に撮影された静止画像２００であるため、静止画像２００から検出された領域Ｒ３の形状が、スクリーン６０の本来の形状から小さくなっている。そのため、膨張された合成領域Ｒ４と膨張された領域Ｒ３とが重なり合う境界領域Ｒ５は、端線Ｌａと交わらない。このような場合に、端点情報によって示される第１端点座標の点が端点ＰＴａとして特定される。
【0076】
なお、運用フェーズの開始直後では、端点情報がnullを示す。この場合、ステップＳ２０において、プロセッサ１５１は、第１基準座標によって示される点（基準点ＰＴ１）を端点ＰＴａとして特定する。
【0077】
端線Ｌａと境界領域Ｒ５とが交わる場合（ステップＳ１９でＹＥＳ）、ステップＳ２１において、プロセッサ１５１は、境界領域Ｒ５と端線Ｌａとの交点、すなわち、境界領域Ｒ５のうち、端線Ｌａ上の点（画素）を端点ＰＴａとして特定する（図１２参照）。なお、境界領域Ｒ５は、複数画素分の幅を有する線状領域となり得る。この場合、境界領域Ｒ５のうち端線Ｌａ上の点（画素）が複数存在する。境界領域Ｒ５のうち端線Ｌａ上の点が複数存在する場合、プロセッサ１５１は、当該複数の点のうちのいずれかの点（例えば、Ｘ座標およびＹ座標が最大の点）を端点ＰＴａとして特定してもよいし、当該複数の点の重心を端点ＰＴａとして特定してもよい。
【0078】
上述したように、事前準備画像において、第１基準座標および第３基準座標は、それぞれ水面の高さが第１レベルおよび第２レベルであるときに、水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの左端の座標である。そのため、基準点ＰＴ１，ＰＴ３を結ぶ端線Ｌａと境界領域Ｒ５との交点である端点ＰＴａは、静止画像２００において、水面とスクリーン６０との交線のうち、水路５０の上流側からスクリーン６０を見たときの左端の点に対応する。
【0079】
さらに、ステップＳ１９～Ｓ２１と並行して、ステップＳ２２～Ｓ２４が実行される。ステップＳ２２において、プロセッサ１５１は、端線Ｌｂと境界領域Ｒ５とが交わるか否かを判断する。
【0080】
端線Ｌｂと境界領域Ｒ５とが交わらない場合（ステップＳ２２でＮＯ）、プロセッサ１５１は、端点情報によって示される第２端点座標（すなわち、前回の静止画像に対するフローのステップＳ２８において保存された端点ＰＴｂの座標）の点を端点ＰＴｂとして特定する（ステップＳ２３）。図１３に示す例では、膨張された合成領域Ｒ４と膨張された領域Ｒ３とが重なり合う境界領域Ｒ５は、端線Ｌｂと交わらない。そのため、端点情報によって示される第２端点座標の点が端点ＰＴｂとして特定される。
【0081】
なお、運用フェーズの開始直後では、端点情報がnullを示す。この場合、ステップＳ２３において、プロセッサ１５１は、第２基準座標によって示される点を端点ＰＴｂとして特定する。
【0082】
端線Ｌｂと境界領域Ｒ５とが交わる場合（ステップＳ２２でＹＥＳ）、ステップＳ２４において、プロセッサ１５１は、境界領域Ｒ５と端線Ｌｂとの交点、すなわち、境界領域Ｒ５のうち、端線Ｌｂ上の点（画素）を端点ＰＴｂとして特定する（図１２参照）。なお、境界領域Ｒ５のうち端線Ｌｂ上の点（画素）が複数存在する場合、プロセッサ１５１は、当該複数の点のうちのいずれかの点（例えば、Ｘ座標およびＹ座標が最大の点）を端点ＰＴｂとして特定してもよいし、当該複数の点の重心を端点ＰＴｂとして特定してもよい。
【0083】
上述したように、事前準備画像において、第２基準座標および第４基準座標は、それぞれ水面の高さが第１レベルおよび第２レベルであるときに、水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの右端の座標である。そのため、基準点ＰＴ２，ＰＴ４を結ぶ端線Ｌｂと境界領域Ｒ５との交点である端点ＰＴｂは、静止画像２００において、水面とスクリーン６０との交線のうち、水路５０の上流側からスクリーン６０を見たときの右端の点に対応する。
【0084】
ステップＳ２０またはステップＳ２１と、ステップＳ２３またはステップＳ２４とが完了すると、処理はステップＳ２５に移る。ステップＳ２５において、プロセッサ１５１は、特定された端点ＰＴａ，ＰＴｂの中心と、端点情報によって示される第１，第２端点座標の中心（すなわち、前回の静止画像に対して特定された端点ＰＴａ，ＰＴｂの中心）との距離を計算する。
【0085】
次のステップＳ２６において、プロセッサ１５１は、計算された距離が予め定められた閾値Ｔｈ１以上であるか否かを判断する。
【0086】
一般に、水路５０の水面の高さは急変しない。そのため、計算された距離が閾値Ｔｈ１以上である場合（ステップＳ２６でＹＥＳ）、ステップＳ１２において取得された静止画像２００において、水面とスクリーン６０との交線の端点と大きく異なる点が端点ＰＴａ，ＰＴｂとして特定されている可能性が高い。そこで、ステップＳ２６でＹＥＳの場合、ステップＳ２７において、プロセッサ１５１は、特定された端点ＰＴａ，ＰＴｂを、端点情報によって示される第１，第２端点座標の点にそれぞれ補正する。端点情報によって示される第１，第２端点座標の点はそれぞれ、前回の静止画像に対してスクリーン近傍領域ＲＡを設定するために用いた端点ＰＴａ，ＰＴｂである。そのため、プロセッサ１５１は、最新の静止画像２００に対して特定された端点ＰＴａ，ＰＴｂを、前回の静止画像に対してスクリーン近傍領域ＲＡを設定するために用いた端点ＰＴａ，ＰＴｂと同一となるように補正する。これにより、静止画像２００における水面とスクリーン６０との交線の端点と大きく異なる点が端点ＰＴａ，ＰＴｂとして特定されることを防止できる。
【0087】
なお、運用フェーズの開始直後では、端点情報がnullを示す。端点情報がnullを示す場合（すなわち、運用フェーズの開始直後の１回目のフローの場合）、ステップＳ２５～Ｓ２７が省略される。
【0088】
ステップＳ２７の後、または、ステップＳ２６でＮＯの場合、処理はステップＳ２８に移る。ステップＳ２８において、プロセッサ１５１は、特定した端点ＰＴａの座標（第１端点座標）と、特定した端点ＰＴｂの座標（第２端点座標）とを示すように端点情報を更新する。なお、ステップＳ２７において端点ＰＴａ，ＰＴｂが補正されている場合、プロセッサ１５１は、補正後の端点ＰＴａ，ＰＴｂの座標を示すように端点情報を更新する。
【0089】
ステップＳ２８の後のステップＳ２９において、設定部１１３として動作するプロセッサ１５１は、更新された端点情報によって示される座標の端点ＰＴａ，ＰＴｂを結ぶ線分を輪郭の一部として有し、合成領域Ｒ４側に凸となるスクリーン近傍領域ＲＡを設定する。
【0090】
図１４は、図１０に示すステップＳ２９の処理内容を説明する図である。図１４の下部に示されるように、プロセッサ１５１は、端点ＰＴａと端点ＰＴｂとを結ぶ線分８５を長径ａとし、端点ＰＴｂから端点ＰＴａまで時計回り方向に描かれる楕円弧８６と、線分８５とで囲まれた領域をスクリーン近傍領域ＲＡとして設定する。このようなスクリーン近傍領域ＲＡは、オープンソースのコンピュータビジョン向けライブラリであるＯｐｅｎＣＶ（Open Source Computer Vision Library）を用いて描画可能である。
【0091】
図１４の上部には、楕円を描画する関数cv2.ellipse（）が示される。関数cv2.ellipse（）を用いて楕円を描画するためには、画像（img）、楕円の中心座標（center）、楕円の長径および短径（Axes）、楕円の回転角度（angle）、開始角度、終了角度、色、および幅が設定される。
【0092】
プロセッサ１５１は、画像（img）として、ステップＳ１２において取得された静止画像２００を設定する。
【0093】
プロセッサ１５１は、特定された端点ＰＴａ，ＰＴｂの座標を用いて、楕円の中心座標（center）、楕円の長径および短径（Axes）および楕円の回転角度（angle）を算出する。具体的には、プロセッサ１５１は、端点ＰＴａ，ＰＴｂの中点Ｍの座標を楕円の中心座標（center）として算出する。プロセッサ１５１は、端点ＰＴａと端点ＰＴｂとを結ぶ線分８５の長さを楕円の長径ａとして算出し、長径ａと予め定められた係数（例えば０．３）との積を楕円の短径ｂとして算出する。プロセッサ１５１は、Ｘ軸の正方向の向きを有する単位ベクトルＶ０と、中点Ｍを始点とし、端点ＰＴｂを終点とするベクトルＶ１とのなす角度θを回転角度（angle）として算出する。角度θは、時計回りを正とする値によって表される。
【0094】
上述したように、端点ＰＴａ，ＰＴｂはそれぞれ、静止画像２００において、水面とスクリーン６０との交線のうち、水路５０の上流側からスクリーン６０を見たときの左端，右端の点に対応する。そのため、端点ＰＴａ，ＰＴｂを結ぶ線分を輪郭の一部として有し、合成領域Ｒ４側に凸となる半楕円は、中点Ｍを中心として、端点ＰＴｂから端点ＰＴａに向かって時計回り方向に描かれる。したがって、関数cv2.ellipse（）において、開始角度および終了角度は、それぞれ「０°」，「１８０°」に設定される。
【0095】
さらに、描画される半楕円の色として、予め定められた値（例えば、「２５５」）が設定される。さらに、半楕円を塗りつぶすため、幅として「－１」が設定される。
【0096】
このように、開始角度、終了角度、色および幅として、固定値を予め設定することができる。
【0097】
このようにして関数cv2.ellipse（）を設定することにより、端点ＰＴａと端点ＰＴｂとを結ぶ線分８５を長径ａとし、端点ＰＴｂから端点ＰＴａまで時計回り方向に描かれる楕円弧８６と、線分８５とで囲まれたスクリーン近傍領域ＲＡが描画される。
【0098】
ステップＳ２９の後のステップＳ３０において、判定部１１４として動作するプロセッサ１５１は、１以上の領域Ｒ２のうちスクリーン近傍領域ＲＡ内に位置する領域Ｒ２を、スクリーン６０によって滞留している塵芥８０の領域（以下、「滞留塵芥領域Ｒ０」と称する）として抽出する。具体的には、プロセッサ１５１は、各領域Ｒ２の重心を求め、重心がスクリーン近傍領域ＲＡ内に位置する領域Ｒ２を滞留塵芥領域Ｒ０として抽出する。そして、プロセッサ１５１は、滞留塵芥領域Ｒ０に基づいて、スクリーン６０への塵芥８０の付着状況を判定する。さらに、通知部１１５として動作するプロセッサ１５１および通信ＩＦ１５５は、判定結果を端末装置２０に通知する。ステップＳ３０の後、処理はステップＳ１２に戻る。
【0099】
図１５および図１６を参照して、ステップＳ３０の詳細について説明する。図１５は、静止画像から抽出された滞留塵芥領域の一例を示す図である。図１５において、（Ａ）は、図４の（Ａ）の静止画像２０１から抽出された滞留塵芥領域Ｒ０を示し、（Ｂ）は、図４の（Ｂ）の静止画像２０２から抽出された滞留塵芥領域Ｒ０を示す。
【0100】
図１５の（Ａ）に示されるように、スクリーン６０に付着する塵芥８０が少ないときの静止画像２０１では、滞留塵芥領域Ｒ０における、端点ＰＴａと端点ＰＴｂとを結ぶ線分に沿った長さ（以下、「長さＬｓ」と称する）は短い。線分８５は、スクリーン６０と水面との交線に対応する。長さＬｓは、線分８５の方向に並んだ滞留塵芥領域Ｒ０の長さを累積した長さである。一方、図１５の（Ｂ）に示されるように、スクリーン６０全体に塵芥８０が付着したときの静止画像２０２では、長さＬｓは長くなる。
【0101】
静止画像２０１，２０２には、水底も撮影できている。このような静止画像２０１，２０２から、「線分８５に沿った滞留塵芥領域Ｒ０の当該交線の方向の長さ（水平方向の長さの累積）がスクリーン６０全体の塵芥の付着状況に比例する」ことが判断できる。
【0102】
図１６は、長さＬｓを説明するための図である。図１６において、矢印は、線分８５の方向を示している。長さＬｓは、線分８５に沿って並んだ滞留塵芥領域Ｒ０の各長さＬ１～Ｌｎの総和である。なお、ｎは、滞留塵芥領域Ｒ０の数である。このように、長さＬｓは、滞留塵芥領域Ｒ０の各長さＬ１～Ｌｎを累積したものである。
【0103】
プロセッサ１５１は、スクリーン６０への塵芥８０の付着状況の判定結果として、長さＬｓを線分８５の長さで割った比率を算出してもよい。あるいは、プロセッサ１５１は、スクリーン６０への塵芥８０の付着状況の判定結果として、当該比率と予め定められた閾値との比較結果を出力してもよい。
【0104】
図１７は、本実施の形態において設定されたスクリーン近傍領域の一例を示す図である。図１７において、上部には、水面の高さ（水位）が中レベルであるときの静止画像２００と、当該静止画像２００から検知された領域Ｒ２と、スクリーン近傍領域ＲＡとが示される。下部には、水面の高さが高レベルであるときの静止画像２００と、当該静止画像２００から検知された領域Ｒ２と、スクリーン近傍領域ＲＡとが示される。
【0105】
図１７に示されるように、水面の高さに応じて、スクリーン６０と水面との交線の位置が変化する。具体的には、水面が高くなるにつれて、基準点ＰＴ１，ＰＴ２（高さが低レベルである水面とスクリーン６０との交線の端が写る画素に対応する２点）を結ぶ線分Ｌ０と、スクリーン６０と水面との交線との距離が長くなる。
【0106】
本実施の形態によれば、水面の高さに応じてスクリーン６０と水面との交線の位置が変化したとしても、当該交線の近傍に、スクリーン近傍領域ＲＡが自動的に設定される。これにより、スクリーン近傍領域ＲＡ内に重心が位置する領域Ｒ２が滞留塵芥領域Ｒ０として抽出され、滞留塵芥領域Ｒ０に基づいて、スクリーン６０への塵芥８０の付着状況が精度良く判定される。
【0107】
（第２実施例）
第２実施例では、事前準備フェーズにおいて、登録部１１６として動作するプロセッサ１５１は、カメラ３０から取得された事前準備用画像に対するユーザ入力に応じて、第１，第２基準座標を示す登録情報を記憶部１２０に格納する。上述したように、第１基準座標は、水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの左端の写る画素の座標である。第２基準座標は、当該交線の、水路５０の上流側からスクリーン６０を見たときの右端の写る画素の座標である。
第２実施例では、事前準備フェーズにおいて、登録部１１６として動作するプロセッサ１５１は、カメラ３０から取得された事前準備用画像に対するユーザ入力に応じて、第１，第２基準座標を示す登録情報を記憶部１２０に格納する。上述したように、第１基準座標は、水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの左端の写る画素の座標である。第２基準座標は、当該交線の、水路５０の上流側からスクリーン６０を見たときの右端の写る画素の座標である。
【0108】
図１８は、第２実施例の処理の流れの前半を示すフローチャートである。図１９は、第２実施例の処理の流れの後半を示すフローチャートである。図１８，図１９において、ステップＳ１２は図７のステップＳ１に対応し、ステップＳ１３は図７のステップＳ２に対応し、ステップＳ１４～Ｓ１７，Ｓ２５～Ｓ２８，Ｓ４１～Ｓ５１は図７のステップＳ３に対応し、ステップＳ２９は図７のステップＳ４に対応し、ステップＳ３０は図７のステップＳ５，Ｓ６に対応する。
【0109】
図１８，図１９に示されるように、第２実施例の処理は、第１実施例の処理と比較して、ステップＳ４２～Ｓ４４を含むとともに、ステップＳ１１の代わりにステップＳ４１を含み、かつ、ステップＳ１８～Ｓ２４の代わりにステップＳ４５～Ｓ５１を含む点で相違する。そのため、ステップＳ４１～Ｓ５１について以下に説明する。
【0110】
ステップＳ４１において、特定部１１２として動作するプロセッサ１５１は、予め登録された第１基準座標および第２基準座標を読み込む。
【0111】
ステップＳ４１の後のステップＳ４２において、プロセッサ１５１は、第１基準座標および第２基準座標に基づいて、基準長さおよび基準角度を計算する。基準長さは、第１基準座標の点（基準点ＰＴ１）と第２基準座標の点（基準点ＰＴ２）とを結ぶ線分の長さである。基準角度は、Ｘ軸の正方向の向きを有する単位ベクトルＶ０と、基準点ＰＴ１を始点とし、基準点ＰＴ２を終点とするベクトルとのなす角度である。ステップＳ４２の後にステップＳ１２が実行される。
【0112】
ステップＳ４３は、ステップＳ１７の後に実行される。ステップＳ４３において、プロセッサ１５１は、境界領域Ｒ５に属する複数の点の座標を取得する。例えば、プロセッサ１５１は、境界領域Ｒ５の輪郭上の各点の座標を取得する。
【0113】
ステップＳ４４は、ステップＳ１４～Ｓ１７，Ｓ４３と並行して実行される。ステップＳ４４において、プロセッサ１５１は、合成領域Ｒ４とスクリーン６０の写る領域Ｒ３とを分離する分離直線を特定する。
【0114】
図２０は、ステップＳ４４の処理を説明する図である。従来、機械学習を用いて生成される線形分類モデル（線形分類器とも称される）が知られている。線形分類モデルは、１種以上の特徴量の線形結合の値に基づいて、各データを２以上のクラスのいずれかに分類する。図２０の右側に示されるように、入力データを２クラスに分類する線形２クラス分類モデルは、入力データがプロットされる散布図において、２クラスを分類するための分離直線１９０を示す。散布図の横軸および縦軸は、２種類の特徴量に対応する。
【0115】
第２実施例では、ステップＳ１２において取得された静止画像２００に対して、線形２クラス分類の技術を適用する。すなわち、図２０の左側に示されるように、プロセッサ１５１は、ステップＳ１２において取得された静止画像２００を散布図と見なし、合成領域Ｒ４と領域Ｒ３とを分類するための分離直線９０を求める。具体的には、プロセッサ１５１は、合成領域Ｒ４に属する各画素のＸ座標およびＹ座標とラベル「Ｒ４」とを示す第１正解データと、領域Ｒ３に属する各画素のＸ座標およびＹ座標とラベル「Ｒ３」とを示す第２正解データとを用いた機械学習を行なう。プロセッサ１５１は、当該機械学習により、Ｘ座標およびＹ座標の入力を受けて、ラベル「Ｒ３」，「Ｒ４」のいずれかを出力する線形分類モデルの分離直線９０を求める。
【0116】
図２０に示されるように、分離直線９０は、合成領域Ｒ４と領域Ｒ３との境界線と略一致する。
【0117】
図２０に示す例では、静止画像２００の全体を散布図として見なし、当該全体に対して線形２クラス分類の技術が適用されている。しかしながら、静止画像２００の一部のみを散布図として見なし、当該一部に対して線形２クラス分類の技術を適用してもよい。
【0118】
【0119】
一方、図２１の（Ｂ）に示されるように、プロセッサ１５１は、静止画像２００のうちの一部である、第１基準座標の点（基準点ＰＴ１）と第２基準座標の点（基準点ＰＴ２）とを含む所定サイズの範囲９２を設定する。所定サイズは、例えば、静止画像２００の数分の１のサイズであり、予め定められる。そして、プロセッサ１５１は、範囲９２を散布図として見なしたときの分離直線９０を求める。図２１の（Ｂ）には、合成領域Ｒ４のうち範囲９２内の各点のＸ座標およびＹ座標を示す第１正解データと、領域Ｒ３のうち範囲９２内の各点のＸ座標およびＹ座標を示す第２正解データとを用いた機械学習によって生成された線形分類モデルの分離直線９０が示される。
【0120】
基準点ＰＴ１および基準点ＰＴ２は、上述したように、事前準備用画像２５０において、水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの左端および右端の写る画素に対応する。そのため、図２１に示されるように、基準点ＰＴ１，ＰＴ２を含む範囲９２のみを散布図として見なすことにより、合成領域Ｒ４と領域Ｒ３との境界線と略一致する分離直線９０を取得しやすくなる。
【0121】
なお、範囲９２は、事前準備フェーズにおいて、ユーザ入力に応じて予め登録されてもよい。
【0122】
【0123】
【0124】
図２２に示されるように、境界領域Ｒ５は、歪んだ形状を取りうる。特に、反射光の条件によってスクリーン６０の領域Ｒ３の端部が著しく歪むことがあり、その影響を受けて境界領域Ｒ５が歪む。
【0125】
これに対し、線形２クラス分類の技術を適用することにより得られた分離直線９０は、スクリーン６０の領域Ｒ３の端部の歪みの影響を受けにくい。そこで、境界領域Ｒ５の歪みの影響を軽減するために、ステップＳ４５において、プロセッサ１５１は、ステップＳ４３において取得された座標の点（例えば、境界領域Ｒ５の輪郭上の各点）を分離直線９０に射影する。図２２において、Ｐ１～Ｐｎは、境界領域Ｒ５の輪郭上の点を分離直線９０に射影することにより得られる射影点を示す。
【0126】
次のステップＳ４６において、プロセッサ１５１は、第１基準座標の基準点ＰＴ１と各射影点Ｐ１～Ｐｎとの距離Ｄ１を計算する。さらに、ステップＳ４７において、プロセッサ１５１は、第２基準座標の基準点ＰＴ２と各射影点Ｐ１～Ｐｎとの距離Ｄ２を計算する。
【0127】
次のステップＳ４８において、プロセッサ１５１は、距離Ｄ２が最大となる射影点を端点ＰＴａとして特定する。図２２に示す例では、射影点Ｐ１が端点ＰＴａとして特定される。さらに、ステップＳ４９において、プロセッサ１５１は、距離Ｄ１が最大となる射影点を端点ＰＴｂとして特定する。図２２に示す例では、射影点Ｐｎが端点ＰＴｂとして特定される。
【0128】
上述したように、第１基準座標は、事前準備用画像において、水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの左端の写る画素の座標である。そのため、第１基準座標の基準点ＰＴ１からの距離Ｄ１が最大となる射影点（端点ＰＴｂ）は、水面とスクリーン６０との交線のうち、水路５０の上流側からスクリーン６０を見たときの右端の点に対応する。
【0129】
一方、第２基準座標は、事前準備用画像において、水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの右端の写る画素の座標である。そのため、第２基準座標の基準点ＰＴ２からの距離Ｄ２が最大となる射影点（端点ＰＴａ）は、水面とスクリーン６０との交線のうち、水路５０の上流側からスクリーン６０を見たときの左端の点に対応する。
【0130】
次のステップＳ５０において、プロセッサ１５１は、端点ＰＴａ（つまり、距離Ｄ２が最大となる射影点）と端点ＰＴｂ（つまり、距離Ｄ１が最大となる射影点）とを結ぶ線分の長さと、Ｘ軸の正方向を向く単位ベクトルＶ０に対する当該線分の角度とを計算する。当該線分の角度は、Ｘ軸の正方向を向く単位ベクトルＶ０と、端点ＰＴａを始点とし、端点ＰＴｂを終点とするベクトルＶ２とのなす角度である。
【0131】
次のステップＳ５１において、プロセッサ１５１は、ステップＳ５０において計算した長さおよび角度と、ステップＳ４２において計算した基準長さおよび基準角度との差異が閾値以上であるか否かを判断する。プロセッサ１５１は、ステップＳ５０において計算した長さと基準長さとの差異が閾値Ｔｈ２以上であること、および、ステップＳ５０において計算した角度と基準角度との差異が閾値Ｔｈ３以上であることの少なくとも一方を満たす場合、ステップＳ５１でＹＥＳと判断する。ステップＳ５１でＮＯの場合、処理はステップＳ２５に移る。
【0132】
カメラ３０の座標系における、水面とスクリーン６０との交線の長さおよび姿勢は、水面の高さに応じて変動する。しかしながら、当該変動量はわずかである。そのため、ステップＳ５１でＹＥＳの場合、静止画像２００において、水面とスクリーン６０との交線の端点と大きく異なる点が端点ＰＴａ，ＰＴｂとして特定されている可能性が高い。そこで、ステップＳ５１でＹＥＳの場合、処理はステップＳ２７に移る。これにより、水面とスクリーン６０との交線の端点と大きく異なる点が端点ＰＴａ，ＰＴｂとして特定されることを防止できる。
【0133】
（第３実施例）
第３実施例では、端点ＰＴａ，ＰＴｂの特定のために登録情報が利用されない。そのため、登録部１１６が省略されてもよい。
第３実施例では、端点ＰＴａ，ＰＴｂの特定のために登録情報が利用されない。そのため、登録部１１６が省略されてもよい。
【0134】
図２３は、第３実施例の処理の流れの前半を示すフローチャートである。図２４は、第３実施例の処理の流れの後半を示すフローチャートである。図２３，図２４において、ステップＳ１２は図７のステップＳ１に対応し、ステップＳ１３は図７のステップＳ２に対応し、ステップＳ１４～Ｓ１７，Ｓ２５～Ｓ２８，Ｓ４３～Ｓ４９，Ｓ６１～Ｓ６７は図７のステップＳ３に対応し、ステップＳ２９は図７のステップＳ４に対応し、ステップＳ３０は図７のステップＳ５，Ｓ６に対応する。
【0135】
図２３，図２４に示されるように、第３実施例の処理は、第２実施例の処理と比較して、ステップＳ４１，Ｓ４２，Ｓ５０，Ｓ５１が省略され、ステップＳ６１～Ｓ６７を含む点で相違する。そのため、図２５を参照して、ステップＳ６１～Ｓ６７について以下に説明する。図２５は、ステップＳ６１～Ｓ６７を説明する図である。
【0136】
ステップＳ６１は、ステップＳ１３の後、ステップＳ１６の前に実行される。ステップＳ６１において、プロセッサ１５１は、スクリーン６０の領域Ｒ３の重心ＳＣを特定する。
【0137】
ステップＳ６２は、ステップＳ４４の後に実行される。ステップＳ６２において、プロセッサ１５１は、ステップＳ４２において求められた分離直線９０と静止画像２００の端（画像端）との２つの交点Ｐｃ１，Ｐｃ２を特定する。
【0138】
ステップＳ６３は、ステップＳ６２およびステップＳ４３が完了した後に実行される。ステップＳ６３において、プロセッサ１５１は、重心ＳＣから分離直線９０に下したす垂線の足である点ＰＴ０を特定する。
【0139】
次のステップＳ６４において、プロセッサ１５１は、点ＰＴＯから見て、重心ＳＣの方向と交点Ｐｃ１の方向とのなす角度θ１と、重心ＳＣの方向と交点Ｐｃ２の方向とのなす角度θ２とを計算する。なお、角度θ１，θ２は、－１８０°から１８０°までの値をとる。点ＰＴＯを中心として、重心ＳＣから交点Ｐｃ１に向かう方向が時計回りであるとき、角度θ１は正の値をとり、重心ＳＣから交点Ｐｃ１に向かう方向が反時計回りであるとき、角度θ１は負の値をとる。同様に、点ＰＴＯを中心として、重心ＳＣから交点Ｐｃ２に向かう方向が時計回りであるとき、角度θ２は正の値をとり、重心ＳＣから交点Ｐｃ２に向かう方向が反時計回りであるとき、角度θ２は負の値をとる。図２５に示す例では、角度θ１は負の値であり、角度θ２は正の値である。
【0140】
次のステップＳ６５において、プロセッサ１５１は、角度θ１＜０を満たすか否かを判断する。
【0141】
ステップＳ６５でＹＥＳの場合、ステップＳ６６において、プロセッサ１５１は、交点Ｐｃ１を基準点ＰＴ１として設定し、交点Ｐｃ２を基準点ＰＴ２として設定する。
【0142】
ステップＳ６５でＮＯの場合、ステップＳ６７において、プロセッサ１５１は、交点Ｐｃ２を基準点ＰＴ１として設定し、交点Ｐｃ１を基準点ＰＴ２として設定する。
【0143】
ステップＳ６３～Ｓ６７によって、プロセッサ１５１は、分離直線９０と静止画像２００の端との２つの交点Ｐｃ１，Ｐｃ２のうち、領域Ｒ３の重心ＳＣから見て右側の交点を基準点ＰＴ１として設定でき、重心ＳＣから見て左側の交点を基準点ＰＴ２として設定できる。
【0144】
ステップＳ６６またはステップＳ６７の後、ステップＳ４５～Ｓ４９が順に実行される。そして、ステップＳ４９の後、ステップＳ２５が実行される。
【0145】
第３実施例によれば、分離直線９０と静止画像２００の端との２つの交点Ｐｃ１，Ｐｃ２のうち、領域Ｒ３の重心ＳＣから見て右側の交点が基準点ＰＴ１として、重心ＳＣから見て左側の交点が基準点ＰＴ２として自動的に設定される。そのため、第１基準座標および第２基準座標を登録する事前準備が不要となる。
【0146】
そして、自動的に設定された基準点ＰＴ１，ＰＴ２を用いてステップＳ４６～Ｓ４９が実行される。これにより、境界領域Ｒ５の輪郭の点を分離直線９０に射影することにより得られる複数の射影点のうち、水路５０の上流側から見て左端の射影点が端点ＰＴａとして特定され、右端の射影点が端点ＰＴｂとして特定される。その結果、プロセッサ１５１は、ステップＳ２９において、図１４に示す関数cv2.ellipse（）を用いて、端点ＰＴａ，ＰＴｂを結ぶ線分を輪郭の一部として有し、合成領域Ｒ４側に凸となる半楕円のスクリーン近傍領域ＲＡを容易に設定できる。
【0147】
なお、第３実施例では、静止画像２００の端（画像端）上の点が基準点ＰＴ１，ＰＴ２として設定される。そのため、ステップＳ４８において、プロセッサ１５１は、基準点ＰＴ１との距離Ｄ１が最小となる射影点を端点ＰＴａとして特定してもよい。同様に、ステップＳ４９において、プロセッサ１５１は、基準点ＰＴ２との距離Ｄ２が最小となる射影点を端点ＰＴｂとして特定してもよい。これによっても、境界領域Ｒ５の輪郭の点を分離直線９０に射影することにより得られる複数の射影点のうち、水路５０の上流側から見て左端の射影点が端点ＰＴａとして特定され、右端の射影点が端点ＰＴｂとして特定される。
【0148】
（第４実施例）
図２６は、第４実施例の処理の流れの前半を示すフローチャートである。図２７は、第４実施例の処理の流れの後半を示すフローチャートである。図２６，図２７において、ステップＳ１２は図７のステップＳ１に対応し、ステップＳ１３は図７のステップＳ２に対応し、ステップＳ１１，Ｓ１４～Ｓ１８，Ｓ２０，Ｓ２３，Ｓ２５～Ｓ２８，Ｓ７１～Ｓ７４は図７のステップＳ３に対応し、ステップＳ２９は図７のステップＳ４に対応し、ステップＳ３０は図７のステップＳ５，Ｓ６に対応する。
図２６は、第４実施例の処理の流れの前半を示すフローチャートである。図２７は、第４実施例の処理の流れの後半を示すフローチャートである。図２６，図２７において、ステップＳ１２は図７のステップＳ１に対応し、ステップＳ１３は図７のステップＳ２に対応し、ステップＳ１１，Ｓ１４～Ｓ１８，Ｓ２０，Ｓ２３，Ｓ２５～Ｓ２８，Ｓ７１～Ｓ７４は図７のステップＳ３に対応し、ステップＳ２９は図７のステップＳ４に対応し、ステップＳ３０は図７のステップＳ５，Ｓ６に対応する。
【0149】
図２６，図２７に示されるように、第４実施例の処理は、第１実施例の処理と比較して、第２実施例と同様のステップＳ４４を含むとともに、ステップＳ１９，Ｓ２１，Ｓ２２，Ｓ２４の代わりにステップＳ７１～Ｓ７４を含む点で相違する。そのため、図２８を参照して、ステップＳ７１～Ｓ７４について以下に説明する。図２８は、ステップＳ７１～Ｓ７４を説明する図である。
【0150】
ステップＳ１８の後のステップＳ７１において、プロセッサ１５１は、端線Ｌａと分離直線９０とが交わるか否かを判断する。
【0151】
端線Ｌａと分離直線９０とが交わる場合（ステップＳ１９でＹＥＳ）、ステップＳ７２において、プロセッサ１５１は、端線Ｌａと分離直線９０との交点を端点ＰＴａとして特定する（図２８参照）。なお、端線Ｌａと分離直線９０とが交らない場合（ステップＳ１９でＮＯ）、上記のステップＳ２０が実行され、端点情報によって示される第１端点座標（すなわち、前回の静止画像に対するフローのステップＳ２８において保存された端点ＰＴａの座標）の点が端点ＰＴａとして特定される。
【0152】
さらに、ステップＳ７１，Ｓ７２，Ｓ２０と並行して、ステップＳ７３，Ｓ７４，Ｓ２３が実行される。ステップＳ７３において、プロセッサ１５１は、端線Ｌｂと分離直線９０とが交わるか否かを判断する。
【0153】
端線Ｌｂと分離直線９０とが交わる場合（ステップＳ７３でＹＥＳ）、ステップＳ７４において、プロセッサ１５１は、端線Ｌｂと分離直線９０との交点を端点ＰＴｂとして特定する（図２８参照）。なお、端線Ｌｂと分離直線９０とが交らない場合（ステップＳ７３でＮＯ）、上記のステップＳ２３が実行され、端点情報によって示される第２端点座標（すなわち、前回の静止画像に対するフローのステップＳ２８において保存された端点ＰＴｂの座標）の点が端点ＰＴｂとして特定される。
【0154】
＜変形例＞
上記の説明において、運用フェーズの開始直後では端点情報がnullを示すものとした。しかしながら、プロセッサ１５１は、事前準備フェーズにおいて、登録情報に基づいて、端点情報を暫定的に設定してもよい。
上記の説明において、運用フェーズの開始直後では端点情報がnullを示すものとした。しかしながら、プロセッサ１５１は、事前準備フェーズにおいて、登録情報に基づいて、端点情報を暫定的に設定してもよい。
【0155】
例えば、登録情報が第１～第４基準座標を示す場合、プロセッサ１５１は、第１基準座標の点（基準点ＰＴ１）と第３基準座標の点（基準点ＰＴ３）とを結ぶ端線Ｌａ上の点（例えば、基準点ＰＴ１から端線Ｌａの長さの１／４だけ離れた点）の座標を第１端点座標として暫定的に設定する。さらに、プロセッサ１５１は、第２基準座標の点（基準点ＰＴ２）と第４基準座標の点（基準点ＰＴ４）とを結ぶ端線Ｌｂ上の点（例えば、基準点ＰＴ２から端線Ｌｂの長さの１／４だけ離れた点）の座標を第２端点座標として暫定的に設定する。
【0156】
登録情報が第１，第２基準座標を示す場合、プロセッサ１５１は、第１，第２基準座標を第１，第２端点座標として暫定的にそれぞれ設定する。
【0157】
あるいは、登録情報が登録されない第３実施例の場合、プロセッサ１５１は、運用フェーズの開始直後の１回目のフロー（図２３および図２４参照）のステップＳ４８において、特定した端点ＰＴａの座標を第１端点座標として暫定的に設定してもよい。さらに、プロセッサ１５１は、運用フェーズの開始直後の１回目のフローのステップＳ４９において、特定した端点ＰＴｂの座標を第２端点座標として暫定的に設定してもよい。
【0158】
＜利点＞
以上のように、本実施の形態のサーバ装置１０は、取得部１１０と、領域検知部１１１と、特定部１１２と、設定部１１３と、判定部１１４とを備える。取得部１１０は、スクリーン６０が設置された取水口７０を有する水路５０のうち取水口７０が設けられた場所を撮影するカメラ３０から静止画像２００を取得する。領域検知部１１１は、静止画像２００において、水面が写る領域Ｒ１と、塵芥８０が写る１以上の領域Ｒ２と、スクリーン６０が写る領域Ｒ３とを検知する。特定部１１２は、領域Ｒ１および１以上の領域Ｒ２の合成領域Ｒ４と領域Ｒ３との境界の端点ＰＴａ，ＰＴｂを特定する。設定部１１３は、端点ＰＴａ，ＰＴｂを結ぶ線分を輪郭の一部として有し、合成領域Ｒ４側に凸となるスクリーン近傍領域ＲＡを設定する。判定部１１４は、１以上の領域Ｒ２のうちスクリーン近傍領域ＲＡ内に位置する領域Ｒ２に基づいて、スクリーン６０への塵芥８０の付着状況を判定する。
以上のように、本実施の形態のサーバ装置１０は、取得部１１０と、領域検知部１１１と、特定部１１２と、設定部１１３と、判定部１１４とを備える。取得部１１０は、スクリーン６０が設置された取水口７０を有する水路５０のうち取水口７０が設けられた場所を撮影するカメラ３０から静止画像２００を取得する。領域検知部１１１は、静止画像２００において、水面が写る領域Ｒ１と、塵芥８０が写る１以上の領域Ｒ２と、スクリーン６０が写る領域Ｒ３とを検知する。特定部１１２は、領域Ｒ１および１以上の領域Ｒ２の合成領域Ｒ４と領域Ｒ３との境界の端点ＰＴａ，ＰＴｂを特定する。設定部１１３は、端点ＰＴａ，ＰＴｂを結ぶ線分を輪郭の一部として有し、合成領域Ｒ４側に凸となるスクリーン近傍領域ＲＡを設定する。判定部１１４は、１以上の領域Ｒ２のうちスクリーン近傍領域ＲＡ内に位置する領域Ｒ２に基づいて、スクリーン６０への塵芥８０の付着状況を判定する。
【0159】
塵芥８０は、水面または水中に存在する。そのため、合成領域Ｒ４と領域Ｒ３との境界は、スクリーン６０と水面との交線に対応する。従って、合成領域Ｒ４と領域Ｒ３との境界の端点ＰＴａ，ＰＴｂを用いて設定されるスクリーン近傍領域ＲＡは、スクリーン６０と水面との交線から上流側に凸となる領域となる。これにより、スクリーン近傍領域ＲＡ内に位置する領域Ｒ２に基づいて、スクリーン６０への塵芥８０の付着状況を精度良く判定できる。
【0160】
スクリーン近傍領域ＲＡは、静止画像から特定された、合成領域Ｒ４と領域Ｒ３との境界の端点ＰＴａ，ＰＴｂを用いて自動的に設定される。すなわち、動画像に対するオプティカルフローの技術を用いる必要がない。特許文献１に記載の密なオプティカルフローのような動体検知の手法では、例えば強風に起因する水面の波の影響により、静動マップの精度が低下し、滞留塵芥領域を精度良く判定できない可能性がある。しかしながら、本実施の形態では、動画像に対するオプティカルフローの技術を用いる必要がないため、オプティカルフローのように風波など気象条件による影響を受けにくく、かつ、比較的通信状況が悪い環境下でもスクリーンへの塵芥の付着状況を判定できる。
【0161】
第１～第３実施例では、特定部１１２は、合成領域Ｒ４を膨張させるとともに、領域Ｒ３を膨張させる。そして、特定部１１２は、膨張された合成領域Ｒ４と膨張された領域Ｒ３とが重なり合う境界領域Ｒ５を抽出し、境界領域Ｒ５に基づいて端点ＰＴａ，ＰＴｂを特定する。
【0162】
上述したように、合成領域Ｒ４と領域Ｒ３との境界は、スクリーン６０と水面との交線に対応する。そのため、境界領域Ｒ５には当該交線が含まれる。これにより、スクリーン６０と水面との交線の両端を端点ＰＴａ，ＰＴｂとして特定することができる。また、境界領域Ｒ５は、膨張された合成領域Ｒ４と膨張された領域Ｒ３とのＡＮＤ処理により容易に抽出される。
【0163】
第１実施例では、サーバ装置１０は、カメラ３０から取得された事前準備用画像に対するユーザ入力に応じて、第１～第４基準座標を登録する登録部１１６を備える。第１，第２基準座標はそれぞれ、高さが第１レベルである水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの左端，右端の写る画素の座標である。第３，第４基準座標はそれぞれ、高さが第１レベルと異なる第２レベルである水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの左端，右端の写る画素の座標である。特定部１１２は、境界領域Ｒ５のうち、第１基準座標の点と第３基準座標の点とを結ぶ端線Ｌａ上の点を端点ＰＴａとして特定する。さらに、特定部１１２は、境界領域Ｒ５のうち、第２基準座標の点と第４基準座標の点とを結ぶ端線Ｌｂ上の点を端点ＰＴｂとして特定する。
【0164】
これにより、静止画像２００において、水面とスクリーン６０との交線のうち、水路５０の上流側からスクリーン６０を見たときの左端，右端の点が端点ＰＴａ，ＰＴｂとしてそれぞれ特定される。
【0165】
なお、特定部１１２は、取得部１１０が静止画像２００を取得するたびに、静止画像２００に対して端点ＰＴａ，ＰＴｂを特定する。特定部１１２は、最新の静止画像において境界領域Ｒ５と端線Ｌａとが交わらないことに応じて、前回の静止画像に対して特定された端点ＰＴａを、最新の静止画像における端点ＰＴａとして特定すればよい。同様に、特定部１１２は、最新の静止画像において境界領域Ｒ５と端線Ｌｂとが交わらないことに応じて、前回の静止画像に対して特定された端点ＰＴｂを、最新の静止画像における端点ＰＴｂとして特定すればよい。
【0166】
これにより、境界領域Ｒ５と端線Ｌａ，Ｌｂとが交わらない場合であっても、塵芥の付着状況を暫定的に判定できる。
【0167】
第２～第４実施例では、特定部１１２は、合成領域Ｒ４の少なくとも一部に属する各点のＸ座標およびＹ座標とラベル「Ｒ４」とを示す第１正解データと、領域Ｒ３の少なくとも一部に属する各点のＸ座標およびＹ座標とラベル「Ｒ３」とを示す第２正解データとを用いた機械学習を行なうことにより、Ｘ座標およびＹ座標の入力を受けて、ラベル「Ｒ４」，「Ｒ３」のいずれかを出力する線形分類モデルの分離直線９０を求める。
【0168】
これにより、合成領域Ｒ４と領域Ｒ３との境界線と略一致する分離直線９０を容易に得ることができる。
【0169】
そして、第２，第３実施例では、特定部１１２は、境界領域Ｒ５に属する複数の点（例えば、境界領域Ｒ５の輪郭上の点）を分離直線９０上に射影することにより得られる複数の射影点のうち、両端に位置する２つの射影点を端点ＰＴａ，ＰＴｂとして特定する。
【0170】
図２２に示されるように、境界領域Ｒ５は、歪んだ形状を取りうる。しかしながら、分離直線９０上に境界領域Ｒ５に属する各点を射影することにより得られる複数の射影点の両端を端点ＰＴａ，ＰＴｂを特定することにより、水面とスクリーン６０との交線の両端により近い点を端点ＰＴａ，ＰＴｂとして特定しやすくなる。
【0171】
第２実施例では、サーバ装置１０は、カメラ３０から取得された事前準備用画像に対するユーザ入力に応じて、第１基準座標および第２基準座標を登録する登録部１１６を備える。第１，第２基準座標はそれぞれ、水面とスクリーン６０との交線の、水路５０の上流側からスクリーン６０を見たときの左端，右端の写る画素の座標である。特定部１１２は、複数の射影点のうち、第２基準座標の点（基準点ＰＴ２）との距離Ｄ２が最大となる射影点を端点ＰＴａとして特定し、第１基準座標の点（基準点ＰＴ１）との距離Ｄ１が最大となる射影点を端点ＰＴｂとして特定する。
【0172】
これにより、静止画像２００において、水面とスクリーン６０との交線のうち、水路５０の上流側からスクリーン６０を見たときの左端，右端の点が端点ＰＴａ，ＰＴｂとしてそれぞれ特定される。
【0173】
なお、特定部１１２は、最新の静止画像２００に対して特定した端点ＰＴａ，ＰＴｂを結ぶ線分の長さと基準長さ（基準点ＰＴ１，ＰＴ２を結ぶ線分の長さ）との差が閾値Ｔｈ２以上であるという第１条件を満たすか否かを判断する。さらに、特定部１１２は、最新の静止画像２００に対して特定した端点ＰＴａ，ＰＴｂを結ぶ線分と、基準点ＰＴ１，ＰＴ２を結ぶ線分とのなす角度が閾値Ｔｈ３以上であるという第２条件を満たすか否かを判断する。端点ＰＴａ，ＰＴｂを結ぶ線分と、基準点ＰＴ１，ＰＴ２を結ぶ線分とのなす角度は、ステップＳ５０において計算された角度と、ステップＳ４２において計算された基準角度との差である。特定部１１２は、第１条件および第２条件の少なくとも一方を満たすことに応じて、最新の静止画像に対して特定された端点ＰＴａ，ＰＴｂを、前回の静止画像に対してスクリーン近傍領域ＲＡを設定するために用いた端点ＰＴａ，ＰＴｂと同一となるように補正する。そして、設定部１１３は、端点ＰＴａ，ＰＴｂが補正された場合、補正後の端点ＰＴａ，ＰＴｂを用いて、スクリーン近傍領域ＲＡを設定する。
【0174】
これにより、水面とスクリーン６０との交線の端点と大きく異なる点が端点ＰＴａ，ＰＴｂとして特定されることを防止できる。
【0175】
第３実施例では、特定部１１２は、分離直線９０と静止画像２００の端との２つの交点Ｐｃ１，Ｐｃ２のうち、領域Ｒ３の重心ＳＣから見て右側の交点を基準点ＰＴ１として設定し、重心ＳＣから見て左側の交点を基準点ＰＴ２として設定する。そして、特定部１１２は、複数の射影点のうち、基準点ＰＴ１との距離Ｄ１が最小となる射影点、または、基準点ＰＴ２との距離Ｄ２が最大となる射影点を端点ＰＴａとして特定する。さらに、特定部１１２は、複数の射影点のうち、基準点ＰＴ１との距離Ｄ１が最大となる射影点、または、基準点ＰＴ２との距離Ｄ２が最小となる射影点を端点ＰＴｂとして特定する。
【0176】
これにより、静止画像２００において、水面とスクリーン６０との交線のうち、水路５０の上流側からスクリーン６０を見たときの左端，右端の点が端点ＰＴａ，ＰＴｂとしてそれぞれ特定される。また、第３実施例では、登録情報を予め登録しておく必要がない。
【0177】
第４実施例では、特定部１１２は、分離直線９０と、第１基準座標の点（基準点ＰＴ１）と第３基準座標の点（基準点ＰＴ３）とを結ぶ端線Ｌａとの交点を端点ＰＴａとして特定する。さらに、特定部１１２は、分離直線９０と、第２基準座標の点（基準点ＰＴ２）と第４基準座標の点（基準点ＰＴ４）とを結ぶ端線Ｌｂとの交点を端点ＰＴｂとして特定する。
【0178】
これにより、静止画像２００において、水面とスクリーン６０との交線のうち、水路５０の上流側からスクリーン６０を見たときの左端，右端の点が端点ＰＴａ，ＰＴｂとしてそれぞれ特定される。
【0179】
なお、特定部１１２は、最新の静止画像において分離直線９０と端線Ｌａとが交わらないことに応じて、前回の静止画像に対して特定された端点ＰＴａを、最新の静止画像における端点ＰＴａとして特定すればよい。同様に、特定部１１２は、最新の静止画像において分離直線９０と端線Ｌｂとが交わらないことに応じて、前回の静止画像に対して特定された端点ＰＴｂを、最新の静止画像における端点ＰＴｂとして特定すればよい。
【0180】
これにより、分離直線９０と端線Ｌａ，Ｌｂとが交わらない場合であっても、塵芥の付着状況を暫定的に判定できる。
【0181】
特定部１１２は、最新の静止画像に対して特定された端点ＰＴａ，ＰＴｂの中点と、前回の静止画像に対して設定されたスクリーン近傍領域ＲＡの線分８５の中点Ｍ（図１４参照）との距離が閾値Ｔｈ１以上であることに応じて、端点ＰＴａ，ＰＴｂを補正する。具体的には、特定部１１２は、最新の静止画像に対して特定された端点ＰＴａ，ＰＴｂを、前回の静止画像に対してスクリーン近傍領域ＲＡを設定するために用いた端点ＰＴａ，ＰＴｂと同一となるように補正する。そして、設定部１１３は、端点ＰＴａ，ＰＴｂが補正された場合、補正後の端点ＰＴａ，ＰＴｂを用いて、スクリーン近傍領域ＲＡを設定する。
【0182】
これにより、水面とスクリーン６０との交線の端点と大きく異なる点が端点ＰＴａ，ＰＴｂとして特定されることを防止できる。
【0183】
第２，第４実施例において、特定部１１２は、静止画像２００のうちの一部であり、第１基準座標の点（基準点ＰＴ１）と第２基準座標の点（基準点ＰＴ２）とを含む所定サイズの範囲９２を設定することが好ましい。そして、第１正解データは、合成領域Ｒ４のうち、範囲９２内の各点のＸ座標およびＹ座標を示す。さらに、第２正解データは、領域Ｒ３のうち当該範囲９２内の各点のＸ座標およびＹ座標を示す。
【0184】
これにより、合成領域Ｒ４と領域Ｒ３との境界線と略一致する分離直線９０を取得しやすくなる。
【0185】
設定部１１３は、線分８５（図１４参照）を長径とし、端点ＰＴｂから端点ＰＴａまで時計回り方向に描かれる楕円弧８６と、線分８５とで囲まれた領域をスクリーン近傍領域ＲＡとして設定する。
【0186】
これにより、ＯｐｅｎＣＶの関数cv2.ellipse（）を用いて、スクリーン近傍領域ＲＡを容易に設定することができる。
【0187】
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
【符号の説明】
【0188】
１ 監視システム、１０ サーバ装置、２０ 端末装置、３０ カメラ、４０ 河川、５０ 水路、６０ スクリーン、７０ 取水口、８０ 塵芥、８５，Ｌ０ 線分、８６ 楕円弧、９０，１９０ 分離直線、９２ 範囲、１００ 小水力発電所、１１０ 取得部、１１１ 領域検知部、１１２ 特定部、１１３ 設定部、１１４ 判定部、１１５ 通知部、１１６ 登録部、１２０ 記憶部、１５１ プロセッサ、１５３ ＲＡＭ、１５５ 通信ＩＦ、１５６ 入力装置、１５７ 電源回路、１５８ ディスプレイ、２００，２０１，２０２ 静止画像、２５０ 事前準備用画像、４２０ 学習済モデル、Ｌａ，Ｌｂ 端線、Ｍ 中点、Ｐ１～Ｐｎ 射影点、ＰＴ１，ＰＴ２，ＰＴ３，ＰＴ４ 基準点、ＰＴａ，ＰＴｂ 端点、ＰＸ１，ＰＸ２，ＰＸ３，ＰＸ４ 基準画素、Ｐｃ１，Ｐｃ２ 交点、Ｒ０ 滞留塵芥領域、Ｒ１，Ｒ２，Ｒ３ 領域、Ｒ４ 合成領域、Ｒ５ 境界領域、ＲＡ スクリーン近傍領域。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】