特開 2024-67277 水位計測装置および水位計測方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024067277

(43)【公開日】2024-05-17

(54)【発明の名称】水位計測装置および水位計測方法、並びにプログラム

(51)【国際特許分類】

   G01F 23/292 20060101AFI20240510BHJP

【ＦＩ】

G01F23/292 Z

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022177228

(22)【出願日】2022-11-04

(11)【特許番号】

(45)【特許公報発行日】2023-02-13

(71)【出願人】

【識別番号】594162308

【氏名又は名称】西日本技術開発株式会社

(71)【出願人】

【識別番号】504283220

【氏名又は名称】Ｑｓｏｌ株式会社

(74)【代理人】

【識別番号】100197642

【弁理士】

【氏名又は名称】南瀬 透

(74)【代理人】

【識別番号】100099508

【弁理士】

【氏名又は名称】加藤 久

(74)【代理人】

【識別番号】100219483

【弁理士】

【氏名又は名称】宇野 智也

(72)【発明者】

【氏名】麻生 寛興

(72)【発明者】

【氏名】鈴木 良太

(72)【発明者】

【氏名】福岡 尚樹

(72)【発明者】

【氏名】中野 陽介

(72)【発明者】

【氏名】▲桑▼畑 仁志

【テーマコード（参考）】

2F014

【Ｆターム（参考）】

2F014AB01

2F014FA04

2F014GA01

(57)【要約】

【課題】護岸の斜面に配置されたマーカーを含む河川の画像に基づいて水位を計測することができる水位計測装置などを提供する。
【解決手段】水位計測装置１０は、護岸の斜面に配置されたマーカーを含む河川の画像に対して、当該画像に写っている領域を水面と非水面に分割する領域分割手段１０４と、射影変換を行う射影変換手段１０５と、画像におけるマーカーの上辺および下辺の縦の座標と、護岸の斜面の長さおよびマーカーの縦の長さと、を用いて、画像における護岸の底の座標を特定する底特定手段１０６と、護岸の底の座標およびマーカーの上辺の両端の座標に基づいて、対象範囲を切り出す切出手段１０７と、対象範囲から、水面の割合を判定する水面割合判定手段１０８と、判定された水面の割合と、護岸の斜面の長さおよび護岸の斜面の角度と、を用いて、水位を算出する水位算出手段１０９と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

護岸の斜面に配置されたマーカーを含む河川の画像に対して、当該画像に写っている領域を水面と非水面に分割する領域分割手段と、
前記斜面に沿って斜めに写っている前記マーカーが正面視における形状となるように射影変換を行う射影変換手段と、
前記領域分割手段により領域が水面と非水面に分割された画像に対して、当該画像における前記マーカーの上辺および下辺の縦の座標と、前記護岸の斜面の長さおよび前記マーカーの縦の長さと、を用いて、当該画像における前記護岸の底の座標を特定する底特定手段と、
前記底特定手段により特定された前記護岸の底の座標および前記マーカーの上辺の両端の座標に基づいて、対象範囲を切り出す切出手段と、
前記切出手段により切り出された対象範囲から、水面の割合を判定する水面割合判定手段と、
前記水面割合判定手段により判定された水面の割合と、前記護岸の斜面の長さおよび前記護岸の斜面の角度と、を用いて、水位を算出する水位算出手段と、
を有する水位計測装置。

【請求項2】

前記領域分割手段は、セマンティックセグメンテーションにより水面のラベル付けがされた教師データを用いて機械学習された学習済みモデルにより、領域の分割を行う請求項１に記載の水位計測装置。

【請求項3】

前記河川の画像に写っている護岸と基準画像に写っている護岸とに基づいて、前記河川の画像に対して、特徴点マッチングにより前記河川の画像に写っている護岸およびマーカーの位置を補正する補正手段を有する請求項１または２に記載の水位計測装置。

【請求項4】

前記補正手段は、前記河川の画像の位置の補正を行うとき、補正前の位置から補正後の位置までの移動距離が閾値を超えている場合、当該河川の画像を異常データとして扱う
請求項３に記載の水位計測装置。

【請求項5】

コンピュータにより、
護岸の斜面に配置されたマーカーを含む河川の画像に対して、当該画像に写っている領域を水面と非水面に分割する領域分割工程と、
前記斜面に沿って斜めに写っている前記マーカーが正面視における形状となるように射影変換を行う射影変換工程と、

前記領域分割工程により領域が水面と非水面に分割された画像に対して、当該画像における前記マーカーの上辺および下辺の縦の座標と、前記護岸の斜面の長さおよび前記マーカーの縦の長さと、を用いて、当該画像における前記護岸の底の座標を特定する底特定工程と、
前記底特定工程により特定された前記護岸の底の座標および前記マーカーの上辺の両端の座標に基づいて、対象範囲を切り出す切出工程と、
前記切出工程により切り出された対象範囲から、水面の割合を判定する水面割合判定工程と、
前記水面割合判定工程により判定された水面の割合と、前記護岸の斜面の長さおよび前記護岸の斜面の角度と、を用いて、水位を計算する水位計算工程と、
を有する水位計測方法。

【請求項6】

コンピュータを、
護岸の斜面に配置されたマーカーを含む河川の画像に対して、当該画像に写っている領域を水面と非水面に分割する領域分割手段と、
前記斜面に沿って斜めに写っている前記マーカーが正面視における形状となるように射影変換を行う射影変換手段と、
前記領域分割工程により領域が水面と非水面に分割された画像に対して、当該画像における前記マーカーの上辺および下辺の縦の座標と、前記護岸の斜面の長さおよび前記マーカーの縦の長さと、を用いて、当該画像における前記護岸の底の座標を特定する底特定手段と、
前記底特定手段により特定された前記護岸の底の座標および前記マーカーの上辺の両端の座標に基づいて、対象範囲を切り出す切出手段と、
前記切出手段により切り出された対象範囲から、水面の割合を判定する水面割合判定手段と、
前記水面割合判定手段により判定された水面の割合と、前記護岸の斜面の長さおよび前記護岸の斜面の角度と、を用いて、水位を算出する水位算出手段と、
を有する水位計測装置として動作させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、護岸のある河川の水位を計測する水位計測装置および水位計測方法、並びにコンピュータを水位計測装置として動作させるプログラムに関する。

【背景技術】

【0002】

集中豪雨や台風などの際に河川の水位が上がって、氾濫したり住宅地へ流れ込んだりと被害が出る恐れがあるため、河川の水位を計測（監視）する必要がある。

【0003】

河川等の水位に関する技術として、特許文献１に記載のシステムがある。
このシステムは、河川流域の複数の観測地点にカメラを配置し、得られた画像を、通信回線を介して演算装置に送信し、演算装置において、送信された画像と予め取得された参照画像とを対比して、それぞれの観測地点での水位を表す水位データを得、得られた水位データを処理することにより、氾濫の可能性がある下流流域等の所定の監視地点の水位を予測することができるようにしたものである。

【0004】

また、特許文献２には、河川等の水位を予測する水位予測システムが記載されている。
この水位予測システムは、監視対象地域を分割することにより得られた複数の区画それぞれの標高を区画に対応付けて記憶している標高データベースと、所定のインターバルで、これら区画それぞれの降雨量及び流入量に基づき、推定貯水高を演算する貯水高演算手段と、所定のインターバルで、区画毎に標高と推定貯水高との和を仮想水面として演算し、各区画を取り巻く複数の区画の仮想水面の内の最も低い仮想水面を有する区画を、中心に位置する当該各区画から水が流出する方向として、水の流出方向を決定する流出方向決定手段と、所定のインターバルで、各区画の貯水量及び降雨量に基づいて、各区画から該区画の流出方向への流出量を演算する流出量演算手段と、を備えるものである。
さらに、この水位予測システムは、決定された流出方向及び流出量、並びに水流経路の断面形状に基づいて、該経路の水位を演算する水位演算手段を備えている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８－０５７９９４号公報

【特許文献2】特許第５６５４１４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、特許文献１に記載のシステムは、事前に三次元空間情報（特許文献１の段落００３７）などの測量や対象構造物のモデル作成などを行う必要がある。

【0007】

なお、特許文献２に記載の水位予測システムにおいても、降雨量や流入量などを知る必要がある。

【0008】

その他、一般的な水位計として、接触式水位計（フロート式、ガイドロープ式、圧力式、静電容量式、差圧式など）や非接触式水位計（電波式、超音波式など）が用いられているが、これらは計測対象の河川区域および周辺の土地へ設置する必要がある。そのため、国、自治体、法人、個人など、地権者への占有許可申請や借用申請といった煩雑な手続きが必要となる。よって、手続きに時間や労力を要するばかりか、許可が下りるまで水位計の設置、つまり水位計測を行うことはできない。

【0009】

よって、本発明は、水位計を設置する必要がなく、護岸の斜面に配置されたマーカーを含む河川の画像に基づいて水位を計測することができる水位計測装置および水位計測方法を提供する。

【課題を解決するための手段】

【0010】

本発明に係る水位計測装置は、護岸の斜面に配置されたマーカーを含む河川の画像に対して、当該画像に写っている領域を水面と非水面に分割する領域分割手段と、斜面に沿って斜めに写っているマーカーが正方形に正面視における形状となるように射影変換を行う射影変換手段と、領域分割手段により領域が水面と非水面に分割された画像に対して、当該画像におけるマーカーの上辺および下辺の縦の座標と、護岸の斜面の長さおよびマーカーの縦の長さと、を用いて、当該画像における護岸の底の座標を特定する底特定手段と、底特定手段により特定された護岸の底の座標およびマーカーの上辺の両端の座標に基づいて、対象範囲を切り出す切出手段と、切出手段により切り出された対象範囲から、水面の割合を判定する水面割合判定手段と、水面割合判定手段により判定された水面の割合と、護岸の斜面の長さおよび護岸の斜面の角度と、を用いて、水位を算出する水位算出手段と、を有する。

【0011】

これにより、マーカーを含む河川の画像に対して射影変換、水面と非水面との領域分割、および護岸の底の特定が行われ、特定された護岸の底およびマーカーに基づいて対象範囲が切り出される。そして、当該対象範囲から水面の割合が判定され、判定された水面の割合と護岸の斜面の長さおよび角度とから、水位が算出される。

【発明の効果】

【0012】

特に、領域分割手段は、セマンティックセグメンテーションにより水面のラベル付けがされた教師データを用いて機械学習された学習済みモデルにより、領域の分割を行うことが望ましい。
これにより、水面とそれ以外（非水面）との領域分割の精度を向上させることができる。

【0013】

また、水位計測装置は、河川の画像に写っている護岸と基準画像に写っている護岸とに基づいて、河川の画像に対して、特徴点マッチングにより河川の画像に写っている護岸およびマーカーの位置を補正する補正手段を有することが望ましい。
これにより、例えば撮影画像に写っている護岸やマーカーの位置がズレていたとしても、補正手段によりその位置を補正することができる。

【0014】

さらに、補正手段は、河川の画像の位置の補正を行うとき、補正前の位置から補正後の位置までの移動距離が閾値を超えている場合、当該河川の画像を異常データとして扱うことが望ましい。
これにより、補正手段は、異常データ、つまり補正を行ったとしても水位計測において一定の精度を確保し得る画像を検知することができる。

【0015】

一方、本発明に係る水位計測方法は、コンピュータにより、護岸の斜面に配置されたマーカーを含む河川の画像に対して、当該画像に写っている領域を水面と非水面に分割する領域分割工程と、斜面に沿って斜めに写っているマーカーが正面視における形状となるように射影変換を行う射影変換工程と、領域分割工程により領域が水面と非水面に分割された画像に対して、当該画像におけるマーカーの上辺および下辺の縦の座標と、護岸の斜面の長さおよびマーカーの縦の長さと、を用いて、当該画像における護岸の底の座標を特定する底特定工程と、底特定工程により特定された護岸の底の座標およびマーカーの上辺の両端の座標に基づいて、対象範囲を切り出す切出工程と、切出工程により切り出された対象範囲から、水面の割合を判定する水面割合判定工程と、水面割合判定工程により判定された水面の割合と、護岸の斜面の長さおよび護岸の斜面の角度と、を用いて、水位を計算する水位計算工程と、を有する。

【0016】

なお、本発明に係るプログラムは、コンピュータを、上述した水位計測装置として動作させるものである。

【0017】

本発明に係る水位計測装置は、領域分割手段と、射影変換手段と、底特定手段と、切出手段と、水面割合判定手段と、水位算出手段と、を有する構成により、マーカーを含む河川の画像に対して水面と非水面との領域分割、射影変換、および護岸の底の特定が行われ、特定された護岸の底およびマーカーに基づいて対象範囲が切り出され、当該対象範囲から水面の割合が判定され、判定された水面の割合と護岸の斜面の長さおよび角度とから、水位が算出されるため、水位計を設置する必要がなく、護岸の斜面に配置されたマーカーを含む河川の画像に基づいて水位を計測することができる。

【0018】

また、水位計測装置は、補正手段を有する構成により、撮影画像に写っている護岸やマーカーの位置がズレていたとしてもその位置を補正することができたり、異常データを検知して排除したりすることができるため、水位計測の精度を向上させることができる。

【0019】

なお、本発明に係る水位計測方法やプログラムによれば、本発明に係る水位計測装置と同等の作用効果を奏することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施の形態に係る水位計測装置の機能ブロック図である。

【図2】本発明の実施の形態に係る水位計測方法を説明するフロー図であり、データの前処理を行う流れを示すフロー図である。

【図3】本発明の実施の形態に係る水位計測方法を説明するフロー図であり、学習済みモデルを生成する流れを示すフロー図である。

【図4】本発明の実施の形態に係る水位計測方法を説明するフロー図であり、水位計測の流れを示すフロー図である。

【図5】護岸の斜面に配置されたマーカーを含む河川の画像を説明する図である。

【図6】護岸の斜面に配置されたマーカーを含む河川の画像に基づいて、対象範囲を切り出した例を説明する図である。

【図7】対象範囲から、水面と非水面との境界線を判断した例を説明する図である。

【図8】対象範囲から、水面の割合を判定した例を説明する図である。

【図9】アノテーションデータの作成について説明する図である。

【図10】セマンティックセグメンテーションの実施例について説明する図である。

【図11】データの前処理および学習済みモデルの生成の実施例を説明する図である。

【図12】水位計測の実施例を説明する図である。

【図13】河川が持つ水力発電能力の算出について説明する図である。

【発明を実施するための形態】

【0021】

以下に本発明の実施の形態を詳細に説明するが、以下に記載する構成要件の説明は、本発明の実施形態の一例（代表例）であり、本発明はその要旨を逸脱しない限り、以下の内容に限定されない。

【0022】

［水位計測装置］
図１は、本発明の実施の形態に係る水位計測装置の機能ブロック図である。
図１に示すように、本発明の実施の形態に係る水位計測装置１０は、入力手段１０１、出力手段１０２、記憶手段１０３、領域分割手段１０４、射影変換手段１０５、底特定手段１０６、切出手段１０７、水面割合判定手段１０８、水位算出手段１０９、表示手段１１０および補正手段１１１を有する。

【0023】

入力手段１０１は、外部装置からの情報を受信する。外部装置とは、例えばネットワーク通信網を通じて水位計測装置１０と通信する装置であり、パソコン、スマートフォン、タブレット、ネットワークカメラやクラウドストレージなどである。また、入力手段１０１は、クラウドストレージ、ＵＳＢ、外付けＨＤＤやＳＤＤなどの外部記憶媒体からのデータを受信する。例えば、入力手段１０１は、ネットワークカメラで撮影された河川の画像やクラウドストレージに保存された河川の画像などのデータを、メール、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）やＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などの各種手段で受信する。

【0024】

出力手段１０２は、外部装置へ情報を送信する。例えば、水位計測装置１０により求められた結果（水位）はディスプレイなどの表示手段１１０に表示されるが、当該結果を、利用者が所有するパソコンやスマートフォンなどの外部装置へ送信することもできる。

【0025】

記憶手段１０３は、水位計測装置１０を動作させるためのプログラム、河川の画像データや結果（水位）などを記憶する。その他、学習済みモデルや水位計測に用いられる射影変換情報（射影変換行列）、底特定情報(対象範囲の座標)などの各種情報を記憶する。

【0026】

領域分割手段１０４は、指定された（読み込まれた）画像に対して、当該画像に写っている領域を水面とその他（非水面）に分割する。

【0027】

射影変換手段１０５は、領域分割手段１０４により領域分割された画像に対して射影変換を行う。具体的には、射影変換手段１０５は、画像に写っている物をある形から任意の形に変換する。例えば、画像に写っているマーカー（図５（Ｂ）参照）が斜めの四角形である場合、当該マーカーを正面から見た場合（正面から写した場合）における四角形に変換する。

【0028】

底特定手段１０６は、領域分割手段１０４により領域が水面と非水面に分割された画像や、射影変換手段１０５により射影変換された画像から、護岸の底（底の座標）を特定する。

【0029】

切出手段１０７は、底特定手段１０６により特定された護岸の底の座標などの情報に基づいて、画像の中から水位を特定するための対象範囲を切り出す。

【0030】

水面割合判定手段１０８は、切出手段１０７により切り出された対象範囲から、水面の割合を判定する。

【0031】

水位算出手段１０９は、水面割合判定手段１０８により判定された水面の割合と、既知の護岸の斜面の長さおよび既知の護岸の斜面の角度と、を用いて水深を算出する。

【0032】

補正手段１１１は、河川の画像に写っている護岸と基準画像に写っている護岸とに基づいて、河川の画像に対して、河川の画像に写っている護岸およびマーカーの位置を補正する。補正手段１１１は、例えば特徴点マッチングにより当該補正を行う。

【0033】

［水位計測方法］
図２～４は、本発明の実施の形態に係る水位計測方法を説明するフロー図である。
以下、図２～４および各図面に基づいて、水位計測装置１０を用いた水位計測方法について説明する。

【0034】

（概要）
図５（Ａ）に示すように、河川には護岸が設けられているが、護岸の底は水面に隠れており見えない。つまり、どこが護岸の底なのか、また、この河川の水深はどれくらいなのか、といったことを視認することはできない。

【0035】

水位計測装置１０および水位計測方法は、護岸の斜面に配置されたマーカーを含む河川の画像に基づいて、水位を計測することができるものである。

【0036】

ここで、マーカーというのは、図５（Ｂ）に示すような四角形（図５（Ｂ）に示す例においては、正方形）のマーカー（印）である。本実施形態において、図５（Ｂ）に示すマーカーは、縦６７ｃｍ×横６７ｃｍの印を、ステンレスボードに印刷したものとしている。
これを、図５（Ｃ）に示すように護岸の斜面に沿って斜めに配置する。そして、このマーカーを含む河川の画像が撮影手段（例えば、監視カメラ）により撮影される。

【0037】

図５（Ｄ）は、実際に撮影された、護岸の斜面に配置されたマーカーを含む河川の画像である。このように、護岸の斜面に沿って斜めに配置されたマーカーが、護岸や河川（河川の水際）などと一緒に写っている。

【0038】

上述したように、射影変換手段１０５は、画像に写っているマーカーに基づいて射影変換を行う。そして、射影変換は、任意の四角形を別の任意の四角形へ変換するものであるため、変換前の四角形（マーカー）の４点の座標と変換後の四角形（マーカー）の４点の座標が与えられれば、射影変換情報（射影変換行列）は一意に決定する。
そのため、マーカーは、４点の座標が与えられるものであれば、ＡＲマーカーや手書きのマーカーなどでもよい。

【0039】

（全体の流れ）
本実施形態の水位計測方法は、護岸の斜面に配置されたマーカーを含む河川の画像に基づいて水位を計測する前に、「データの前処理」および当該前処理されたデータに基づく「学習済みモデルの生成」を行う。そのため、初めに前処理と学習済みモデルの生成について説明し、それから水位の計測について説明する。

【0040】

（１．データの前処理）
図２は、データの前処理を行う流れを示すフロー図である。
本工程では、後述する学習済みモデルの生成に用いるデータ（河川画像データ）の前処理を行う。つまり、機械学習に用いるデータセットの作成を行う。

【0041】

なお、データの前処理は、水位計測装置１０以外のコンピュータで行ってもよく、水位計測装置１０にデータの前処理を行う機能を持たせて、水位計測装置１０で行ってもよい。以下の説明においては、水位計測装置１０以外のコンピュータがデータの前処理を行うこととする。

【0042】

コンピュータは、まず、１枚の河川の画像およびアノテーションデータの読み込みを行う（ステップＳ１０１）。河川の画像とは、水位計測の対象となる河川が写った画像であり、図５（Ｄ）で示すようにマーカーを含む必要はない。河川の画像は、上述した撮影手段により撮影される。

【0043】

また、アノテーションデータとは、あるデータに対してタグ、ラベル、カテゴリなど関連する情報を付与したデータである。本実施形態においては、図９に示すように、データ（河川の画像）に対して、水面領域にタグ付けが行われている。具体的には、河川の画像に対して、水面領域をアノテーションツール（例えば、ポリゴン作成機能を用いて）で囲み（河川の画像中の一点線参照）、当該囲んだ水面領域にタグ付けを行っている。

【0044】

アノテーションデータは、例えばＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）形式で出力できるため、別のコンピュータで作成されたアノテーションデータを、本コンピュータに読み込ませることができる。

【0045】

次に、河川の画像の輝度ヒストグラムを平坦化する（ステップＳ１０２）。河川の画像を取得した際の、天気（晴れ、曇り）や時間帯などに起因する画像の明るさのバラつきを平坦化するためである。

【0046】

それから、アノテーション画像（アノテーション付き画像）を作成する（ステップＳ１０３）。

【0047】

アノテーション画像が作成されると、データセット（機械学習で用いられるデータの集合体）として保存される（ステップＳ１０４）。

【0048】

読み込んだ１枚の河川の画像に対する処理が完了したら、全ての河川の画像について処理が完了したか判定を行う（ステップＳ１０５）。全ての河川の画像について処理が完了していなければ、別の河川の画像に対してステップＳ１０１～Ｓ１０４までの処理が行われる。これが繰り返され、例えば、前処理が行われるデータ（河川の画像）が１００枚あるとすれば、ステップＳ１０１～Ｓ１０４が１００回ループされる。

【0049】

全ての河川の画像について処理が完了したと判定された場合、本工程は終了する。これにより、データセット（前処理が行われるデータ（河川の画像）が１００枚あるとすれば、図１１（Ｃ）に示すような、１００枚の河川のアノテーション画像と１００枚の河川のマスク画像の集合体）が作成・保存される。

【0050】

（２．学習済みモデルの生成）
図３は、学習済みモデルを生成する流れを示すフロー図である。
なお、学習済みモデルの生成は、水位計測装置１０以外のコンピュータで行ってもよく、水位計測装置１０に学習済みモデルの生成を行う機能を持たせて、水位計測装置１０で行ってもよい。以下の説明においては、水位計測装置１０以外のコンピュータが学習済みモデルの生成を行うこととする。

【0051】

コンピュータは、まず、モデルの宣言を行う（ステップＳ２０１）。モデルとは、例えばニューラルネットワークモデルであり、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などの各種ニューラルネットワークモデル、またはこれらが改良されたものや組み合わせられたものなどである。特に、モデルは画像のセグメンテーションに用いられるディープラーニングのモデルが好ましく、例えばＦａｓｔＦＣＮ、ＤｅｅｐＬａｂ、Ｕ－Ｎｅｔ、またはこれらのディープラーニングモデルが改良されたものなどが好ましい。

【0052】

次に、データの前処理で作成されたデータセットを読み込む（ステップＳ２０２）。

【0053】

それから、読み込んだデータセットを用いて、ステップＳ２０１で宣言したモデルに対して機械学習を行う（ステップＳ２０３）。併せて、Ｆ値（Ｄｉｃｅ）やＩｏＵ（Ｊａｃｃａｒｄ）などの評価も行う。

【0054】

このようにして、河川の画像に写っている領域を、水面領域とそれ以外（非水面領域）に分ける学習済みモデルが生成される。

【0055】

また、本工程には、セマンティックセグメンテーションを用いることができる。セマンティックセグメンテーションは、画像の各ピクセル（画素）に対して、何が写っているのか、ということを示すラベルやカテゴリを付与するものである。よって、本実施形態においては、河川の画像の各ピクセルに対して、水面領域が写っている（水面領域である）ことを示すラベルやカテゴリを付与する。

【0056】

なお、本工程には、セマンティックセグメンテーションで用いられる手法であるＵ－Ｎｅｔなどを用いることができる。

【0057】

（３．水位計測）
図４は水位計測の流れを示すフロー図である。
水位計測は、水位計測装置１０により行う。また、前工程において生成された学習済みモデルは、入力手段１０１により受信され、記憶手段１０３に保存されている。

【0058】

水位計測装置１０はまず、水位の計測対象である河川の画像を読み込む（ステップＳ３０１）。当該画像は、図６（Ａ）に示すような護岸の斜面に配置されたマーカーを含む河川の画像である。水位計測装置１０は入力手段１０１により河川の画像を読み込み、記憶手段１０３に読み込んだ画像を保存する。

【0059】

次に、水位計測装置１０は、補正手段１１１により読み込まれた画像に対して補正が必要か不要か判定する（ステップＳ３０２）。必要である場合、水位計測装置１０は補正手段１１１により当該画像に対して補正（画像補正）を行うが、この補正の流れについては後述する。

【0060】

一方、不要である場合、水位計測装置１０は領域分割手段１０４により読み込んだ画像に対して領域分割を行う（ステップＳ３０４）。具体的には、読み込んだ画像に写っている領域を水面領域と非水面領域に分割するが、この際、領域分割手段１０４は、前工程において生成された学習済みモデルを用いて画像に写っている領域を水面領域と非水面領域に分割する。

【0061】

例えば、図１０に示す例においては、図１０（Ａ）に示す河川の画像を、セマンティックセグメンテーションを用いて図１０（Ｂ）に示すように水面領域（おおよそ下半分）と非水面領域（おおよそ上半分）に分割している。図１０（Ｂ）に示す水面領域の部分を図１０（Ａ）に示す河川の画像に重ね合わせると、図１０（Ｃ）に示すように水面領域のみが抽出されていることが分かる。

【0062】

それから、水位計測装置１０は射影変換手段１０５により、画像に写っている物（マーカー）が斜めの四角形である場合、当該マーカーを正面から見た場合（正面から写した場合）における四角形に変換する（ステップＳ３０５）。よって、図６（Ａ）に示すような護岸の斜面に沿って斜めに写っているマーカーの形状は、正面から写した場合のように変形される（図６（Ｂ）参照）。

【0063】

そして、水位計測装置１０は底特定手段１０６により、領域分割や射影変換が行われた画像に対して、護岸の底の座標を特定（算出）する（ステップＳ３０６）。

【0064】

ここで、当該画像におけるマーカーの上辺の縦の座標（Ｙ座標）と下辺の縦の座標（Ｙ座標）は、画像に写っているため特定することができる。また、実際のマーカーの縦の長さ（図５（Ｂ）の矢印参照）も、特定すること（事前に知っておくこと）ができる。さらに、護岸の斜面の長さ（図５（Ｃ）参照）も、特定すること（事前に知っておくこと）ができる。

【0065】

このように、上述した情報は既知であるため、底特定手段１０６はこれらの情報を用いて護岸の底の縦の座標（Ｙ座標）を算出することができる。
具体的には、以下のように算出することができる。
護岸の底のＹ座標 ＝ （マーカーの左下のＹ座標 － マーカーの左上のＹ座標） ×
（護岸の斜面の長さ ÷ 実際のマーカーの縦の長さ） ＋
（マーカーの左上のＹ座標）

【0066】

さらに、底特定手段１０６により護岸の底のＹ座標を算出すると、水位計測装置１０は切出手段１０７により画像の中から水位を計測する対象範囲を切り出す。
この際、マーカーの上辺の両端の座標、つまりマーカーの左上のＸ，Ｙ座標および右上のＸ，Ｙ座標は、画像に写っているため特定することができる。また、護岸の底のＹ座標は底特定手段１０６により算出されている。

【0067】

よって、切出手段１０７は、図６（Ｂ）に示すように、
（ア）マーカーの左上の点
（イ）マーカーの右上の点
（ウ）護岸の底の左下の点
（エ）護岸の底の右下の点
の４点で囲まれた領域を対象範囲として切り出す（ステップＳ３０７）。図６（Ｃ）は、切り出された対象範囲である。

【0068】

その後、水位計測装置１０は水面割合判定手段１０８により、切り出された対象範囲から水面の割合を判定する（ステップＳ３０８）。

【0069】

水面の割合を判定するため、まず、水面割合判定手段１０８は対象範囲から、水面と非水面との境界線を判断する。具体的には、セマンティックセグメンテーションで領域分割された対象範囲の白黒画像に対して、最下部から順番に横一列の画素を切り出す（図７（Ａ）参照）。つまり、最下部の横一列の画素を切り出した後、一段上の横一列の画素を切り出し、その後さらに一段上の横一列の画素を切り出し・・・・・・というように、横一列の画素を切り出していく。

【0070】

そして、切り出された横一列の画素に含まれている水面領域（黒）と非水面領域（白）の割合を計算して、非水面領域（白）の割合が閾値を超えた場合、その横一列のラインを水面と判断する（図７（Ｂ）参照）。

【0071】

次に、水面割合判定手段１０８は、水面と判断した対象範囲のラインを境に、水面領域（黒）と非水面領域（白）の割合を判定する。
例えば、図８（Ａ）に示す例においては、水面領域（黒）の割合が１２％、非水面領域（白）の割合が８８％と判定している。一方、図８（Ｂ）に示す例においては、水面領域（黒）の割合が４０％、非水面領域（白）の割合が６０％と判定している。

【0072】

水面割合判定手段１０８により切り出された対象範囲における水面の割合が判定された後、水位計測装置１０は水位算出手段１０９により水位を算出する（ステップＳ３０９）。

【0073】

ここで、図５（Ｃ）に示すように、護岸の斜面の長さおよび護岸の斜面の角度は既知の情報である。そのため、水位算出手段１０９は以下のような式を用いて、水位を算出することができる。
水位（水深） ＝ 護岸の斜面の長さ × 水面領域の割合 × 護岸の角度の正弦（Ｓｉｎ）

【0074】

例えば、護岸の斜面の長さが「２００ｃｍ」、護岸の角度の正弦が「１」であるとすると、図８（Ａ）に示すように水面領域の割合が１２％である場合、水位は
２００ｃｍ × １２％ × １ ＝ ２４ｃｍ
と算出される。

【0075】

また、図８（Ｂ）に示すように水面領域の割合が６０％である場合、水位は
２００ｃｍ × ６０％ × １ ＝ １２０ｃｍ
と算出される。

【0076】

以上のように、ステップＳ３０１～Ｓ３０９に示す工程により水位計測が行われる。
ここで、ステップＳ３０４～ステップＳ３０６については、初期設定時（監視カメラなどの撮影手段が、河川に設置された時）と水位計測時（運用時）でそれぞれ以下のとおり処理を行うことが望ましい。

【0077】

・初期設定時
（１）撮影された河川のカラー画像でマーカーを検出し、検出したマーカーに基づいて射影変換を行う（ステップＳ３０５）。
（２）撮影されたカラー画像に写っている護岸の底を特定し（ステップＳ３０６）、射影変換情報（射影変換行列）および護岸の底の座標やマーカーの座標などを含む底特定情報（対象範囲座標）を記憶手段１０３またはクラウドストレージなどに保存する。

【0078】

・水位計測時
（１）撮影された画像（入力手段１０１により読み込まれた河川の画像）に対して領域分割を行う（ステップＳ３０４）。
（２）初期設定時に記憶手段１０３またはクラウドストレージなどに保存された射影変換情報および底特定情報を取得し、射影変換情報を用いて画像の射影変換を行う（ステップＳ３０５）。また、底特定情報を用いて画像の中から水位を計測する対象範囲を切り出す（ステップＳ３０７）。この際、初期設定時に、すでに護岸の底（護岸の底の座標）などの特定を行っているため、水位計測時においては、クラウドストレージなどに保存された底特定情報（対象範囲座標）を用いて対象範囲の切り出しを行うことができる。

【0079】

なお、射影変換工程により射影変換された画像にノイズ（例えば、射影変換されることにより生じた、水面領域であると誤検出される可能性がある領域）などが生じて計測精度が低下しなければ、射影変換（ステップＳ３０５）後に領域分割（ステップＳ３０４）、次いで底特定（ステップＳ３０６）を行ってもよい。若しくは、射影変換（ステップＳ３０５）後に底特定（ステップＳ３０６）、次いで領域分割（ステップＳ３０４）を行ってもよい。

【0080】

（補正）
また、ステップＳ３０２において、読み込まれた画像に対して補正が必要であると判断された場合、水位計測装置１０は補正手段１１１により当該画像に対して補正（画像補正）を行う。

【0081】

補正が必要であると判断される場合は、強風や振動などの影響で撮影手段（監視カメラ）により撮影された画像がブレている場合である。例えば、監視カメラがポールの上に設置されている場合などは、強風や振動などの影響で撮影画像がブレることがある。

【0082】

そのため、補正手段１１１は、ブレた画像、つまり護岸や水面などがズレて写っている画像において、そのズレている護岸や水面などを正しい位置に（ズレていない位置に）補正する。

【0083】

この際、補正手段１１１は、特徴点マッチングにより画像を補正することができる。例えば、ブレた画像と、ブレていない画像とをマッチングさせ、ブレた画像に写っている護岸や水面などの位置が、ブレていない画像に写っている護岸や水面などの位置にぴったりと合うように画像を補正する。

【0084】

特に、河川の周辺は草木や花など植物が生い茂る場所でもあるため、例えば護岸のコンクリート部分以外を黒く塗りつぶしてマッチングさせることが望ましい。要するに、植物は成長するものであるため、半年前に撮影されたブレていない画像と、２，３日前に撮影されたブレた画像とをマッチングさせても、多くの異なる部分（成長した植物が写っている部分）が原因でマッチング精度が落ちてしまう。そのため、経年変化しないところ以外は黒く塗りつぶして、マッチングする際のノイズとならないようにすることが望ましい。

【0085】

なお、補正手段１１１は画像補正を行う際、例えば分離フォレストにより、ある河川の画像について補正前の位置から補正後の位置までの移動距離が閾値を超えている場合、この河川の画像を異常データとして扱うこともできる。つまり、補正手段１１１は画像補正を行う際、補正を行ったとしても水位計測において一定の精度を確保し得る画像ではない、と判断することができる。

【0086】

その他、監視カメラにより撮影された画像は、天気や時間帯（昼間と夜間）などにより差が出てしまう。撮影された画像がぼやけていたり、明るさが変わっていたりすると、画像認識の精度は大きく変わってしまう。そのため、こうした変化への耐性が強いＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ ＫＡＺＥ）などを用いて、マッチング精度を向上させることができる。

【0087】

以上のように説明した本実施形態の水位計測装置および水位計測方法はあくまで一例であり、本発明の趣旨を逸脱しない限り、適宜変更可能である。例えば、対象範囲の切り出しを行った後に、領域分割を行ってもよい。

【0088】

［実施例］
図１１は、データの前処理および学習済みモデルの生成の実施例を説明する図である。本実施形態の水位計測方法の詳細な説明については上記で行っているため、以下、図２，３および図１１に基づいて、実施例を簡単に説明する。

【0089】

まず、水位計測装置１０は、学習用の河川画像（図１１（Ａ）参照）およびアノテーションデータを読み込む（ステップＳ１０１）。

【0090】

次に、河川画像の輝度ヒストグラム平坦化を行い（ステップＳ１０２）、図１１（Ｂ）に示すようにアノテーション画像を作成する（ステップＳ１０３）。水位計測装置１０により読み込まれた複数の学習用の河川画像それぞれに対してアノテーション画像が作成されると、前処理済みデータとしてデータセット用画像が保存され、処理が終了する（ステップＳ１０４，Ｓ１０５）。データセット用画像は、図１１（Ｃ）に示すように水面領域情報と非水面領域情報とが付与された画像データとすることができる。

【0091】

そして、モデルの宣言が行われた後（ステップＳ２０１）、保存されたデータセット用画像が読込まれる（ステップＳ２０２）。このデータセット用画像に基づいて機械学習が行われ、図１１（Ｄ）に示すように学習済みモデルが生成される（ステップＳ２０３）。

【0092】

図１２は、水位計測の実施例を説明する図である。続けて、以下、図４および図１２に基づいて、実施例を簡単に説明する。

【0093】

まず、図１２（Ａ）に示すように、水位計測装置１０は、水位の計測対象である河川の画像を読み込む（ステップＳ３０１）。

【0094】

そして、図１２（Ｂ）に示すように、生成された学習済みモデルにより、読み込まれた画像に対して、当該画像に写っている領域を水面領域と非水面領域に分割する（ステップＳ３０４）。
それから、領域分割された画像に対して射影変換を行い（ステップＳ３０５）、図１２（Ｃ）に示すように、護岸の底の特定および対象範囲の切り出しを行う（ステップＳ３０６，Ｓ３０７）。

【0095】

最後に、図１２（Ｄ）に示すように、水面割合の判定および水位の算出を行う（ステップＳ３０８，Ｓ３０９）。

【0096】

［応用例］
図１１は、河川が持つ水力発電能力の算出について説明する図である。
図１１に示すように、水力発電の取水対象河川について、事前に測量した川幅および流速に、本発明に係る水位計測装置または水位計測方法で求められた水位を乗算することで、一定時間あたりの河川の流量を計算することができる。これにより、河川が持つ水力発電能力を計測することができる。

【産業上の利用可能性】

【0097】

本発明は、水位計を設置する必要がなく、護岸の斜面に配置されたマーカーを含む河川の画像に基づいて水位を計測することができる水位計測装置および水位計測方法であり、どこの河川においても容易に水位を計測することができるため、産業上有用である。

【符号の説明】

【0098】

１０ 水位計測装置
１０１ 入力手段
１０２ 出力手段
１０３ 記憶手段
１０４ 領域分割手段
１０５ 射影変換手段
１０６ 底特定手段
１０７ 切出手段
１０８ 水面割合判定手段
１０９ 水位算出手段
１１０ 表示手段
１１１ 補正手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2022-12-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】請求項６

【補正方法】変更

【補正の内容】

【請求項6】

コンピュータを、
護岸の斜面に配置されたマーカーを含む河川の画像に対して、当該画像に写っている領域を水面と非水面に分割する領域分割手段と、
前記斜面に沿って斜めに写っている前記マーカーが正面視における形状となるように射影変換を行う射影変換手段と、
前記領域分割手段により領域が水面と非水面に分割された画像に対して、当該画像における前記マーカーの上辺および下辺の縦の座標と、前記護岸の斜面の長さおよび前記マーカーの縦の長さと、を用いて、当該画像における前記護岸の底の座標を特定する底特定手段と、
前記底特定手段により特定された前記護岸の底の座標および前記マーカーの上辺の両端の座標に基づいて、対象範囲を切り出す切出手段と、
前記切出手段により切り出された対象範囲から、水面の割合を判定する水面割合判定手段と、
前記水面割合判定手段により判定された水面の割合と、前記護岸の斜面の長さおよび前記護岸の斜面の角度と、を用いて、水位を算出する水位算出手段と、
を有する水位計測装置として動作させるプログラム。