特開 2023-124407 河川監視システムおよび河川監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023124407

(43)【公開日】2023-09-06

(54)【発明の名称】河川監視システムおよび河川監視方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230830BHJP

   G06V 10/82 20220101ALI20230830BHJP

   G06Q 50/26 20120101ALI20230830BHJP

【ＦＩ】

G06T7/00 350B

G06V10/82

G06Q50/26

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022028147

(22)【出願日】2022-02-25

(71)【出願人】

【識別番号】000202361

【氏名又は名称】綜合警備保障株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】徳梅 慎也

(72)【発明者】

【氏名】古屋 俊貴

(72)【発明者】

【氏名】滝浪 省吾

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC35

5L096AA06

5L096BA02

5L096CA02

5L096DA01

5L096DA02

5L096DA04

5L096HA11

5L096KA04

(57)【要約】

【課題】河川氾濫時に正確な氾濫箇所を判定する。
【解決手段】河川氾濫時に浸水が予測される箇所を示す疑似氾濫ラベルと、撮影画像とに基づいて、河川氾濫時の画像に似せた疑似氾濫画像を作成する学習画像作成部と、前記学習画像作成部で作成した前記疑似氾濫画像を疑似氾濫ラベルに対応付けて教師データとし、水面検出のための機械学習モデルを再学習する学習部と、前記学習部で再学習した前記機械学習モデルに基づき、撮影画像から水面が存在する箇所を推論し、河川氾濫の有無を検出する河川氾濫検出部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

河川氾濫時に浸水が予測される箇所を示す疑似氾濫ラベルと、撮影画像とに基づいて、河川氾濫時の画像に似せた疑似氾濫画像を作成する学習画像作成部と、
前記学習画像作成部で作成した前記疑似氾濫画像を疑似氾濫ラベルに対応付けて教師データとし、水面検出のための機械学習モデルを再学習する学習部と、
前記学習部で再学習した前記機械学習モデルに基づき、撮影画像から水面が存在する箇所を推論し、河川氾濫の有無を検出する河川氾濫検出部と、
を備えることを特徴とする河川監視システム。

【請求項2】

前記学習画像作成部は、前記撮影画像における前記疑似氾濫ラベルで示される浸水が予測される箇所に対して色変換を行う、
ことを特徴とする請求項１に記載の河川監視システム。

【請求項3】

前記学習画像作成部は、前記撮影画像に対して河川部分の浸水を模倣した色への色変換を行う、
ことを特徴とする請求項２に記載の河川監視システム。

【請求項4】

河川監視システムにおける河川監視方法であって、
河川氾濫時に浸水が予測される箇所を示す疑似氾濫ラベルと、撮影画像とに基づいて、河川氾濫時の画像に似せた疑似氾濫画像を作成する学習画像作成工程と、
前記学習画像作成工程で作成した前記疑似氾濫画像を疑似氾濫ラベルに対応付けて教師データとし、水面検出のための機械学習モデルを再学習する学習工程と、
前記学習工程で再学習した前記機械学習モデルに基づき、撮影画像から水面が存在する箇所を推論し、河川氾濫の有無を検出する河川氾濫検出工程と、
を含むことを特徴とする河川監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、河川監視システムおよび河川監視方法に関する。

【背景技術】

【0002】

近年、無人航空機（ＵＡＶ：Unmanned Aerial Vehicle、ドローン等）や人工衛星から得た河川画像（河川映像）から機械学習モデルを用いて水面を検出し、河川の氾濫状況を把握する河川監視システムが提案されている。

【0003】

特許文献１には、画像に映る河川の流れが通常状態と乖離しているか否か、及び、予め学習した氾濫状態に至る前の河川の状態をもとに氾濫する可能性があるかを判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１７０２０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、河川監視に用いる機械学習モデルは、通常、多くの河川画像（河川映像）を学習させることにより作成される。すなわち、実際に機械学習モデルが利用される環境と近い場合には、機械学習モデルの精度が飛躍的に向上する。

【0006】

河川監視に用いる機械学習モデルには、河川が氾濫した氾濫箇所を正確に判定することが期待されている。しかしながら、実際に氾濫が発生している河川画像を収集することは困難であり、氾濫が発生していない河川画像（河川映像）を多く学習した機械学習モデルでは河川氾濫時に正確な氾濫箇所を判定することができない、という問題点がある。

【0007】

本発明は、上記に鑑みてなされたものであって、河川氾濫時に正確な氾濫箇所を判定することを目的とする。

【課題を解決するための手段】

【0008】

上述した課題を解決し、目的を達成するために、本発明は、河川氾濫時に浸水が予測される箇所を示す疑似氾濫ラベルと、撮影画像とに基づいて、河川氾濫時の画像に似せた疑似氾濫画像を作成する学習画像作成部と、前記学習画像作成部で作成した前記疑似氾濫画像を疑似氾濫ラベルに対応付けて教師データとし、水面検出のための機械学習モデルを再学習する学習部と、前記学習部で再学習した前記機械学習モデルに基づき、撮影画像から水面が存在する箇所を推論し、河川氾濫の有無を検出する河川氾濫検出部と、を備える。

【発明の効果】

【0009】

本発明によれば、河川氾濫時に正確な氾濫箇所を判定することができる、という効果を奏する。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態にかかる河川監視システムの構成を示すブロック図である。

【図2】図２は、コンピュータ（サーバ）のハードウェア構成を示す図である。

【図3】図３は、河川監視システムの機能的構成を例示するブロック図である。

【図4】図４は、通常時の撮影画像および通常ラベルの一例を示す図である。

【図5】図５は、疑似氾濫画像および疑似氾濫ラベルの一例を示す図である。

【図6】図６は、河川監視システムにおける河川監視処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下に添付図面を参照して、河川監視システムおよび河川監視方法の実施の形態を詳細に説明する。

【0012】

図１は、実施の形態にかかる河川監視システム１００の構成を示すブロック図である。図１に示すように、河川監視システム１００においては、撮影画像蓄積サーバ１０と、ラベル保管サーバ２０と、学習画像作成サーバ３０と、学習サーバ４０と、河川氾濫検出装置５０と、少なくとも１以上の河川監視カメラ６０と、がネットワーク７０を介して接続されている。ネットワーク７０は、例えば、ＬＡＮ（Local Area Network）、イーサネット（登録商標）またはインターネットなどである。

【0013】

次に、撮影画像蓄積サーバ１０と、ラベル保管サーバ２０と、学習画像作成サーバ３０と、学習サーバ４０と、河川氾濫検出装置５０とをそれぞれ構成するコンピュータ（サーバ）のハードウェア構成について説明する。

【0014】

ここで、図２はコンピュータ（サーバ）のハードウェア構成を示す図である。図２に示すように、撮影画像蓄積サーバ１０と、ラベル保管サーバ２０と、学習画像作成サーバ３０と、学習サーバ４０と、河川氾濫検出装置５０とをそれぞれ構成するコンピュータ（サーバ）は、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部１０１と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の主記憶部１０２と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disc）ドライブ装置等の補助記憶部１０３と、これらを接続するバス１０４を備えており、通常のコンピュータを利用したハードウェア構成により実現可能である。ＣＰＵは、現在時刻を計る計時機能を有する。

【0015】

なお、撮影画像蓄積サーバ１０と、ラベル保管サーバ２０と、学習画像作成サーバ３０と、学習サーバ４０と、河川氾濫検出装置５０とは、補助記憶部１０３に記憶されるプログラムの違いにより、特有の機能をそれぞれ発揮する。

【0016】

また、制御部１０１には、情報を表示する表示部１０５と、ユーザの指示入力を受け付けるキーボードやマウス等の操作入力部１０６と、外部装置との通信を制御する通信Ｉ／Ｆ（interface）１０７とがバス１０４により各々接続される。

【0017】

次に、このようなハードウェア構成において、撮影画像蓄積サーバ１０と、ラベル保管サーバ２０と、学習画像作成サーバ３０と、学習サーバ４０と、河川氾濫検出装置５０とのそれぞれの制御部１０１が補助記憶部１０３に記憶されるプログラムを実行することにより各々実現される河川監視システム１００の各種機能について説明する。

【0018】

ここで、図３は河川監視システム１００の機能的構成を例示するブロック図である。図３に示すように、河川監視システム１００は、撮影画像蓄積部１１０と、ラベル保管部１２０と、学習画像作成部１３０と、学習部１４０と、河川氾濫検出部１５０とを備える。

【0019】

撮影画像蓄積部１１０は、撮影画像蓄積サーバ１０の制御部１０１が補助記憶部１０３に記憶されるプログラムを実行することにより実現される。ラベル保管部１２０は、ラベル保管サーバ２０の制御部１０１が補助記憶部１０３に記憶されるプログラムを実行することにより実現される。学習画像作成部１３０は、学習画像作成サーバ３０の制御部１０１が補助記憶部１０３に記憶されるプログラムを実行することにより実現される。学習部１４０は、学習サーバ４０の制御部１０１が補助記憶部１０３に記憶されるプログラムを実行することにより実現される。河川氾濫検出部１５０は、河川氾濫検出装置５０の制御部１０１が補助記憶部１０３に記憶されるプログラムを実行することにより実現される。

【0020】

撮影画像蓄積サーバ１０の撮影画像蓄積部１１０は、河川監視カメラ６０から取得した映像（撮影画像）を蓄積する。撮影画像は、ユーザによって任意に決定されて撮影画像蓄積サーバ１０の撮影画像蓄積部１１０に蓄積されるものであってもよいし、時刻や天候、月日等、一定条件を満す場合に自動的に撮影画像蓄積サーバ１０の撮影画像蓄積部１１０に蓄積されるものであってもよい。

【0021】

ラベル保管サーバ２０のラベル保管部１２０は、撮影画像蓄積サーバ１０の撮影画像蓄積部１１０に蓄積された撮影画像に対して撮像画像毎に水面領域を抽出した通常ラベルを生成し保管する。また、河川氾濫時の浸水箇所を予測し、水面領域を抽出した疑似氾濫ラベルを生成し保管する。なお、通常ラベルおよび疑似氾濫ラベルは、ラベル保管サーバ２０のラベル保管部１２０にて自動的または手動にて生成される。

【0022】

図４は、通常時の撮影画像および通常ラベルの一例を示す図である。図４（ａ）は河川監視カメラ６０から取得した撮影画像を示し、図４（ｂ）は図４（ａ）に示す撮像画像に対する通常ラベルを示すものである。図４（ｂ）に示すように、通常ラベルは、河川監視カメラ６０から取得した撮影画像の河川領域を水面領域として抽出したものである。

【0023】

また、図５は、後述する学習画像作成サーバ３０が作成する疑似氾濫画像および疑似氾濫ラベルの一例を示す図である。図５（ａ）は後述する学習画像作成サーバ３０が作成する疑似氾濫画像を示し、図５（ｂ）は、図５（ａ）に示す疑似氾濫画像に対する疑似氾濫ラベルを示すものである。図５（ｂ）に示すように、疑似氾濫ラベルは、河川氾濫時に浸水が予測される箇所を水面領域として抽出したものである。図４（ｂ）に示す通常ラベルおよび図５（ｂ）に示す疑似氾濫ラベルでは、水面領域を白色でそれ以外を黒色で塗りつぶして表現している。

【0024】

疑似氾濫ラベルは、実際には氾濫が発生していないが、大雨や台風の際に河川の水が溢れる可能性が高い箇所と、河川領域を水面領域としてアノテーションするラベルである。氾濫箇所の予測は過去のデータを用いる場合や地形データからシミュレートする事によって予測する。疑似氾濫ラベルを付与する方法としては、例えばＧＩＳ（Geographic Information System：地理情報システム）を利用し、撮影画像からおよその撮影箇所を推定する。そして、推定した撮影箇所に基づき、予め設定された地点の標高から所定の高さ以上低くなる箇所に対して、一様に疑似氾濫ラベルを付与する方法が挙げられる。なお、疑似氾濫ラベルは、地形データに加え浸水の原因（台風や大雨、ダムの放流等）やその規模等に応じて、複数生成してもよい。

【0025】

学習画像作成サーバ３０の学習画像作成部１３０は、撮影画像蓄積サーバ１０の撮影画像蓄積部１１０から撮影画像を受け取る。また、学習画像作成サーバ３０の学習画像作成部１３０は、ラベル保管サーバ２０のラベル保管部１２０から疑似氾濫ラベルを受け取る。そして、学習画像作成サーバ３０の学習画像作成部１３０は、撮影画像蓄積サーバ１０の撮影画像蓄積部１１０から受け取った撮影画像と、ラベル保管サーバ２０のラベル保管部１２０から受け取った当該撮影画像と対応する位置の疑似氾濫ラベルと、から、機械学習に用いるものであって河川氾濫時の画像に似せた疑似氾濫画像を作成する。

【0026】

より具体的には、学習画像作成サーバ３０の学習画像作成部１３０は、撮影画像蓄積サーバ１０の撮影画像蓄積部１１０に蓄積されている撮影画像における疑似氾濫ラベルの白色箇所に対して色変換（例えば、通常の河川の撮影画像に対して河川部分の浸水を模倣した色を付与する）を行うことによって、疑似氾濫画像とする。

【0027】

図５（ａ）は、疑似氾濫画像の一例を示す図である。図５（ａ）に示すように、疑似氾濫画像は、通常の河川の撮影画像に対して河川部分の浸水を模倣した色を付与したものである。

【0028】

学習画像作成サーバ３０の学習画像作成部１３０は、作成した疑似氾濫画像を「教師画像」とし、当該疑似氾濫画像を作成するために用いた疑似氾濫ラベルを「正解ラベル」として、これらを対応付けて教師データとする。

【0029】

その後、学習画像作成サーバ３０の学習画像作成部１３０は、学習サーバ４０の学習部１４０へ作成した教師データを送信し、水面検出モデルの追加学習を行わせる。この学習によって、河川氾濫検出装置５０の河川氾濫検出部１５０のロバスト性を向上させることができる。

【0030】

学習サーバ４０の学習部１４０は、学習画像作成サーバ３０の学習画像作成部１３０から受け取った教師データである疑似氾濫画像と疑似氾濫ラベルにより、水面検出モデルを再学習する。加えて、学習サーバ４０の学習画像作成部１３０は、再学習した水面検出モデルを、現在動作している河川氾濫検出装置５０の水面検出モデルと入れ替えることによって、後述する再学習フェーズを終了する。

【0031】

河川氾濫検出装置５０の河川氾濫検出部１５０は、河川の氾濫が起きた箇所を、河川監視カメラ６０から取得した映像（撮影画像）およびディープラーニングによって学習した水面検出モデルを利用して判定する。

【0032】

ディープラーニングは、人間の脳のニューロンを模した多層構造のニューラルネットワーク（ディープニューラルネットワーク）を用いた機械学習手法の一種であり、データの特徴を自動的に学習できる手法である。本実施形態では、教師データを用いる教師ありディープラーニングである。教師データとは、「教師画像」と、正解の分類としての「正解ラベル」と、のペアである。本実施形態では、撮影画像および疑似氾濫画像を「教師画像」とし、各画像の水面領域を示す通常ラベルおよび疑似氾濫ラベルを「正解ラベル」としている。

【0033】

河川氾濫検出装置５０の河川氾濫検出部１５０は、初期状態では、通常時の河川の流れを河川監視カメラ６０で撮影した映像（撮影画像）を「教師画像」として取得する。そして、その「教師画像」である撮影画像に基づきディープラーニングを利用して河川の流れの特徴量を学習した水面検出モデル（機械学習モデル）に基づき、河川監視カメラ６０で撮影された映像（撮影画像）から水面が存在する箇所を推論し、河川氾濫の有無を検出する。

【0034】

続いて、河川監視システム１００における河川監視処理について説明する。

【0035】

ここで、図６は河川監視システム１００における河川監視処理の流れを示すフローチャートである。図６に示すように、河川監視システム１００は、河川監視処理の実行時において、非同期で推論フェーズと再学習フェーズとを動作させる。河川監視システム１００は、再学習フェーズが終了した時に、現在動作している河川氾濫検出装置５０の河川氾濫検出部１５０の水面検出モデルと再学習後の水面検出モデルとを交換する。

【0036】

まず、再学習フェーズについて説明する。

【0037】

まず、撮影画像蓄積サーバ１０の撮影画像蓄積部１１０は、河川監視カメラ６０から取得した映像（撮影画像）を蓄積する（ステップＳ１）。

【0038】

次いで、ラベル保管サーバ２０のラベル保管部１２０は、撮影画像蓄積サーバ１０の撮影画像蓄積部１１０に蓄積された撮影画像に対して付与する河川画像に係る通常ラベルおよび疑似氾濫ラベルを生成し保管する（ステップＳ２）。

【0039】

続いて、学習画像作成サーバ３０の学習画像作成部１３０は、撮影画像蓄積サーバ１０の撮影画像蓄積部１１０から受け取った撮影画像と、ラベル保管サーバ２０のラベル保管部１２０から受け取った疑似氾濫ラベルとから、学習に用いる疑似氾濫画像を作成する（ステップＳ３）。より具体的には、学習画像作成サーバ３０の学習画像作成部１３０は、撮影画像蓄積サーバ１０の撮影画像蓄積部１１０に蓄積されている撮影画像について、疑似氾濫ラベルで示される水面領域（図６（ｂ）に示す白色箇所）に対応する領域の色変換（例えば、通常の河川の撮影画像に対して河川部分の浸水を模倣した色を付与する）を行うことによって、疑似氾濫画像を作成する。

【0040】

疑似氾濫ラベル上の色変換の具体的な手法としては、Ｌａｂ色空間を用いる。具体的には、座標（ｘ，ｙ）の画像の各ピクセルについて、疑似氾濫ラベルで示される水面領域に対応する部分のみを以下の変換式によって色変換する。

【0041】

【数1】

なお、上記の変換式のαとβとは、想定する河川の氾濫時の色を決定するパラメータである。

【0042】

学習画像作成サーバ３０の学習画像作成部１３０は、作成した疑似氾濫画像を「教師画像」とし、当該疑似氾濫画像を作成するために用いた疑似氾濫ラベルを「正解ラベル」として、これらを対応付けた教師データを学習サーバ４０の学習部１４０へ送信する。

【0043】

次いで、学習サーバ４０の学習部１４０は、学習画像作成サーバ３０の学習画像作成部１３０から教師データを受け取り、水面検出モデルを再学習する（ステップＳ４）。

【0044】

加えて、学習サーバ４０の学習部１４０は、再学習した水面検出モデルを、現在動作している河川氾濫検出装置５０の河川氾濫検出部１５０の水面検出モデルと入れ替えることによって、再学習フェーズを終了する（ステップＳ５）。

【0045】

なお、本実施の形態では、ラベル保管サーバ２０のラベル保管部１２０は、撮影画像蓄積サーバ１０の撮影画像蓄積部１１０に蓄積した撮影画像毎に通常ラベルおよび疑似氾濫ラベルを生成しているが、これに限定されるものではない。例えば、河川監視カメラ６０の撮影方向が固定されている場合、河川監視カメラ６０を設置したタイミングでラベル保管サーバ２０のラベル保管部１２０が、河川監視カメラ６０の撮影個所、および、撮影個所のうち河川の増水等により浸水する可能性が高い箇所を推定し、通常ラベルおよび疑似氾濫ラベルを生成し保管するようにしてもよい。これにより、撮影画像毎に通常ラベルおよび疑似氾濫ラベルを生成する必要がなくなる。

【0046】

また、撮影画像蓄積サーバ１０の撮影画像蓄積部１１０は、時刻や天候、月日等、一定条件を満す場合に自動的に河川監視カメラ６０から取得した映像（撮影画像）を蓄積するようにしてもよい。これにより、撮影条件の異なる撮影画像を取得することができ、条件の異なる多くの教師データを作成することができる。

【0047】

次に、推論フェーズについて説明する。

【0048】

河川氾濫検出装置５０の河川氾濫検出部１５０は、所定のタイミングで、水面検出モデルに基づき、河川監視カメラ６０で撮影された映像（撮影画像）から水面が存在する箇所を検出する（ステップＳ１１）。

【0049】

このように本実施形態によれば、河川氾濫時の画像に似せた疑似氾濫画像を学習させて作成した水面検出モデル（機械学習モデル）に基づいて、撮影画像から水面が存在する箇所を検出することにより、河川監視に用いる機械学習モデルの精度が向上するので、河川氾濫時に正確な氾濫箇所を判定することができる。

【0050】

なお、本実施の形態の撮影画像蓄積サーバ１０、ラベル保管サーバ２０、学習画像作成サーバ３０、学習サーバ４０および河川氾濫検出装置５０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0051】

また、本実施の形態の撮影画像蓄積サーバ１０、ラベル保管サーバ２０、学習画像作成サーバ３０、学習サーバ４０および河川氾濫検出装置５０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態の撮影画像蓄積サーバ１０、ラベル保管サーバ２０、学習画像作成サーバ３０、学習サーバ４０および河川氾濫検出装置５０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

【0052】

さらに、本実施の形態の河川監視システム１００は、撮影画像蓄積サーバ１０と、ラベル保管サーバ２０と、学習画像作成サーバ３０と、学習サーバ４０と、河川氾濫検出装置５０とを備えることとしたが、これに限るものではなく、撮影画像蓄積部１１０と、ラベル保管部１２０と、学習画像作成部１３０と、学習部１４０と、河川氾濫検出部１５０との全ての機能を一つの装置で実現するものであってもよいし、いくつかの機能を組み合わせて一つの装置で実現するものであってもよい。

【符号の説明】

【0053】

１００ 河川監視システム
１１０ 撮影画像蓄積部
１２０ ラベル保管部
１３０ 学習画像作成部
１４０ 学習部
１５０ 河川氾濫検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】