(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
実施の形態1.
図1は、この発明の実施の形態1に係る水位計測装置100の構成を示すブロック図である。水位計測装置100は、監視カメラ1によって撮影された画像を用いて河川の水位を計測する装置であって、画素選択部11、識別用画像抽出部12、識別部13、水際線抽出部14、水位算定部15、学習用画像抽出部16および学習部17を備える。
【0010】
監視カメラ1は、水位計測の対象である河川などの周辺に配置されて、水位計測の対象を撮影する。監視カメラ1の撮影対象の範囲(以下、撮影範囲と記載する)には、河川の水、川岸などの河川以外のもの、および河川の水と川岸との境界である水際線が含まれている。監視カメラ1によって撮影された画像を撮影画像と記載する。撮影画像を示す画像データは、監視カメラ1から水位計測装置100に出力される。
【0011】
画素選択部11は、監視カメラ1によって撮影された撮影画像から指定した画像領域(以下、指定領域と記載する)から着目画素を選択する。
例えば、画素選択部11は、撮影画像から32×128ピクセルの指定領域を特定し、上記指定領域における画素の中から、着目画素を選択する。画素選択部11によって選択された着目画素を示すデータは、識別用画像抽出部12に出力される。
【0012】
識別用画像抽出部12は、画素選択部11によって選択された着目画素に接する複数の画像領域を識別用画像としてそれぞれ抽出する。例えば、識別用画像抽出部12は、撮影画像の2次元画像面において、着目画素に上に接する64×64ピクセルの画像を識別用画像として抽出し、着目画素に下に接する64×64ピクセルの画像を識別用画像として抽出する。識別用画像抽出部12によって抽出された識別用画像を示すデータは、識別部13に出力される。
【0013】
識別部13は、学習部17による水領域と非水領域との識別に係る機械学習の結果に基づいて識別強度を算出する。水領域は、画像において河川の水が写された領域であり、非水領域は、画像において河川以外のものが写された領域である。
識別強度は、複数の識別用画像のそれぞれに対応する領域が水領域である度合いを示す値である。例えば、識別用画像に対応する領域が水領域である場合、識別強度は、1.0となり、識別用画像に対応する領域が非水領域である場合、識別強度は、0.0となる。また、識別用画像において水領域と非水領域とが写っている場合、識別用強度は、0.5となる。
【0014】
水際線抽出部14は、識別部13によって算出された識別強度に基づいて、撮影画像における水際線を抽出する。例えば、撮影画像に写された対岸の水際の1点が着目画素であった場合、当該着目画素に対して上に接する識別用画像は、陸地(非水領域)が写された画像であるので、識別強度は、0.0付近の値となる。当該着目画素に対して下に接する識別用画像は、水領域が写された画像であるので、識別強度は、1.0付近の値となる。水際線抽出部14は、上記着目画素に接する複数の識別用画像のそれぞれの識別強度を減算し、識別強度が最大値(ピーク値)になる着目画像を水際線に対応する画素として抽出する。水際線抽出部14は、これらの画素をトレースして、撮影画像に写された水際線を抽出する。
【0015】
水位算定部15は、水際線抽出部14によって抽出された水際線の位置に基づいて、監視カメラ1の撮影範囲における水位を算定する。例えば、上記指定領域の2次元画像面における上下方向の画素列の画素の位置ごとに河川の水位値を対応付けた対応データを水位算定部15に設定しておく。水位算定部15は、水際線に対応する画素位置に基づいて、上記対応データを参照して河川の水位値を算定する。
【0016】
学習用画像抽出部16は、監視カメラ1によって撮影された撮影画像から学習用画像を抽出する。例えば、学習用画像抽出部16は、撮影画像において河川の水が写った画像領域を学習用画像として抽出し、さらに撮影画像における河川以外のものが写った画像領域を学習用画像として抽出する。
【0017】
学習部17は、学習用画像抽出部16によって抽出された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する。例えば、学習部17は、ディープニューラルネットワーク(以下、D/Lと記載する)を用いた機械学習を実行する。学習部17による機械学習の結果は、識別部13に出力される。
【0018】
これまで、画素選択部11、識別用画像抽出部12、識別部13、水際線抽出部14、水位算定部15、学習用画像抽出部16および学習部17を備える水位計測装置100を示したが、この構成に限定されるものではない。
例えば、学習用画像抽出部16および学習部17は、水位計測装置100とは別に設けられた外部装置が備える構成であってもよい。この場合、識別部13は、上記外部装置で学習された機械学習の結果を用いて識別処理を行うことになる。
すなわち、実施の形態1に係る水位計測装置100は、画素選択部11、識別用画像抽出部12、識別部13、水際線抽出部14、水位算定部15を備えていればよく、学習用画像抽出部16および学習部17がない構成であってもよい。
【0019】
図2Aは、水位計測装置100の機能を実現するハードウェア構成を示すブロック図である。
図2Bは、水位計測装置100の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。水位計測装置100における、画素選択部11、識別用画像抽出部12、識別部13、水際線抽出部14、水位算定部15、学習用画像抽出部16および学習部17のそれぞれの機能は、処理回路によって実現される。
すなわち、水位計測装置100は、着目画素の選択、識別用画像の抽出、識別処理および水際線抽出のそれぞれの処理を実行するための処理回路を備える。
処理回路は、専用のハードウェアであっても、メモリ202に記憶されたプログラムを実行するCPU(Central Processing Unit)であってもよい。
【0020】
処理回路が
図2Aに示す専用のハードウェアである場合、処理回路200は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)またはこれらを組み合わせたものが該当する。
画素選択部11、識別用画像抽出部12、識別部13、水際線抽出部14、水位算定部15、学習用画像抽出部16および学習部17のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて1つの処理回路で実現してもよい。
【0021】
処理回路が
図2Bに示すプロセッサ201である場合、画素選択部11、識別用画像抽出部12、識別部13、水際線抽出部14、水位算定部15、学習用画像抽出部16および学習部17のそれぞれの機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ202に記憶される。
【0022】
プロセッサ201は、メモリ202に記憶されたプログラムを読み出して実行することで、画素選択部11、識別用画像抽出部12、識別部13、水際線抽出部14、水位算定部15、学習用画像抽出部16および学習部17のそれぞれの機能を実現する。
すなわち、水位計測装置100は、プロセッサ201により実行されるとき、着目画素の選択、識別用画像の抽出、識別処理および水際線抽出のそれぞれが結果的に実行されるプログラムを記憶するためのメモリ202を備える。
これらのプログラムは、画素選択部11、識別用画像抽出部12、識別部13、水際線抽出部14、水位算定部15、学習用画像抽出部16および学習部17の手順または方法を、コンピュータに実行させるものである。
【0023】
メモリ202には、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically−EPROM)などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVDなどが該当する。
【0024】
画素選択部11、識別用画像抽出部12、識別部13、水際線抽出部14、水位算定部15、学習用画像抽出部16および学習部17のそれぞれの機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、画素選択部11、識別用画像抽出部12、識別部13、水際線抽出部14および水位算定部15については、専用のハードウェアとしての処理回路200でその機能を実現し、学習用画像抽出部16および学習部17については、プロセッサ201がメモリ202に記憶されたプログラムを読み出して実行することによってその機能を実現してもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって上記機能のそれぞれを実現することができる。
【0025】
図3は、識別部13における水領域と非水領域との識別に係るD/Lの構造を示す図である。D/Lは、コンピュータに複数の学習用画像を、正解とともに入力して学習させることにより、新たに入力された画像データに写っているものが、特定の対象であるか否かを識別して結果を出力するように動作させる仕組みの一つである。
【0026】
より具体的には、D/Lは、複数のパーセプトロンが階層的に配置された計算モデルである。パーセプトロンとは、入力信号の重み付き和をとり、活性化関数と呼ばれる非線形関数を適用して出力とするものである。
例えば、パーセプトロンは、画像に対応する二次元信号を入力すると、入力信号の重み付き和を計算して次の層のパーセプトロンに出力する。
【0027】
図3に示すD/Lでは、複数のパーセプトロンが階層的に配置されており、入力層に入力された入力信号を中間層における複数の層のそれぞれで処理していくことで、識別結果が計算される。出力層は、識別するタスクの出力に対応しており、回帰タスクであれば、活性化関数の出力をそのまま予測値とし、分類タスクであれば、出力層についてソフトマックス関数を適用して出力とする。
【0028】
学習部17によるD/Lの学習は、誤差逆伝播により行われ、例えば確率的勾配降下法が用いられる。誤差逆伝播は、D/Lの出力誤差を出力層から順に前の層に向かって伝播させ、重みを更新させていく処理のことである。
なお、学習部17は、学習用画像の入力に対して水領域と非水領域との識別に係る機械学習を実行可能なモデルを用いたものであればよい。当該モデルとしては、例えば、畳み込みニューラルネットワーク、サポートベクトルマシン(SVM)などが挙げられる。
【0029】
次に動作について説明する。
図4は、実施の形態1に係る水際線抽出方法を示すフローチャートである。なお、
図4に示す一連の処理が実行される前段階で、学習部17による水領域と非水領域との識別に係る機械学習が実行されているものとする。
【0030】
まず、画素選択部11が、監視カメラ1によって撮影された撮影画像から、指定領域(例えば、32×128ピクセルの画像領域)を特定して、指定領域から着目画素を選択する(ステップST1)。
【0031】
次に、識別用画像抽出部12が、画素選択部11によって選択された着目画素に接する複数の画像領域を識別用画像として抽出する(ステップST2)。
撮影画像の2次元画像面において着目画素に対して上に接する画像(例えば、64×64ピクセルの画像領域)が識別用画像として抽出され、着目画素に対して下に接する画像(例えば、64×64ピクセルの画像領域)が識別用画像として抽出される。
【0032】
識別部13が、水領域と非水領域との識別に係る機械学習の結果に基づいて、ステップST2において抽出された識別用画像のそれぞれについて識別強度を算出する(ステップST3)。例えば、識別用画像に対応する領域が水領域であれば、識別強度は、1.0となり、識別用画像に対応する領域が非水領域である場合、識別強度は、0.0となる。識別用画像で水領域と非水領域とが均等に写っていれば、識別用強度は、0.5となる。
【0033】
水際線抽出部14が、識別部13によって算出された上記識別強度に基づいて、撮影画像における水際線を抽出する(ステップST4)。
【0034】
次に、
図4の一連の処理の詳細について説明する。
図5は、実施の形態1に係る水際線抽出方法の詳細を示すフローチャートである。
図5におけるステップST1aおよびステップST2aの処理は、
図4のステップST1の処理に対応している。
図5におけるステップST3aおよびステップST5aの処理は、
図4のステップST2の処理に対応している。
図5におけるステップST4a、ステップST6aおよびステップST7aの処理は、
図4のステップST3の処理に対応している。
図5におけるステップST8aの処理は、
図4のステップST4の処理に対応している。
【0035】
画素選択部11は、監視カメラ1によって撮影された撮影画像から、水際線を抽出する画像領域を指定する(ステップST1a)。
図6は、監視カメラ1によって撮影された撮影画像300の一例を示す図である。
ステップST1aにおいて、画素選択部11は、撮影画像300における、監視カメラ1から対岸となる陸地および河川の水が写っている画像領域aのうち、水際線の抽出対象となる画像領域を、指定領域301とする。
【0036】
指定領域301は、例えば、32×128ピクセルの細長い画像領域である。このように、指定領域301を、2次元画像面において上下に長い画像領域とすることで、水際が写った画像領域が指定されやすくなる。
【0037】
画素選択部11は、指定領域301から着目画素を選択する(ステップST2a)。
図7Aは、撮影画像300から指定した指定領域301を示す図である。
図7Aに示すように、画素選択部11は、指定領域301から着目画素302を選択する。
例えば、着目画素は、指定領域301の全ての画素から順に選択される。
【0038】
次に、識別用画像抽出部12は、撮影画像300の2次元画像面において上記着目画素に対して上に接する画像領域を識別用画像として抽出する(ステップST3a)。
図7Bは、着目画素302に対して上に接する識別用画像303を示す図である。
例えば、識別用画像抽出部12は、識別用画像303として64×64ピクセルの画像領域を抽出して、識別用画像303を示す画像データを識別部13に出力する。
【0039】
識別部13は、識別用画像抽出部12によって抽出された識別用画像303に対して、水領域か非水領域かの識別処理を行い、識別結果をマップAに記録する(ステップST4a)。
図7Cは、
図7Bの識別用画像303に対する水領域か非水領域かの識別処理の概要を示す図である。識別結果は、識別部13によるD/Lの識別処理の結果であって、識別用画像303に写った領域が水領域である度合いを示す識別強度である。
【0040】
識別用画像303には、監視カメラ1から対岸となる陸地が写っているので、識別強度は0.0付近の値となる。マップAには、指定領域301から選択された全ての着目画素302のそれぞれに対応する識別用画像303(着目画素に対して上に接する画像領域)の識別強度が設定される。
【0041】
次に、識別用画像抽出部12は、撮影画像300の2次元画像面において上記着目画素に対して下に接する画像領域を識別用画像として抽出する(ステップST5a)。
図8Aは、着目画素302に対して下に接する識別用画像304を示す図である。
例えば、識別用画像抽出部12は、識別用画像303と同様に、64×64ピクセルの画像領域を抽出して、識別用画像304を示す画像データを識別部13に出力する。
【0042】
識別部13は、識別用画像抽出部12によって抽出された識別用画像304に対して、水領域か非水領域かの識別処理を行って、識別結果をマップBに記録する(ステップST6a)。
図8Bは、
図8Aの識別用画像304に対する水領域か非水領域かの識別処理の概要を示す図である。識別結果は、識別部13によるD/Lの識別処理の結果であり、識別用画像304に写った領域が水領域である度合いを示す識別強度である。
【0043】
識別用画像304には、河川の水が写っているので、識別強度は、1.0付近の値となる。マップBには、指定領域301から選択された全ての着目画素302のそれぞれに対応する識別用画像304(着目画素に対して下に接する画像領域)の識別強度が設定される。
【0044】
図9は、実施の形態1における識別用画像の識別強度を示す図である。
図9に示すように、識別強度は、値域0.0〜1.0の実数である。識別用画像305aおよび識別用画像305bには、河川の水が写っており、これらの識別強度は1.0に近い値となる。
監視カメラ1から対岸となる陸地(非水領域)が写っている識別用画像305cおよび識別用画像305dの識別強度は、0.0に近い値となる。
【0045】
識別用画像305eには、上記対岸と河川の水とが写っており、識別用画像305fには、橋脚と河川の水とが写っている。識別用画像305e,305fには、非水領域と水領域とが均等に混在して写っているので、これらの識別強度は、0.5に近い値となる。
【0046】
次に、識別部13は、指定領域301における全ての画素に着目したか否かを確認する(ステップST7a)。指定領域301における全ての画素に着目した、すなわち全ての画素が着目画素として選択された場合(ステップST7a;YES)、ステップST8aの処理に移行する。
【0047】
指定領域301に未着目の画素がある、すなわち着目画素として選択されていない画素がある場合(ステップST7a;NO)、ステップST2aの処理に戻る。これにより、ステップST2aにおいて、指定領域301のうち、未着目の画素が着目画素として選択されて、ステップST3aからステップST7aまでの一連の処理が繰り返される。
【0048】
図10Aは、水際付近が写った撮影画像300、指定領域301aおよび着目画素302aを示す図であって、水際に対応する画素が着目画素302aとして選択された場合を示している。また、
図10Bは、
図10Aの指定領域301aにおいて着目画素302aに対して上に接する識別用画像303aおよび下に接する識別用画像304aを示す図である。
【0049】
着目画素302aは、指定領域301aに写った水際に対応する画素であるので、識別用画像303aに対応する領域は、非水領域である。これにより、識別用画像303aの識別強度は、0.0に近い値となる。マップAには、着目画素302aに対応する識別用画像303aの識別強度(0.0)が記録される。
【0050】
一方、識別用画像304aに対応する領域は水領域であるので、識別強度は、1.0に近い値となる。マップBには、着目画素302aに対応する識別用画像304aの識別強度(1.0)が記録される。ここまでが、ステップST1aからステップST6aまでの一連の処理となる。
【0051】
図11Aは、水際付近が写った撮影画像300、指定領域301bおよび着目画素302bを示す図であり、撮影画像300の2次元画像面において
図10Aに示した着目画素302aよりも上側にある画素が着目画素302bとして選択された場合を示している。
図11Bは、
図11Aの指定領域301bにおいて着目画素302bに対して上に接する識別用画像303bおよび下に接する識別用画像304bを示す図である。
【0052】
着目画素302bは、指定領域301bに写った陸地(対岸)に対応する画素であるので、識別用画像303bに対応する領域は、非水領域である。これにより、識別用画像303bの識別強度は、0.0に近い値となる。マップAには、着目画素302bに対応する識別用画像303bの識別強度(0.0)が記録される。
一方、識別用画像304bに対応する領域には、水領域と非水領域とが混在しているので、識別強度は、0.5に近い値となる。マップBには、着目画素302bに対応する識別用画像304bの識別強度(0.5)が記録される。
【0053】
なお、撮影画像300の2次元画像面において
図10Aに示した着目画素302aよりも下側にある画素が着目画素として選択されると、この着目画素に対して上に接する識別用画像に対応する領域には水領域と非水領域とが混在している。このため、識別強度は、0.5に近い値となる。この場合、マップAには、上記着目画素に対応する識別用画像の識別強度(0.5)が記録される。上記着目画素に対して下に接する識別用画像に対応する領域は水領域であので、識別強度は、1.0に近い値となる。この場合、マップBには、上記着目画素に対応する識別用画像の識別強度(1.0)が記録される。
【0054】
ステップST8aにおいて、水際線抽出部14は、マップBにて着目画素の位置ごとに記録された識別強度から、マップAにて着目画素の位置ごとに記録された識別強度を減算して、マップCを得る。マップCには、着目画素の位置ごとに識別強度の減算値が記録されている。水際線抽出部14は、マップCの画素列ごとに識別強度の減算値が最大となる画素を検索し、検索結果の画素列ごとの画素をトレースすることにより、撮影画像300に写った水際線を抽出する。
【0055】
なお、
図5は、撮影画像300から選択された指定領域301に対する処理であるが、水位計測装置100は、撮影画像300から指定領域を順に選択して、
図5に示した処理を指定領域ごとに実行してもよい。
【0056】
また、指定領域として、32×128ピクセルの画像領域を指定する場合を示したが、このサイズに限定されるものではない。例えば、指定領域は、64×64ピクセルの画像領域であってもよい。
さらに、識別用画像として64×64ピクセルの画像領域を抽出する場合を示したが、このサイズに限定されるものではない。例えば、識別処理の演算負荷を上げない範囲であれば、このサイズよりも大きくてもよく、小さくてもよい。
さらに、画像領域として矩形の領域を指定および抽出する場合を示したが、矩形以外の領域であってもよい。例えば、円形の領域であってもよい。
【0057】
以上のように、実施の形態1に係る水位計測装置100において、学習用画像抽出部16は、監視カメラ1によって撮影された撮影画像300から、水領域に対応する画像と非水領域に対応する画像とを抽出する。学習部17は、学習用画像抽出部16によって抽出された画像を用いて、水領域と非水領域との識別に係る機械学習を実行する。
画素選択部11は、撮影画像300から指定された指定領域301から着目画素302を選択し、識別用画像抽出部12は、着目画素302に接する識別用画像303,304をそれぞれ抽出する。識別部13は、水領域と非水領域との識別に係る機械学習の結果に基づいて、識別用画像303,304のそれぞれに対応する領域が水領域である度合いを示す識別強度を算出する。水際線抽出部14は、学習部17による水領域と非水領域との識別に係る機械学習の結果に基づいて、識別用画像303,304のそれぞれに対応する領域の識別強度から、撮影画像における水際線を抽出する。
このように上記機械学習の結果から精度よく水際線を抽出することができるので、水際線の位置に基づいて安定した水位計測が可能である。
【0058】
実施の形態2.
図12は、この発明の実施の形態2に係る水位計測装置100Aの構成を示すブロック図である。
図12において、
図1と同一構成要素には同一符号を付して説明を省略する。水位計測装置100Aは、監視カメラ1によって撮影された画像を用いて河川の水位を計測する装置であり、識別用画像抽出部12A、識別部13A、水際線抽出部14A、水位算定部15、学習用画像抽出部16Aおよび学習部17Aを備える。
【0059】
識別用画像抽出部12Aは、監視カメラ1によって撮影された撮影画像における指定領域から複数の識別用画像を抽出する。例えば、識別用画像抽出部12Aは、撮影画像の指定領域から、64×64ピクセルの画像を識別用画像として抽出する。識別用画像抽出部12Aによって抽出された識別用画像を示すデータは、識別部13Aに出力される。
【0060】
識別部13Aは、学習部17Aによる水領域と水際と非水領域との識別に係る機械学習の結果に基づいて、複数の識別用画像のそれぞれに対応する領域が水際である度合いを示す識別強度を算出する。
識別強度は、実施の形態1と同様に、複数の識別用画像のそれぞれに対応する領域が水領域である度合いを示す値である。例えば、識別用画像に対応する領域が水領域である場合、識別強度は、1.0となり、識別用画像に対応する領域が非水領域である場合には、識別強度は、0となる。また、識別用画像において水領域と非水領域とが写っている場合、識別用強度は、0.5となる。
【0061】
水際線抽出部14Aは、識別部13Aによって算出された識別強度に基づいて、撮影画像における水際線の位置を算出する。例えば、水際線抽出部14Aは、複数の識別用画像のそれぞれの識別強度を用いて、水際線の位置を算出する。
【0062】
学習用画像抽出部16Aは、監視カメラ1によって撮影された撮影画像から学習用画像を抽出する。
図13は学習用画像306〜308を示す図である。
図13に示すように、学習用画像抽出部16Aは、撮影画像において河川の水が写った学習用画像306、撮影画像において河川の水際付近が写った学習用画像307、および撮影画像における河川以外の非水領域が写った学習用画像308のそれぞれを抽出する。
【0063】
学習部17Aは、学習用画像抽出部16Aによって抽出された学習用画像306〜308を用いて、水領域と水際と非水領域との識別に係る機械学習を実行する。
例えば、学習部17Aは、上記学習用画像を教師データとしたD/Lを用いた機械学習を行うことにより、識別部13Aに入力された画像データが水領域、水際、非水領域の3カテゴリごとの識別強度として出力される機械学習の結果を得る。学習部17Aによる機械学習の結果は、識別部13Aに出力される。
【0064】
識別用画像抽出部12A、識別部13A、水際線抽出部14A、水位算定部15、学習用画像抽出部16Aおよび学習部17Aのそれぞれの機能は、
図2Aと同様に、専用のハードウェアである処理回路200で実現してもよい。また、
図2Bと同様に、プロセッサ201がメモリ202に記憶されたプログラムを読み出して実行することによりその機能を実現してもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって上記機能のそれぞれを実現することができる。
【0065】
これまで、識別用画像抽出部12A、識別部13A、水際線抽出部14A、水位算定部15、学習用画像抽出部16Aおよび学習部17Aを備える水位計測装置100Aを示したが、この構成に限定されるものではない。例えば、学習用画像抽出部16Aおよび学習部17Aは、水位計測装置100Aとは別に設けられた外部装置が備える構成であってもよい。この場合、識別部13Aは、上記外部装置で学習された機械学習の結果を用いて識別処理を行うことになる。すなわち、実施の形態2に係る水位計測装置100Aは、識別用画像抽出部12A、識別部13A、水際線抽出部14A、水位算定部15を備えていればよく、学習用画像抽出部16Aおよび学習部17Aがない構成であってもよい。
【0066】
次に動作について説明する。
図14は、実施の形態2に係る水際線抽出方法を示すフローチャートである。
なお、
図14に示す一連の処理が実行される前段階で、学習部17Aによる水領域と水際と非水領域との識別に係る機械学習が実行されているものとする。
まず、識別用画像抽出部12Aは、監視カメラ1によって撮影された撮影画像から、水際線を抽出する画像領域を指定する(ステップST1b)。
図15Aは、撮影画像300および指定領域400を示す図である。ステップST1bにおいて、識別用画像抽出部12Aは、撮影画像300のうち、水際線の抽出対象の画像領域である指定領域400を指定する。例えば、64×128ピクセルの画像領域を指定する。
【0067】
次に、識別用画像抽出部12Aは、指定領域400から識別用の3つの画像を抽出する(ステップST2b)。
図15Bは、
図15Aの識別用画像に対する水領域か非水領域かの識別処理の概要を示す図である。
図15Bに示すように、識別用画像抽出部12Aは、指定領域400から、64×64ピクセルの3つの識別用画像401,402,403をそれぞれ抽出する。識別用画像抽出部12Aによって抽出された識別用画像401,402,403のそれぞれを示す画像データは、識別部13Aに出力される。
【0068】
識別部13Aは、識別用画像抽出部12Aによって抽出された識別用画像401,402,403のそれぞれに対して、水領域か水際か非水領域かの識別処理を行う(ステップST3b)。これにより、識別部13Aは、識別用画像401についての“水際”の識別強度s1、識別用画像402についての“水際”の識別強度s2、識別用画像403についての“水際”の識別強度s3を、識別結果として求める。
“水際”の識別強度とは、識別部13AによるD/Lの識別処理の結果であって、識別用画像に対応する領域が水際を含む領域である度合いを示す実数値である。
【0069】
水際線抽出部14Aは、識別部13Aによって算出された上記の識別強度s1〜s3に基づいて、撮影画像300における水際線の位置pを算出する。
例えば、水際線抽出部14Aは、指定領域400を上辺から32ピクセル刻みとして、指定領域400の上辺から順に識別用画像401、識別用画像402、識別用画像403を当てはめて、下記式(1)から水際線の位置pを抽出する。
p=(32×s1+64×s2+96×s3)/(s1+s2+s3) (1)
【0070】
水位算定部15は、水際線抽出部14Aにより算出された水際線の位置pに基づいて、監視カメラ1の撮影範囲における水位を算定する。例えば、実施の形態1と同様に、上記指定領域の2次元画像面における上下方向の画素列の画素の位置ごとに河川の水位値を対応付けた対応データを水位算定部15に設定しておく。水位算定部15は、水際線に対応する画素位置に基づいて、上記対応データを参照して河川の水位値を算定する。
【0071】
なお、指定領域400を32ピクセル刻みとして水際線の位置pを算出する場合を示したが、これは、あくまでも例であり、刻み間隔は32ピクセル以外であってもよい。
【0072】
以上のように、実施の形態2に係る水位計測装置100Aにおいて、学習用画像抽出部16Aは、監視カメラ1によって撮影された撮影画像300から、水領域に対応する画像と、水際に対応する画像と、非水領域に対応する画像とを抽出する。学習部17Aは、学習用画像抽出部16Aによって抽出された画像を用いて、水領域と水際と非水領域との識別に係る機械学習を実行する。
識別用画像抽出部12Aは、撮影画像300の指定領域400から識別用画像401〜403を抽出する。識別部13Aは、学習部17Aによる、水領域と水際と非水領域との識別に係る機械学習の結果に基づいて、識別用画像401〜403のそれぞれに対応する領域が水際である度合いを示す識別強度を算出する。水際線抽出部14Aは、識別部13Aによって算出された識別強度に基づいて、水際線の位置pを算出する。水位算定部15は、水際線抽出部14Aによって算出された水際線の位置pに基づいて、監視カメラ1の撮影範囲における水位を算定する。
このように構成しても、上記機械学習の結果から精度よく水際線を抽出することができるので、水際線の位置に基づいて安定した水位計測が可能である。
【0073】
実施の形態3.
図16は、この発明の実施の形態3に係る水位計測装置100Bの構成を示すブロック図である。
図16において、
図1と同一構成要素には同一符号を付して説明を省略する。水位計測装置100Bは、監視カメラ1によって撮影された画像を用いて河川の水位を計測する装置であり、識別用画像抽出部12B、識別部13B、水位算定部15、学習用画像抽出部16Bおよび学習部17Bを備える。
【0074】
識別用画像抽出部12Bは、監視カメラ1によって撮影された撮影画像から識別用画像を抽出する。例えば、識別用画像抽出部12Bは、撮影画像から64×128ピクセルの画像を指定して識別用画像として抽出する。識別用画像抽出部12Bによって抽出された識別用画像を示すデータは、識別部13Bに出力される。
【0075】
識別部13Bは、学習部17Bによる水際の識別に係る機械学習の結果に基づいて、識別用画像における水際線の位置pを識別する。例えば、識別部13Bは、入力された識別用画像のうち、水際の識別強度が最も高い画像位置を水際線の位置pとする。
【0076】
学習用画像抽出部16Bは、監視カメラ1によって撮影された撮影画像から学習用画像を抽出する。例えば、学習用画像抽出部16Bは、撮影画像から、64×128ピクセルの画像領域を学習用画像として抽出し、教師データとして学習部17Bに出力する。
さらに、学習用画像抽出部16Bは、学習用画像における水際の位置を、画像上辺から16ピクセル刻みとして、7つのカテゴリ(16、32、48、64、80、96、112)で与えたものを、教師データとして学習部17Bに出力する。
例えば、ある学習用画像では、画像上辺から64ピクセルの位置の付近に水際が写っており、別の学習用画像では、画像上辺から112ピクセルの位置の付近に水際が写っているといった具合である。
【0077】
学習部17Bは、学習用画像抽出部16Bによって得られた上記教師データを用いて、水際の識別に係る機械学習を実行する。例えば、学習部17Bは、上記学習用画像を教師データとしたD/Lを用いた機械学習を行うことで、識別部13Bに入力された画像データにおける上記7つのカテゴリごとの識別強度が出力される機械学習の結果を得る。学習部17Bによる機械学習の結果は、識別部13Bに出力される。
【0078】
識別用画像抽出部12B、識別部13B、水位算定部15、学習用画像抽出部16B、および学習部17Bのそれぞれの機能は、
図2Aと同様に、専用のハードウェアである処理回路200で実現してもよい。また、
図2Bと同様に、プロセッサ201がメモリ202に記憶されたプログラムを読み出して実行することによりその機能を実現してもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって上記機能のそれぞれを実現することができる。
【0079】
これまで、識別用画像抽出部12B、識別部13B、水位算定部15、学習用画像抽出部16Bおよび学習部17Bを備える水位計測装置100Bを示したが、この構成に限定されるものではない。例えば、学習用画像抽出部16Bおよび学習部17Bは、水位計測装置100Bとは別に設けられた外部装置が備える構成であってもよい。この場合、識別部13Bは、上記外部装置で学習された機械学習の結果を用いて識別処理を行うことになる。すなわち、実施の形態3に係る水位計測装置100Bは、識別用画像抽出部12B、識別部13B、水位算定部15を備えていればよく、学習用画像抽出部16Bおよび学習部17Bがない構成であってもよい。
【0080】
次に動作について説明する。
図17は、実施の形態3に係る水際線抽出方法を示すフローチャートである。
なお、
図17に示す一連の処理が実行される前段階で、学習部17Bによる水際の識別に係る機械学習が実行されているものとする。
識別用画像抽出部12Bは、監視カメラ1によって撮影された撮影画像から、水際線を抽出する画像領域を指定して、識別用画像として識別部13Bに出力する(ステップST1c)。
図18Aは、撮影画像300および識別用画像400aを示す図である。例えば、
図18Aに示すように、識別用画像抽出部12Bは、水際線の抽出対象である、64×128ピクセルの画像領域を撮影画像300から指定し、識別用画像400aとして識別部13Bに出力する。
【0081】
識別部13Bは、D/Lを用いた水際の識別に係る機械学習の結果に基づいて、識別用画像400aの識別処理を行う(ステップST2c)。
例えば、識別部13Bは、入力された識別用画像400aにおける上記7つのカテゴリの水際の識別強度のうち、最も高いカテゴリに対応する画像位置を水際線の位置pとして識別する。
【0082】
水位算定部15は、識別部13Bにより算出された水際線の位置pに基づいて、監視カメラ1の撮影範囲における水位を算定する。例えば、実施の形態1と同様に、上記指定領域の2次元画像面における上下方向の画素列の画素の位置ごとに河川の水位値を対応付けた対応データを水位算定部15に設定しておく。水位算定部15は、水際線に対応する画素位置に基づいて、上記対応データを参照して河川の水位値を算定する。
【0083】
なお、識別用画像400aを、16ピクセル刻みのカテゴリごとに識別する場合を示したが、これは、あくまでも例であり、刻み間隔は16ピクセル以外であってもよい。
【0084】
図19は、水際線の位置を教師データのラベルとした学習用画像309a〜309eを示す図である。学習用画像抽出部16Bは、監視カメラ1によって撮影された撮影画像から学習用画像309a〜309eを抽出する。このとき、学習用画像抽出部16Bは、学習用画像309a〜309eのそれぞれの水際線の位置を、教師データのラベルとしてもよい。
【0085】
学習部17Bは、水際線の位置を教師データのラベルとしてD/Lを用いた水際の識別に係る機械学習を行う。例えば、学習用画像309aにおける橋脚と河川の水との水際線にラベル“2”が設定されている場合、学習部17Bは、橋脚と河川の水との水際線が写った画像についてラベル“2”が出力される機械学習の結果を得る。
【0086】
識別部13Bは、識別用画像400aを入力すると、識別用画像400aにおける水際線の位置のラベルを出力する。
例えば、識別用画像400aに橋脚と河川の水との水際線が写っている場合、識別部13Bは、前述したようにラベル“2”を出力し、さらに、識別用画像400aにおける橋脚と河川の水との水際線の位置pを算出する。このようにしても識別用画像から水際線の位置を正確に識別することができる。
【0087】
以上のように、実施の形態3に係る水位計測装置100Bにおいて、学習用画像抽出部16Bは、監視カメラ1によって撮影された撮影画像300から水領域に対応する画像と水際に対応する画像と非水領域に対応する画像とを抽出する。学習部17Bは、学習用画像抽出部16Bによって抽出された画像を用いて水際の識別に係る機械学習を実行する。識別用画像抽出部12Bは、撮影画像300から識別用画像400aを抽出する。識別部13Bは、学習部17Bによる水際の識別に係る機械学習の結果に基づいて、識別用画像400aにおける水際線の位置pを識別する。水位算定部15は、識別部13Bによって識別された水際線の位置pに基づいて監視カメラ1の撮影範囲における水位を算定する。このように構成しても精度よく水際線を抽出することができるので、水際線の位置に基づいて安定した水位計測が可能である。
【0088】
実施の形態3に係る水位計測装置100Bにおいて、学習部17Bは、学習用画像抽出部16Bによって抽出された学習用画像における水際線の位置を、教師データのラベルとして水際の識別に係る機械学習を実行する。これにより、識別用画像から水際線の位置を正確に識別することができる。
【0089】
実施の形態4.
図20は、この発明の実施の形態4に係る水位計測装置100Cの構成を示すブロック図である。
図20において、
図1と同一構成要素には同一符号を付して説明を省略する。水位計測装置100Cは、レーザ付きカメラ2によって撮影された画像および3次元計測データを用いて、河川の水位を計測する装置である。また、水位計測装置100Cは、画素選択部11、識別用画像抽出部12、識別部13、水際線抽出部14C、水位算定部15C、学習用画像抽出部16Cおよび学習部17Cを備える。
【0090】
レーザ付きカメラ2は、水位計測の対象である河川などの周辺に配置されて、水位計測の対象を撮影する。また、レーザ付きカメラ2は、測距レーザを有しており、撮影範囲の3次元のレーザスキャンによって撮影範囲における画素ごとの3次元情報を計測することができる。例えば、レーザ計測点における世界座標(緯度、経度、標高)が得られる。
レーザ付きカメラ2は、撮影画像を示す画像データおよび3次元計測データを水位計測装置100Cに出力する。
【0091】
水際線抽出部14Cは、識別部13によって算出された識別強度に基づいて、撮影画像における水際線を抽出する。さらに、水際線抽出部14Cは、水際線の位置に対応する、3次元計測データを検索して、水際線に3次元情報(例えば、緯度、経度、標高)を対応付ける。
【0092】
水位算定部15Cは、水際線抽出部14Cによって抽出された水際線の位置およびこれに対応する3次元情報に基づいて、監視カメラ1の撮影範囲における水位を算定する。
例えば、水位算定部15Cは、水際線の位置に対応する3次元情報から標高を特定し、標高と河川の水位との対応データから、特定した標高に対応する水位を求めてもよい。
【0093】
学習用画像抽出部16Cは、監視カメラ1によって撮影された撮影画像から学習用画像を抽出して学習部17Cに出力する。さらに、学習用画像抽出部16Cは、学習用画像に対応する領域の3次元計測データをレーザ付きカメラ2から入力して学習部17Cに出力する。
【0094】
学習部17Cは、学習用画像抽出部16Cによって抽出された学習用画像を用いて、水領域と非水領域との識別に係る機械学習を実行する。例えば、学習部17Cは、学習用画像を教師データとして、識別部13に入力された画像データに対応する3次元計測データが出力される機械学習を行ってもよい。学習部17Cによる機械学習の結果は、識別部13に出力される。
【0095】
なお、実施の形態4では、レーザ付きカメラ2を実施の形態1で示した構成に適用した場合を示したが、実施の形態2および実施の形態3のそれぞれに示した構成に適用してもよい。
【0096】
以上のように、実施の形態4に係る水位計測装置100Cにおいて、水位算定部15Bは、レーザ付きカメラ2による3次元計測データに基づいて、レーザ付きカメラ2の撮影範囲における水位を算定する。このように構成することでも、精度よく水際線を抽出することができるので、水際線の位置に基づいて安定した水位計測が可能である。
【0097】
なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。