【文献】
常世田俊一,他一名,近傍領域の輝度差を考慮したグラフカット領域分割,映像情報メディア学会年次大会講演予稿集(2009),一般社団法人映像情報メディア学会,2009年 8月26日,pp.17-1-1,17-1-2
(58)【調査した分野】(Int.Cl.,DB名)
前記グラフカット処理部が特定した前記水面の領域と他の領域との境界付近のエッジを抽出し、抽出されたエッジから所定の特徴を満たすエッジを前記水位を算出するための境界とするエッジ抽出部を備えることを特徴とする請求項2に記載の水位計測システム。
前記水面と前記構造物とが写った前記画像を撮影するカメラの画角を、画面上に表示される十字バーを操作し設定する設定部を備えることを特徴とする請求項1に記載の水位計測システム。
前記グラフカット処理工程が特定した前記水面の領域と他の領域との境界付近のエッジを抽出し、抽出されたエッジから所定の特徴を満たすエッジを前記水位を算出するための境界とするエッジ抽出工程を備えることを特徴とする請求項6に記載の水位計測方法。
【発明の開示】
【発明が解決しようとする課題】
【0005】
ところで、上述した2つの水位計測手法には、それぞれの課題がある。まず、水位計を使用する手法は、既に河川監視に導入されているが、大きく2つの課題がある。1つ目は、設置台数が少ないため河川の上流から下流にかけての細かい水位変動を観測することができない点である。そして、監視カメラと水位計の位置が離れていると、カメラに映る水位と水位計の計測値に誤差が発生する。この課題に関しては、水位計を増設することで解決することが可能だが、増設費用と保守費用が膨大となることが予測され、現実的ではない。2つ目は、監視員が水位計の計測値のみを確認する場合、現在の計測値のとき河川がどのような状況になっているのかをイメージしにくい点である。これにより、正確な判断ができず避難指示が遅れてしまうことが懸念される。
【0006】
1つ目の課題は、既設の監視カメラを利用することで解決することができる。それは、国土交通省が管理する主要な河川には、短い間隔で監視カメラが設置されている場合が多いためである。このカメラ映像から水位計測が実現できれば、河川の詳細な水位変動を観測でき、機器の増設費用も最小限に抑えることができる。2つ目の課題は、カメラ映像上に現在の水位を描画することで解決できる。映像中に水位線が描画されることで視覚的に危険な状況を判断しやすくなり、迅速な避難指示が可能となる。これらのメリットから既設の監視カメラを利用した画像処理による水位計測の需要が高まっている。
【0007】
しかし、画像処理による水位計測では、初期設定と計測精度に課題がある。まず、初期設定の課題は、画像処理を精度よく実施するには専門家による画角の設定が必要な点である。これは、導入時の作業工数が増える点と導入後に気軽に画角変更ができないというデメリットがある。そして、計測精度の課題は、計測対象エリアの環境により精度が低下する場合がある点である。精度が低下するのは、正確に水面を検出できない場合と水流以外の動きが悪影響を及ぼす場合である。画像処理による水位計測は水面と水面上部の橋脚等との境界線を見つけることで実現するため、正確に水面を検出できないと精度低下に繋がる。
図2に、水面Wへの構造物OBの映り込みRがある画像B1の例を示す。水面Wに橋脚等の構造物OBが写り込んでしまうと、水面Wをその構造物OBと判断してしまう場合がある。これらことから、画像処理を用いて水位計測する新しい技術が求められていた。
【0008】
本発明は、このような従来の事情に鑑みなされたもので、上記課題を解決することを目的とする。
【課題を解決するための手段】
【0009】
本発明の水位計測システムは、水面と構造物とが写った画像を取得し、動き情報を算出するフロー処理部と、前記動き情報をもとに、グラフカット理論に基づき前記水面の領域を特定するグラフカット処理部と、前記水面の領域と他の領域との境界をもとに水位を算出する水位算出部と、を備える。
また、前記フロー処理部は、前記動き情報から水流フローを抽出し、前記グラフカット処理部は、抽出された前記水流フロー
をオブジェクト領域、フローのない領域を背景領域として自動でラベルづけすることにより前記水面の領域を抽出してもよい。
また、前記グラフカット処理部が特定した前記水面の領域と他の領域との境界付近のエッジを抽出し、抽出されたエッジから所定の特徴を満たすエッジを前記水位を算出するための境界とするエッジ抽出部を備えてもよい。
また、前記水面と前記構造物とが写った前記画像を撮影するカメラの画角を、画面上に表示される十字バーを操作し設定する設定部を備えてもよい。
本発明は、画像処理技術を用いて河川の水位を計測する水位計測方法であって、水面と構造物とが写った画像を取得し、動き情報(動きベクトル)を算出するフロー処理工程と、前記動き情報をもとに、グラフカット理論に基づき前記水面の領域を特定するグラフカット処理工程と、前記水面の領域と他の領域との境界をもとに水位を算出する水位算出工程と、を備える。
また、前記フロー処理工程は、前記動き情報から水流フローを抽出し、前記グラフカット処理工程は、抽出された前記水流フロー
をオブジェクト領域、フローのない領域を背景領域として自動でラベルづけすることにより前記水面の領域を抽出してもよい。
また、前記グラフカット処理工程が特定した前記水面の領域と他の領域との境界付近のエッジを抽出し、抽出されたエッジから所定の特徴を満たすエッジを前記水位を算出するための境界とするエッジ抽出工程を備えてもよい。
【発明の効果】
【0010】
以上、本発明によると、動き情報(動きベクトル)に基づくグラフカット理論による画像処理技術により、精度よく水面を検出し、高精度な水位計測を実現することができる。
【図面の簡単な説明】
【0011】
【
図1】背景技術に係る、画像処理による水位計測の概要を示す図である。
【
図2】背景技術に係る、水面への物体の映り込みの例を示した図である。
【
図3】実施の形態に係る、水流以外の動き情報がある例を示した図である。
【
図4】実施の形態に係る、河川監視カメラを利用した画像処理による水位計測システム10の概要図である。
【
図5】実施の形態に係る、画像処理装置の構成を示すブロック図である。
【
図6】実施の形態に係る、水位計測システムの処理を示すフローチャートである。
【
図7】実施の形態に係る、水位計測を行うための画像処理アルゴリズムのフローチャートである。
【
図8】実施の形態に係る、画角設定の流れとインタフェースの例を示した図である。
【
図9】実施の形態に係る、オプティカルフローの算出と水流以外のフローを削除する処理の流れを示した図である。
【
図10】実施の形態に係る、ベクトルの方向と色の関係を示す色付けマップである。
【
図11】実施の形態に係る、動き情報に基づくグラフカットの算出手順を示す図である。
【
図12】実施の形態に係る、映り込みがある場合の動き情報に基づくグラフカットの算出手順を示す図である。
【
図13】実施の形態に係る、エッジ抽出から水位計測結果を出力するまでの処理の流れを示した図である。
【
図14】実施の形態に係る、水位計測結果を表示するインタフェースを示した図である。
【発明を実施するための形態】
【0012】
次に、本発明を実施するための形態(以下、単に「実施形態」という)を、図面を参照して具体的に説明する。以下に説明する実施形態では、動き情報(動きベクトル)に基づくグラフカットという画像処理技術により、精度よく水面を検出し、水流以外の動き情報を検出し削除することで、高精度な水位計測を実現する。さらに、初期設定の際は、設定画面の十字バーを水面上部の橋脚等の中心となるように画角を設定するだけで適切な画角となるようなインタフェースを実現する。
【0013】
動き情報に基づくグラフカットを用いる技術では、水流の動きを適切に判断する必要がある。
図3は、水流以外の動き情報がある例を示した図である。動き情報を矢印で示している。
図3(a)は、動き情報として水流(水面Wの動き)のみが示されている例を示している。
図3(b)は、更に草の領域Gや樹木Tに動き情報がある例を示している。
図3(c)は、更に橋脚等の構造物OBに動き情報がある例を示している。この場合、一般には、カメラ自体の揺れ起因している。水面Wを見つけるために動き情報を利用する場合は、水流(水面Wの動き)以外の草木の動き(草の領域Gや樹木T)やカメラ自体の揺れによる動きによって精度が低下する場合がある。そこで、それらの余分な動き情報を適切に判別し取り除く必要がある。以下、河川監視技術について具体的に説明する。
【0014】
図4は、河川監視カメラ30を利用した画像処理による水位計測システム10の概要図である。水位計測システム10は、河川に設置された河川監視カメラ30と、ネットワーク90を介してそれらと接続される監視センター20とを備える。監視センター20とネットワーク90の間には画像処理装置40が配置される。河川監視カメラ30として、ここでは、河川上流に設置される上流カメラ31と、河川下流に設置される下流カメラ32とが例示されている。上流カメラ31と下流カメラ32とを区別しない場合は、単に河川監視カメラ30として説明する。
【0015】
河川に設置された河川監視カメラ30からの映像はネットワーク90により監視センター20に送られる。途中に配置されている画像処理装置40は、画像処理により水位計測を実施し、監視センター20のモニタ21に水位計測結果を表示する。モニタ21には、水位計測結果だけでなく、河川全体のマップに対してのカメラ位置と水位計測結果とが重畳され表示される。
【0016】
監視センター20では、このモニタ映像が監視され、責任者が危険と判断すると避難指示が発令される。その後、危険エリアに対しての避難放送及び避難指示車両などが出動し、近隣住民の避難を実施する。
【0017】
図5は、画像処理装置40の構成を示すブロック図である。画像処理装置40は、監視センター20や河川監視カメラ30と接続するための通信インタフェース部42と、設定部50と、画像処理部60とを備える。なお、画像処理装置40の各構成要素は、例えば、MPU等のLSIやメモリで構成され、メモリに記憶されたプログラムが実行されることで、その機能が実現される。
【0018】
画像処理部60は、エリア設定処理部61と、フロー処理部62と、グラフカット処理部63と、エッジ抽出処理部64と、水位算出処理部65とを備える。設定部50や画像処理部60の各要素の具体的な機能は、処理フローと共に説明する。
【0019】
なお、本実施形態では、画像処理機能を有する画像処理装置40を設けることで、既設の河川監視カメラ30を活用する水位計測システム10を記載した。しかし、例えば、河川監視カメラ30に画像処理装置40の機能を搭載する場合は、当然に、画像処理装置40は不要となる。また、河川監視カメラ30の種類は、可視光カメラ及び遠赤外線カメラが使用できる。
【0020】
図6は、水位計測システム10の処理を示すフローチャートである。まず、河川監視カメラ30について、管理者等の操作等によって、設定部50が初期設定として画角設定を行う(S10)。その後、画像処理部60が画像処理モードを実行する(S11)。なお、画像処理モードや画角設定処理の詳細は
図7〜
図14で後述する。
【0021】
画像処理部60が水位計測を常時実施し、その結果を受け、危険判定部70は、あらかじめ設定された危険水位をオーバーしたとき(S12のY)、アラームを発報する(S15)。その後、責任者による危険判断が行われ(S16)、責任者の避難指示が発令された場合(S16のN)、近隣住民の避難指示が行われる(S17)。ただし、アラームが発報しなくても、危険水位判定(S12のY)と監視映像から責任者が危険と判断した場合は(S13のY)、避難指示が発令される(S14)。責任者が危険判断で避難指示が不要と判断すれば(S13のN、S16のN)、画像処理モードが継続する(S11)。
【0022】
図7は、画像処理部60の動作、すなわち、水位計測を行う画像処理アルゴリズム(
図6の画像処理モード(S11))のフローチャートを示す。
図6の画角設定の処理(S10)の後、この画像処理モード(S11)の処理が行われる。
【0023】
まず、エリア設定処理部61が、設定した画角の中心から任意の一定範囲を処理エリアとして設定する(S21)。このとき、エリア設定処理部61は、処理エリアは橋脚などの背景オブジェクトの範囲内となるように設定する。次に、フロー処理部62が、処理エリアから動き情報(フロー)を算出し(S22)、さらに、フローの方向も算出する(S23)。
【0024】
そして、フロー処理部62は、このフローの密度を計算し、密度が高くかつフロー方向が近い領域を水流のフローと判定し、それ以外の方向のフローを削除する(S24)。こうすることで、草木のフローやカメラ自体の揺れによるフローを削除することができる。
【0025】
次に、グラフカット処理部63は、このように絞り込んだ水流フローを用いて、グラフカット用のオブジェクトseedを作成する(S25)。ここで、seedとはラベルと同義として扱う。詳細は、後述する。
【0026】
グラフカットは、初期設定として、オブジェクト内の一定画素と背景の一定画素をユーザが選択し、そのラベル情報に基づき、オブジェクトの切り出しを行う。そこで、グラフカット処理部63は、水流フローがある領域をオブジェクトseed、フローが少なく水流フローと一定距離離れている領域を背景seedとする(S26)。この処理で、グラフカットを自動化することができる。そして、グラフカット処理部63は、自動グラフカットにより水面を検出する(S27)。
【0027】
つづいて、エッジ抽出処理部64は、グラフカット処理部63が検出した水面の上端付近からエッジ抽出を行う(S28)。水位算出処理部65は、抽出されたエッジのうち、一定の長さがあり、数フレーム安定して抽出できるエッジを水位線として決定し、水位計測結果を出力する(S29)。出力したら、画像処理モードを終了し、危険判定部70による危険水位判定処理(
図6のS12以降の処理)に進む。
【0028】
図8は、画角設定の流れとインタフェースの例を示す図である。設定画面A11〜A13では、映像の中心に十字バーCBを表示する。この十字バーCBの中心(画角の中心)に、橋脚等のエッジ抽出に適した背景オブジェクトOBがくるように河川監視カメラ30を操作することで適切な画角が設定できる。
【0029】
図中の例では、
図8(a)の設定画面A11に示すような初期画角のとき、まず、管理者等であるユーザは、
図8(b)の設定画面A12で示すように河川監視カメラ30を上方向に動かし、次に
図8(c)の設定画面A13で示すように左方向に動かし、十字バーCBの中心に橋脚(背景オブジェクトOB)がくるように設定している。このとき、水面Wの最低水位のときと、最高水位のときに水面Wが映るサイズでズームを調整する。画角設定が完了すると設定画面が終了し画面上の十字バーCBは表示されなくなる。そして、
図8(d)に示す様に、設定部50は、破線で示す範囲内を処理エリアPAとして自動設定する。この処理エリアPAは、画角の中心から左右にαピクセルの範囲で定義されており、αピクセルの値は任意に設定することができる。設定部50は、橋脚などの背景オブジェクトOB内に収まるように、処理エリアPAを設定する。
【0030】
つぎに、動き情報の算出及びフロー方向の算出について説明する。
動き情報(フロー)は、特徴点検出の後、オプティカルフローを算出することで算出する。特徴点検出にはSIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)等、オプティカルフローの算出にはブロックマッチング、濃度勾配法、Horn−Schunk法、Lucas−Kanade法等を用いることができる。本発明では、特徴点検出とオプティカルフローの算出が組み合わさったKLT(Kanade-Lucas-Tomasi) Tracker法を利用する。
【0031】
オプティカルフローは、特徴点の動きベクトルを表しているため、そのベクトルから角度を求めることができる。ベクトルから求めた角度を任意の分解能で方向を定義し、フローの方向とする。
【0032】
図9は、算出したオプティカルフローに方向毎に色付けし、水流以外のフローを削除する処理の流れを示す図である。また、
図10は、ベクトルの方向と色の関係を示す色付けマップである。本実施形態では、360度を8範囲に分類して、分類された範囲についてCOLOR1〜COLOR8までの8種類で色付けする。例えば、−22.5度〜+22.5度の方向の場合は、COLOR1に定義されている色(例えば赤色)でベクトルが表示される。
【0033】
オプティカルフローは、
図9(a)の通り現在フレームF1と過去フレームF0を利用する。それら2フレーム間の特徴点の動きを追跡することで、
図9(b)のようにフローを算出し、
図10の色付けマップに従いフローに色を付ける。ここでは、COLOR1(c1)、COLOR2(c2)、COLOR3(c3)、COLOR4(c4)、COLOR5(c5)の5種類の方向が示されている。
【0034】
このフローの中から密度が高く方向が近いものを水流の方向とし、それ以外のフローを削除する。
図9(c)の例ではCOLOR1(c1)以外のフローが削除されている。
【0035】
つづいて、動き情報に基づくグラフカットについて説明する。当該処理は、グラフカット処理部63が実行する。グラフカットとは、一枚の画像から対象の物体を切り出すセグメンテーション手法の一つである。グラフカットは、エネルギー最小化問題を解くことにより高精度に対象物体を切り出すことができるが、初期設定としてユーザがオブジェクト領域と背景領域にラベル(seed)を付ける必要がある。そこで、水流フローをオブジェクト領域、フローのない領域を背景領域として自動でラベルづけすることにより、グラフカットを自動化できることを提案する。なお、「ラベル付けをする」ことを、「seedを与える」こととも言う。
【0036】
図11は、動き情報に基づくグラフカットの算出手順を示す図である。まず、
図11(a)で示す算出した水流のフローの画像に対し、
図11(b)に示すように、フロー分布の中心に直線を引きオブジェクトseed98とする。そして、フローがなく、水流フローから一定距離離れている箇所に対しても同様の直線を引き背景seed99とする。そして、これらseedに基づきグラフカットを実施することにより、
図11(c)のように水面Wのみを抽出することができる。なお、水位は上下するため、seedは一定間隔で更新する必要がある。
【0037】
図12は動き情報に基づくグラフカットの算出手順を示す図であって、水面Wに映り込みROがある場合の例を示している。
図12(a)で示す算出した水流のフローの画像に対し、
図12(b)に示すように、フロー分布の中心に直線を引きオブジェクトseed98とする。ここで、オブジェクトseed98の直線は、映り込みROを横切ることになる。
図11と同様に、フローがなく、水流フローから一定距離離れている箇所に対しても同様の直線を引き背景seed99とする。そして、これらseedに基づきグラフカットを実施することにより、
図12(c)のように水面Wのみを抽出することができる。もし、水面Wに映り込みROがありフローが算出できない領域があった場合でも、映り込みROの部分がオブジェクトseed98として割り当てられれば水面Wのみを抽出することが可能である。
【0038】
つぎに、エッジ抽出処理部64によるエッジ抽出及び絞り込み処理について説明する。
図13は、エッジ抽出から水位計測結果出力までの流れを示す図である。
図11や
図12の処理によって水面Wを検出した後、つまり、
図13(a)に示すように、水面エリアWEが特定された後、エッジ抽出処理部64は、水面Wの上端付近からエッジ抽出を行う。Canny、Sobel、Laplacian等を用いることで、エッジ抽出処理部64は、
図13(b)に示す様に、エッジEGを抽出する。
【0039】
その後、
図13(c)に示す様に、エッジ抽出処理部64は、水面との距離やエッジの長さ、数フレーム安定して抽出できることなどの特徴を考慮してエッジEG1を選定し、
図13(d)に示す様に、そのエッジ位置を水位RWSとして計測結果を出力する。ここでは、エッジEG1のうちエリア設定処理部61が設定した処理エリアに含まれる部分を水位RWSとして表示している。
【0040】
図14は水位計測結果の表示インタフェースを示す図であって、
図4のモニタ21に表示されるものである。カメラ映像A31には、処理エリアTAと現在の水位WLcが表示される。さらに、別装置から水位の予測情報を取得できれば、未来の水位WLfも表示し、より危険判断に役立つ画面となる。
【0041】
水位マップA32には、計測した水位を色マップCMに従い描画し、一目で河川全体の水位状況が把握できるよう水位マップMcを表示する。例えば、水位は高い場合は赤、低い場合は青で表示され、図の例では下流の水位が高く、上流の水位が低くなっている。
【0042】
そして、カメラ設置位置にはカメラアイコンCIが表示され、クリック等の操作でカメラ映像A31が切り替わる。計測結果から危険水位と判断された際はカメラアイコンCIの色を変えて表示し、避難が必要な危険エリアDAをマップ上に表示する。この危険エリアをクリックすることで、避難指示が必要な自治体等の情報を表示し、他の警報システムと連動することで、ワンクリックで避難指示を行うことができる。
【0043】
以上、本実施形態によれば、正確な水位計測を行うことができ、既設の河川カメラに導入することで河川の詳細な水位変動を観測することができる。さらに、監視カメラ映像に水位を重畳することで、実際の水位と河川の状況をリンクして観測することができ、避難指示の判断に役立つシステムを構築することができる。また、ユーザにより初期設定ができるインタフェースを実現していることから、導入コストを最小限に抑え、導入後の画角変更も容易に実施することができる。
【0044】
以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。