特許 7120582 オプティカルフロー映像処理を利用する河川流速測定装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-08

(45)【発行日】2022-08-17

(54)【発明の名称】オプティカルフロー映像処理を利用する河川流速測定装置および方法

(51)【国際特許分類】

   G01P 5/22 20060101AFI20220809BHJP

【ＦＩ】

G01P5/22 K

【請求項の数】 18

(21)【出願番号】P 2020565899

(86)(22)【出願日】2018-11-29

(65)【公表番号】

(43)【公表日】2021-11-18

(86)【国際出願番号】 KR2018014983

(87)【国際公開番号】W WO2020101103

(87)【国際公開日】2020-05-22

【審査請求日】2020-11-18

(31)【優先権主張番号】10-2018-0139088

(32)【優先日】2018-11-13

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】520453548

【氏名又は名称】ハイドロセム

(73)【特許権者】

【識別番号】519391907

【氏名又は名称】リパブリック オブ コリア（ナショナル ディザスター マネジメント リサーチ インスティチュート）

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】キム，ソ ジュン

(72)【発明者】

【氏名】ユン，ビョン マン

(72)【発明者】

【氏名】ユ，ホ ジュン

(72)【発明者】

【氏名】キム，ドン ス

(72)【発明者】

【氏名】ジョン，テ ソン

(72)【発明者】

【氏名】ジュ，ジェ スン

(72)【発明者】

【氏名】チェ，ヒョン ソク

【審査官】岡田 卓弥

(56)【参考文献】

【文献】特開２０１６－１６９９６８（ＪＰ，Ａ）

【文献】特開２００６－２５８５７５（ＪＰ，Ａ）

【文献】特開２００４－２１９１７９（ＪＰ，Ａ）

【文献】中国特許出願公開第１０４２９７５１６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｐ ５／００－ ５／２６

Ｇ０１Ｐ１３／００－１３／０４

Ｇ０１Ｆ １／００－ ９／０２

(57)【特許請求の範囲】

【請求項1】

河川流速測定現場の連続映像を獲得する映像撮影部；
映像撮影部の映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定をする映像変換分析部；
分析地点の分析領域を抽出する分析領域抽出部；
分析領域抽出部で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定部；
ピクセル流速算定部で算定されたピクセル流速を実際流速に換算する実際流速算定部；を含み、
前記映像変換分析部は、
前記ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のために、入力点の平均Ｘ座標とＹ座標を算定して該当座標を原点に移動させ、入力点と平均Ｘ座標とＹ座標間の距離を変換して映像データを正規化（Ｎｏｒｍａｌｉｚｅ）することを特徴とする、オプティカルフロー映像処理を利用する河川流速測定装置。

【請求項2】

ピクセル流速算定部はオプティカルフローを適用した表面流速場算定のために、
指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列宣言をして映像を配列に保存し、
映像間分析を格子点の個数だけ繰り返して表面流速場算定をすることを特徴とする、請求項１に記載のオプティカルフロー映像処理を利用する河川流速測定装置。

【請求項3】

ピクセル流速算定部は地点流速算定のために、
映像と格子点変数宣言をし、格子点の位置から映像抽出をしてピクセル流速算定をし、
格子点位置とピクセル流速、フィルタ係数変数を定めて、地点流速算定時に算定された誤差がフィルタ係数より大きいとフィルタリングをして地点流速算定をすることを特徴とする、請求項１に記載のオプティカルフロー映像処理を利用する河川流速測定装置。

【請求項4】

映像撮影部で撮影される映像歪み補正のために、
水位が変わってもカメラが見る参照点の映像座標が変わらないように４個の参照点を堤防高さに設置し、
カメラの実際の座標（Ｘｃ、Ｙｃ、Ｈ）、カメラと水面までの高さ（Ｈ）および堤防上の参照点（Ａ）の実際の座標（Ｘ_０、Ｙ_０、Ｚ_０）を利用して水の表面と同じ高さの点Ａ’の実際の座標（Ｘ’_０、Ｙ’_０、Ｚ’_０）を求めることを特徴とする、請求項１に記載のオプティカルフロー映像処理を利用する河川流速測定装置。

【請求項5】

河川流速測定現場の連続映像を獲得する映像撮影段階；
映像撮影段階で獲得された映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定をする映像変換分析段階；
分析地点の分析領域を抽出する分析領域抽出段階；
分析領域抽出段階で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定段階；
ピクセル流速算定段階で算定されたピクセル流速を実際流速に換算する実際流速算定段階；を含み、
前記映像変換分析段階は、
前記ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のために、入力点の平均Ｘ座標とＹ座標を算定して該当座標を原点に移動させ、入力点と平均Ｘ座標とＹ座標間の距離を変換して映像データを正規化（Ｎｏｒｍａｌｉｚｅ）することを特徴とする、オプティカルフロー映像処理を利用する河川流速測定方法。

【請求項6】

ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のためのホモジーニアス（Ｈｏｍｏｇｅｎｅｏｕｓ）形態は、

【数1】

で定義され、
ここで、ｘ、ｙは映像変換前の座標であり、ｘ’、ｙ’は映像変換後の座標、ｈ_１１、ｈ_１２、ｈ_１３、ｈ_２１、ｈ_２２、ｈ_２３、ｈ_３１、ｈ_３２は映像変換に必要な媒介変数であることを特徴とする、請求項５に記載のオプティカルフロー映像処理を利用する河川流速測定方法。

【請求項7】

ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のための形態は、

【数2】

で定義されることを特徴とする、請求項６に記載のオプティカルフロー映像処理を利用する河川流速測定方法。

【請求項8】

ピクセル流速算定段階でオプティカルフローを適用した表面流速場算定のために、
Ｍ個の個数を有する分析する点で構成された格子変数を定義する段階と、
あらかじめ指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列を宣言する段階と、
カメラを通じて映像を配列に保存する段階と、
映像間分析を格子点の個数だけ繰り返して分析結果を配列に保存する段階を含むことを特徴とする、請求項５に記載のオプティカルフロー映像処理を利用する河川流速測定方法。

【請求項9】

ピクセル流速算定段階で地点流速算定のために、
映像と格子点変数宣言をし、格子点の位置から映像抽出をする段階と、
オプティカルフローピクセル流速算定アルゴリズムを適用して、格子点位置とピクセル流速、フィルタ係数変数宣言をして格子点位置とピクセル流速を実際流速に変換する段階と、
算定された流速誤差がフィルタ係数より大きいとフィルタリングをし、そうでなければ流速算定結果を出力する段階を含むことを特徴とする、請求項５に記載のオプティカルフロー映像処理を利用する河川流速測定方法。

【請求項10】

ピクセル流速算定段階に、
映像変数宣言をし、Ｘ方向、Ｙ方向、時間微分変数宣言をする段階と、
Ｘ方向映像微分、Ｙ方向映像微分、時間方向映像微分をしてピクセル流速を算定する段階を含むことを特徴とする、請求項５に記載のオプティカルフロー映像処理を利用する河川流速測定方法。

【請求項11】

ピクセル流速算定段階で、
ピクセル流速算定のための式が

【数3】

で定義され、
ここで、Ｉは映像のピクセル値、ｘはＸ方向座標、ｙはＹ方向座標、ｔは時間、δｘはＸ方向座標の変化量、δｙはＹ方向座標の変化量、δｔは時間の変化量であることを特徴とする、請求項５に記載のオプティカルフロー映像処理を利用する河川流速測定方法。

【請求項12】

ピクセル流速算定のための式が、

【数4】

の右項をテイラー展開した

【数5】

で整理され、
右項の微分式の合計が０にならなければならないことを利用してピクセル流速算定のための式は

【数6】

で定義され、
ここで、Ｉ_ｘは映像のＸ方向微分行列、Ｉ_ｙは映像のＹ方向微分行列、Ｖ_ｘはＸ方向ピクセル速度、Ｖ_ｙはＹ方向ピクセル速度、Ｉ_ｔは映像の時間微分行列であることを特徴とする、請求項１１に記載のオプティカルフロー映像処理を利用する河川流速測定方法。

【請求項13】

ピクセル流速算定のための式は、

【数7】

で定義され、
ここで、

【数8】

ｑ_ｎはｎ番目のピクセル、ｎは映像のピクセル個数であることを特徴とする、請求項１２に記載のオプティカルフロー映像処理を利用する河川流速測定方法。

【請求項14】

実際流速算定段階で実際流速は、

【数9】

であり、
ここで、Ｖ_γは実際流速であり、Ｖ_ｐはピクセル流速、ＬＰＰはピクセル当たりの距離、Ｋはスケールファクターであることを特徴とする、請求項５に記載のオプティカルフロー映像処理を利用する河川流速測定方法。

【請求項15】

ピクセル当たりの距離は、

【数10】

であり、
ここで、ＬＰＰはピクセル当たりの距離、Ｎは映像変換の参照点の個数、Ｌ_γは映像変換の隣り合う両参照点がなす物理距離、Ｌ_ｐは映像変換の隣り合う両参照点がなすピクセル距離であることを特徴とする、請求項１４に記載のオプティカルフロー映像処理を利用する河川流速測定方法。

【請求項16】

スケールファクターは、

【数11】

であり、
ここで、Ｋはスケールファクター、Ｄ_１はセンサと映像変換の参照点間の初期平均標高差、Ｄ_２はセンサと映像変換の参照点間の平均標高差であることを特徴とする、請求項１４に記載のオプティカルフロー映像処理を利用する河川流速測定方法。

【請求項17】

映像撮影段階で撮影される映像歪み補正のために、
水位が変わってもカメラが見る参照点の映像座標が変わらないように４個の参照点を堤防高さに設置してカメラの実際の座標（Ｘｃ、Ｙｃ、Ｈ）、カメラと水面までの高さ（Ｈ）および堤防上の参照点（Ａ）の実際の座標（Ｘ_０、Ｙ_０、Ｚ_０）を利用して水の表面と同じ高さの点Ａ’の実際の座標（Ｘ’_０、Ｙ’_０、Ｚ’_０）を求めることを特徴とする、請求項５に記載のオプティカルフロー映像処理を利用する河川流速測定方法。

【請求項18】

水の表面と同じ高さの点Ａ’の実際の座標（Ｘ’_０、Ｙ’_０、Ｚ’_０）を、

【数12】

で求め、

【数13】

ここで、

【数14】

であることを特徴とする、請求項１７に記載のオプティカルフロー映像処理を利用する河川流速測定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は河川流速測定に関し、具体的には現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法に関する。

【背景技術】

【0002】

一般的に河川に流れる流水の流速を測定するために、平水時にはプロペラ流速計、カップ型流速計、または電磁流速計などの検知器を利用する方法が、洪水時には浮子観測法が多く利用されている。

【0003】

平水時の流速測定に利用される流速計は専ら一点での流速のみを測定できるだけであって、渦流の形成や流向 の分析などが困難な問題を有している。

【0004】

したがって、万一、河川の全幅にかけての流速を測定しようとする場合、多くの時間、努力、および費用がかかることになる。

【0005】

一方、河川に洪水が発生する場合、流速が速く水深が深いため、接近するのに多くの危険が伴われる。このため、プロペラ流速計や電磁流速計などの検知器を水中に入れなければならない従来の流速計は洪水の時には使い難い短所がある。

【0006】

反面、洪水時に多く利用される浮子観測法は人員の問題、機敏性の欠如（尖頭流量の欠測可能性が高い点）、連続観測が不可能な点、浮子が流れの流速を正確について行くかという追随性の問題、浮子の長さ選択の問題などによって、高正確度の観測を期待できないのが現実である。

【0007】

特に、小河川は国家および地方河川と異なって、流域面積が小さく、傾斜が急であるため尖頭到達時間が非常に短く、流れなどが複雑であるため浮子を利用した計測方法は信頼度が落ちる。併せて、小河川では浮子を利用するほどの一定の長さの直線区間と計測のための安全場所を探すことが困難であるため、小河川で活用可能な非接触式計測技術が要求される。

【0008】

現在韓国には２２，８２３個の小河川が全国各地に分布しているにも関わらず、これを管理できる公務員の数は絶対的に足りないのが実情である。

【0009】

このような理由から、現在まで政府が直接管理する国家河川でのみ計測が行われたが、生活の質の向上による地域共同体の小河川の洪水の被害低減の要求が増加しており、少ない人員によっても計測が可能な自動化計測技術が要求される。

【0010】

したがって、このような計測を自動化したり容易にする方法が多様に摸索されてきた。その中で表面映像流速測定法は従来方法の多様な問題点を解消できる可能性が高い方法である。

【0011】

表面映像流速測定法とは、河川の表面を撮影した航空写真やビデオ映像などで河川の表面映像を抽出して流速を算定することである。

【0012】

表面映像流速測定法は大きく映像パーティクル一致法（ｔｅｍｐｌａｔｅ ｐａｔｔｅｒｎ ｍａｔｃｈｉｎｇ）を利用する方法と時空間映像（ＳＴＩ、ｓｐａｔｉｏ－ｔｅｍｐｏｒａｌ ｉｍａｇｅ）を利用する方法に分けることができる。

【0013】

映像パーティクル一致法は粒子映像流速計測法（ＰＩＶ、Ｐａｒｔｉｃｌｅ Ｉｍａｇｅ Ｖｅｌｏｃｉｍｅｔｒｙ）に基づいて、一対の映像を利用して河川の表面の２次元流速分布を計測する方法である。

【0014】

このような映像パーティクル一致法はフレームを一定の大きさのブロックに分け、現在のブロックと最も類似する明暗値を有するブロックを次のフレームで探して移動距離を計算する方法であり、移動距離ベクター推定の正確度を高めるためにはブロック周辺のすべての変位に対して平均絶対値の差を計算しなければならないが、この時、ウインドウの大きさが大きくなるほど多くの演算時間が要求されてリアルタイム流速の測定が難しい。

【0015】

一方、時空間映像分析法は多数枚の連続した映像（時空間映像）を一度に分析してその時間の間の平均流速を分析することである。

【0016】

時空間映像を利用する例としては、時空間映像流速計測法（ＳＴＩＶ、Ｓｐａｃｅ－Ｔｉｍｅ Ｉｍａｇｅ Ｖｅｌｏｃｉｍｅｔｒｙ）が挙げられる。

【0017】

ただし、ＳＴＩＶは実用性を高めるために計測対象を主流方向成分のみに限定して流速の横断分布を計測する問題点を有している。

【0018】

また、時空間映像分析法は映像内の連続する多くのピクセルの明暗値が時間により変化するのを計算して流速を算定する方法であって、一定時間の間のピクセルの明暗値を求めなければならないため、時間平均した流速を計算するには優秀であるが河川の水面の波紋が多い場合、雑音が多く発生して正確度が落ち得る。

【0019】

特に、明暗値を時間平均しなければならないため計算量が多く、リアルタイム流速の測定に適用するには限界がある。

【0020】

このような従来技術の流速測定方法は映像獲得および映像の分析過程が複雑であり、参照点の測量が必要であるためリアルタイム自動流速測定が難しい。

【0021】

特に、従来技術での映像獲得および映像の分析過程での映像変換には２次元投影座標変換法および３次元投影座標変換法が使われている。

【0022】

２次元投影座標変換法は水面と同じ高さの参照点が最小４個必要であり、水位の変化により参照点の高さを再設定することが必要であるが、参照点の再設定が難しいため誤差が多く発生する問題がある。

【0023】

また、３次元投影座標変換法は高さが異なる参照点６個と水面と同じ高さの参照点１個か必要であり、水位の変化により新しいマッピング係数の適用が必要である。

【0024】

このような３次元投影座標変換法は、高さが異なる６個の参照点より水位が上昇する場合には適用が不可能であり、参照点が多いため測量誤差による正確度の低下問題がある。

【0025】

したがって、新しい映像処理方法を活用して河川の流速を測定できる技術の開発が要求されている。

【発明の概要】

【発明が解決しようとする課題】

【0026】

本発明はこのような従来技術の河川流速測定技術の問題を解決するためのもので、現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法を提供することにその目的がある。

【0027】

本発明は映像変換時に実際の座標と映像座標間の関係式をマトリックス形態で保存し、ピクセル流速で算定された流速をマトリックスを活用して実際流速に変換して流速算定の正確性を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法を提供することにその目的がある。

【0028】

本発明はあらかじめ指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列（マトリックス）宣言をして映像を配列に保存し、映像間分析を格子点の個数だけ繰り返して表面流速場算定の正確度を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法を提供することにその目的がある。

【0029】

本発明はピクセル流速算定をし、格子点位置とピクセル流速、フィルタ係数変数を定めて、地点流速算定時に算定された誤差がフィルタ係数より大きいとフィルタリングをして地点流速算定の正確度を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法を提供することにその目的がある。

【0030】

本発明は河川の水位の変化を考慮した映像歪み補正のための方法を適用して、水位が変わってもカメラが見る参照点の映像座標が変わらないようにして、測量した実際の座標と変換結果の誤差が発生しないようにして正確な映像歪み補正が可能であるようにした、オプティカルフロー映像処理を利用する河川流速測定装置および方法を提供することにその目的がある。

【0031】

本発明の目的は以上で言及した目的に制限されず、言及されていないさらに他の目的は下記の記載から当業者に明確に理解され得るであろう。

【課題を解決するための手段】

【0032】

このような目的を達成するための本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置は、河川流速測定現場の連続映像を獲得する映像撮影部；映像撮影部の映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定をする映像変換分析部；分析地点の分析領域を抽出する分析領域抽出部；分析領域抽出部で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定部；ピクセル流速算定部で算定されたピクセル流速を実際流速に換算する実際流速算定部；を含むことを特徴とする。

【0033】

ここで、映像変換分析部は、ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のために、入力点の平均Ｘ座標とＹ座標を算定して該当座標を原点に移動させ、入力点と平均Ｘ座標とＹ座標間の距離を変換して映像データを正規化（Ｎｏｒｍａｌｉｚｅ）することを特徴とする。

【0034】

そして、ピクセル流速算定部はオプティカルフローを適用した表面流速場算定のために、指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列宣言をして映像を配列に保存し、映像間分析を格子点の個数だけ繰り返して表面流速場算定をすることを特徴とする。

【0035】

そして、ピクセル流速算定部は地点流速算定のために、映像と格子点変数宣言をし、格子点の位置から映像抽出をしてピクセル流速算定をし、格子点位置とピクセル流速、フィルタ係数変数を定めて、地点流速算定時に算定された誤差がフィルタ係数より大きいとフィルタリングをして地点流速算定をすることを特徴とする。

【0036】

そして、映像撮影部で撮影される映像歪み補正のために、水位が変わってもカメラが見る参照点の映像座標が変わらないように４個の参照点を堤防高さに設置し、カメラの実際の座標（Ｘｃ、Ｙｃ、Ｈ）、カメラと水面までの高さ（Ｈ）および堤防上の参照点（Ａ）の実際の座標（Ｘ_０、Ｙ_０、Ｚ_０）を利用して水の表面と同じ高さの点Ａ’の実際の座標（Ｘ’_０、Ｙ’_０、Ｚ’_０）を求めることを特徴とする。

【0037】

他の目的を達成するための本発明に係るオプティカルフロー映像処理を利用する河川流速測定方法は、河川流速測定現場の連続映像を獲得する映像撮影段階；映像撮影段階で獲得された映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定をする映像変換分析段階；分析地点の分析領域を抽出する分析領域抽出段階；分析領域抽出段階で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定段階；ピクセル流速算定段階で算定されたピクセル流速を実際流速に換算する実際流速算定段階；を含むことを特徴とする。

【発明の効果】

【0038】

このような本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置および方法は次のような効果を有する。

【0039】

第１に、現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めることができる。

【0040】

第２に、映像変換時に実際の座標と映像座標間の関係式をマトリックス形態で保存し、ピクセル流速で算定された流速をマトリックスを活用して実際流速に変換して流速算定の正確性を高める。

【0041】

第３に、あらかじめ指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列（マトリックス）宣言をして映像を配列に保存し、映像間分析を格子点の個数だけ繰り返して表面流速場算定の正確度を高めることができる。

【0042】

第４に、ピクセル流速算定をし、格子点位置とピクセル流速、フィルタ係数変数を定めて、地点流速算定時に算定された誤差がフィルタ係数より大きいとフィルタリングをして地点流速算定の正確度を高める。

【0043】

第５に、河川の水位の変化を考慮した映像歪み補正のための方法を適用して、水位が変わってもカメラが見る参照点の映像座標が変わらないようにして、測量した実際の座標と変換結果の誤差が発生しないようにして正確な映像歪み補正を可能にする。

【図面の簡単な説明】

【0044】

【図1】本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置の構成図。

【図2】映像変換座標の一例を示した構成図。

【図3】本発明に係るオプティカルフローを活用した表面流速場算定方法を示したフローチャート。

【図4】本発明に係る地点流速算定のための方法を示したフローチャート。

【図5】本発明に係るピクセル流速算定のための方法を示したフローチャート。

【図6】本発明に係るピクセル流速算定時の微分関数。

【図7】本発明に係るピクセル流速算定時の微分関数。

【図8】河川の水位の変化を考慮した映像歪み補正のための方法を示した構成図。

【図9】河川の水位の変化を考慮した映像歪み補正のための方法を示した構成図。

【図10】河川の水位の変化を考慮した映像歪み補正のための方法を示した構成図。

【発明を実施するための形態】

【0045】

以下、本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置および方法の好ましい実施例に関して詳細に説明すると次の通りである。

【0046】

本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置および方法の特徴および利点は、以下での各実施例に対する詳細な説明を通じて明白になるであろう。

【0047】

図１は本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置の構成図であり、図２は映像変換座標の一例を示した構成図である。

【0048】

本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置および方法は、現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めることができるようにしたものである。

【0049】

本発明によるオプティカルフロー映像処理は一フレームの特定の位置の明暗値分布と次のフレームでの明暗値分布が最もよくマッチングされる個所を探して移動距離を計算するものである。

【0050】

このように映像内の各ピクセルの明暗値を利用して移動距離を計算するため時間が非常に短いという長所があり、河川での急激な流量変化時にもリアルタイム流速を非常に短い時間に計算できるためＬＳＰＩＶとＳＴＩＶ方法で遂行できない河川のリアルタイム流速の測定に効果的に適用され得る。

【0051】

このために本発明は映像変換時に実際の座標と映像座標間の関係式をマトリックス形態で保存し、ピクセル流速で算定された流速をマトリックスを活用して実際流速に変換する構成を含むことができる。

【0052】

本発明はあらかじめ指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列（マトリックス）宣言をして映像を配列に保存し、映像間分析を格子点の個数だけ繰り返して表面流速場算定の正確度を高める構成を含むことができる。

【0053】

本発明はピクセル流速算定をし、格子点位置とピクセル流速、フィルタ係数変数を定めて、地点流速算定時に算定された誤差がフィルタ係数より大きいとフィルタリングをする構成を含むことができる。

【0054】

本発明は表面流速を計測するために２次元投影座標変換プログラムと相互相関法を使うものであって、歪んだ映像を正射映像に変換する映像変換構成および、相互相関法（相関領域の大きさ内の明暗値分布の類似性を探索して追跡者群の変位を計算）プログラムで表面流速を計測する映像分析、計測された流速資料のうち相関係数が低い結果を除去するフィルタリング、計測された流速資料を時間平均して計測結果として保存する構成を含むことができる。

【0055】

本発明は河川の水位の変化を考慮した映像歪み補正のための方法を適用して、水位が変わってもカメラが見る参照点の映像座標が変わらないようにして、測量した実際の座標と変換結果の誤差が発生しないようにして正確な映像歪み補正を可能にする構成を含むことができる。

【0056】

本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置は、図１のように、河川流速測定現場の連続映像を獲得する映像撮影部１０と、映像撮影部１０の映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定をする映像変換分析部２０と、分析地点の分析領域を抽出する分析領域抽出部３０と、分析領域抽出部３０で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定部４０と、ピクセル流速算定部４０で算定されたピクセル流速を実際流速に換算する実際流速算定部５０を含む。

【0057】

ここで、映像変換分析部２０は回転、スケール、平行性保存は原点［０、０］を基準として発生するため、ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のために映像データを正規化（Ｎｏｒｍａｌｉｚｅ）するものである。

【0058】

映像データの正規化は図２でのように、入力点の平均Ｘ座標とＹ座標を算定して該当座標を原点に移動させ、入力点と平均Ｘ座標とＹ座標間の距離を変換することである。
ホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定を具体的に説明すると次の通りである。
数学式１はホモジーニアス（Ｈｏｍｏｇｅｎｅｏｕｓ）形態を示したものである。

【0059】

【数1】

【0060】

ここで、ｘ、ｙは映像変換前の座標であり、ｘ’、ｙ’は映像変換後の座標、ｈ_１１、ｈ_１２、ｈ_１３、ｈ_２１、ｈ_２２、ｈ_２３、ｈ_３１、ｈ_３２は映像変換に必要な媒介変数である。

【0061】

数学式２および数学式３はホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定のための形態を示したものである。

【0062】

【数2】

【0063】

【数3】

【0064】

そして、ピクセル流速算定部４０はオプティカルフローを適用した表面流速場算定のために、あらかじめ指定された格子設定を呼び出して分析する映像の個数（Ｎ）と分析結果を保存する配列（マトリックス）宣言をして映像を配列に保存し、映像間分析を格子点の個数だけ繰り返して表面流速場算定の正確度を高める。

【0065】

そして、ピクセル流速算定部４０は地点流速算定のために、映像と格子点変数宣言をし、格子点の位置から映像抽出をしてピクセル流速算定をし、格子点位置とピクセル流速、フィルタ係数変数を定めて、地点流速算定時に算定された誤差がフィルタ係数より大きいとフィルタリングをして地点流速算定の正確度を高める。

【0066】

本発明は分析地点を中心にした分析領域の映像を通じてピクセル流速を算定するために次のようなピクセル流速算出構成を含む。

【0067】

客体の明るさ値は短い時間が過ぎても変わらないという仮定と各映像の動きは非常に小さいためピクセル流速算定のための式を数学式４でのように定義することができる。

【0068】

【数4】

【0069】

ここで、Ｉは映像内ピクセルの明暗値、ｘはＸ方向座標、ｙはＹ方向座標、ｔは時間、δｔは時間の変化量である。

【0070】

数学式４の右項をテイラー展開をすると、

【0071】

【数5】

【0072】

で整理される。

【0073】

数学式４と数学式５を同時に満足するためには数学式５の右項の微分式の合計が０にならなければならない。

【0074】

【数6】

【0075】

したがって、ピクセル流速算定のための式は次のように定義される。

【0076】

【数7】

【0077】

ここで、Ｉ_ｘは映像のＸ方向微分行列、Ｉ_ｙは映像のＹ方向微分行列、Ｖ_ｘはＸ方向ピクセル速度、Ｖ_ｙはＹ方向ピクセル速度、Ｉ_ｔは映像の時間微分行列である。

【0078】

数学式７を通じてピクセル速度を求めるためには数学式８のような行列式の形態に変換して解く。

【0079】

【数8】

【0080】

ここで、

【0081】

【数9】

【0082】

ｑ_ｎはｎ番目のピクセル、ｎは映像のピクセル個数である。

【0083】

そして、実際流速算定部５０でピクセル流速を実際流速に換算する過程は数学式９のように定義される。

【0084】

【数10】

【0085】

ここで、Ｖ_γは実際流速であり、Ｖ_ｐはピクセル流速、ＬＰＰはピクセル当たりの距離、Ｋはスケールファクターである。

【0086】

そして、ピクセル当たりの距離は数学式１０のように定義される。

【0087】

【数11】

【0088】

ここで、ＬＰＰはピクセル当たりの距離、Ｎは映像変換の参照点の個数、Ｌ_γは映像変換の隣り合う両参照点がなす物理距離、Ｌ_ｐは映像変換の隣り合う両参照点がなすピクセル距離である。

【0089】

そして、スケールファクターは数学式１１のように定義される。

【0090】

【数12】

【0091】

ここで、Ｋはスケールファクター、Ｄ_１はセンサと映像変換の参照点間の初期平均標高差、Ｄ_２はセンサと映像変換の参照点間の平均標高差である。

【0092】

このような構成を有する本発明に係るオプティカルフロー映像処理を利用する流速測定装置を利用した実際流速算定方法を具体的に説明すると次の通りである。

【0093】

図３は本発明に係るオプティカルフローを活用した表面流速場算定方法を示したフローチャートであり、図４は本発明に係る地点流速算定のための方法を示したフローチャートである。

【0094】

本発明に係るオプティカルフロー映像処理を利用する流速測定方法は、大きく河川流速測定現場の連続映像を獲得する映像撮影段階と、映像撮影段階で獲得された映像データを正規化するために動的に連続映像のフレームを抽出し、抽出されたフレームを映像変換してホモグラフィ（Ｈｏｍｏｇｒａｐｈｙ）算定をする映像変換分析段階と、分析地点の分析領域を抽出する分析領域抽出段階と、分析領域抽出段階で抽出された分析地点の分析領域映像を通じてピクセル流速を算定するピクセル流速算定段階と、ピクセル流速算定段階で算定されたピクセル流速を実際流速に換算する実際流速算定段階を含む。

【0095】

ここで、ピクセル流速算定段階はオプティカルフローを適用した表面流速場算定のために、図３でのように、まずＭ個の個数を有する分析する点で構成された格子変数を定義する。（Ｓ３０１）
引き続き、あらかじめ指定された格子設定を呼び出して（Ｓ３０２）分析する映像の個数（Ｎ）と分析結果を保存する配列（マトリックス）を宣言する。（Ｓ３０３）
そして、カメラを通じて映像を配列に保存する。（Ｓ３０４）
映像間分析を格子点の個数だけ繰り返して分析結果を配列に保存する。（Ｓ３０５）
そして、ピクセル流速算定段階は地点流速算定のために、図４でのように、映像と格子点変数宣言をし（Ｓ４０１）、格子点の位置から映像抽出をする。（Ｓ４０２）
引き続き、オプティカルフローピクセル流速算定アルゴリズムを適用し（Ｓ４０３）、格子点位置とピクセル流速、フィルタ係数変数宣言をして（Ｓ４０４）格子点位置とピクセル流速を実際流速に変換する。（Ｓ４０５）
算定された流速誤差がフィルタ係数より大きいとフィルタリングをし、そうでなければ流速算定結果を出力して地点流速算定の正確度を高める。（Ｓ４０６）
そして、図５は本発明に係るピクセル流速算定のための方法を示したフローチャートであり、図６と図７は本発明に係るピクセル流速算定時の微分関数を示したものである。

【0096】

ピクセル流速算定段階は図５でのように、映像変数宣言をし（Ｓ５０１）、Ｘ方向、Ｙ方向、時間微分変数宣言をする。（Ｓ５０２）
そして、Ｘ方向映像微分（Ｓ５０３）、Ｙ方向映像微分（Ｓ５０４）、時間方向映像微分をして（Ｓ５０５）ピクセル流速を算定する。（Ｓ５０６）
このような構成を有する本発明に係るオプティカルフロー映像処理を利用する流速測定装置および方法は、河川の水位の変化を考慮した映像歪み補正のための方法を適用して、水位が変わってもカメラが見る参照点の映像座標が変わらないようにして、測量した実際の座標と変換結果の誤差が発生しないようにして正確な映像歪み補正を可能にする。

【0097】

図８～図１０は、河川の水位の変化を考慮した映像歪み補正のための方法を示した構成図である。

【0098】

４個の参照点を利用して簡便かつ正確に映像歪みを補正することがで水位の変化を考慮するために４個の参照点を図８でのように堤防高さに設置して堤防高さの参照点がすべて撮影されるように映像撮影をする。

【0099】

このような構成によって図９でのように水位が変わってもカメラが見る参照点の映像座標が変わらない。

【0100】

図１０でのようにカメラの実際の座標（Ｘｃ、Ｙｃ、Ｈ）、カメラと水面までの高さ（Ｈ）および堤防上の参照点（Ａ）の実際の座標（Ｘ_０、Ｙ_０、Ｚ_０）を利用して水の表面と同じ高さの点Ａ’の実際の座標（Ｘ’_０、Ｙ’_０、Ｚ’_０）を求めることができる。

【0101】

【数13】

【0102】

ここで、

【0103】

【数14】

【0104】

である。

【0105】

以上で説明した本発明に係るオプティカルフロー映像処理を利用する河川流速測定装置および方法は、現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めることができるようにしたものである。

【0106】

本発明は表面流速を計測するために２次元投影座標変換プログラムと相互相関法を使うものであって、歪んだ映像を正射映像に変換する映像変換構成および、相互相関法（相関領域の大きさ内の明暗値分布の類似性を探索して追跡者群の変位を計算）プログラムで表面流速を計測する映像分析、計測された流速資料のうち相関係数が低い結果を除去するフィルタリング、計測された流速資料を時間平均して計測結果として保存するものである。

【0107】

本発明によるオプティカルフロー映像処理は一フレームの特定の位置の明暗値分布と次のフレームでの明暗値分布が最もよくマッチングされる個所を探して移動距離を計算するものである。

【0108】

このように映像内の各ピクセルの明暗値を利用して移動距離を計算するため時間が非常に短いという長所があり、河川での急激な流量変化時にもリアルタイム流速を非常に短い時間に計算できるためＬＳＰＩＶとＳＴＩＶ方法で遂行できない河川のリアルタイム流速の測定に効果的に適用され得る。

【0109】

以上での説明でのように、本発明の本質的な特性から逸脱しない範囲で変形された形態で本発明が具現されていることが理解できるであろう。

【0110】

したがって、明示された実施例は限定的な観点ではなく説明的な観点で考慮されるべきであり、本発明の範囲は前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差異点は本発明に含まれるものと解釈されるべきである。
産業上利用の可能性
本発明は現場の断面情報、分析時間、分析間隔、分析領域に対してカメラが収集した連続映像からピクセル流速を算出し、これを実際の物理的な流速に換算して流速測定の効率性および正確性を高めた、オプティカルフロー映像処理を利用する河川流速測定装置および方法に関する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】