特許 7532812 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240806BHJP

   G01F 23/04 20060101ALI20240806BHJP

【ＦＩ】

G06T7/00 300D

G01F23/04 F

【請求項の数】 3

(21)【出願番号】P 2020036040

(22)【出願日】2020-03-03

(65)【公開番号】P2021140335

(43)【公開日】2021-09-16

【審査請求日】2022-11-08

【前置審査】

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100180275

【弁理士】

【氏名又は名称】吉田 倫太郎

(74)【代理人】

【識別番号】100161861

【弁理士】

【氏名又は名称】若林 裕介

(72)【発明者】

【氏名】古川 貴仁

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２００１－２８１０４６（ＪＰ，Ａ）

【文献】特開２００３－１４９０３２（ＪＰ，Ａ）

【文献】中国特許出願公開第１０６５５７７６４（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｆ ２３／０４

(57)【特許請求の範囲】

【請求項1】

水辺に近傍する構造物と該水辺の水面とを撮影した撮影画像から、該水面の水位を算出する画像処理装置であって、
少なくともテンプレート画像と、該テンプレート画像に対応付けられた水位値を含むテンプレート情報を記憶する記憶部と、
前記撮影画像と、前記テンプレート画像との類似度を算出する類似度算出部と、
前記類似度算出部で算出された類似度と、前記テンプレート画像に対応付けられた水位値とに基づき、前記水面の水位を算出する水位算出部とを有し、
前記テンプレート画像は、前記構造物の基準点から、実世界における鉛直下向き方向にそれぞれ異なる長さで切り取られた複数の画像である
ことを特徴とする画像処理装置。

【請求項2】

前記構造物は、量水標であることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

水辺に近傍する構造物と該水辺の水面とを撮影した撮影画像から、該水面の水位を算出する画像処理装置であって、
少なくともテンプレート画像と、該テンプレート画像に対応付けられた水位値を含むテンプレート情報を記憶する記憶部と、
前記撮影画像と、前記テンプレート画像との類似度を算出する類似度算出部と、
前記類似度算出部で算出された類似度と、前記テンプレート画像に対応付けられた水位値とに基づき、前記水面の水位を算出する水位算出部とを有し、
前記水位算出部は、前記類似度算出部で算出された類似度と、前記構造物が全て露出した状態の撮影画像と前記テンプレート画像との類似度である基準類似度との差分を算出し、
さらに、前記水位算出部は、当該差分と、閾値とを比較し、当該差分が閾値を超える前記テンプレート画像の内、最も水位値の大きい前記テンプレート画像の水位値を、前記水面の水位として算出する
ことを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関し、例えば、河川などの水辺に設置されている量水標をカメラで撮影し、撮影画像から該量水標が示す水位を算出する画像処理装置に適用し得る。

【背景技術】

【0002】

従来、河川等の水位を計測するための手段として超音波水位計等を用いる他に、カメラ等の撮影装置で撮影した画像から水位を計測（算出）する手段も存在する（例えば、特許文献１を参照）。

【0003】

特許文献１ではカメラ１より取り込んだ画像から画像処理により、側壁に傾いて設置された物差しの傾きを表す直線と、該物差しの液体表面上の反射像内の直線または液面下の屈折像内の直線との交点を求め、この交点座標より上の物差しの目盛りおよび数値を読み取ることにより液面の物理空間上の位置を決定することが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平８－１４９９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１の構成の装置及び方法では、液体表面上に反射像又は液面下の屈折像のどちらかが検出されなければならず、例えば流水のように液体表面に凹凸がある場合などは液面高さの計測を行うことができなかった。

【0006】

そのため、外部環境に依存することなく河川などの水位を計測することができる画像処理装置が望まれている。

【課題を解決するための手段】

【0007】

第１の本発明は、水辺に近傍する構造物と該水辺の水面とを撮影した撮影画像から、該水面の水位を算出する画像処理装置であって、（１）少なくともテンプレート画像と、該テンプレート画像に対応付けられた水位値を含むテンプレート情報を記憶する記憶部と、（２）前記撮影画像と、前記テンプレート画像との類似度を算出する類似度算出部と、（３）前記類似度算出部で算出された類似度と、前記テンプレート画像に対応付けられた水位値とに基づき、前記水面の水位を算出する水位算出部とを有し、（４）前記テンプレート画像は、前記構造物の基準点から、実世界における鉛直下向き方向にそれぞれ異なる長さで切り取られた複数の画像であることを特徴とする。

【0008】

第２の本発明は、水辺に近傍する構造物と該水辺の水面とを撮影した撮影画像から、該水面の水位を算出する画像処理装置であって、（１）少なくともテンプレート画像と、該テンプレート画像に対応付けられた水位値を含むテンプレート情報を記憶する記憶部と、（２）前記撮影画像と、前記テンプレート画像との類似度を算出する類似度算出部と、（３）前記類似度算出部で算出された類似度と、前記テンプレート画像に対応付けられた水位値とに基づき、前記水面の水位を算出する水位算出部とを有し、（４）前記水位算出部は、前記類似度算出部で算出された類似度と、前記構造物が全て露出した状態の撮影画像と前記テンプレート画像との類似度である基準類似度との差分を算出し、（５）さらに、前記水位算出部は、当該差分と、閾値とを比較し、当該差分が閾値を超える前記テンプレート画像の内、最も水位値の大きい前記テンプレート画像の水位値を、前記水面の水位として算出することを特徴とする。

【発明の効果】

【0010】

本発明によれば、外部環境に依存することなく河川などの水位を計測することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る情報収集システムの全体構成を示すブロック図である。

【図2】実施形態に係る画像処理装置の機能的構成を示すブロック図である。

【図3】実施形態に係るテンプレート情報の一例を示す説明図である。

【図4】実施形態に係る量水標の撮影画像からテンプレート画像を切り取るイメージを示す説明図である。

【図5】実施形態に係る類似度列の一例を示す説明図である。

【図6】実施形態に係る基準類似度列の一例を示す説明図である。

【図7】実施形態に係る画像処理装置の全体動作（画像処理）について示すフローチャートである。

【図8】実施形態に係る撮影装置で撮影された原画像と、テンプレート画像とを用いて算出された類似度列の様子を示す説明図である。

【図9】実施形態に係る量水標の全部が露出している撮影画像（基準画像）と、テンプレート画像とを用いて予め算出された基準類似度列の様子を示す説明図である。

【図10】実施形態に係る類似度列及び基準類似度列から差分類似度列を算出し、当該差分類似度列及び基準値から推定水位値を算出する様子を示す説明図である。

【発明を実施するための形態】

【0012】

（Ａ）主たる実施形態
以下、本発明による画像処理装置の一実施形態を、図面を参照しながら詳述する。

【0013】

（Ａ－１）実施形態の構成
（Ａ－１－１）全体構成
図１は、実施形態に係る情報収集システムの全体構成を示すブロック図である。

【0014】

図１において、情報収集システム１０は、量水標１、撮影装置２、画像処理装置３、通信装置４、通信装置５、及び管理装置６を有する。

【0015】

量水標１は、例えば、垂直に立てた支柱に目盛りが振られており、この目盛りにより水位を算出することができる。また、量水標１は、画像解析のために特徴的な模様を持っていることが望ましく、さらに、河川に架けられている橋などの橋脚などに十分に固定されている必要がある。

【0016】

撮影装置２は、例えば、カメラであり、接続している撮影装置２に撮影画像を与えるものである。撮影装置２は、量水標１を撮影できる位置と画角に固定されている必要がある。

【0017】

画像処理装置３は、撮影装置２から量水標１を含む撮影画像を取得し、その撮影画像を解析し、量水標１が示す河川などの水位を算出するものである。そして、画像処理装置３は、算出した水位値（以下、「水位推定値」と呼ぶ）を通信装置４に与える。なお、図１では、画像処理装置３は、撮影装置２から直接撮影画像を取得しているが、通信装置又はＵＳＢメモリ等の外部記憶装置を介して取得しても良い。

【0018】

通信装置４、５は、水位推定値を含む信号を授受する通信装置である。通信装置４は、画像処理装置３から取得した水位推定値を含む信号を送信するものであり、通信装置５は、通信装置４から送信された通信信号を受信し、当該信号に含まれる水位推定値を管理装置６に与えるものである。通信装置４、５は、例えばマルチホップ無線通信の無線通信プロトコル等に従って無線通信するものを適用することができる。なお、無線通信プロトコルは、特に限定されるものではない。

【0019】

管理装置６は、通信装置５から与えられた量水標１の水位推定値を逐次記録し、量水標１が設置される河川等の水位を管理するものである。変形例として、管理装置６が、画像処理装置３の機能を備えていても良い。この場合、撮影装置２で撮影した画像データが通信装置４、５により管理装置６に送信されることになる。

【0020】

（Ａ－１－２）画像処理装置３の詳細構成
図２は、実施形態に係る画像処理装置の機能的構成を示すブロック図である。

【0021】

画像処理装置３は、画像入力部３１、記憶部３２、類似度算出部３３、水位算出部３４、及び出力部３５を有する。

【0022】

画像処理装置３は、プロセッサやメモリ等を有するコンピュータにプログラム（実施形態に係る画像処理プログラム）をインストールして実現するようにしても良いが、この場合でも、画像処理装置３は機能的には図１を用いて示すことができる。なお、画像処理装置３については一部又は全部をハードウェア的に実現するようにしても良い。

【0023】

画像入力部３１は、量水標１を撮影する撮影装置２から、量水標１を含む撮影画像を入力するものである。

【0024】

記憶部３２は、予め量水標１を撮影した画像の加工画像（切り取り画像）を含むテンプレート情報Ｉ、後述する基準類似度列Ｋ及び基準値Ｔなどを記憶するものである。

【0025】

図３は、実施形態に係るテンプレート情報の一例を示す説明図である。

【0026】

図３において、テンプレート情報Ｉは、量水標１の撮影画像を加工（切り取り）した画像である各テンプレート画像を識別する「テンプレート画像ラベル」と、各テンプレート画像を示す「テンプレート画像」と、各テンプレート画像に対応する水位値を示す「水位」の項目を有する。

【0027】

上記各テンプレート画像は、図４（Ｂ）に示すように量水標１の上端から、実世界における鉛直下向き方向にそれぞれ異なる長さで切り取られた画像である。

【0028】

また、切り取り元の画像は、例えば、図４（Ａ）に示されるように量水標がすべて水面より上に露出している状態で、予め撮影装置２と量水標１とを固定し、撮影装置２と量水標１との位置関係が決定されている状態で、撮影装置２を用いて撮影して取得した画像を使用しても良い。

【0029】

図３に示すように、テンプレート情報Ｉには、０～９０ｃｍの水位値を示すテンプレート画像が１０ｃｍ毎に合計１０個示されているが、水位値及びテンプレート画像の組み合わせはこれに限定されるものではない。

【0030】

例えば、テンプレート情報Ｉは、０～９０ｃｍの水位値の範囲で５ｃｍ毎に合計２０個のテンプレート画像（つまり、０、５、１０、１５…の水位値を示すテンプレート画像）を有しても良いし、一方、０～１８０ｃｍの水位値の範囲で１０ｃｍ毎に合計２０個のテンプレート画像（０、１０、…１７０、１８０の水位値を示すテンプレート画像）を有しても良い。

【0031】

類似度算出部３３は、画像入力部３１から与えられた画像（撮影装置２で撮影した原画像）と、記憶部３２（テンプレート情報Ｉ）に記憶される複数のテンプレート画像とでテンプレートマッチングを行い、原画像と各テンプレート画像との類似度を算出するものである。各テンプレート画像の類度似の結果は、例えば、図５に示すように類似度列Ｊとして、水位算出部３４に与える。

【0032】

水位算出部３４は、類似度算出部３３で算出された類似度列Ｊの値の変化から、水位を算出する。詳細は後述するが、例えば、類似度列Ｊと、図６に示すような基準類似度列Ｋ（量水標１の全部が露出している画像に対して類似度列を算出したもの）との各差分が基準値Ｔを超えているか確認し、基準値Ｔを超えている各テンプレート画像から、最も水位値の大きいテンプレート画像の水位値を推定水位値とする。

【0033】

出力部３５は、水位算出部３４で算出された推定水位値を外部に出力するものである。

【0034】

（Ａ－２）実施形態の動作
次に、実施形態に係る画像処理装置３による画像処理の動作、図面を参照しながら説明する。

【0035】

（Ａ－２－１）画像処理の全体的な動作
図７は、実施形態に係る画像処理装置の全体動作（画像処理）について示すフローチャートである。

【0036】

画像入力部３１は、撮影装置２で撮影された原画像の入力を受け付ける（Ｓ１０１）。ここでの、原画像（撮影画像）には少なくとも量水標１が含まれているものとする。画像入力部３１は、撮影装置２から取得した原画像を類似度算出部３３に与える。

【0037】

次に、類似度算出部３３は、原画像と、テンプレート情報Ｉ内の複数のテンプレート画像とでテンプレートマッチングを行い、原画像と各テンプレート画像との類似度（類似度列Ｊ）を算出する（Ｓ２０２）。類似度算出部３３は、類似度を算出する際の指標としてＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）、ＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎｓ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）など、既存の指標を用いて良い。

【0038】

類似度算出部３３がテンプレートマッチングを行う際のテンプレート画像の位置は、テンプレート画像を作成する際に用いた原画像における、該テンプレート画像を切り出した位置とする。算出した類似度列Ｊの各値は、例えば、先述の図５で示したように、算出元の各テンプレート画像の水位値と関連付けておく。

【0039】

水位算出部３４は、類似度算出部３３で算出された類似度列Ｊの値の変化から、水位を算出する（Ｓ１０３）。水位算出部３４の詳細動作については後述する。

【0040】

出力部３５は、水位算出部３４で算出された推定水位値を画像処理装置３の外部へ出力する。

【0041】

（Ａ－２－２）水位算出の詳細動作
次に、水位算出部３４の特徴動作について複数の図面を参照しながら説明する。

【0042】

まず、水位算出部３４で用いる類似度列について改めて説明する。図８は、実施形態に係る撮影装置で撮影された原画像と、テンプレート画像とを用いて算出された類似度列の様子を示す説明図である。

【0043】

図８（Ｂ）に示すように、水位の上昇などにより量水標１の一部が水面よりも下方に位置する場合には、同図に示すような原画像が撮影装置２によって撮影される。この原画像に対して、図８（Ａ）に示すテンプレート情報Ｉ（テンプレート画像）を用いて、テンプレートマッチングによる類似度算出を行うと、例えば、図８（Ｃ）に示すような類似度列Ｊが得られる。ここで、図８（Ｃ）に示すように、原画像において水面よりも下方に位置する領域を含むテンプレート画像と原画像との類似度は小さく、該領域を含まないテンプレート画像と原画像との類似度は高くなる。

【0044】

水位算出部３４は、テンプレート画像の面積が小さい順に、すなわちテンプレート画像下端の位置において量水標１が示す水位が高い順に、テンプレート画像に関連付けられた類似度を参照し、該類似度が著しく低下をし始めることを示した類似度と同一のテンプレート画像ラベルを持つ水位を出力する。

【0045】

ここで、水位算出部３４が、類似度が著しく低下をし始めることを示しているか否かを判定する方法については、特に限定されないが、例えば以下に示すような方法を用いても良い。

【0046】

図９は、実施形態に係る量水標の全部が露出している画像（基準画像）と、テンプレート画像とを用いて予め算出された基準類似度列の様子を示す説明図である。

【0047】

図９（Ｂ）に示すように、予め量水標１の全部が露出している画像（基準画像）を、撮影装置２を用いて撮影する。そして、この基準画像に対して、類似度算出部３３がテンプレート情報Ｉ（テンプレート画像）を用いて、テンプレートマッチングによる類似度算出を行うと、例えば、図９（Ｃ）に示すような基準類似度列Ｋが得られる。図９（Ｃ）に示すように、各テンプレート画像と基準画像との類似度は、当然全て高い。

【0048】

図１０は、実施形態に係る類似度列及び基準類似度列から差分類似度列を算出し、当該差分類似度列及び基準値から水位値（推定水位値）を算出する様子を示す説明図である。

【0049】

まず、水位算出部３４は、図１０（Ａ）に示す類似度算出部３３で算出した実際の測定時の類似度列Ｊと、図１０（Ｂ）に示す先述の基準類似度列Ｋとの各類似度の差分をとり、図１０（Ｃ）に示す差分類似度列Ｌを作成する。

【0050】

次に、水位算出部３４は、差分類似度列Ｌの各差分類似度の大きさを予め定めた基準値Ｔ（図１０（Ｃ）では、「０．１０」としているが、これに限定されるものではない）と比較し、基準値Ｔを超える値を持つ差分類似度に関連するテンプレート画像ラベルを特定する。例えば、図１０（Ｃ）では、「０」～「５」のテンプレート画像ラベルが該当することになる。

【0051】

次に、水位算出部３４は、テンプレート情報Ｉを参照することにより、上記で特定した各テンプレート画像ラベルの各水位値を取得する。そして、水位算出部３４は、この取得した水位値の内、最も値が多い水位値を推定水位値として出力部３５に出力する。

【0052】

（Ａ－３）実施形態の効果
以上のように、本実施形態によれば、量水標１が水面より下に没している部分については、原画像中において水によって変形もしくは隠蔽されるため、流水部においても水位の計測が可能となる。

【0053】

（Ｂ）他の実施形態
上記実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。

【0054】

（Ｂ－１）上記実施形態では、撮影対象として量水標１を用いるように説明したが、撮影対象は量水標１に限定されるものではない。量水標１ではないものを用いる場合も、撮影対象は特徴的な外観をしていることが望ましく、また、水位との対応付けは量水標を用いる場合と同様に行う必要がある。

【0055】

（Ｂ－２）上記実施形態では、テンプレートマッチングを行う際のテンプレート画像の位置は、テンプレート画像を作成する際に用いた原画像における、該テンプレート画像を切り出した位置とする、と説明したが、該テンプレート画像を切り出した位置の近傍領域としても良い。この場合、当該近傍領域内のすべての位置において類似度を算出し、得られた類似度の最大値を該テンプレート画像の類似度としても良い。

【符号の説明】

【0056】

１…量水標、２…撮影装置、３…画像処理装置、４…通信装置、５…通信装置、６…管理装置、１０…情報収集システム、３１…画像入力部、３２…記憶部、３３…類似度算出部、３４…水位算出部、３５…出力部、Ｉ…テンプレート情報、Ｊ…類似度列、Ｋ…基準類似度列、Ｌ…差分類似度列、Ｔ…基準値。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】