特許第6954369号(P6954369)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許6954369振動計測装置、振動計測方法、及びプログラム
<>
  • 特許6954369-振動計測装置、振動計測方法、及びプログラム 図000002
  • 特許6954369-振動計測装置、振動計測方法、及びプログラム 図000003
  • 特許6954369-振動計測装置、振動計測方法、及びプログラム 図000004
  • 特許6954369-振動計測装置、振動計測方法、及びプログラム 図000005
  • 特許6954369-振動計測装置、振動計測方法、及びプログラム 図000006
  • 特許6954369-振動計測装置、振動計測方法、及びプログラム 図000007
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6954369
(24)【登録日】2021年10月4日
(45)【発行日】2021年10月27日
(54)【発明の名称】振動計測装置、振動計測方法、及びプログラム
(51)【国際特許分類】
   G01H 9/00 20060101AFI20211018BHJP
   G01M 99/00 20110101ALI20211018BHJP
【FI】
   G01H9/00 Z
   G01M99/00 Z
【請求項の数】12
【全頁数】20
(21)【出願番号】特願2019-554073(P2019-554073)
(86)(22)【出願日】2017年11月14日
(86)【国際出願番号】JP2017040947
(87)【国際公開番号】WO2019097579
(87)【国際公開日】20190523
【審査請求日】2020年5月7日
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110002044
【氏名又は名称】特許業務法人ブライタス
(72)【発明者】
【氏名】太田 雅彦
【審査官】 福田 裕司
(56)【参考文献】
【文献】 特開2015−175827(JP,A)
【文献】 国際公開第2016/152075(WO,A1)
【文献】 国際公開第2017/179535(WO,A1)
【文献】 特開2015−125128(JP,A)
【文献】 米国特許出願公開第2016/0040984(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01H 9/00
G01M 99/00
G01B 11/00
(57)【特許請求の範囲】
【請求項1】
対象物の振動を計測するための装置であって、
撮像装置から出力されてきた、前記対象物上の計測対象領域の時系列画像から、前記計測対象領域の面方向における変位を算出する、面方向変位算出部と、
前記時系列画像及び前記計測対象領域の面方向における変位から、前記計測対象領域の法線方向における変位を算出する、法線方向変位算出部と、
算出された、前記計測対象領域の面方向における変位、及び前記計測対象領域の法線方向における変位から、前記対象物の振動を算出する、振動算出部と、
を備え
前記面方向変位算出部が、複数の時系列画像のうちの1つの画像を基準画像、他の画像を処理画像とし、前記基準画像と前記処理画像とを対比して照合し、最も照合度合の高い前記計測対象領域の位置を特定して、前記計測対象領域の面方向における変位を算出し、
前記法線方向変位算出部が、前記計測対象領域の面方向における変位に基づいて、前記基準画像の拡大画像及び縮小画像の中心位置を設定して、前記拡大画像及び前記縮小画像を作成し、
そして、前記処理画像を前記拡大画像及び前記縮小画像に照合し、最も照合度合の高い前記拡大画像又は前記縮小画像を特定して、前記処理画像の前記基準画像に対する倍率を求め、求めた倍率を前記計測対象領域の法線方向における変位とし、
前記面方向変位算出部が、前記法線方向変位算出部による、前記計測対象領域の法線方向における変位の算出が行なわれた場合に、前記法線方向変位算出部が作成した前記拡大画像又は前記縮小画像を用いて、再度、前記計測対象領域の面方向における変位を算出し、
前記法線方向変位算出部が、再度算出された、前記計測対象領域の面方向における変位を用いて、前記計測対象領域の法線方向における変位を再度算出する、
ことを特徴とする振動計測装置。
【請求項2】
前記時系列画像が、前記対象物から分離された領域に固定された前記撮像装置から出力されてきた前記対象物上の計測対象領域の時系列画像、または前記対象物に固定されている撮像装置から出力されてきた前記対象物から分離された領域上の計測対象領域の時系列画像である、
請求項1に記載の振動計測装置。
【請求項3】
前記振動算出部が、
前記計測対象領域の面方向における変位と前記撮像装置の撮影情報とに基づいて、前記計測対象領域の面方向における振動を算出し、
前記計測対象領域の法線方向における変位と前記撮像装置から前記対象物までの距離とに基づいて、前記計測対象領域の法線方向における振動を算出する、
請求項1または2に記載の振動計測装置。
【請求項4】
前記計測対象領域の面方向が、前記時系列画像の水平方向に対応する方向と、前記時系列画像の垂直方向に対応する方向とを含む、
請求項1〜のいずれかに記載の振動計測装置。
【請求項5】
対象物の振動を計測するための方法であって、
(a)撮像装置から出力されてきた、前記対象物上の計測対象領域の時系列画像から、前記計測対象領域の面方向における変位を算出する、ステップと、
(b)前記時系列画像及び前記計測対象領域の面方向における変位から、前記計測対象領域の法線方向における変位を算出する、ステップと、
(c)算出された、前記計測対象領域の面方向における変位、及び前記計測対象領域の法線方向における変位から、前記対象物の振動を算出する、ステップと、
有し、
前記(a)のステップにおいて、複数の時系列画像のうちの1つの画像を基準画像、他の画像を処理画像とし、前記基準画像と前記処理画像とを対比して照合し、最も照合度合の高い前記計測対象領域の位置を特定して、前記計測対象領域の面方向における変位を算出し、
前記(b)のステップにおいて、前記計測対象領域の面方向における変位に基づいて、前記基準画像の拡大画像及び縮小画像の中心位置を設定して、前記拡大画像及び前記縮小画像を作成し、
そして、前記処理画像を前記拡大画像及び前記縮小画像に照合し、最も照合度合の高い前記拡大画像又は前記縮小画像を特定して、前記処理画像の前記基準画像に対する倍率を求め、求めた倍率を前記計測対象領域の法線方向における変位とし、
更に、当該方法は、
(d)前記(b)のステップによる、前記計測対象領域の法線方向における変位の算出が行なわれた場合に、前記(b)のステップで作成した前記拡大画像又は前記縮小画像を用いて、再度、前記計測対象領域の面方向における変位を算出する、ステップと、
(e)前記(d)のステップで再度算出された、前記計測対象領域の面方向における変位を用いて、前記計測対象領域の法線方向における変位を再度算出する、ステップと、
を有していることを特徴とする振動計測方法。
【請求項6】
前記時系列画像が、前記対象物から分離された領域に固定された前記撮像装置から出力されてきた前記対象物上の計測対象領域の時系列画像、または前記対象物に固定されている撮像装置から出力されてきた前記対象物から分離された領域上の計測対象領域の時系列画像である、
請求項に記載の振動計測方法。
【請求項7】
前記(c)のステップにおいて、
前記計測対象領域の面方向における変位と前記撮像装置の撮影情報とに基づいて、前記計測対象領域の面方向における振動を算出し、
前記計測対象領域の法線方向における変位と前記撮像装置から前記対象物までの距離とに基づいて、前記計測対象領域の法線方向における振動を算出する、
請求項5または6に記載の振動計測方法。
【請求項8】
前記計測対象領域の面方向が、前記時系列画像の水平方向に対応する方向と、前記時系列画像の垂直方向に対応する方向とを含む、
請求項5〜7のいずれかに記載の振動計測方法。
【請求項9】
コンピュータによって対象物の振動を計測するためのプログラムであって、
前記コンピュータに、
(a)撮像装置から出力されてきた、前記対象物上の計測対象領域の時系列画像から、前記計測対象領域の面方向における変位を算出する、ステップと、
(b)前記時系列画像及び前記計測対象領域の面方向における変位から、前記計測対象領域の法線方向における変位を算出する、ステップと、
(c)算出された、前記計測対象領域の面方向における変位、及び前記計測対象領域の法線方向における変位から、前記対象物の振動を算出する、ステップと、
を実行させ
前記(a)のステップにおいて、複数の時系列画像のうちの1つの画像を基準画像、他の画像を処理画像とし、前記基準画像と前記処理画像とを対比して照合し、最も照合度合の高い前記計測対象領域の位置を特定して、前記計測対象領域の面方向における変位を算出し、
前記(b)のステップにおいて、前記計測対象領域の面方向における変位に基づいて、前記基準画像の拡大画像及び縮小画像の中心位置を設定して、前記拡大画像及び前記縮小画像を作成し、
そして、前記処理画像を前記拡大画像及び前記縮小画像に照合し、最も照合度合の高い前記拡大画像又は前記縮小画像を特定して、前記処理画像の前記基準画像に対する倍率を求め、求めた倍率を前記計測対象領域の法線方向における変位とし、
更に、前記コンピュータに、
(d)前記(b)のステップによる、前記計測対象領域の法線方向における変位の算出が行なわれた場合に、前記(b)のステップで作成した前記拡大画像又は前記縮小画像を用いて、再度、前記計測対象領域の面方向における変位を算出する、ステップと、
(e)前記(d)のステップで再度算出された、前記計測対象領域の面方向における変位を用いて、前記計測対象領域の法線方向における変位を再度算出する、ステップと、
を実行させる、プログラム。
【請求項10】
前記時系列画像が、前記対象物から分離された領域に固定された前記撮像装置から出力されてきた前記対象物上の計測対象領域の時系列画像、または前記対象物に固定されている撮像装置から出力されてきた前記対象物から分離された領域上の計測対象領域の時系列画像である、
請求項に記載のプログラム。
【請求項11】
前記(c)のステップにおいて、
前記計測対象領域の面方向における変位と前記撮像装置の撮影情報とに基づいて、前記計測対象領域の面方向における振動を算出し、
前記計測対象領域の法線方向における変位と前記撮像装置から前記対象物までの距離とに基づいて、前記計測対象領域の法線方向における振動を算出する、
請求項9または10に記載のプログラム。
【請求項12】
前記計測対象領域の面方向が、前記時系列画像の水平方向に対応する方向と、前記時系列画像の垂直方向に対応する方向とを含む、
請求項9〜11のいずれかに記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、構造物の振動を計測するための、振動計測装置、及び振動計測方法に関し、更には、これらを実現するためのプログラムに関する。
【背景技術】
【0002】
従来から、対象物の機械振動を遠隔から非接触で計測する技術が提案されている。このような技術によれば、振動検出用のセンサの取り付け及び取り外しが不要となり、効率的な振動計測が可能となるため、特に橋梁・道路・建築物・設備などのインフラ構造物の維持管理及び異常検知などの分野でニーズがある。
【0003】
例えば、特許文献1は、撮像装置を用いた振動計測装置を開示している。特許文献1に開示された振動計測装置は、撮像装置から対象物の時系列画像を取得し、取得した時系列画像に対して画像処理を行なって、対象物の振動を計測する。但し、特許文献1に開示された振動計測装置では、画像内の2次元の方向での振動成分しか計測できず、撮像装置の光軸方向の振動成分が計測できないという問題がある。
【0004】
これに対して、特許文献2は、撮像装置に加えて、レーザ距離計及び超音波距離計などの距離測定装置を用いた振動計測装置を開示している。特許文献2に開示された振動計測装置によれば、画像内の2次元の方向での振動成分だけでなく、距離測定装置によって撮像装置の光軸方向における振動成分も計測できるため、3次元方向において対象物の振動を計測することができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2003−156389号公報
【特許文献2】特開2005−283440号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献2のように撮像装置と距離測定装置とを用いた3次元の振動を計測する場合には、特に距離方向の振動の計測精度が低下しやすいという問題がある。以下に、その問題点について説明する。
【0007】
「距離測定装置を別の計測装置で計測した場合」の特徴として、上記特許文献2に示されているような距離測定装置には、原理的に繰り返し精度が低くなりやすいという特徴がある。そのため、精度を高めるには複数回計測した距離を平均化する必要があるため、計測の精度とサンプリングレートにはトレードオフの関係が存在する。計測の安定性及び精度を高めるためには、実用的なサンプリングレートは10〜30Hz程度である。特に、対象物との距離が離れている場合には、実用的なサンプリングレートは低くなる傾向がある。
【0008】
一方で、画像から2次元の方向の振動成分を計測する場合では、画像の撮影フレームレートと同じサンプリングレートで2次元方向の振動成分を算出することができる。一般的に60Hz程度で撮影した場合、60Hzで2次元の振動成分が算出できる。上記特許文献2に開示された距離測定装置と組み合わせて、同程度のサンプリングレートで計測を行なう必要がある場合は、距離測定装置で計測された距離の値を十分に平均化できず、距離方向の振動計測結果の変動が大きくなる。従って、距離方向の振動計測の精度が低下しやすい。
【0009】
また、画像から2次元の方向の振動成分を計測する場合は、画像間の変位を計算するため、画像を撮影した瞬間の2次元の方向の振動成分を計測することができる。一方、上述したように、特許文献2に示されているような距離測定装置で得た距離の値は、精度を高めて安定化させるために複数回計測した距離の値を平均化している。そのため、2次元の方向の振動成分に対しては、距離方向の振動成分には平均化に伴う時間遅れ、すなわちタイムラグが含まれる。そのため、3次元の振動成分のうち、距離方向の振動成分だけ遅延を含む性質が異なる振動成分が含まれることになるという問題がある。
【0010】
「距離測定を画像中のレーザマーカ対の画素間隔から計測する場合」の特徴として、2次元方向の振動成分を計測するための画像を撮影する撮像装置と、レーザマーカ対の画素間隔から距離成分を計測するための画像を撮影する撮像装置とが、同じ撮像装置で実現できる。そのため、上述したような別の計測装置で計測した場合の欠点は、解決できる。しかしながら、このような構成の場合、計測対象物の表面上のレーザ照射点が識別できるような画像を撮影する必要があることから、指向性を絞ったレーザ光を照射する必要があるので、必然的に計測対象物の表面上の測距点の面積は小さくなる。
【0011】
ここで、計測対象物の表面に凹凸が存在するような場合には、計測対象物が3次元方向に振動すると、測距点の位置およびその高さは照射の度に変化してしまう。そのため、計測された距離の値には表面の凹凸分の誤差が含まれてしまう。従って、上述の距離測定装置では、測距精度を高めることが難しく、結果、振動計測の精度も低下してしまう。
【0012】
本発明の目的の一例は、上記問題を解消し、3次元の振動を伴う対象物の振動計測における精度の向上を図り得る、振動計測装置、振動計測方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0013】
上記目的を達成するため、本発明の一側面における振動計測装置は、対象物の振動を計測するための装置であって、
撮像装置から出力されてきた、前記対象物上の計測対象領域の時系列画像から、前記計測対象領域の面方向における変位を算出する、面方向変位算出部と、
前記時系列画像及び前記計測対象領域の面方向における変位から、前記計測対象領域の法線方向における変位を算出する、法線方向変位算出部と、
算出された、前記計測対象領域の面方向における変位、及び前記計測対象領域の法線方向における変位から、前記対象物の振動を算出する、振動算出部と、
を備えていることを特徴とする。
【0014】
また、上記目的を達成するため、本発明の一側面における振動計測方法は、対象物の振動を計測するための方法であって、
(a)撮像装置から出力されてきた、前記対象物上の計測対象領域の時系列画像から、前記計測対象領域の面方向における変位を算出する、ステップと、
(b)前記時系列画像及び前記計測対象領域の面方向における変位から、前記計測対象領域の法線方向における変位を算出する、ステップと、
(c)算出された、前記計測対象領域の面方向における変位、及び前記計測対象領域の法線方向における変位から、前記対象物の振動を算出する、ステップと、
を備えていることを特徴とする。
【0015】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって対象物の振動を計測するためのプログラムであって、
前記コンピュータに、
(a)撮像装置から出力されてきた、前記対象物上の計測対象領域の時系列画像から、前記計測対象領域の面方向における変位を算出する、ステップと、
(b)前記時系列画像及び前記計測対象領域の面方向における変位から、前記計測対象領域の法線方向における変位を算出する、ステップと、
(c)算出された、前記計測対象領域の面方向における変位、及び前記計測対象領域の法線方向における変位から、前記対象物の振動を算出する、ステップと、
を実行させる、プログラム。
【発明の効果】
【0016】
以上のように、本発明によれば、撮像装置で得た画像から3次元の振動成分を算出することができるため、振動を伴う対象物の振動計測における精度の向上を図ることができる。
【図面の簡単な説明】
【0017】
図1図1は、本発明の実施の形態における振動計測装置の構成を示すブロック図である。
図2図2は、本発明の実施の形態における振動計測装置の動作を示すフロー図である。
図3図3は、本発明の実施の形態の変形例1における振動計測装置の構成を示すブロック図である。
図4図4は、本発明の実施の形態の変形例2における振動計測装置の構成を示す図である。
図5図5は、本発明の実施の形態の変形例3における振動計測装置の具体的構成を示すブロック図である。
図6図6は、本発明の実施の形態における振動計測装置10を実現するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【0018】
(実施の形態)
以下、本発明の実施の形態における振動計測装置、振動計測方法、及びプログラムについて、図1図6を参照しながら説明する。
【0019】
[装置構成]
最初に、図1を用いて、本実施の形態における振動計測装置の構成について説明する。図1は、本発明の実施の形態における振動計測装置の構成を示すブロック図である。
【0020】
図1に示す本実施の形態における振動計測装置10は、対象物30の振動を計測するための装置である。振動計測装置10は、面方向変位算出部11と、法線方向変位算出部12と、振動算出部13とを備えている。また、振動計測装置10は撮像装置20と接続されている。撮像装置20は、対象物30上の計測対象領域を撮影可能となるように、対象物から分離された領域(以下、「分離領域」と表記する。)40(例えば、地面)に固定具21によって配置されている。
【0021】
面方向変位算出部11は、撮像装置20から出力されてきた、対象物30上の計測対象領域の時系列画像から、計測対象領域の面方向における変位を算出する。法線方向変位算出部12は、時系列画像及び計測対象領域の面方向における変位から、計測対象領域の法線方向における変位を算出する。振動算出部13は、算出された、計測対象領域の面方向における変位、及び計測対象領域の法線方向における変位から、対象物の振動を算出する。
【0022】
このように、本実施の形態では、撮像装置20によって撮影された対象物30上の計測対象領域の画像から、対象物30上の計測対象領域の3次元方向における振動が計測される。このため、本実施の形態によれば、振動を伴う構造物の振動計測における精度の向上を図ることができる。
【0023】
本実施の形態においては、対象物30としては、橋梁、道路、建築物、設備等のインフラ構造物が挙げられる。また、計測対象領域は、対象物30上に設定されている。具体的には、本実施の形態では、対象物30が橋梁である場合、計測対象領域としては、例えば、橋梁の桁、床版等の下面の所定の領域が挙げられる。
【0024】
また、本実施の形態において、対象物30は、インフラ構造物に限定されることはなく、3次元方向の動き及び振動をともなうものであれば良い。計測対象領域は、図1の例では、上述した橋梁の桁、床版等の下面のような鉛直方向に垂直な領域(図1参照)であるが、これに限定されず、鉛直方向に平行な領域(例えば、橋梁の高欄など側面の領域)であっても良い。
【0025】
続いて、本実施の形態における振動計測装置10の構成をより具体的に説明する。まず、本実施の形態1では、図1に示したように、撮像装置20は、撮影方向が鉛直方向に平行となり、且つ、受光面が計測対象領域と平行となるようにして、地面等の分離領域40に固定具21によって配置されている。
【0026】
すなわち、撮像装置20を構成する固体撮像素子の受光面の法線が計測対象領域の法線と平行となり、且つ、撮影された時系列画像内における2次元の方向(時系列画像の水平方向及び時系列画像の垂直方向とする)が計測対象領域の面方向に平行となるように、配置されている。ここでの計測対象領域の面方向とは、対象物30上の計測対象領域が構成する面に対して平行な方向を意味する。時系列画像の水平方向をX方向、時系列画像の垂直方向をY方向、計測対象領域の法線方向(鉛直方向)をZ方向とする。
【0027】
面方向変位算出部11は、本実施の形態では、撮像装置20が出力する時系列画像を取得し、任意の時刻に撮像された画像を基準画像とし、それ以外を処理画像とする。そして、面方向変位算出部11は、処理画像毎に、基準画像上の注目領域、すなわち画像内での計測対象領域を含む特定の領域(以下「特定領域」と表記する)を探索して、面方向における変位(d1x、d1y)を算出する。
【0028】
具体的には、面方向変位算出部11は、まず、処理画像と基準画像とを対比して照合し、処理画像毎に、最も照合度合の高い計測対象領域の位置を特定する。また、面方向変位算出部11は、特定した位置を、X方向における変位d1x、Y方向における変位d1yとして算出する。最も照合度合いの高い計測対象領域の探索手法としては、例えば、SAD(Sum of Squared Difference)、SSD(Sum ofAbsolute Difference)、NCC(Normalized Cross-Correlation)、ZNCC(Zero-means Normalized Cross-Correlation)等の類似度相関関数を用いて、最も相関が高い位置(座標)を探索する手法が挙げられる。
【0029】
また、最も照合度合いの高い計測対象領域の探索手法として、フィッティングを用いることもできる。この方法によると、より精度良く、サブピクセル精度で類似している領域の位置(座標)を算出できる。具体的には、最も照合度合いが高い箇所(座標)を探索した後、その箇所(座標)の前後左右の位置(座標)における類似度相関関数を算出する。その後、算出した各座標の類似度相関関数を用いて、直線フィッティング、曲線フィッティング、パラボラフィッティングなどの手法を適用して、座標間の最も照合度合いが高い位置を探索する。これにより、サブピクセル精度で類似している領域の位置(座標)をすることが算出できる。
【0030】
法線方向変位算出部12は、特定領域の法線方向の変位d1zを算出するため、基準画像を予め定められた倍率で拡大及び縮小することによって画像群(以下「基準画像群」と表記する)を作成する。このとき、法線方向変位算出部12は、先に算出した面方向における変位(d1x、d1y)に基づいて、基準画像の拡大画像及び縮小画像の中心位置を設定して、基準画像群を作成する。
【0031】
続いて、法線方向変位算出部12は、処理画像毎に、拡大画像及び縮小画像に照合し、最も照合度合の高い拡大画像又は縮小画像を特定する。照合度合の高い画像の特定は、例えば、SAD、SSD、NCC、ZNCC等の先に述べた類似度相関関数を用いて行なうことができる。そして、法線方向変位算出部12は、基準画像群を構成する画像の中から最も類似度が高い画像、即ち、相関が高い画像を特定し、特定した画像の拡大率又は縮小率(以下「倍率」と表記する)を、特定領域の法線方向の変位を示す量(d1z)として算出する。
【0032】
また、法線方向変位算出部12は、最も照合度合が高い画像を特定した後、基準画像群の中から、特定した画像の前後の倍率の画像を選択し、特定した画像と選択した画像との類似度相関関数を算出する。そして、法線方向変位算出部12は、算出した類似度相関関数を用いて、直線フィッティング、曲線フィッティングなどの手法を適用して、法線方向の変位を示す量(d1z)となる倍率を算出することもできる。これにより、より精度良く、法線方向の変位を示す量として、倍率(d1z)を算出できることになる。このようにして処理画像毎の特定領域の変位(d1x、d1y)、および法線方向の変位を示す量として倍率(d1z)を算出する。
【0033】
また、面方向変位算出部11及び法線方向変位算出部12は、変位の精度を高めるため、上述の処理を複数回実行することができる。具体的には、面方向変位算出部11は、先に法線方向変位算出部12で算出した倍率d1zの影響を考慮して、基準画像群を構成する画像の中から、倍率d1zに対応する画像を選択し、選択した画像を新たな基準画像とする。次いで、面方向変位算出部11は、処理画像と新たな基準画像とを対比して、処理画像において、新たな基準画像に最も類似している類似箇所を特定し、その位置を求めて、類似箇所の変位(d2x、d2y)を検出する。
【0034】
次いで、法線方向変位算出部12は、面方向変位算出部11で新たに検出した変位(d2x、d2y)に基づいて、基準画像群を構成する各画像の拡大又は縮小の中心位置を設定し、新たな基準画像群を作成する。そして、法線方向変位算出部12は、処理画像と新たな基準画像群を構成する各画像との類似度を算出し、新たな基準画像群を構成する画像の中から最も類似度が高い画像を特定する。その後、法線方向変位算出部12は、特定した画像の倍率を、特定領域の法線方向の変位を示す量(d2z)として算出する。
【0035】
このように、1回目の処理では、法線方向の変位を示す倍率であるd1zが考慮されていない状態で、変位(d1x、d1y)が算出されているのに対して、2回目の処理では、倍率d1zが考慮された状態で、変位(d2x、d2y)が算出される。このため、2回目の処理で算出された変位(d2x、d2y)の方が、1回目に算出された変位に比べて、高い精度で算出されている。また、同様な処理を複数回実行する場合は、変位の精度がより向上することになる。
【0036】
なお、上述の例では、処理の繰り返し回数は2回であるが、特に限定されるものではない。繰り返しの回数は、予め設定された回数であっても良いし、結果に応じて適宜設定されても良い。また、算出された変位の値が閾値に到達するまで繰り返される態様であっても良い。
【0037】
また、以降の説明では、ある処理画像において最終的に得られる変位は、変位(dnx、dny)と、法線方向の変位を示す量である倍率(dnz)とで表される。時系列画像に対して同様に変位を算出した結果は、時間変化する値として扱うことができるため、変位(dnx(t)、dny(t))、および倍率(dnz(t))と表記する。
【0038】
振動算出部13は、本実施の形態では、まず、特定領域の面方向における変位と撮像装置20の撮影情報とに基づいて、対象物30上の計測対象領域の面方向における振動を算出する。続いて、振動算出部13は、特定領域の法線方向における変位と撮像装置20から対象物30までの距離とに基づいて、対象物30上の計測対象領域の法線方向における振動を算出する。
【0039】
具体的には、特定領域の面方向における変位(dnx(t)、dny(t))は、ピクセル単位で算出されている。従って、振動算出部13は、下記の数1及び数2に示すように、X方向及びY方向それぞれにおける撮像装置20の撮像素子の1ピクセル当たりの長さ(Dx、Dy)[mm/pixel]を用いて、X方向及びY方向それぞれにおける移動量(△x、△y)[mm]を算出する。また、撮像素子の1ピクセル当たりの長さ(Dx、Dy)[mm/pixel]は、撮像素子の画素ピッチ(px、py)[mm]と、レンズの焦点距離f[mm]と、レンズの主点から計測対象領域までの距離L[mm]とを用いて、下記の数3及び数4から算出できる。
【0040】
(数1)
△x=Dx・dnx(t)
【0041】
(数2)
△y=Dy・dny(t)
【0042】
(数3)
Dx=px・(L/f)
【0043】
(数4)
Dy=py・(L/f)
【0044】
また、特定領域の法線方向における変位は、倍率として算出されている。従って、振動算出部13は、下記の数5に示すように、撮像素子の主点から特定領域までの距離L[mm]を用いて、Z方向(法線方向)における移動量△z[mm]を算出する。
【0045】
(数5)
Δz=L・dnz(t)
【0046】
また、このようにして得られた計測対象領域の移動量(△x、△y、△z)は、時系列画像を撮影したフレーム毎に得られている。よって、時系列画像毎に得られた各移動量は、撮影フレームレートの逆数をサンプリング間隔とした計測対象領域の振動成分を表している。このため、振動算出部13で算出した時系列画像毎に得られた各移動量は、X方向、Y方向、及びZ方向それぞれについての計測対象領域の振動情報(振動波形)として扱うことができる。
【0047】
[装置動作]
次に、本実施の形態における振動計測装置10の動作について図2を用いて説明する。図2は、本発明の実施の形態における振動計測装置の動作を示すフロー図である。以下の説明においては、適宜図1を参酌する。また、本実施の形態では、振動計測装置10を動作させることによって、振動計測方法が実施される。よって、本実施の形態における振動計測方法の説明は、以下の振動計測装置の動作説明に代える。
【0048】
図3に示すように、最初に、振動計測装置10において、面方向変位算出部11は、撮像装置20から出力されてきている、対象物30の計測対象領域を撮影した時系列画像の画像データを取得する(ステップA1)。
【0049】
次に、面方向変位算出部11は、ステップA1で取得された時系列画像の画像データを用いて、画像データ中の計測対象領域を含む領域である特定領域の面方向における変位(d1x、d1y)を算出する(ステップA2)。そして、面方向変位算出部11は、時系列画像の画像データと算出した面方向における変位とを、法線方向変位算出部12に渡す。
【0050】
次に、法線方向変位算出部12は、ステップA2で面方向変位算出部11から受け渡された、時系列画像の画像データと、特定領域の面方向における変位とから、特定領域の法線方向における変位d1zを算出する(ステップA3)。
【0051】
次に、法線方向変位算出部12は、ステップA2及びA3の実行回数が閾値Nに達したかどうかを判定する(ステップA4)。閾値Nは、予め行なわれる実験等によって適宜設定されている。また、閾値Nは1に設定されていても良い。
【0052】
ステップA4の判定の結果、ステップA2及びA3の実行回数が閾値Nに達していない場合は、法線方向変位算出部12は、面方向変位算出部11に、再度ステップA2を実行するように指示する。これにより、再度、ステップA2及びA3が実行される。また、閾値Nは2以上の場合には、実行回数の最終回において、ステップA3の処理がスキップされように設定されていても良い。
【0053】
一方、ステップA4の判定の結果、ステップA2及びA3の実行回数が閾値Nに達している場合は、法線方向変位算出部12は、変位の算出が行なわれた処理画像の枚数が閾値mより少ないかどうかを判定する(ステップA5)。閾値mは、予め行なわれる実験等によって適宜設定されている。
【0054】
ステップA5の判定の結果、処理画像の枚数が閾値mより少ない場合は、法線方向変位算出部12は、面方向変位算出部11に、再度ステップA1を実行するように指示する。この場合、別の処理画像に対して、ステップA1〜A4が実行される。
【0055】
一方、ステップA5の判定の結果、処理画像の枚数が閾値mより少なくない場合(枚数が閾値mとなった場合)は、法線方向変位算出部12は、振動算出部13に振動を算出するように指示する。これにより、振動算出部13は、処理画像毎の、ステップA2で算出された特定領域の面方向における変位、及びステップA3で算出された特定領域の法線方向における変位から、対象物30の振動を算出する(ステップA6)。
【0056】
[実施の形態における効果]
以上のように本実施の形態によれば、撮像装置20によって撮影された対象物30の時系列画像から、対象物30の3次元方向における振動が計測される。このため、本実施の形態によれば、振動を伴う構造物の振動計測における精度の向上を図ることができる。
【0057】
[プログラム]
本実施の形態におけるプログラムは、コンピュータに、図3に示すステップA1〜A6を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における振動計測装置10と振動計測方法とを実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、面方向変位算出部11、法線方向変位算出部12、及び振動算出部13として機能し、処理を実行する。。
【0058】
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ面方向変位算出部11、法線方向変位算出部12、及び振動算出部13のいずれかとして機能しても良い。
【0059】
[変形例1]
ここで、本実施の形態における変形例1について説明する。図は、本発明の実施の形態の変形例1における振動計測装置の構成を示すブロック図である。
【0060】
に示すように、本実施の形態の変形例1では、振動計測装置10は、上述した面方向変位算出部11、法線方向変位算出部12、及び振動算出部13に加えて、更に、負荷推定部14も備えている。
【0061】
負荷推定部14は、振動算出部13によって算出された振動に基づいて、対象物30に加わった負荷を推定する。具体的には、負荷推定部14は、振動算出部13によって算出された振動波形から、X方向、Y方向、及びZ方向について、対象物30の振動特性を算出する。振動特性とは、ここでは特定の周波数における振幅情報を指す。そして、負荷推定部14は、特定した振幅から、対象物30に加わった負荷及び外力の大きさ、方向を推定する。また、負荷推定部14は、推定結果に対して、統計処理を実行し、それによって、例えば、対象物30が橋梁であるならば、車両重量毎に通行頻度を集計する。
【0062】
具体的には、対象物30が橋梁であるとすると、Z方向の変位(橋梁の桁たわみ)は、車両重量と相関がある。そのため、既知(規定)の重量の車両が通行するときに、橋梁のたわみ量(Z方向の振動)がどの程度であるのかという情報を予め用意しておけば、たわみ量から、通行する車両が規定重量よりもどの程度軽いか、重いかを判断することが可能となる。つまり、橋梁のたわみ量と車両重量との関係を予め特定しておくことで、上述したように振動特性から対象物30に加わった負荷を推定することが可能となる。
【0063】
[変形例2]
図1に示した例では、撮像装置20は、対象物から分離された領域40(例えば、地面)に固定され、計測対象領域は対象物30に設定されているが、本実施の形態は、この例に限定されることはない。
【0064】
図4は、本発明の実施の形態の変形例2における振動計測装置の構成を示す図である。図4の例では、撮像装置20は、対象物30に固定具22によって固定されている。また、画像で撮影する計測対象領域は、対象物から分離された領域40、例えば、地面の上に設定されている。
【0065】
図4に示した例では、対象物30が振動すると、撮像装置20も一緒に振動する。このため、得られた時系列画像からは対象物30と、対象物から分離された領域40との相対的な振動成分が算出される。ここで、時系列画像として撮影されている対象物から分離された領域40上の計測対象領域が、固定されており動かない場合、得られた振動成分は、対象物30の振動成分として扱うことができる。以上のように、振動を計測したい対象物30に撮像装置20を固定した場合にも、対象物30の振動を計測することが可能となる。なお、図の例において、撮像装置20は、対象物30と共に振動するように固定されていれば良く、対象物30のどの部分に固定されていても良い。
【0066】
[変形例3]
図5は、本発明の実施の形態の変形例3における振動計測装置の構成を示す図である。図5に示すように、本変形例3では、振動計測装置10は、上述した面方向変位算出部11、法線方向変位算出部12、及び振動算出部13に加えて、更に、対象物30の状態を判定する状態判定部15を備えている。
【0067】
状態判定部15は、振動算出部13によって算出された対象物30上の計測対象領域の振動情報に基づいて、対象物30の状態を判定する。具体的には、状態判定部15は、振動算出部13によって算出されたX方向、Y方向、及びZ方向の振動波形の特性を算出する。振動波形の特性としては、振動波形そのものの最大/最小振幅、周期/振動数が挙げられる。また、振動波形の特性としては、更に、振動波形に対して周波数解析を行うことによって算出された周波数毎の振幅、固有振動数及びその周波数における振幅等も挙げられる。
【0068】
そして、状態判定部15は、算出した振動波形の特性と予め設定した各閾値とを対比することによって、対象物30の状態を判定する。例えば、対象物30が、インフラ構造物の橋梁であり、計測対象領域が、橋桁(桁とする)であるとする。このとき、桁のたわみに相当するZ方向の振動波形の最大振幅が予め定められた閾値(ここでは許容値)に比べて異常に大きい場合、橋梁の耐荷力に影響を及ぼすような異常が橋梁に発生していると判断できる。同様に、桁の横揺れの成分に当たるX方向、及びY方向の固有振動数及びその周波数における振幅が、閾値(ここでは設計値と安全係数から算出される値)と比べて大きく異なっている場合には、橋梁には何らかの状態の異常が発生していると考えられる。
【0069】
状態判定部15は、上述の例のように、対象物30に異常が発生していないかどうかを判定する。また、上述で述べた閾値は、インフラ構造物の設計値と安全係数とから求められていても良いし、インフラ構造物の設計標準、維持管理標準、又は示方書に記載の数値から求められていても良い。
【0070】
このような構成により、本変形例3によれば、計測された振動に基づいて、対象物30の状態を判定することもできるため、特に対象物30がインフラ構造物である場合は、劣化状態を特定することも可能となる。
【0071】
また、本変形例3は、変形例1に適用することもできる。この場合、負荷推定部14によって、負荷が推定されると、状態判定部15は、推定された負荷に基づいて、対象物30の状態判定を行う。例えば、上述のように、車両重量毎に通行頻度を集計された場合は、状態判定部15は、集計結果から、橋梁の桁、床版における累積疲労損傷度評価を行うことができる。また、この場合、状態判定部15は、累積疲労損傷度評価の結果に基づいて、異常判定を行うこともできる。
【0072】
[物理構成]
ここで、本実施の形態におけるプログラムを実行することによって、振動計測装置10を実現するコンピュータについて図6を用いて説明する。図6は、本発明の実施の形態における振動計測装置10を実現するコンピュータの一例を示すブロック図である。
【0073】
図6に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。
【0074】
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
【0075】
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
【0076】
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
【0077】
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、又はCD−ROM(Compact DiskRead Only Memory)などの光学記録媒体が挙げられる。
【0078】
なお、本実施の形態における振動計測装置10は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、振動計測装置10は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【0079】
上述した実施の形態の一部又は全部は、以下に記載する(付記1)〜(付記18)によって表現することができるが、以下の記載に限定されるものではない。
【0080】
(付記1)
対象物の振動を計測するための装置であって、
撮像装置から出力されてきた、前記対象物上の計測対象領域の時系列画像から、前記計測対象領域の面方向における変位を算出する、面方向変位算出部と、
前記時系列画像及び前記計測対象領域の面方向における変位から、前記計測対象領域の法線方向における変位を算出する、法線方向変位算出部と、
算出された、前記計測対象領域の面方向における変位、及び前記計測対象領域の法線方向における変位から、前記対象物の振動を算出する、振動算出部と、
を備えていることを特徴とする振動計測装置。
【0081】
(付記2)
前記時系列画像が、前記対象物から分離された領域に固定された前記撮像装置から出力されてきた前記対象物上の計測対象領域の時系列画像、または前記対象物に固定されている撮像装置から出力されてきた前記対象物から分離された領域上の計測対象領域の時系列画像である、
付記1に記載の振動計測装置。
【0082】
(付記3)
前記面方向変位算出部が、複数の時系列画像のうちの1つの画像を基準画像、他の画像を処理画像とし、前記基準画像と前記処理画像とを対比して照合し、最も照合度合の高い前記計測対象領域の位置を特定して、前記計測対象領域の面方向における変位を算出し、
前記法線方向変位算出部が、前記計測対象領域の面方向における変位に基づいて、前記基準画像の拡大画像及び縮小画像の中心位置を設定して、前記拡大画像及び前記縮小画像を作成し、
そして、前記処理画像を前記拡大画像及び前記縮小画像に照合し、最も照合度合の高い前記拡大画像又は前記縮小画像を特定して、前記処理画像の前記基準画像に対する倍率を求め、求めた倍率を前記計測対象領域の法線方向における変位とする、
付記1または2に記載の振動計測装置。
【0083】
(付記4)
前記面方向変位算出部が、
前記法線方向変位算出部による、前記計測対象領域の法線方向における変位の算出が行なわれた場合に、前記法線方向変位算出部が作成した前記拡大画像又は前記縮小画像を用いて、再度、前記計測対象領域の面方向における変位を算出し、
前記法線方向変位算出部が、再度算出された、前記計測対象領域の面方向における変位を用いて、前記計測対象領域の法線方向における変位を再度算出する、
付記3に記載の振動計測装置。
【0084】
(付記5)
前記振動算出部が、
前記計測対象領域の面方向における変位と前記撮像装置の撮影情報とに基づいて、前記計測対象領域の面方向における振動を算出し、
前記計測対象領域の法線方向における変位と前記撮像装置から前記対象物までの距離とに基づいて、前記計測対象領域の法線方向における振動を算出する、
付記1〜4のいずれかに記載の振動計測装置。
【0085】
(付記6)
前記計測対象領域の面方向が、前記時系列画像の水平方向に対応する方向と、前記時系列画像の垂直方向に対応する方向とを含む、
付記1〜5のいずれかに記載の振動計測装置。
【0086】
(付記7)
対象物の振動を計測するための方法であって、
(a)撮像装置から出力されてきた、前記対象物上の計測対象領域の時系列画像から、前記計測対象領域の面方向における変位を算出する、ステップと、
(b)前記時系列画像及び前記計測対象領域の面方向における変位から、前記計測対象領域の法線方向における変位を算出する、ステップと、
(c)算出された、前記計測対象領域の面方向における変位、及び前記計測対象領域の法線方向における変位から、前記対象物の振動を算出する、ステップと、
を備えていることを特徴とする振動計測方法。
【0087】
(付記8)
前記時系列画像が、前記対象物から分離された領域に固定された前記撮像装置から出力されてきた前記対象物上の計測対象領域の時系列画像、または前記対象物に固定されている撮像装置から出力されてきた前記対象物から分離された領域上の計測対象領域の時系列画像である、
付記7に記載の振動計測方法。
【0088】
(付記9)
前記(a)のステップにおいて、複数の時系列画像のうちの1つの画像を基準画像、他の画像を処理画像とし、前記基準画像と前記処理画像とを対比して照合し、最も照合度合の高い前記計測対象領域の位置を特定して、前記計測対象領域の面方向における変位を算出し、
前記(b)のステップにおいて、前記計測対象領域の面方向における変位に基づいて、前記基準画像の拡大画像及び縮小画像の中心位置を設定して、前記拡大画像及び前記縮小画像を作成し、
そして、前記処理画像を前記拡大画像及び前記縮小画像に照合し、最も照合度合の高い前記拡大画像又は前記縮小画像を特定して、前記処理画像の前記基準画像に対する倍率を求め、求めた倍率を前記計測対象領域の法線方向における変位とする、
付記7または8に記載の振動計測方法。
【0089】
(付記10)
(d)前記(b)のステップによる、前記計測対象領域の法線方向における変位の算出が行なわれた場合に、前記(b)のステップで作成した前記拡大画像又は前記縮小画像を用いて、再度、前記計測対象領域の面方向における変位を算出する、ステップと、
(e)前記(d)のステップで再度算出された、前記計測対象領域の面方向における変位を用いて、前記計測対象領域の法線方向における変位を再度算出する、ステップと、
を更に有する、付記9に記載の振動計測方法。
【0090】
(付記11)
前記(c)のステップにおいて、
前記計測対象領域の面方向における変位と前記撮像装置の撮影情報とに基づいて、前記計測対象領域の面方向における振動を算出し、
前記計測対象領域の法線方向における変位と前記撮像装置から前記対象物までの距離とに基づいて、前記計測対象領域の法線方向における振動を算出する、
付記7〜10のいずれかに記載の振動計測方法。
【0091】
(付記12)
前記計測対象領域の面方向が、前記時系列画像の水平方向に対応する方向と、前記時系列画像の垂直方向に対応する方向とを含む、
付記7〜11のいずれかに記載の振動計測方法。
【0092】
(付記13)
コンピュータによって対象物の振動を計測するためのプログラムであって、
前記コンピュータに、
(a)撮像装置から出力されてきた、前記対象物上の計測対象領域の時系列画像から、前記計測対象領域の面方向における変位を算出する、ステップと、
(b)前記時系列画像及び前記計測対象領域の面方向における変位から、前記計測対象領域の法線方向における変位を算出する、ステップと、
(c)算出された、前記計測対象領域の面方向における変位、及び前記計測対象領域の法線方向における変位から、前記対象物の振動を算出する、ステップと、
を実行させる、プログラム。
【0093】
(付記14)
前記時系列画像が、前記対象物から分離された領域に固定された前記撮像装置から出力されてきた前記対象物上の計測対象領域の時系列画像、または前記対象物に固定されている撮像装置から出力されてきた前記対象物から分離された領域上の計測対象領域の時系列画像である、
付記13に記載のプログラム
【0094】
(付記15)
前記(a)のステップにおいて、複数の時系列画像のうちの1つの画像を基準画像、他の画像を処理画像とし、前記基準画像と前記処理画像とを対比して照合し、最も照合度合の高い前記計測対象領域の位置を特定して、前記計測対象領域の面方向における変位を算出し、
前記(b)のステップにおいて、前記計測対象領域の面方向における変位に基づいて、前記基準画像の拡大画像及び縮小画像の中心位置を設定して、前記拡大画像及び前記縮小画像を作成し、
そして、前記処理画像を前記拡大画像及び前記縮小画像に照合し、最も照合度合の高い前記拡大画像又は前記縮小画像を特定して、前記処理画像の前記基準画像に対する倍率を求め、求めた倍率を前記計測対象領域の法線方向における変位とする、
付記13または14に記載のプログラム
【0095】
(付記16)
記コンピュータに、
(d)前記(b)のステップによる、前記計測対象領域の法線方向における変位の算出が行なわれた場合に、前記(b)のステップで作成した前記拡大画像又は前記縮小画像を用いて、再度、前記計測対象領域の面方向における変位を算出する、ステップと、
(e)前記(d)のステップで再度算出された、前記計測対象領域の面方向における変位を用いて、前記計測対象領域の法線方向における変位を再度算出する、ステップと、
更に実行させる、付記15に記載のプログラム
【0096】
(付記17)
前記(c)のステップにおいて、
前記計測対象領域の面方向における変位と前記撮像装置の撮影情報とに基づいて、前記計測対象領域の面方向における振動を算出し、
前記計測対象領域の法線方向における変位と前記撮像装置から前記対象物までの距離とに基づいて、前記計測対象領域の法線方向における振動を算出する、
付記13〜16のいずれかに記載のプログラム
【0097】
(付記18)
前記計測対象領域の面方向が、前記時系列画像の水平方向に対応する方向と、前記時系列画像の垂直方向に対応する方向とを含む、
付記13〜17のいずれかに記載のプログラム
【産業上の利用可能性】
【0098】
以上のように、本発明によれば、振動を伴う構造物の振動計測における精度の向上を図ることができる。本発明は、橋梁・道路・建築物・設備などのインフラ構造物の維持管理及び異常検知などの分野に有用である。
【符号の説明】
【0099】
10 振動計測装置
11 面方向変位算出部
12 法線方向変位算出部
13 振動算出部
14 負荷推定部
15 状態判定部
20 撮像装置
21 固定具
22 固定具
30 対象物
40 対象物から分離された領域(地面)
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
図1
図2
図3
図4
図5
図6