特許 7235242 監視システム及び監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-28

(45)【発行日】2023-03-08

(54)【発明の名称】監視システム及び監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230301BHJP

   E01D 22/00 20060101ALI20230301BHJP

   G06T 7/00 20170101ALI20230301BHJP

   G06T 7/215 20170101ALI20230301BHJP

   G06T 7/269 20170101ALI20230301BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

E01D22/00 A

G06T7/00 610Z

G06T7/215

G06T7/269

【請求項の数】 6

(21)【出願番号】P 2019070202

(22)【出願日】2019-04-01

(65)【公開番号】P2020170907

(43)【公開日】2020-10-15

【審査請求日】2022-03-25

(73)【特許権者】

【識別番号】592254526

【氏名又は名称】学校法人五島育英会

(73)【特許権者】

【識別番号】505389695

【氏名又は名称】首都高速道路株式会社

(73)【特許権者】

【識別番号】513220562

【氏名又は名称】首都高技術株式会社

(73)【特許権者】

【識別番号】591216473

【氏名又は名称】一般財団法人首都高速道路技術センター

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100196829

【弁理士】

【氏名又は名称】中澤 言一

(72)【発明者】

【氏名】三木 千壽

(72)【発明者】

【氏名】関屋 英彦

(72)【発明者】

【氏名】平野 秀一

(72)【発明者】

【氏名】中溝 翔

(72)【発明者】

【氏名】塚田 翔祐

(72)【発明者】

【氏名】大宮 勲

(72)【発明者】

【氏名】葉山 瑞樹

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１７－６７７２１（ＪＰ，Ａ）

【文献】特開２０１５－１９０２７０（ＪＰ，Ａ）

【文献】特開２０１８－１３８９３０（ＪＰ，Ａ）

【文献】国際公開第２０１７／１３０７００（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１１０２７８（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１３０６９９（ＷＯ，Ａ１）

【文献】国際公開第２０１０／１３１４８９（ＷＯ，Ａ１）

【文献】特開２０１７－２６５８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２２１２１６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／００６７６３７（ＵＳ，Ａ１）

【文献】中国特許第１０８４５８８４７（ＣＮ，Ｂ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｅ０１Ｄ １／００－２４／００

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

車両等が走行する鋼橋を撮影した動画像を撮影装置から取得する取得部と、
前記動画像に含まれる複数のフレーム画像のそれぞれから複数の特徴点を抽出する抽出部と、
所定のフレーム画像に含まれる一の特徴点と同一であると見做される、他のフレームに含まれる一の特徴点を判定し、同一であると見做される複数の特徴点を含む特徴点グループを作成する作成部と、
前記特徴点グループごとに、各特徴点グループに含まれる特徴点間の変位に基づいて、各特徴点グループの振動周波数を算出する算出部と、
算出された前記振動周波数のうち、前記車両等に固有の周波数帯に含まれる振動周波数を特定し、特定された前記振動周波数の特徴点グループを特定する特定部と、
特定された前記特徴点グループに含まれる特徴点間の前記変位を増幅させ、前記増幅された変位に基づいて、特定された前記特徴点グループに含まれる前記特徴点を移動させることにより、前記複数のフレーム画像のそれぞれを変化させる画像処理部と、
変化後の前記複数のフレーム画像を含む前記動画像を出力する出力部と、
を有する監視システム。

【請求項2】

前記車両等の走行に起因する前記鋼橋の部材の変形モードに関する情報と、前記変形モードに対応する前記部材の補修補強方法に関する情報とを記憶する記憶部と、
変化後の前記フレーム画像に基づいて、前記鋼橋の部材の変形モードを判定するモード判定部と、を更に有し、
前記出力部は、判定された前記変形モードに対応する前記補修補強方法に関する情報を前記記憶部から抽出し、抽出した前記補修補強方法に関する情報を出力する、請求項１に記載の監視システム。

【請求項3】

前記複数のフレーム画像のそれぞれについて、
前記各特徴点グループの位置を算出し、互いの距離が第１距離内の特徴点グループを統合して近距離グループを作成し、
前記近距離グループに含まれる特徴点のうち、対応する前記変位が最も大きい特徴点を、当該車両等の輪位置として特定する、位置特定部を有し、
前記出力部は、前記特定された輪位置を示す軌跡画像を、対応する前記フレーム画像に重畳することで、車両等の輪位置が特定された動画像を出力する、請求項２に記載の監視システム。

【請求項4】

前記取得部は、ユーザによって入力された前記動画像に含まれる鋼橋の部材の損傷発生位置を取得し、
前記位置特定部は、前記近距離グループに含まれる特徴点のうち、対応する前記変位が最も大きい特徴点であって、前記損傷発生位置から第２距離内の特徴点を、前記損傷発生に影響を与えた車両等の輪位置として特定する、請求項３に記載の監視システム。

【請求項5】

前記取得部は、前記損傷発生位置の近傍に設置されたひずみ測定装置から出力されたひずみ応答データを測定時刻とともに取得し、
前記出力部は、前記動画像の撮影時刻と前記測定時刻とに基づいて、前記動画像と同期させたひずみ応答データを出力する、請求項４に記載の監視システム。

【請求項6】

監視システムが実行する監視方法であって、
車両等が走行する鋼橋を撮影した動画像を撮影装置から取得し、
前記動画像に含まれる複数のフレーム画像のそれぞれから複数の特徴点を抽出し、
所定のフレーム画像に含まれる一の特徴点と同一であると見做される、他のフレームに含まれる一の特徴点を判定し、同一であると見做される複数の特徴点を含む特徴点グループを作成し、
前記特徴点グループごとに、各特徴点グループに含まれる特徴点間の変位に基づいて、各特徴点グループの振動周波数を算出し、
算出された前記振動周波数のうち、前記車両等に固有の周波数帯に含まれる振動周波数を特定し、特定された前記振動周波数の特徴点グループを特定し、
特定された前記特徴点グループに含まれる特徴点間の前記変位を増幅させ、前記増幅された変位に基づいて、特定された前記特徴点グループに含まれる前記特徴点を移動させることにより、前記複数のフレーム画像のそれぞれを変化させ、
変化後の前記複数のフレーム画像を含む前記動画像を出力する、
ことを含む監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視システム及び監視方法に関する。

【背景技術】

【0002】

鋼橋に生じる損傷は、車両等の走行による活荷重が原因である場合が多く、例えば、鋼橋の疲労き裂は、車両等の走行によって鋼橋を構成する部材が変形し、特定箇所に応力集中が発生することによって発生する。このため、部材の変形状態を特定することは、補修補強の計画を策定する上で重要である。また、車両等の走行と疲労き裂とが密接に関係しているため、補修補強の計画を策定の際に、鋼橋を構成する部材に対する外力の作用位置も特定することも重要である。

【0003】

鋼橋を構成する部材の変形を特定するためには、例えば、車両等の走行によって生じたひずみ応答及び／又は変位応答の計測結果に基づいて部材の変形状態を推定すること、又は、有限要素法によって橋梁の部材の変形状態を推定すること、等が必要である。

【0004】

例えば、特許文献１には、橋脚等の大規模構造物又は建築物等の予防及び保全のために、測定対象の構造物又は建築物にひずみゲージを貼付け、構造物又は建築物に生じたひずみ応答を、ひずみゲージによって測定する方法が開示されている。

【0005】

また、特許文献２には、橋梁の有限要素（Finite Element Method，FEM）モデルを作成し、公知の有限要素解析ソフトウェアを用いて橋梁の部材の変形状態を解析的に推定する方法が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００５－２９１９９９号公報

【文献】特開２００７－２７０５５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、従来のひずみ応答等の計測結果に基づく推定方法では、ひずみゲージを設置するために橋梁の部材の対応箇所の塗膜を剥がなくてはならず、且つ、接触式変位計等を用いた変位測定が実施されることが多いため、計測に要する時間及び費用が掛かり、計測自体が困難となることがあった。

【0008】

また、従来の有限要素法による推定方法では、ＦＥＭモデルの作成に要する時間が多大であり、推定自体に時間が掛かるという問題が生じるとともに、対象となる橋梁の実構造とは異なる仮定の構造を前提とした解析が行われるため、解析結果が実現象とは相違してしまうことがあった。

【0009】

さらに、車両等の走行位置を特定するためには、道路の路面を撮影する必要があるが、歩道部等の撮影箇所の確保が困難な高速道路等ではカメラを設置できないため、撮影できない路面区間が発生することもあった。

【0010】

本発明は、このような従来の課題を解決すべくなされたものであり、鋼橋を撮影した動画像のみに基づいて、鋼橋を構成する部材の変形状態を把握することを可能とする監視システム及び監視方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明に係る監視システムは、車両等が走行する鋼橋を撮影した動画像を撮影装置から取得する取得部と、動画像に含まれる複数のフレーム画像のそれぞれから複数の特徴点を抽出する抽出部と、複数のフレーム画像のうちの２のフレーム画像において、所定のフレーム画像に含まれる一の特徴点と同一であると見做される、他のフレームに含まれる一の特徴点を判定し、同一であると見做される複数の特徴点を含む特徴点グループを作成する作成部と、特徴点グループごとに、各特徴点グループに含まれる特徴点間の変位に基づいて、各特徴点グループの振動周波数を算出する算出部と、算出された振動周波数のうち、車両等に固有の周波数帯に含まれる振動周波数を特定し、特定された振動周波数の特徴点グループを特定する特定部と、特定された特徴点グループに含まれる特徴点間の変位を増幅させ、増幅された変位に基づいて、特定された特徴点グループに含まれる特徴点を移動させることにより、複数のフレーム画像のそれぞれを変化させる画像処理部と、変化後の複数のフレーム画像を含む動画像を出力する出力部と、を有する。

【0012】

また、本発明に係る監視システムにおいて、車両等の走行に起因する鋼橋の部材の変形モードに関する情報と、変形モードに対応する部材の補修補強方法に関する情報とを記憶する記憶部と、変化後のフレーム画像に基づいて、鋼橋の部材の変形モードを判定するモード判定部と、を更に有し、出力部は、判定された変形モードに対応する補修補強方法に関する情報を記憶部から抽出し、抽出した補修補強方法に関する情報を出力することが好ましい。

【0013】

また、本発明に係る監視システムにおいて、複数のフレーム画像のそれぞれについて、特徴点グループに含まれる特徴点を抽出し、抽出された特徴点のうち、互いの距離が第１距離内の２つの特徴点を含む近距離グループを作成し、少なくとも一つの特徴点が共通する複数の近距離グループを抽出して、抽出した複数の近距離グループを統合した新たな近距離グループを作成し、複数の近距離グループが抽出されなくなるまで、新たな近距離グループの作成を繰り返し、近距離グループに含まれる特徴点のうち、対応する変位が最も大きい特徴点を、当該車両等の輪位置として特定する、位置特定部を有し、出力部は、特定された輪位置を示す軌跡画像を、対応するフレーム画像に重畳することで、車両等の輪位置が特定された動画像を出力することが好ましい。

【0014】

また、本発明に係る監視システムにおいて、取得部は、ユーザによって入力された動画像に含まれる鋼橋の部材の損傷発生位置を取得し、位置特定部は、近距離グループに含まれる特徴点のうち、対応する変位が最も大きい特徴点であって、損傷発生位置から第２距離内の特徴点を、損傷発生に影響を与えた車両等の輪位置として特定することが好ましい。

【0015】

また、本発明に係る監視システムにおいて、取得部は、損傷発生位置の近傍に設置されたひずみ測定装置から出力されたひずみ応答データを測定時刻とともに取得し、出力部は、動画像の撮影時刻と測定時刻とに基づいて、動画像と同期させたひずみ応答データを出力することが好ましい。

【0016】

本発明に係る監視方法は、監視システムが実行する監視方法であって、車両等が走行する鋼橋を撮影した動画像を撮影装置から取得し、動画像に含まれる複数のフレーム画像のそれぞれから複数の特徴点を抽出し、複数のフレーム画像のうちの２のフレーム画像において、所定のフレーム画像に含まれる一の特徴点と同一であると見做される、他のフレームに含まれる一の特徴点を判定し、同一であると見做される複数の特徴点を含む特徴点グループを作成し、特徴点グループごとに、各特徴点グループに含まれる特徴点間の変位に基づいて、各特徴点グループの振動周波数を算出し、算出された振動周波数のうち、車両等に固有の周波数帯に含まれる振動周波数を特定し、特定された振動周波数の特徴点グループを特定し、特定された特徴点グループに含まれる特徴点間の変位を増幅させ、増幅された変位に基づいて、特定された特徴点グループに含まれる特徴点を移動させることにより、複数のフレーム画像のそれぞれを変化させ、変化後の複数のフレーム画像を含む動画像を出力する、ことを含む。

【発明の効果】

【0017】

本発明に係る監視システム及び監視方法によって、鋼橋を撮影した動画像のみに基づいて、鋼橋を構成する部材の変形状態を把握することが可能となる。

【図面の簡単な説明】

【0018】

【図1】監視システムの概要を説明するための模式図である。

【図2】監視システムの概要を説明するための模式図である。

【図3】監視システム１の概略構成の一例を示す図である。

【図4】情報処理装置３の概略構成の一例を示す図である。

【図5】（ａ）は、動画像に含まれるフレーム画像の一例を示す図であり、（ｂ）は、抽出特徴点テーブルＴ１のデータ構造の一例を示す図である。

【図6】（ａ）は、対応特徴点テーブルＴ２のデータ構造の一例を示す図であり、（ｂ）は、特徴点グループテーブルＴ３のデータ構造の一例を示す図である。

【図7】（ａ）は、振動周波数帯テーブルＴ４のデータ構造の一例を示す図であり、（ｂ）は、増幅特徴点テーブルＴ５のデータ構造の一例を示す図である。

【図8】（ａ）は、輪位置テーブルＴ６のデータ構造の一例を示す図であり、（ｂ）は、軌跡画像が重畳されたフレーム画像の一例を示す図である。

【図9】（ａ）は、主桁ウェブの面内変形が撮影された変化後のフレーム画像の一例を説明するための模式図であり、（ｂ）は、床板の面外変形が撮影された変化後のフレーム画像の一例を示す図である。

【図10】補修補強方法テーブルＴ７のデータ構造の一例を示す図である。

【図11】監視システム１による監視方法の動作フローの一例を示す図である。

【発明を実施するための形態】

【0019】

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

【0020】

（監視システムの概要）
図１及び図２は、本実施形態の監視システムの概要を説明するための模式図である。

【0021】

監視システムは、鋼橋の一部又は全部を撮影するための撮影装置及び当該撮影装置によって撮影された動画像情報を処理する情報処理装置を有する。例えば、撮影装置は、車両等が走行する鋼橋の路面下部の床版の裏面を撮影できるように、撮影対象の道路橋梁等の下の地面に設置される。撮影対象が箱桁橋である場合、撮影装置は、箱桁橋の箱桁内部に設置されてもよい。撮影装置は、鋼橋のどの部材を撮影するものであってもよい。

【0022】

撮影装置は、所定の撮影方向の撮影対象空間を所定の時間間隔で撮影する。所定の時間間隔は１／３０秒であり、撮影装置は、１／３０秒ごとに所定の撮影方向の撮影対象空間を撮影した動画像情報を出力する。なお、所定の時間間隔は、１秒、１／５秒、又は１／５０秒等でもよい。情報処理装置は、例えば、パーソナルコンピュータ（Personal Computer，PC）、サーバ装置等のコンピュータである。情報処理装置は、撮影装置から動画像情報を取得し、各種の情報処理を実行する機能を有するものであれば、どのような情報処理装置であってもよい。

【0023】

情報処理装置は、撮影装置から記憶媒体を介して、撮影装置によって撮影された動画像情報を取得する。撮影装置及び情報処理装置が有線又は無線の通信機能を有する場合、情報処理装置は、当該通信機能を用いて撮影装置から動画像情報を取得してもよい。以下、動画像情報を、単に動画像と称する場合がある。

【0024】

図１の（１）は、動画像に含まれるフレーム画像の一例を示す図である。フレーム画像は、所定の時間間隔で撮影された静止画像である。例えば、動画像の所定時間間隔が１／３０秒である場合、当該動画像には１秒間に３０のフレーム画像が含まれる。図１の（１）に示すフレーム画像の例では、鋼床版の裏面に配置された、主桁ウェブ、Ｕリブ、デッキプレート、横リブ等が撮影されている。

【0025】

情報処理装置は、撮影装置から動画像を取得すると、当該動画像に含まれる複数のフレーム画像のそれぞれから複数の特徴点を抽出する。例えば、情報処理装置は、動画像に含まれる最初のフレーム画像から所定の特徴点抽出法を用いて特徴点を抽出し、以降、撮影された順番に従い、各フレーム画像から所定の特徴点抽出法を用いて特徴点を順次抽出する。情報処理装置は、動画像に含まれる最後のフレーム画像から所定の特徴点抽出法を用いて特徴点を抽出すると、特徴点の抽出処理を終了する。所定の特徴点抽出方法は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）法、又は、ＳＵＲＦ（Speeded Up Robust Features）法等である。

【0026】

情報処理装置は、特徴点の抽出処理が終了すると、複数のフレーム画像のうちの２のフレーム画像を特定する。２のフレーム画像は、連続する２つのフレーム画像である。連続する２のフレーム画像は、例えば、最初（１番目）のフレーム画像及び２番目のフレーム画像、又は、２番目のフレーム画像及び３番目のフレーム画像等である。フレーム画像の数が１０００であり且つ全てのフレーム画像が処理対象である場合、２のフレーム画像の組の数は９９９である。

【0027】

２のフレーム画像は、撮影時刻が所定時間（例えば１／１０秒）以内である２つのフレーム画像でもよい。例えば、２つのフレーム画像のうちの先のフレーム画像が最初（１番目）のフレーム画像である場合、２つのフレーム画像のうちの後のフレーム画像は、先のフレーム画像が撮影された撮影時刻から１／１０秒後に撮影されたフレーム画像でもよい。所定時間は、後述する振動周波数が算出され得る時間であれば、どのような時間であってもよい。以降、特定された２のフレーム画像のそれぞれを、対象フレーム画像と称する場合がある。

【0028】

情報処理装置は、先の対象フレーム画像から抽出された特徴点と対応する、後の対象フレーム画像から抽出された特徴点を判定する。情報処理装置は、先の対象フレーム画像から抽出された特徴点及び後の対象フレーム画像から抽出された特徴点の輝度を算出し、Ｌｕｃａｓ－Ｋａｎａｄｅ法等を用いて、先の対象フレーム画像から抽出された特徴点と同一であると見做すことができる、後の対象フレーム画像から抽出された特徴点を判定する。

【0029】

情報処理装置は、対応する２の特徴点を含むグループを作成する。以降、当該グループを対応特徴点グループと称する場合がある。

【0030】

情報処理装置は、作成された複数の対応特徴点グループを参照し、共通する特徴点を含む複数のグループを一つのグループに統合する。１番目のフレーム画像の特徴点Ａ及び２番目のフレーム画像の特徴点Ｂを含む対応特徴点グループＸと、２番目のフレーム画像の特徴点Ｂ及び３番目のフレーム画像の特徴点Ｃを含む対応特徴点グループＹとが作成された場合を例に説明する。両特徴点グループＸ及びＹは、共に特徴点Ｂを含むため、両特徴点グループＸ及びＹを統合した新たな特徴点グループが作成される。新たな特徴点グループには、特徴点Ａ、特徴点Ｂ及び特徴点Ｃが含まれる。新たな特徴点グループと、他の対応特徴点グループ又は他の新たな特徴点グループとが共通する特徴点を含む場合、共通する特徴点を有するグループを統合することで新たな特徴点グループが作成される。以降、対応特徴点グループ及び特徴点グループを、単にグループと称する場合がある。

【0031】

情報処理装置は、上述の統合処理を繰り返して実行することによって、それぞれが同一と見做すことができる複数の特徴点を含む特徴点グループを作成する。

【0032】

情報処理装置は、特徴点グループごとに、各特徴点グループに含まれる特徴点間の変位に基づいて、各特徴点グループの振動周波数（１秒間の振動数）を算出する。図１の（２）には、特徴点グループに含まれる複数の特徴点Ａ，Ｂ，Ｃ，及びＤと、特徴点間の変位が示されている。図１の（２）に示す例では、複数の特徴点Ａ，Ｂ，Ｃ，及びＤは、それぞれ異なるフレーム画像から抽出された特徴点であり且つ同一と見做すことができる特徴点であり、路面上を走行する車両等を起因として、所定の振動周波数で振動していることが示されている。

【0033】

情報処理装置は、特徴点Ａ及びＢ間の変位、特徴点Ｂ及びＣ間の変位、並びに特徴点Ｃ及びＤ間の変位に基づいて、特徴点グループの振動周波数を算出する。

【0034】

路面上を走行する車両等を起因として発生する振動の周波数帯は、例えば、０．４Ｈｚ～３．０Ｈｚの周波数帯、及び、２．０Ｈｚ～２０Ｈｚ等の公知の周波数帯である。情報処理装置は、算出された振動周波数のうち、車両等に固有の周波数帯に含まれる振動周波数を特定し、特定された振動周波数の特徴点グループを特定する。

【0035】

情報処理装置は、特定された特定された特徴点グループに含まれる特徴点間の変位を増幅させる。例えば、図１の（３）に示す例では、振動周波数が０．４Ｈｚ～３．０Ｈｚの周波数帯に含まれる場合、当該振動周波数の特徴点グループに含まれる特徴点間の変位を増幅させる。例えば、情報処理装置は、対象フレーム画像ごとに、各特徴点に対応する画素を、増幅後の変位に基づいて移動させるとともに、変位を増幅させる特徴点の間の画素を、各特徴点に対応する画素の移動に合わせて移動させる。

【0036】

図１の（４）は、増幅処理前の対象フレーム画像の一例であり、図１の（５）は、増幅処理後の対象フレーム画像の一例である。図１の（４）に示す対象フレーム画像のように、増幅処理前の対象フレーム画像における振動は微細であるため、ユーザ（道路管理者等）は、当該画像内で振動を把握し得ない。一方、図１の（５）に示す対象フレーム画像では、振動による変位が大きくなっているため、ユーザは、当該画像内で振動を把握することができる。

【0037】

情報処理装置は、全て又は一部の対象フレーム画像において増幅処理を行った後、増幅処理後の対象フレーム画像を含む動画像を作成し、作成された動画像を表示出力する。

【0038】

図２の（１）、（２）及び（３）は、動画像の表示出力画面を、時系列に従って示した例である。図２の（１）、（２）及び（３）に示すように、表示出力された動画像は、増幅処理によって変化した対象フレーム画像を含むため、ユーザ（道路管理者等）は、表示出力された動画像によって、車両等の走行に追従するように変位箇所が移動していることを把握することができる。

【0039】

以上で詳述したとおり、監視システムでは、鋼橋を撮影した動画像のみに基づいて、鋼橋を構成する部材の変形状態を把握することが可能となる。また、鋼橋を構成する部材の変形状態を把握することができるようになるため、ユーザ（道路管理者等）は、鋼橋の補修補強方法を容易に判定することが可能になる。

【0040】

なお、上述した図１及び図２の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明および本明細書の開示範囲に含まれる。

【0041】

（監視システム１）
図３は、監視システム１の概略構成の一例を示す図である。監視システム１は、撮影装置２及び情報処理装置３を有する。

【0042】

撮影装置２は、所定の画角を有する光学系と撮像素子と画像処理部とを有する。光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。なお、光学系は複数設けられてもよく、例えば、撮影装置２は、二系統の光学系を設けたステレオカメラでも、三系統の光学系を設けた三眼カメラでもよい。

【0043】

撮像素子は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、撮像面上に結像した被写体像の画像を出力する。画像処理部は、連続して撮像素子によって生成された画像から、ファイル形式の動画像を作成して出力する。

【0044】

撮影装置２は、可搬型記録媒体Ｍを着脱可能に保持する撮影装着部（図示せず）を備える。可搬型記録媒体ＭがＳＤメモリカードである場合は、撮影装着部はＳＤメモリカードスロットを備える。撮影装着部は、装着された可搬型記録媒体Ｍに動画像を記録する機能を有する。なお、可搬型記録媒体ＭがＤＶＤ－ＲＯＭである場合は、撮影装着部はＤＶＤ－ＲＯＭドライブを備える。

【0045】

撮影装置２は、所定の送信時間間隔ごとに、出力した動画像を、無線又は有線の通信ネットワークを介して情報処理装置３に、送信する撮影送信部（図示せず）を備えてもよい。所定の送信時間間隔は１０秒である。なお、所定の送信時間間隔は、５秒、１５秒、３０秒、１分でもよい。

【0046】

情報処理装置３は、パーソナルコンピュータ（Personal Computer, PC）又はサーバ装置である。情報処理装置３は、情報処理装置３は、本発明が適用可能であればよく、例えば、多機能携帯電話（所謂「スマートフォン」）、携帯電話（所謂「フィーチャーフォン」）や携帯情報端末（Personal Digital Assistant, PDA）、携帯ゲーム機、携帯音楽プレーヤ、タブレット端末、タブレットＰＣ、ノートＰＣ等でもよい。

【0047】

情報処理装置３は、鋼橋の一部（車両等が走行する路面下部の床版等）又は全部の裏面を撮影した動画像が記録された可搬型記録媒体Ｍから動画像を取得し、取得した動画像に対する各種の情報処理を実行する。

【0048】

（情報処理装置３）
図４は、情報処理装置３の概略構成の一例を示す図である。

【0049】

情報処理装置３は、撮影装置２から取得した動画像に含まれる複数のフレーム画像を変化させる機能を有する。この機能を実現するために、情報処理装置３は、記憶部３１と、操作部３２と、表示部３３と、装着部３４と、処理部３５とを備える。

【0050】

記憶部３１は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置のうちの少なくとも一つを有する。記憶部３１は、処理部３５による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部３１は、ドライバプログラムとして、表示部３３を制御する表示デバイスドライバプログラム、装着部３４を制御する情報記録／読出デバイスドライバプログラム等を記憶する。各種プログラムは、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部３１にインストールされてもよい。なお、記憶部３１は、データとして、後述する各種テーブル等を記憶する。

【0051】

操作部３２は、キーボード及びマウスである。なお、操作部３２は、タッチパネル等でもよい。ユーザは、操作部３２を用いて、文字や数字、記号等を入力することができる。操作部３２は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、発生した信号は、ユーザの指示として、処理部３５に供給される。

【0052】

表示部３３は、液晶ディスプレイである。なお、表示部３３は、有機ＥＬ（Electro－Luminescence）ディスプレイ等でもよい。表示部３３は、処理部３５から供給された映像データに応じた映像、及び、画像データに応じた画像等を表示する。

【0053】

装着部３４は、可搬型記録媒体Ｍを着脱可能に保持する入出力装置を備える。可搬型記録媒体ＭがＳＤメモリカードである場合は、装着部３４はＳＤメモリカードスロットを備える。装着部３４は、装着された可搬型記録媒体Ｍに記憶された各種情報を読み出し、且つ、装着された可搬型記録媒体Ｍに各種情報を記録する機能を有する。なお、可搬型記録媒体ＭがＤＶＤ－ＲＯＭである場合は、装着部３４はＤＶＤ－ＲＯＭドライブを備える。

【0054】

情報処理装置３は、装着部３４に代えて又は装着部３４とともに通信部（図示せず）を備えてもよい。撮影装置２が撮影送信部を備える場合、情報処理装置３の通信部は、撮影送信部から送信された動画像を、無線又は有線の通信ネットワークを介して受信する。

【0055】

処理部３５は、一又は複数個のプロセッサ及びその周辺回路を備える。処理部３５は、情報処理装置３の全体的な動作を統括的に制御するＣＰＵ（Central Processing Unit）である。処理部３５は、情報処理装置３の各種処理が記憶部３１に記憶されているプログラムや操作部３２の操作に基づいて適切な手順で実行されるように、第２通信部５１や表示部３３等の動作を制御する。処理部３５は、記憶部３１に記憶されているプログラム（オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、処理部３５は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

【0056】

処理部３５は、取得部３５１と、抽出部３５２と、作成部３５３と、算出部３５４と、特定部３５５と、画像処理部３５６と、判定部３５７と、出力処理部３５８とを有する。処理部３５が有するこれらの各部は、処理部３５が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、処理部３５が有するこれらの各部は、ファームウェアとして情報処理装置３に実装されてもよい。

【0057】

以下、図５～１０を参照して、取得部３５１と、抽出部３５２と、作成部３５３と、算出部３５４と、特定部３５５と、画像処理部３５６と、判定部３５７、及び出力処理部３５８について説明する。

【0058】

取得部３５１は、鋼橋の一部（車両等が走行する路面下部の床版の裏面等）又は全部を撮影した動画像を記録する可搬型記録媒体Ｍが、装着部３４に装着された場合、ユーザによる操作部３２の操作に応じて入力された取得指示に従って、可搬型記録媒体Ｍから動画像を取得する。取得部３５１は、可搬型記録媒体Ｍから取得した動画像を抽出部３５２に渡す。

【0059】

抽出部３５２は、取得部３５１から動画像を取得すると、動画像に含まれる複数のフレーム画像のそれぞれから複数の特徴点を抽出する。

【0060】

特徴点は、所定の特徴点抽出法を用いて画像情報から抽出される。所定の特徴点抽出法は、ＳＩＦＴ法、又は、ＳＵＲＦ法等である。また、特徴点抽出法は、コーナー検出法でもよい。コーナー検出法では、画素を移動した際の画素値の変化量に基づいて、コーナーや孤立点が特徴点として検出される。

【0061】

以下、ＳＩＦＴ法による特徴点抽出法について説明する。まず、抽出部３５２は、フレーム画像に対してＤｏＧ（Difference-of-Gaussian）処理を実行することにより、フレーム画像内の特徴点の候補を検出する。ＤｏＧ処理では、抽出部３５２は、フレーム画像に基づいて複数のＤｏＧ画像を生成し、生成した複数のＤｏＧ画像から極値が検出された画素を、特徴点の候補として特定する。

【0062】

次に、抽出部３５２は、特徴点の候補の中から所定の削除条件を満たす候補を削除することで、特徴点を抽出する。所定の削除条件は、特徴点の候補が、コーナー検出法等によって検出された点と同一であるという条件である。また、所定の削除条件は、特徴点の候補極値が所定の数値以下であるという条件であってもよい。このようにして削除された残りの特徴点の候補が、特徴点として抽出される。ＳＩＦＴ法による特徴点抽出法については、例えば、特開２０１５－２１３６１５号公報を参照されたい。

【0063】

図５（ａ）は、取得部３５１によって取得された動画像に含まれるフレーム画像の一例を示す図である。図５（ａ）に示す例には、フレーム画像と重畳する複数の特徴点が示されている。

【0064】

図５（ｂ）は、抽出特徴点テーブルＴ１のデータ構造の一例を示す図である。抽出特徴点テーブルＴ１は、取得部３５１によって取得された動画像に含まれる複数のフレーム画像から抽出された特徴点を管理するためのテーブルである。抽出部３５２は、特徴点の抽出処理後又は抽出処理中において、複数のフレーム画像のそれぞれについて抽出した特徴点に関する情報を含む抽出特徴点テーブルＴ１を記憶部３１に記憶する。

【0065】

抽出特徴点テーブルＴ１には、複数のフレーム画像のそれぞれについて、各フレーム画像のフレーム番号、撮影時刻、特徴点等が、互いに関連付けて記憶されている。フレーム番号は、各フレーム画像を一意に識別するための識別情報の一例であり、例えば、撮影された順に大きくなるような整数値である。撮影時刻は、各フレーム画像が撮影された時刻である。特徴点は、フレーム画像から抽出された各特徴点のフレーム画像内の位置である。例えば、特徴点として、フレーム画像の上辺からの画素数とフレーム画像の左辺からの画素数とで示される２次元座標値が記憶される。

【0066】

作成部３５３は、抽出特徴点テーブルＴ１から、複数のフレーム画像のうちの２の対象フレーム画像のそれぞれに関連付けられた特徴点を読み出す。例えば、作成部３５３は、複数のフレーム画像のうちの所定のフレーム画像を、先の対象フレーム画像として特定し、当該所定のフレーム画像よりも後の撮影時刻のフレーム画像を、後の対象フレーム画像として特定する。所定のフレーム画像は、例えば、複数のフレーム画像のうちの最初のフレーム画像である。所定のフレーム画像は、ユーザによって指定されたフレーム画像であってもよい。以降、先の対象フレーム画像に関連付けられた特徴点を、先の特徴点と称し、後の対象フレーム画像に関連付けられた特徴点を後の特徴点と称する場合がある。

【0067】

作成部３５３は、先の特徴点に対応する後の特徴点を判定する。例えば、作成部３５３は、先の特徴点及び後の特徴点のそれぞれの輝度を算出し、Ｌｕｃａｓ－Ｋａｎａｄｅ法等を用いて、先の特徴点と同一であると見做すことができる後の特徴点を判定する。

【0068】

Ｌｕｃａｓ－Ｋａｎａｄｅ法では、作成部３５３は、先の特徴点を始点とし、当該先の特徴点と同一であると見做すことができる後の特徴点を終点としたオプティカルフロー（動きベクトル）を算出する。先の特徴点及び後の特徴点が同じ輝度である場合、先の特徴点及び後の特徴点が同一であると見做される。この場合、先の特徴点とオプティカルフローとは式（１）のように表すことができる。

【数1】

【0069】

式（１）において、Ｉは、第１の画像情報における先の特徴点の輝度、ｘ及びｙは、先の特徴点の２次元座標、ｖ_x及びｖ_yは、オプティカルフローである。

【0070】

次に、作成部３５３は、式（１）をテーラー展開することにより式（２）を得る。

【数2】

【0071】

次に、作成部３５３は、式（２）に基づいて次のオプティカルフローの拘束式（３）を得る。

【0072】

【数3】

【0073】

次に、作成部３５３は、先の特徴点を略中心とした画像領域（仮想のウィンドウ）を設定し、当該画像領域内における全てのオプティカルフローは一定であるという条件を満たすような、当該先の特徴点を始点としたオプティカルフローを算出する。作成部３５３は、次の式（４）によってオプティカルフローを算出する。

【0074】

【数4】

【0075】

そして、作成部３５３は、先の特徴点を始点とした場合におけるオプティカルフローの終点にあたる特徴点を、当該先の特徴点に対応する後の特徴点と判定する。以降、先の特徴点及び当該先の特徴点に対応する後の特徴点（すなわち、オプティカルフローにおいて、始点に当たる特徴点と終点に当たる特徴点）を、対応する２の特徴点と称する場合がある。

【0076】

なお、Ｌｕｃａｓ－Ｋａｎａｄｅ法によるオプティカルフローの算出処理については、例えば、Ｂ．Ｄ．Ｌｕｃａｓ ａｎｄ Ｔ．Ｋａｎａｄｅ，「Ａｎ ｉｔｅｒａｔｉｖｅ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｓｔｅｒｅｏ ｖｉｓｉｏｎ」，ｉｎ Ｐｒｏｃ Ｉｍａｇｉｎｇ Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｗｏｒｋｓｈｏｐ，ｐｐ．１２１－１３０，１９８１年を参照されたい。

【0077】

図６（ａ）は、対応特徴点テーブルＴ２のデータ構造の一例を示す図である。対応特徴点テーブルＴ２は、作成部３５３によって判定された対応する２の特徴点を管理するためのテーブルである。作成部３５３は、対応する２の特徴点の判定処理後又は判定処理中において、２のフレーム画像の組ごとに判定した対応する２の特徴点を記憶する。

【0078】

対応特徴点テーブルＴ２には、２の対象フレーム画像の組ごとに、フレーム組ＩＤ（identifier）、フレーム組、対応特徴点グループ等が、互いに関連付けて記憶されている。フレーム組ＩＤは、２の対象フレーム画像の組を一意に識別するための識別情報の一例である。フレーム組は、２の対象フレーム画像のそれぞれのフレーム番号である。対応特徴点グループは、対応する２の特徴点のそれぞれの対象フレーム画像内の位置である。

【0079】

図６（ａ）に示す対応特徴点テーブルＴ２の例では、フレーム組ＩＤ「Ｂ０００００１」と、フレーム番号「０００００１」及び「０００００２」とが関連付けて記憶される。フレーム番号「０００００１」は、先の対象フレーム画像を示すフレーム番号であり、フレーム番号「０００００２」は、後の対象フレーム画像を示すフレーム番号である。さらに、対応特徴点グループを示す、対応する２の特徴点のそれぞれの対象フレーム画像内の位置「（１３２，５２８），（１３３，５２８）」，「（１４２，５１１），（１４３，５１０）」，・・・が、フレーム組ＩＤ「Ｂ０００００１」に関連付けて記憶されている。フレーム画像内の位置「（１３２，５２８）」は、フレーム番号「０００００１」の先のフレーム画像内における先の特徴点の位置である。フレーム画像内の位置「（１３３，５２８）」は、フレーム番号「０００００２」の後のフレーム画像内の後の特徴点の位置である。

【0080】

対応特徴点グループは、対応特徴点グループに含まれる２の特徴点のそれぞれを識別し得る情報であればどのような情報でもよい。

【0081】

以降、作成部３５３と、算出部３５４と、特定部３５５と、画像処理部３５６とによって、公知のEulerian Motion Magnificationを用いた動画像の誇張表現処理が実行される。以下、Eulerian Motion Magnificationの概要を説明する。なお、Eulerian Motion Magnificationの詳細は、例えば、「Eulerian Video Magnification for Revealing Subtle Changes in the World」，H.Y Wu他，ACM Transactions on Graphics(TOG), SIGGRAPH 2012, Conference Proceedings, Volume 31 Issue 4, Article No. 65, July 2012等を参照されたい。

【0082】

特定の時刻ｔにおけるフレーム画像内の特定の場所ｘに対応する輝度が、Ｉ（ｘ，ｔ）のように示すことができる。以下、Ｉ（ｘ，ｔ）が次の式（５）のように表現できる場合について説明する。

【0083】

【数5】

【0084】

δ(t)は変位関数である。

【0085】

フレーム画像が、一次テーラー級数で表すことができると仮定すると、Ｉ（ｘ，ｔ）は、次の式（６）のように表現できる。

【0086】

【数6】

【0087】

次に、Ｉ（ｘ，ｔ）に対して、バンドパスフィルタが適用されると、ｆ（ｘ）が除去され、次の式（７）に示すＢ(ｘ、ｔ）が生成される。

【0088】

【数7】

【0089】

Ｂ（ｘ，ｔ）が所定の増幅率αだけ増幅され、次の式（８）に示すように、増幅後のＢ（ｘ，ｔ）が元のＩ（ｘ，ｔ）に加算されることより、増幅信号が生成される。

【数8】

【0090】

そして、増幅信号のうちの一又は複数の信号が、動画像に合成されることで、誇張表現処理が終了する。

【0091】

以下、作成部３５３と、算出部３５４と、特定部３５５と、画像処理部３５６とによって実行される動画像の誇張表現処理の一例を説明する。

【0092】

作成部３５３は、対応特徴点テーブルＴ２に記憶されたフレーム組ＩＤに関連付けられた対応特徴点グループを読み出し、読み出した対応特徴点グループのうち、共通する特徴点を含む複数の対応特徴点グループを統合して新たな特徴点グループを作成する。

【0093】

図６（ａ）に示す対応特徴点テーブルＴ２の例では、フレーム組ＩＤ「Ｂ０００００１」に関連付けられた対応特徴点グループ「（１３２，５２８），（１３３，５２８）」と、フレーム組ＩＤ「Ｂ０００００２」に関連付けられた対応特徴点グループ「（１３３，５２８），（１３３，５２９）」とは、フレーム番号「０００００２」における特徴点の位置「（１３３，５２８）」が共通している。作成部３５３は、対応特徴点グループ「（１３２，５２８），（１３３，５２８）」と対応特徴点グループ「（１３３，５２８），（１３３，５２９）」とを統合した特徴点グループ「（１３２，５２８），（１３３，５２８），（１３３，５２９）」を作成する。

【0094】

以降、作成部３５３は、２の対応特徴点グループが共通する特徴点を含む場合、新たな特徴点グループと対応特徴点グループとが共通する特徴点を含む場合、及び、２の特徴点グループが共通する特徴点を含む場合、共通する特徴点を有するグループを統合することで新たな特徴点グループを作成する。作成部３５３は、共通する特徴点を有するグループが無くなるまで、グループの統合処理を繰り返し実行する。

【0095】

算出部３５４は、作成部３５３によるグループの統合処理が終了すると、特徴点グループごとに、各特徴点グループに含まれる特徴点間の変位に基づいて、各特徴点グループの振動周波数を算出する。例えば、算出部３５４は、特徴点間の変位の全て又は一部の向きを算出し、算出した向きの平均向きを算出する。次に、算出部３５４は、平均向きをＸ軸方向とし、平均向きの直行方向をＹ軸方向として設定する。次に、算出部３５４は、特徴点間の変位の全て又は一部の変位のベクトル（動きベクトル）を、設定したＸ軸方向の成分及びＹ軸方向の成分に分解する。そして、算出部３５４は、１秒当たりの、Ｘ軸方向の動きベクトルの成分の向きがマイナス方向に向く回数を振動周波数とする。

【0096】

図６（ｂ）は、特徴点グループテーブルＴ３のデータ構造の一例を示す図である。特徴点グループテーブルＴ３は、作成部３５３によって作成された特徴点グループ及び算出部３５４によって算出された振動周波数を管理するためのテーブルである。作成部３５３は、特徴点グループの作成処理後又は作成処理中において、作成された特徴点グループを記憶し、算出部３５４によって算出された、記憶された特徴点グループに対応する振動周波数を記憶する。

【0097】

特徴点グループテーブルＴ３には、各特徴点グループについて、特徴点グループＩＤ、グループ内特徴点、振動周波数等が、互いに関連付けて記憶されている。特徴点グループＩは、各特徴点グループを一意に識別するための識別情報の一例である。グループ内特徴点は、作成部３５３によって作成された特徴点グループに含まれる特徴点の位置と、当該特徴点の抽出元のフレーム画像のフレーム番号との組合せである。振動周波数は、算出部３５４によって算出された振動周波数である。

【0098】

図６（ｂ）に示す特徴点グループテーブルＴ３の例では、特徴点グループＩＤ「Ｇ０００１」によって示される特徴点グループに含まれるグループ内特徴点として、フレーム番号「０００００１」のフレーム画像内の位置（１３２，５２８）の特徴点、フレーム番号「０００００１」のフレーム画像内の位置（１３３，５２９）の特徴点、及びフレーム番号「０００００１」のフレーム画像内の位置「（１３３，５３０）の特徴点、・・・等が記憶される。また、特徴点グループテーブルＴ３では、特徴点グループＩＤ「Ｇ０００１」によって示される特徴点グループの振動周波数として、「２．２Ｈｚ」が記憶される。

【0099】

図７（ａ）は、振動周波数帯テーブルＴ４のデータ構造の一例を示す図である。振動周波数帯テーブルＴ４は、車両等に固有の周波数帯を管理するためのテーブルである。振動周波数帯テーブルＴ４には、複数の周波数帯が記憶されるとともに、各周波数帯に対する増幅倍率（１＋α）が関連付けて記憶されている。図７（ａ）に示す振動周波数帯テーブルＴ４の例では、０．４Ｈｚ～３．０Ｈｚの周波数帯が、車両等に固有の周波数帯であり、この周波数帯に含まれる振動周波数の特徴点グループに含まれる特徴点間の変位が増幅される。

【0100】

特定部３５５は、振動周波数帯テーブルＴ４から周波数帯「０．４Ｈｚ～３．０Ｈｚ」を読み出し、特徴点グループテーブルＴ３に記憶された複数の振動周波数のうち、読み出された周波数帯「０．４Ｈｚ～３．０Ｈｚ」に含まれる振動周波数を特定する。次に、特定部３５５は、特定した振動周波数に関連付けられた特徴点グループＩＤ及びグループ内特徴点を特定し、特定した特徴点グループＩＤ及びグループ内特徴点を画像処理部３５６に渡す。

【0101】

画像処理部３５６は、複数のフレーム画像のそれぞれについて、特定部３５５から受け取ったグループ内特徴点に基づいて、特徴点間の変位を増幅させ、増幅された変位に基づいて、特定された特徴点グループに含まれる特徴点を移動させる。画像処理部３５６は、複数のフレーム画像のそれぞれについて、移動後の特徴点と整合するように他の画素を移動させる。

【0102】

画像処理部３５６は、変化後の複数のフレーム画像を元の動画像に合成することによって、変化後の複数のフレーム画像を含む動画像を生成し、出力処理部３５８は、図２のように、生成された動画像を表示部３３に表示出力する。

【0103】

作成部３５３と、算出部３５４と、特定部３５５と、画像処理部３５６とによって実行される処理は、上述した処理に限らず、Eulerian Motion Magnificationを用いた動画像の誇張表現処理が実現する処理であれば、どのような処理であってもよい。

【0104】

図７（ｂ）は、増幅特徴点テーブルＴ５のデータ構造の一例を示す図である。増幅特徴点テーブルＴ５は、画像処理部３５６によって作成された増幅後の特徴点を管理するためのテーブルである。画像処理部３５６は、増幅処理後又は増幅処理中において、増幅後の特徴点を記憶する。

【0105】

増幅特徴点テーブルＴ５には、各特徴点グループについて、特徴点グループＩＤ、増幅特徴点、振動周波数等が、互いに関連付けて記憶されている。増幅特徴点は、画像処理部３５６によって作成された特徴点グループに含まれる増幅後の特徴点の位置と、当該特徴点の抽出元のフレーム画像のフレーム番号との組合せである。

【0106】

特定部３５５は、特徴点グループテーブルＴ３に記憶された複数の振動周波数のうち、周波数帯「０．４Ｈｚ～３．０Ｈｚ」に含まれる振動周波数に関連付けられた特徴点グループＩＤ及びグループ内特徴点を特定すると、近接する特徴点グループを統合した近距離グループを作成する。

【0107】

例えば、特定部３５５は、特定されたグループ内特徴点の平均位置又は重心位置を算出し、算出した位置を、特徴点グループ位置として、特定された特徴点グループＩＤに関連付ける。次に、特定部３５５は、特徴点グループ位置が第１距離以内の関係にある特徴点グループを統合して近距離グループを作成する。

【0108】

そして、特定部３５５は、近距離グループに含まれる特徴点のうち、複数のフレーム画像のそれぞれにおいて、対応する変位が最も大きい特徴点を、近距離グループに対応する車両等の輪位置として特定する。

【0109】

図８（ａ）は、輪位置テーブルＴ６のデータ構造の一例を示す図である。輪位置テーブルＴ６は、特定部３５５によって特定された車両等の輪位置を管理するためのテーブルである。特定部３５５は、輪位置の特定処理後又は輪位置の特定処理中において、特定された車両等の輪位置を記憶する。

【0110】

輪位置テーブルＴ６には、複数のフレーム画像のそれぞれについて、各フレーム画像のフレーム番号、輪位置情報、撮影時刻等が、互いに関連付けて記憶されている。輪位置情報は、複数のフレーム画像のそれぞれにおいて特定された、各近距離グループに対応する車輪等の輪位置を示す情報である。例えば、輪位置として、フレーム画像の上辺からの画素数とフレーム画像の左辺からの画素数とで示される２次元座標値が記憶される。

【0111】

画像処理部３５６は、変化後の複数のフレーム画像を含む動画像又は元の動画像に、特定した輪位置を示す軌跡画像を重畳した動画像を作成し、出力処理部３５８は、図８（ｂ）のように、生成された動画像を表示部３３に表示出力する。図８（ｂ）は、軌跡画像が重畳されたフレーム画像の一例を示す図である。図８（ｂ）に示す軌跡画像は、複数の輪位置を接続した線分状の画像である。

【0112】

判定部３５７は、変化後のフレーム画像に基づいて、車両等が走行する路面下部における、鋼橋の各種部材の変形モードを判定する。判定部３５７は、例えば、主桁ウェブの面内変形を示す複数のサンプル画像、及び、デッキプレートの面外変形を示す複数のサンプル画像を用いた公知の画像マッチング手法に基づいて、変化後のフレーム画像が、主桁ウェブの面内変形か、又は、デッキプレートの面外変形かを判定する。

【0113】

図９（ａ）は、主桁ウェブの面内変形が撮影された変化後のフレーム画像の一例を説明するための模式図である。図９（ａ）に示すフレーム画像の例は、変化後のフレーム画像であるため、主桁ウェブの面内変形の度合いが、元のフレーム画像よりも大きく表示されている。

【0114】

図９（ｂ）は、デッキプレートの面外変形が撮影された変化後のフレーム画像の一例を示す図である。図９（ｂ）に示すフレーム画像の例は、変化後のフレーム画像であるため、デッキプレートの面外変形の度合いが、元のフレーム画像よりも大きく表示されている。

【0115】

（変化前の）元のフレーム画像では、主桁ウェブの面内変形及びデッキプレートの面外変形の度合いが極めて小さいため、公知の画像マッチング手法を用いても、変形が判定されないことが多かった。情報処理装置３の判定部３５７は、変位が増幅された（変形の度合いの大きい）変化後のフレーム画像を用いた画像マッチング手法を適用するため、判定精度の高い画像マッチングを行うことが可能になる。

【0116】

図１０は、補修補強方法テーブルＴ７のデータ構造の一例を示す図である。補修補強方法テーブルＴ７は、変形モード及び変形モードに対応する補修補強方法を管理するためのテーブルである。

【0117】

補修補強方法テーブルＴ７には、変形モード（各部材に対する面外変形モード又は面内変形モード）ごとに、サンプル画像及び補修補強方法等が、互いに関連付けて記憶されている。サンプル画像は、過去に作成された変化後のフレーム画像のうち、各変形モードを含む画像である。なお、例えば、サンプル画像を撮影した際の撮影装置の床版からの相対位置及び撮影装置の傾きは、動画像を撮影した際の撮影装置の床版からの相対位置及び撮影装置の傾きと略同一である。

【0118】

補修補強方法は、サンプル画像によって示される変形に伴う損傷に対処する補修補強方法に関する情報である。例えば、補修補強方法は、Ｌ形鋼を用いた当て板補強、平形鋼を用いた当て板補強、及び形状改良補修等である。補修補強方法に関する情報は、補修補強方法の名称を示す文字情報、補修補強方法を説明する文字情報、及び／又は、補修補強方法を示す画像（動画像及び／又は静止画像）情報等である。

【0119】

判定部３５７によって実行される画像マッチング処理は、記憶部３１に記憶されたＡＩ（Artificial Intelligence）プログラムによって実行されるものでもよい。例えば、判定部３５７は、補修補強方法テーブルＴ７に記憶されたサンプル画像（入力データ）と補修補強方法テーブルＴ７に記憶された変形モード（出力データ）とを含む教師データに基づいて学習したニューラルネットワークモデル等を用い、変形後のフレーム画像に含まれる各種部材の変形モードの可能性を示す数値を算出してもよい。そして、判定部３５７は、算出された数値のうちの最大の数値の変形モードを、当該変形後のフレーム画像の変形モードであると判定する。

【0120】

判定部３５７によって実行される画像マッチング処理として、ＡＩプログラムを用いた画像マッチング手法が適用される場合でも、変位が増幅された（変形の度合いの大きい）変化後のフレーム画像が用いられるため、判定部３５７は、判定精度の高い画像マッチングを行うことが可能になる。

【0121】

判定部３５７は、変化後のフレーム画像について変形モードを判定すると、補修補強方法テーブルＴ７を参照し、当該変形モードに対応する補修補強方法を判定する。

【0122】

（監視システム１による監視方法の動作フロー）
図１１は、監視システム１による監視方法の動作フローの一例を示す図である。

【0123】

まず、取得部３５１は、鋼橋の一部（車両等が走行する路面下部の床版の裏面等）又は全部を撮影した動画像を記録する可搬型記録媒体Ｍが、装着部３４に装着された場合、ユーザによる操作部３２の操作に応じて入力された取得指示に従って、可搬型記録媒体Ｍから動画像を取得する（ステップＳ１０１）。

【0124】

次に、抽出部３５２は、取得部３５１によって取得された動画像に含まれる複数のフレーム画像のそれぞれから複数の特徴点を抽出する（ステップＳ１０２）。

【0125】

次に、作成部３５３は、抽出特徴点テーブルＴ１から、複数のフレーム画像のうちの２の対象フレーム画像から、対応する２の特徴点を含む対応特徴点グループを作成する（ステップＳ１０３）。

【0126】

次に、作成部３５３は、複数の対応特徴点グループに基づいて特徴点グループを作成する（ステップＳ１０４）。

【0127】

次に、算出部３５４は、特徴点グループごとに、各特徴点グループに含まれる特徴点間の変位に基づいて、各特徴点グループの振動周波数を算出する（ステップＳ１０５）。

【0128】

次に、特定部３５５は、振動周波数帯テーブルＴ４から車両等に固有の周波数帯を読み出し、算出された各特徴点グループの振動周波数のうち、車両等に固有の周波数帯に含まれる振動周波数を特定する。次に、特定部３５５は、特定した振動周波数に関連付けられた特徴点グループを特定する（ステップＳ１０６）。

【0129】

次に、画像処理部３５６は、フレーム画像ごとに、車両等に固有の周波数帯に含まれる振動周波数の特徴点グループ内の特徴点間の変位を増幅させる（ステップＳ１０７）。

【0130】

次に、画像処理部３５６は、フレーム画像ごとに、増幅された変位に基づいて、車両等に固有の周波数帯に含まれる振動周波数の特徴点グループに含まれる特徴点を移動させるとともに、移動後の特徴点と整合するように他の画素も移動させる。そして、画像処理部３５６は、変化後の複数のフレーム画像を元の動画像に合成することによって、変化後の複数のフレーム画像を含む動画像を生成する（ステップＳ１０８）。

【0131】

次に、判定部３５７は、変化後のフレーム画像に基づいて、例えば、車両等が走行する路面下部の床版及び主桁ウェブの変形モードを判定する（ステップＳ１０９）。

【0132】

そして、判定部３５７は、補修補強方法テーブルＴ７を参照し、ステップＳ１０９において判定された変形モードに対応する補修補強方法を判定する（ステップＳ１１０）。

【0133】

以上、詳述したとおり、本実施形態の監視システム１では、鋼橋の一部（道路橋梁の路面下部の床版の裏面等）又は全部を撮影した動画像のみに基づいて、鋼橋を構成する部材の変形状態を把握することが可能となる。

【0134】

（変形例１）
なお、本発明は、本実施形態に限定されるものではない。例えば、特定部３５５による輪位置の特定処理において、ユーザによって入力された鋼橋の部材（例えば、床版の裏面）の損傷発生位置が用いられてもよい。

【0135】

例えば、取得部３５１は、ユーザによって入力された、動画像に含まれる床版の裏面の損傷発生位置を取得する。例えば、取得部３５１は、表示部３３に動画像が表示されている際に、ユーザによる操作部３２の操作に応じて入力された画面位置を、損傷発生位置として取得する。特定部３５５は、複数のフレーム画像のそれぞれにおいて、特定した近距離グループに含まれ且つ取得した損傷発生位置から第２距離内の特徴点のうち、対応する変位が最も大きい特徴点を、損傷発生に影響を与えた車両等の輪位置として特定する。

【0136】

この場合、画像処理部３５６は、変化後の複数のフレーム画像を含む動画像又は元の動画像に、特定した輪位置を示す軌跡画像を重畳した動画像を作成し、出力処理部３５８は、生成された動画像を表示部３３に表示出力する。

【0137】

このように、監視システム１は、道路橋梁の路面下部の床版の裏面を撮影した動画像のみに基づいて、既に発生した損傷発生位置に影響すると推察される輪位置をユーザに提示することを可能とする。

【0138】

（変形例２）
取得部３５１は、損傷発生位置の近傍に設置されたひずみ測定装置から出力されたひずみ応答データを測定時刻とともに取得し、出力処理部３５８は、動画像に含まれる各フレーム画像の撮影時刻と取得した測定時刻とに基づいて、変化後の複数のフレーム画像を含む動画像又は元の動画像に同期させたひずみ応答データを表示部３３に表示出力してもよい。

【0139】

このように、監視システム１は、損傷発生位置に関するひずみ応答データを、変化後の複数のフレーム画像を含む動画像又は元の動画像とともにユーザに提示することを可能とする。

【0140】

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。

【符号の説明】

【0141】

１ 監視システム
２ 撮影装置
３ 情報処理装置
３１ 記憶部
３２ 操作部
３３ 表示部
３４ 装着部
３５ 処理部
３５１ 取得部
３５２ 抽出部
３５３ 作成部
３５４ 算出部
３５５ 特定部
３５６ 画像処理部
３５７ 判定部
３５８ 出力処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】