特開 2023-100044 変位量算出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023100044

(43)【公開日】2023-07-18

(54)【発明の名称】変位量算出装置

(51)【国際特許分類】

   G01B 11/00 20060101AFI20230710BHJP

【ＦＩ】

G01B11/00 H

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022000388

(22)【出願日】2022-01-05

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(72)【発明者】

【氏名】實成 優馬

(72)【発明者】

【氏名】齊藤 隆仁

(72)【発明者】

【氏名】池田 大造

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA03

2F065AA07

2F065AA09

2F065BB05

2F065BB27

2F065CC14

2F065DD03

2F065FF04

2F065JJ03

2F065JJ26

2F065MM02

2F065QQ25

2F065QQ31

2F065QQ42

2F065RR07

(57)【要約】

【課題】撮影した画像に基づいて正確に観測対象物の変位量を算出することができる変位量算出装置を提供することを目的とする。
【解決手段】変位量算出装置１００において、動画像取得部１０１は、マーカ４０１である観測対象部分を含んだ複数の画像データを取得して、変位量算出部１０３は、複数の画像データからマーカ４０１（観測対象部分）の変位量を算出する。そして、変位量補正部１０３ａは、マーカ４０１における画素ごとの変位量に対して、そのマーカ４０１（観測対象部分）における画素位置に応じた重み付け処理を行った変位量を算出する。算出結果出力部１０４は、算出された変位量を出力する。例えば、この重み付け処理は、重み付け平均処理である。
【選択図】図２

【特許請求の範囲】

【請求項1】

観測対象部分を含んだ複数の画像データを取得する画像データ取得部と、
前記複数の画像データから前記観測対象部分の変位量を算出する算出部と、
前記画素ごとの変位量に対して、前記観測対象部分における画素位置に応じた重み付け処理を行った変位量を算出する統計処理部と、
前記算出された変位量を出力する出力部と、
を備える変位量算出装置。

【請求項2】

前記観測対象部分は、所定の幾何学模様からなるマーカの一部分である、請求項１に記載の変位量算出装置。

【請求項3】

前記統計処理部は、
前記画素位置に応じて重み付け平均処理をした変位量の平均値を算出する、
請求項１または２に記載の変位量算出装置。

【請求項4】

前記統計処理部は、
前記観測対象部分の中心部分の重みを大きく、前記観測対象部分の周辺部分の重みを小さくして、重みづけ平均処理を行う、
請求項１～３のいずれか一項に記載の変位量算出装置。

【請求項5】

前記観測対象部分の近傍に配置され、前記観測対象部分の照度を計測する照度計の照度値を取得する取得部を、
さらに備え、
前記統計処理部は、
前記照度値に応じて、重み付け処理における重み係数を変える、
請求項１～４のいずれか一項に記載の変位量算出装置。

【請求項6】

時刻を計時するタイマ部、
をさらに備え、
前記統計処理部は、前記時刻に応じて、重み付け平均処理における重み係数を変える、
請求項１～４のいずれか一項に記載の変位量算出装置。

【請求項7】

前記統計処理部は、
前記画素ごとの変位量に基づいて、当該変位量の頻度分布を求め、当該頻度分布に基づいて、統計処理の対象とする変位量を用いる、
請求項１～６のいずれか一項に記載の変位量算出装置。

【請求項8】

前記頻度分布に基づいて、所定頻度以下の変位量については、統計処理の対象としない、請求項７に記載の変位量算出装置。

【請求項9】

前記頻度分布から分散を求め、当該分散に基づいて、統計処理の対象とする変位量の画素を決定する、請求項７または８に記載の変位量算出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、観測対象物の変位量を算出する変位量算出装置に関する。

【背景技術】

【0002】

特許文献１には、ビデオカメラが観測対象物を撮影し、当該観測対象物を認識して画素単位での変位を算定することで、観測対象物の変位観測を行う技術が記載されている。特許文献２には、構造物の変位量を確実に測定して算出する変位量算出方法についての記載があり、データの平均値を算出して、その平均値を構造物の変位量の代表値とすることの記載がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－７６２４号公報

【特許文献2】特開２０１６－１０９４５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の発明のように、２値化処理など画像処理により、観測対象物を認識する場合、環境に応じた条件でケース分けした処理を構築する必要があり、その処理が複雑になるという問題がある。

【0005】

また、観測したい箇所にセンサを取り付けて橋梁上に負荷をかけデータを観測して解析する方法もあるが、複数点観測したい箇所にセンサを設置する必要がある。したがって、その設置に時間がかかったり、コスト面に課題がある。

【0006】

そこで、あらかじめ用意した画像（マーカ）を用いて画像処理することにより、一または複数の画素の変位量を求める方法が考えられている。しかしながら、計測した一または複数の画素のへ飲料の計測に失敗すると、正しい変位量を求めることができない。特許文献２に記載の通りに、変位量の平均値を算出することも考えられるが、構造物の変位の位置に応じてその影響が変わり、単なる平均値とすることも好ましくない。

【0007】

そこで、上述した課題を解決するために、センサ等を用いることなく、計測処理のブレの影響を受けることなく観測対象物の変位量を簡易な処理で算出することができる変位量算出装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の変位量算出装置は、観測対象部分を含んだ複数の画像データを取得する画像データ取得部と、前記複数の画像データから前記観測対象部分の変位量を算出する算出部と、前記画素ごとの変位量に対して、前記観測対象部分における画素位置に応じた重み付け処理を行った変位量を算出する算出部と、前記算出された変位量を出力する出力部と、を備える。

【発明の効果】

【0009】

本発明によると、観測対象物の変位量を正確に算出することができる。

【図面の簡単な説明】

【0010】

【図1】本開示における変位量算出装置１００を含む構造物判定システム１０を示すシステム構成図を示す。

【図2】変位量算出装置１００の機能構成を示すブロック図である。

【図3】変位量算出装置１００の動作を示すフローチャートである。

【図4】処理Ｓ１０４における詳細処理を示すフローチャートである。

【図5】処理Ｓ１０４を模式的に示した図である。

【図6】処理Ｓ１０４の変形例を模式的に示した図である。

【図7】変位量算出モデル１００ａの学習処理を模式的に示した図である。

【図8】各画素の変位量の頻度分布を説明する模式図である。

【図9】計測不良の変位量を外すときの処理を示す模式図である。

【図10】重み付け平均処理を行うときの模式図を示す。

【図11】照度センサ３１０を利用したときの重み付け係数の設定についての説明図である。

【図12】管理テーブルの具体例を示す図である。

【図13】他の管理テーブルの具体例を示す図である。

【図14】本開示の一実施の形態に係る変位量算出装置１００のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0011】

添付図面を参照しながら本開示の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

【0012】

図１は、本開示における変位量算出装置１００を含む構造物判定システム１０を示すシステム構成図を示す。この構造物判定システム１０は、変位量算出装置１００および構造物判定装置２００を含む。

【0013】

橋梁４００が、構造物判定システム１０による判定対象の構造物である。この橋梁４００の柱には、マーカ４０１が添付されている。このマーカ４０１は、所定の模様が付されており、ＲＧＢ値の変化の検出を容易にするための画像である。この模様は、例えば、市松模様のように黒と白の矩形の組合せからなるものである。矩形の組み合わせに限るものではなく、幾何学模様などそのほか模様としてもよい。なお、本開示において、マーカ４０１は橋梁４００の柱に添付されているが、これに限らず、橋梁４００の構造状態を判定するために適した箇所であればよい。マーカ４０１は、橋梁４００の側面または底面などに添付されてもよい。

【0014】

マーカ４０１の周囲には、一または複数の照度計３２０が配置されている。照度計３２０は、太陽光などの照度を計測する部分である。カメラ３００は、マーカ４０１を撮影する際に、太陽光などの光の影響を受け、正確にマーカ４０１の画像を撮影することができない場合がある。照度計３２０は、その影響を補正するために、どれぐらいマーカ４０１に光が当たっているかをカメラ３００が判断するための照度情報を提供することができる。この照度計３２０およびその補正の仕方については後述する。

【0015】

橋梁４００の上には、車両が走行しており、その走行に応じて、橋梁４００は振動する。構造物判定システム１０は、カメラ３００が撮影したマーカ４０１の画像データを取得することとで、橋梁４００の振動による変位量を算出し、その構造物の状態を判定する。

【0016】

すなわち、変位量算出装置１００は、カメラ３００が撮影した動画データと変位量算出モデル１００ａとを用いて、橋梁４００の変位量を算出する。なお、図１においては、カメラ３００一台につき、マーカ４０１が対応付けられているが、これに限るものではない。一台のカメラ３００が、複数のマーカ４０１を撮影してもよい。

【0017】

構造物判定装置２００は、変位量に基づいて橋梁４００の状態を判定する。構造物判定装置２００は、変位量算出装置１００が算出した変位量と、所定の閾値に基づいて、構造物の状態を判定してもよいし、予め公知の機械学習により学習していた状態推定モデルを用いて、構造物の状態を判定してもよい。状態推定モデルは、例えば、複数の時系列の変位量を説明変数とし、構造物の状態を目的変数として学習される。目的変数となる構造物の状態については、予め目視など人手によりなされてもよいし、その他機械的な手法により得られた学習データとしてもよい。

【0018】

また、本発明者により出願された特願２０２０－０７６５９４号に記載の発明により判定されてもよい。この発明においては、構造物判定装置２００は、抽出された情報に基づいて判定対象の構造物である橋梁３０の状態を判定する機能部である。判定部１３は、抽出された変位量の情報をオートエンコーダによって圧縮して、圧縮した情報に基づいて橋梁３０の状態を判定する。即ち、構造物判定装置２００は、ＡＩ（人工知能）によって橋梁３０の状態を判定する。構造物判定装置２００は、橋梁４００の所定の状態における当該橋梁４００の時系列の変位を示す情報に基づいて予め設定された基準を用いて、橋梁３０の状態を判定する。

【0019】

つぎに、変位量算出装置１００について説明する。図２は、変位量算出装置１００の機能構成を示すブロック図である。図に示されるとおり、変位量算出装置１００は、動画像取得部１０１、トリミング部１０２、変位量算出部１０３、算出結果出力部１０４、および変位量算出モデル１００ａを含んで構成されている。

【0020】

動画像取得部１０１は、カメラ３００が撮影したマーカ４０１を含んだ静止画像データを取得する部分（画像データ取得部）である。すなわち、動画像取得部１０１は、カメラ３００から動画像データをネットワークを介して受信する。動画像データは、複数のフレームごとの静止画像データからなるものである。動画像取得部１０１は、この複数のフレームの静止画像データを取得する。

【0021】

トリミング部１０２は、動画像取得部１０１が取得した複数のフレームの静止画像データからマーカ４０１の部分を切り取る処理を行う部分である。このとき、トリミング部１０２は、マーカ４０１外の画像を含まないように内側を切り取る。トリミング部１０２は、複数の静止画像データに対して、それぞれ切り取り処理を行う。

【0022】

変位量算出部１０３は、切り取ったマーカ４０１の複数の画像データにおけるＲＧＢ値の変化に基づいて、画像データに含まれているマーカの動きを算出する部分である。具体的には、変位量算出部１０３は、マーカ４０１の画像データである複数の静止画像データそれぞれに対して、画素ごとにＲＧＢ値を算出する。そして、変位量算出部１０３は、変位量算出モデル１００ａに画素ごとのＲＧＢ値を入力し、変位量算出モデル１００ａから変位量を受け取る。

【0023】

変位量補正部１０３ａは、統計処理部として機能する部分であって、変位量算出部１０３により算出された各画素における変位量に対して重み付け平均処理を行う部分である。例えば、変位量補正部１０３ａは、トリミング部１０２が切り取ったマーカ４０１の画像の各部分において与えられている重み係数に基づいて、変位量の重み付け平均値を算出する。ほか、変位量補正部１０３ａは、照度センサ３１０の照度値に基づいて、重み係数を導出して、重み付け平均値を算出するようにしてもよい。

【0024】

なお、本開示においては、重み付け平均値を算出しているが、これに限るものではなく、マーカ４０１の画像の位置に応じて設定された重み係数を利用する統計的手法であれば、他の数値でもよい。マーカ４０１が白四角と黒四角との幾何学模様からなる場合においては、当該マーカ４０１から切り取られた画像（ＲＯＩ：Region of Interest）の白四角の数、黒四角の数、およびそれぞれの画像内における白四角・黒四角の割合を利用してもよい。例えば、白四角・黒四角の数から画像内のそれぞれ割合が求められ、画像内における一の白画素の変位量、一の黒画素の変位量、それぞれ白画素位置・黒画素位置に対応する重み係数、および白四角・黒四角の密度とを乗算した和を、その画像における変位量としてもよい。

【0025】

取得部１０３ｂは、照度センサ３１０の照度値を取得する部分である。取得部１０３ｂは、必須の構成ではなく、照度センサ３１０の照度値を、変位量補正部１０３ａが利用する場合に用いられる構成である。

【0026】

タイマ１０３ｃは、時間を計時する部分である。変位量補正部１０３ａは、あらかじめ用意しているマッピングテーブルを利用して、時間に応じた加重平均の重み情報を利用して重み情報を利用した統計処理を行う。

【0027】

管理テーブル１０３ｄは、重み情報を記憶するマッピングテーブルである。この管理テーブル１０３ｄについては、後述する。

【0028】

算出結果出力部１０４は、変位量補正部１０３ａが算出した重み付け平均処理された変位量を構造物判定装置２００に出力する部分である。算出結果出力部１０４は、画素ごとの変位量を出力するが、本開示においては、重み付け平均処理された平均値を算出しているため、画素ごとに同じ値を出力する。

【0029】

変位量算出モデル１００ａは、静止画像ごとにおけるその画素ごとのＲＧＢ値を説明変数とし、変位量補正部１０３ａが算出した変位量を目的変数として学習された機械学習モデルである。本開示においては、静止画像データは、複数枚（複数のフレーム）用意されており、変位量算出モデル１００ａは、その画素ごと（座標ごと）のＲＧＢ値の変化を見ることにより、観測対象物の変位量を出力することができる。変位量算出モデル１００ａの学習については、後述する。

【0030】

つぎに、本開示の変位量算出装置１００の動作について説明する。図３は、その動作を示すフローチャートである。本開示においては、例えば、２０秒間の動画データ（静止画像データが６００フレーム）およびその変位量を算出する処理を示す。この動画データは、車両が橋梁４００に進入したタイミングで撮影が開始され、２０秒後にその車両が通過したものとするが、後述する通り、長時間撮影し続けて、車両の進入タイミングおよび退出タイミングを計測することによりその静止画像データの先頭位置を逐一リセットするようにしてもよい。

【0031】

カメラ３００は、橋梁４００の観測対象部分（例えば、柱）に貼り付けられている二次元マーカ４０１を拡大して撮影する。動画像取得部１０１は、カメラ３００が撮影した動画像データを取得する（Ｓ１０１）。上述したとおり、動画像取得部１０１は、複数フレーム（例えば６００フレーム／２０秒間）の静止画像データを取得する。

【0032】

トリミング部１０２は、静止画像データからマーカ４０１の画像データを切り取る処理を行う（Ｓ１０２）。例えば２次元マーカの中から１辺２５６ピクセル以上の正方形で切り取る。なお、２５６ピクセルは、例示であり、それ以外のピクセル数で切り取ってもよい。

【0033】

変位量算出部１０３は、マーカサイズが画像データ内で何ピクセルで描画されているかの情報から、ピクセル単位からｍｍ単位への変換式を構築する（Ｓ１０３）。ここでは、変位量算出部１０３は、マーカ４０１のサイズを事前に把握（記憶）している。

【0034】

変位量算出部１０３は、トリミングした画像データを変位量算出モデル１００ａに入力し、当該変位量算出モデル１００ａからその結果となる出力値を得る（Ｓ１０４）。ここでは、変位量算出モデル１００ａは、２フレームずつ画像データを入力し、その変位量を出力する。変位量算出部１０３は、動画像データから得た６００フレームの画像データから順次2フレームずつ取り出して入力することにより、垂直／水平方向の時間軸方向における観測対象物の変位量（ピクセル単位）を取得する。この詳細処理については後述する。

【0035】

変位量算出部１０３は、事前に構築したピクセルからｍｍ単位への変換式を適用して、ピクセル単位の変位量からｍｍ単位の変位量を算出する（Ｓ１０５）。変位量補正部１０３ａは、算出した各画素における変位量に対して、重み付け処理を行った変位量を算出する（Ｓ１０５ａ）そして、算出結果出力部１０４は、構造物判定装置２００算出した変位量を出力する（Ｓ１０６）。算出結果出力部１０４は、画素ごとの変位量を出力するが、これらは重み付け平均された変位量であり、同じ値を出力する。

【0036】

ここまでが、２０秒間の動画データに対する処理である。これを動画像データをかえて繰り返し行うことで、複数の変位量を算出することができる。

【0037】

このようにして、変位量算出装置１００は、動画像データから微少に変動する変位量を正確に算出することができる。画像データにおけるＲＧＢ値の変化によってその変位を見ることにより、画像処理を行うことなく、観測対象物の外郭等を正確に認識する必要が無く、その処理を簡易なものにすることができる。また、逆光やそのほか天候等の外乱による影響を考慮した処理を考える必要が無い。

【0038】

ここで、処理Ｓ１０４における詳細処理について説明する。図４は、その詳細処理を示すフローチャートである。変位量算出モデル１００ａは、基準画像データｔと、対象画像データｔｎとを入力し（Ｓ２０１）、その変位量Ｄｎを算出する（Ｓ２０２）。対象画像ｔｎがなくなるまで（例えば、入力された静止画像データが終わるまで）、これら処理を繰り返す（Ｓ２０３、Ｓ２０４）。すべてのフレームに対して変位量Ｄｎを算出すると、時系列の変位量Ｄを算出する（Ｓ２０５）。

【0039】

図５は、処理Ｓ１０４を模式的に示した図である。図５（ａ）に示される通り、変位量算出部１０３は、基準画像データｔ１を基準とし、その基準画像データｔ１と対象画像データｔｎの間の変位量を求める。例えば、変位量算出部１０３は、基準画像データｔ１と対象画像データｔ２とを変位量算出モデル１００ａに入力し、変位量ｎ１を算出する。同様に、基準画像データｔ１と対象画像データｔ３とを変位量算出モデル１００ａに入力し、変位量ｎ２を算出する。以降、同様に基準画像データｔ１と対象画像データｔｎ（ｎは２～６００）との間の変位量が求められ、図５（ｂ）に示される時系列の変位量Ｄが求められる。

【0040】

図５（ｂ）に示される時系列の変位量Ｄの横軸は、時間軸であり、観測対象となる観測時間である。縦軸は、ピクセル単位の変位量を示す。このように、基準画像データｔ１を基準とし、それとの変位量を求めることにより、図５（ｂ）に示されるように、メリハリのついた時系列の変位量Ｄを求めることができる。

【0041】

図６は、処理Ｓ１０４の変形例を示す。図６においては、隣接する画像データ間の変位量を求める例である。図６（ａ）に示される通り、画像データｔ１から画像データｔ６００が示されている。変位量ｎ１は、画像データｔ１と画像データｔ２とが変位量算出モデル１００ａに入力されることにより算出される。変位量ｎ２は、画像データｔ２と画像データｔ３とが、変位量算出モデル１００ａに入力されることにより算出される。以降、同様に隣接する画像データとの間の変位量が求められ、図６（ｂ）に示される時系列の変位量Ｄが求められる。図６（ｂ）に示される時系列の変位量Ｄの横軸は、時間軸であり、観測対象となる観測時間である。縦軸は、ピクセル単位の変位量を示す。

【0042】

なお、図６のように、隣接する画像データ間の変位量を求める場合には、学習時においても、隣接する画像データおよびその変位量を用いる。一方で、図５のように、基準となる基準画像データとの間の変位量を求める場合には、基準画像データ、比較対象となる画像データおよびその変位量を学習時に用いる。

【0043】

つぎに、本開示における変位量算出モデル１００ａの学習処理について説明する。図７は、その学習処理を模式的に示した図である。図に示されるとおり、初期学習部２０１は、学習用動画データおよびその変位量（教師データ）に基づいて、機械学習を行うことにより、初期算出モデル１００ｂを学習する。本開示においては、ＦｌｏｗＮｅｔ２．０と呼ばれるアルゴリズムを用いて学習される。ＦｌｏｗＮｅｔ２．０は、オプティカルフローと呼ばれる隣接する画像データ間の物体の移動を推定するアルゴリズムのひとつである。ＦｌｏｗＮｅｔ２．０においては、隣接する２枚の画像データに含まれる物体（椅子）の画像並びにその移動方向および変位量を入力することで、二枚の画像データからその変位量を推定するためのモデルを構築することができる。

【0044】

本開示においては、この初期算出モデル１００ｂをファインチューニング（Fine Tuning）することにより、変位量算出モデル１００ａを学習する。すなわち、学習部２０２は、センサ値データと学習用マーカデータとを用いて変位量算出モデル１００ａを学習する。例えば、まず学習部２０２は、画像データ（２フレーム分の静止画像データ）を説明変数として入力する。一方で、学習部２０２は、その２フレームに対応するセンサ値データを取得する。学習部２０２は、センサ値データに基づいて実際の変位量を算出し（または与えられ）、それを目的変数（教師データ）として入力する。例えば、学習部２０２は、橋梁４００にセンサを配置し、そのセンサのセンサ値データから公知の技術により変位量を求める。

【0045】

このようにして、実際の橋梁４００の振動における変位量に基づいて、ファインチューニングを行うことにより、より精度のよい変位量算出モデル１００ａを学習することができる。

【0046】

なお、上述した通り、学習部２０２が、基準画像データを用いて変位量を算出する場合には（図５に示した方法）、隣接した２枚の画像データを用いることなく、一つの基準となる基準画像データと、それとの比較対象であるｍ枚目（ｍは２～６００とする）の画像データおよびそのセンサ値データとを順次取り出し、学習する。

【0047】

ところで、ＦｌｏｗＮｅｔは、隣接する画像データ間の変位量に基づいて学習されている。一方で、本開示においては、基準画像データを一つに決めて、その基準画像データと比較対象となる画像データとの間の変位量に基づいて、さらに学習（ファインチューニング）する。ファインチューニング前の学習データと、ファインチューニングをするための学習データとは、変位量を算出するための比較対象となる２つ画像データが異なっているが、データの変位量を求める点では同じであり、その精度に影響はないと考えられている。

【0048】

初期学習部２０１および学習部２０２は、ピクセル単位で変位量を扱っている。一方で、教師データに相当するセンサ値データは、ｍｍ単位である。そのため、ｍｍ単位からピクセル単位に事前に変換しておく必要がある。

【0049】

つぎに、図５に示される基準となる基準画像データを更新するときの処理について説明する。カメラ３００が橋梁４００の観測対象部分（二次元マーカ）を撮影するが、車両の通行によってカメラ３００が傾いたり、ズレたりすることが考えられる。そのため、変位量算出モデル１００ａに基準となる基準画像データを入力する場合、その車両の通行にあわせて基準となる基準画像データを変えてもよい。上述図３の処理フローでは、動画データの開始位置に基準画像データとなるよう調整したことを前提にしたものであるが、以下に示すとおり、それを事前に基準画像データの位置（時間）を登録しておくことで、自動的に切り替えることもできる。

【0050】

カメラ３００による観測対象部分の撮影時において、撮影オペレータは、車両通行時の時間（撮影開始からの経過時間）を車両が通行する度に計測している。例えば、撮影オペレータは、撮影開始から１０秒後に車両が橋梁４００に進入したら、その１０秒を記録する。同様に、撮影開始から４０秒後に車両が進入したら、４０秒と記録する。なお、橋梁４００から車両が通過し終わった時間も合わせて計測してもよい。

【0051】

撮影終了後、変位量算出装置１００は、計測した時間とともに、撮影した画像データを取得する。そして、変位量算出装置１００は、計測した時間ごとに、基準画像データをリセットする。例えば、図３に示す処理フローが、長時間にわたって撮影した動画データを処理する場合を想定する。

【0052】

その場合、処理Ｓ１０４において、変位量算出モデル１００ａに画像データを入力する際、計測した経過時間（車両の進入時間）に対応する画像データを基準画像データとして入力する。そして、変位量算出モデル１００ａは、その基準画像データおよび対象画像データを用いて、変位量を算出する。

【0053】

例えば、事前準備として、撮影オペレータが、撮影開始の操作をしてから、車両が通行する度に、１０秒、１００秒・・・などと計測して、その経過時間をメモ帳などに記録していたとする。そして、変位量算出装置１００に撮影した動画像データを処理させる際、その経過時間を合わせて登録する。登録は、変位量算出装置１００の動作処理を実行するためのプログラムに経過時間を書き込むことにより行われる。

【0054】

変位量算出装置１００は、経過時間を開始位置とする動画像データ（静止画像データ）を取得する。そして、その開始位置における基準画像データ（静止画像データ）を基準とし、その次のフレームである画像データ（静止画像データ）を比較対象である対象画像データとして、変位量算出モデル１００ａに入力する。比較対象となる対象画像データのみを順次代えていって、基準画像データとの変位量を求めるために変位量算出モデル１００ａに入力する。これを所定時間分の画像データ、または車両が通行し終えたタイミングまで繰り返し行う。

【0055】

動画像データが、長時間にわたって、撮影されて得られた場合、これら処理を車両が通行する経過時間ごとに（登録した時間）、基準画像データを入れ替えることで、通行に際して発生するカメラ３００のズレ等を考慮した変位量を求めることができる。

【0056】

なお、図３の処理フローでは、車両通行にあわせて２０秒間動画を撮影することとして説明した。その場合には、２０秒間の動画像データから得られた複数の静止画像データのうち、一番目のフレームを基準画像データとし、順次フレームを代えた画像データを対象画像データとなる。

【0057】

つぎに、本開示における重み付け平均処理について説明する。図８は、マーカ４０１における画素の変位量を示す模式図である。マーカ４０１は、トリミング部１０２により切り取られ、画像４０１ａが取得される。変位量算出部１０３は、この画像４０１ａに含まれる画素ごとに変位量を取得する。符号４０１ｂ～符号４０１ｄに示される通り、画素ごとにその変位量が異なっている。符号４０１ｘは、座標（ｊ,ｋ）における変位量を示しているが、このような変位量が少ない場合は、計測の失敗と予測される。

【0058】

本開示のように変位量補正部１０３ａが重み付け平均処理を行うことにより、変位量が失敗した計測を含んだとしても、その影響は少ない。本開示においては、画像４０１ａの各画素の変位量を、重み付け平均処理された値とする。

【0059】

また、変位量補正部１０３ａが重み付け平均処理をする場合において、計測不良である変位量の画素を外すことが好ましい。図９は、計測不良の変位量を外すときの処理を示す模式図である。図９は、縦軸が画像４０１ａに含まれる画素における変位量の個数、横軸に当該各画素の変位量をとったヒストグラムである。理想的には図９（ａ）に示されるように、各画素における変位量は同じであり、その場合、一の変位量にその個数が集中する。

【0060】

しかしながら、実際には、太陽光等の光の関係、および学習モデルにおける誤差から各画素の計測結果は異なる場合がある。よって、頻度の少ない変位量は、誤差または計測誤り等と判断してもよい。図９（ｂ）において、所定個数の変位量の画素は、変位量補正部１０３ａにおける重み付け平均処理から除外することが好ましい。図９（ｂ）においては、結果的に、グラフを構成する曲線の両端部分を除外することがよい。

【0061】

このように、各時刻ＴにおけるＮｘＮ個の画素の変位量の分布を見たときに外れ値（例えば、両端部分）を不採用画素群とする。また、変位量のばらつき具合（例えば分散σ）を求め、その±２σ以内の画素を採用画素群としてもよい。

【0062】

図１０は、重み付け平均処理を行うときの模式図を示す。図１０においては、図９（ｂ）で示された計測不良の画素を除いた画素における変位量を重み付け平均処理の対象とする。

【0063】

図１０（ａ）では、マーカ４０１がトリミング部１０２によりＮｘＮ画素が切り取られて画像４０１ａが取得される。図１０（ｂ）は、その画像４０１ａを示す。図１０（ｃ）では、その画像４０１ａにおける変位量と、あらかじめ定めた重み付け係数とをかけ合わせて、重み付け平均処理を示している。図１０（ｃ）に示される通り、変位情報を示す符号４０１ｙは、画像４０１ａの変位量を模式的に示している。この符号４０１ｙは、時刻ｔからｔ＋１までの各画素（ＮｘＮ画素）の変位量を含むものとする。変位量補正部１０３ａは、これに画像４０１ａの位置に応じて定められた重み付け情報４０１ｚをかけ合わせて、その平均値を算出することで、時刻ｔからｔ＋１における変位量の重み付け平均値を算出する。

【0064】

なお、図において、重み付け情報４０１ｚは、画像４０１ａの画素位置に応じたＮｘＮの行列で表されており、その一つ一つは重み係数を示す。この重み付け情報４０１ｚにおいて、画像４０１ａにおける中心部分にある重み係数は大きく設定され、画像４０１ａの終端部に行くほど小さくなるよう設定されている。図１０（ｃ）では、画像４０１ａの中心部分を大きく、その上下左右方向にある周辺部分の画素については、それより小さい値に重み係数が設定されている。さらに、中心部分から斜め方向にある周辺部分においては、さらに小さい値に重み係数が設定されている。なお、図１０（ｃ）は、説明の便宜上、３ｘ３の行列を表現しているが、実際は、もっと多くのマトリクスからなる行列である。

【0065】

上記の通り、重み係数は、中心位置からの距離（遠さ、画素数）に応じて、大きい値が設定され、例えば2次元ガウス分布に従った値とする。

【0066】

図１１は、照度センサ３１０を利用したときの重み付け係数の設定についての説明図である。図１１（a）において、マーカ４０１の設置場所の上下左右に照度センサ３１０が設置されている。この照度センサ３１０は、マーカ４０１のどの部分に光がよくあたっているかを計測することができる。例えば、図１１（ａ）の例では上と右が照度センサ３１０の照度値が大きいことを示す。照度値が大きいとは、明るいことを示す。

【0067】

図１１（ｂ）は、トリミングされた画像４０１ａを示す。図１１（ｃ）は、照度センサ３１０が計測した照度値に基づいて設定された重み情報４０１ｚ１が生成されている。図１１（ｃ）に示される通り、変位量補正部１０３ａは、照度センサ３１０の照度値からサイズＮｘＮの加重平均の重み情報４０１ｚ１を生成する。この加重平均の重み情報４０１ｚ１は、照度センサ３１０の照度値に基づいて設定されており、明るいほど重み係数が大きくなるよう設定される。図１１（ｃ）では、加重平均の重み情報４０１ｚ１は、画像４０１ａの右上に向けてその重み係数が大きくなるよう設定されている。これは、照度センサ３１０の照度値に基づいて設定されている。例えば、変位量補正部１０３ａは、各照度センサ３１０の照度値（４つの照度値の組み合わせ）と加重平均の重み情報４０１ｚ１の各行列に記述される重み係数とを対応付けた管理テーブル１０３ｄ（図２参照）からその照度値に組み合わせに応じて加重平均の重み情報４０１ｚ１を取得する。

【0068】

この管理テーブル１０３ｄは、例えば、照度と、重み情報とを対応付けて記憶する。図１２は、その具体例を示す図である。図に示される通り、照度センサ３１０（照度センサ１～４）に応じて画像４０１ａ（ＮｘＮ画素）に対する重み係数１１～重み係数ｎｎが定義されている。照度センサ１～４は、マーカ４０１の四方の照度を計測するセンサである。変位量補正部１０３ａは、照度センサ１～４の組み合わせと、重み係数１１～ｎｎとを用いて、変位量の重み付け平均値を算出する。

【0069】

そのほか、加重平均の重み情報は、時間と方角とに基づいてヒューリスティックに定義してもよい。すなわち、マーカ４０１の配置されている方角と、時間とによって、マーカ４０１にあたる太陽光の明るさが異なる。したがって、変位量補正部１０３ａは、計測した時間によって、重み情報を変えてもよい。この場合、変位量補正部１０３ａは、時間と、各画素における重み情報（重み係数）とを対応付けた管理テーブル１０３ｄから、タイマ１０３ｃが計時している時間に対応する重み情報を取得する。管理テーブル１０３ｄは、時間と、重み係数１１～重み係数ｎｎを記憶している（図１３参照）。

【0070】

つぎに、本開示における変位量算出装置１００の作用効果について説明する。本開示における変位量算出装置１００は、観測対象部分であるマーカ４０１を含んだ複数の画像データを取得する動画像取得部１０１と、複数の画像データのそれぞれのマーカ４０１の変位量を算出する変位量算出モデル１００ａと、を備える。

【0071】

ここで、動画像取得部１０１は、動画データから複数の静止画像である画像データを取得する。本開示においては、２０秒間に６００フレームからなる動画像データであることから、６００枚の画像データを取得するが、当然にこれに限定されるものではない。また、動画像取得部１０１が動画データを得てそこから静止画像を得ているが、これに限らず、カメラ３００が連射機能を備え、連射されて得られた静止画像をそのまま取得してもよい。

【0072】

この構成により、画像データを変位量算出モデル１００ａに入力して、画像データから変位量を求めることができる。２画像データを変位量算出モデル１００ａに入力することで、２値化などの画像処理を行うことなく、画像データのＲＧＢ変化をみることで変位量を求めることができる。このような変位量算出モデル１００ａを用いる場合、天候等の変化による軽微なＲＧＢ値の変化に対して有効である。すなわち、変位量算出モデル１００ａに対しては、天候または環境に応じた処理のためのパラメータ設定およびソースコードによる制御への考慮をする必要が無い。本開示のように変位量算出モデル１００ａを利用したいわゆる深層学習系の手法は、対応した天候または環境下での撮影のみで済むため相対的に観測コストをかけることなく、正確に変位量の算出を可能にする。

【0073】

また、センサ等を利用することなく、その設置に時間またはコストをかけることなく、観測対象物における変位量を求めることができる。

【0074】

また、本開示において、観測対象部分は、当該観測対象物（橋梁４００の柱）に対して予め定められた模様が付されたマーカ４０１が添付された部分である。動画データは、ビデオカメラが観測対象物を撮影することにより得られる。

【0075】

このように、マーカ４０１を用いることでその変位量の算出を容易にすることができる。

【0076】

また、本開示において、変位量算出モデル１００ａは、予め定められた複数の学習用画像データにより学習された機械学習モデルを含み、この機械学習モデルは、複数の学習用画像データにおける画素単位における変化情報を説明変数とし、予め指定された変位量を目的変数として、学習される。例えば、学習用画像データは、ＦｌｏｗＮｅｔなどにおいて用いられた画像データであったり、実際の橋梁４００を撮影して得られたデータである。機械学習モデルは、このＦｌｏｗＮｅｔにより提供されるモデルであるが、当然にこれに限るものではなく、他の学習用データを利用してもよい。本開示において、変化情報とは、ＲＧＢ値の変化を示しているが、白黒処理の場合、その白黒の変化に基づいてもよい。また、これら変化情報以外のものを含んでもよい。例えば、画像に何が写っているかの情報を含めてもよい。その場合、そのような何が写っているかの情報を含めて学習する必要がある。

【0077】

また、本開示において、変位量算出モデル１００ａは、観測対象物（橋梁４００の柱）に対して添付されたマーカ４０１を含む画像データと、観測対象物に対して付されたセンサ（図示せず）より計測されたセンサ値と、に基づいてさらに学習されたモデルとしてもよい。すなわち、上記機械学習モデルを、実際のセンサ値等を利用してファインチューニングしてもよい。なお、ファインチューニングではなく、実際のセンサ値等を用いて変位量算出モデル１００ａを学習してもよいが、ＦｌｏｗＮｅｔにより提供される初期算出モデル１００ｂは、数十万フレームからなる画像データを利用して学習されたものである。よって、これを利用する方が学習処理を簡易することができる。

【0078】

また、本開示において、センサ値に基づいて、目的変数となる変位量が求められ、変位量算出モデル１００ａは、当該変位量に基づいて学習される。

【0079】

ここでは、学習用データとしてセンサを利用している。このセンサによるセンサ値は、ｍｍ単位の変位量を示しており、必要に応じて、ピクセル単位に変換する等の処理を行う。

【0080】

本開示において、図５に示されるように、変位量算出モデル１００ａは、動画像データから取り出された画像データにおいて、基準となる一の基準画像データと、当該一の基準画像データ以降の画像データとの変位量を目的変数として学習される。また、図６に示されるように、変位量算出モデル１００ａは、動画像データから取り出された画像データにおいて、隣接する画像データ同士の変位量を目的変数として学習されてもよい。

【0081】

図５に示されるように基準画像データとの対比を行うことでその変位量を大きくすることができる。

【0082】

また、本開示の変位量算出装置１００において、動画像取得部１０１は、マーカ４０１である観測対象部分を含んだ複数の画像データを取得して、変位量算出部１０３は、複数の画像データからマーカ４０１（観測対象部分）の変位量を算出する。そして、変位量補正部１０３ａは、マーカ４０１における画素ごとの変位量に対して、そのマーカ４０１（観測対象部分）における画素位置に応じた重み付け処理を行った変位量を算出する。算出結果出力部１０４は、算出された変位量を出力する。例えば、この重み付け処理は、重み付け平均処理である。

【0083】

この構成により、マーカ４０１を撮影した画像データ（トリミングした後のデータが好ましい）の画素位置に応じて重み付け処理をすることができる。よって、マーカ４０１に対する計測失敗の影響を低減して、その変位量を求めることができる。特に、重み付け処理をすることで、マーカ４０１の画素位置に応じて計測の精度が変わる。したがって、精度が高い位置の画素についてはその重み係数を大きくすることで、より正確な変位量を算出することができる。

【0084】

このマーカ４０１は、幾何学模様が付されている。これにより、変位量を求めやすくなる。

【0085】

また、変位量算出装置１００は、時刻を計時するタイマ１０３ｃをさらに備える。そして、変位量補正部１０３ａは、時刻に応じて、重みづけ平均処理における重み係数を変えて、変位量を算出する。

【0086】

時刻に応じてマーカ４０１にあたる太陽光の照度が変わる場合がある。したがって、時刻に応じて重み係数を変えることで、太陽光等の光の影響を低減して変位量を算出することができる。

【0087】

また、変位量算出装置１００は、マーカ４０１の近傍に配置され、マーカ４０１の照度を計測する照度センサ３１０の照度値を取得する取得部１０３ｂをさらに備える。変位量補正部１０３ａは、照度値に応じて、重み付け処理における重み係数を変えて、変位量を算出する。

【0088】

マーカ４０１にあたる光によって、変位量の計測に影響がある。その影響を低減できるように重み係数を変えることで、正確な変位量を算出することができる。

【0089】

また、変位量算出装置１００において、変位量補正部１０３ａは、画素ごとの変位量に基づいて、頻度分布を求め、その頻度分布が所定条件を満たさない変位量については、統計処理の対象とはしない。すなわち、変位量補正部１０３ａは、図９に示される通り、検出時刻ごとの変位量の頻度を算出し、所定頻度以下の変位量を加重平均処理の対象としない。また、変位量の頻度の分散を求め、その分散から大きく外れた変位量を加重平均処理の対象としないようにしてもよい。変位量の頻度が極端に多いまたは少ない場合には、計測ミスである可能性が高い。

【0090】

上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェアおよびソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的または論理的に結合した１つの装置を用いて実現されてもよいし、物理的または論理的に分離した２つ以上の装置を直接的または間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置または上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0091】

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

【0092】

例えば、本開示の一実施の形態における変位量算出装置１００などは、本開示の変位量算出方法の処理を行うコンピュータとして機能してもよい。図１４は、本開示の一実施の形態に係る変位量算出装置１００のハードウェア構成の一例を示す図である。上述の変位量算出装置１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0093】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。変位量算出装置１００のハードウェア構成は、図に示した各装置を１つまたは複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0094】

変位量算出装置１００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２およびストレージ１００３におけるデータの読み出しおよび書き込みの少なくとも一方を制御したりすることによって実現される。

【0095】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述のトリミング部１０２、変位量算出部１０３などは、プロセッサ１００１によって実現されてもよい。

【0096】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３および通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、変位量算出装置１００のトリミング部１０２および変位量算出部１０３は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時または逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0097】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る変位量算出方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0098】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２およびストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

【0099】

通信装置１００４は、有線ネットワークおよび無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）および時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、上述の動画像取得部１０１、算出結果出力部１０４などは、通信装置１００４によって実現されてもよい。

【0100】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５および出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0101】

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

【0102】

また、変位量算出装置１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0103】

情報の通知は、本開示において説明した態様／実施形態に限られず、他の方法を用いて行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、ＤＣＩ（Downlink Control Information）、ＵＣＩ（Uplink Control Information））、上位レイヤシグナリング（例えば、ＲＲＣ（Radio Resource Control）シグナリング、ＭＡＣ（Medium Access Control）シグナリング、報知情報（ＭＩＢ（Master Information Block）、ＳＩＢ（System Information Block）））、その他の信号またはこれらの組み合わせによって実施されてもよい。また、ＲＲＣシグナリングは、ＲＲＣメッセージと呼ばれてもよく、例えば、ＲＲＣ接続セットアップ（RRC Connection Setup）メッセージ、ＲＲＣ接続再構成（RRC Connection Reconfiguration）メッセージなどであってもよい。

【0104】

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0105】

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0106】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0107】

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0108】

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨および範囲を逸脱することなく修正および変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

【0109】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0110】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）および無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術および無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0111】

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されてもよい。

【0112】

なお、本開示において説明した用語および本開示の理解に必要な用語については、同一のまたは類似する意味を有する用語と置き換えてもよい。例えば、チャネルおよびシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ：Component Carrier）は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。

【0113】

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

【0114】

「接続された(connected)」、「結合された(coupled)」という用語、またはこれらのあらゆる変形は、２またはそれ以上の要素間の直接的または間接的なあらゆる接続または結合を意味し、互いに「接続」または「結合」された２つの要素間に１またはそれ以上の中間要素が存在することを含むことができる。要素間の結合または接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１またはそれ以上の電線、ケーブルおよびプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光（可視および不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」または「結合」されると考えることができる。

【0115】

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0116】

本開示において、「含む（include）」、「含んでいる（including）」およびそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

【0117】

本開示において、例えば、英語でのa, anおよびtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0118】

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

【符号の説明】

【0119】

１０…構造物判定システム、１００…変位量算出装置、２００…構造物判定装置、４００…橋梁、４０１…マーカ、３００…カメラ、１００ａ…変位量算出モデル、１０１…動画像取得部、１０２…トリミング部、１０３…変位量算出部、１０４…出力部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】