知財求人 - 知財ポータルサイト「IP Force」
特開2023-82603変位測定装置、画像補正装置、そのシステム、変位測定方法、画像補正方法およびそのプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023082603
(43)【公開日】2023-06-14
(54)【発明の名称】変位測定装置、画像補正装置、そのシステム、変位測定方法、画像補正方法およびそのプログラム
(51)【国際特許分類】
G01B 11/00 20060101AFI20230607BHJP
G01C 11/12 20060101ALI20230607BHJP
G06T 3/00 20060101ALI20230607BHJP
【ＦＩ】
G01B11/00 H
G01C11/12
G06T3/00 750
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021196484
(22)【出願日】2021-12-02
(71)【出願人】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(72)【発明者】
【氏名】李 志遠
(72)【発明者】
【氏名】叶 嘉星
(72)【発明者】
【氏名】王 慶華
(72)【発明者】
【氏名】遠山 暢之
【テーマコード（参考）】
2F065
5B057
【Ｆターム（参考）】
2F065AA03
2F065AA09
2F065BB05
2F065BB27
2F065CC14
2F065DD03
2F065FF06
2F065JJ03
2F065JJ26
2F065MM06
2F065QQ24
2F065QQ25
2F065QQ31
2F065QQ42
5B057BA02
5B057CA12
5B057CA16
5B057CB12
5B057CB16
5B057CC01
5B057CD02
5B057CD03
5B057CD05
5B057CE04
5B057CE06
(57)【要約】
【課題】異なる時刻に撮像された画像を用いて高い精度で画像の位置合わせと変位の測定を実現する。
【解決手段】画像補正部は、変位量の基準とする２個以上の基準マーカと、一定のピッチで空間的に繰り返される模様を表す測定マーカとを表す画像をフレームごとに撮像部から取得し、前記基準マーカのフレーム間の変位を補償するように前記測定マーカの位置を補正し、変位量演算部は、前記測定マーカの模様から生成されるモアレ画像のフレーム間の位相差から、前記測定マーカの変位量を演算する。
【選択図】図３
【解決手段】画像補正部は、変位量の基準とする２個以上の基準マーカと、一定のピッチで空間的に繰り返される模様を表す測定マーカとを表す画像をフレームごとに撮像部から取得し、前記基準マーカのフレーム間の変位を補償するように前記測定マーカの位置を補正し、変位量演算部は、前記測定マーカの模様から生成されるモアレ画像のフレーム間の位相差から、前記測定マーカの変位量を演算する。
【選択図】図３
【特許請求の範囲】
【請求項1】
変位量の基準とする２個以上の基準マーカと、一定のピッチで空間的に繰り返される模様を表す測定マーカとを表す画像をフレームごとに撮像部から取得し、
前記基準マーカのフレーム間の変位を補償するように前記測定マーカの位置を補正する画像補正部と、
前記測定マーカの模様から生成されるモアレ画像のフレーム間の位相差から、前記測定マーカの変位量を演算する変位量演算部と、
を備える変位測定装置。
前記基準マーカのフレーム間の変位を補償するように前記測定マーカの位置を補正する画像補正部と、
前記測定マーカの模様から生成されるモアレ画像のフレーム間の位相差から、前記測定マーカの変位量を演算する変位量演算部と、
を備える変位測定装置。
【請求項2】
変位量の基準とするフレームである基準フレームの画像において、前記測定マーカの位置は２個の基準マーカ間を通過する直線上にあり、
前記画像補正部は、前記基準フレームにおける前記２個の基準マーカのそれぞれの位置と、変位量の測定対象とするフレームである測定フレームの画像における前記２個の基準マーカのそれぞれの位置に基づいて、前記測定フレームの画像の前記基準フレームからの縮尺率、回転量および並進移動量を解析し、
前記測定フレームにおける前記測定マーカの位置を、前記縮尺率、前記回転量および前記並進移動量に基づいて補正する
請求項１に記載の変位測定装置。
前記画像補正部は、前記基準フレームにおける前記２個の基準マーカのそれぞれの位置と、変位量の測定対象とするフレームである測定フレームの画像における前記２個の基準マーカのそれぞれの位置に基づいて、前記測定フレームの画像の前記基準フレームからの縮尺率、回転量および並進移動量を解析し、
前記測定フレームにおける前記測定マーカの位置を、前記縮尺率、前記回転量および前記並進移動量に基づいて補正する
請求項１に記載の変位測定装置。
【請求項3】
変位量の基準とするフレームである基準フレームの画像において、前記測定マーカの位置は２個の基準マーカ間の内分点であって、
前記画像補正部は、変位量の測定対象とするフレームである測定フレームの画像における前記測定マーカの位置を、当該測定フレームにおける前記内分点の位置に基づいて補正する
請求項１に記載の変位測定装置。
前記画像補正部は、変位量の測定対象とするフレームである測定フレームの画像における前記測定マーカの位置を、当該測定フレームにおける前記内分点の位置に基づいて補正する
請求項１に記載の変位測定装置。
【請求項4】
前記基準マーカの個数は３以上であり、
前記画像補正部は、
前記基準マーカの位置をフレーム間で一致させる座標変換の変換パラメータを算出し、前記変換パラメータを用いて前記測定マーカの位置を補正する
請求項１に記載の変位測定装置。
前記画像補正部は、
前記基準マーカの位置をフレーム間で一致させる座標変換の変換パラメータを算出し、前記変換パラメータを用いて前記測定マーカの位置を補正する
請求項１に記載の変位測定装置。
【請求項5】
前記基準マーカの個数は４であり、
前記座標変換は、ホモグラフィ変換である
請求項４に記載の変位測定装置。
前記座標変換は、ホモグラフィ変換である
請求項４に記載の変位測定装置。
【請求項6】
前記基準マーカは、それぞれ一定のピッチで空間的に繰り返される模様を表し、
前記画像補正部は、前記基準マーカの模様から生成されるモアレ画像のフレーム間の位相差を補償するように前記測定マーカの位置をさらに補正する
請求項１から請求項５のいずれか一項に記載の変位測定装置。
前記画像補正部は、前記基準マーカの模様から生成されるモアレ画像のフレーム間の位相差を補償するように前記測定マーカの位置をさらに補正する
請求項１から請求項５のいずれか一項に記載の変位測定装置。
【請求項7】
それぞれ一定のピッチで空間的に繰り返される模様を表す２個以上の基準マーカを表す画像をフレームごとに撮像部から取得し、
前記基準マーカのフレーム間の変位を補償するように前記画像を補正し、
前記基準マーカの模様から生成されるモアレ画像のフレーム間の位相差を補償するように前記画像をさらに補正する画像補正部を備える
画像補正装置。
前記基準マーカのフレーム間の変位を補償するように前記画像を補正し、
前記基準マーカの模様から生成されるモアレ画像のフレーム間の位相差を補償するように前記画像をさらに補正する画像補正部を備える
画像補正装置。
【請求項8】
コンピュータに、
請求項１から請求項６のいずれか一項に記載の変位測定装置、または、請求項７に記載の画像補正装置として機能させるための
プログラム。
請求項１から請求項６のいずれか一項に記載の変位測定装置、または、請求項７に記載の画像補正装置として機能させるための
プログラム。
【請求項9】
前記撮像部と、請求項１から請求項６のいずれか一項に記載の変位測定装置、または、請求項７に記載の画像補正装置を備える
システム。
システム。
【請求項10】
前記撮像部を設置する移動体を備える
請求項９に記載のシステム。
請求項９に記載のシステム。
【請求項11】
変位測定装置が、
変位量の基準とする２個以上の基準マーカと、一定のピッチで繰り返される模様を表す測定マーカとを表す画像をフレームごとに撮像部から取得し、
前記基準マーカのフレーム間の変位を補償するように前記測定マーカの位置を補正する画像補正ステップと、
前記測定マーカの模様から生成されるモアレ画像のフレーム間の位相差から、前記測定マーカの変位量を演算する変位量演算ステップと、
を実行する変位測定方法。
変位量の基準とする２個以上の基準マーカと、一定のピッチで繰り返される模様を表す測定マーカとを表す画像をフレームごとに撮像部から取得し、
前記基準マーカのフレーム間の変位を補償するように前記測定マーカの位置を補正する画像補正ステップと、
前記測定マーカの模様から生成されるモアレ画像のフレーム間の位相差から、前記測定マーカの変位量を演算する変位量演算ステップと、
を実行する変位測定方法。
【請求項12】
画像補正装置が、
それぞれ一定のピッチで空間的に繰り返される模様を表す２個以上の基準マーカを表す画像をフレームごとに撮像部から取得し、
前記基準マーカのフレーム間の変位を補償するように前記画像を補正し、
前記基準マーカの模様から生成されるモアレ画像のフレーム間の位相差を補償するように前記画像をさらに補正する画像補正ステップ
を実行する画像補正方法。
それぞれ一定のピッチで空間的に繰り返される模様を表す２個以上の基準マーカを表す画像をフレームごとに撮像部から取得し、
前記基準マーカのフレーム間の変位を補償するように前記画像を補正し、
前記基準マーカの模様から生成されるモアレ画像のフレーム間の位相差を補償するように前記画像をさらに補正する画像補正ステップ
を実行する画像補正方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像変位測定による変位測定装置、画像補正装置、そのシステム、変位測定方法、画像補正方法およびそのプログラムに関する。本発明は、例えば、構造ヘルスモニタリングと画像処理に関する。
【背景技術】
【0002】
橋梁などの構造物で構成される公共施設（インフラストラクチャ、以下、「インフラ」と呼ぶ）の老朽化対策において、変位検知が喫緊の課題となっている。変位検知において、リング式変位計、ドップラセンサ、固定カメラ、その他の固定式変位測定装置が用いられることがある。固定カメラで撮像ざれる画像を用いてサンプリングモアレ法、ディジタル画像相関法（ＤＩＣ：Digital Image Correlation法）などの光学的手法が用いられることがある。固定式変位測定装置の設置は、丘陵地、水辺などの地形、測定対象物の周囲の建造物や構造物などの配置によっては、困難なことがある。
【0003】
このような事情から、無人航空機（ドローン）、ロボットなどの移動体に設置された移動式変位測定装置を用いた変位測定が注目されている。無人航空機には、各種の変位測定装置、例えば、レーザドップラ振動計、全地球測位システム（ＧＰＳ：Global Positioning System）などの搭載が試みられてきた。しかしながら、レーザドップラ振動計は一般に高価であり、経済的な実現が困難である。ＧＰＳではインフラの維持管理に要求される精度が得られないことがある。
【0004】
近年では、ドローンに搭載したカメラで撮像した画像を用いたビジョンベースの構造ヘルス検査システムが提案されている。例えば、非特許文献１、２は、それぞれＤＩＣ法を応用したインフラの変位の計測に関する。ＤＩＣ法によれば、１ｍｍ以下の精度で変位を測定することができる。しかしながら、ＤＩＣ法ではスペックルがマーカとして用いられるため、ノイズによる精度の低下が著しくなりがちである。また、特許文献１に記載の画像撮像管理方法は、直前に撮像された画像の土地部分との重複率が予め定めた重複率となるとき画像を撮像することを特徴とする。そのため、この方法は、インフラの継続的な微小変位の測定に適するものではない。特許文献２に記載の点検方法は、活線状態の送電線の点検において送電線の腐食状態の検出を特徴とする。そのため、この方法もインフラの微小変位の測定に適するものではない。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１７－１５７０４号公報
【特許文献2】特開２０２１－１０７９９２号公報
【特許文献3】特許第４８３１７０３号公報
【特許文献4】特許第６５６５０３７号公報
【非特許文献】
【0006】
【非特許文献1】Reagan, D., Sabato, A. and Niezrecki, C.; Feasibility of using digital image correlation for unmanned aerial vehicle structural health monitoring of bridges, Structural Health Monitoring, 2018, 17 (5), pp.1056-1072.
【非特許文献2】Kalaizakis, M., Vitzilaios, N., Rizos, D.C. and Sutton, M.A., Drone-Based Stereo DIC: System Devolopment, Experimental Validation and Infrastructure Application, Experimental Mechanics, 2021, 61, pp.981-996.
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献３、４には、カメラを固定した状態で短時間記録した画像を用い、サンプリングモアレ法を用いてインフラの変位を測定する手法が記載されている。しかしながら、カメラを固定して設置できない場合には、カメラの移動により画像に表れる測定対象物の位置や形状が変化するので、そのままでは正しい変位量が得られない。言い換えれば、ドローン、ロボット、船舶などの移動体に搭載したカメラや、携帯電話機などの携帯機器に内蔵されたカメラを用いて撮像された画像では、高精度の変位測定が困難であった。また、長期間にわたる変位のモニタリングでは、固定したはずのカメラの位置が車両の通行、風などにより動揺することがある。このことも、測定された変位の精度が低下する要因となりうる。
【0008】
本発明は上記の点に鑑みてなされたものであり、異なる時刻に撮像された画像を用いて高い精度で画像の位置合わせと変位の測定を実現する変位測定装置、画像補正装置、そのシステム、変位測定方法、画像補正方法およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0009】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、変位量の基準とする２個以上の基準マーカと、一定のピッチで空間的に繰り返される模様を表す測定マーカとを表す画像をフレームごとに撮像部から取得し、前記基準マーカのフレーム間の変位を補償するように前記測定マーカの位置を補正する画像補正部と、前記測定マーカの模様から生成されるモアレ画像のフレーム間の位相差から、前記測定マーカの変位量を演算する変位量演算部と、を備える変位測定装置である。
【0010】
（２）本発明の他の態様は、それぞれ一定のピッチで空間的に繰り返される模様を表す２個以上の基準マーカを表す画像をフレームごとに撮像部から取得し、前記基準マーカのフレーム間の変位を補償するように前記画像を補正し、前記基準マーカの模様から生成されるモアレ画像のフレーム間の位相差を補償するように前記画像をさらに補正する画像補正部を備える画像補正装置である。
【0011】
（３）本発明の他の態様は、コンピュータに、（１）の変位測定装置、または、（２）の画像補正装置として機能させるためのプログラムであってもよい。
【0012】
（４）本発明の他の態様は、撮像部と、（１）の変位測定装置、または、（２）の画像補正装置を備えるシステムであってもよい。
【0013】
（５）本発明の他の態様は、変位測定装置が、変位量の基準とする２個以上の基準マーカと、一定のピッチで繰り返される模様を表す測定マーカとを表す画像をフレームごとに撮像部から取得し、前記基準マーカのフレーム間の変位を補償するように前記測定マーカの位置を補正する画像補正ステップと、前記測定マーカの模様から生成されるモアレ画像のフレーム間の位相差から、前記測定マーカの変位量を演算する変位量演算ステップと、を実行する変位測定方法である。
【0014】
（６）本発明の他の態様は、画像補正装置が、それぞれ一定のピッチで空間的に繰り返される模様を表す２個以上の基準マーカを表す画像をフレームごとに撮像部から取得し、前記基準マーカのフレーム間の変位を補償するように前記画像を補正し、前記基準マーカの模様から生成されるモアレ画像のフレーム間の位相差を補償するように前記画像をさらに補正する画像補正ステップを実行する画像補正方法である。
【発明の効果】
【0015】
本発明によれば、異なる時刻に撮像された画像を用いて高い精度で画像の位置合わせと変位の測定を実現することができる。
【図面の簡単な説明】
【0016】
【図1】本実施形態に係る変位測定システムの概要を説明するための側面図である。
【図2】本実施形態に係る変位測定システムの概要を説明するための正面図である。
【図3】本実施形態に係る変位測定システムの機能構成例を示す概略ブロック図である。
【図4】本実施形態に係る変位測定処理の第１例を示すフローチャートである。
【図5】測定対象物の変形前後の各マーカの配置例を示す図である。
【図6】変形による基準マーカ間の位置関係の変化例を示す図である。
【図7】本実施形態に係る変位測定処理の第２例を示すフローチャートである。
【図8】各フレームの画像の表示例である。
【図9】各マーカにおける変位量の時間変化を例示する図である。
【図10】実験設備を例示する図である。
【図11】各マーカの位置の時間変化を例示する図である。
【図12】各マーカの軌跡の例を示す図である。
【図13】基準マーカ間の位置関係の時間変化の例を示す図である。
【図14】観測されたマーカの位置の時間変化の例を示す図である。
【図15】観測されたたわみ量の時間変化の例を示す図である。
【図16】変位量の軌跡の例を示す図である。
【図17】空撮による変位測定の実験光学系を示す図である。
【図18】空撮による変位測定例を示す図である。
【図19】ホモグラフィ変換を説明するための説明図である。
【図20】本実施形態に係る変位測定処理の第３例を示すフローチャートである。
【図21】本実施形態に係る画像補正システムの機能構成例を示す概略ブロック図である。
【図22】画像の位置合わせの第１例を示す説明図である。
【図23】画像の位置合わせの第２例を示す説明図である。
【図24】画像の位置合わせ補正の実験結果を例示する説明図である。
【発明を実施するための形態】
【0017】
以下、図面を参照しながら本発明の実施形態について説明する。
図１、図２は、本実施形態に係る変位測定システム１の概要を説明するための側面図、正面図である。図１の例では、変位測定システム１は、測定対象物として橋梁Ｂｒ１の変位の測定に用いられる。橋梁Ｂｒ１の側面には、２個の基準マーカＭｋ－Ａ、Ｍｋ－Ｂと測定マーカＭｋ－Ｃが長手方向にその順に配列されている。基準マーカＭｋ－Ａ、Ｍｋ－Ｂは、それぞれ変位量の基準として用いられる。測定マーカＭｋ－Ｃは、変位量測定の目標位置として、予め定めた測定点に設置される。
図１、図２は、本実施形態に係る変位測定システム１の概要を説明するための側面図、正面図である。図１の例では、変位測定システム１は、測定対象物として橋梁Ｂｒ１の変位の測定に用いられる。橋梁Ｂｒ１の側面には、２個の基準マーカＭｋ－Ａ、Ｍｋ－Ｂと測定マーカＭｋ－Ｃが長手方向にその順に配列されている。基準マーカＭｋ－Ａ、Ｍｋ－Ｂは、それぞれ変位量の基準として用いられる。測定マーカＭｋ－Ｃは、変位量測定の目標位置として、予め定めた測定点に設置される。
【0018】
撮像部２０は、橋梁Ｂｒ１の側面に対面した位置において、空中を飛行するドローンＤｎに支持されている。この位置において、撮像部２０は、基準マーカＭｋ－Ａ、Ｍｋ－Ｂと、測定マーカＭｋ－Ｃが表された画像をフレームごとに撮像する。撮像部２０の位置は、その視野内に基準マーカＭｋ－Ａ、Ｍｋ－Ｂと、測定マーカＭｋ－Ｃが含まれる位置であればよい。
橋梁Ｂｒ１の表面には、道路が敷設されている。道路上を検査車両Ｖｃが通行すると、検査車両Ｖｃの重みにより橋梁Ｂｒ１が変形する。この設定のもとで変位測定システム１は、橋梁Ｂｒ１の変形に伴う測定マーカＭｋ－Ｃにおける変位量を測定することができる。また、変位測定システム１は、より長期間にわたり撮像された画像を取得し、橋梁Ｂｒ１の形状の経時変化を観察してもよい。以下の説明では、「基準マーカ」と「測定マーカ」を単に「マーカ」と総称することがある。
橋梁Ｂｒ１の表面には、道路が敷設されている。道路上を検査車両Ｖｃが通行すると、検査車両Ｖｃの重みにより橋梁Ｂｒ１が変形する。この設定のもとで変位測定システム１は、橋梁Ｂｒ１の変形に伴う測定マーカＭｋ－Ｃにおける変位量を測定することができる。また、変位測定システム１は、より長期間にわたり撮像された画像を取得し、橋梁Ｂｒ１の形状の経時変化を観察してもよい。以下の説明では、「基準マーカ」と「測定マーカ」を単に「マーカ」と総称することがある。
【0019】
次に、変位測定システム１による変位量の測定方法の概要について、図２を用いて説明する。図２に例示される変位測定システム１は、異なる時刻に撮像されたフレーム間で生じた基準マーカＭｋ－Ａ、Ｍｋ－Ｂそれぞれの位置の変化を補償する。撮像された画像の水平方向、垂直方向が、それぞれｘ方向、ｙ方向に相当する。ｘ方向は、現実に橋梁Ｂｒ１が設置された三次元空間（以下の説明では、「被写体空間」と呼ぶことがある）における橋桁の長手方向に対応し、ｙ方向は、被写体空間における鉛直方向に対応する。また、個々のフレームの画像上の空間を「画像空間」と呼んで被写体空間と区別することがある。
【0020】
図２（ａ）は、時刻ｔ１において撮像された画像を示す。この時点では、橋梁Ｂｒ１に変形は生じていない。この画像は、基準画像として用いられる。基準マーカＭｋ－Ａ、基準マーカＭｋ－Ｂ、および、測定マーカＭｋ－Ｃは、図面に対して左右に一直線上に並ぶ位置に配列されている。即ち、測定マーカＭｋ－Ｃの位置（ｘＣ，ｙＣ）は、基準マーカＭｋ－Ａの位置（ｘＡ，ｙＡ）と基準マーカＭｋ－Ｂの位置（ｘＢ，ｙＢ）を通過する直線の内分点に相当する。
【0021】
図２（ｂ）は、時刻ｔ２において撮像された画像を例示する。時刻ｔ２の画像に表れた橋梁Ｂｒ１の形状は、時刻ｔ１の画像に表れたものから変形する。時刻ｔ２における基準マーカＭｋ－Ａの位置（ｘＡ’，ｙＡ’）は、時刻ｔ１における基準マーカＭｋ－Ａの位置（ｘＡ，ｙＡ）よりも下方に変位している。他方、時刻ｔ２における基準マーカＭｋ－Ｂの位置（ｘＢ’，ｙＢ’）は、時刻ｔ１における基準マーカＭｋ－Ｂの位置（ｘＢ，ｙＢ）よりも上方に変位している。しかしながら、時刻ｔ２の画像に表れる橋梁Ｂｒ１の変形には、撮像部２０の位置や向きの変化による見かけ上の変形が含まれる。見かけ上の変形は、画像の「ぶれ（blur）」として観測され、測定誤差の原因となる。
【0022】
そこで、変位測定システム１は、図２（ｃ）に例示されるように、時刻ｔ２における基準マーカＭｋ－Ａの補正後の位置（ｘＡ
＊，ｙＡ
＊）と基準マーカＭｋ－Ｂの補正後の位置（ｘＢ
＊，ｙＢ
＊）が、それぞれ時刻ｔ１における基準マーカＭｋ－Ａの位置（ｘＡ，ｙＡ）と基準マーカＭｋ－Ｂの位置（ｘＢ，ｙＢ）に一致するように測定フレームにおける測定マーカＭｋ－Ｃの位置を補正する。変位測定システム１は、例えば、時刻ｔ２の画像を座標変換により補正するための座標変換パラメータを定める。変位測定システム１は、時刻ｔ２における補正後の測定マーカＭｋ－Ｃの位置として、定めた座標変換パラメータを用いて補正した画像における測定マーカＭｋ－Ｃの位置（ｘＣ
＊，ｙＣ
＊）を座標変換して算出することができる。座標変換の手法として、例えば、アフィン変換などの線形変換が利用可能である。
【0023】
そして、変位測定システム１は、補正後の時刻ｔ２に撮像された画像と、時刻ｔ１に撮像された画像のそれぞれについて、測定マーカＭｋ－Ｃのモアレ画像を生成する。変位測定システム１は、生成したモアレ画像のフレーム間の位相差に基づいて橋梁Ｂｒ１に設置された測定マーカＭｋ－Ｃの変位量を演算する。撮像部２０が移動する状況においても、移動に起因する測定フレームの画像に表れる測定マーカＭｋ－Ｃの位置の変化が補償される。そのため、測定マーカＭｋ－Ｃの変位量が高い精度で測定される。
【0024】
なお、個々のマーカには、輝度が規則的に分布する模様であれば、いかなる模様が表されてもよい。図１、図２の例では、個々のマーカの輝度は、水平方向および垂直方向のそれぞれの方向に対して一定の周期（ピッチ）で変動する格子パターンをなす。撮像部２０は、撮影された画像に表れるマーカの模様のピッチが、少なくとも２画素以上となる位置に設置されればよい。
【0025】
一定方向（例えば、鉛直方向）の変位を測定する場合には、その方向に交差する方向に配列された縞画像が表されたマーカが用いられる。マーカは、変位測定を主目的とする専用物でなくてもよく、測定対象とする構造物表面に表された規則的な模様が利用されてもよい。例えば、建築物表面に配列された個々の窓ガラスの窓枠、壁面に配列されたレンガ、タイル、などの境界がなす模様が利用されてもよい。測定対象物として、橋梁、建築物の他、ダム、トンネル内面、微小試験片、など、あらゆるスケールの変位の計測に適用されてもよい。
【0026】
但し、基準マーカの位置は、時間経過に応じて静止しているとみなせる位置、または、測定マーカの位置よりも相対的に変動が少ない位置に設置される。図１、図２の例では、基準マーカＭｋ－Ａ、Ｍｋ－Ｂが設置された橋脚の部分は、測定マーカＭｋ－Ｃが設置された橋桁の部分よりも相対的に外力による変動が少ない。橋梁に加わる外力には、例えば、車両、通行人などの走行、風、水流、地震、などがある。また、基準マーカの個数は、２個に限られず、３個以上でもよい。測定マーカの個数は１個に限られず、２個以上でもよい。
【0027】
次に、本実施形態に係る変位測定システム１の機能構成例について説明する。図３は、本実施形態に係る変位測定システム１の機能構成例を示す概略ブロック図である。
変位測定システム１は、変位測定装置１０と、撮像部２０と、を備える。変位測定装置１０は、パラメータ入力部１２と、演算処理部１４と、表示部１６と、を備える。
変位測定システム１は、変位測定装置１０と、撮像部２０と、を備える。変位測定装置１０は、パラメータ入力部１２と、演算処理部１４と、表示部１６と、を備える。
【0028】
パラメータ入力部１２には、各種のパラメータが入力される。これらのパラメータには、個々の基準マーカの位置の特定、測定マーカの変位の測定、基準マーカおよび測定マーカからモアレ画像の生成、モアレ画像の位相差から変位量の算出などに用いられるパラメータ、などが含まれる。これらのパラメータについては、演算処理部１４の機能とともに説明する。パラメータ入力部１２は、データ入力インタフェースを含んで構成されてもよいし、ユーザの操作に応じて各種の情報を入力するマウス、タッチセンサ、キーボードなどの入力デバイスを含んで構成されてもよい。
【0029】
演算処理部１４は、変位測定装置１０の機能を発揮させるための処理や、これらの機能を制御するための処理を実現する。演算処理部１４は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサと、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの記憶媒体を備えるコンピュータシステムとして構成されてもよい。プロセッサは、記憶媒体に予め記憶された所定の制御プログラムを読み出し、読み出した制御プログラムに記述された命令で指示される処理を実行することによって、各機能部の機能を実現してもよい。演算処理部１４は、機能部としてマーカ検出部１４２、第１画像補正部１４４、第１変位量演算部１４６、第２画像補正部１４８、第２変位量演算部１５０、および、変位量出力部１５２を備える。
【0030】
マーカ検出部１４２は、撮像部２０から入力された画像データに示される各フレームの画像から基準マーカと測定マーカを検出する。マーカ検出部１４２は、公知の画像認識処理を実行してマーカを検出することができる。マーカ検出部１４２は、例えば、公知の機械学習モデル（例えば、ニューラルネットワーク）を用いて、処理対象となる画像の部分領域であるブロックごとに、既知のマーカの模様が表れる可能性の度合いを示す信頼度を算出する。マーカ検出部１４２には、基準となるマーカの形態であるマーカパターンに係るパターンデータを予め設定しておき、処理対象の画像における一部の領域がマーカパターンと類似する度合い（類似度）を信頼度として算出してもよい。マーカ検出部１４２は、算出した信頼度が予め設定された信頼度の閾値よりも高い所定の個数の領域をマーカの領域（以下、「マーカ領域」と呼ぶことがある）として定めることができる。所定の個数は、基準マーカの個数と測定マーカの個数の合計に相当する。マーカ検出部１４２は、各フレームの画像から検出したマーカ領域を示すマーカの中心座標を含むマーカ情報を第１画像補正部１４４に出力する。
【0031】
第１画像補正部１４４は、マーカ検出部１４２から入力されるマーカ情報に示されるマーカ領域をフレームごとに特定する。撮像時刻ごとの撮像部２０の位置や向きの違いにより、特定されるマーカ領域の分布がフレーム間で異なりうる。第１画像補正部１４４は、基準マーカの位置の違いがフレーム間で補償されるように、撮像部２０から入力される画像データに示される画像を補正するための座標変換パラメータを算出する。第１画像補正部１４４は、例えば、測定マーカの変位の測定対象として注目する測定フレームにおける基準マーカの位置が、測定マーカの変位の基準として用いる基準フレームにおける基準マーカの位置と一致するように座標変換パラメータを算出することができる。基準フレームの画像として、例えば、変形が生じていない時点で撮像された画像が用いられてもよい。第１画像補正部１４４は、算出した座標変換パラメータを用いて座標変換により補正された画像を示す第１補正画像データを第１変位量演算部１４６と第２画像補正部１４８に出力する。第１補正画像データには、補正された測定フレームの画像が含まれる。第１補正画像データには、補正されなかった基準フレームの画像が含まれてもよい。
【0032】
なお、この段階では、個々の基準マーカの位置の精度は、隣接する画素（ピクセル）間の間隔（画素ピッチ）と同じ程度となるため、補正される画像における測定マーカの位置の精度も画素ピッチと同じ程度の精度となる。本願では、第１画像補正部１４４が実行する画像、または、その画像上の測定マーカの位置の補正を「粗補正」、その補正の精度を「ピクセル精度」と呼ぶことがある。
【0033】
第１変位量演算部１４６は、第１画像補正部１４４から入力される第１補正画像データが示す各フレームの画像に表された被写体空間における測定マーカの変位量を第１変位量として算出する。即ち、第１変位量演算部１４６は、基準フレームの測定マーカの位置と補正後の測定フレームの測定マーカの位置との変位に基づいて現実の測定マーカの変位量を算出する。
【0034】
第１変位量演算部１４６は、第１変位量の演算において、サンプリングモアレ法を用いることができる。より具体的には、第１変位量演算部１４６は、各フレームの画像に表された測定マーカのモアレ画像を生成する。第１変位量演算部１４６は、例えば、少なくとも測定マーカの領域を含む部分画像に対して、測定マーカの模様の周期Ｐと同じもしくは異なる周期Ｔ（Ｔは、画素数を示す予め設定された２以上の整数）で間引いて得られるＴ個の間引き画像を生成する。Ｔ個の間引き画素それぞれの位相（間引きの起点となる画素の座標）は、０からＴ－１のいずれかの値となるようにシフトされる。第１変位量演算部１４６は、Ｔ個の間引き画像のそれぞれに対し、間引き後の隣接する画素間で画素値を補間してモアレ画像を生成することができる。第１変位量演算部１４６は、位相シフトされたＴ個のモアレ画像に対して離散フーリエ変換を行い、所定の空間周波数における位相分布を算出する。第１変位量演算部１４６は、他のフレームについても、同様な手法を用いて位相分布を算出することができる。第１変位量演算部１４６は、フレーム間の位相分布の差である位相差の分布現実の模様の周期（ピッチ）ｐを周波数と２πで除算した係数を乗算することで変位分布を算出する。そして、第１変位量演算部１４６は、変位分布をなす画素ごとの変位量を周波数ならびに個々の画素間で平均化して、その画素が属する測定マーカの変位量を第１変位量として定めることができる。第１変位量演算部１４６は、定めた第１変位量を示す第１変位量データを変位量出力部１５２に出力する。よって、第１変位量演算部１４６では、ピクセル精度で補正された画像を用いて変位量を概算することができる。周期Ｐ、Ｔ、ｐは第１変位量を算出するためのパラメータとして、第１変位量演算部１４６に予め設定しておく。なお、周期Ｐは撮像画像上での格子マーカのピッチであり、単位は、例えば、画素である。これに対して、周期ｐは実際の格子マーカの物理的ピッチであり、単位は、例えば、ｍｍである。周期Ｔは、周期Ｐと異なる場合もあるが、周期Ｐに近似した値であればよい。モアレ画像の位相の周期Ｑの逆数１／Ｑは、周期Ｔの逆数１／Ｔと周期Ｐの逆数１／Ｐの差分の絶対値に相当するため、周期Ｔと周期Ｐとの差が小さいほど、モアレ画像の位相の周期Ｑが大きくなる。そこで、周期Ｑの周期Ｔに対する所望の倍率に応じて周期Ｔを予め定めておけばよい。なお、サンプリングモアレ法については、例えば、国際公開２０１７／１３８４１４号公報に、より詳しく記載されている。
【0035】
第２画像補正部１４８は、第１変位量演算部１４６から入力される第１補正画像データに示されるフレームごとの画像から、各マーカのマーカ領域を特定する。第２画像補正部１４８は、特定した基準マーカのそれぞれに対してモアレ画像を生成する。第２画像補正部１４８は、モアレ画像の生成において、第１変位量演算部１４６と同様の手法を用いることができる。第２画像補正部１４８は、所定の周波数について生成したモアレ画像の位相分布をフレームごとに算出する。第２画像補正部１４８は、第１画像補正部１４４と同様に、基準マーカの位置の差異がフレーム間で補償されるように、第１補正画像データに示される画像を座標変換により補正するための座標変換パラメータを算出する。モアレ画像の位相の周期はマーカの輝度の周期よりも拡大するため、この段階における画像の補正は１画素未満の微小な精度（サブピクセル精度）でなされる。第２画像補正部１４８は、算出した座標変換パラメータを用いて座標変換により補正された画像を示す第２補正画像データを第２変位量演算部１５０に出力する。第２補正画像データには、補正された測定フレームの他、補正されなかった基準フレームの画像が含まれてもよい。本願では、第２画像補正部１４８が実行する画像の補正を「微小補正」、その補正の精度を「サブピクセル精度」と呼ぶことがある。第２画像補正部１４８は、座標変換において第１画像補正部１４４と同じ手法を用いることができる。
【0036】
第２変位量演算部１５０は、第２画像補正部１４８から入力される第２補正画像データが示す各フレームの画像に基づき、第１変位量演算部１４６と同様にサンプリングモアレ法を用いてフレーム間の測定マーカの変位量を第２変位量として算出する。第２変位量演算部１５０は、定めた第２変位量を示す第２変位量データを変位量出力部１５２に出力する。よって、第２変位量演算部１５０では、サブピクセル精度で補正された画像を用いて第２補正量として微小な変位量の補正量が求まる。
【0037】
変位量出力部１５２は、第１変位量演算部１４６から入力される第１変位量データに示される各測定マーカの第１変位量、または、第２変位量演算部１５０から入力される第２変位量データに示される各測定マーカ第２変位量のいずれかを、測定マーカの最終の変位量として選択する。変位量出力部１５２は、選択した変位量の情報を表示部１６に出力する。変位量出力部１５２には、第１変位量と第２変位量のいずれを選択するかを予め設定しておいてもよいし、入力デバイスから入力される入力信号に従って第１変位量と第２変位量のいずれを選択してもよい。
【0038】
表示部１６は、演算処理部１４から入力される測定マーカの変位量を示す情報を表示する。表示部１６は、変位をいかなる態様で表示してもよい。表示部１６は、例えば、変位を数値で表してもよいし、その大きさの変化を図示してもよい。表示部１６は、例えば、液晶ディスプレイ、文字盤、などのいずれを備えてもよい。
【0039】
撮像部２０は、撮像方向を中心とする所定の視野内の被写体を表す画像を撮像する。撮像部２０は、図１、図２に例示されるように、複数の基準マーカと少なくとも１個の測定マーカが設置された被写体が視野に含まれる位置および向きに設置されればよい。本実施形態では、撮像部２０の位置は固定されていなくてもよい。図１、図２に例示されるように、ドローンなどの移動体に設置または支持されてもよい。移動体は、ドローンに限らず、ロボット、台車、車両、船舶、生物（例えば、人間による手持ち撮影）などであってもよい。撮像部２０は、必ずしも撮像を主機能としない機器、例えば、多機能携帯電話機（スマートフォン）、顕微鏡、などに備わるものであってもよい。
【0040】
撮像部２０は、所定時間（例えば、１／９６０～１／１５秒）ごとに１フレームの画像を逐次に撮像するデジタルビデオカメラである。通常のデジタルビデオカメラは、二次元の撮像面内に画素が配列され、二次元画像を撮像することができる。逐次に撮像された複数の静止画像は、動画像を構成する。撮像部２０は、撮像した画像を示す画像データを変位測定装置１０に無線または有線で出力する出力データインタフェースを備える。
【0041】
次に、基準マーカの位置に基づく変位測定処理の例について図４－図６を用いて説明する。但し、２個の基準マーカと１個以上の測定マーカが用いられ（図１、図２参照）。基準時刻（基準フレーム）において、測定マーカを２個の基準マーカを端点とする直線上に配置させておく。但し、座標変換において、アフィン変換を用いる場合を例にする。
【0042】
（アフィン変換）
図４は、本実施形態に係る変位測定処理の第１例を示すフローチャートである。図４に例示される処理を実行する際、演算処理部１４は変位量の基準とする基準フレームを定める。基準フレームの画像として、例えば、変位前の測定対象物を表す画像が用いられる。典型的には、観測当初の画像を基準フレームと定めておき、それ以降に撮像されたフレームが測定フレームとして補正対象となる。
図４は、本実施形態に係る変位測定処理の第１例を示すフローチャートである。図４に例示される処理を実行する際、演算処理部１４は変位量の基準とする基準フレームを定める。基準フレームの画像として、例えば、変位前の測定対象物を表す画像が用いられる。典型的には、観測当初の画像を基準フレームと定めておき、それ以降に撮像されたフレームが測定フレームとして補正対象となる。
【0043】
（ステップＳ１０２）マーカ検出部１４２は、撮像部２０から入力される画像データに示されるフレームごとにマーカを検出する。マーカ検出部１４２は、検出したマーカごとの重心の座標を中心座標として定める。
（ステップＳ１０４）第１画像補正部１４４は、基準フレームにおける２個の基準マーカの配置と、基準時刻とは異なる測定フレームにおける２個の基準マーカの配置を用いて、基準フレームから測定フレームへの平行移動量（translation）、回転量（rotation）、および、縮尺率（scaling factor）を解析する。並行移動量、回転量、縮尺率は、基準フレームから測定フレームへのアフィン変換による座標変換パラメータに相当する。第１画像補正部１４４は、解析した平行移動量での平行移動、回転量での回転、縮尺率での倍率が補償されるように測定フレームの画像をピクセル精度で補正する（粗補正）。
（ステップＳ１０６）第１変位量演算部１４６は、サンプリングモアレ法を用いて、基準フレーム、測定フレームそれぞれの測定マーカのモアレ画像の位相差を解析し、解析した位相差から現実の測定マーカの変位量を第１変位量として算出する。
（ステップＳ１０４）第１画像補正部１４４は、基準フレームにおける２個の基準マーカの配置と、基準時刻とは異なる測定フレームにおける２個の基準マーカの配置を用いて、基準フレームから測定フレームへの平行移動量（translation）、回転量（rotation）、および、縮尺率（scaling factor）を解析する。並行移動量、回転量、縮尺率は、基準フレームから測定フレームへのアフィン変換による座標変換パラメータに相当する。第１画像補正部１４４は、解析した平行移動量での平行移動、回転量での回転、縮尺率での倍率が補償されるように測定フレームの画像をピクセル精度で補正する（粗補正）。
（ステップＳ１０６）第１変位量演算部１４６は、サンプリングモアレ法を用いて、基準フレーム、測定フレームそれぞれの測定マーカのモアレ画像の位相差を解析し、解析した位相差から現実の測定マーカの変位量を第１変位量として算出する。
【0044】
（ステップＳ１０８）第２画像補正部１４８は、基準マーカごとに、基準フレームでのモアレ画像と、ピクセル精度での位置の補正後の測定フレームでのモアレ画像との位相差を解析する。第２画像補正部１４８は、解析した位相差に基づいて基準フレームから測定フレームへの平行移動量、回転量、および、縮尺率を解析する。第２画像補正部１４８は、解析した平行移動量での平行移動、回転量での回転、縮尺率での倍率が補償されるように補正後の測定フレームの画像をサブピクセル精度で再補正する（微小補正）。
（ステップＳ１１０）第２変位量演算部１５０は、サンプリングモアレ法を用いて、基準フレーム、測定フレームそれぞれの測定マーカのモアレ画像の位相差を解析し、解析した位相差から現実の測定マーカの変位量を第２変位量として算出する。
（ステップＳ１１２）変位量出力部１５２は、ステップＳ１０６で得られた第１変位量、または、ステップＳ１１０で得られた第２変位量のいずれかを最終変位量として選択する。変位量出力部１５２は、選択した変位量の情報を表示部１６に表示させる。
（ステップＳ１１０）第２変位量演算部１５０は、サンプリングモアレ法を用いて、基準フレーム、測定フレームそれぞれの測定マーカのモアレ画像の位相差を解析し、解析した位相差から現実の測定マーカの変位量を第２変位量として算出する。
（ステップＳ１１２）変位量出力部１５２は、ステップＳ１０６で得られた第１変位量、または、ステップＳ１１０で得られた第２変位量のいずれかを最終変位量として選択する。変位量出力部１５２は、選択した変位量の情報を表示部１６に表示させる。
【0045】
図５（ａ）は、測定対象物の変形前に撮像された基準フレーム上の基準マーカＭｋ－Ａ、Ｍｋ－Ｂと測定マーカＭｋ－Ｃの配置例を示す。測定マーカＭｋ－Ｃの位置は、２個の基準マーカＭｋ－Ａ、Ｍｋ－Ｂの内分点に相当する。マーカ検出部１４２は、基準フレームの画像から基準マーカＭｋ－Ａ、Ｍｋ－Ｂと測定マーカＣのそれぞれの重心Ａ、Ｂ、Ｃの座標（ｘＡ，ｙＡ）、（ｘＢ，ｙＢ）、（ｘＣ，ｙＣ）を画素単位（ピクセル精度）で特定することができる。
図５（ｂ）は、測定対象物の変形後に撮像された測定フレーム上の基準マーカＭｋ－Ａ、Ｍｋ－Ｂと測定マーカＭｋ－Ｃの配置例を示す。マーカ検出部１４２は、測定フレームの画像から基準マーカＭｋ－Ａ、Ｍｋ－Ｂと測定マーカＣのそれぞれの重心Ａ’、Ｂ’、Ｃ’の座標（ｘＡ’，ｙＡ’）、（ｘＢ’，ｙＢ’）、（ｘＣ’，ｙＣ’）を画素単位（ピクセル精度）で特定することができる。
図５（ｂ）は、測定対象物の変形後に撮像された測定フレーム上の基準マーカＭｋ－Ａ、Ｍｋ－Ｂと測定マーカＭｋ－Ｃの配置例を示す。マーカ検出部１４２は、測定フレームの画像から基準マーカＭｋ－Ａ、Ｍｋ－Ｂと測定マーカＣのそれぞれの重心Ａ’、Ｂ’、Ｃ’の座標（ｘＡ’，ｙＡ’）、（ｘＢ’，ｙＢ’）、（ｘＣ’，ｙＣ’）を画素単位（ピクセル精度）で特定することができる。
【0046】
フレーム間の基準マーカＭｋ－Ａ、Ｍｋ－Ｂの位置の変動の因子には、平行移動、縮尺（大きさの変化、倍率のずれ）および回転が含まれる。
第１画像補正部１４４は、いずれか１個の基準マーカのフレーム間の変位、例えば、重心Ａから重心Ａ’への変位（ｘＡ’－ｘＡ，ｙＡ’－ｙＡ）を基準マーカＭｋ－Ａの平行移動量（Δｘ，Δｙ）として算出することができる。
第１画像補正部１４４は、基準フレームにおける２個の基準マーカＭｋ－Ａ、Ｍｋ－Ｂ間の距離ｒから測定フレームにおける２個の基準マーカＡ、Ｍｋ－Ｂの距離ｒ’への倍率ｒ’／ｒを縮尺率Δｓ（倍率のずれ、図６（ｂ）参照）として算出することができる。距離ｒは、√（ｘＢ－ｘＡ）２＋（ｙＢ－ｙＡ）２、距離ｒ’は、√（ｘＢ’－ｘＡ’）２＋（ｙＢ’－ｙＡ’）２となる。
第１画像補正部１４４は、いずれか１個の基準マーカのフレーム間の変位、例えば、重心Ａから重心Ａ’への変位（ｘＡ’－ｘＡ，ｙＡ’－ｙＡ）を基準マーカＭｋ－Ａの平行移動量（Δｘ，Δｙ）として算出することができる。
第１画像補正部１４４は、基準フレームにおける２個の基準マーカＭｋ－Ａ、Ｍｋ－Ｂ間の距離ｒから測定フレームにおける２個の基準マーカＡ、Ｍｋ－Ｂの距離ｒ’への倍率ｒ’／ｒを縮尺率Δｓ（倍率のずれ、図６（ｂ）参照）として算出することができる。距離ｒは、√（ｘＢ－ｘＡ）２＋（ｙＢ－ｙＡ）２、距離ｒ’は、√（ｘＢ’－ｘＡ’）２＋（ｙＢ’－ｙＡ’）２となる。
【0047】
第１画像補正部１４４は、基準フレームにおける重心Ａ、Ｂを通る直線ＡＢと、測定フレームにおける重心Ａ’、Ｂ’を通る直線Ａ’Ｂ’とのなす角を回転量Δθ（回転のずれ、図６（ａ）参照）として算出することができる。回転量Δθは、重心Ａから重心ＢへのベクトルＡＢと、重心Ａ’から重心Ｂ’へのベクトルＡ’Ｂ’の内積を、ベクトルＡＢ、Ａ’Ｂ’のそれぞれの絶対値で正規化して得られる余弦値（cos）に対する逆余弦関数値（arccos）を回転量Δθとして算出することができる。図６（ｃ）は、回転のずれと倍率のずれが重畳する状況を示す。一般には、回転のずれ、倍率のずれの他、平行移動も含まれうる。
【0048】
算出した縮尺率、回転量、および、平行移動量は、基準フレーム上の任意の位置を測定フレーム上に変換するための座標変換パラメータに相当する。第１画像補正部１４４は、算出した縮尺率、回転量、および、平行移動量を用いて、基準フレームと測定フレームとの間で基準マーカの位置を一致させる座標変換を用いて、測定フレーム上の測定マーカの位置を補正することができる。
【0049】
（ＡＢ補正）
なお、測定マーカの位置は、より簡素な手法を用いて実現することもできる。次に説明する手法は、ＡＢ補正（Absolute Blurring Compensation）とも呼ばれる。第１画像補正部１４４は、陽に縮尺率、回転量、および、平行移動量を計算せずに、測定フレームの測定マーカの位置を、その測定フレームの２個の基準マーカの位置を用いて補正することができる。
なお、測定マーカの位置は、より簡素な手法を用いて実現することもできる。次に説明する手法は、ＡＢ補正（Absolute Blurring Compensation）とも呼ばれる。第１画像補正部１４４は、陽に縮尺率、回転量、および、平行移動量を計算せずに、測定フレームの測定マーカの位置を、その測定フレームの２個の基準マーカの位置を用いて補正することができる。
【0050】
ＡＢ補正では、基準フレームにおいて測定マーカＭｋ－Ｃの重心Ｃを２個の基準マーカＭｋ－Ａ、Ｍｋ－Ｂの重心Ａ、Ｂ間を通る直線上に設置しておき、第１画像補正部１４４は、基準マーカＭｋ－Ａ、Ｍｋ－Ｂそれぞれのフレーム間の変位（ｘＡ’－ｘＡ，ｙＡ’－ｙＡ）、（ｘＢ’－ｘＢ，ｙＢ’－ｙＢ）の加重平均値を、測定マーカＭｋ－Ｃの重心（ｘＣ’，ｙＣ’）に対する補正量として定める。但し、測定マーカＭｋ－Ｃの重心Ｃが２個の基準マーカＭｋ－Ａ、Ｍｋ－Ｂの重心Ａ、Ｂの内分点となる場合には、変位（ｘＡ’－ｘＡ，ｙＡ’－ｙＡ）、（ｘＢ’－ｘＢ，ｙＢ’－ｙＢ）に対する重み係数として重心Ａ、Ｂのそれぞれから重心Ｃまでの内分比の逆数を用いることができる。例えば、重心Ａ、Ｃ間の距離、重心Ｃ、Ｂ間の距離を、それぞれＬＡ、ＬＢとすると、第１画像補正部１４４は、測定フレームにおける測定マーカＭｋ－Ｃのｙ方向の補正後の座標値ｙＣ
＊を、式（１）に従って算出することができる。同様に、第１画像補正部１４４は、測定フレームにおける測定マーカＭｋ－Ｃのｘ方向の補正後の座標値ｘＣ
＊を、式（２）に従って算出することができる。
【0051】
【数1】
【0052】
【数2】
【0053】
特に、測定マーカＭｋ－Ｃの重心Ｃが２個の基準マーカＭｋ－Ａ、Ｍｋ－Ｂの重心Ａ、Ｂの中点となる場合には、第１画像補正部１４４は、基準マーカＭｋ－Ａ、Ｍｋ－Ｂそれぞれの測定フレームにおける重心の座標値の（ｘＡ’，ｙＡ’）、（ｘＢ’，ｙＢ’）の単純平均値を補正値として、測定マーカＭｋ－Ｃの重心の座標値（ｘＣ’，ｙＣ’）から差し引いて補正することができる。
【0054】
測定フレームは、基準フレームの画像が重心Ｃを基点として面内変形して形成されると捉えることもできる。その場合、回転、倍率（縮尺）、レンズ収差が重心Ｃに対して点対称に表れる。重心Ａ、Ｂが水平方向（ｘ方向）にある場合、回転により重心Ａ、Ｂは、それぞれｙ方向、－ｙ方向に変位し、縮尺の変化により重心Ａ、Ｂは、－ｘ方向、＋ｘ方向に変位する。そのため、重心Ｃが重心Ａ、Ｂの内分点である場合には、重心Ａ、Ｂのそれぞれまでの距離の逆数に応じた加重平均により、重心Ａ、Ｂのそれぞれに生じた変位が相殺（キャンセル）される。また、平行移動によれば、重心Ａ、Ｂ、Ｃは、全て同じ方向に同じ変位量で変位するので、重心Ａ、Ｂの内分点の座標を重心Ｃの座標から差し引く補正により平行移動による変位が相殺される。
【0055】
なお、測定マーカＭｋ－Ｃの重心Ｃが２個の基準マーカＭｋ－Ａ、Ｍｋ－Ｂの重心Ａ、Ｂの外分点となる場合には、変位（ｘＡ’－ｘＡ，ｙＡ’－ｙＡ）、（ｘＢ’－ｘＢ，ｙＢ’－ｙＢ）に対する重み係数として重心Ａ、Ｂのそれぞれから外分点までの外分比の逆数を用いることができる。この場合も、平行移動、回転、および、縮尺の変化が簡素な演算により補償される。但し、レンズの収差による誤差が相殺されないため、測定マーカＭｋ－Ｃの重心Ｃが２個の基準マーカＭｋ－Ａ、Ｍｋ－Ｂの重心Ａ、Ｂの内分点になる場合よりも精度が低くなる。
【0056】
なお、サンプリングモアレ法では、測定マーカに表された模様の半周期よりも大きい変位量を測定することができない。サンプリングモアレ法では、その模様から生成されたモアレの位相差を用いるため、模様の周期の整数倍の差をなす変位量同士を区別できないためである。本手法ではフレーム間の変位がピクセル精度で補正され、測定マーカＭｋ－Ｃの補正後の測定フレームにおける重心の位置Ｃ’と基準フレームにおける重心の位置Ｃとの変位に基づいて、測定マーカＭｋ－Ｃのフレーム間の変位を測定マーカＭｋ－Ｃの模様のピッチの半周期以内に収めることができる。よって、第１変位量演算部１４６は、サンプリングモアレ法を用いて、補正後のフレーム間の測定マーカＭｋ－Ｃの現実の変位量を第１変位量としてピクセル精度で測定することができる。
【0057】
また、第２画像補正部１４８は、ピクセル精度で補正された測定フレームにおける基準フレームの位置に対してＡＢ補正を用いて、サブピクセル精度で測定フレームにおける測定フレームの位置を補正することができる。サブピクセル精度での補正を行う際、第２画像補正部１４８は、測定フレームにおいてマーカごとにモアレ画像を生成し、生成したモアレ画像の位相分布を定める。第２画像補正部１４８は、測定フレームにおける基準マーカごとの位相分布を生成する。第２画像補正部１４８は、基準マーカごとの位相分布を加重平均して得られる位相分布を測定マーカの補正量として算出する。他方、第２画像補正部１４８は、測定フレームの測定マーカにおける位相分布から補正量を差し引いて補正後の位相分布を生成する。第２変位量演算部１５０は、サンプリングモアレ法を用いて、測定フレームの測定マーカにおける補正後の位相分布から基準フレームの測定マーカにおける位相分布との位相差に基づいて、第２変位量をサブピクセル精度で測定することができる。
【0058】
次に、ＡＢ補正を用いた変位測定処理の例について図７を用いて説明する。図７は、本実施形態に係る変位測定処理の第２例として、ＡＢ補正を用いた手法を示すフローチャートである。図７に例示される処理を実行する際も、図４の例と同様に、演算処理部１４は、変位量の基準とする基準フレームを設定し、それ以外のフレームを測定フレームとして補正対象とする。但し、基準フレームにおいて、測定マーカの中心座標を２個の基準マーカの中心座標を通る直線上、つまり、内分点または外分点となるように、これらの測定マーカと基準マーカを設置しておく。
【0059】
（ステップＳ１５２）マーカ検出部１４２は、撮像部２０から入力される画像データに示されるフレームごとにマーカを検出する。マーカ検出部１４２は、検出したマーカごとの重心の座標を中心座標として定める。
（ステップＳ１５４）第１画像補正部１４４は、各基準マーカの中心座標の基準フレームと測定フレームにおけるフレーム間変位を算出する。第１画像補正部１４４は、式（１）、（２）に従って、測定フレームにおける測定マーカの中心座標を、各基準マーカの中心座標のフレーム間変位の加重平均値に基づいて補正する。これにより、測定マーカの位置がピクセル精度で補正される（粗補正）。
（ステップＳ１５６）第１変位量演算部１４６は、サンプリングモアレ法を用い、基準フレームの測定マーカと、位置を補正した測定フレームの測定マーカのそれぞれのモアレ画像の位相差を解析し、解析した位相差から現実の測定マーカの変位量を第１変位量として算出する。
（ステップＳ１５４）第１画像補正部１４４は、各基準マーカの中心座標の基準フレームと測定フレームにおけるフレーム間変位を算出する。第１画像補正部１４４は、式（１）、（２）に従って、測定フレームにおける測定マーカの中心座標を、各基準マーカの中心座標のフレーム間変位の加重平均値に基づいて補正する。これにより、測定マーカの位置がピクセル精度で補正される（粗補正）。
（ステップＳ１５６）第１変位量演算部１４６は、サンプリングモアレ法を用い、基準フレームの測定マーカと、位置を補正した測定フレームの測定マーカのそれぞれのモアレ画像の位相差を解析し、解析した位相差から現実の測定マーカの変位量を第１変位量として算出する。
【0060】
（ステップＳ１５８）第２画像補正部１４８は、各基準マーカについて、基準フレームでのモアレ画像と、ピクセル精度での位置の補正後の測定フレームでのモアレ画像との位相差を解析する。解析された位相差は、サブピクセル精度のフレーム間変位に対応する。第２画像補正部１４８は、式（１）、（２）に従って、測定フレームにおけるピクセル精度での補正後の測定マーカの中心座標を、各基準マーカの中心座標のサブピクセル精度でのフレーム間変位の加重平均値に基づいて補正する。これにより、測定マーカの位置がサブピクセル精度で補正される（微小補正）。
（ステップＳ１６０）第２変位量演算部１５０は、サンプリングモアレ法を用いて、基準フレームの測定マーカのモアレ画像と、サブピクセル精度で位置が補正された測定フレームの測定マーカのモアレ画像との位相差を解析し、解析した位相差から現実の測定マーカの変位量を第２変位量として算出する。
（ステップＳ１６２）ステップＳ１５６で得られた第１変位量、または、ステップＳ１６０で得られた第２変位量のいずれかを選択する。変位量出力部１５２は、選択した変位量の情報を表示部１６に表示させる。
（ステップＳ１６０）第２変位量演算部１５０は、サンプリングモアレ法を用いて、基準フレームの測定マーカのモアレ画像と、サブピクセル精度で位置が補正された測定フレームの測定マーカのモアレ画像との位相差を解析し、解析した位相差から現実の測定マーカの変位量を第２変位量として算出する。
（ステップＳ１６２）ステップＳ１５６で得られた第１変位量、または、ステップＳ１６０で得られた第２変位量のいずれかを選択する。変位量出力部１５２は、選択した変位量の情報を表示部１６に表示させる。
【0061】
（シミュレーション）
次に、本実施形態に係る変位測定装置１０に対して実施したシミュレーションについて説明する。シミュレーションでは、既知の変位量を用いて測定を検証する。
第１のシミュレーションでは、変位前の基準フレームの画像として図８（ａ）に例示する画像ａと、変位後の測定フレームの画像として図８（ｂ）に例示する画像ｂを用いた。そして、画像ｂの測定マーカの座標を補正し、画像ｃ（図８（ｃ））における補正後の測定マーカの座標を演算した。画像ｃは、基準マーカの位置が画像ａのものと一致するように画像ｂ内の座標を座標変換して得られる。画像ａ－ｃの大きさは、それぞれ４０００画素×１６００画素である。
次に、本実施形態に係る変位測定装置１０に対して実施したシミュレーションについて説明する。シミュレーションでは、既知の変位量を用いて測定を検証する。
第１のシミュレーションでは、変位前の基準フレームの画像として図８（ａ）に例示する画像ａと、変位後の測定フレームの画像として図８（ｂ）に例示する画像ｂを用いた。そして、画像ｂの測定マーカの座標を補正し、画像ｃ（図８（ｃ））における補正後の測定マーカの座標を演算した。画像ｃは、基準マーカの位置が画像ａのものと一致するように画像ｂ内の座標を座標変換して得られる。画像ａ－ｃの大きさは、それぞれ４０００画素×１６００画素である。
【0062】
画像aは、７個のマーカＡ－Ｇが設置された橋梁の正面を模して合成された画像である。マーカＡ－Ｇの中心座標（Ｘ，Ｙ）は、それぞれ次の通りである。
Ａ（４００，３６０）、Ｄ（１２００，９６０）、Ｃ（２０００，３６０）、Ｅ（２８００，３６０）、Ｂ（３６００，３６０）、Ｆ（４００，９６０）、Ｇ（３６００，９６０）
マーカＡ－Ｇには、それぞれ水平方向および垂直方向に一定のピッチＰで輝度が６周期分変動してなる格子模様が表される。各マーカの座標(i,j)における輝度値をBias+Amp(cos(2π(i/P+X)+cos(2π(j/P+Y))とした。但し、ピッチＰを２０画素、バイアス値Biasを１２８、振幅Ampを５０とした。
マーカＡ－Ｇのうち、マーカＡ、Ｂを基準マーカとして用い、マーカＣ－Ｅを測定マーカとして用いた。マーカＣ－Ｅの位置は、それぞれマーカＡ、Ｂを通る直線の内分点に相当する。マーカＣの位置は、マーカＡ、Ｂの中点に相当する。
Ａ（４００，３６０）、Ｄ（１２００，９６０）、Ｃ（２０００，３６０）、Ｅ（２８００，３６０）、Ｂ（３６００，３６０）、Ｆ（４００，９６０）、Ｇ（３６００，９６０）
マーカＡ－Ｇには、それぞれ水平方向および垂直方向に一定のピッチＰで輝度が６周期分変動してなる格子模様が表される。各マーカの座標(i,j)における輝度値をBias+Amp(cos(2π(i/P+X)+cos(2π(j/P+Y))とした。但し、ピッチＰを２０画素、バイアス値Biasを１２８、振幅Ampを５０とした。
マーカＡ－Ｇのうち、マーカＡ、Ｂを基準マーカとして用い、マーカＣ－Ｅを測定マーカとして用いた。マーカＣ－Ｅの位置は、それぞれマーカＡ、Ｂを通る直線の内分点に相当する。マーカＣの位置は、マーカＡ、Ｂの中点に相当する。
【0063】
画像ｂは、画像ａに表されたマーカＣ－Ｅに、それぞれ既知の変位を与え、変位を与えて得られる画像をアフィン変換して平行移動、縮尺、回転を加えて合成した。マーカＣ－Ｅに与えた変位は、それぞれ次の通りである。
Ｄ（０．０２５，－０．０５）、Ｃ（０，－０．１）、Ｅ（０，－０．０１）
平行移動量Δｘ、Δｙを、それぞれ６．６画素、１３．２画素とした。回転角Δθを２．２°とした。
Ｄ（０．０２５，－０．０５）、Ｃ（０，－０．１）、Ｅ（０，－０．０１）
平行移動量Δｘ、Δｙを、それぞれ６．６画素、１３．２画素とした。回転角Δθを２．２°とした。
【0064】
比較のため、アフィン変換前に既知の変位を加えて得られる画像ｂ’を変形後の測定フレームの画像として、サンプリングモアレ法を用いて、マーカＣ－Ｅの変位を算出した。ここで、マーカに表された模様の現実のピッチｐを１００ｍｍ、間引きの周期Ｔを２０画素とした。二次元の格子模様からx方向の模様の成分とy方向の模様の成分を分離するため、フィルタサイズが４３画素、遮断周波数が０．１の低域フィルタを適用した。変位量の平均化領域の大きさを３０画素×３０画素とした。その結果、マーカＤ、Ｃ、Ｅのｙ方向の変形前後の変位量は、それぞれ５．０、１０．０、１．０２１ｍｍとなった。
【0065】
第２のシミュレーションでは、次のアプローチでマーカＤ、Ｃ、Ｅのｙ方向の変位を定めた。特に断らない限り、画像の補正方法としてＡＢ補正を用いた。
（１）粗補正を行って得られた画像ｃにおけるマーカＤ、Ｃ、Ｅの座標値（ピクセル精度）を、マーカＡ、Ｂの座標値と内分比に基づいて補正し、サンプリングモアレ法を用いてｙ方向の変位を定めた。その結果、マーカＤ、Ｃ、Ｅのｙ方向の変形前後の変位量は、それぞれ５．００７、９．９９２、１．０２０ｍｍとなった。
（２）粗補正と微小補正を行って得られた画像ｃにおけるマーカＤ、Ｃ、Ｅの座標値（サブピクセル精度）を用いて、サンプリングモアレ法を用いてｙ方向の変位を定めた。その結果、マーカＤ、Ｃ、Ｅのｙ方向の変形前後の変位量は、それぞれ５．０６４、１０．０３４、１．０７１ｍｍとなった。
（３）粗補正と微小補正を行って得られた画像ｃにおけるマーカＤ、Ｃ、Ｅの座標値を、マーカＡ、Ｂの座標値と内分比に基づいて補正し、サンプリングモアレ法を用いてｙ方向の変位を定めた。その結果、マーカＤ、Ｃ、Ｅのｙ方向の変形前後の変位量は、それぞれ５．０１９、９．９８８、１．０２４ｍｍとなった。
（１）粗補正を行って得られた画像ｃにおけるマーカＤ、Ｃ、Ｅの座標値（ピクセル精度）を、マーカＡ、Ｂの座標値と内分比に基づいて補正し、サンプリングモアレ法を用いてｙ方向の変位を定めた。その結果、マーカＤ、Ｃ、Ｅのｙ方向の変形前後の変位量は、それぞれ５．００７、９．９９２、１．０２０ｍｍとなった。
（２）粗補正と微小補正を行って得られた画像ｃにおけるマーカＤ、Ｃ、Ｅの座標値（サブピクセル精度）を用いて、サンプリングモアレ法を用いてｙ方向の変位を定めた。その結果、マーカＤ、Ｃ、Ｅのｙ方向の変形前後の変位量は、それぞれ５．０６４、１０．０３４、１．０７１ｍｍとなった。
（３）粗補正と微小補正を行って得られた画像ｃにおけるマーカＤ、Ｃ、Ｅの座標値を、マーカＡ、Ｂの座標値と内分比に基づいて補正し、サンプリングモアレ法を用いてｙ方向の変位を定めた。その結果、マーカＤ、Ｃ、Ｅのｙ方向の変形前後の変位量は、それぞれ５．０１９、９．９８８、１．０２４ｍｍとなった。
【0066】
（１）、（２）を比較すると、（２）よりも（１）の方が得られた変位量の誤差が少ない。サンプリングモアレ法を用いて高い精度で変位量が得られたとしても、アフィン変換で模擬された撮像方向に対する補正の精度が必ずしも高くないことを示す。（１）、（３）を比較すると、（１）の方が、（３）よりもわずかに誤差が少なくなる。但し、変位量の誤差は、（１）、（２）の間で同程度であり有意差は生じない。
【0067】
第３のシミュレーションでは、変位後の測定フレームごとに次のケース（ｉ）－（ｖ）を仮定してマーカＣ－Ｅにおける変位量を算出した。ケースごとの期間を、２０フレームとした。
（ｉ）撮像部２０の位置が静止している場合（静止、変換なし）、（ｉｉ）ｘ方向（水平方向）に平行している場合（Δｘ）、（ｉｉｉ）ｙ方向に平行移動している場合（Δｙ）、（ｉｖ）回転している場合（Δθ）、（ｖ）倍率が変動する場合（Δｓ）
（ｉ）撮像部２０の位置が静止している場合（静止、変換なし）、（ｉｉ）ｘ方向（水平方向）に平行している場合（Δｘ）、（ｉｉｉ）ｙ方向に平行移動している場合（Δｙ）、（ｉｖ）回転している場合（Δθ）、（ｖ）倍率が変動する場合（Δｓ）
【0068】
（ｉ）では、カメラのショットノイズを模擬するため、図８（ａ）に示す基準フレームの画像に表される各マーカの輝度値にマーカの模様を表す輝度の振幅の２％に相当する振幅を有するランダムノイズを加え、測定フレームごとに位置を変動させた。 （ｉｉ）では、各マーカの座標値にランダムノイズを加算して得られる画像に加えるｘ方向の平行移動量の初期値を０とし、フレームごとに０．１画素ずつ増加させ、最大値１画素に達した後、フレームごとに０．１画素ずつ減少させた。
（ｉｉｉ）では、各マーカの座標値にランダムノイズを加算して得られる画像に加えるｙ方向の平行移動量の初期値を０とし、フレームごとに０．１画素ずつ増加させ、最大値１画素に達した後、フレームごとに０．１画素ずつ減少させた。
（ｉｖ）では、各マーカの座標値にランダムノイズを加算して得られる画像に加える回転量の初期値を０とし、フレームごとに０．００１度ずつ増加させ、最大値０．０１度に達した後、フレームごとに０．０１度ずつ減少させた。回転の基準点を、画像の中心とした。
（ｖ）では、各マーカの座標値にランダムノイズを加算して得られる画像に加える倍率の初期値を１（等倍）とし、フレームごとに０．０００１倍ずつ増加させ、最大値１．００１倍に達した後、フレームごとに０．００１ずつ減少させた。拡大の基準点を、画像の中心とした。
（ｉｉｉ）では、各マーカの座標値にランダムノイズを加算して得られる画像に加えるｙ方向の平行移動量の初期値を０とし、フレームごとに０．１画素ずつ増加させ、最大値１画素に達した後、フレームごとに０．１画素ずつ減少させた。
（ｉｖ）では、各マーカの座標値にランダムノイズを加算して得られる画像に加える回転量の初期値を０とし、フレームごとに０．００１度ずつ増加させ、最大値０．０１度に達した後、フレームごとに０．０１度ずつ減少させた。回転の基準点を、画像の中心とした。
（ｖ）では、各マーカの座標値にランダムノイズを加算して得られる画像に加える倍率の初期値を１（等倍）とし、フレームごとに０．０００１倍ずつ増加させ、最大値１．００１倍に達した後、フレームごとに０．００１ずつ減少させた。拡大の基準点を、画像の中心とした。
【0069】
図９（ａ）、（ｂ）は、各測定フレームにおけるマーカＡ－Ｃのｘ、ｙ方向の変位量を示す。この変位量は、補正を行わずにサンプリングモアレ法を用いて得られた値である。但し、間引きの周期Ｔを２０、被写体空間におけるマーカのピッチ周期ｐを１００ｍｍ、低域フィルタの遮断周波数を０．１、モアレ画像の位相差を平均する際の平均領域の大きさを４０×４０画素とした。図９（ａ）、（ｂ）に示すように、撮像方向の変化を模した座標変化により、有意にｘ、ｙ方向の変位量が変動する。
図９（ｃ）は、各測定フレームにおける補正後のマーカＣのｘ方向の変位量とｙ方向の変位量を、それぞれ〇印、●印を用いて示す。補正は、測定フレームにおける画像上でのマーカＡ、Ｂのｙ座標の平均値を差し引いてなされる。その結果、（ｉ）－（ｖ）のいずれのケースでもｘ、ｙ方向の平均値は、０．０１７、－０．０１７、標準偏差は、０．０１１、０．０１２となり、有意差が生じない。図９（ｃ）のシミュレーション結果は、平行移動、回転または縮尺が変化するケースでも、変化しないケースと同様の計測精度が得られることを示す。
図９（ｃ）は、各測定フレームにおける補正後のマーカＣのｘ方向の変位量とｙ方向の変位量を、それぞれ〇印、●印を用いて示す。補正は、測定フレームにおける画像上でのマーカＡ、Ｂのｙ座標の平均値を差し引いてなされる。その結果、（ｉ）－（ｖ）のいずれのケースでもｘ、ｙ方向の平均値は、０．０１７、－０．０１７、標準偏差は、０．０１１、０．０１２となり、有意差が生じない。図９（ｃ）のシミュレーション結果は、平行移動、回転または縮尺が変化するケースでも、変化しないケースと同様の計測精度が得られることを示す。
【0070】
（実験）
次に、本実施形態に係る変位測定装置１０に対して実施した実験について説明する。
第１の実験は、移動するカメラから撮像された画像の位置合わせの検証を主な目的とする。第１の実験では、構造物に設置された３個のマーカＭｋ－Ａ～Ｍｋ－Ｃの画像をドローンに搭載されたカメラから一定時間間隔で撮像した。マーカＭｋ－Ａ～Ｍｋ－Ｃを、水平方向に等間隔に配列させた。図１０（ａ）が構造物の正面に向けて撮像された画像の例である。図１０（ｂ）が、図１０（ａ）のうち、マーカＭｋ－Ａ～Ｍｋ－Ｃが表された領域を拡大した拡大図である。実験では、マーカＭｋ－Ａ～Ｍｋ－Ｃのうち、マーカＭｋ－Ｃを測定マーカとして用い、マーカＭｋ－Ａ、Ｍｋ－Ｂを基準マーカとして用いた。ドローンの飛行中において構造物に外力を与えなかった。従って、理想的には各マーカにおける変位量は０になる。
次に、本実施形態に係る変位測定装置１０に対して実施した実験について説明する。
第１の実験は、移動するカメラから撮像された画像の位置合わせの検証を主な目的とする。第１の実験では、構造物に設置された３個のマーカＭｋ－Ａ～Ｍｋ－Ｃの画像をドローンに搭載されたカメラから一定時間間隔で撮像した。マーカＭｋ－Ａ～Ｍｋ－Ｃを、水平方向に等間隔に配列させた。図１０（ａ）が構造物の正面に向けて撮像された画像の例である。図１０（ｂ）が、図１０（ａ）のうち、マーカＭｋ－Ａ～Ｍｋ－Ｃが表された領域を拡大した拡大図である。実験では、マーカＭｋ－Ａ～Ｍｋ－Ｃのうち、マーカＭｋ－Ｃを測定マーカとして用い、マーカＭｋ－Ａ、Ｍｋ－Ｂを基準マーカとして用いた。ドローンの飛行中において構造物に外力を与えなかった。従って、理想的には各マーカにおける変位量は０になる。
【0071】
図１１は、各時刻において撮像された画像におけるマーカＭｋ－Ａ、Ｍｋ－Ｃ、Ｍｋ－Ｂそれぞれの中心点のｘ座標、ｙ座標をピクセル精度で示す。図１１において、各列はマーカに、各行は座標に対応している。マーカＭｋ－Ａ、Ｍｋ－Ｃ、Ｍｋ－Ｂは、現実には静止しているところ、図１１に示される位置の変化は、撮像部２０として用いられるカメラの位置の変化（画像ぶれ）を示す。
【0072】
図１２は、観測開始から終了までの画像におけるマーカＭｋ－Ａ、Ｍｋ－Ｃ、Ｍｋ－Ｂそれぞれの重心点の軌跡を左列にピクセル精度で示し、右列にサブピクセル精度で示す。図１２において、各列はマーカに対応している。ピクセル精度、サブピクセル精度のいずれについても各マーカの軌跡の形状は互いに類似している。このことは画像全体に共通の変位が有意であり、補正をしなければ局所的な変位が隠蔽される可能性を示す。また、サブピクセル精度で各マーカの位置を補正することで、滑らかな軌跡が得られる。サブピクセル精度の計測により、各マーカの変位が高い精度で得られることが期待される。
【0073】
図１３（ａ）、（ｂ）、（ｃ）、（ｄ）は、それぞれ各時刻において撮像された測定画像から算出されたｘ方向の平行移動量Δｘ、ｙ方向の平行移動量Δｙ、回転量Δθ、縮尺率Δｓを示す。但し、初期（時刻ｔ＝０）のフレームを基準フレームとし、それよりも後の各時刻ｔにおけるフレームを測定フレームとした。平行移動量Δｘ、Δｙ、回転量Δθ、縮尺率Δｓは、各時刻の測定フレームと基準フレームのそれぞれにおける基準マーカの重心点から算出される。
【0074】
図１４（ａ）、（ｂ）は、各時刻におけるマーカＭｋ－Ａの重心点のｘ座標、ｙ座標を示す。ピクセル精度で得られた値、サブピクセル精度で得られた値を、それぞれ薄い線、濃い線で表す。ピクセル精度では値が時間経過に応じて段状に変化するのに対し、サブピクセル精度では時間経過に応じて滑らかに変化する。この段状の変化は、時間変化が相対的に少ないｙ座標値の方において顕著である。マーカＭｋ－Ａの位置の画素単位（ピクセル精度）での量子化が、微小な変位に対する誤差に大きな影響を与えることを示す。
【0075】
図１５は、各時刻におけるマーカＭｋ－Ｃのサブピクセル精度のたわみ値を示す。例示されるたわみ値は、マーカＭｋ－Ａ、Ｍｋ－Ｂの位置を用いて補正されたマーカＭｋ－Ｃのｙ方向の変位量に相当する。図１５に示す変位量は、たわみ値の平均、標準偏差は、それぞれ０．００４ｍｍ、０．０４８ｍｍとなった。この結果は、構造物の正面を飛行（ホバリング）するドローンに搭載するカメラで撮像された画像を用いても、飛行による位置や向きの変動に関わらず、０．１ｍｍ以下の高い精度でたわみ値を計測できることを示す。
【0076】
図１６は、各時刻における画像ぶれ量を示す。例示される画像ぶれ量は、初期におけるマーカＭｋ－Ｃの重心点の座標を基準とした、以降の各時刻におけるマーカＭｋ－Ｃの重心点の座標までの変位量に相当する。図１６（ａ）はマーカＭｋ－Ｃの位置を補正せずに得られた画像ぶれ量の軌跡を示す。軌跡は、原点から開始され右方に約２０画素移動し、左方に約４０画素移動し、その後、原点に向けて移動する。
図１６（ｂ）はマーカＭｋ－Ｃの位置をピクセル精度で補正して得られる画像ぶれ量の軌跡を示す。補正により、画像ぶれ量は原点の近傍に収束する。
図１６（ｃ）は、図１６（ｂ）の拡大図に相当する。画像ぶれ量は、ｘ方向に±３画素程度、ｙ方向に±１画素程度の範囲内に収まる。
図１６（ｄ）はマーカＭｋ－Ｃの位置をサブピクセル精度で補正して得られる画像ぶれ量の軌跡を示す。サブピクセル精度での補正により、画像ぶれ量はピクセル精度での補正よりもさらに原点の近傍に収束する。
図１６（ｅ）、（ｆ）は、いずれも図１６（ｄ）の拡大図に相当する。画像ぶれ量は、ｘ方向に±０．２画素程度、ｙ方向に±０．０３画素程度の範囲内に収まる。
図１６に示す例より、本実施形態により撮像部２０が移動する状況においても、移動に伴う画像ぶれが高い精度で補正される。よって、撮像された画像を用いて測定された変位量の精度が向上する。
図１６（ｂ）はマーカＭｋ－Ｃの位置をピクセル精度で補正して得られる画像ぶれ量の軌跡を示す。補正により、画像ぶれ量は原点の近傍に収束する。
図１６（ｃ）は、図１６（ｂ）の拡大図に相当する。画像ぶれ量は、ｘ方向に±３画素程度、ｙ方向に±１画素程度の範囲内に収まる。
図１６（ｄ）はマーカＭｋ－Ｃの位置をサブピクセル精度で補正して得られる画像ぶれ量の軌跡を示す。サブピクセル精度での補正により、画像ぶれ量はピクセル精度での補正よりもさらに原点の近傍に収束する。
図１６（ｅ）、（ｆ）は、いずれも図１６（ｄ）の拡大図に相当する。画像ぶれ量は、ｘ方向に±０．２画素程度、ｙ方向に±０．０３画素程度の範囲内に収まる。
図１６に示す例より、本実施形態により撮像部２０が移動する状況においても、移動に伴う画像ぶれが高い精度で補正される。よって、撮像された画像を用いて測定された変位量の精度が向上する。
【0077】
第２の実験は、ドローンを用いて移動させたカメラから撮像された画像を用いて測定した変位の検証を主な目的とする。
図１７は、空撮による変位測定の実験光学系を示す図である。図１７に示す例では、ドローンに搭載されたカメラを用いて撮像された画像を用いてｙ方向の変位を測定した（たわみ測定）。但し、比較のため、焦点距離が３５ｍｍである単焦点レンズを装着し、三脚に固定されたデジタルカメラを用いて撮影された画像（図１７（ａ））を用いてｙ方向の変位を測定した。図１７（ａ）は、３個のマーカＡ－Ｃを表す。図面に対して左右のマーカＡ、Ｂを基準マーカとし、中央のマーカＣを測定マーカとして用いた。マーカＡ－Ｃの模様のｘ方向、ｙ方向のピッチを５０ｍｍとした。マーカＣを移動ステージに固定させ、オペレータの操作によりステージコントローラを用いて移動ステージの高さ（ｙ方向（鉛直方向とは逆向き、「上方」と呼ぶことがある）の変位）を制御した。カメラまたはドローンからマーカＣまでの距離を約７ｍとし、マーカＡとマーカＣの距離、マーカＢとマーカＣの距離をいずれも３．１ｍとした。こにより、全長が６．２ｍの橋梁の中央におけるたわみ計測が想定されている。
図１７は、空撮による変位測定の実験光学系を示す図である。図１７に示す例では、ドローンに搭載されたカメラを用いて撮像された画像を用いてｙ方向の変位を測定した（たわみ測定）。但し、比較のため、焦点距離が３５ｍｍである単焦点レンズを装着し、三脚に固定されたデジタルカメラを用いて撮影された画像（図１７（ａ））を用いてｙ方向の変位を測定した。図１７（ａ）は、３個のマーカＡ－Ｃを表す。図面に対して左右のマーカＡ、Ｂを基準マーカとし、中央のマーカＣを測定マーカとして用いた。マーカＡ－Ｃの模様のｘ方向、ｙ方向のピッチを５０ｍｍとした。マーカＣを移動ステージに固定させ、オペレータの操作によりステージコントローラを用いて移動ステージの高さ（ｙ方向（鉛直方向とは逆向き、「上方」と呼ぶことがある）の変位）を制御した。カメラまたはドローンからマーカＣまでの距離を約７ｍとし、マーカＡとマーカＣの距離、マーカＢとマーカＣの距離をいずれも３．１ｍとした。こにより、全長が６．２ｍの橋梁の中央におけるたわみ計測が想定されている。
【0078】
本実験では、小型ドローンに搭載されたカメラを用いて、高さを約２．５ｍとして動画（解像度：３８４０画素×２１６０画素）を撮像した。１回の撮像時間は約５０秒である。最初１０秒間ではｙ方向への変位なしとし、その後５秒間にわたりｙ方向の変位が５ｍｍとなるまで上昇させ、その後、約２０秒間高さを維持し、さらに５秒間にわたりｙ方向の変位が１０ｍｍとなるまで上昇させ、その後、高さを１０秒間維持した。
図１７（ｂ）と図１７（ｃ）にそれぞれ小型ドローンが飛行中に撮影された撮像開始時（０秒）における変位量０での撮像画像と、撮像開始から２５秒後における変位量５ｍｍとなる変形後の撮像画像を示す。この場合、カメラの位置は、測定物であるマーカＣに対して、正面ではなく、上方から下向きであおりのついた動画が撮影される。図１７（ｂ）、（ｃ）のそれぞれの左右の矢印の位置は、画像の位置が上下左右にずれることを示す。図１７（ｂ）、（ｃ）のそれぞれの中央の矢印の位置の違いは、ドローンの高さの違いによる視差の効果を含む。このことは、必ずしもドローンの位置を被写体とする構造物の正面に配置する必要がないことを示す。
図１７（ｂ）と図１７（ｃ）にそれぞれ小型ドローンが飛行中に撮影された撮像開始時（０秒）における変位量０での撮像画像と、撮像開始から２５秒後における変位量５ｍｍとなる変形後の撮像画像を示す。この場合、カメラの位置は、測定物であるマーカＣに対して、正面ではなく、上方から下向きであおりのついた動画が撮影される。図１７（ｂ）、（ｃ）のそれぞれの左右の矢印の位置は、画像の位置が上下左右にずれることを示す。図１７（ｂ）、（ｃ）のそれぞれの中央の矢印の位置の違いは、ドローンの高さの違いによる視差の効果を含む。このことは、必ずしもドローンの位置を被写体とする構造物の正面に配置する必要がないことを示す。
【0079】
図１８は、空撮によるたわみ測定の実験結果を示す。図１８（ａ）は、サブピクセル精度で測定された各マーカの位置のｘ－ｙ平面内軌道を示す。これらの軌道は、小型ドローンのホバリングにより時間の経過に応じて位置が変化することを示す。図１８（ｂ）、（ｃ）は、それぞれドローンに搭載されたカメラと三脚に固定されたカメラで撮像された画像を用いて測定されたｙ方向の変位量の時系列を示す。既知の変位量は、撮像開始時から１０秒後までは変位量は０ｍｍ、１５秒後から３５秒後までは変位量は５ｍｍ、４０秒後以降では１０ｍｍである。本実施形態を用いドローンに搭載されたカメラを用いて撮像された画像を用いた変位量は（図１８（ｂ））、撮像開始時から１０秒後までは変位量は０．０９５ｍｍ、１５秒後から３５秒後以降までは変位量は４．７４４ｍｍ、４０秒後以降では１０．５４０ｍｍとなった。三脚に固定されたカメラを用いて撮像された画像を用いて従来法で解析された変位量は（図１８（ｃ））、撮像開始時から１０秒後までは変位量は０．０３４ｍｍ、１５秒後から３５秒後以降までは変位量は５．０３５ｍｍ、４０秒後以降では１０．０５１ｍｍとなった。この実験結果から、本実施形態により移動するカメラで撮影された画像を用いても、固定したカメラで撮影された画像を用いた場合と同様に、正確な変位量が得られることを確認できた。本実験から、本実施形態によれば、ドローン空撮による画像を用いて構造物のたわみ測定を高精度で実現できることを検証できた。
【0080】
（基準マーカが３個以上の場合）
次に、基準マーカを３個以上用いる場合における実施形態について説明する。上記のＡＢ補正では、基準フレームにおいて２個の基準マーカの直線上に測定マーカを配置することを要する。基準マーカの配置によっては、変位量を測定したいと考える位置に測定マーカを設置できないこともある。また、撮像部２０からの測定マーカの方向と、撮像部２０の光学軸の方向（つまり、撮像方向）とのなす角度が大きくなるほど、撮像された画像に表れる測定マーカの形態の歪が著しくなる傾向がある。そのため、撮像部２０の位置と各マーカの配置の制約を緩和することが望まれる。
次に、基準マーカを３個以上用いる場合における実施形態について説明する。上記のＡＢ補正では、基準フレームにおいて２個の基準マーカの直線上に測定マーカを配置することを要する。基準マーカの配置によっては、変位量を測定したいと考える位置に測定マーカを設置できないこともある。また、撮像部２０からの測定マーカの方向と、撮像部２０の光学軸の方向（つまり、撮像方向）とのなす角度が大きくなるほど、撮像された画像に表れる測定マーカの形態の歪が著しくなる傾向がある。そのため、撮像部２０の位置と各マーカの配置の制約を緩和することが望まれる。
【0081】
そこで、第１画像補正部１４４または第２画像補正部１４８は、各フレームにおいて３個以上の基準マーカを表す画像を用い、基準フレームと測定フレームとの間で個々の基準マーカの位置を一致させるように、測定フレーム内の座標に対する座標変換の変換パラメータを算出する。第１画像補正部１４４または第２画像補正部１４８は、算出した変換パラメータを用いて測定マーカの位置を座標変換することにより補正する。３個以上の基準マーカを用いる場合には、測定マーカの位置は、基準マーカの位置と異なっていれば各フレームの画像における任意の位置であればよい。そのため、測定マーカの位置の制約が緩和される。より具体的には、測定マーカの位置は、ＡＢ補正のように各２個の基準マーカ間の直線上になくてもよいし、３個以上の基準マーカの位置を頂点とする多角形の範囲内になくてもよい。また、撮像部２０からの測定マーカの方向が、正面方向と交差する斜め方向であっても、撮像された画像に表れる測定マーカの形態の剪断歪み（skew, shear）が補償されるため、測定精度の低下が抑制される。基準マーカの数が３個の場合には、第１画像補正部１４４または第２画像補正部１４８は、座標変換の手法としてアフィン変換などの線形変換を用いることができる。その場合には、平行移動、回転、および、縮尺の他、剪断歪みも考慮される。
【0082】
基準マーカの個数が４個である場合には、第１画像補正部１４４または第２画像補正部１４８は、座標変換法としてホモグラフィ変換を用いることができる。ホモグラフィ変換は、四角形Ｐの４個の頂点Ｐ１－Ｐ４を、それぞれ形状の異なる補正後の四角形Ｑの頂点Ｑ１－Ｑ４となる線形変換であり（図１９参照）、台形変換とも呼ばれる。四角形Ｐ内の点Ｐ５は、ホモグラフィ変換により四角形Ｑ内のＱ５に変換される。点Ｐ５が点Ｑ５に変換される際、各頂点との位置関係が維持され、より複雑な変形による変位が簡素な演算により補償される。
【0083】
第１画像補正部１４４または第２画像補正部１４８は、各フレームの補正後の画像における４個の基準マーカＭｋ－１～Ｍｋ－４の位置Ｑ１～Ｑ４がフレーム間で共通となるように、ホモグラフィ変換に用いる座標変換パラメータを定めればよい。第１画像補正部１４４または第２画像補正部１４８は、補正前の測定マーカＭｋ－５の位置Ｐ５を示す座標（ｘ，ｙ）を、定めた座標変換パラメータを用いてホモグラフィ変換を実行し補正後の測定マーカＭｋ－５の位置Ｑ５の座標（ｕ，ｖ）を算出することができる。
【0084】
例えば、初期のフレームを基準フレームとして用いる場合、第１画像補正部１４４または第２画像補正部１４８には、基準フレームに表される４個の基準マーカＭｋ－１～Ｍｋ－４の位置を基準位置として設定しておく。第１画像補正部１４４または第２画像補正部１４８は、その他各フレームを測定フレームとし、個々の測定フレームに表される４個の基準マーカＭｋ－１～Ｍｋ－４の位置を基準位置に変換するための座標変換パラメータを定める。第１画像補正部１４４または第２画像補正部１４８は、定めた座標変換パラメータを用いて、測定フレームに表される測定マーカＭｋ－５の位置に対して式（３）を用いて、補正後の測定マーカＭｋ－５の位置を定める。
【0085】
式（３）は、座標（ｘ，ｙ）から座標（ｕ，ｖ）への座標変換を示す。式（３）において、ａ～ｈは、座標変換パラメータに相当する実数である。式（３）に代えて、式（４）が用いられてもよい。座標変換パラメータａ～ｈは、式（５）、（６）の等式をいずれも満足する。
【0086】
【数3】
【0087】
【数4】
【0088】
【数5】
【0089】
【数6】
【0090】
よって、第１画像補正部１４４または第２画像補正部１４８は、測定フレームにおいて、４個の基準マーカの位置を示す座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それぞれ対応する基準位置の座標（ｕ１，ｖ１）、（ｕ２，ｖ２）、（ｕ３，ｖ３）、（ｕ４，ｖ４）との間で、式（５）、（６）を満足するように座標変換パラメータａ～ｈを算出することができる。より具体的には、第１画像補正部１４４または第２画像補正部１４８は、式（５）、（６）に基準マーカごとに補正前後の座標を代入して得られる８本の等式（式（７））を連立し、ガウス消去法などの手法を用いて、座標変換パラメータａ～ｈを算出することができる。
【0091】
【数7】
【0092】
次に、ホモグラフィ変換を適用した変位測定処理の例について説明する。以下の説明では、測定フレームにおける基準マーカの位置をサブピクセル精度で補正し、基準フレームにおける基準マーカの位置から補正後の測定フレームにおける基準マーカの位置への座標変換に基づいて測定フレームの測定マーカの位置を補正する場合を例にする。
【0093】
図２０は、本実施形態に係る変位測定処理の第３例として、ホモグラフィ変換を用いた手法を示すフローチャートである。図２０に例示される処理を実行する際も、図４の例と同様に、演算処理部１４は、変位量の基準とする基準フレームを設定し、それ以外のフレームが測定フレームとして補正対象とする。
（ステップＳ２０２）マーカ検出部１４２は、撮像部２０から入力される画像データに示されるフレームごとにマーカを検出する。マーカ検出部１４２は、検出したマーカごとの重心の座標を中心座標として定める。
（ステップＳ２０４）第１画像補正部１４４は、基準フレームにおける４個の基準マーカの配置と、基準時刻とは異なる測定フレームにおける４個の基準マーカの配置を用い、測定フレームにおける個々の基準マーカの位置を基準マーカにおける対応する基準マーカの位置へのホモグラフィ変換の座標変換パラメータを定める。第１画像補正部１４４は、定めた座標変換パラメータを用いて測定フレームの測定マーカの位置に対してホモグラフィ変換を実行してピクセル精度での補正後の位置を定める（粗補正）。
（ステップＳ２０６）第１変位量演算部１４６は、サンプリングモアレ法を用いて、基準フレームの測定マーカと、測定フレームの位置を補正した測定マーカのモアレ画像の位相差を解析し、解析した位相差から現実の測定マーカの変位量を第１変位量として算出する。
（ステップＳ２０２）マーカ検出部１４２は、撮像部２０から入力される画像データに示されるフレームごとにマーカを検出する。マーカ検出部１４２は、検出したマーカごとの重心の座標を中心座標として定める。
（ステップＳ２０４）第１画像補正部１４４は、基準フレームにおける４個の基準マーカの配置と、基準時刻とは異なる測定フレームにおける４個の基準マーカの配置を用い、測定フレームにおける個々の基準マーカの位置を基準マーカにおける対応する基準マーカの位置へのホモグラフィ変換の座標変換パラメータを定める。第１画像補正部１４４は、定めた座標変換パラメータを用いて測定フレームの測定マーカの位置に対してホモグラフィ変換を実行してピクセル精度での補正後の位置を定める（粗補正）。
（ステップＳ２０６）第１変位量演算部１４６は、サンプリングモアレ法を用いて、基準フレームの測定マーカと、測定フレームの位置を補正した測定マーカのモアレ画像の位相差を解析し、解析した位相差から現実の測定マーカの変位量を第１変位量として算出する。
【0094】
（ステップＳ２０８）第２画像補正部１４８は、基準マーカごとに、基準フレームのモアレ画像と、ピクセル精度での位置の補正後の測定フレームでのモアレ画像との位相差を解析する。第２画像補正部１４８は、解析した位相差に基づいて測定フレームから基準フレームへのホモグラフィ変換の座標変換パラメータを算出する。第２画像補正部１４８は、算出した座標変換パラメータを用いてピクセル精度での補正後の測定フレームでの測定マーカの位置に対してホモグラフィ変換を実行して、サブピクセル精度での補正後の測定マーカの位置を定める。
（ステップＳ２１０）第２変位量演算部１５０は、サンプリングモアレ法を用いて、基準フレームの測定マーカと、サブピクセル精度での測定フレームの位置を補正した測定マーカのモアレ画像の位相差を解析し、解析した位相差から現実の測定マーカの変位量を第２変位量として算出する。
（ステップＳ２１２）変位量出力部１５２は、ステップＳ２０６で得られた第１変位量、または、ステップＳ２１０で得られた第２変位量のいずれかを選択する。変位量出力部１５２は、選択した変位量の情報を表示部１６に表示させる。
（ステップＳ２１０）第２変位量演算部１５０は、サンプリングモアレ法を用いて、基準フレームの測定マーカと、サブピクセル精度での測定フレームの位置を補正した測定マーカのモアレ画像の位相差を解析し、解析した位相差から現実の測定マーカの変位量を第２変位量として算出する。
（ステップＳ２１２）変位量出力部１５２は、ステップＳ２０６で得られた第１変位量、または、ステップＳ２１０で得られた第２変位量のいずれかを選択する。変位量出力部１５２は、選択した変位量の情報を表示部１６に表示させる。
【0095】
（画像補正装置）
上記の説明では、変位測定システム１および変位測定装置１０としての実施形態を例示したが、画像補正システム３および画像補正装置３０としての形態で実施されてもよい。以下の説明では、上記の実施形態との差異点を主とし、特に断らない限り共通の符号を付して上記の説明を援用する。
上記の説明では、変位測定システム１および変位測定装置１０としての実施形態を例示したが、画像補正システム３および画像補正装置３０としての形態で実施されてもよい。以下の説明では、上記の実施形態との差異点を主とし、特に断らない限り共通の符号を付して上記の説明を援用する。
【0096】
図２１は、本実施形態に係る画像補正システム３の機能構成例を示す概略ブロック図である。画像補正システム３は、画像補正装置３０と、撮像部２０と、を備える。画像補正装置３０は、パラメータ入力部１２と、演算処理部３４と、表示部１６と、を備える。演算処理部３４は、マーカ検出部１４２、第１画像補正部１４４、および、第２画像補正部１４８を含んで構成される。図２１に例示される演算処理部３４は、図３に例示される演算処理部１４から第１変位量演算部１４６、第２変位量演算部１５０、および、変位量出力部１５２が省略されている。第１画像補正部１４４では、測定フレームと基準フレームのフレーム間で各基準マーカの変位が補償されるように、測定フレーム内の各位置の座標を座標変換することによりピクセル精度で位置が補正された測定フレームの画像が得られる。第２画像補正部１４８では、ピクセル精度で位置が補正された測定フレームの画像における基準マーカのモアレ画像と、基準フレームの画像における基準マーカのモアレ画像との位相差に対応する変位が補償されるように、測定フレーム内の各位置の座標を座標変換することによりサブピクセル精度で位置が補正された測定フレームの画像が得られる。
【0097】
この構成により、撮像部２０が移動体に搭載されている場合でもサブピクセル精度でフレーム間において複数の基準マーカの位置が合致するように画像の位置合わせが実現する。位置合わせは、撮像された画像の所定の評価領域における輝度分布の時間変化に基づく各種の表面状態のモニタリングなどに応用することができる。また、画像は、被写体から発される可視光線に基づく可視画像に限らず、赤外線画像、紫外線画像、Ｘ線画像などであってもよい。また、評価領域内に応力発光体を予め塗布しておくことで、応力発光により表れる模様（応力発光画像）を用いて応力分布の解析にも応用することができる。
【0098】
次に、画像補正装置３０による画像の位置合わせの例について説明する。図２２は、画像の位置合わせの第１例の説明図である。図２２の例では、撮像部２０の撮像領域（視野）内の被写体の表面に４個の基準マーカＭｋ－Ａ～Ｍｋ－Ｄを設置し、撮像領域に含まれる評価領域内の表面に表れる観測対象物の例として壁面のひび割れ（亀裂）の形状の変化の観測に応用する場合を例にする。その場合、フレームごとに撮像された画像を用いて評価領域内のひび割れの長さ、幅、分岐などの時間発展を観測することができる。評価領域は、観測期間内における各フレームにおいて撮像領域に含まれる領域であればよい。
【0099】
図２３は、画像の位置合わせの第２例の説明図である。図２３は、複数のフレームの画像を１フレームの画像への接続に対する応用例である。第１画像補正部１４４、第２画像補正部１４８は、複数フレームの画像を取得し、取得した画像に共通に含まれる２以上の基準フレームの位置が合致するように取得したフレーム内の位置を補正する。これにより、複数フレームの画像をサブピクセル精度で空間的に接続することができる。図２３（ａ）は、異なる時刻に撮像された２フレームの画像を例示する。一方のフレームの画像Ａは、マーカＭｋ－Ａ１、Ｍｋ－Ｂ１、Ｍｋ－Ｂ２、Ｍｋ－Ａ２を含む視野Ａを表し、他方のフレームの画像Ｂは、マーカＭｋ－Ｃ１、Ｍｋ－Ｂ１、Ｍｋ－Ｂ２、Ｍｋ－Ｃ２を含む視野Ｂを表す。第１画像補正部１４４、第２画像補正部１４８は、両フレームに共通のマーカとして、マーカＭｋ－Ｂ１、Ｍｋ－Ｂ２の位置がそれぞれ合致するように画像Ａと画像Ｂを接続して、より領域が大きい画像を形成することができる。複数のフレームは、同時に別個の撮像部２０を用いて撮像されたものでもよいし、１個の撮像部２０を用いて異なる時刻で撮像されたものでもよい。また、第１画像補正部１４４、第２画像補正部１４８は、２以上の基準マーカを視野に共通に含む２フレームの画像の組ごとに順次接続し、３以上のフレームの画像から１フレームのより領域が大きい画像を形成してもよい。
【0100】
図２４は、画像の位置合わせ補正の実験結果を示す例示する説明図である。実験では、飛行中の小型ドローンに搭載された撮像部２０から一定の時間間隔で空中撮影して得られた画像を位置合わせに用いた。図２４（ａ）は、最初のフレームの画像と９０枚目のフレームの画像を単純に重ね合わせて合成して得られた画像を示す。図２４（ａ）は、補正前において異なる時刻で撮影された２枚の画像間に表れた共通の図形や文字の位置が有意に異なる図２４（ｂ）は、各フレームの画像の左右両端に表れた２つのマーカＭｋ－Ａ、Ｍｋ－Ｂを利用して、２枚のうち後の時刻のフレームの画像に対してＡＢ補正を行って得られた補正後の画像と先の時刻のフレームの撮像画像とを合成して得られた画像を示す。図２４（ｂ）には、異なる時刻で撮影された２枚の画像間では共通の図形や文字の配置の差異が生じず、２枚の画像の模様がほぼ完全に重なっていることを示す。これにより、ドローンから撮影された撮像画像のぶれ補正が実現され、一例として、ユーザが観察を所望する表示領域（例えば、評価領域）における画像情報（図２４の例ではNEW NORMAL!の文字）の変化が容易に検出できるようになる。本実施形態は、一般的なカメラで撮像された可視光に基づく撮像画像のみならず、赤外線カメラで撮像された撮像画像や応力発光画像などに適用することで、構造物の健全性評価診断における様々な画像評価に利用できる。
【0101】
以上に説明したように、本実施形態に係る変位測定装置１０は、変位量の基準とする２個以上の基準マーカと、一定のピッチで空間的に繰り返される模様を表す測定マーカとを表す画像をフレームごとに撮像部２０から取得し、基準マーカのフレーム間の変位を補償するように前記測定マーカの位置を補正する画像補正部（例えば、第１画像補正部１４４、第２画像補正部１４８）を備える。変位測定装置１０は、測定マーカの模様から生成されるモアレ画像のフレーム間の位相差から、測定マーカの変位量を演算する変位量演算部（第１変位量演算部１４６、第２変位量演算部１５０）を備える。
この構成によれば、フレームごとに撮像部２０の位置や向きが変動しても、撮像された画像における各座標の変化が補償される。そのため、異なる時刻に撮像された画像から測定マーカが設置された部位の変位量を、精度を損なわずに測定することができる。
この構成によれば、フレームごとに撮像部２０の位置や向きが変動しても、撮像された画像における各座標の変化が補償される。そのため、異なる時刻に撮像された画像から測定マーカが設置された部位の変位量を、精度を損なわずに測定することができる。
【0102】
また、変位量の基準とするフレームである基準フレームの画像において、前記測定マーカの位置は２個の基準マーカ間を通過する直線上にあり、画像補正部は、基準フレームにおける２個の基準マーカのそれぞれの位置と、変位量の測定対象とするフレームである測定フレームの画像における２個の基準マーカのそれぞれの位置に基づいて、測定フレームの画像の基準フレームからの縮尺率、回転量および並進移動量を解析し、測定フレームにおける測定マーカの位置を、縮尺率、回転量および並進移動量に基づいて補正してもよい。
この構成によれば、２個の基準マーカの位置を基準としてフレーム間に生じる被写体の像の大きさの変化、回転および並進移動が補償される。そのため、簡素な演算により撮像部２０の位置や向きの変動が補償される。
この構成によれば、２個の基準マーカの位置を基準としてフレーム間に生じる被写体の像の大きさの変化、回転および並進移動が補償される。そのため、簡素な演算により撮像部２０の位置や向きの変動が補償される。
【0103】
また、変位量の基準とするフレームである基準フレームの画像において、測定マーカの位置は２個の基準マーカ間の内分点であって、画像補正部は、変位量の測定対象とするフレームである測定フレームの画像における測定マーカの位置を、当該測定フレームにおける内分点の位置に基づいて補正してもよい。
この構成によれば、２個の基準マーカの位置を基準としてフレーム間に生じる測定マーカの位置の変化が補償される。そのため、簡素な演算により精度を損なわずに撮像部２０の位置や向きの変動が補償される。
この構成によれば、２個の基準マーカの位置を基準としてフレーム間に生じる測定マーカの位置の変化が補償される。そのため、簡素な演算により精度を損なわずに撮像部２０の位置や向きの変動が補償される。
【0104】
また、基準マーカの個数は３以上であり、画像補正部は、基準マーカの位置をフレーム間で一致させる座標変換の変換パラメータを算出し、変換パラメータを用いて測定マーカの位置を補正してもよい。
この構成によれば、３個以上の基準マーカの位置を基準としてフレーム間に生じる測定マーカの位置の変化が補償される。測定マーカの位置を撮像部２０の視野内に任意に設定でき、撮像部２０から測定マーカへの方向が撮像部２０の撮像方向と交差する方向であっても測定マーカの位置の変化が補償される。そのため、測定マーカや撮像部２０の設置位置の自由度が緩和される。
この構成によれば、３個以上の基準マーカの位置を基準としてフレーム間に生じる測定マーカの位置の変化が補償される。測定マーカの位置を撮像部２０の視野内に任意に設定でき、撮像部２０から測定マーカへの方向が撮像部２０の撮像方向と交差する方向であっても測定マーカの位置の変化が補償される。そのため、測定マーカや撮像部２０の設置位置の自由度が緩和される。
【0105】
また、基準マーカの個数は４であり、座標変換は、ホモグラフィ変換であってもよい。
この構成によれば、基準マーカの個数は３である場合よりも、基準マーカの位置を基準として複雑な画像の変形を補正することができる。そのため、撮像部２０の光学系、ノイズなど、より耐性の高い補正を実現することができる。
この構成によれば、基準マーカの個数は３である場合よりも、基準マーカの位置を基準として複雑な画像の変形を補正することができる。そのため、撮像部２０の光学系、ノイズなど、より耐性の高い補正を実現することができる。
【0106】
また、基準マーカは、それぞれ一定のピッチで空間的に繰り返される模様を表し、画像補正部（例えば、第２画像補正部１４８）は、基準マーカの模様から生成されるモアレ画像のフレーム間の位相差を補償するように測定マーカの位置をさらに補正してもよい。
この構成によれば、基準マーカの模様を表す輝度の分布が拡大されたモアレ画像を用いることで、画素よりも微細な精度で基準マーカの位置を補正することができる。そのため、測定される基準マーカの変位量の精度を向上することができる。
この構成によれば、基準マーカの模様を表す輝度の分布が拡大されたモアレ画像を用いることで、画素よりも微細な精度で基準マーカの位置を補正することができる。そのため、測定される基準マーカの変位量の精度を向上することができる。
【0107】
また、変位測定システム１において、撮像部２０を設置する移動体（例えば、ドローン）を備えてもよい。
この構成によれば、撮像部２０を固定できない利用環境においても、撮像部２０が撮像した画像を用いて測定マーカが設置された部位における変位量を高い精度で測定することができる。
この構成によれば、撮像部２０を固定できない利用環境においても、撮像部２０が撮像した画像を用いて測定マーカが設置された部位における変位量を高い精度で測定することができる。
【0108】
（変形例）
上記の実施形態に係る変位測定システム１、画像補正システム３は、次のように変形して実施されてもよい。撮像部２０と変位測定装置１０もしくは画像補正装置３０とは有線または無線のネットワークで接続されてもよい。
変位測定装置１０または画像補正装置３０は、必ずしもパラメータ入力部１２と表示部１６と一体化されていなくてもよい。変位測定装置１０において、パラメータ入力部１２と表示部１６の一方または両方が省略されてもよい。
また、変位測定装置１０または画像補正装置３０は、撮像部２０を含み、単一の変位測定装置１０または画像補正装置３０として構成されてもよい。
上記の実施形態に係る変位測定システム１、画像補正システム３は、次のように変形して実施されてもよい。撮像部２０と変位測定装置１０もしくは画像補正装置３０とは有線または無線のネットワークで接続されてもよい。
変位測定装置１０または画像補正装置３０は、必ずしもパラメータ入力部１２と表示部１６と一体化されていなくてもよい。変位測定装置１０において、パラメータ入力部１２と表示部１６の一方または両方が省略されてもよい。
また、変位測定装置１０または画像補正装置３０は、撮像部２０を含み、単一の変位測定装置１０または画像補正装置３０として構成されてもよい。
【0109】
上記の説明では、変位測定装置１０または画像補正装置３０において、第１画像補正部１４４、第２画像補正部１４８が、測定フレームの個々の基準マーカの位置が、基準フレームの対応する基準マーカの位置と一致するように、測定フレームの測定マーカの位置を補正する場合を主としたが、これには限られない。第１画像補正部１４４、第２画像補正部１４８は、各時刻のフレームを測定フレームとし、測定フレームごとに個々の基準マーカの位置が、測定フレームとは別個の基準フレームの対応する基準マーカの位置と一致するように、測定フレームごとの測定マーカの位置を補正してもよい。
【0110】
また、第１変位量演算部１４６、第２変位量演算部１５０が、画素毎の信号値として輝度値を用いる場合を例にしたが、これには限られない。第１変位量演算部１４６、第２変位量演算部１５０は、画素毎の信号値として色信号値、例えば、赤、緑、青など各色の信号値もしくは、それらの信号値の組を用いてもよい。
第１画像補正部１４４、第２画像補正部１４８は、３個以上の基準マーカのうち、所定の２個の基準マーカを用いてＡＢ補正を行ってもよい。
上記の説明では、個々のマーカの位置を代表する代表点として重心を例にしたが、これには限られない。代表点は、所定の１個の頂点、例えば、図面に対して左下端の頂点であってもよい。
第１画像補正部１４４、第２画像補正部１４８は、３個以上の基準マーカのうち、所定の２個の基準マーカを用いてＡＢ補正を行ってもよい。
上記の説明では、個々のマーカの位置を代表する代表点として重心を例にしたが、これには限られない。代表点は、所定の１個の頂点、例えば、図面に対して左下端の頂点であってもよい。
【0111】
また、変位測定装置１０または画像補正装置３０において、第１画像補正部１４４と第２画像補正部１４８は、一体化され単一の画像補正部として構成されてもよい。
変位測定装置１０において、第１変位量演算部１４６と第２変位量演算部１５０は、一体化され単一の変位量演算部として構成されてもよい。
変位測定装置１０において、第１変位量演算部１４６と第２変位量演算部１５０は、一体化され単一の変位量演算部として構成されてもよい。
【0112】
なお、変位測定装置１０において、第２画像補正部１４８と第２変位量演算部１５０が省略されてもよい。その場合には、サブピクセル精度での補正がなされない。基準マーカに表される模様の信号値は、必ずしも規則的に変動しなくてもよい。第１変位量演算部１４６は、ピクセル精度で算出した第１変位量の情報を測定マーカの変位量を示す情報として表示部１６に出力する。
また、パラメータ入力部１２と表示部１６の一方または両方は、省略されてもよい。変位量の演算に用いられる各種のパラメータは、予め設定されていてもよいし、他装置から入力されてもよい。第１変位量演算部１４６が算出した第１変位量、変位量出力部１５２が取得した変位量の情報は、自装置に蓄積されてもよいし、他装置に出力されてもよい。
また、パラメータ入力部１２と表示部１６の一方または両方は、省略されてもよい。変位量の演算に用いられる各種のパラメータは、予め設定されていてもよいし、他装置から入力されてもよい。第１変位量演算部１４６が算出した第１変位量、変位量出力部１５２が取得した変位量の情報は、自装置に蓄積されてもよいし、他装置に出力されてもよい。
【0113】
上記の説明では、各マーカに表された繰り返し模様のピッチがマーカ間で共通である場合を前提にしていたが、マーカごとに異なっていてもよい。例えば、撮像部２０からの距離が大きい測定点ほど、ピッチが大きくてもよい。その場合には、撮像部２０からの距離が大きくなっても画像上に表される模様の周期が小さくならないので、撮像部２０からの距離による測定精度の劣化を防止または緩和することができる。
【0114】
なお、上述した実施形態における変位測定装置１０または画像補正装置３０の一部、例えば、演算処理部１４をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、変位測定装置１０または画像補正装置３０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における変位測定装置１０または画像補正装置３０の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。変位測定装置１０または画像補正装置３０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
また、上述した実施形態における変位測定装置１０または画像補正装置３０の一部、または全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。変位測定装置１０または画像補正装置３０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【0115】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0116】
１…変位測定システム、３…画像補正システム、１０…変位測定装置、１２…パラメータ入力部、１４、３４…演算処理部、１６…表示部、３０…画像補正装置、１４２…マーカ検出部、１４４…第１画像補正部、１４６…第１変位量演算部、１４８…第２画像補正部、１５０…第２変位量演算部、１５２…変位量出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
