特許 7489670 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-16

(45)【発行日】2024-05-24

(54)【発明の名称】補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置

(51)【国際特許分類】

   G01B 11/00 20060101AFI20240517BHJP

   G06T 7/60 20170101ALI20240517BHJP

   G06T 7/80 20170101ALI20240517BHJP

【ＦＩ】

G01B11/00 H

G06T7/60 180

G06T7/80

【請求項の数】 11

(21)【出願番号】P 2021551140

(86)(22)【出願日】2020-06-16

(86)【国際出願番号】 JP2020023535

(87)【国際公開番号】W WO2021070415

(87)【国際公開日】2021-04-15

【審査請求日】2023-05-26

(31)【優先権主張番号】P 2019186791

(32)【優先日】2019-10-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】今川 太郎

(72)【発明者】

【氏名】野田 晃浩

(72)【発明者】

【氏名】丸山 悠樹

(72)【発明者】

【氏名】日下 博也

【審査官】山▲崎▼ 和子

(56)【参考文献】

【文献】特開２０１７－２１５３０６（ＪＰ，Ａ）

【文献】特開２００７－１７１０９２（ＪＰ，Ａ）

【文献】特開２０１８－０６７３００（ＪＰ，Ａ）

【文献】国際公開第２０１６／１５８８５５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

２１／００－２１／３２

Ｇ０１Ｃ １／００－２１／３６

２３／００－２５／００

Ｇ０６Ｔ １／００－１／４０

３／００－５／９４

７／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０

３０／４１８、４０／１６、４０／２０

Ｇ０１Ｄ １／００－１／８７

(57)【特許請求の範囲】

【請求項1】

画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、
前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得ステップと、
前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物を撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得ステップと、
３次元における前記対象物の変位の方向を示す変位方向情報を取得する第３取得ステップと、
前記第１画像データにおける前記対象物の位置と、前記第２画像データにおける前記対象物の位置とを対応づける対応づけステップと、
対応づけ結果と前記第２距離データとに基づいて、前記第２撮像装置に対する前記第１撮像装置の位置を推定する推定ステップと、
前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出ステップと、
前記第１撮像装置が互いに異なるタイミングで撮像した２以上の第３画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記第１距離データと前記変位方向情報とを用いて算出するパラメータ算出ステップとを含む
補正パラメータ算出方法。

【請求項2】

画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、
前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得ステップと、
前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物と前記第１撮像装置を撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得ステップと、
３次元における前記対象物の変位の方向を示す変位方向情報を取得する第３取得ステップと、
前記第２画像データにおける第１撮像装置の形状を検出するステップと、
検出結果に基づいて、前記第１撮像装置の位置を推定する推定ステップと、
前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出ステップと、
前記第１撮像装置が互いに異なるタイミングで撮像した２以上の第３画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記第１距離データと前記変位方向情報とを用いて算出するパラメータ算出ステップとを含む
補正パラメータ算出方法。

【請求項3】

前記対象物における前記変位を計測する計測点は２以上あり、
前記距離算出ステップでは、２以上の計測点の各々から前記第１撮像装置までの２以上の前記第１距離データを算出し、
前記パラメータ算出ステップでは、２以上の前記第１距離データに基づいて、前記２以上の計測点ごとに当該計測点に対応する補正値を前記補正パラメータとして算出する
請求項１又は２に記載の補正パラメータ算出方法。

【請求項4】

前記距離算出ステップでは、前記２以上の計測点を含む前記対象物における複数の表面点の各々から前記第１撮像装置までの複数の前記第１距離データを算出し、
前記パラメータ算出ステップでは、複数の前記第１距離データに基づいて、前記複数の表面点ごとに当該表面点に対応する補正値を算出し、算出した複数の補正値に基づいて補正値マップを前記補正パラメータとして生成する
請求項３に記載の補正パラメータ算出方法。

【請求項5】

前記変位方向情報は、入力装置を介して取得される
請求項１～４のいずれか１項に記載の補正パラメータ算出方法。

【請求項6】

前記第１撮像装置は、第１カメラを有し、
前記第２撮像装置は、前記第２画像データを撮像する第２カメラと、前記第２距離データを計測するデプスセンサとを有し、
前記第１カメラは、前記第２カメラより高解像度または高フレームレートである
請求項１～５のいずれか１項に記載の補正パラメータ算出方法。

【請求項7】

前記対象物には、前記対象物の変位方向に関する情報を示す対象物変位情報が付されており、
前記変位方向情報は、前記対象物変位情報を含む前記対象物を撮像した前記第１画像データに基づいて取得される
請求項１～４のいずれか１項に記載の補正パラメータ算出方法。

【請求項8】

請求項１～７のいずれか１項に記載の補正パラメータ算出方法を用いて算出された前記補正パラメータを取得する第４取得ステップと、
前記２以上の第３画像データを取得する第５取得ステップと、
前記補正パラメータに基づいて、前記２以上の第３画像データにおける前記画素変位量を前記実寸変位量に換算する換算ステップとを含む
変位量算出方法。

【請求項9】

画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、
前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得部と、
前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物を撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得部と、
３次元における前記対象物の変位の方向を示す変位方向情報を取得する第３取得部と、
前記第１画像データにおける前記対象物の位置と、前記第２画像データにおける前記対象物の位置とを対応づけるマッチング部と、
対応づけ結果と前記第２距離データとに基づいて、前記第２撮像装置に対する前記第１撮像装置の位置を推定する位置推定部と、
前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出部と、
前記第１撮像装置が互いに異なるタイミングで撮像した２以上の第３画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記第１距離データと前記変位方向情報とを用いて算出するパラメータ算出部とを備える
補正パラメータ算出装置。

【請求項10】

画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、
前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得部と、
前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物と前記第１撮像装置とを撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得部と、
３次元における前記対象物の変位の方向を示す変位方向情報を取得する第３取得部と、
前記第２画像データにおける第１撮像装置の形状を検出し、検出した検出結果に基づいて、前記第１撮像装置の位置を推定する位置推定部と、
前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出部と、
前記第１撮像装置が互いに異なるタイミングで撮像した２以上の第３画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記第１距離データと前記変位方向情報とを用いて算出するパラメータ算出部とを備える
補正パラメータ算出装置。

【請求項11】

請求項９又は１０に記載の補正パラメータ算出装置を用いて算出された前記補正パラメータを取得する第４取得部と、
前記２以上の第３画像データを取得する第５取得部と、
前記補正パラメータに基づいて、前記２以上の第３画像データにおける前記画素変位量を前記実寸変位量に換算する換算部とを備える
変位量算出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置に関する。

【背景技術】

【0002】

従来、カメラで対象物を撮像した画像データと、レーザ距離計などの距離計測装置で計測した対象物までの距離測定値とを用いて、対象物の周囲の状態を非接触測定できる撮像装置が開示されている（特許文献１参照）。状態とは、例えば、対象物が橋梁である場合、橋梁の撓み量などである。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第５２８１６１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の撮像装置においては、対象物の状態を精度よく測定するためには、カメラの光軸と距離計測装置の光軸とが平行となるようにカメラと距離計測装置とを設置する必要がある。そのため、特許文献１では、カメラの光軸と距離計測装置の光軸とが平行となるようにカメラと距離計測装置とを取り付けるための取り付け器具を用いることが開示されている。このように、特許文献１の撮像装置では、精度よく物体の状態を計測するためには取り付け器具を準備する必要があり、精度よく、かつ、容易に変位の実寸値を計測することが困難である。

【0005】

そこで、本開示は、画像を用いた変位計測において、精度よく、かつ容易に変位量を実寸値に換算することができる補正パラメータ算出方法等に関する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る補正パラメータ算出方法は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得ステップと、前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物を撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得ステップと、前記第１画像データにおける前記対象物の位置と、前記第２画像データにおける前記対象物の位置とを対応づける対応づけステップと、対応づけ結果と前記第２距離データとに基づいて、前記第２撮像装置に対する前記第１撮像装置の位置を推定する推定ステップと、前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出ステップと、前記第１撮像装置が互いに異なるタイミングで撮像した２以上の第３画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記第１距離データを用いて算出するパラメータ算出ステップとを含む。

【0007】

本開示の一態様に係る補正パラメータ算出方法は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得ステップと、前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物と前記第１撮像装置を撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得ステップと、前記第２画像データにおける第１撮像装置の形状を検出するステップと、検出結果に基づいて、前記第１撮像装置の位置を推定する推定ステップと、前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出ステップと、前記第１撮像装置が互いに異なるタイミングで撮像した２以上の第３画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記第１距離データを用いて算出するパラメータ算出ステップとを含む。

【0008】

また、本開示の一態様に係る補正パラメータ算出方法は、画像を用いて対象物の実空間での物理量の実寸値である実寸物理量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得ステップと、前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物を撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得ステップと、前記第１画像データにおける前記対象物の位置と、前記第２画像データにおける前記対象物の位置とを対応づける対応づけステップと、対応づけ結果と前記第２距離データとに基づいて、前記第２撮像装置に対する前記第１撮像装置の位置を推定する推定ステップと、前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出ステップと、前記第１撮像装置が撮像した第３画像データに基づく前記対象物の計測点の画素上での物理量を前記実空間上での物理量に換算するための前記補正パラメータを、前記第１距離データを用いて算出するパラメータ算出ステップとを含む。

【0009】

また、本開示の一態様に係る補正パラメータ算出方法は、画像を用いて対象物の実空間での物理量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得ステップと、前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物と前記第１撮像装置を撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得ステップと、前記第２画像データにおける第１撮像装置の形状を検出するステップと、検出結果に基づいて、前記第１撮像装置の位置を推定する推定ステップと、前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出ステップと、前記第１撮像装置が撮像した第３画像データに基づく前記対象物の計測点の画素物理量を前記実空間上での実寸物理量に換算するための前記補正パラメータを、前記第１距離データを用いて算出するパラメータ算出ステップとを含む。

【0010】

本開示の一態様に係る変位量算出方法は、上記の補正パラメータ算出方法を用いて算出された前記補正パラメータを取得する第４取得ステップと、前記２以上の第３画像データを取得する第５取得ステップと、前記補正パラメータに基づいて、前記２以上の第３画像データにおける前記画素変位量を前記実寸変位量に換算する換算ステップとを含む。

【0011】

本開示の一態様に係る補正パラメータ算出装置は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得部と、前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物を撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得部と、前記第１画像データにおける前記対象物の位置と、前記第２画像データにおける前記対象物の位置とを対応づけるマッチング部と、対応づけ結果と前記第２距離データとに基づいて、前記第２撮像装置に対する前記第１撮像装置の位置を推定する位置推定部と、前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出部と、前記第１撮像装置が互いに異なるタイミングで撮像した２以上の第３画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記第１距離データを用いて算出するパラメータ算出部とを備える。

【0012】

また、本開示の一態様に係る補正パラメータ算出装置は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得部と、前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物と前記第１撮像装置とを撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得部と、前記第２画像データにおける第１撮像装置の形状を検出し、検出した検出結果に基づいて、前記第１撮像装置の位置を推定する位置推定部と、前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出部と、前記第１撮像装置が互いに異なるタイミングで撮像した２以上の第３画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記第１距離データを用いて算出するパラメータ算出部とを備える。

【0013】

また、本開示の一態様に係る補正パラメータ算出装置は、画像を用いて対象物の実空間での物理量の実寸値である実寸物理量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得部と、前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物を撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得部と、前記第１画像データにおける前記対象物の位置と、前記第２画像データにおける前記対象物の位置とを対応づける対応づけマッチング部と、対応づけ結果と前記第２距離データとに基づいて、前記第２撮像装置に対する前記第１撮像装置の位置を推定する位置推定部と、前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出部と、前記第１撮像装置が撮像した第３画像データに基づく前記対象物の計測点の画素上での物理量を前記実空間上での物理量に換算するための前記補正パラメータを、前記第１距離データを用いて算出するパラメータ算出部とを備える。

【0014】

また、本開示の一態様に係る補正パラメータ算出装置は、画像を用いて対象物の実空間での物理量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得部と、前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物と前記第１撮像装置を撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得部と、前記第２画像データにおける第１撮像装置の形状を検出し、検出した検出結果に基づいて、前記第１撮像装置の位置を推定する位置推定部と、前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出部と、前記第１撮像装置が撮像した第３画像データに基づく前記対象物の計測点の画素物理量を前記実空間上での実寸物理量に換算するための前記補正パラメータを、前記第１距離データを用いて算出するパラメータ算出部とを備える。

【0015】

本開示の一態様に係る変位量算出装置は、上記の補正パラメータ算出装置を用いて算出された前記補正パラメータを取得する第３取得部と、前記２以上の第３画像データを取得する第４取得部と、前記補正パラメータに基づいて、前記２以上の第３画像データにおける前記画素変位量を前記実寸変位量に換算する換算部とを備える。

【発明の効果】

【0016】

本開示の一態様に係る補正パラメータ算出方法等によれば、精度よく、かつ容易に変位量を実寸値に換算することができる。

【図面の簡単な説明】

【0017】

【図1】図１は、実施の形態１に係る変位計測システムの概略構成を示す図である。

【図2】図２は、実施の形態１に係る変位計測システムの機能構成を示すブロック図である。

【図3】図３は、実施の形態１に係る変位計測システムの動作を示すフローチャートである。

【図4】図４は、実施の形態１に係るマッチング部における特徴点マッチングを説明するための図である。

【図5】図５は、実施の形態１に係る変位の実寸換算方法を説明するための図である。

【図6】図６は、実施の形態１の変形例に係る変位計測システムの動作を示すフローチャートである。

【図7A】図７Ａは、実施の形態１の変形例に係る変位方向を考慮した変位補正を説明するための第１図である。

【図7B】図７Ｂは、実施の形態１の変形例に係る変位方向を考慮した変位補正を説明するための第２図である。

【図8】図８は、実施の形態１の変形例に係る変位の実寸換算方法を説明するための図である。

【図9】図９は、実施の形態２に係る変位計測システムの概略構成を示す図である。

【図10】図１０は、実施の形態２に係る変位計測システムの機能構成を示すブロック図である。

【図11】図１１は、実施の形態２に係る第１撮像置に貼り付けられているマーカの一例を示す図である。

【図12】図１２は、実施の形態２に係る変位計測システムの動作を示すフローチャートである。

【発明を実施するための形態】

【0018】

（本開示に至った経緯）
特許文献１に記載の撮像装置では、上記でも説明したように、対象物の状態を精度よく計測するためには、カメラの光軸と距離計測装置の光軸とが平行となるようにカメラと距離計測装置とを設置することが必要となる。特許文献１では、カメラの光軸と距離計測装置の光軸とが平行となるように、専用の取り付け器具を用いている。

【0019】

しかしながら、画像を用いた変位計測において、精度よく、かつ容易に変位量などの物理量の実寸値を計測できることが望まれる。例えば、特許文献１のように、カメラの光軸と距離計測装置の光軸とが平行でなくても変位を精度よく計測できることが望まれる。また、例えば、専用の取り付け器具などを準備することなく、容易に変位の実寸値を計測できることが望まれる。

【0020】

また、変位の実寸値を計測する他の方法として、変位計測を行う対象物において長さが既知である特定部分を含む画像を撮像し、当該特定部分に対応する画像上の部分の画素数と、既知の長さとに基づいて、１画素を実寸値に換算するための補正値を算出する方法がある。しかしながら、この方法では、当該特定部分は、平面であることが望まれる。つまり、当該方法には対象物の当該特定部分の形状に関する制約があり、形状が複雑な対象物の計測点の変位の実寸値を計測することは困難である。

【0021】

また、この方法では、当該特定部分における変位の実寸値を精度よく計測することは可能であるが、当該特定部分以外の部分における変位の実寸値を精度よく計測することは困難である。これは、撮像装置から特定部分までの距離と、撮像装置から当該特定部分以外の部分までの距離とが異なる場合、それぞれの部分における適切な補正値が異なるためである。また、この方法では、特定部分の長さが既知でないと、変位の実寸値の計測が行えない。

【0022】

そこで、発明者らは、カメラと距離計測装置との設置における制約、及び、対象物の形状による制約が少ない、つまり容易に、かつ、精度よく変位の実寸値の計測を行うための補正パラメータ算出方法等について鋭意検討を行い、以下に説明する補正パラメータ算出方法等を創案した。

【0023】

本開示の一態様に係る補正パラメータ算出方法は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得ステップと、前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物を撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得ステップと、前記第１画像データにおける前記対象物の位置と、前記第２画像データにおける前記対象物の位置とを対応づける対応づけステップと、対応づけ結果と前記第２距離データとに基づいて、前記第２撮像装置に対する前記第１撮像装置の位置を推定する推定ステップと、前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出ステップと、前記第１撮像装置が互いに異なるタイミングで撮像した２以上の第３画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記第１距離データを用いて算出するパラメータ算出ステップとを含む。

【0024】

これにより、補正パラメータ算出方法によれば、推定した第１撮像装置の位置に基づいて第１撮像装置から対象物までの第１距離を算出することができるので、第１撮像装置の光軸と第２撮像装置の光軸とが平行となるように第１撮像装置と第２撮像装置とを設置する必要がない。また、補正パラメータ算出方法によれば、第１距離に基づいて補正パラメータを算出することができるので、対象物の特定部分の長さがわかっていなくても、画素変位量を実寸変位量に換算するための補正パラメータを算出することができる。

【0025】

また、補正パラメータ算出方法によれば、第１距離を推定することで、第１撮像装置から対象物までの距離を正確に取得することができる。そのため、補正パラメータ算出方法によれば、当該第１距離を用いて補正パラメータを算出することで、より正確な実寸変位量を算出することができる補正パラメータを取得することができる。例えば、第２距離を用いた場合に比べて、精度がよい実寸変位量を算出するための補正パラメータを取得することができる。よって、本開示に係る補正パラメータ算出方法によれば、当該補正パラメータ算出方法により算出された補正パラメータを用いて変位量が算出されることで、画像を用いた変位計測において、精度よく、かつ容易に変位量を実寸値に換算することができる。

【0026】

本開示の一態様に係る補正パラメータ算出方法は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得ステップと、前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物と前記第１撮像装置を撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得ステップと、前記第２画像データにおける第１撮像装置の形状を検出するステップと、検出結果に基づいて、前記第１撮像装置の位置を推定する推定ステップと、前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出ステップと、前記第１撮像装置が互いに異なるタイミングで撮像した２以上の第３画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記第１距離データを用いて算出するパラメータ算出ステップとを含む。

【0027】

これにより、第２画像データ及び距離データのみを用いて第１撮像装置の位置情報を推定することができるため、画像中から得られる特徴点の位置や数に影響されずに、第１撮像装置の位置情報を推定できる。つまり、容易に第１撮像装置の位置情報を推定することができる。

【0028】

また、補正パラメータ算出方法によれば、第１距離を推定することで、第１撮像装置から対象物までの距離を正確に取得することができる。そのため、補正パラメータ算出方法によれば、当該第１距離を用いて補正パラメータを算出することで、より正確な実寸変位量を算出することができる補正パラメータを取得することができる。例えば、第２距離を用いた場合に比べて、精度がよい実寸変位量を算出するための補正パラメータを取得することができる。よって、本開示に係る補正パラメータ算出方法によれば、当該補正パラメータ算出方法により算出された補正パラメータを用いて変位量が算出されることで、画像を用いた変位計測において、精度よく、かつ容易に変位量を実寸値に換算することができる。

【0029】

また、例えば、前記対象物における前記変位を計測する計測点は２以上あり、前記距離算出ステップでは、２以上の計測点の各々から前記第１撮像装置までの２以上の前記第１距離データを算出し、前記パラメータ算出ステップでは、２以上の前記第１距離データに基づいて、前記２以上の計測点ごとに当該計測点に対応する補正値を前記補正パラメータとして算出する。

【0030】

これにより、補正パラメータ算出方法によれば、複数の計測点の各々において補正値を算出するので、複数の計測点の各々の実寸変位量を精度よく算出することができる。

【0031】

また、例えば、前記距離算出ステップでは、前記２以上の計測点を含む前記対象物における複数の表面点の各々から前記第１撮像装置までの複数の前記第１距離データを算出し、前記パラメータ算出ステップでは、複数の前記第１距離データに基づいて、前記複数の表面点ごとに当該表面点に対応する補正値を算出し、算出した複数の補正値に基づいて補正値マップを前記補正パラメータとして生成する。

【0032】

これにより、補正パラメータ算出方法によれば、計測点以外の位置における実寸変位量を計測したい場合に、補正値マップを用いることで、当該実寸変位量を容易に計測することができる。よって、補正パラメータ算出方法の利便性が向上する。

【0033】

また、例えば、さらに、前記対象物の変位の方向を示す変位方向情報を取得する第３取得ステップを含み、前記パラメータ算出ステップでは、さらに、前記変位方向情報を用いて前記補正パラメータを算出する。

【0034】

これにより、補正パラメータ算出方法によれば、対象物を上方から見たときに、対象物が第１撮像装置の撮像面と交差する方向に変位する場合に、変位方向情報を用いて補正値を算出することができるので、当該変位の実寸値をさらに精度よく計測することができる。

【0035】

また、例えば、前記第１撮像装置は、第１カメラを有し、前記第２撮像装置は、前記第２画像データを撮像する第２カメラと、前記第２距離データを計測するデプスセンサとを有し、前記第１カメラは、前記第２カメラより高解像度または高フレームレートである。

【0036】

これにより、モノクロカメラにより撮像されたモノクロ画像データに基づいて、対象物のモノクロ画像データ上の画素変位量を取得することができる。一般的にモノクロカメラはカラーカメラより高精細な画像を撮像可能である。そのため、モノクロカメラにより撮像されたモノクロ画像に基づいて変位を計測することで、当該変位を高精度に計測することができる。また、デプスセンサは容易に入手することができるので、汎用性に優れた補正パラメータ算出方法を提供することができる。

【0037】

本開示の一態様に係る変位量算出方法は、上記の補正パラメータ算出方法を用いて算出された前記補正パラメータを取得する第４取得ステップと、前記２以上の第３画像データを取得する第５取得ステップと、前記補正パラメータに基づいて、前記２以上の第３画像データにおける前記画素変位量を前記実寸変位量に換算する換算ステップとを含む。

【0038】

これにより、上記の補正パラメータ算出方法により算出された補正パラメータを用いて実寸変位量を計測することができるので、精度よく、かつ、容易に対象物の実寸変位量を計測することができる。

【0039】

本開示の一態様に係る補正パラメータ算出装置は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得部と、前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物を撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得部と、前記第１画像データにおける前記対象物の位置と、前記第２画像データにおける前記対象物の位置とを対応づけるマッチング部と、対応づけ結果と前記第２距離データとに基づいて、前記第２撮像装置に対する前記第１撮像装置の位置を推定する位置推定部と、前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出部と、前記第１撮像装置が互いに異なるタイミングで撮像した２以上の第３画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記第１距離データを用いて算出するパラメータ算出部とを備える。

【0040】

これにより、上記の補正パラメータ算出方法と同様の効果を奏する。具体的には、補正パラメータ算出装置によれば、推定した第１撮像装置の位置に基づいて第１撮像装置から対象物までの第１距離を算出することができるので、第１撮像装置の光軸と第２撮像装置の光軸とが平行となるように第１撮像装置と第２撮像装置とを設置する必要がない。また、補正パラメータ算出装置によれば、第１距離に基づいて補正パラメータを算出することができるので、対象物の特定部分の長さがわかっていなくても、画素変位量を実寸変位量に換算するための補正パラメータを算出することができる。

【0041】

また、補正パラメータ算出装置によれば、第１距離を推定することで、第１撮像装置から対象物までの距離を正確に取得することができる。そのため、補正パラメータ算出装置によれば、当該第１距離を用いて補正パラメータを算出することで、より正確な実寸変位量を算出することができる補正パラメータを取得することができる。例えば、第２距離を用いた場合に比べて、精度がよい実寸変位量を算出するための補正パラメータを取得することができる。よって、上記の補正パラメータ算出装置によれば、当該補正パラメータ算出装置により算出された補正パラメータを用いて変位量が算出されることで、画像を用いた変位計測において、精度よく、かつ容易に変位量を実寸値に換算することができる。

【0042】

本開示の一態様に係る補正パラメータ算出装置は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、前記対象物を撮像して得られる第１画像データを、第１撮像装置から取得する第１取得部と、前記第１撮像装置と異なる位置に配置された第２撮像装置から前記対象物までの第２距離データ、及び、前記対象物と前記第１撮像装置とを撮像して得られる第２画像データを、前記第２撮像装置から取得する第２取得部と、前記第２画像データにおける第１撮像装置の形状を検出し、検出した検出結果に基づいて、前記第１撮像装置の位置を推定する位置推定部と、前記第１撮像装置の位置と前記第２距離データとに基づいて、前記第１撮像装置から前記対象物までの第１距離データを算出する距離算出部と、前記第１撮像装置が互いに異なるタイミングで撮像した２以上の第３画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記第１距離データを用いて算出するパラメータ算出部とを備える。

【0043】

これにより、上記の補正パラメータ算出方法と同様の効果を奏する。具体的には、補正パラメータ算出装置は、第２画像データ及び距離データのみを用いて第１撮像装置の位置情報を推定することができるので、容易に第１撮像装置の位置情報を推定することができる。

【0044】

また、補正パラメータ算出装置によれば、第１距離を推定することで、第１撮像装置から対象物までの距離を正確に取得することができる。そのため、補正パラメータ算出装置によれば、当該第１距離を用いて補正パラメータを算出することで、より正確な実寸変位量を算出することができる補正パラメータを取得することができる。例えば、第２距離を用いた場合に比べて、精度がよい実寸変位量を算出するための補正パラメータを取得することができる。よって、上記の補正パラメータ算出装置によれば、当該補正パラメータ算出装置により算出された補正パラメータを用いて変位量が算出されることで、画像を用いた変位計測において、精度よく、かつ容易に変位量を実寸値に換算することができる。

【0045】

本開示の一態様に係る変位量算出装置は、上記の補正パラメータ算出装置を用いて算出された前記補正パラメータを取得する第３取得部と、前記２以上の第３画像データを取得する第４取得部と、前記補正パラメータに基づいて、前記２以上の第３画像データにおける前記画素変位量を前記実寸変位量に換算する換算部とを備える。

【0046】

これにより、上記の変位量算出方法と同様の効果を奏する。

【0047】

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

【0048】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0049】

なお、以下で説明する実施の形態及び変形例は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態及び変形例で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0050】

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。

【0051】

また、本明細書において、直交、等しいなどの要素間の関係性を示す用語、及び、数値は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。

【0052】

また、以下の明細書において、画像は、静止画像であるが動画像であってもよい。

【0053】

（実施の形態１）
以下、実施の形態１に係る補正パラメータ算出方法等について、図１～図５を参照しながら説明する。

【0054】

［１－１.変位計測システムの構成］
まずは、実施の形態１に係る補正パラメータ算出方法を実行する補正パラメータ算出部１１０を備える変位計測システム１について、図１及び図２を参照しながら説明する。図１は、実施の形態１に係る変位計測システム１の概略構成を示す図である。図２は、実施の形態１に係る変位計測システム１の機能構成を示すブロック図である。

【0055】

図１に示すように、実施の形態１に係る変位計測システム１は、互いに異なる位置に配置された２つの撮像装置を用いて、対象物６０の変位の実寸値を計測する情報処理システムである。第１撮像装置１０及び第２撮像装置２０は、互いに異なる視点から対象物６０を撮像する。対象物６０は、変位を計測する対象であり、例えば、モータなどの動作時に変位（振動など）する機器であるがこれに限定されず、例えば、インフラ構造物などの外部からの応力により変位（変形など）する構造物であってもよい。インフラ構造物は、例えば、自動車又は鉄道などの車両が走行する橋梁であってもよい。なお、本明細書における変位には、対象物６０の振動はもとより、対象物６０の変形及び位置の変化も含まれる。変位は、対象物の動きを示すとも言える。

【0056】

図１及び図２に示すように、変位計測システム１は、第１撮像装置１０と、第２撮像装置２０と、変位計測装置３０と、出力装置４０と、入力装置５０とを備える。

【0057】

第１撮像装置１０は、対象物６０の変位を計測するための画像を撮像する。第１撮像装置１０が撮像する画像は、対象物６０の変位に対する画像上の変位量（画素数）を検出するために用いられる。なお、以下において、第１撮像装置１０が撮像した画像を第１画像とも記載し、対象物６０の変位に対する画像上の変位量を画素変位量とも記載する。画素変位量は、画素上での物理量（例えば、画素数）の一例である。また、第１画像は、後述する補正値を算出するために用いられてもよい。

【0058】

第１撮像装置１０は、例えば、モノクロカメラである。言い換えると、第１画像は、例えば、モノクロ画像である。なお、第１撮像装置１０は、モノクロカメラであることに限定されず、カラーカメラであってもよい。第１撮像装置１０は、例えば、イメージセンサを有するデジタルビデオカメラ又はデジタルスチルカメラである。なお、第１撮像装置１０は、撮像装置の一例である。第１撮像装置１０が有するモノクロカメラ又はカラーカメラは、第１カメラの一例である。第１カメラは、後述する第２カメラより高解像度又は高フレームレートである。第１カメラは、例えば、第２カメラに比べて高解像度の画像を撮像可能である、又は、高フレームレートで画像を撮像可能なカメラである。

【0059】

第２撮像装置２０は、対象物６０の変位の実寸値を計測するための画像を撮像する。第２撮像装置２０は、対象物６０を撮像した画像と、第２撮像装置２０から対象物６０までの距離とを取得可能な構成を有する。第２撮像装置２０が撮像する画像及び第２撮像装置２０が計測する距離は、第１撮像装置１０の位置を推定するために用いられる。なお、以下において、第２撮像装置２０が撮像した画像を第２画像とも記載し、対象物６０の変位の実寸値を実寸変位量とも記載する。実寸変位量は、実空間での物理量（例えば、画素数に対応する距離）の一例である。また、第２撮像装置２０から対象物６０までの距離は、第２距離の一例である。

【0060】

第２撮像装置２０は、第２画像を撮像するための撮像部と、距離を計測するための距離計測部とを有する。撮像部は、例えば、カラーカメラであるが、モノクロカメラであってもよい。撮像部は、対象物６０の濃淡画像を取得できればよい。距離測定部は、例えば、デプスセンサを有する。デプスセンサは、対象物６０の１点又は複数点までの距離を計測可能であり、例えば、レーザ光が対象物６０に当たってはね返ってくるまでの時間に基づいて第２撮像装置２０と対象物６０との距離（例えば、位置関係）を取得する。デプスセンサは、例えば、レーザライダであってもよい。なお、距離測定部は、デプスセンサを有することに限定されず、例えば、ＴＯＦ方式のセンサを有していてもよい。第２撮像装置２０は、例えば、撮像部と距離計測部とが一体的に構成されていてもよいし、取り外し可能なように構成されていてもよい。なお、第２撮像装置２０は、計測装置の一例である。第２撮像装置２０が有するモノクロカメラ又はカラーカメラは、第２カメラの一例である。

【0061】

対象物６０の変位が所定値以下である場合、第１撮像装置１０と第２撮像装置２０とは、例えば、互いに異なるタイミングで同一の対象物６０を撮像してもよい。また、対象物６０の変位が所定値より大きい場合、第１撮像装置１０と第２撮像装置２０とは、例えば、同期して対象物６０を撮像してもよい。所定値は、変位の誤差の許容値などに基づいて、設定されるとよい。

【0062】

また、第２撮像装置２０は、設置された後、少なくとも１回撮像及び計測を行えばよい。第２撮像装置２０の撮像部による撮像、及び、距離計測部による計測は、対象物６０の変位が所定値以下である場合には、互いに異なるタイミングで行われてもよく、対象物６０の変位が所定値より大きい場合には、同期して行われるとよい。

【0063】

第１撮像装置１０及び第２撮像装置２０の各々は、撮像時に位置が動かないように固定されてもよい。また、第２撮像装置２０は、第１撮像装置１０の近くに配置されるとよい。第１撮像装置１０及び第２撮像装置２０の各々は、対象物６０の計測点の各々を含む画像を取得可能な位置に配置されるとよい。

【0064】

第１画像は、第２画像より解像度が高い画像であってもよいし、第２画像よりフレームレートが高い撮像条件で撮像された画像であってもよい。なお、実施の形態１では、第１画像はモノクロ画像であり、第２画像はカラー画像であるが、これに限定されない。

【0065】

変位計測装置３０は、第１撮像装置１０及び第２撮像装置２０から取得した画像データ及び距離データに基づいて、画素変位量を実寸変位量に換算するための補正値を算出し、算出した補正値を用いて、対象物６０の実寸変位量を出力する情報処理装置である。変位計測装置３０は、例えば、サーバ装置であってもよい。変位計測装置３０は、補正パラメータ算出部１１０と、変位検出部１２０と、変位量算出部１３０とを有する。

【0066】

補正パラメータ算出部１１０は、第１撮像装置１０及び第２撮像装置２０から取得した画像データ及び距離データに基づいて、画素変位量を実寸変位量に換算するための補正値を算出する。補正パラメータ算出部１１０は、第１取得部１１１と、第２取得部１１２と、マッチング部１１３と、位置推定部１１４と、距離算出部１１５と、補正値算出部１１６とを有する。

【0067】

第１取得部１１１は、第１撮像装置１０から第１画像を示す第１画像データを取得する。

【0068】

第２取得部１１２は、第２撮像装置２０から距離画像データを取得する。第２取得部１１２は、例えば、第２画像を示す第２画像データ及び距離データを取得する。

【0069】

第１取得部１１１及び第２取得部１１２は、無線通信又は有線通信を介して第１撮像装置１０及び第２撮像装置２０のそれぞれと通信可能に接続される通信インターフェース（通信回路）である。

【0070】

マッチング部１１３は、第１画像データ及び第２画像データの特徴点マッチングにより、第１画像データにおける対象物６０の位置と、第２画像データにおける対象物６０の位置とを対応づける。マッチング部１１３は、例えば、第１画像データ及び第２画像データにおける対象物６０の位置（例えば、画素位置）を対応づける。これにより、マッチング部１１３は、第１画像データにおける対象物６０の位置及び第２画像データにおける対象物６０の位置の対応関係を示す対応情報を取得する。特徴点検出方式は、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ：スケール不変特徴換算）などの既存のいかなる技術が用いられてもよい。

【0071】

位置推定部１１４は、対応情報、距離データ及び第１撮像装置１０の内部パラメータに基づいて、第１撮像装置１０の位置を推定する。具体的には、位置推定部１１４は、第２撮像装置２０の座標系における第１撮像装置１０の位置を推定する。なお、第１撮像装置１０の内部パラメータは、既知であるとする。また、内部パラメータは、例えば、３行×３列のパラメータ行列（ｃａｍｅｒａＭａｔｒｉｘ）、レンズの歪係数（ｄｉｓｔＣｏｅｆｆｓ）、焦点距離などの少なくとも１つを含む。

【0072】

距離算出部１１５は、第１撮像装置１０の位置を示す位置情報及び距離データに基づいて、第１撮像装置１０から対象物６０までの距離を示す距離情報を算出する。距離算出部１１５は、例えば、第１撮像装置１０から対象物６０の１以上の計測点の各々までの距離を算出する。距離算出部１１５は、例えば、対象物６０における変位を計測する計測点を含む複数の表面点までの距離を算出してもよい。そして、距離算出部１１５は、第１撮像装置１０から対象物６０までの距離を配列した距離マップを生成してもよい。なお、対象物６０の計測点の数は、特に限定されず、２以上であってもよい。

【0073】

補正値算出部１１６は、第１撮像装置１０の位置、第１撮像装置１０から対象物６０までの距離、及び、第１撮像装置１０の内部パラメータに基づいて、画素変位量を実寸変位量に換算するための補正値を算出する。補正値算出部１１６による補正値の算出については、後述する。また、補正値算出部１１６は、例えば、複数の表面点の各々において、補正値を算出し、算出した補正値を配列した補正値マップを生成してもよい。なお、補正値及び補正値マップは、補正パラメータの一例である。また、補正値算出部１１６は、パラメータ算出部の一例である。

【0074】

なお、補正パラメータ算出部１１０は、変位計測装置３０に内蔵されている例について説明したが、これに限定されない。補正パラメータ算出部１１０は、単独の装置として実現されてもよい。この場合は、補正パラメータ算出部１１０は、補正パラメータ算出装置として機能する。

【0075】

なお、変位計測装置３０は、変位量算出装置の一例である。

【0076】

変位検出部１２０は、第１撮像装置１０が撮像した２以上の第１画像データに基づいて、対象物６０の変位に対応する画像上の画素変位量（画素数）を検出する。変位検出部１２０は、例えば、計測点ごとに画素変位量を検出する。

【0077】

変位量算出部１３０は、画素変位量と、補正パラメータを示す補正情報とに基づいて、画素変位量を実寸変位量に換算することで、対象物６０の実寸変位量を算出する。変位量算出部１３０は、例えば、対象物６０の複数の計測点の各々の補正値と、当該複数の計測点の各々の画素変位量とに基づいて、当該複数の計測点の各々の実寸変位量を算出する。

【0078】

出力装置４０は、変位計測装置３０から実寸変位量を含む提示情報を取得し、取得した提示情報を出力する装置である。出力装置４０は、例えば、提示情報を画像として表示する表示装置である。出力装置４０は、例えば、液晶ディスプレイ等である。出力装置４０が出力した画像は作業員によって視認される。

【0079】

出力装置４０は、据え置き型の装置であってもよいし、作業員が所持する携帯端末が有する装置であってもよい。携帯端末は、出力装置４０を有し、かつ、変位計測装置３０と通信可能であれば特に限定されず、例えば、スマートフォン、タブレットなどであってもよい。携帯端末が出力装置４０を有する場合、作業員は、対象物６０の周辺において、携帯端末の出力装置４０を確認することで、実寸変位量を知ることができる。なお、作業員は、ユーザの一例である。

【0080】

変位計測システム１は、表示装置とともに、又は、表示装置に替えて、音を出力する装置を出力装置４０として備えていてもよい。また、変位計測システム１は、プロジェクタなどの対象物（例えば、スクリーン）に提示情報を表示する装置を出力装置４０として備えていてもよい。また、変位計測装置３０が遠隔地に配置されている場合、変位計測装置３０と出力装置４０とは、ネットワークを介して接続されていてもよい。

【0081】

入力装置５０は、作業員から変位の計測における所定の情報を受け付けるユーザインタフェースである。入力装置５０は、例えば、作業員から補正値を算出するための情報を受け付けてもよいし、対象物６０の変位方向に関する情報を受け付けてもよいし、第１撮像装置１０の略位置に関する情報を受け付けてもよい。また、入力装置５０は、音声により所定の情報の入力を受け付けてもよい。なお、略位置は、第１撮像装置１０の設置位置の推定値である。

【0082】

入力装置５０は、ハードウェアキー（ハードウェアボタン）、スライドスイッチ、タッチパネルなどにより実現される。入力装置５０は、据え置き型の装置であってもよいし、作業員が所持する携帯端末が有する装置であってもよい。

【0083】

［１－２.変位計測システムの動作］
次に、変位計測システム１の動作について、図３～図５を参照しながら説明する。図３は、実施の形態１に係る変位計測システム１の動作を示すフローチャートである。具体的には、図３は、変位計測装置３０の動作を示すフローチャートである。また、図３に示すステップＳ１１～ステップＳ１６は、補正パラメータ算出部１１０の動作を示す。また、図４は、実施の形態１に係るマッチング部１１３における特徴点マッチングを説明するための図である。なお、図４では、対象物６０ａが家具である例を示している。また、特徴点をわかりやすく説明するため、特徴点の一部にＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード（登録商標）を貼り付けている。ＱＲコード（登録商標）のそれぞれは、対象物６０ａの計測点に対応して設けられてもよい。

【0084】

図３に示すように、第１取得部１１１は、第１撮像装置１０から第１画像を示す第１画像データを取得する（Ｓ１１）。第１取得部１１１は、例えば、図４の（ａ）に示すような第１画像データＩ１を取得する。図４の（ａ）において、「〇」で示す位置（ｘ、ｙ）は、例えば、第１画像データＩ１上における特徴点の画素位置を示す。図４の（ａ）では、５つの特徴点の位置を図示している。また、第１画像データＩ１には、ＱＲコード（登録商標）が写っている。

【0085】

なお、第１取得部１１１は、補正値を算出するためには、ステップＳ１１において、少なくとも１枚の第１画像データを取得すればよい。また、第１取得部１１１は、変位を計測するためには、ステップＳ１１において、互いに異なるタイミングで撮像された２以上の第１画像データを取得すればよい。

【0086】

第１取得部１１１は、複数の第１画像データを取得した場合、少なくとも１枚の第１画像データをマッチング部１１３に出力し、かつ、２以上の第１画像データを変位検出部１２０に出力する。第１取得部１１１は、マッチング部１１３及び変位検出部１２０に互いに異なる第１画像データを出力してもよいし、少なくとも一部が同じ第１画像データを出力してもよい。変位検出部１２０に出力される２以上の第１画像データは、互いに異なるタイミングで撮像された画像データであり、第３画像データの一例である。また、ステップＳ１１は、第１取得ステップの一例である。また、ステップＳ１１は、後述する変位量算出方法における第５取得ステップの一例であってもよい。また、第１取得部１１１は、２以上の第３画像データを取得する第４取得部として機能してもよい。

【0087】

次に、第２取得部１１２は、第２撮像装置２０から第２画像を示す第２画像データ及び距離を示す距離データを取得する（Ｓ１２）。第２取得部１１２は、例えば、図４の（ｂ）に示すような第２画像データ及び距離データを示す距離画像データＩ２を取得する。距離画像データＩ２は、第２撮像装置２０に対する対象物６０の位置（例えば、図４の（ｂ）において、「〇」で示す）を示す座標（Ｘ、Ｙ、Ｚ）と、当該位置における色を示す画素値（Ｒ、Ｇ、Ｂ）とを含む。座標（Ｘ、Ｙ、Ｚ）は、第２撮像装置２０の位置を基準（例えば、座標（０、０、０））とする座標である。距離データは、第２距離データの一例である。

【0088】

なお、距離画像データＩ２は、色の情報を含んでいなくてもよい。距離画像データＩ２は、第１画像データＩ１との特徴点マッチングを行える画像であり、かつ、第２撮像装置２０に対する対象物６０の位置を示す座標（Ｘ、Ｙ、Ｚ）を含む画像であればよい。距離画像データＩ２は、例えば、対象物６０の濃淡がわかる画像であり、かつ、第２撮像装置２０に対する対象物６０の位置を示す座標（Ｘ、Ｙ、Ｚ）を含むデータであってもよい。距離画像データＩ２は、対象物６０を撮像したモノクロ画像又は濃淡画像を含んでいてもよい。

【0089】

第２取得部１１２は、距離画像データＩ２をマッチング部１１３及び位置推定部１１４に出力する。なお、第２画像データは、色を示す画素値（Ｒ、Ｇ、Ｂ）を含むデータであり、距離データは、第２撮像装置２０に対する対象物６０の位置を示す座標（Ｘ、Ｙ、Ｚ）を含むデータである。また、ステップＳ１２は、第２取得ステップの一例である。

【0090】

次に、マッチング部１１３は、第１画像データＩ１及び距離画像データＩ２の第２画像データにおける対象物６０の位置の対応づけを実行する（Ｓ１３）。図４に示す第１画像データＩ１及び距離画像データＩ２を用いて説明すると、例えば、５箇所の特徴点マッチング候補（例えば、図４の（ａ）及び（ｂ）において、「〇」）を抽出し、第１画像データＩ１及び距離画像データＩ２の位置の対応づけを実行する。マッチング部１１３は、第１画像データＩ１における画素位置（ｘ、ｙ）と、距離画像データＩ２における座標（Ｘ、Ｙ、Ｚ）とを対応づける。マッチング部１１３は、例えば、第１画像データＩ１上の画素位置（ｘ、ｙ）における対象物６０の部分が距離画像データＩ２上のどの位置にあるかを特定することで、対応づけを行う。

【0091】

そして、マッチング部１１３は、例えば、第１画像データＩ１における画素位置（ｘ、ｙ）と、第２画像データにおける画素位置（ｘ１、ｙ１）との対応づけから、第１画像データＩ１における画素位置（ｘ、ｙ）と、距離データにおける当該画素位置（ｘ、ｙ）に対応する座標（Ｘ、Ｙ、Ｚ）とを対応づける。マッチング部１１３は、第１画像データＩ１上の画素位置（ｘ、ｙ）に、当該画素位置に対応する距離データを関係づける。

【0092】

マッチング部１１３は、例えば、特徴点の組を５組決定するが、特徴点の組は５組に限定されず、対応関係の取得方法等によって適宜決定される。マッチング部１１３は、例えば、特徴点の組を４組決定してもよいし、６組決定してもよい。なお、対応関係の算出方法、及び、特徴点の数などは一例であり、上記に限定されない。以下では、特徴点の組の数をｎ組と記載する。

【0093】

マッチング部１１３は、第１画像データＩ１と第２画像データとの位置の対応関係を示す対応情報を位置推定部１１４に出力する。マッチング部１１３は、例えば、上記で決定した５組の特徴点を示す対応情報を出力する。なお、ステップＳ１３は、対応づけステップの一例である。

【0094】

次に、位置推定部１１４は、対応情報、距離データ及び第１撮像装置１０の内部パラメータに基づいて、第２撮像装置２０に対する第１撮像装置１０の位置を推定する（Ｓ１４）。位置推定部１１４は、第１画像データＩ１と距離画像データＩ２とのｎ組の特定点の対応関係がわかると、ＰｎＰ問題（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ Ｐｒｏｂｌｅｍ）を解くことで第２撮像装置２０の座標系での第１撮像装置１０の位置が推定可能である。なお、第１撮像装置１０の内部パラメータは、既知であるとする。

【0095】

位置推定部１１４は、例えば、再投影誤差が基準値以下の特徴点の組の各々を用いて、Ｒ（回転）、及び、Ｔ（位置）を算出することで、第２撮像装置２０に対する第１撮像装置１０の位置及び姿勢を推定する。位置推定部１１４は、例えば、再投影誤差を最小化するＲ（回転行列）、及び、Ｔ（並進ベクトル）を算出する。Ｒ（回転行列）は、第１撮像装置１０の姿勢を示す外部パラメータである。Ｔ（並進ベクトル）は、第１撮像装置１０の位置を示す外部パラメータである。なお、位置推定部１１４は、少なくとも位置を推定すればよい。

【0096】

マッチング部１１３及び位置推定部１１４は、例えば、特徴点の誤った対応づけを除去するために外れ値の影響を小さくするロバスト推定により、第１撮像装置１０の位置を推定する処理を実行してもよい。マッチング部１１３及び位置推定部１１４は、例えば、ロバスト推定の一例であるＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）推定、メディアン推定、Ｍ推定などにより、第１撮像装置１０の位置を推定してもよい。ＲＡＮＳＡＣ推定は、例えば、再投影誤差に基づいた推定方法であってもよい。再投影誤差は、２つの座標系を換算する関数を用いて得られる距離データ上における第１位置（Ｘｉ、Ｙｉ、Ｚｉ）を投影した第２画像データ上における第２位置（ｘｉ、ｙｉ）と、当該第２位置に対応する第１画像データ上における第３位置（ｘｉ０、ｙｉ０）との２乗誤差で表される。２つの座標系を換算する関数は、例えば、ｐｒｏｊｅｃｔＰｏｉｎｔｓ関数などである。

【0097】

マッチング部１１３は、例えば、特徴点の組をランダムにｎ組選択し、第１撮像装置１０の位置を算出する。そして、マッチング部１１３は、ｎ組のうち再投影誤差が基準値以下になる特定点の組の数を算出する。マッチング部１１３は、画像における特徴点のすべてにおいて、上記の処理を繰り返し、再投影誤差が基準値以下になる特定点の組の数が最大となるｎ組の特徴点を決定する。そして、位置推定部１１４は、例えば、当該ｎ組の特徴点を用いて、第１撮像装置１０の位置を推定してもよい。なお、ｎ組は、例えば、６組であてもよい。つまり、位置推定部１１４は、Ｐ６Ｐ問題を解くことで、第１撮像装置１０の位置を推定してもよい。

【0098】

このように、マッチング部１１３及び位置推定部１１４により、第１画像データＩ１及び第２画像データにおける対象物６０の特徴点の対応関係が取得され、かつ、当該対応関係を用いて第１撮像装置１０の位置が推定される。つまり、実施の形態１に係る変位計測装置３０は、第１撮像装置１０及び第２撮像装置２０の設置位置及び設置姿勢が異なっていても、第１撮像装置１０の位置を推定可能である。

【0099】

位置推定部１１４は、推定した第１撮像装置１０の位置を示す位置情報を距離算出部１１５に出力する。なお、ステップＳ１４は、推定ステップの一例である。

【0100】

距離算出部１１５は、位置情報及び距離データに基づいて、第１撮像装置１０から対象物６０までの距離を算出する（Ｓ１５）。距離算出部１１５は、位置情報に含まれる第１撮像装置１０の位置（座標）と、距離データに基づく対象物６０の座標（Ｘ、Ｙ、Ｚ）とに基づいて、第１撮像装置１０から対象物６０までの距離を算出する。距離算出部１１５は、第２撮像装置２０の距離計測部が計測した対象物６０までの距離を、第１撮像装置１０から見た対象物６０までの距離に換算するとも言える。これにより、第１撮像装置１０から見たときの対象物６０の位置が取得される。例えば、第１撮像装置１０から見たときの対象物６０の各計測点までの距離が取得される。距離算出部１１５が算出する距離（第１撮像装置１０から対象物６０までの距離）を含むデータは、第１距離データの一例である。また、距離算出部１１５が算出する距離は、第１距離の一例である。距離算出部１１５は、第１撮像装置１０と対象物６０との距離を示す距離情報を補正値算出部１１６に出力する。なお、ステップＳ１５は、距離算出ステップの一例である。

【0101】

補正値算出部１１６は、第１撮像装置１０の位置、距離情報、及び、第１撮像装置１０の内部パラメータに基づいて、画素変位量を実寸変位量に換算するための補正値を算出する（Ｓ１６）。補正値算出部１１６は、例えば、対象物６０の複数の計測点ごとに補正値を算出する。補正値は、例えば、当該計測点における１画素に対応する実寸値を示す情報を含む。ステップＳ１６は、パラメータ算出ステップの一例である。また、ステップＳ１６は、第４取得ステップの一例であってもよい。

【0102】

ここで、補正値算出部１１６の処理について、図５を参照しながら説明する。図５は、実施の形態１に係る変位の実寸換算方法を説明するための図である。なお、図５では、対象物６０は、第１撮像装置１０の撮像面（投影面）と平行な方向に変位している例を示している。図５に示す光学中心Ｏは、第１撮像装置１０のレンズ１１の中心を示し、位置Ｐ１（ｘ、ｙ）は、対象物６０の第１時点における計測点の位置Ｍ１（Ｘ、Ｙ、Ｚ）に対応する撮像面上の位置を示し、画像上の変位（Δｘ１、Δｙ１）は、第１時点とは異なる第２時点における当該計測点の位置Ｍ２に対応する撮像面上の位置Ｐ２と位置Ｐ１との差を示す。変位（Δｘ１、Δｙ１）は、画像上の画素数である。

【0103】

図５に示すように、三角形△ＯＰ１Ｐ２と三角形△ＯＭ１Ｍ２とは相似の関係にあり、補正値算出部１１６は、例えば、当該相似の関係を用いて、画素変位量を実寸変位量に換算するための補正値を算出する。第１撮像装置１０の撮像面における画像中心（Ｃｘ、Ｃｙ）と光学中心Ｏとの距離を焦点距離ｆとすると、光学中心Ｏと位置Ｐ１までの距離Ｌ１は、
Ｌ１＝√（ｆ^２＋ｘ^２＋ｙ^２） （式１）
により算出される。第１時点は、例えば、対象物６０が変位していない初期の時点である。

【0104】

また、実寸変位量を変位（Ｄｘ１、Ｄｙ１）とすると、三角形△ＯＰ１Ｐ２と三角形△ＯＭ１Ｍ２との相似の関係から、光学中心Ｏと位置Ｍ１までの距離Ｌ２は、
Ｌ２：Ｌ１＝Ｄｙ１：Δｙ１＝Ｄｘ１：Δｘ１ （式２）
が成り立つ。（式２）から、距離Ｌ２、つまり、光学中心Ｏから位置Ｍ１までの距離がわかれば、実寸変位量である変位（Ｄｘ１、Ｄｙ１）を算出できることがわかる。距離算出部１１５は、計測点ごとに距離Ｌ２が異なり得るので、計測点ごとに距離Ｌ２を算出する。

【0105】

補正値算出部１１６は、上記の（式２）に基づいて、補正値を算出する。変位Ｄｘ１を算出するための補正値は、（式２）に基づく補正値であって、Ｌ２／Ｌ１である。また、変位Ｄｙ１を算出するための補正値も、（式２）に基づく補正値であって、Ｌ２／Ｌ１である。

【0106】

なお、画像中心（Ｃｘ、Ｃｙ）、及び、焦点距離ｆは、第１撮像装置１０の内部パラメータとして取得される。補正値算出部１１６は、チャート画像を用いて第１撮像装置１０の内部パラメータを算出してもよい。

【0107】

補正値算出部１１６は、算出した補正値を示す補正情報を変位量算出部１３０に出力する。変位量算出部１３０は、補正値算出部１１６から補正情報を取得する。変位量算出部１３０は、補正パラメータを取得する第３取得部として機能する。

【0108】

次に、変位検出部１２０は、第１画像データＩ１から対象物６０の変位の当該第１画像データＩ１上における画素変位量を算出する（Ｓ１７）。変位検出部１２０は、例えば、第１撮像装置１０の撮像面に投影された対象物６０の変位から画素変位量を算出する。変位検出部１２０は、例えば、対象物６０の複数の計測点ごとに、当該計測点における変位が画像上の何画素であるかを算出する。変位検出部１２０は、算出した画素変位量を変位量算出部１３０に出力する。

【0109】

変位量算出部１３０は、画素変位量と、補正値とに基づいて、実寸変位量を算出する（Ｓ１８）。変位量算出部１３０は、対象物６０の複数の計測点ごとに、当該計測点における画素変位量と当該計測点における補正値とを演算することで当該計測点における実寸変位量を算出する。このように、変位量算出部１３０は、補正情報に基づいて、２以上の第３画像データにおける画素変位量を実寸変位量に換算する換算部として機能する。

【0110】

変位量算出部１３０は、算出した実寸変位量を含む提示情報を出力装置４０に出力する（Ｓ１９）。そして、出力装置４０は、変位量算出部１３０から取得した提示情報を画像として表示する。なお、ステップＳ１９は、換算ステップの一例である。

【0111】

なお、図３に示すステップＳ１１～ステップＳ１６までの動作は、対象物６０の実寸変位量を算出する処理を実行するごとに行われてもよいし、第１撮像装置１０及び第２撮像装置２０の少なくとも一方の設置位置、姿勢、及び、カメラパラメータ（内部パラメータを含む）の少なくとも１つが変更されるごとに行われてもよい。また、補正値算出部１１６は、算出した補正値を記憶部（図示しない）に記憶してもよい。そして、補正値算出部１１６は、対象物６０の実寸変位量を算出する場合に、記憶部から補正値を読み出し、読み出した補正値を変位量算出部１３０に出力してもよい。つまり、補正値算出部１１６は、過去に算出した補正値を、現在の実寸変位量を算出するための補正値として用いてもよい。これにより、補正パラメータ算出部１１０の処理量を低減することができる。

【0112】

上記のステップＳ１１～ステップＳ１６は、補正パラメータを算出する補正パラメータ算出方法において実行される処理である。また、上記のステップＳ１７～ステップＳ１９は、実寸変位量を算出する変位量算出方法において実行される処理である。なお、変位量算出方法は、ステップＳ１１～ステップＳ１６の処理を含んでいてもよい。

【0113】

上記のように、実施の形態１に係る変位計測システム１は、互いに異なる位置に配置された第１撮像装置１０及び第２撮像装置２０と、補正パラメータ算出部１１０を有する変位計測装置３０とを備える。補正パラメータ算出部１１０は、第１撮像装置１０から取得した第１画像データＩ１と、第２撮像装置２０から取得した距離画像データＩ２とに基づいて、第１撮像装置１０の位置を推定する。変位計測装置３０は、補正パラメータ算出部１１０が第１撮像装置１０の位置を推定するので、初期的に第１撮像装置１０及び第２撮像装置２０の位置及び姿勢が異なっていても精度よく変位の実寸値を算出することができる。

【0114】

このように、変位計測システム１によれば、第１撮像装置１０及び第２撮像装置２０の位置及び姿勢における制約が少ないので、第１撮像装置１０及び第２撮像装置２０の位置及び姿勢を細かく調整する必要がない。そのため、計測現場における設置時間を短縮することができる。また、多視点方式により対象物６０の実寸変位量を計測する場合に比べて、設置する撮像装置の数が少ないので、計測現場における撮像装置の設置及び回収を容易に行うことができる。

【0115】

また、上記のように、補正パラメータ算出部１１０は、例えば、推定した第１撮像装置１０の位置を用いて、画素変位量を実寸変位量に換算するための補正値を算出する。これにより、補正パラメータ算出部１１０は、スケールマーカが貼れない対象物６０、又は、特定部分の実寸長さが不明な対象物６０であっても、当該対象物６０の実寸変位量の計測が可能である。

【0116】

また、上記のように、補正パラメータ算出部１１０は、例えば、対象物６０の複数の計測点ごとに補正値を算出する。これにより、作業者は、第１撮像装置１０と複数の計測点の各々との距離の差を気にすることなく、計測点を選択することができる。つまり、補正パラメータ算出部１１０によれば、計測点を選択する自由度が増す。

【0117】

また、変位計測装置３０は、第１撮像装置１０が撮像した２以上の第１画像データを用いて、対象物６０の変位の実寸変位量を計測する。これにより、変位計測装置３０は、対象物６０の変位がレーザ変位計などを用いて計測できない程度の周期の振動に基づくものであっても、実寸変位量を計測することができる。

【0118】

なお、本実施の形態では、実空間での物理量が実寸変位量である例について説明したが、これに限定されない。実空間での物理量は、画像データから取得可能な物理量であれば特に限定されず、例えば、長さ、面積などであってもよい。また、実空間での物理量は、複数フレームの実寸変位量に基づく、変位の速度などであってもよい。この場合、パラメータ算出ステップ（Ｓ１６に相当）では、第１撮像装置１０が互いに異なるタイミングで撮像した２以上の第３画像データに基づく対象物６０の計測点の画素上での物理量を実空間上での物理量に換算するための補正パラメータが第１距離データを用いて算出される。また、この場合、本実施の形態で説明した変位計測装置３０は、物理量計測装置であるとも言える。

【0119】

このような実空間での物理量を算出するための補正パラメータを算出する補正パラメータ算出方法は、以下で示される。例えば、画像を用いて対象物６０の実空間での物理量の実寸値である実寸物理量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、対象物６０を撮像して得られる第１画像データＩ１を、第１撮像装置１０から取得する第１取得ステップ（Ｓ１１に相当）と、第１撮像装置１０と異なる位置に配置された第２撮像装置２０から対象物６０までの第２距離データ、及び、対象物６０を撮像して得られる第２画像データを、第２撮像装置２０から取得する第２取得ステップ（Ｓ１２に相当）と、第１画像データＩ１における対象物６０の位置と、第２画像データにおける対象物６０の位置とを対応づける対応づけステップ（Ｓ１３に相当）と、対応づけ結果と第２距離データとに基づいて、第２撮像装置２０に対する第１撮像装置１０の位置を推定する推定ステップ（Ｓ１４）と、第１撮像装置１０の位置と第２距離データとに基づいて、第１撮像装置１０から対象物６０までの距離データを算出する距離算出ステップ（Ｓ１５）と、第１撮像装置１０が撮像した第３画像データに基づく対象物６０の計測点の画素上での物理量を実空間上での物理量に換算するための補正値（補正パラメータの一例）を、第１距離データを用いて算出するパラメータ算出ステップ（Ｓ１６に相当）とを含んでもよい。

【0120】

また、例えば、画像を用いて対象物６０の実空間での物理量の実寸値である実寸物理量を計測するための補正パラメータを算出する補正パラメータ算出装置１１０として実現されてもよい。例えば、補正パラメータ算出装置１１０は、対象物６０を撮像して得られる第１画像データを、第１撮像装置１０から取得する第１取得部１１１と、第１撮像装置１０と異なる位置に配置された第２撮像装置２０から対象物６０までの第２距離データ、及び、対象物６０を撮像して得られる第２画像データを、第２撮像装置２０から取得する第２取得部１１２と、第１画像データにおける対象物６０の位置と、第２画像データにおける対象物６０の位置とを対応づける対応づけマッチング部１１３と、対応づけ結果と第２距離データとに基づいて、第２撮像装置２０に対する第１撮像装置１０の位置を推定する位置推定部１１４と、第１撮像装置１０の位置と第２距離データとに基づいて、第１撮像装置１０から対象物６０までの第１距離データを算出する距離算出部１１５と、第１撮像装置１０が撮像した第３画像データに基づく対象物６０の計測点の画素上での物理量を実空間上での物理量に換算するための補正パラメータを、第１距離データを用いて算出する補正値算出部１１６とを備えてもよい。

【0121】

（実施の形態１の変形例）
以下、本変形例に係る補正パラメータ算出方法等について、図６～図８を参照しながら説明する。なお、以下の説明では、実施の形態１との相違点を中心に説明し、実施の形態１と同様の構成については同一の符号を付し、説明を省略又は簡略化する場合がある。本変形例に係る変位計測システムの構成は、実施の形態１に係る変位計測システム１と同様であり、説明を省略する。

【0122】

本変形例に係る変位計測システム１は、対象物６０の変位方向が第１撮像装置１０の撮像面（投影面）と水平な方向と異なる場合であっても、精度よく実寸変位量を算出することができる点に特徴を有する。図６は、本変形例に係る変位計測システム１の動作を示すフローチャートである。

【0123】

図６に示すように、補正値算出部１１６は、対象物６０の変位方向情報を取得する（Ｓ２１）。補正値算出部１１６は、例えば、入力装置５０を介して変位方向情報を取得してもよい。変位方向情報は、例えば、対象物６０がモータである場合、モータの駆動部の駆動方向に基づいた変位方向を示す情報であってもよい。また、変位方向情報は、例えば、対象物６０の変位方向が設計的に予測できる場合、予測された変位方向を示す情報であってもよい。また、変位方向情報は、例えば、対象物６０が橋梁などであり、車両などから応力を受ける場合、当該応力を受ける方向（例えば、鉛直方向）を示す情報であってもよい。また、変位方向情報は、例えば、第１撮像装置１０の撮像面に対する方向を示す情報であってもよい。また、変位方向情報が示す変位方向は１つに限定されず、２つ以上であってもよい。ステップＳ２１は、第３取得ステップの一例である。

【0124】

なお、変位方向情報は、入力装置５０を介して取得されることに限定されない。変位方向情報は、例えば、２以上の距離画像データＩ２（例えば、第２画像データ）に基づいて、決定されてもよい。この場合、第２取得部１１２は、第２撮像装置２０から互いに異なるタイミングで撮像された２以上の距離画像データＩ２を取得し、取得した少なくとも２以上の距離画像データＩ２を補正値算出部１１６に出力する（図示しない）。補正値算出部１１６は、２以上の距離画像データＩ２の各々に含まれる所定の計測点の位置（Ｘ、Ｙ、Ｚ）に基づいて変位方向を特定することで変位方向情報を取得してもよい。２以上の距離画像データＩ２を用いることで、変位が周期の短い振動などである場合、実寸変位量を正確に計測することは難しいが、変位方向は取得可能である。

【0125】

また、距離画像データＩ２から対象物６０上の変位計測点の面の向きを取得し、この面の向きを基準として変位方向を定義（面の法線方向や面と平行な方向など）してもよい。

【0126】

なお、変位方向情報は、第１画像データＩ１に基づいて取得されてもよい。対象物６０は、例えば、図４の（ａ）に示すように、ＱＲコード（登録商標）が貼り付けられていてもよい。そして、当該ＱＲコード（登録商標）には、対象物６０の変位方向に関する情報が記憶されていてもよい。補正値算出部１１６は、第１画像データＩ１に含まれるＱＲコード（登録商標）に基づいて、対象物６０の変位方向を取得してもよい。この場合、変位方向は、例えば、ＱＲコード（登録商標）が貼り付けられている対象物６０の面を基準とする方向であってもよい。

【0127】

なお、第１画像データＩ１に基づいて変位方向情報が取得できれば、対象物６０にＱＲコード（登録商標）が貼り付けられていることに限定されない。例えば、対象物６０にＡＲマーカが貼り付けられていてもよい。そして、補正値算出部１１６は、例えば、第１画像データＩ１に含まれるＡＲマーカに基づいて、当該ＡＲマーカに対応づけられた情報である変位方向情報を取得してもよい。当該変位方向情報は、例えば、第１画像データＩ１に重畳して表示されてもよい。

【0128】

そして、補正値算出部１１６は、第１撮像装置１０の位置、距離情報、第１撮像装置１０の内部パラメータ、及び、変位方向情報に基づいて、画素変位量を実寸変位量に換算するための補正値を算出する（Ｓ２２）。つまり、補正値算出部１１６は、実施の形態１に加えて、変位方向情報を用いて補正値を算出する。なお、ステップＳ２２は、パラメータ算出ステップの一例である。

【0129】

ここで、変位方向情報を用いて変位補正を行うことについて、図７Ａ及び図７Ｂを参照しながら説明する。図７Ａは、本変形例に係る変位方向を考慮した変位補正を説明するための第１図である。また、図７Ｂは、本変形例に係る変位方向を考慮した変位補正を説明するための第２図である。図７Ａ及び図７Ｂは、対象物６０ｂを上方からみた俯瞰図である。また、対象物６０ｂの形状は、便宜上、正方形としている。

【0130】

図７Ａ及び図７Ｂに示すように、対象物６０ｂを上方からみた場合に、第１撮像装置１０の撮像面に対して、対象物６０ｂの変位方向が当該撮像面と平行ではないとき、撮像面には対象物６０ｂの変位のうち、当該撮像面と平行な方向における変位のみが投影される。図７Ａでは、変位方向は、紙面上の左上と右下とを結ぶ方向である。この場合、例えば、対象物６０ｂの計測点の変位がＡ１であったとすると、撮像面に投影された対象物６０ｂの計測点の変位はＡ２となる。変位Ａ２は、変位Ａ１における撮像面と平行な方向の成分となる。

【0131】

また、図７Ｂでは、変位方向は、紙面上の左下と右上とを結ぶ方向である。この場合、例えば、対象物６０ｂの計測点の変位がＢ１であったとすると、撮像面に投影された対象物６０ｂの計測点の変位はＢ２となる。変位Ｂ２は、変位Ｂ１における撮像面と平行な方向の成分となる。例えば、変位Ａ１の方向と、変位Ｂ１の方向とが互いに直交する方向であり、かつ、変位量が等しい場合、撮像面上における変位Ａ２及びＢ２の方向及び大きさは等しくなる。なお、変位Ａ１及びＢ１は、実寸変位量であり、例えば、実寸値である。また、変位Ａ２及びＢ２は、画素変位量であり、例えば、画素数である。

【0132】

このように、実際の変位方向が異なる変位Ａ１及びＢ１が、撮像面上においては、同じ方向の変位として検出されることがある。これでは、撮像面と水平な方向における変位については計測ができるが、撮像面と垂直な方向における変位については計測ができない。

【0133】

そこで、本変形例では、補正値算出部１１６は、上記でも説明したように、ステップＳ２１で対象物６０の変位方向情報を取得し、ステップＳ２２で当該変位方向情報を用いて、第１画像データＩ１上における対象物６０の画素変位量を実寸変位量に換算するための補正値を算出する。ここでの補正値は、１画素に対応する実寸値、及び、変位方向を示す情報を含む。補正値は、例えば、１画素に対応する実寸値（Ｘａ、Ｙｂ、Ｚｃ）を示す情報を含んでいてもよい。実寸値Ｘａは、撮像面上で１画素ずれたときの、実空間の３次元直交座標系におけるＸ軸方向への変位の実寸値を示す。実寸値Ｘｂは、撮像面上で１画素ずれたときの、実空間の３次元直交座標系におけるＹ軸方向への変位の実寸値を示す。Ｘｃは、撮像面上で１画素ずれたときの、実空間の３次元直交座標系におけるＺ軸方向への変位の実寸値を示す。実寸値（Ｘａ、Ｙｂ、Ｚｃ）は、補正パラメータの一例である。なお、補正値の算出方法は、上記に限定されない。

【0134】

ここで、補正値算出部１１６の処理について、図８を参照しながら説明する。図８は、本変形例に係る変位の実寸換算方法を説明するための図である。

【0135】

図８に示すように、対象物６０の第１時点における計測点の位置Ｍ１（Ｘ、Ｙ、Ｚ）に対応する撮像面上の位置Ｐ１を（ｘ、ｙ）とすると、光学中心Ｏから位置Ｐ１までの距離Ｌ１は、（式１）により算出可能である。第１時点は、例えば、対象物６０が変位していない初期の時点である。また、第１時点とは異なる第２時点における計測点の位置Ｍ３に対応する撮像面上の位置Ｐ３と位置Ｐ１との差（変位）を（Δｘ２、Δｙ２）とすると、第１補正値は、（式２）により算出可能である。ここでの第１補正値は、第１撮像装置１０の撮像面と平行な方向における変位の実寸変位量を算出可能な値である。第１補正値は、例えば、画像上の変位（Δｘ２、Δｙ２）から、実寸値の変位（Ｄｘ２、Ｄｙ２、Ｄｚ２）のうち変位（Ｄｘ２、Ｄｙ２）を算出可能な値である。

【0136】

補正値算出部１１６は、算出した第１補正値と、変位方向情報とに基づいて、当該第１補正値を３次元情報である第２補正値に換算する。補正値算出部１１６は、撮像面上の変位を示す２次元情報である画素変位量を３次元情報である実寸変位量に換算するための第２補正値を算出する。補正値算出部１１６は、第１補正値と、第１撮像装置１０の撮像面及び変位方向のなす角度とに基づいて、第２補正値を算出してもよい。第２補正値は、例えば、画像上の変位（Δｘ２、Δｙ２）から実寸値の変位（Ｄｘ２、Ｄｙ２、Ｄｚ２）を算出可能な値である。なお、補正値算出部１１６が第２補正値を算出する方法は、上記に限定されない。

【0137】

上記のように、本変形例に係る変位計測システム１の補正パラメータ算出部１１０は、さらに、対象物６０の変位方向を示す変位方向情報を用いて、画素変位量を実寸変位量に変換するための補正値を算出する。

【0138】

これにより、変位計測システム１は、対象物６０を上方から見たときに、対象物６０が第１撮像装置１０の撮像面と交差する方向に変位する場合に、変位方向情報を用いて補正値を算出することができるので、当該変位の実寸値を精度よく計測することができる。

【0139】

（実施の形態２）
［２－１.変位計測システムの構成］
実施の形態２に係る変位計測システム１ａの構成について、図９～図１１を参照しながら説明する。図９は、実施の形態２に係る変位計測システム１ａの概略構成を示す図である。図１０は、実施の形態２に係る変位計測システム１ａの機能構成を示すブロック図である。実施の形態２に係る変位計測装置３０ａは、主に第２取得部１１２が第１撮像装置１０を含む第２画像データ及び距離データを第２撮像装置２０から取得し、かつ、位置推定部１１４が第２画像データ及び距離データのみを用いて第１撮像装置１０の位置情報を推定する点において、実施の形態１に係る変位計測装置３０と相違する。なお、以下の説明では、実施の形態１との相違点を中心に説明し、実施の形態１と同様の構成については同一の符号を付し、説明を省略又は簡略化する場合がある。

【0140】

図９に示すように、実施の形態２に係る変位計測システム１ａは、互いに異なる位置に配置された２つの撮像装置を用いて、対象物６０の変位の実寸値を計測する情報処理システムである。第１撮像装置１０及び第２撮像装置２０は、互いに異なる視点から対象物６０を撮像する。

【0141】

図９及び図１０に示すように、変位計測システム１ａは、第１撮像装置１０と、第２撮像装置２０と、変位計測装置３０ａと、出力装置４０と、入力装置５０とを備える。

【0142】

第２撮像装置２０は、第１撮像装置１０及び対象物６０を含む画像を撮像する。第２撮像装置２０は、第１撮像装置１０の形状を検出できる程度に当該第１撮像装置１０を含む画像を撮像してもよいし、第１撮像装置１０の筐体にマーカが付加されている場合、当該マーカが写るように撮像してもよい。第２撮像装置２０は、例えば、第１撮像装置１０を構成する複数の面のうち、少なくとも１つの面を含む画像を撮像する。

【0143】

また、第２撮像装置２０は、第１撮像装置１０と対象物６０とが重ならない位置又は姿勢で撮像するとよい。第２撮像装置２０は、例えば、第１撮像装置１０の後方に配置されてもよい。

【0144】

変位計測装置３０ａは、マッチング部１１３を有してない点で実施の形態１の変位計測装置３０と相違する。

【0145】

第１取得部１１１は、第１撮像装置１０から対象物６０を含む第１画像を示す第１画像データを取得する。そして、第１取得部１１１は、取得した第１画像データを変位検出部１２０に出力する。

【0146】

第２取得部１１２は、第２撮像装置２０から第１撮像装置１０及び対象物６０を含む第２画像を示す第２画像データ及び距離データを取得する。

【0147】

位置推定部１１４は、距離データまたは第２画像データから、第１撮像装置１０を検出する。第１撮像装置１０の外見、大きさ及び形状の少なくとも１つは予め既知であるため、位置推定部１１４は、２次元または３次元のパターンマッチングにより第１撮像装置１０を検出してもよい。また、位置推定部１１４は、第１撮像装置１０の筐体若しくはレンズ又は図１１に示すような、第１撮像装置１０の筐体に付加されたマーカなどにより第１撮像装置１０を検出してもよい。

【0148】

図１１は、実施の形態２に係る第１撮像置１０に貼り付けられているマーカ２００の一例を示す図である。図１１の（ａ）は、マーカ２００が第１撮像装置１０の上面に貼り付けられている状態を示す。図１１（ｂ）は、マーカ２００が第１撮像装置１０の側面に貼り付けられている状態を示す。マーカは、第１撮像装置１０に少なくとも１つ貼り付けられる。

【0149】

そして、位置推定部１１４は、検出した第１撮像装置１０の位置に基づき、光学中心の３次元位置座標を決定する。第１撮像装置１０の筐体等に対する光学中心位置は、第２カメラ及びレンズの組み合わせに対して設計値から決定するか、事前に光学キャリブレーションにより求めておくことが出来る。位置推定部１１４は、求めた光学中心を基準（原点）とした場合の第１撮像装置１０の位置座標を含む位置情報を距離算出部１１５に出力する。なお、変位計測システム１ａが備える他の構成ならびに動作は、実施の形態１と同様である。実施の形態２では、位置推定部１１４が第２画像データ及び距離データのみを用いて第１撮像装置１０の位置情報を推定するため、画像中から得られる特徴点の位置又は数に影響されずに、第１撮像装置１０の位置情報を推定できる利点がある。

【0150】

［２－２.変位計測システムの動作］
次に、変位計測システム１ａの動作について、図１２を参照しながら説明する。図１２は、実施の形態２に係る変位計測システム１ａの動作を示すフローチャートである。具体的には、図１２は、変位計測装置３０ａの動作を示すフローチャートである。

【0151】

図１２に示すように、第１取得部１１１は、第１撮像装置１０から第１画像を示す第１画像データを取得する（Ｓ１１）。第１取得部１１１は、例えば、図４の（ａ）に示すような第１画像データＩ１を取得する。ステップＳ１１は、第１取得ステップの一例である。

【0152】

次に、第２取得部１１２は、第２撮像装置２０から第２画像を示す第２画像データ及び距離を示す距離データを取得する（Ｓ３１）。第２取得部１１２は、第２撮像装置２０から対象物６０及び第１撮像装置１０の両方を含む第２画像データ及び距離を示す距離データを取得する。第２取得部１１２は、取得した第２画像データ及び距離データを位置推定部１１４に出力する。ステップＳ３１は、第２取得ステップの一例である。

【0153】

位置推定部１１４は、距離データまたは第２画像データから、第１撮像装置１０を検出する。位置推定部１１４は、例えば、距離データまたは第２画像データから、第２画像データにおける第１撮像装置１０を検出する（Ｓ３２）。位置推定部１１４は、例えば、上記の方法により第２画像データにおける第１撮像装置１０の形状を検出する。

【0154】

そして、位置推定部１１４は、検出した第１撮像装置１０の位置に基づき、光学中心の３次元位置座標を推定する。位置推定部１１４は、検出した第１撮像装置１０の位置に基づき、第２撮像装置２０に対する第１撮像装置１０の位置を推定するとも言える（Ｓ３３）。言い換えると、位置推定部１１４は、２つの画像の対応情報を用いずに、第１撮像装置１０の位置を推定する。位置推定部１１４は、求めた光学中心を基準（原点）とした第１撮像装置１０の位置座標を含む位置情報を距離算出部１１５に出力する。なお、位置情報には、第２取得部１１２が取得した距離データも含まれる。

【0155】

ステップＳ１５以降の処理は、実施の形態１と同様であるため、説明を省略する。

【0156】

このように、変位計測システム１ａによれば、位置推定部１１４が第１撮像装置１０を含む第２画像データ及び距離データを用いて第１撮像装置１０の位置情報を推定するので、２つの画像の特徴点の位置又は数に影響されずに、第１撮像装置１０の位置情報を推定できる。

【0157】

なお、本実施の形態では、実空間での物理量が実寸変位量である例について説明したが、これに限定されない。実空間での物理量は、画像データから取得可能な物理量であれば特に限定されず、例えば、長さ、面積などであってもよい。また、実空間での物理量は、複数フレームの実寸変位量に基づく、変位の速度などであってもよい。この場合、パラメータ算出ステップ（Ｓ１６に相当）では、第１撮像装置１０が互いに異なるタイミングで撮像した２以上の第３画像データに基づく対象物６０の計測点の画素上での物理量を実空間上での物理量に換算するための補正パラメータが第１距離データを用いて算出される。また、この場合、本実施の形態で説明した変位計測装置３０ａは、物理量計測装置であるとも言える。

【0158】

また、例えば、画像を用いて対象物の実空間での物理量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、対象物６０を撮像して得られる第１画像データＩ１を、第１撮像装置１０から取得する第１取得ステップ（Ｓ１１に相当）と、第１撮像装置１０と異なる位置に配置された第２撮像装置２０から対象物までの第２距離データ、及び、対象物６０と第１撮像装置１０を撮像して得られる第２画像データを、第２撮像装置２０から取得する第２取得ステップ（Ｓ３１に相当）と、第２画像データにおける第１撮像装置１０の形状を検出するステップ（Ｓ３２に相当）と、検出結果に基づいて、第１撮像装置１０の位置を推定する推定ステップ（Ｓ３３に相当）と、第１撮像装置１０の位置と第２距離データとに基づいて、第１撮像装置１０から対象物６０までの第１距離データを算出する距離算出ステップ（Ｓ１５に相当）と、第１撮像装置１０が撮像した第３画像データに基づく対象物６０の計測点の画素物理量を実空間上での実寸物理量に換算するための補正値（補正パラメータの一例）を、第１距離データを用いて算出するパラメータ算出ステップ（Ｓ１６に相当）とを含んでもよい。

【0159】

また、例えば、画像を用いて対象物の実空間での物理量を計測するための補正パラメータを算出する補正パラメータ算出装置１１０として実現されてもよい。例えば、補正パラメータ算出装置１１０は、対象物６０を撮像して得られる第１画像データを、第１撮像装置１０から取得する第１取得部１１１と、第１撮像装置１０と異なる位置に配置された第２撮像装置２０から対象物６０までの第２距離データ、及び、対象物６０と第１撮像装置１０を撮像して得られる第２画像データを、第２撮像装置２０から取得する第２取得部１１２と、第２画像データにおける第１撮像装置１０の形状を検出し、検出した検出結果に基づいて、第１撮像装置１０の位置を推定する位置推定部１１４と、第１撮像装置１０の位置と第２距離データとに基づいて、第１撮像装置１０から対象物６０までの第１距離データを算出する距離算出部１１５と、第１撮像装置１０が撮像した第３画像データに基づく対象物６０の計測点の画素物理量を実空間上での実寸物理量に換算するための補正パラメータを、第１距離データを用いて算出する補正値算出部１１６とを備えてもよい。

【0160】

（他の実施の形態）
以上、本開示の１つまたは複数の態様に係る補正パラメータ算出方法等について、実施の形態１、実施の形態２、及び、変形例（以降において、実施の形態等とも記載する）に基づいて説明したが、本開示は、この実施の形態等に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態等に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。

【0161】

例えば、上記実施の形態等では、第１撮像装置及び第２撮像装置は、地面に固定される撮像装置である例について説明したが、これに限定されない。第１撮像装置及び第２撮像装置の少なくとも１つは、例えば、ドローンなどの飛行体に設けられた撮像装置であってもよい。

【0162】

また、上記実施の形態等において、第１取得部及び第２取得部は通信部である例について説明したが、これに限定されない。第１取得部及び第２取得部の少なくとも１つは、例えば、記録媒体が接続される接続部であってもよい。接続部は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）が接続されるＵＳＢ端子、ＳＤカードが差し込まれるＳＤカードスロット、光ディスクが挿入される光学ドライブなどであってもよい。

【0163】

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

【0164】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0165】

また、上記実施の形態等における補正パラメータ算出装置は、単一の装置で実現されてもよいし、互いに接続された複数の装置で実現されてもよい。補正パラメータ算出装置が複数の装置によって実現される場合、補正パラメータ算出装置が備える構成要素は、複数の装置にどのように振り分けられてもよい。

【0166】

また、上記実施の形態等では、変位計測装置は、出力装置を有していない、つまり、変位計測装置と、出力装置とは、別体である例について説明したが、出力装置を有していてもよい。この場合には、出力装置は、変位計測装置の一部である出力部（例えば、表示部）として機能する。

【0167】

また、上記実施の形態等における変位計測システムが備える装置間の通信方法については特に限定されるものではない。装置間では、無線通信が行われてもよいし、有線通信が行われてもよい。また、装置間では、無線通信および有線通信が組み合わされてもよい。

【0168】

また、上記実施の形態等における算出装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。

【0169】

システムＬＳＩは、複数の処理部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

【0170】

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0171】

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【0172】

また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、変位計測装置に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。

【0173】

また、本開示の一態様は、補正パラメータ算出方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。例えば、そのようなプログラムを記録媒体に記録して頒布又は流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。

【産業上の利用可能性】

【0174】

本開示は、画像を用いた対象物の変位計測において、変位の実寸値を計測する装置等に広く利用可能である。

【符号の説明】

【0175】

１、１ａ 変位計測システム
１０ 第１撮像装置
１１ レンズ
２０ 第２撮像装置
３０、３０ａ 変位計測装置
４０ 出力装置
５０ 入力装置
６０、６０ａ、６０ｂ 対象物
１１０ 補正パラメータ算出部（補正パラメータ算出装置）
１１１ 第１取得部
１１２ 第２取得部
１１３ マッチング部
１１４ 位置推定部
１１５ 距離算出部
１１６ 補正値算出部（パラメータ算出部）
１２０ 変位検出部
１３０ 変位量算出部
２００ マーカ
Ａ１、Ａ２、Ｂ１、Ｂ２ 変位
ｆ 焦点距離
Ｉ１ 第１画像データ
Ｉ２ 距離画像データ
Ｌ１、Ｌ２ 距離
Ｍ１～Ｍ３、Ｐ１～Ｐ３、Ｔ 位置
Ｏ 光学中心

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】