(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-12
(45)【発行日】2024-09-24
(54)【発明の名称】計測方法及び計測装置
(51)【国際特許分類】
G01B 11/00 20060101AFI20240913BHJP
G06T 7/60 20170101ALI20240913BHJP
G06T 7/223 20170101ALI20240913BHJP
【FI】
G01B11/00 H
G06T7/60 150Z
G06T7/223
(21)【出願番号】P 2022501634
(86)(22)【出願日】2020-11-26
(86)【国際出願番号】 JP2020044120
(87)【国際公開番号】W WO2021166357
(87)【国際公開日】2021-08-26
【審査請求日】2023-10-24
(31)【優先権主張番号】P 2020025141
(32)【優先日】2020-02-18
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】丸山 悠樹
(72)【発明者】
【氏名】今川 太郎
(72)【発明者】
【氏名】日下 博也
(72)【発明者】
【氏名】野田 晃浩
【審査官】仲野 一秀
(56)【参考文献】
【文献】特開2010-91319(JP,A)
【文献】特開2009-129181(JP,A)
【文献】特開2020-41841(JP,A)
【文献】特開2020-54300(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
G06T 7/60
G06T 7/223
(57)【特許請求の範囲】
【請求項1】
対象物の変位を計測する計測装置により行われる計測方法であって、
対象物が撮像された第1画像を取得し、
前記第1画像を表示部に表示させ、
前記第1画像上に指定点の指定を受け付け、
前記指定点に基づいて、前記対象物上の複数の設定点を設定し、
前記複数の設定点のうちの2つの設定点を結ぶ線の方向を特定し、
前記線の方向が水平又は垂直となるように前記第1画像を回転させることで第2画像を生成し、
前記第2画像において、前記線の一部を含む計測領域を設定し、
前記計測領域について、前記線と直交する方向の前記対象物の変位を計測する、
計測方法。
【請求項2】
前記第2画像の生成では、前記第2画像を複数の前記線のそれぞれについて生成し、
前記計測では、生成された複数の前記第2画像のそれぞれにおける前記計測領域について、前記線と直交する方向の前記対象物の変位を計測する、
請求項1に記載の計測方法。
【請求項3】
前記複数の設定点は、対応点、又は対応点及び代表点により構成され、
前記対応点は、前記指定点に基づいて前記対象物のエッジ上又はその近傍に設定される点であり、
前記代表点は、前記対応点に基づいて前記対象物のエッジ上又はその近傍に設定される点である、
請求項1又は2に記載の計測方法。
【請求項4】
前記対応点が1つの場合、前記代表点は、前記対応点に基づいて前記対象物上に少なくとも1つ設定される、
請求項3に記載の計測方法。
【請求項5】
前記対応点が2つ以上の場合、前記代表点は、前記2つ以上の対応点により挟まれた部分の前記対象物上に少なくとも1つ設定される、
請求項3に記載の計測方法。
【請求項6】
前記対応点と隣接した前記代表点は、前記代表点における前記対象物の接線の方向と、前記対応点における前記対象物の接線の方向との角度の差が、所定値以上となる位置に少なくとも1つ設定される、
請求項3~5のいずれか一項に記載の計測方法。
【請求項7】
前記少なくとも1つの代表点のうちの一の代表点は、前記一の代表点における前記対象物の接線の方向と、すでに設定された他の代表点であって、前記一の代表点と隣接した他の代表点における接線の方向との角度の差が、所定値以上となる位置に設定される、
請求項3~6のいずれか一項に記載の計測方法。
【請求項8】
前記代表点は、前記複数の設定点について、隣接する2点間の距離同士が前記対象物のエッジ又はその近傍上で等しくなる位置に設定される、
請求項3~5のいずれか一項に記載の計測方法。
【請求項9】
前記対応点は、前記指定点である、
請求項3~8のいずれか一項に記載の計測方法。
【請求項10】
前記複数の設定点の設定では、前記受け付けにおいて前記指定点が前記対象物上にない対象物外指定点を受け付けた場合、前記第1画像において前記対象物として識別された領域に対し、前記対象物外指定点から最も近い点を前記対応点として設定する、
請求項3~8のいずれか一項に記載の計測方法。
【請求項11】
前記計測領域の設定では、前記第2画像において前記対象物上の指定を受け付け、第2画像上に受け付けた前記指定に基づく領域を前記計測領域として設定する、
請求項1~10のいずれか一項に記載の計測方法。
【請求項12】
前記計測領域の設定では、前記第2画像において前記対象物のエッジを特定し、前記特定したエッジに基づく領域を前記計測領域として設定する、
請求項1~10のいずれか一項に記載の計測方法。
【請求項13】
前記計測では、複数の前記線のそれぞれと直交する複数の方向の前記対象物の変位から、前記対象物の動きの周波数及び振幅の少なくとも1つを計測する、
請求項2~12のいずれか一項に記載の計測方法。
【請求項14】
前記対象物は、線状の物体である、
請求項1~13のいずれか一項に記載の計測方法。
【請求項15】
対象物の変位を計測する計測装置により行われる計測方法であって、
水平方向及び垂直方向を有し、対象物が撮像された第1画像を取得し、
前記第1画像を表示部に表示させ、
前記第1画像上に指定点の指定を受け付け、
前記指定点に基づいて、前記第1画像上の前記対象物の方向を特定し、
前記方向について、前記第1画像の水平方向又は垂直方向と略揃う第1の方向と、揃うように前記第1画像を回転させることで第2画像を生成し、
前記第2画像において、前記対象物の少なくとも一部を含む計測領域を設定し、
前記計測領域について、第1の方向と直交する第2の方向における前記対象物の変位を計測する、
計測方法。
【請求項16】
さらに、
前記指定点に基づいて、前記対象物上に複数の設定点を設定し、
前記方向に沿い、前記複数の設定点のうちの2つの設定点を結ぶ線を特定する、
請求項15に記載の計測方法。
【請求項17】
前記対象物は、前記対象物のエッジの少なくとも一部が前記第1画像の水平方向又は垂直方向に対して角度を有する物体である、
請求項1~16のいずれか一項に記載の計測方法。
【請求項18】
対象物が撮像された第1画像を取得する取得部と、
前記第1画像を出力する出力部と、
前記第1画像上に指定点の指定を受け付ける受付部と、
前記指定点に基づいて、前記対象物上の複数の設定点を設定する第1設定部と、
前記複数の設定点のうちの2つの設定点を結ぶ線の方向を特定し、かつ、前記方向が水平又は垂直となるように前記第1画像を回転させることで第2画像を生成する生成部と、
前記第2画像において、前記線の一部を含む計測領域を設定する第2設定部と、
前記計測領域について、前記線と直交する方向の前記対象物の変位を計測する計測部と、を備える、
計測装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、対象物の変位を計測する計測方法及び計測装置に関する。
【背景技術】
【0002】
特許文献1には、カメラなどの撮像装置により対象物を撮像した動画像を、ブロックマッチングを用いて解析し、その解析結果から対象物の変位を検出することが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、簡便に対象物の変位を計測することができる計測方法及び計測装置を提供する。
【課題を解決するための手段】
【0005】
本開示の一態様に係る計測方法は、対象物が撮像された第1画像を表示部に表示し、前記第1画像上に指定点の指定を受け付け、前記指定点に基づいて、複数の設定点を設定し、前記設定点同士を線により連結し、前記線が前記表示部に対して水平又は垂直となる第2画像を生成し、前記第2画像において、前記線の一部を含む計測領域を設定し、前記計測領域について、前記線と直交する方向の前記対象物の変位を計測する。
【0006】
本開示の他の一態様に係る計測方法は、対象物の変位を計測する計測装置により行われる計測方法であって、水平方向及び垂直方向を有し、対象物が撮像された第1画像を取得し、前記第1画像を表示部に表示させ、前記第1画像上に指定点の指定を受け付け、前記指定点に基づいて、前記第1画像上の前記対象物の方向を特定し、前記方向について、前記第1画像の水平方向又は垂直方向と略揃う第1の方向と、揃うように前記第1画像を回転させることで第2画像を生成し、前記第2画像において、前記対象物の少なくとも一部を含む計測領域を設定し、前記計測領域について、第1の方向と直交する第2の方向における前記対象物の変位を計測する。
【0007】
本開示の一態様に係る計測装置は、対象物が撮像された第1画像を表示する表示部と、前記第1画像上に指定点の指定を受け付ける受付部と、前記指定点に基づいて、複数の設定点を設定する第1設定部と、前記設定点同士を線により連結する連結部と、前記線が前記表示部に対して水平又は垂直となる第2画像を生成する生成部と、前記第2画像において、前記線の一部を含む計測領域を設定する第2設定部と、前記計測領域について、前記線と直交する方向の前記対象物の変位を計測する計測部と、を備える。
【発明の効果】
【0008】
本開示に係る計測方法及び計測装置は、簡便に対象物の変位を計測することができる。
【図面の簡単な説明】
【0009】
【
図1】
図1は、実施の形態に係る計測システムの一例を示す概略図である。
【
図2】
図2は、実施の形態に係る計測システムの機能構成の一例を示すブロック図である。
【
図3】
図3は、実施の形態に係る計測装置の動作の一例を示すフローチャートである。
【
図4】
図4は、表示部が表示した第1画像の一例を示す図である。
【
図5】
図5は、表示部に表示された第1画像において指定された少なくとも2つの指定点の例を示す図である。
【
図6A】
図6Aは、第1画像において設定点に基づいて設定された線の一例を示す図である。
【
図6B】
図6Bは、線に基づいて生成された第2画像の一例を示す図である。
【
図6C】
図6Cは、表示部に表示された第2画像において指定された少なくとも1つの計測点と、計測点に基づいて設定された少なくとも1つの計測領域の一例を示す図である。
【
図6D】
図6Dは、計測部によって表示部に出力される計測結果の一例を示す図である。
【
図7A】
図7Aは、ユーザが第1画像において指定した少なくとも2つの点に基づいて設定された対応点と、対応点に基づいて設定された代表点の一例を示す図である。
【
図7B】
図7Bは、線に基づいて生成された第2画像の一例を示す図である。
【
図7C】
図7Cは、線に基づいて生成された第2画像の一例を示す図である。
【
図8】
図8は、ユーザが第1画像において指定した少なくとも2つの点に基づいて設定された対応点と、対応点に基づいて設定された代表点の一例を示す図である。
【
図9】
図9は、ユーザが第1画像において指定した1つの点に基づいて設定された対応点と、対応点に基づいて設定された代表点の一例を示す図である。
【
図10】
図10は、表示部に表示された第1画像において指定された少なくとも1つの対象物外の指定点と、対象物外の指定点に基づいて設定された少なくとも1つの対応点の一例を示す図である。
【
図11A】
図11Aは、第1画像上に設定された線の角度の検出結果の一例を示す図である。
【
図12】
図12は、第2設定部により設定された計測領域の一例を示す図である。
【発明を実施するための形態】
【0010】
(本開示の基礎となった知見)
我が国のインフラ構造物は1950年代後半から1970年代前半にかけての高度経済成長期に集中的に整備されてきた。そのため、今後数十年の間にインフラ構造物の老朽化が急速に進むと考えられる。その中で、簡便かつ低コストであるインフラ構造物の点検手法の需要は増大している。例えば、インフラ構造物の点検では、対象物の変位を検出することが行われている。
【0011】
対象物の変位検出には、ひずみゲージなどを用いて対象物を直接計測する手法、または、レーザやカメラなどの非接触センサによる対象物の外観の検出結果を用いて対象物を計測する手法が用いられる。このうちの対象物の外観の検出結果を用いた計測は、安全性などの理由によりひずみゲージの貼り付けが難しく直接計測が難しい場合に用いることができる。さらに、この計測は、足場の設置などが不要となるため、工数やコストの観点でメリットがある。特にカメラでの計測は、多点を同時に計測することで、異なる点における対象物の変位の違いなど、統計的な分析が可能となるため、注目が集まっている。
【0012】
外観の検出結果を用いた計測には、特許文献1のように、対象物が撮像装置により撮像された動画像をブロックマッチングで解析することで、対象物の変位を検出する手法がある。
【0013】
ブロックマッチングとは、対象のフレーム画像中の所望の領域を追尾ブロックとして特定したうえで、参照フレーム画像上の探索範囲内で前記追尾ブロックと最もよく一致するブロックを探索し、探索したブロックのフレーム画像間での変位ベクトルを算出する。ここで、ブロックマッチングにより対象物の変位を計測する場合、対象物内の追尾ブロックを特定するためのテクスチャ(模様)が必要となる。しかし、対象物内の複数の箇所に同様のテクスチャ(模様)がある場合、複数の箇所が追尾ブロックとして特定され得るため、フレーム画像間で追尾ブロックが一定に定まらない。特に線状の対象物については、線状のエッジ(色や明るさの急な変化がある箇所)が対象物の接線方向に一様に続く。このため、所望の領域ではない領域が追尾ブロックとして特定されてしまう。
【0014】
ここで、所望の領域でない領域が追尾ブロックとして特定され得るのは、対象物の接線方向にブロックマッチングを適用した場合である。一方で、ブロックマッチングの探索範囲を対象物の法線方向に限定した場合、探索範囲の中から対象物のエッジを含む領域を追尾ブロックとして特定することができる。このとき、対象物の法線方向に対して接線方向の変位が十分小さければ、ブロックマッチングにおいて追尾ブロックとして特定された領域が所望した追尾ブロックとほぼ同一と言える。よって、所望の追尾ブロックの変位を概ね正しく計測できる。
【0015】
また、通常、ブロックマッチングにおける変位の計測などの処理は、取得された画像に対して水平方向及び垂直方向の2方向について行われる。よって、斜張橋のケーブルなどの、地面に対して斜めに配置された線状の対象物にブロックマッチングを適用すると、水平方向及び垂直方向の計測結果の両方に対象物の接線方向の変位が含まれてしまう。
【0016】
そこで、本発明者らは、上記の課題を解決することができる計測方法及び計測装置を見出すに至った。
【0017】
本開示の一態様に係る計測方法は、対象物が撮像された第1画像を表示部に表示し、前記第1画像上に指定点の指定を受け付け、前記指定点に基づいて、複数の設定点を設定し、前記設定点同士を線により連結し、前記線が前記表示部に対して水平又は垂直となる第2画像を生成し、前記第2画像において、前記線の一部を含む計測領域を設定し、前記計測領域について、前記線と直交する方向の前記対象物の変位を計測する。
【0018】
これによれば、例えば斜張橋のケーブルなどの地面に対して斜めに配置された線状の対象物が撮像された画像に対して回転処理を施すことで、対象物と直交する方向を画像の水平方向または垂直方向に限定することができ、対象物と直交する方向の対象物の変位を簡便に計測可能とする。
【0019】
また、前記第2画像の生成では、前記第2画像を複数の前記線のそれぞれについて生成し、前記計測では、生成された複数の前記第2画像のそれぞれにおける前記計測領域について、前記線と直交する方向の前記対象物の変位を計測してもよい。
【0020】
また、前記複数の設定点は、対応点、又は対応点及び代表点により構成され、前記対応点は、前記指定点に基づいて前記対象物のエッジ上又はその近傍に設定される点であり、前記代表点は、前記対応点に基づいて前記対象物のエッジ上又はその近傍に設定される点であってもよい。
【0021】
また、前記対応点が1つの場合、前記代表点は、前記対応点に基づいて前記対象物上に少なくとも1つ設定されてもよい。
【0022】
また、前記対応点が2つ以上の場合、前記代表点は、前記2つ以上の対応点により挟まれた部分の前記対象物上に少なくとも1つ設定されてもよい。
【0023】
また、前記対応点と隣接した前記代表点は、前記代表点における前記対象物の接線の方向と、前記対応点における前記対象物の接線の方向との角度の差が、所定値以上となる位置に少なくとも1つ設定されてもよい。
【0024】
また、前記少なくとも1つの代表点のうちの一の代表点は、前記一の代表点における前記対象物の接線の方向と、すでに設定された他の代表点であって、前記一の代表点と隣接した他の代表点における接線の方向との角度の差が、所定値以上となる位置に設定されてもよい。
【0025】
また、前記代表点は、前記複数の設定点について、隣接する2点間の距離同士が前記対象物のエッジ又はその近傍上で等しくなる位置に設定されてもよい。
【0026】
また、前記対応点は、前記指定点であってもよい。
【0027】
また、前記複数の設定点の設定では、前記受け付けにおいて前記指定点が前記対象物上にない対象物外指定点を受け付けた場合、前記第1画像において前記対象物として識別された領域に対し、前記対象物外指定点から最も近い点を前記対応点として設定してもよい。
【0028】
また、前記計測領域の設定では、前記第2画像において前記対象物上の指定を受け付け、第2画像上に受け付けた前記指定に基づく領域を前記計測領域として設定してもよい。
【0029】
また、前記計測領域の設定では、前記第2画像において前記対象物のエッジを特定し、前記特定したエッジに基づく領域を前記計測領域として設定してもよい。
【0030】
また、前記計測では、複数の前記線のそれぞれと直交する複数の方向の前記対象物の変位から、前記対象物の動きの周波数及び振幅の少なくとも1つを計測してもよい。
【0031】
また、前記対象物は、線状の物体であってもよい。
【0032】
本開示の他の一態様に係る計測方法は、対象物の変位を計測する計測装置により行われる計測方法であって、水平方向及び垂直方向を有し、対象物が撮像された第1画像を取得し、前記第1画像を表示部に表示させ、前記第1画像上に指定点の指定を受け付け、前記指定点に基づいて、前記第1画像上の前記対象物の方向を特定し、前記方向について、前記第1画像の水平方向又は垂直方向と略揃う第1の方向と、揃うように前記第1画像を回転させることで第2画像を生成し、前記第2画像において、前記対象物の少なくとも一部を含む計測領域を設定し、前記計測領域について、第1の方向と直交する第2の方向における前記対象物の変位を計測する。
【0033】
また、さらに、前記指定点に基づいて、前記対象物上に複数の設定点を設定し、前記方向に沿い、前記複数の設定点のうちの2つの設定点を結ぶ線を特定してもよい。
【0034】
また、前記対象物は、前記対象物のエッジの少なくとも一部が前記第1画像の水平方向又は垂直方向に対して角度を有する物体であってもよい。
【0035】
本開示の一態様に係る計測装置は、対象物が撮像された第1画像を表示する表示部と、前記第1画像上に指定点の指定を受け付ける受付部と、前記指定点に基づいて、複数の設定点を設定する第1設定部と、前記設定点同士を線により連結する連結部と、前記線が前記表示部に対して水平又は垂直となる第2画像を生成する生成部と、前記第2画像において、前記線の一部を含む計測領域を設定する第2設定部と、前記計測領域について、前記線と直交する方向の前記対象物の変位を計測する計測部と、を備える。
【0036】
以下、本開示に係る計測方法及び計測装置の実施の形態を、図面に基づき説明する。なお、下記に開示される実施の形態はすべて例示であって、本開示に係る計測方法及び計測装置に制限を加える意図はない。
【0037】
また、下記に開示される実施の形態では、必要以上の詳細な説明を省略する場合がある。例えば、既によく知られた事項についての詳細な説明や、実質的に同一の構成についての重複する説明を、省略する場合がある。これは、説明が不必要に冗長になるのを避けることで、当業者の理解を容易にするためである。
【0038】
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、ステップ(工程)、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0039】
また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
【0040】
(実施の形態)
以下、実施の形態に係る計測方法等について説明する。
【0041】
[1-1.計測システムの概要]
まず、実施の形態に係る計測システムの概要について、
図1を参照しながら具体的に説明する。
図1は、実施の形態に係る計測システム300の一例を示す概略図である。
図2は、実施の形態に係る計測システム300の機能構成の一例を示すブロック図である。
【0042】
図1及び
図2に示すように、計測システム300は、計測装置100と、撮像装置200と、を備える。計測システム300は、対象物1が撮像された映像である第1画像を計測装置100の表示部に表示し、第1画像上の少なくとも1つの指定点の指定を受け付けることで、対象物1と直交する方向の対象物1の変位を計測する。計測システム300によれば、第1画像を回転させることで、線状の対象物の変位を簡便に算出することができる。また、これによりブロックマッチングの探索範囲となる画像の水平方向または垂直方向と、対象物1の法線方向とを合わせることができるため、表示部に対して水平及び垂直な2方向に探索範囲を設定する場合に比べ、対象物1の変位の算出に要する演算量を軽減することができる。
【0043】
対象物1は、斜張橋などの構造物であってもよく、電線や配管などの設備であってもよく、これらを構成する装置又は部品であってもよい。特に斜張橋のケーブルなどの地面に対して斜めに配置された線状の物体に対して大きな効果を奏する。これは、カメラが、その水平方向を地球の水平方向に合わせた姿勢で撮像することが多いからであり、この場合、撮像された画像には、線状の物体が画像の斜め方向に映るからである。ここで線状とは、例えば、線や細長い形状などが挙げられる。
【0044】
以下、計測システム300が備える各装置について説明する。
【0045】
[1-2.撮像装置の構成]
撮像装置200は、例えば、イメージセンサを備えるデジタルビデオカメラ又はデジタルスチルカメラである。例えば、撮像装置200は、対象物1に所定の外部負荷が付加されている様子を撮像してもよい。なお、対象物1に外部負荷がなくとも、例えば対象物1の自重による負荷のみが付加されている状態でもよい。また、撮像装置200は、モノクロ方式及びカラー方式のいずれであってもよい。つまり、撮像装置200により得られる画像は、モノクロ画像及びカラー画像のいずれであってもよい。また、撮像装置200により得られる画像は、二次元画像である。
【0046】
ここで、所定の外部負荷とは、例えば、車両又は列車などの移動体が通過する際に生じる荷重、風圧、又は、音であってもよい。所定とは、一定の大きさ及び一定の方向である場合に限らず、大きさ又は方向が変化する場合であってもよい。
【0047】
なお、
図1では、計測システム300が1つの撮像装置200を備える例を示しているが、計測システム300は、2つ以上の撮像装置200を備えてもよい。例えば、2つ以上の撮像装置200は、対象物1に沿って並んで配置されてもよい。このとき、2つ以上の撮像装置200は、それぞれ対象物1の映像を撮像する。これにより、例えば、対象物1が1つの映像に収まりきらない場合、対象物1を分割した複数の部分の全てについて、当該部分の全体を撮像する位置に各撮像装置200を配置することで、一度に対象物1を撮像することができるため、作業時間が短縮される。
【0048】
また、2つ以上の撮像装置200は、対象物1の両側に配置されてもよい。つまり、2つ以上の撮像装置200は、対象物1を挟んで互いに対向するように、あるいは、対象物1の周囲に対象物1を囲むように配置されてもよい。このとき、2つ以上の撮像装置200は、それぞれ対象物1の異なる部分や方向、異なる面の映像を撮像する。これにより、例えば、2つ以上の撮像装置200は、対象物1の異なる部分や方向、異なる面を一度に対象物1を撮像することができるため、作業時間が短縮される。また、異なる方向から撮像した場合には、同一方向からの撮像では得られない対象物1の変位を観測することができ、有用である。
【0049】
なお、2つ以上の撮像装置200を備えた場合に、これらの撮像装置200による撮像を非同期で行っても同期して行ってもよい。特に、撮像を同期して行った場合には、2つ以上の撮像装置200で撮像した同時刻の映像を比較又は分析することができる。
【0050】
なお、
図1では、撮像装置200は、一方向のみ撮像可能な撮像装置である例を示しているが、撮像装置200は、複数方向を撮像可能な撮像装置であってもよく、全方位撮像可能な撮像装置であってもよい。これにより、例えば、1つの撮像装置200で対象物1の複数の箇所を同時に撮像することができる。
【0051】
なお、撮像装置200は、上記の例に限られず、例えば、測距カメラやステレオカメラであってもよい。
【0052】
[1-3.計測装置の構成]
計測装置100は、対象物1が撮像された映像である第1画像を表示部20に表示し、第1画像上の少なくとも1つの指定点の指定を受け付けることで、対象物1と直交する方向の対象物1の変位を計測するための装置である。計測装置100は、例えば、コンピュータであり、プロセッサ(不図示)と、ソフトウェアプログラム又はインストラクションが格納されたメモリ(不図示)と、を備える。プロセッサがソフトウェアプログラムを実行することによって、計測装置100は、後述する複数の機能を実現する。また、計測装置100は、専用の電子回路(不図示)で構成されてもよい。この場合、後述する複数の機能は、別々の電子回路で実現されてもよいし、集積された1つの電子回路で実現されてもよい。
【0053】
計測装置100は、
図1に示すように、外部の撮像装置200から対象物1が撮像された第1画像を取得する。計測装置100と撮像装置200とは、例えば、互いに通信可能に接続されてもよい。このとき、計測装置100と撮像装置200との通信方法は、Bluetooth(登録商標)などの無線通信であってもよく、Ethernet(登録商標)などの有線通信であってもよい。なお、計測装置100と撮像装置200とは通信可能に接続されていなくてもよい。例えば、計測装置100は、脱着可能なメモリ、例えば、USB(Universal Serial Bus)メモリを介して、撮像装置200から第1画像を取得してもよい。つまり、計測装置100は、撮像装置200により撮像された第1画像が格納されている脱着可能なメモリから当該第1画像を読み出すことで、撮像装置200から第1画像を取得してもよい。
【0054】
図2に示すように、計測装置100は、取得部10と、表示部20と、受付部30と、第1設定部40と、連結部50と、生成部60と、第2設定部70と、計測部80と、を備える。
【0055】
取得部10は、撮像装置200から対象物1が撮像された第1画像を取得し、取得した映像を表示部20に出力する。このとき、第1画像は水平方向及び垂直方向を有する。
【0056】
表示部20は、画像又は映像を表示する。具体的には、表示部20は、取得部10又は生成部60から出力された第1画像又は第2画像を取得し、取得した画像を表示する。また、表示部20は、受付部30が受け付けた指定点、第1設定部40が設定した対応点又は設定点、連結部50が連結した線、第2設定部70が設定した計測領域、計測部80が計測した対象物1の変位なども表示してもよい。さらに、表示部20は、ユーザに提示するための各種情報を表示してもよい。表示部20は、例えば、液晶ディスプレイ、又は、有機エレクトロルミネッセンス(有機EL)ディスプレイなどで構成され、画像及び文字情報を表示する。
【0057】
受付部30は、ユーザからの操作を受け付ける。受付部30は、表示部20が表示している画像に応じて受け付けた操作を示す信号を、第1設定部40又は第2設定部70に出力する。例えば、表示部20に第1画像が表示されているとき、受付部30は、表示部20に表示された第1画像上においてユーザにより指定された指定点を受け付けて、受け付けた指定点の位置を示す信号を第1設定部40に出力する。また、表示部20に第2画像が表示されているとき、受付部30は、計測領域を設定する信号を第2設定部70に出力する。受付部30は、例えば、キーボード、マウス、タッチパネル、又は、マイクなどである。受付部30は、タッチパネルのように表示部20の表示領域に重なって配置されてもよい。受付部30は、例えば、タッチパネル上でユーザの指が触れた位置を検知し、第1設定部40又は第2設定部70に検知した位置を示す位置情報を出力する。より具体的には、ユーザが表示部20に表示された第1画像又は第2画像に指で触れると、触れた指の位置をタッチパネルが検知することで、受付部30は、検知した位置を示す位置情報を、ユーザから受け付けた操作を示す操作信号として第1設定部40又は第2設定部70に出力する。タッチパネルは、静電容量式タッチパネル、又は、感圧式タッチパネルであってもよい。
【0058】
また、受付部30は、マウスのように、表示部20上に表示されたポインタの位置を移動させる操作を受け付け、ポインタの位置に応じた位置情報を受け付けるポインティングデバイスであってもよい。受付部30は、表示部20の表示領域におけるポインタの位置を検知することで、検知した位置を示す位置情報を、ユーザから受け付けた操作を示す操作信号として第1設定部40又は第2設定部70に出力してもよい。
【0059】
第1設定部40は、取得部10から出力された画像を取得し、取得した画像における対象物1がある1以上の領域を識別する。そして、第1設定部40は、受付部30から出力された操作信号を取得し、取得した操作信号に基づき、ユーザにより指定された1以上の指定点のそれぞれに対して1つの対応点を第1画像上に設定する。各対応点は、1以上の指定点それぞれに対応するため、対応点の数は、指定点の数と同じになる。さらに、第1設定部40は、設定した1以上の対応点に基づき、1以上の対応点を含む複数の設定点を設定する。複数の設定点は、例えば、対象物1の同一のエッジ上に設定されてもよい。設定点は、複数の対応点のみにより構成されてもよい。
【0060】
あるいは、設定点は、1以上の対応点と1以上の代表点とにより構成されてもよい。ここで、代表点とは、対応点と異なる点であり、対応点に基づいて第1画像における対象物1上の領域に設定される点を指す。設定点が対応点のみにより構成されるか、対応点と代表点により構成されるかは、ユーザによりあらかじめ指定されてもよい。
【0061】
連結部50は、複数の設定点を取得し、複数の設定点のうち隣接した2つの設定点同士を線により連結する。結果として、連結部50は、1つの線又は複数の線により構成された1つの折れ線を生成する。
【0062】
生成部60は、線を取得し、線が表示部20に対して水平又は垂直となる第2画像を生成する。具体的には、生成部60は、表示部20の水平方向の線と線の角度θを検出する。そして、第1画像を-θ°もしくは(90-θ)°回転させることで、線が水平又は垂直となる第2画像を生成する。また、第2画像において、線は略水平又は略垂直となってもよい。このとき、線は、水平方向又は垂直方向に対して数度の誤差を有してもよい。
【0063】
第2設定部70は、表示部20に第2画像が表示されているときにユーザが受付部30を操作した場合、受付部30から出力された操作信号を取得し、取得した操作信号に基づき、第2画像において線の一部を含む少なくとも1つの計測領域を設定する。また、表示部20に第2画像が表示されてから所定時間経過しても操作信号が受付部30から出力されない場合、第2設定部70が自動的に第2画像において対象物1のエッジを含むように当該エッジを基準とした位置に計測領域を設定してもよい。第2設定部70は、対象物1のエッジ上に計測領域を設定してもよいし、エッジから所定間隔(kピクセル(kは整数))離れた対象物1上の位置に設定してもよいし、間隔が所定間隔(kピクセル)である2本のエッジの間の領域に設定してもよい。また、例えば、第2設定部70は、計測領域同士が等間隔になるよう、あるいは、ユーザがあらかじめ規定した数、またはユーザがあらかじめ規定した間隔となるよう、設定してもよい。また、計測領域は、ある程度の面積を有するブロックでも、点であってもよい。
【0064】
計測部80は、計測領域を取得し、1以上の計測領域のそれぞれについて対象物1上の線と直交する方向の対象物1の変位を計測する。具体的には、計測部80は、1以上の計測領域のそれぞれについて、当該計測領域において対象物1上の線と直交する方向、つまり、第2画像の水平方向および垂直方向の一方のみにおける対象物1の変位を計測してもよい。また、複数の計測領域のそれぞれの対象物1の変位(つまり、変位)は、移動方向及び移動距離を表す空間的な変化量であり、例えば、対象物1の変位を示す変位ベクトルである。ここでの移動距離は、対象物1が実際に移動した距離ではなく、対象物1が実際に移動した距離に対応する値である。例えば、移動距離は、実際に対象物1が移動した距離に対応する第2画像上の各計測領域における画素数である。計測部80は、各計測領域の対象物1の変位として、例えば、各計測領域の対象物1の変位ベクトルを導出してもよい。この場合は、計測部80は、例えば、ブロックマッチングを利用して、各計測領域の変位を推定することで、各計測領域の対象物1の変位ベクトルを導出する。さらに、計測部80は、計測領域のそれぞれにおける対象物1の変位に基づいて、対象物1の変位の周波数及び振幅を計測してもよい。これにより、対象物1の疲労損傷の程度を予測し、適切な時期にメンテナンスを実施することができる。
【0065】
なお、受付部30及び表示部20は、例えば、計測装置100以外の他の装置が備えてもよい。また、計測装置100は、コンピュータを例に挙げたが、インターネットなどの通信ネットワークを介して接続されるサーバ上に設けられてもよい。
【0066】
なお、第1画像および第2画像は、水平方向及び垂直方向に複数の画素が並ぶ形式の画像である。第1画像が変換されて生成される第2画像は、第1画像の画素の配列と同じ配列の画像であってもよい。つまり、第1画像および第2画像は、水平方向の画素数がm(mは2以上の整数)であり、垂直方向の画素数がn(nは2以上の整数)である配列を有する画像であってもよい。なお、nとmとは、互いに等しい値であってもよいし、異なる値であってもよい。また、第1画像および第2画像は、水平方向の画素数と垂直方向の画素数との少なくとも一方が互いに異なる配列を有する画像であってもよい。
【0067】
[1-4.計測装置の動作]
(実施例1)
続いて、本開示の好適な一実施形態に係る計測装置100の動作の一例について、
図3を参照しながら説明する。
図3は、実施の形態に係る計測装置100の動作の一例を示すフローチャートである。
【0068】
図3に示すように、取得部10は、対象物1が撮像された第1画像を取得する(取得ステップS10)。計測装置100は、撮像装置200から撮像される度に第1画像を逐次取得してもよいし、所定の期間撮像され、撮像装置200に蓄積された複数の第1画像を所定の期間毎に取得してもよい。なお、計測装置100は、撮像装置200による対象物1の撮像が終了した後に、対象物1が撮像された1つ以上の第1画像を撮像装置200から取得してもよい。取得部10による第1画像の取得方法については、特に限定されない。上述したように、取得部10は、無線通信によって第1画像を取得してもよく、USBメモリなどの脱着可能なメモリを介して第1画像を取得してもよい。
【0069】
次いで、表示部20は、取得ステップS10で取得部10が取得した第1画像を表示する(表示ステップS20)。
図4は、表示部20が表示した第1画像の一例を示す図である。
図4に示すように、対象物1は、例えば、斜張橋のケーブルである。
【0070】
次いで、受付部30は、表示ステップS20で表示部20が表示した第1画像における少なくとも2つの指定点の指定を受け付ける(受付ステップS30)。受付部30は、指定された少なくとも2つの指定点を第1設定部40に出力する。
図5は、表示部20に表示された第1画像において指定された少なくとも2つの指定点の例を示す図である。
図5は、略直線状のケーブルの上に指定点2a、2bが指定された場合(実施例1)と、湾曲したケーブルの上に指定点2c、2dが指定された場合(実施例2及び3)と、ケーブルの上の1つの指定点2gが指定された場合(実施例4)と、ケーブルから離れた対象物外の指定点3j、3kが指定された場合(実施例5)を示している。実施例1において、
図5に示すように、第1画像において指定点2a、2bの2点が指定されると、受付部30は、指定点2a、2bの位置の情報を第1設定部40に出力する。
【0071】
次いで、第1設定部40は、指定された少なくとも2つの指定点(ここでは、指定点2a、2b)に基づいて、第1画像において対応点を設定し、さらに対応点から設定点を設定する(第1設定ステップS40)。以下、対応点及び設定点の設定方法について、
図6Aを参照しながら説明する。
図6Aは、ユーザが第1画像において指定した少なくとも2つの指定点に基づいて設定された設定点と、設定点に基づいて設定された線と、線の角度の検出結果の一例を示す図である。
図6Aに示すように、第1設定部40は、受付ステップS30で受付部30が受け付けたユーザの操作(ここでは、ユーザが指定した対象物1上の指定点2a、2bの位置などの情報)に基づいて、第1画像において対応点を設定する。ここでは、指定点が対象物1上に指定されているので、対応点は指定点と同じ位置に設定される。より具体的には、第1設定部40は、例えば、ユーザが指定した2つの指定点2a、2bを取得し、取得した2つの指定点2a、2bに基づいて、2つの指定点2a、2bをそのまま2つの対応点として設定する。このとき、指定点の数と対応点の数とは同一となる。そして、第1設定部40は、2つの対応点を設定点6a、6bとして設定する。より具体的には、第1設定部40は、例えば、2つの対応点4a、4bに基づいて、2つの対応点をそのまま2つの設定点6a、6bとして設定する。このとき、対応点と設定点の個数は同一となる。すなわち、指定点と設定点の個数も同一となる。また、第1設定部40は、指定点が対象物1上で指定されたと判断した場合、対応点の設定を行わずに、指定点を設定点に設定してもよい。
【0072】
次いで、連結部50は、第1設定ステップS40で第1設定部が設定した第1画像における少なくとも2つの設定点同士を線により連結する(連結ステップS50)。設定点が2つしかない場合は、単に設定点同士を線により連結すればよい。設定点が3つ以上ある場合、それぞれの設定点について、対象物上において隣接した1つ又は2つの設定点と線により連結する。結果として、複数の線が1つの折れ線を構成する。以下、設定点の連結方法について、
図6Aを参照しながらより具体的に説明する。
図6Aに示すように、連結部50は、第1画像において先ほど設定された少なくとも2つの設定点同士を線により連結する。より具体的には、連結部50は、例えば、2つの設定点6a、6bを取得し、取得した設定点6a、6bに基づいて、2つの設定点6a、6bを線7abにより連結する。線7abは、例えば、2つの設定点6a、6bを結ぶ線分である。
【0073】
次いで、生成部60は、連結部50で設定された線が水平又は垂直となる第2画像を生成する(生成ステップS60)。以下、第2画像の生成方法について、
図6A及び
図6Bを参照しながらより具体的に説明する。
図6Aに示すように、生成部60は線7abを取得し、線の角度θaを検出する。
図6Bは、線に基づいて生成された第2画像の一例を示す図である。
図6Bに示すように第1画像を表示部20に対して-θa°回転させることで、線7abが水平となる第2画像を生成する。このとき、第1画像を(90-θa)°回転させることで、線7abが垂直となる第2画像を生成してもよい。なお、
図6A及び
図6Bでは線が1つしかなかったが、線が複数ある場合、生成部60は、各線が水平又は垂直となる複数の第2画像を生成する。この場合の具体的な例については、実施例2で説明する。
【0074】
なお、本実施の形態では、回転角度が負の場合、第1画像を右回転方向に回転させることを意味し、回転角度が正の場合、第1画像を左回転方向に回転させることを意味する。なお、回転方向と、回転角度の正負との関係は、上記と逆であってもよい。また、第1画像を回転させる時の回転中心は、例えば、第1画像の中心(または重心)の点である。なお、回転中心は、線7abの全体が回転後の第2画像に含まれていれば第1画像中のどの点に設定されてもよい。
【0075】
次いで、第2設定部70は、第2画像において計測領域を設定する(第2設定ステップS70)。具体的には、第2設定部70は、第2画像内の対象物1上に少なくとも1つの計測点の指定を受付部30が受け付けた場合、受付部30により受け付けられた少なくとも1つの計測点(ここでは、計測点8a、8b)に基づいて、第2画像において計測領域を設定する。ここで、受付部30は、少なくとも1つの計測点の指定を受け付けた場合、指定された少なくとも1つの計測点を第2設定部70に出力する。ここで、計測点とは、計測領域の位置を指定するための点である。
図6Cは、表示部20に表示された第2画像において指定された少なくとも1つの計測点と、計測点に基づいて設定された少なくとも1つの計測領域の一例を示す図である。
図6Cに示すように、第2画像において計測点8a、8bの2点が指定されると、受付部30は、計測点8a、8bの位置などの情報を第2設定部70に出力する。
【0076】
以下、計測領域の設定方法について、
図6Cを参照しながらより具体的に説明する。
図6Cに示すように、第2設定部70は、受付部30が受け付けたユーザの操作(ここでは、ユーザが指定した2つの計測点8a、8bの位置などの情報)に基づいて、第2画像において計測点の位置に計測領域を設定する。より具体的には、第2設定部70は、例えば、ユーザが指定した2つの計測点8a、8bを取得し、取得した2つの計測点8a、8bに基づいて、2つの計測点8a、8bの位置を含む2つの計測領域9a、9bとして設定する。例えば、2つの計測領域9a、9bは、それぞれ、2つの計測点8a、8bの位置を中心とする所定の面積を有するブロックである。このとき、計測点の数と計測領域の数とは互いに同一となる。また、ここでは、計測領域は、所定の面積を有したブロックに限らずに、計測点そのものであってもよい。
【0077】
次いで、計測部80は、2つの計測領域9a、9bを取得し、2つの計測領域9a、9bのそれぞれについて対象物1上の線7abと直交する方向の対象物1の変位を計測する(計測ステップS80)。ここで、複数の計測領域9a、9bのそれぞれの対象物1の変位(つまり、変位)は、移動方向及び移動距離を表す空間的な変化量であり、例えば、対象物1の変位を示す変位ベクトルである。計測部80は、各計測領域9a、9bの対象物1の変位として、例えば、各計測領域9a、9bの対象物1の変位ベクトルを導出する。この場合、計測部80はブロックマッチングを利用して、各計測領域9a、9bの変位を推定することで、各計測領域9a、9bの対象物1の変位ベクトルを導出する。
【0078】
より具体的には、計測部80は、第2画像上の各計測領域9a、9bに対して、ブロックマッチングの探索範囲を設定する。このとき、対象物1上の線と直交する方向にのみ、ブロックマッチングの探索範囲を設定してもよい。ここで、対象物1の法線方向の変位は接線方向の変位に対して十分大きい。さらに、対象物1の接線方向については、同様の線状エッジが続くが、法線方向については、背景との差により、対象物1の線状エッジを有するブロックの特定が可能である。以上のことにより、ブロックマッチングによって簡便に各計測領域9a、9bにおける対象物1の変位を計測することができる。さらに、計測部80は、計測領域9a、9bのそれぞれにおける対象物1の変位に基づいて、対象物1の動きや、対象物1の動きの周波数及び振幅を計測してもよい。
【0079】
図6Dは、計測部80によって表示部20に出力される計測結果の一例を示す。
図6Dに示すように、計測部80は、例えば、対象物1の変位の時間変化、及び/又は、対象物1の変位の周波数分布を表示部20に出力する。つまり、計測部80は、例えば、動画中の各静止画像(フレーム)内の各計測領域における画素(ピクセル)に関する情報から、撮像装置の解像度やフレームレートといったパラメータを用いて、対象物1の変位の振幅や周波数を算出できる。なお、計測部80の計測結果に基づき、対象物1の疲労損傷の程度に関する情報を推定し、推定した情報を表示部20に出力してもよい。これにより、適切な時期に対象物1のメンテナンスを実施することができる。
【0080】
(実施例2)
以下、本開示の実施例2による、計測装置100の動作について説明する。
【0081】
本実施例に係る計測装置100の動作は、第1設定部40の動作以外は実施例1と同様である。
【0082】
本実施例では、第1設定部40は、
図5に示すように指定された少なくとも2つの指定点2c、2dに基づいて、
図7Aに示すように第1画像において対応点4c、4dを設定し、さらに対応点4c、4dから設定点を設定する(第1設定ステップS40)。以下、対応点の設定方法について、
図7Aを参照しながらより具体的に説明する。
【0083】
図7Aは、ユーザが第1画像において指定した少なくとも2つの指定点に基づいて設定された対応点と、対応点に基づいて設定された代表点との一例を示す図である。
図7Aに示すように、第1設定部40は、受付ステップS30で受付部30が受け付けたユーザの操作(ここでは、ユーザが指定した2つの指定点2c、2dの位置などの情報)に基づいて、第1画像において対応点4c、4dを指定点の位置に設定する。より具体的には、第1設定部40は、例えば、ユーザが指定した2つの指定点2c、2dを取得し、取得した2つの指定点2c、2dに基づいて、2つの指定点2c、2dをそのまま2つの対応点4c及び4dとして設定する。このとき、指定点の数と対応点の数とは互いに同一となる。そして、第1設定部40は、少なくとも2つの対応点(ここでは、対応点4c、4d)と少なくとも1つの代表点とを含む複数の設定点を第1画像上に設定する。
【0084】
以下、設定点の設定方法について、
図7Aを参照しながらより具体的に説明する。
図7Aに示すように、第1設定部40は、第1画像において先ほど設定された少なくとも2つの対応点4c、4dに基づいて少なくとも1つの代表点を設定する。より具体的には、第1設定部40は、例えば、2つの対応点4c、4dを取得し、取得した2つの対応点4c、4dに基づいて、2つの対応点4c、4dとは異なる代表点5cdを設定する。このとき、第1設定部40は、代表点5cdを、2つの対応点4c、4dにより挟まれた部分、つまり、2つの対応点4c、4dの間における対象物1上に設定する。また、具体的には、代表点5cdは、対象物1上の対応点4c、4dにより挟まれた部分で検出されたエッジにおいて、代表点5cdにおける対象物1の接線の角度φcdと対応点4cにおける対象物1の接線の角度φcとの差が所定値以上となる位置に設定される。なお、角度φcは、対応点4dに対しても同様であってもよく、対応点4dにおける対象物1の接線の角度との差が所定値以上となる角度であってもよい。なお、対象物1の接線は、検出したエッジにおける接線である。この角度の差の所定値は、ユーザによりあらかじめ指定されてもよいし、第1設定部40により設定されてもよい。第1設定部40は、対応点4c、4dと、代表点5cdとの3点をそれぞれ設定点6c、6d、6cdとして設定する。
【0085】
また、本実施例では設定点が3点設定されたため、連結部50によって2つの線が生成され、2つの線のそれぞれについて第2画像が生成される。このため、生成部60は、2つの第2画像を生成する。以下、生成部60における第2画像の生成方法について、
図7B及び
図7Cを参照しながら具体的に説明する。
図7B及び
図7Cは、線に基づいて生成された第2画像の一例を示す図である。
図7Bは、設定点6c、6cdを連結する線7ccdの角度φcに基づいて、第1画像を-φc°回転させることで生成された第2画像である。
図7Bの第2画像は、線7ccdが水平方向と一致する画像である。一方で、
図7Cは、設定点6cd、6dを連結する線7cddの角度φcdに基づいて、第1画像を-φcd°回転させることで生成された第2画像である。
図7Cの第2画像は、線7cddが水平方向と一致する画像である。なお、線7ccdは、例えば、2つの設定点6c、6cdを結ぶ線分である。線7cddは、例えば、2つの設定点6cd、6dを結ぶ線分である。
【0086】
(実施例3)
以下、本開示の実施例3による、計測装置100の動作について説明する。
【0087】
本実施例に係る計測装置100の動作は、第1設定部40の動作以外は実施例1及び実施例2と同様である。また、具体的には、設定点(代表点)の設定方法以外は実施例2と同様である。
【0088】
図8は、ユーザが第1画像において指定した少なくとも2つの指定点に基づいて設定された対応点と、対応点に基づいて設定された代表点との一例を示す図である。本実施例では、第1設定部40は、
図8に示すように、第1画像に少なくとも2つの対応点4e、4fを設定し、対応点4e、4fと少なくとも1つの代表点とにより構成される複数の設定点を設定する(第1設定ステップS40)。
【0089】
以下、設定点の設定方法について、
図8を参照しながらより具体的に説明する。
図8に示すように、第1設定部40は、第1画像において設定された少なくとも2つの対応点に基づいて少なくとも1つの代表点を設定する。より具体的には、第1設定部40は、例えば、2つの対応点4e、4fを取得し、取得した2つの対応点4e、4fに基づいて、2つの対応点4e、4fとは異なる代表点5efを設定する。このとき、第1設定部40は、代表点5efを、2つの対応点4e、4fにより挟まれた部分、つまり、2つの対応点4e、4fの間における対象物1上に設定する。また、具体的には、第1設定部40は、対象物1上の対応点4e、4fにより挟まれた部分のエッジを検出し、対応点4eからの距離L1と、対応点4fからの距離L2とが互いに同一となる位置に代表点5efを設定する。このように、第1設定部40は、複数の設定点4e、4fおよび5efについて、隣接する2点間の距離L1、L2が対象物1のエッジ又はその近傍上で一定になる位置に、代表点5efを設定してもよい。第1設定部40は、対応点4e、4fと、代表点5efの3点を設定点として設定する。
【0090】
なお、
図8の例では、2つの対応点4e、4fにより挟まれた部分の対象物1を2等分した場合の代表点5efを設定する例を説明したが、2つの対応点4e、4fにより挟まれた部分の対象物1を2等分することに限らずに3以上の数で等分することで代表点を設定してもよい。この場合、設定される代表点の数は、等分される数から1を減算した数と等しい。何等分するかはユーザによりあらかじめ指定されてもよいし、第1設定部40が設定してもよい。
【0091】
(実施例4)
以下、本開示の実施例4による、計測装置100の動作について説明する。
【0092】
本実施例に係る計測装置100の動作は、受付部30及び第1設定部40の動作以外は実施例1ないし実施例3と同様である。
【0093】
本実施例では、受付部30は、表示ステップS20で表示部20が表示した第1画像における1つの指定点の指定を受け付ける(受付ステップS30)。受付部30は、指定された1つの指定点2gを第1設定部40に出力する。
図5に示すように、第1画像において1つの指定点2gが指定されると、受付部30は、指定点2gの位置などの情報を第1設定部40に出力する。
【0094】
次いで、第1設定部40は、指定された1つの指定点2gに基づいて、第1画像において対応点を設定し、さらに対応点から設定点を設定する(第1設定ステップS40)。
【0095】
以下、対応点の設定方法について、
図9を参照しながらより具体的に説明する。
図9は、ユーザが第1画像において指定した1つの点に基づいて設定された対応点と、対応点に基づいて設定された代表点の一例を示す図である。
図9に示すように、第1設定部40は、受付ステップS30で受付部30が受け付けたユーザの操作情報(ここでは、ユーザが指定した1つの指定点2gの位置などの情報)に基づいて、第1画像において指定点をそのまま対応点として設定する。より具体的には、第1設定部40は、例えば、ユーザが指定した1つの指定点2gを取得し、取得した1つの指定点2gに基づいて、1つの指定点2gをそのまま1つの対応点4gとして設定する。このとき、指定点の数と対応点の数とは互いに同一となる。そして、第1設定部40は、1つの対応点4gと少なくとも1つの代表点により構成される複数の設定点を第1画像において設定する。
【0096】
図9に示すように、第1設定部40は、第1画像において設定された1つの対応点に基づいて少なくとも1つの代表点を設定する。より具体的には、第1設定部40は、例えば、1つの対応点4gを取得し、取得した1つの対応点4gに基づいて、1つの対応点4gとは異なる2つの代表点5h、5iを設定する。このとき、第1設定部40は、代表点を、対応点4gに基づく対象物1上の対応点4gとは異なる位置に設定する。具体的には、第1設定部40は、対応点4gに基づいて対応点4gに最も近い対象物1のエッジを検出し、検出したエッジ上における対応点4gの一方側に代表点5h、5iを設定する。代表点5hは、対応点4gに基づいて検出された対象物1のエッジにおいて、代表点5hにおける対象物1の接線の角度φhと対応点4gにおける対象物1の接線の角度φgとの差が所定値以上となる位置に設定される。なお、対象物1の接線は、検出したエッジにおける接線である。
【0097】
さらに、代表点5iは、代表点5hに基づいて代表点5hに最も近い位置で検出された対象物1のエッジにおいて、代表点5iにおける対象物1の接線の角度φiと代表点5hにおける対象物1の接線の角度φhの差が所定値以上となる位置に設定される。なお、対象物1の接線は、検出したエッジにおける接線である。この角度の差の所定値は、ユーザによりあらかじめ指定されてもよいし、第1設定部40が設定してもよい。また、設定される代表点の個数はユーザによりあらかじめ指定されてもよいし、第1設定部40が設定してもよい。第1設定部40は、対応点4gと、代表点5h、5iの3点を設定点として設定する。
【0098】
なお、
図9では、2つの代表点5h、5iはともに対応点4gに対して右側に設定されたが、対応点4gに対して左側に設定されてもよいし、それぞれが対応点4gに対して別の方向(例えば、代表点5hが左側、代表点5iが右側)に設定されてもよい。この場合、2つの代表点はともに対応点4gにおける対象物1の接線の角度φgを基準として設定される。
【0099】
(実施例5)
以下、本開示の実施例5による、計測装置100の動作について説明する。
【0100】
本実施例に係る計測装置100の動作は、受付部30及び第1設定部40の動作以外は実施例1ないし実施例4と同様である。
【0101】
本実施例では、受付部30は、表示ステップS20で表示部20が表示した第1画像における少なくとも1つの対象物1外の指定点の指定を受け付ける(受付ステップS30)。受付部30は、指定された少なくとも1つの対象物1外の指定点3j、3kを第1設定部40に出力する。
【0102】
図10は、表示部20に表示された第1画像において指定された少なくとも1つの対象物外の指定点と、当該指定点に基づいて設定された少なくとも1つの対応点の一例を示す図である。
図10に示すように、第1画像において対象物1外の指定点3j、3kが指定されると、受付部30は、対象物外指定点3j、3kの位置などの情報を第1設定部40に出力する。ここで、
図10では、指定されたすべての指定点が対象物1外の指定点が指定された例が例示されているが、対象物1外の指定点を含む複数の指定点が指定されてもよい。
【0103】
次いで、第1設定部40は、指定された少なくとも1つの指定点3j、3kに基づいて、第1画像において対応点を設定し、さらに対応点から設定点を設定する(第1設定ステップS40)。
図10に示すように、第1設定部40は、受付ステップS30で受付部30が受け付けたユーザの操作情報(ここでは、ユーザが指定した2つの指定点3j、3kの位置などの情報)に基づいて、第1画像において対象物1上に対応点を設定する。より具体的には、第1設定部40は、例えば、ユーザが指定した2つの指定点3j、3kを取得し、取得した2つの指定点3j、3kに基づいて、第1画像において対象物1として識別される複数の範囲のうち、指定点3j、3kに最も近い範囲に対し、指定点3j、3kのそれぞれを通る対象物1(対象物1のエッジ)との1以上の垂線のうち最も短い垂線との2つの交点を対応点4j、4kとして設定する。つまり、第1設定部40は、受付ステップS30において指定点が対象物上にない対象物外指定点を受け付けた場合、第1画像において対象物として識別された領域に対し、対象物外指定点から最も近い点を対応点として設定する。このとき、指定点3j、3kを含む指定点の数と設定された対応点の数とは互いに同一となる。そして、第1設定部40は、対応点4j、4kを含む複数の設定点を設定する。
【0104】
以下、設定点の設定方法について説明する。第1設定部40は、第1画像において先ほど設定された少なくとも1つの対応点をそのまま設定点として設定する。より具体的には、第1設定部40は、例えば、2つの対応点4j、4kを取得し、取得した2つの対応点4j、4kに基づいて、2つの対応点4j、4kをそのまま2つの設定点として設定する。このとき、設定点は、少なくとも1つの対応点と代表点とにより構成されてもよく、2つ以上の対応点により構成されてもよい。
【0105】
(実施例6)
以下、本開示の実施例6による、計測装置100の動作について説明する。
【0106】
本実施例に係る計測装置100の動作は、生成部60の動作以外は実施例1ないし実施例5と同様である。
【0107】
本実施例では、生成部60は、連結部50で設定された線が水平又は垂直となる第2画像を生成する(生成ステップS60)。以下、第2画像の生成方法について、
図11Aを参照しながらより具体的に説明する。
図11Aは、第1画像上に設定された線の角度の検出結果の一例を示す図である。
図11Aに示すように、生成部60は線を取得し、代表的な線の角度を検出する。具体的には、設定点6m、6nを連結する線7mnと、設定点6n、6pを連結する線7npが同じ角度を有する場合を考える。2つの線7mn及び7npのうち、代表的な線として線7mnを抽出し、線7mnの角度φmを検出する。なお、線7mnは、例えば、2つの設定点6m、6nを結ぶ線分である。線npは、例えば、2つの設定点6n、6pを結ぶ線分である。
【0108】
図11Bは、線に基づいて生成された第2画像の一例を示す図である。
図11Bに示すように第1画像を-φm°回転させることで、線7mnが水平となる第2画像を生成する。このとき、第1画像を(90-φm)°回転させることで、線7mnが垂直となる第2画像を生成してもよい。また、
図11A及び
図11Bでは、同じ角度を有する複数の線のうちのいずれかを代表的な線として抽出したが、このほかにすべての線の角度の平均値に最も近い角度を有した線を代表的な線とすることなどが考えられる。
【0109】
(実施例7)
以下、本開示の実施例7による、計測装置100の動作について説明する。
【0110】
本実施例に係る計測装置100の動作は、受付部30と第2設定部70の動作以外は実施例1ないし実施例6と同様である。
【0111】
本実施例では、第2設定部70は、第2画像において線に基づき、線の一部を含む計測領域を設定する(第2設定ステップS70)。以下、計測領域の設定方法について、
図12を参照しながらより具体的に説明する。
図12は、第2設定部により設定された計測領域の一例を示す図である。
図12に示すように、第2設定部70は、第2画像において線の一部を含む計測領域を設定する。より具体的には、第2設定部70は、2つの設定点6q、6rを連結する線7qrを取得し、取得した線7qrに基づいて、線7qrの一部を含むよう、計測領域9q、9rを設定する。ここでは、計測領域をある程度の面積を有したブロックとしているが、点であってもよい。また、設定される計測領域の個数は、ユーザによりあらかじめ指定されてもよいし、第2設定部70が設定してもよい。さらに、最終的に設定されるすべての計測領域を第2設定部70が設定してもよいし、一部はユーザにより指定されてもよい。ユーザが指定した計測点の位置に設定された計測領域を含む場合、第2設定部70は、受付部30が受け付けたユーザの操作情報を取得する。なお、線7qrは、例えば、2つの設定点6q、6rを結ぶ線分である。
【0112】
(他の実施の形態)
以上、本開示の1つ又は複数の態様に係る計測方法及び計測装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構成される形態も、本開示の1つ又は複数の態様の範囲内に含まれてもよい。
【0113】
例えば、上記実施の形態における計測システムでは取得した画像を回転させることで変位を計測するために用いる第2画像を生成したが、撮像装置200を予め回転させた上で撮像を行うようシステムを構成してもよい。これにより、予め回転された映像を取得できるため、回転処理などの画像処理を省略することができるため、演算量の少ない計測装置を実現することができる。
【0114】
例えば、上記実施の形態における計測装置100は、表示部20を有する構成としたが表示部20を有さずに、計測装置100に接続された外部の表示装置に表示させる構成としてもよい。つまり、計測装置100は、外部の表示装置に、第1画像、第2画像、第1画像または第2画像への入力を受け付けるためのUI(User Interface)、計測結果などを表示させるための信号を、出力する構成であってもよい。
【0115】
例えば、上記実施の形態における計測装置100では、連結部50を有していない構成であってもよい。つまり、連結部50によって線は、必ずしも生成されなくてもよい。この場合、生成部60は、複数の設定点のうちの2つの設定点を結ぶ線の方向を特定し、特定した方向が水平又は垂直となるように第1画像を回転させることで第2画像を生成する。つまり、2つの設定点を結ぶ線の方向を特定できればよいため、線を生成しなくてもよい。
【0116】
例えば、上記実施の形態における計測システムでは、計測部80が1以上の計測領域のそれぞれについて、当該計測領域において対象物1上の線と直交する方向、つまり、第2画像の水平方向および垂直方向の一方のみにおける対象物1の変位を計測するとしたが、これに限らない。計測部80は、計測領域について、第2画像の水平方向および垂直方向の両方における対象物1の変位を計測し、水平方向および垂直方向の一方(つまり、対象物1上の線と直交する方向に対応する方向)の計測結果のみを計測結果として出力してもよい。この場合であっても、計測システムは、水平方向の計測結果および垂直方向の計測結果を統合する処理を削減することができる。
【0117】
また、例えば、上記実施の形態における計測装置が備える構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。
【0118】
システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。ROMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLISは、その機能を達成する。
【0119】
なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法は、LSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、あるいは、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0120】
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【0121】
また、本開示の一態様は、このような計測装置だけではなく、計測装置に含まれる特徴的な構成部をステップとする計測方法であってもよい。また、本開示の一態様は、計測方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
【0122】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の計測装置などを実現するソフトウェアは、次のようなプログラムである。
【産業上の利用可能性】
【0123】
本開示は、対象物の変位を計測する計測方法及び計測装置に広く利用可能であり、例えば、斜張橋などのインフラ構造物に対して、耐久性や安全性を点検する手法として利用できる。
【符号の説明】
【0124】
1 対象物
2a、2b、2c、2d、2g 指定点
3j、3k 対象物外指定点
4a、4b、4c、4d、4e、4f、4g、4j、4k 対応点
5cd、5ef、5h、5i 代表点
6a、6b、6c、6cd、6d、6m、6n、6p、6q、6r 設定点
7ab、7ccd、7cdd、7mn、7np、7qr 線
8a、8b 計測点
9a、9b、9q、9r 計測領域
10 取得部
20 表示部
30 受付部
40 第1設定部
50 連結部
60 生成部
70 第2設定部
80 計測部
100 計測装置
200 撮像装置
300 計測システム