(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-26
(45)【発行日】2022-11-04
(54)【発明の名称】撮影画像補正方法
(51)【国際特許分類】
H04N 5/232 20060101AFI20221027BHJP
G06T 7/60 20170101ALI20221027BHJP
G06T 3/00 20060101ALI20221027BHJP
B64C 27/08 20060101ALI20221027BHJP
B64C 39/02 20060101ALI20221027BHJP
B64D 47/08 20060101ALI20221027BHJP
B64D 47/04 20060101ALI20221027BHJP
H04N 5/222 20060101ALI20221027BHJP
【FI】
H04N5/232 290
G06T7/60 150Z
G06T3/00 705
B64C27/08
B64C39/02
B64D47/08
B64D47/04
H04N5/222 100
(21)【出願番号】P 2021188484
(22)【出願日】2021-11-19
(62)【分割の表示】P 2017179415の分割
【原出願日】2017-09-19
【審査請求日】2021-11-19
(73)【特許権者】
【識別番号】000206211
【氏名又は名称】大成建設株式会社
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】本澤 昌美
(72)【発明者】
【氏名】鈴木 三馨
(72)【発明者】
【氏名】堀口 賢一
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開2004-069434(JP,A)
【文献】特開2008-288630(JP,A)
【文献】特開2003-274394(JP,A)
【文献】特開2017-034576(JP,A)
【文献】中国特許出願公開第101329761(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/232
G06T 7/60
G06T 3/00
B64C 27/08
B64C 39/02
B64D 47/08
B64D 47/04
H04N 5/222
(57)【特許請求の範囲】
【請求項1】
少なくとも三つのレーザー光源と、撮影機と、を備える撮影画像データ取得装置を使用して、所定の色の光点を撮影対象に照射し、該光点を含む撮影画像データを取得する撮影画像データ取得工程と、
各レーザー光源間の距離の比率で特定される正規距離比データと、撮影画像データ内にある各光点間の距離の比率で特定される非正規距離比データとを比較し、双方の距離比に基づいて前記撮影画像データをあおり補正して正対画像データを作成するあおり補正工程と、を有することを特徴とする、撮影画像補正方法。
【請求項2】
前記撮影画像データ取得工程において、所定の色を有し、かつ、所定の形状を有する前記光点を形成するレーザー光を前記撮影対象に照射することを特徴とする、請求項1に記載の撮影画像補正方法。
【請求項3】
既に寸法及び形状が決まっている所定部材の寸法情報データ及び形状情報データを格納する格納工程と、
前記あおり補正工程にて作成された前記正対画像データ内に、前記所定部材と同じ形状跡が存在しているか否かを判定する判定工程と、
前記判定工程にて検出された形状跡を有する前記所定部材の前記寸法情報データに基づいて、前記正対画像データ内に存在する損傷部の寸法を特定する損傷部寸法特定工程と、をさらに有することを特徴とする、請求項1又は2に記載の撮影画像補正方法。
【請求項4】
前記撮影画像データ取得装置が航行機構をさらに有しており、
前記撮影画像データ取得工程において、前記撮影画像データ取得装置を航行させながら前記撮影画像データを取得することを特徴とする、請求項1乃至3のいずれか一項に記載の撮影画像補正方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影画像補正方法に関する。
【背景技術】
【0002】
現在、道路や橋梁、トンネルといった様々なインフラ施設の老朽化が進んでおり、改修工事が各地で行われ、また改修計画が進められている。インフラ施設の多くは鉄筋コンクリート構造物(RC構造物)や鋼構造物であるが、例えば竣工から40年以上が経過したRC構造物や鋼構造物の表面上には、様々な損傷部が存在している。この損傷部の具体例として、コンクリート表面上においては、ひび割れ、白華、遊離石灰、錆汁等が挙げられ、鋼材表面上においては、鋼材腐食や亀裂、塗膜の劣化等が挙げられる。
【0003】
RC構造物や鋼構造物の改修工事や改修計画に際しては、まず、インフラ施設の技術担当者や業務委託された調査会社もしくは建設会社の技術担当者により、RC構造物や鋼構造物の表面の点検が実施される。この点検では、損傷部の定量評価が重要となる。たとえば、ひび割れや亀裂の幅や長さ、一定幅以上のひび割れや亀裂の数、遊離石灰等の形状や面積などが定量的に評価され、この定量評価に基づいて、構造物の更新施工の有無やメンテナンスの有無等が判断されることになる。ここで、観察対象物上にレーザー光を照射し、レーザー光の照射によって生じた光点を撮像画像中から検出し、検出された光点の位置に基づいて観察対象物の大きさの尺度となる目盛を撮像画像上に描画する撮像装置の目盛生成方法が提案されている(例えば特許文献1参照)。撮像画像中に写り込んだ光点を検出し、この光点の位置に基づいて目盛幅を計算し、撮像画像上に目盛を描画することにより、観察を行いながら観察対象物の大きさの計測が可能になるとしている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
構造物の点検に関し、昨今、CCDカメラ等を搭載した無人航空機(UAV(Unmanned Air Vehicle)もしくはドローンで、以下、代表して「UAV」と称する)を飛ばしてコンクリート表面や鋼材表面を撮影し、撮影画像を繋いで構造物全体の表面画像を作成する方法が用いられている。この方法によれば、延長の長いトンネル内にUAVを航行させながらトンネル表面の撮影を行うことにより、検査員が歩きながらトンネル表面の撮影を行う方法に比べて、撮影時間が格段に短くなる。また、例えば道路橋の鉄筋コンクリート製の床版の下面や、床版を支持する型鋼からなる主桁のウェブ側面等、高度の高い位置にある構造物の観察においては、UAVを航行させて撮影対象を撮影することにより、高所作業車等を利用して撮影対象に近接等して撮像する方法に比べて、簡易な方法で、かつ自由度の高い撮影が可能になる。また、高所作業車等がアクセスできない場所の撮影が可能となり、さらには、高所での検査員による撮影が不要になることで検査時の危険性も解消される。
【0006】
しかしながら、UAVを用いて撮影対象を撮影する場合、UAVが蛇行することにより、撮影対象に対して正対した状態での撮影が難しくなる。なお、例えば高所作業車を利用して検査員が撮影する方法において、撮影対象に十分アクセスできないような場合には、斜め方向から撮影対象を撮影せざるを得ないことがあり、このような場合も撮影対象に対して正対した状態で撮影できないことになる。このように、正対しない状態、言い換えれば、斜め側方や斜め下方、斜め上方から撮影対象を撮影した場合に、取り込まれた撮影画像は、撮影対象の表面に存在する損傷部に関する正しい情報を提供しないことになる。例えば、撮影対象中に存在するひび割れの幅や長さは正しい定量値とならず、遊離石灰等の形状や面積も正しい定量値とならない。
【0007】
そこで、撮影画像に対してあおり補正処理を実行し、例えば斜め方向からの撮影による撮影画像をあおり補正して正対画像を作成することにより、あおり補正によって作成された正対画像中に内在するひび割れ等の損傷部も正しい定量値を有することになる。
【0008】
しかしながら、あおり補正処理を実施するには、撮影対象に対する正対位置に対してUAV等がどの程度ずれた位置で撮影したのかが明確でなければ、正しいあおり補正を実行することはできない。例えば、上記する特許文献1に記載の撮像装置の目盛生成方法では、撮像画像上に目盛を描画することはできるものの、正しくあおり補正処理を実行することはできない。
【0009】
本発明は上記課題に鑑みてなされたものであり、正対撮影されていない撮影画像を適正にあおり補正することのできる撮影画像補正方法を提供することを目的としている。
【課題を解決するための手段】
【0010】
前記目的を達成すべく、本発明による撮影画像補正システムの一態様は、撮影画像データ取得装置と、撮影画像データ補正装置とを有し、
前記撮影画像データ取得装置は、
少なくとも三つのレーザー光源と、
撮影機と、
撮影対象に照射されるレーザー光によって形成される光点の色を変更する光点色変更部と、を備え、
前記撮影画像データ補正装置は、
前記レーザー光源から前記撮影対象に照射されるレーザー光によって形成される光点を含む撮影画像データが入力される撮影画像データ入力部と、
各レーザー光源間の距離の比率で特定される正規距離比データと、前記撮影画像データ内にある各光点間の距離の比率で特定される非正規距離比データとを比較し、双方の距離比に基づいて前記撮影画像データをあおり補正して正対画像データを作成するあおり補正部と、を備えることを特徴とする。
【0011】
本態様によれば、システムの構成要素である撮影画像データ取得装置が光点色変更部を有していることにより、レーザー光によって形成される光点と同系色の領域が撮影対象内に存在する場合でも、レーザー光の光色を光点色変更部にて変更することにより、撮影画像データ内に複数の光点を明確に内在させることができる。
【0012】
また、撮影画像データ取得装置が少なくとも三つのレーザー光源を備えていることにより、撮影画像データ内には少なくとも三つの光点を形成でき、この少なくとも三つの光点により、少なくとも三つの光点間距離を特定することができる。仮に二つのレーザー光源しかない場合、形成される光点も二つとなり、二以上の光点間距離が形成できないことから、距離の比率が求められない。従って、撮影画像データ取得装置は、「少なくとも三つのレーザー光源」を要する。一方、撮影画像データ取得装置には、少なくとも三つのレーザー光源がそれぞれ所定の位置に存在していることより、各レーザー光源間の距離及びその比率が特定できる。撮影画像データ取得装置が撮影対象に正対した状態で各レーザー光源からレーザー光が照射される場合、各レーザー光源間の距離の比率(正規距離比)と、撮影画像データ内にある各光点間の距離の比率(非正規距離比)は一致する。そのため、撮影画像データ補正装置のあおり補正部にてあおり補正を実行する必要はない。なお、このように正規距離比と非正規距離比が一致する場合でも、本明細書では、各光点間の距離の比率を「非正規距離比」とし、そのデータを「非正規距離比データ」とする。一方、撮影画像データ取得装置が撮影対象に正対していない状態で各レーザー光源からレーザー光が照射される場合は、正規距離比と非正規距離比は一致しない。そこで、あおり補正部において、双方の距離比に基づいて、撮影対象に対する撮影画像データ取得装置の撮影角度を特定する。特定された撮影角度に基づいて撮影画像データをあおり補正部にてあおり補正することにより、撮影画像データを好適に正対画像データに補正でき、そこに内在するひび割れ等の損傷部は正しい定量値を有するものとなる。
【0013】
また、本発明による撮影画像補正システムの他の態様は、前記撮影画像データ取得装置が、前記光点の形状を変更する光点形状変更部をさらに備えることを特徴とする。
【0014】
本態様によれば、撮影対象が仮に光点と同系色の領域を有している場合でも、光点形状変更部にて光点の形状を撮影対象には存在し得ない特異な形状とすることにより、撮影画像データ内に少なくとも三つ以上の光点を確実に内在させることができる。この特異な形状としては、例えば、星形やハート形など、撮影対象表面に存在する損傷部やシミ等の形状としてはあり得ない形状が挙げられる。
【0015】
また、本発明による撮影画像補正システムの他の態様において、前記撮影画像データ補正装置は、既に寸法及び形状が決まっている所定部材の寸法情報データ及び形状情報データを格納する格納部と、前記あおり補正部にて作成された前記正対画像データ内に前記所定部材と同じ形状跡が存在しているか否かを判定する判定部と、該判定部にて検出された形状跡を有する前記所定部材の前記寸法情報データに基づいて前記正対画像データ内に存在する損傷部の寸法を特定する損傷部寸法特定部と、をさらに備えることを特徴とする。
【0016】
本態様によれば、格納部に格納されている所定部材の例えば形状情報データと一致する形状跡が正対画像データ内に存在する場合に、この形状跡を所定部材に同定し、この形状跡の寸法を利用して正対画像データ内の損傷部の寸法を特定することができる。例えば、所定部材が型枠の場合、その形状は矩形であり、その寸法は900×1800mm等(長辺と短辺の比率が2:1)であることより、このような比率の長短辺を有する矩形の形状跡が判定部にて特定された際に、これを型枠の形状跡と判定する。そして、型枠の長短辺の有する実際の長さに基づいて、正対画像データ内に存在するひび割れ等の長さや幅、さらには、遊離石灰等の面積を特定することができる。なお、「正対画像データ」とは、仮にあおり補正部によるあおり補正が結果として不要であった場合(撮影が撮影対象に対して正対して実施された場合)の撮影画像データも含む意味である。
【0017】
また、本発明による撮影画像補正システムの他の態様は、前記撮影画像データ取得装置が、航行機構をさらに有することを特徴とする。
【0018】
本態様によれば、航行機構にて撮影画像データ取得装置を航行させながら撮影対象の撮影を行うことができるため、例えば、延長の長いトンネルの壁面の撮影や、高所の道路橋の床版等の撮影も、効率的かつ安全に行うことができる。また、航行姿勢での撮影対象の撮影ゆえに撮影画像データ取得装置がぶれたりしながら撮影を行う場合でも、あおり補正部にて撮影画像データのあおり補正を実行できるため、撮影対象に正対した状態で取得される撮影画像データと同等の正対画像データを得ることができる。
【0019】
また、本発明による撮影画像データ取得装置の一態様は、撮影画像データをあおり補正する撮影画像補正システムを形成し、該撮影画像データを取得する撮影画像データ取得装置であって、
少なくとも三つのレーザー光源と、
撮影機と、を有し、
前記レーザー光源から撮影対象に照射されるレーザー光によって形成される光点の色を変更する光点色変更部をさらに有することを特徴とする。
【0020】
本態様によれば、レーザー光によって形成される光点と同系色の領域が撮影対象内に存在する場合でも、レーザー光の光色を光点色変更部にて変更することにより、撮影画像データ内に複数の光点を明確に内在させることができる。
【0021】
また、本発明による撮影画像データ取得装置の他の態様は、前記光点の形状を変更する光点形状変更部をさらに有することを特徴とする。
【0022】
本態様によれば、撮影対象が仮に光点と同系色の領域を有している場合でも、光点形状変更部にて光点の形状を撮影対象には存在し得ない特異な形状とすることにより、撮影画像データ内に少なくとも三つ以上の光点を確実に内在させることができる。
【0023】
また、本発明による撮影画像データ取得装置の他の態様は、航行機構をさらに有することを特徴とする。
【0024】
本態様によれば、航行機構にて撮影画像データ取得装置を航行させながら撮影対象の撮影を行うことができるため、効率的かつ安全に撮影対象の撮影を行うことができる。
【0025】
また、本発明による撮影画像データ取得装置の他の態様において、前記光点色変更部は、各レーザー光源が、異色のレーザー光を照射する複数の異色レーザー光源を選択自在に備えている。
【0026】
本態様によれば、簡易な構成の光点色変更部にて、レーザー光の色を変更することができる。例えば、少なくとも三つのレーザー光源がそれぞれ、赤色のレーザー光を照射する異色レーザー光源と、緑色のレーザー光を照射する異色レーザー光源を併設した態様で備えている。撮影対象表面を確認した検査員が、撮影対象表面に赤色もしくは同系色の領域を確認した場合、全てのレーザー光源において、緑色のレーザー光を照射する異色レーザー光源を選定して、撮影対象へのレーザー光の照射を行うことができる。
【0027】
また、本発明による撮影画像補正方法の一態様は、少なくとも三つのレーザー光源と、撮影機と、を備える撮影画像データ取得装置を使用して、所定の色の光点を撮影対象に照射し、該光点を含む撮影画像データを取得する撮影画像データ取得工程と、
各レーザー光源間の距離の比率で特定される正規距離比データと、撮影画像データ内にある各光点間の距離の比率で特定される非正規距離比データとを比較し、双方の距離比に基づいて前記撮影画像データをあおり補正して正対画像データを作成するあおり補正工程と、を有することを特徴とする。
【0028】
本態様によれば、所定の色の光点を撮影対象に照射し、当該光点を含む撮影画像データを取得し、正規距離比データと非正規距離比データに基づいて撮影画像データをあおり補正することにより、高精度な正対画像データを作成することができる。なお、「所定の色」とは、例えば、検査員が撮影対象表面を確認した際に、当該撮影対象表面に存在しないと判定する色のことである。従って、仮に撮影画像データを確認した際に、当該所定の色と同系色の領域が存在し、光点を明確に確認できない場合には、異なる光点色のレーザー光を選定して再度レーザー光の照射が実行され、撮影画像データの取得が実行される。
【0029】
また、本発明による撮影画像補正方法の他の態様は、前記撮影画像データ取得工程において、所定の色を有し、かつ、所定の形状を有する前記光点を形成するレーザー光を前記撮影対象に照射することを特徴とする。
【0030】
本態様によれば、レーザー光によって形成される光点と同系色の領域が撮影対象内に存在する場合でも、レーザー光の光色を光点色変更部にて変更することにより、撮影画像データ内に複数の光点を確実に内在させることができる。
【0031】
また、本発明による撮影画像補正方法の他の態様は、既に寸法及び形状が決まっている所定部材の寸法情報データ及び形状情報データを格納する格納工程と、
前記あおり補正工程にて作成された前記正対画像データ内に、前記所定部材と同じ形状跡が存在しているか否かを判定する判定工程と、
前記判定工程にて検出された形状跡を有する前記所定部材の前記寸法情報データに基づいて、前記正対画像データ内に存在する損傷部の寸法を特定する損傷部寸法特定工程と、をさらに有することを特徴とする。
【0032】
本態様によれば、格納工程にて格納される所定部材の例えば形状情報データと一致する形状の形状跡が正対画像データ内に存在する場合に、この形状跡を所定部材に同定し、この所定部材の実際の寸法を利用して、正対画像データ内に存在する損傷部の寸法を特定することができる。
【0033】
また、本発明による撮影画像補正方法の他の態様は、前記撮影画像データ取得装置が航行機構をさらに有しており、
前記撮影画像データ取得工程において、前記撮影画像データ取得装置を航行させながら前記撮影画像データを取得することを特徴とする。
【0034】
本態様によれば、撮影画像データ取得装置を航行させながら前記撮影画像データを取得することができるため、効率的かつ安全に撮影対象の撮影を行うことができる。
【発明の効果】
【0035】
以上の説明から理解できるように、本発明の撮影画像補正方法によれば、正対撮影されていない撮影画像を適正にあおり補正することができる。
【図面の簡単な説明】
【0036】
【
図1】実施形態に係る撮影画像補正システムの全体構成の一例を示す図である。
【
図2】撮影画像データ取得装置のハードウェア構成の一例を示す図である。
【
図3】操作端末のハードウェア構成の一例を示す図である。
【
図4】撮影画像データ取得装置の機能構成の一例を示す図である。
【
図5】撮影画像データ取得装置の外観を示す斜視図である。
【
図6】光点の形状を変更する機構を説明する斜視図である。
【
図7】撮影画像データ補正装置のハードウェア構成の一例を示す図である。
【
図8】撮影画像データ補正装置の機能構成の一例を示す図である。
【
図9】実施形態に係る撮影画像補正方法を示すフローチャートである。
【
図10】光点を含む撮影画像データの一例を示す図である。
【
図11】光点を含む撮影画像データの他の例を示す図である。
【
図12】光点を含む撮影画像データのさらに他の例を示す図である。
【発明を実施するための形態】
【0037】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の構成要素については、同一の符号を付することにより重複した説明を省く。
【0038】
[実施形態]
<1.撮影画像補正システムの全体構成>
はじめに、撮影画像補正システムの全体構成について説明する。
図1は、撮影画像補正システムの全体構成の一例を示す図である。
図1に示すように、撮影画像補正システム1000は、撮影画像データ取得装置100と、操作端末200と、撮影画像データ補正装置400とを有する。撮影画像データ取得装置100と操作端末200は、無線通信が可能であり、操作端末200とサーバ装置である撮影画像データ補正装置400とは、インターネットやLAN(Local Area Network)等に代表されるネットワーク300を介して通信可能となっている。撮影画像データ取得装置100で取得された撮影画像データは、操作端末200に送信され、操作端末200より、ネットワーク300を介して撮影画像データが撮影画像データ補正装置400に送信される。撮影画像データ補正装置400では、撮影画像データの補正処理が実行され、あおり補正にて作成された複数の正対画像を合成したり、正対画像データ内に存在する損傷部の定量値の算出等が実行される。なお、図示例の撮影画像補正システム1000は、操作端末200より、ネットワーク300を介して撮影画像データ補正装置400に対して撮影画像データの送信がおこなわれる形態であるが、撮影画像データ取得装置100で取得された撮影画像データを、SDカードやCD-ROM、USB(Universal Serial Bus)等の記録媒体に記録し、記録媒体を検査員が撮影画像データ補正装置400に入力する形態であってもよい。
【0039】
<2.撮影画像データ取得装置のハードウェア構成>
次に、撮影画像データ取得装置のハードウェア構成について説明する。
図2は、撮影画像データ取得装置100のハードウェア構成の一例を示す図である。
図2に示すように、撮影画像データ取得装置100は、コントローラ10と、撮影機11、レーザー光源12、航行機構13、GPS(Global Positioning System)14、ジャイロセンサ15、通信インターフェイス16等のハードウェアを有する。
【0040】
コントローラ10は、撮影画像データ取得装置100の本体におけるコンピュータである。
図2において、コントローラ10は、CPU(Central Processing Unit)101、RAM(Random Access Memory)102、ROM(Read Only Memory)103、HDD(Hard Disc Drive)104、NVRAM(Non-Volatile RAM)105等を有する。
【0041】
ROM103には、各種のプログラムやプログラムによって利用されるデータ等が記憶されている。RAM102は、プログラムをロードするための記憶領域や、ロードされたプログラムのワーク領域として用いられる。CPU101は、RAM102にロードされたプログラムを処理することにより、各種の機能を実現する。HDD104には、プログラムやプログラムが利用する各種のデータ等が記憶される。NVRAM105には、各種の設定情報等が記憶される。
【0042】
撮影機11は、撮影対象を撮像するハードウェアであり、CCDカメラやデジタルカメラ(一眼レフを含む)、デジタルカメラ(ハイビジョン)、デジタルビデオカメラ等からなる。レーザー光源12は、半導体レーザー光の照射源であり、光色の異なる複数の異色レーザー光源を有する。レーザー光の光色は光線の波長によって決定され、635乃至695nmの波長の赤色レーザー光、532nmの波長の緑色レーザー光が一般的であり、その他、青色レーザー光や黄色レーザー光などもある。航行機構13は複数の回転自在なプロペラを有し、撮影画像データ取得装置100の昇降と上昇した状態での所定方向への航行を支援する。すなわち、航行機構13を有する撮影画像データ取得装置100はUAVである。
【0043】
GPS14は、撮影画像データ取得装置100の位置情報(経度及び緯度)を測位する。ジャイロセンサ15は、航行時の撮影画像データ取得装置100の高度や航行姿勢等を測位する。撮影画像データ取得装置100が航行しながら撮影対象を撮影するに当たり、撮影画像データと、撮影が実行された際の撮影画像データ取得装置100の位置情報データや姿勢情報データは、紐付けされてコントローラ10に格納される。通信インターフェイス16は、操作端末200との間で無線通信を実行するためのハードウェアである。
【0044】
<3.操作端末のハードウェア構成>
次に、操作端末のハードウェア構成について説明する。
図3は、操作端末200のハードウェア構成の一例を示す図である。操作端末200は、PC(パーソナルコンピュータ)や、スマートフォン、タブレット端末等のデバイスである。操作端末200と撮影画像データ取得装置100のコントローラ10とは、例えば、近距離無線通信、LAN等の通信回線を介して無線通信可能に接続される。
図3に示すように、操作端末200は、撮影画像データ取得装置100の航行や、撮影対象へのレーザー光の照射及び撮影対象の撮影等、撮影画像データ取得装置100へ様々な指令信号を送信するとともに、撮影画像データ取得装置100から送信されてきた撮影画像データとこの撮影画像データが取得された際の撮影画像データ取得装置100の位置情報データ等を受信する。撮影画像データと、撮影が実行された際の撮影画像データ取得装置100の位置情報データや姿勢情報データは、紐付けされた状態で、ネットワーク300を介して撮影画像データ補正装置400に送信する。
【0045】
図3において、操作端末200は、CPU201、メモリ202、補助記憶装置203、無線通信装置204、表示装置205、及び入力装置206等を有する。
【0046】
補助記憶装置203は、操作端末200にインストールされたプログラム等を記憶する。メモリ202は、プログラムの起動指示があった際に、補助記憶装置203からプログラムを読み出して記憶する。CPU201は、メモリ202に記憶されたプログラムに従い、操作端末200の有する機能を実現する。表示装置205は、液晶ディスプレイ等からなり、たとえばタッチパネルの表示機能を担う。入力装置206は、表示装置205に対する接触体の接触を検出するセンサを有する電子部品である。接触体の接触の検出方式としては、静電方式や抵抗膜方式、光学方式などがある。この接触体として、検査員の指や専用ペン等が挙げられる。無線通信装置204は、無線LAN又は移動体通信網等において通信を行う際に必要となる、アンテナ等の電子部品である。
【0047】
<4.撮影画像データ取得装置の機能構成>
次に、撮影画像データ取得装置の機能構成について説明する。
図4は、撮影画像データ取得装置100の機能構成の一例を示す図である。
図4に示すように、撮影画像データ取得装置100は、レーザー光照射部110、撮影部120、光点色変更部130、光点形状変更部140、航行部150、位置情報取得部160、及びデータ格納部170を有する。ここで、各部の説明に当たり、必要に応じて
図5,6を参照する。
図5は、撮影画像データ取得装置の外観を示す斜視図であり、
図6は、光点の形状を変更する機構を説明する斜視図である。
【0048】
レーザー光照射部110は、撮影対象に対し、検査員にて選択された光色のレーザー光を照射する。撮影対象は、例えば、RC構造物のコンクリート表面や鋼構造物の鋼材表面等である。レーザー光照射部110からレーザー光を照射した状態で、撮影対象の撮影を実行し、撮影画像データ内にレーザー光による光点を含ませる。そのため、検査員は、撮影対象表面内に同系色の領域がないと判断される光色のレーザー光を照射するレーザー光源12を、レーザー光照射部110にて設定する。
【0049】
ここで、
図5を参照して、撮影画像データ取得装置100の具体的な構成を説明する。
図5に示すように、撮影画像データ取得装置100は、基部17の中央に撮影機11を搭載し、撮影機11の周囲四か所にレーザー光源12を有している。また、基部17の下面四か所には折り曲げ腕部があり、折り曲げ腕部の先端に航行機構13が装備されている。基部17の内部には、コントローラ10、GPS14、及びジャイロセンサ15等が内蔵されている。航行機構13は、中央のモータ13Aの回転軸に対し、180度の相対位置を有する二枚の翼13Bが取り付けられてプロペラを形成している。
【0050】
四つのレーザー光源12はいずれも、光色の異なるレーザー光を照射する二つの異色レーザー光源12A,12Bを有し、これら異色レーザー光源12A,12Bは不図示のモータにてX方向に回転する回転テーブル12C上に載置されている。また、各レーザー光源12間の距離は規定値を有し、それぞれ、L1乃至L4の距離となる。従って、各レーザー光源12間の距離比も、L1:L2:L3:L4に設定される。なお、図示例の撮影画像データ取得装置100は、基部17の下方に複数の航行機構13を有し、撮影機11が上方の撮影対象を撮影するように構成されている。例えば、道路橋を構成する鉄筋コンクリート製の床版の下面を撮影対象とする場合等に適用される。しかしながら、撮影対象に応じて、基部17に対する航行機構13の取付け態様や、撮影機11の配向態様などが適宜変更される。また、撮影機11は、回動機構や回転機構の台座上に取付けられ、撮影機11の回動や回転によって様々な角度方向の撮影対象の撮影を可能としてもよい。
【0051】
図4に戻り、レーザー光照射部110により、四つのレーザー光源12のうち、例えば赤色のレーザー光を照射する異色レーザー光源12Aが選定されて、四条のレーザー光が撮影対象に照射され、撮影対象表面に四つの赤色の光点が形成される。
【0052】
撮影部120は、レーザー光による複数の光点が表面に形成されている撮影対象の撮影を実行し、撮影画像データを取り込んでデータ格納部170に格納する。図示例の撮影画像データ取得装置100を適用する場合、取り込まれた撮影画像データ内には、四点の赤色の光点が内在する。
【0053】
光点色変更部130は、光色の異なるレーザー光を照射する異色レーザー光源12A,12Bの中から、先行して検査員にて選定されている赤色の異色レーザー光源12Aとは異なる光色(例えば緑色)のレーザー光を照射する異色レーザー光源12Bを選定する。
図5に示すように、回転テーブル12Cを回転させることにより、最初に選定されていた赤色のレーザー光を照射する異色レーザー光源12Aから、緑色のレーザー光を照射する他の異色レーザー光源12Bに変更される。このことにより、撮影対象表面に形成される光点の色も赤色から緑色に変更される。例えば、当初は赤色の光点が選定されていた場合において、取り込まれた撮影画像データを確認した際に、赤色と同系色の領域が存在していて赤色の光点を明確に確定できないことが判明した際に、他の緑色のレーザー光を照射する異色レーザー光源12Bが光点色変更部130にて選定され、光点色の変更が実行される。
【0054】
光点形状変更部140は、レーザー光の形状を変更する。このレーザー光の形状変更方法に関し、
図6を参照して説明する。
図6に、異色レーザー光源12Aの具体的な構成を示している。なお、他の異色レーザー光源12Bも同様の具体的な構成を有している。異色レーザー光源12Aの本体内部には、レーザー光が通過する光路21があり、本体の上端には移動テーブル23があり、移動テーブル23上には、三種類のレーザー形状を備えた異種形状筒22A,22B,22Cが照射方向に沿って併設されている。なお、図示例は、円形のレーザー光を照射する異種形状筒22A、ハート形のレーザー光を照射する異種形状筒22B、及び星形のレーザー光を照射する異種形状筒22Cを用意している。
【0055】
移動テーブル23の側面には移動式ナット24が取り付けられている。一方、異色レーザー光源12Aの本体側面にはモータ28が取り付けられており、モータ28の回転軸の先端に環状ギヤ27が装備されている。この環状ギヤ27と共にべベルギヤを構成する切頭円錐状のギヤを先端に備えた螺子軸25があり、螺子軸25の端部が移動式ナット24内に入り込むとともに、移動式ナット24の内部の螺子溝と螺合している。モータ28を回転させることにより、べベルギヤを介して螺子軸25が回転し、螺子軸25の回転により、移動式ナット24がY方向にスライドし、選定された異種形状筒が本体の光路21に連通する。
【0056】
光点色変更部130にて光点色を変更しても、依然として撮影画像データ内に光点と同系色の領域が存在する等の場合に、この光点形状変更部140において、光点の形状を撮影対象中には存在し得ない形状に設定することにより、撮影画像データ内に光点を確実に内在させることができる。また、任意の光色のレーザー光を選定した際に、同時に光点形状変更部140にて例えば異種形状筒22B,22Cのいずれかを選定してレーザー光の照射を実行することにより、光色の変更を不要として、一度の異色レーザー光源の設定にて、光点が確実に内在された撮影画像データを取得することが可能になる。
【0057】
航行部150は、航行機構13を形成するモータ13Aを駆動させ、モータ13Aの回転速度を調整することにより、航行機構13による揚力を調整し、撮影画像データ取得装置100の昇降制御を実行する。また、航行機構13の翼13Bの角度を不図示の角度調整機構等にて調整することにより、撮影画像データ取得装置100を所定方向へ所定の速度で航行させたり、所定の位置で撮影画像データ取得装置100を浮遊させた状態で航行を停止させ、撮影を実行することができる。
【0058】
位置情報取得部160は、航行する撮影画像データ取得装置100の位置情報データや姿勢情報データを取得し、取得した各種のデータをデータ格納部170に格納する。例えば、浮遊し、所定位置で停止している(航行していない)状態の撮影画像データ取得装置100が、撮影部120にて撮影画像データを取得する場合に、取得された撮影画像データと、撮影時の撮影画像データ取得装置100の位置情報データ及び姿勢情報データを紐付けした状態で、データ格納部170に格納する。
【0059】
<5.撮影画像データ補正装置のハードウェア構成>
次に、撮影画像データ補正装置のハードウェア構成について説明する。
図7は、撮影画像データ補正装置400のハードウェア構成の一例を示す図である。撮影画像データ補正装置400は、サーバー装置である。撮影画像データ補正装置400は、撮影画像データと、撮影が実行された際の撮影画像データ取得装置100の位置情報データ及び姿勢情報データとが紐付けされた状態で操作端末200から送信され、ネットワーク300を介してこれらのデータを受信する。
【0060】
図7において、撮影画像データ補正装置400は、CPU401、ROM402、RAM403、無線通信装置404、及び表示装置405を有し、これらの各部がバス406にて相互に接続されている。
【0061】
ROM402には、各種のプログラムやプログラムによって利用されるデータ等が記憶されている。RAM403は、プログラムをロードするための記憶領域や、ロードされたプログラムのワーク領域として用いられる。CPU401は、RAM403にロードされたプログラムを処理することにより、各種の機能を実現する。無線通信装置404は、無線LAN又は移動体通信網等において通信を行う際に必要となるアンテナ等の電子部品である。表示装置405は、液晶ディスプレイ等からなる。この表示装置405は、複数の光点を含む撮影画像を表示し、あおり補正処理されて作成される正対画像を表示し、さらには、正対画像が並べられてできる撮影対象の連続画像を表示する。また、正対画像中に存在するひび割れ等の損傷部の長さや幅等の定量値に関し、損傷部毎に算定された各種の定量値を例えば表形式で表示する。
【0062】
<6.撮影画像データ補正装置の機能構成>
次に、撮影画像データ補正装置の機能構成について説明する。
図8は、撮影画像データ補正装置400の機能構成の一例を示す図である。
図8に示すように、撮影画像データ補正装置400は、撮影画像データ入力部410、あおり補正部420、判定部430、損傷部寸法特定部440、及びデータ格納部450を有する。
【0063】
撮影画像データ入力部410は、撮影画像データと、撮影時の撮影画像データ取得装置100の位置情報データ及び姿勢情報データとを紐付けした状態で当該データを入力する。
【0064】
あおり補正部420は、まず、データ格納部450に格納されている、レーザー光源12間の距離の比率で特定される正規距離比データを読み込む。例えば、
図5を参照すると、L1:L2:L3:L4が正規距離比データとなる。次に、あおり補正部420にて読み込まれた撮影画像データ内にある、各光点間の距離の比率を特定し、これを非正規距離比データとする。撮影画像データ取得装置100が航行しながら撮影対象の撮影を行う場合、撮影画像データ取得装置100は往々にして蛇行することから、撮影対象に対して正対した状態での撮影は難しい。従って、あおり補正部420では、正規距離比データと非正規距離比データとを比較し、双方の距離比に基づいて撮影画像データをあおり補正する。すなわち、撮影画像データ内に例えば四点の光点が存在することにより、撮影画像データ内の光点間の距離が特定でき、複数の光点間距離の比率が特定されることにより、非正規距離比データと正規距離比データとの対比を行うことが可能になる。このあおり補正部420により、例えば斜め方向から撮影された撮影画像データが適正にあおり補正されてなる、正対画像データを作成する。
【0065】
判定部430は、正対画像データ内において、所定部材と同じ形状跡が存在しているか否かを判定する。データ格納部450には、所定部材として、形状や寸法が予め特定されている型枠に関する形状情報データと寸法情報データが格納されている。撮影対象がコンクリート表面の場合、コンクリート表面には施工時の型枠跡が存在していることが往々にしてあることより、所定部材として型枠が好適である。型枠の形状は一般に矩形であり、その寸法は900×1800mm等(長辺と短辺の比率が2:1)であることより、このような比率の長短辺を有する矩形と同じ形状跡が正対画像データ内に存在するか否かを判定部430にて判定する。
【0066】
損傷部寸法特定部440は、正対画像データ内に存在する損傷部の特定を行う。データ格納部450には、ひび割れに特有の形状データ、遊離石灰等に特有の形状データ等が格納されている。判定部430において、形状および寸法が特定できる型枠等の所定部材と同じ形状跡が存在すると判定された場合には、この形状跡の有する実際の寸法(上記する型枠の900mmや1800mm等)を用いて、正対画像データ内に存在する損傷部の寸法(定量値)を特定する。
【0067】
<7.撮影画像補正方法>
次に、撮影画像補正方法について説明する。
図9は、撮影画像補正方法の一例を示すフローチャートであり、撮影画像データ取得装置100による撮影画像データの取得と、撮影画像データ補正装置400による正対画像データの作成、さらには損傷部の定量値の特定を実行する処理の流れを示している。ここで、各工程の説明に当たり、必要に応じて
図10乃至12を参照する。
図10乃至12はいずれも、光点を含む撮影画像データの一例を示す図である。例えば、
図10を取り上げて説明すると、図示する撮影対象は、道路橋を構成する鉄筋コンクリート製の床版の下面である。
図5に示す撮影画像データ取得装置100が床版の下方を航行しながら、上方にある床版の下面に対して四つの光点R1乃至R4を形成した状態で撮影が行われ、図示する撮影画像データが取得される。図中、多数のひび割れCや遊離石灰Fが存在する。また、撮影画像データ内には、縦1800mm、横900mmの矩形の型枠跡Mが多数存在している。さらに、円形の形状を有する、四つの光点R1乃至R4が撮影画像データ内に存在している。
【0068】
ステップS500において、レーザー光源12から照射されるレーザー光の光点色の設定をおこなう。ここでは、検査員が、撮影対象中に同系色の領域が存在しないと仮に判定する光色のレーザー光を照射する異色レーザー光源12A,12Bのいずれか一方が選定される。
【0069】
ステップS502において、光色が設定されたレーザー光を撮影対象に照射し、撮影対象表面に少なくとも三つ以上の光点を形成する。
【0070】
ステップS504において、光点を含むように撮影対象表面を撮影し、撮影画像データを取得するとともに、撮影画像データの確認を行う。以上、ステップS500乃至S504までが撮影画像データ取得工程となる。
【0071】
ステップS506では、撮影画像データ内に形成されるべき数の光点が確認できるか否かを検証する。
【0072】
検証の結果、所定数の光点が確認されない場合(1回目の検証にて確認されない場合)、ステップS500に戻り、光点色を変更して新たな光点色のレーザー光を設定する。例えば、
図10において、光点R1乃至R4と同系色の領域が存在する場合、これら光点R1乃至R4が光点として認識されない可能性が十分にある。
【0073】
この新たな光点色のレーザー光を撮影対象に照射し、取得された撮影画像データを確認して、再度、撮影画像データ内に所定数の光点が確認できるか否かを検証する。
【0074】
この検証でも所定数の光点が確認できない場合(2回目の検証にて確認されない場合)、撮影画像データ取得装置100が備える異色レーザー光源12A,12Bの各レーザー光による光点色と同系色の領域が撮影対象に存在していると判断し、ステップS508において、光点形状の変更を行う。例えば、
図11においては、光点R1乃至R4の形状を円形から星形に変更している。この光点形状の変更では、撮影対象内に存在し得ない形状の光点を形成するものとし、この光点形状の変更により、撮影画像データ内に所定数の光点を確実に内在させることができる。
【0075】
ステップS510において、所定数の光点が内在する撮影画像データを撮影画像データ補正装置400にて取得する。
【0076】
ステップS512において、撮影画像データに対してあおり補正を行い、正対画像データを作成する。具体的には、レーザー光源12間の距離の比率で特定される正規距離比データと、撮影画像データ内にある各光点間の距離の比率で特定される非正規距離比データとを比較し、双方の距離比に基づいて撮影画像データに対してあおり補正を行うあおり補正工程を実行する。例えば、
図5に示す撮影画像データ取得装置100を使用する場合、正規距離比データは、L1:L2:L3:L4である。これに対し、撮影画像データ内で確認される四つの光点R1乃至R4の各距離が
図12に示すように、正規距離比データに対応する順に、L5:L6:L7:L8であったとする。この場合、正規距離比データである、L1:L2:L3:L4と、非正規距離比データである、L5:L6:L7:L8を比較し、双方の距離比から撮影時の正対姿勢に対する傾斜角度を割出し、割出された傾斜角度を用いてあおり補正を行い、正対画像データを作成する。
【0077】
ステップS514において、寸法や形状が分かっている様々な所定部材に関する、寸法情報データや形状情報データを、撮影画像データ補正装置400のデータ格納部450に格納する、格納工程を実行する。所定部材として、例えば、型枠が挙げられる。
図10等において、撮影対象である床版の下面には多数の型枠跡が存在している。そして、型枠は、縦1800mm、横900mmの長さを有し、従って、長短辺比が2:1の矩形の平面形状を有していることが、データとして格納されている。
【0078】
ステップS516において、正対画像データ内に、型枠等の所定部材と同じ形状跡が存在するか否かを判定する、判定工程を実行する。
図10等においては、型枠跡が存在することより、判定工程では所定部材と同じ形状跡が存在すると判定される。このように判定された場合、
図10等において示す、撮影対象内に存在するひび割れCや遊離石灰F等の損傷部の寸法(定量値)を、所定部材の実際の寸法を使用することにより特定する、損傷部寸法特定工程を実行する。例えば、型枠の長短辺の長さ1800mm、900mmを使用して、ひび割れCのひび割れの長さや幅、遊離石灰Fの面積を特定することができる。また、判定工程において、所定部材と同じ形状跡が存在しないと判定された場合は、損傷部の寸法を特定することなく、処理を終了する。
【0079】
このように、撮影対象中に少なくとも三つ以上の光点を形成した状態で撮影画像データを取得することにより、撮影画像データに対して高精度のあおり補正を実行することができ、正対画像データを得ることができる。また、あおり補正にて得られた正対画像データ内において、寸法や形状の分かっている所定部材と同等の形状跡の存在を判定することにより、この所定部材の実際の寸法を用いて正対画像データ内に存在する損傷部の定量値を高精度に特定することができる。
【0080】
以上、本発明の実施の形態を、図面を用いて詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更等があっても、それらは本発明に含まれるものである。
【符号の説明】
【0081】
10 :コントローラ
11 :撮影機
12 :レーザー光源
12A,12B :異色レーザー光源
13 :航行機構
100 :撮影画像データ取得装置
110 :レーザー光照射部
120 :撮影部
130 :光点色変更部
140 :光点形状変更部
150 :航行部
160 :位置情報取得部
170 :データ格納部
200 :操作端末
300 :ネットワーク
400 :撮影画像データ補正装置(サーバ装置)
410 :撮影画像データ入力部
420 :あおり補正部
430 :判定部
440 :損傷部寸法特定部
1000 :撮影画像補正システム
R1,R2 :光点
R3,R4 :光点