特許 6120037 点検装置、及び点検方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6120037

(24)【登録日】2017年4月7日

(45)【発行日】2017年4月26日

(54)【発明の名称】点検装置、及び点検方法

(51)【国際特許分類】

   G06T 3/00 20060101AFI20170417BHJP

   E01D 22/00 20060101ALI20170417BHJP

【ＦＩ】

   G06T3/00 750

   E01D22/00 A

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2016-233108(P2016-233108)

(22)【出願日】2016年11月30日

【審査請求日】2016年12月27日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390023249

【氏名又は名称】国際航業株式会社

(74)【代理人】

【識別番号】100158883

【弁理士】

【氏名又は名称】甲斐 哲平

(72)【発明者】

【氏名】高橋 元気

(72)【発明者】

【氏名】中村 和弘

(72)【発明者】

【氏名】加藤 哲

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００１−１２４５２２（ＪＰ，Ａ）

【文献】 特開２００４−０２１５７８（ＪＰ，Ａ）

【文献】 特開２０１１−０６５３７１（ＪＰ，Ａ）

【文献】 特開平１１−１０２４３０（ＪＰ，Ａ）

【文献】 特開平０９−０９３４３１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ３／００

Ｅ０１Ｄ ２２／００

(57)【特許請求の範囲】

【請求項1】

画像を利用して対象物の点検を行う装置において、
前記対象物の画像を取得する画像取得手段と、
前記画像取得手段で取得した画像を記憶する画像記憶手段と、
前記画像取得手段で撮影して今回画像を取得すると、該今回画像の適否判定を行う画像判定手段と、を備え、
前記画像判定手段は、
前記今回画像の撮影範囲に隣接する範囲を取得した隣接画像を、前記画像記憶手段から読み出す画像読出し手段と、
前記今回画像と前記隣接画像に共通する複数の特徴点を抽出するとともに、該特徴点に基づいて該今回画像と該隣接画像の位置関係を求め、該今回画像と該隣接画像の重複率を算出する重複率算出手段と、を有し、
さらに前記画像判定手段は、前記重複率算出手段で算出された前記重複率が、あらかじめ定めた重複率閾値を上回るときは前記今回画像を適合と判定し、該重複率閾値を下回るときは前記今回画像を不適合と判定する、
ことを特徴とする対象物の点検装置。

【請求項2】

前記画像判定手段が適合と判定した前記今回画像と、前記隣接画像と、を前記特徴点に基づいて結合した結合画像を作成する結合画像作成手段と、
前記結合画像から、前記対象物のひび割れを抽出するひび割れ抽出手段と、をさらに備えた、
ことを特徴とする請求項１記載の対象物の点検装置。

【請求項3】

前記重複率算出手段は、前記今回画像と前記隣接画像の重複面積に基づいて重複率を算出する、
ことを特徴とする請求項１又は請求項２記載の対象物の点検装置。

【請求項4】

前記重複率算出手段は、前記隣接画像に重なる前記今回画像の外周線の長さ、及び／又は前記今回画像に重なる前記隣接画像の外周線の長さに基づいて重複率を算出する、
ことを特徴とする請求項１又は請求項２記載の対象物の点検装置。

【請求項5】

前記重複率算出手段は、前記今回画像と前記隣接画像の重複領域の図心を求めるとともに、該図心から前記今回画像の外周線までの長さ、及び／又は該図心から前記隣接画像の外周線までの長さに基づいて重複率を算出する、
ことを特徴とする請求項１又は請求項２記載の対象物の点検装置。

【請求項6】

前記画像取得手段から前記対象物までの距離を測定する測距手段と、
前記画像取得手段の姿勢を測定する姿勢測定手段と、
前記画像取得手段から前記対象物までの距離と、前記画像取得手段の姿勢と、に基づいて、取得される画像の解像度を推定する解像度推定手段と、
前記解像度推定手段が推定した前記解像度が、あらかじめ定めた解像度閾値を上回るときは画像取得を肯定し、該解像度閾値を下回るときは画像取得を否定する画像取得判定手段と、をさらに備え、
前記画像判定手段は、前記画像取得判定手段が肯定して取得した前記今回画像に対して適否判定を行う、
ことを特徴とする請求項１乃至請求項５のいずれかに記載の対象物の点検装置。

【請求項7】

画像取得手段によって対象物の画像を取得して、該対象物の点検を行う方法において、
前記画像取得手段で前記対象物を撮影して今回画像を取得する画像取得工程と、
前記今回画像と、該今回画像の撮影範囲に隣接する範囲を取得した隣接画像と、に共通する複数の特徴点を抽出するとともに、該特徴点に基づいて該今回画像と該隣接画像の位置関係を求め、該今回画像と該隣接画像の重複率を算出する重複率算出工程と、
前記重複率算出工程で算出された前記重複率が、あらかじめ定めた重複率閾値を上回るときは前記今回画像を適合と判定し、該重複率閾値を下回るときは前記今回画像を不適合と判定する画像判定工程と、を備え、
前記画像判定工程で適合と判定された前記今回画像と、前記隣接画像と、を前記特徴点に基づいて結合した結合画像によって、前記対象物の点検を行うことを特徴とする対象物の点検方法。

【請求項8】

前記画像取得手段から前記対象物までの距離を測定する測距工程と、
前記画像取得手段の姿勢を測定する姿勢測定工程と、
前記画像取得手段から前記対象物までの距離と、前記画像取得手段の姿勢と、に基づいて、取得される画像の解像度を推定する解像度推定工程と、
前記解像度推定工程で推定した画像の解像度が、あらかじめ定めた解像度閾値を上回るときは画像取得を肯定し、該解像度閾値を下回るときは画像取得を否定する画像取得判定工程と、をさらに備え、
前記画像取得工程では、前記画像取得判定工程で画像取得が肯定されたとき、前記対象物の画像を取得する、
ことを特徴とする請求項７記載の対象物の点検方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、対象物の点検技術に関するものであり、より具体的には、点検するための複数の画像からなる結合画像を得るに当たって、適切な重複率をもった個々の画像を取得することができる装置と方法に関するものである。

【背景技術】

【0002】

高度経済成長期に集中的に整備されてきた建設インフラストラクチャー（以下、「建設インフラ」という。）は、既に相当な老朽化が進んでいることが指摘されている。平成２６年には「道路の老朽化対策の本格実施に関する提言（社会資本整備審議会）」がとりまとめられ、平成２４年の笹子トンネルの例を挙げて「近い将来、橋梁の崩落など人命や社会装置に関わる致命的な事態を招くであろう」と警鐘を鳴らし、建設インフラの維持管理の重要性を強く唱えている。

【0003】

このような背景のもと、国は道路法施行規則の一部を改正する省令を公布し、具体的な建設インフラの点検方法、主な変状の着目箇所、判定事例写真などを示した定期点検要領を策定している。この定期点検要領では、約７０万橋に上るといわれる橋長２．０ｍ以上の橋を対象としており、供用開始後２年以内に初回点検、以降５年に１回の頻度で定期点検を行うこととしている。

【0004】

建設インフラの点検では、コンクリートのひび割れをはじめとする損傷箇所を検出し、後に確認できるようその結果を記録する。例えば、橋梁のコンクリート床版のひび割れを検出する場合、ひび割れの程度（長さや幅等）などの詳細情報だけでなく、そのひび割れがどこに発生しているかも記録しなければならない。そして従来の点検では、ひび割れを目視で検出するとともに、そのひび割れの配置を、あらかじめ用意した構造物の図面に現地で記入していくこともあった。

【0005】

しかしながら、橋梁床版（特に下面）を目視で点検することは、それほど容易ではない。通常、橋梁に近づくためには足場を組み立てることになるが、著しく桁下高が高い場合は相当な規模の足場が必要となるうえ、河川を越える橋梁であれば河川内に足場を組み立てることになり、跨道橋や跨線橋であれば道路や線路上に足場を組み立てることになり、現実的には足場を構築できないケースさえある。また、ひび割れ位置を足場上で図面に記入していくことも容易ではない。現地にて、足場上の位置と図面を照らし合わせる作業は考える以上に難しく、長大橋などでは図面そのものが大きくなるため、現地に持ち込むことも、これを広げて記入することも、相当に煩雑な作業となる。

【0006】

そこで近年では、画像を用いた点検作業も行われるようになった。取得した画像から損傷箇所を確認することができるため、場所や時間を限定されることなく損傷を検出できる上、点検者以外の者も判断できることからより客観的に損傷を検出できるわけである。さらに、適当な撮影範囲で画像を取得すれば、ひび割れ等の損傷位置も記録することができ、図面を用意する手間も、現地で図面に記入する手間も省くことができる。例えば特許文献１では、橋面上を移動する台車と、この台車に取り付けられたアームを利用して点検する手法を提案しており、アームの先端を橋梁下面に配置するとともに、アーム先端につながれた飛行体が橋梁下面をカメラで撮影するという技術を提案している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１６−７９６８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１のように橋梁下面に近接して撮影する場合に限らず、下方から望遠レンズで撮影を行う場合を含め、画像を用いた点検作業では足場を組み立てる必要がない上に、損傷箇所を現地で図面に記入する手間が省ける点で極めて好適である。ただし、画像からひび割れ等の損傷を検出するためには、相当の解像度をもった画像を取得しなければならない。ところが画像を取得したその場でその解像度を確認することは容易なことではなく、仮に後日確認した画像の解像度が十分でなければ、改めて現地に出向いて適切な解像度の画像を取得する結果となる。

【0009】

また、ひび割れ等の配置を記録するためには、点検対象（例えば、橋梁床版）全体の画像（いわゆる、全景写真）を得る必要があるところ、相当の解像度を得るため限られた範囲の画像を取得せざるを得ないという制約がある。したがって、個々の画像をつなぎ合わせることで全体画像を得ることが考えられるが、この場合は隣接する画像同士を相当程度に重複（ラップ）させる必要がある。ところが画像を取得したその場で重複の程度を確認することは困難であり、仮に後日確認した画像の重複が十分でなければ、改めて現地に出向いて適度に重複する画像を取得する結果となる。

【0010】

本願発明の課題は、画像を取得したその場で隣接する画像との重複の適否を判定し、複数の画像を結合し得る程度の適切な重複率をもった画像を取得することで、この画像をもとに点検することのできる点検装置、及び点検方法を提供することにある。

【課題を解決するための手段】

【0011】

本願発明は、画像を取得したその場で隣接する画像同士の重複率を算出する、という従来にはなかった発想に基づいてなされた発明である。

【0012】

本願発明の点検装置は、画像を利用して対象物の点検を行う装置であり、画像取得手段と、画像記憶手段、画像判定手段を備えたものである。このうち画像判定手段は、画像取得手段で撮影して「今回画像」を取得したときに、その今回画像の適否判定を行う手段であり、画像読出し手段と重複率算出手段を有している。画像読出し手段は、「隣接画像（今回画像の撮影範囲に隣接する範囲を取得した画像）」を画像記憶手段から読み出し、重複率算出手段は、今回画像と隣接画像に共通する複数の特徴点を抽出するとともに、この特徴点に基づいて今回画像と隣接画像の位置関係を求め、さらに今回画像と隣接画像の重複率を算出する。そして画像判定手段は、重複率算出手段で算出された重複率が、あらかじめ定めた重複率閾値を上回るときは今回画像を適合と判定し、重複率閾値を下回るときは今回画像を不適合と判定する。

【0013】

本願発明の点検装置は、結合画像作成手段とひび割れ抽出手段をさらに備えたものとすることもできる。結合画像作成手段は、今回画像（画像判定手段が適合と判定したもの）と隣接画像を特徴点に基づいて結合して結合画像を作成する手段であり、ひび割れ抽出手段は、結合画像から対象物のひび割れを抽出する手段である。

【0014】

本願発明の点検装置は、重複率算出手段が今回画像と隣接画像の重複面積に基づいて重複率を算出するものとすることもできる。

【0015】

本願発明の点検装置は、重複率算出手段が隣接画像に重なる今回画像の外周線の長さ（今回画像に重なる隣接画像の外周線の長さ）に基づいて重複率を算出するものとすることもできる。

【0016】

本願発明の点検装置は、重複率算出手段が今回画像と隣接画像の重複領域の図心から今回画像の外周線までの長さ（図心から隣接画像の外周線までの長さ）に基づいて重複率を算出するものとすることもできる。

【0017】

本願発明の点検装置は、測距手段と、姿勢測定手段、解像度推定手段、画像取得判定手段をさらに備えたものとすることもできる。測距手段は、画像取得手段から対象物までの距離を測定するもので、姿勢測定手段は、画像取得手段の姿勢を測定するものである。また解像度推定手段は、「画像取得手段から対象物までの距離」と「画像取得手段の姿勢」に基づいて、取得される画像の解像度を推定するもので、画像取得判定手段は、解像度推定手段が推定した解像度が解像度閾値を上回るときは画像取得を肯定し、解像度閾値を下回るときは画像取得を否定するものである。この場合、画像判定手段は、画像取得判定手段が肯定して取得した今回画像に対して適否判定を行う。

【0018】

本願発明の点検方法は、画像取得手段によって対象物の画像を取得して、その対象物の点検を行う方法であり、画像取得工程と、重複率算出工程、画像判定工程を備えた方法である。このうち、画像取得工程では、画像取得手段で対象物を撮影して今回画像を取得する。重複率算出工程では、今回画像と隣接画像（今回画像の撮影範囲に隣接する範囲を取得した画像）に共通する複数の特徴点を抽出するとともに、この特徴点に基づいて今回画像と隣接画像の位置関係を求め、さらに今回画像と隣接画像の重複率を算出する。また画像判定工程では、重複率算出工程で算出された重複率が重複率閾値を上回るときは今回画像を適合と判定し、解像度閾値を下回るときは今回画像を不適合と判定すする。そして、今回画像（画像判定手段が適合と判定したもの）と隣接画像を特徴点に基づいて結合した結合画像によって対象物の点検を行う。

【0019】

本願発明の点検方法は、測距工程と、姿勢測定工程、解像度推定工程、画像取得判定工程をさらに備えた方法とすることもできる。このうち測距工程では、画像取得手段から対象物までの距離を測定し、姿勢測定工程では、画像取得手段の姿勢を測定し、解像度推定工程では、「画像取得手段から対象物までの距離」と「画像取得手段の姿勢」に基づいて取得される画像の解像度を推定する。また、画像取得判定工程では、解像度推定工程で推定した画像の解像度が解像度閾値を上回るときは画像取得を肯定し、解像度閾値を下回るときは画像取得を否定する。この場合、画像取得工程では、判定工程で画像取得が肯定されたとき、対象物の画像を取得する。

【発明の効果】

【0020】

本願発明の点検装置、及び点検方法には、次のような効果がある。
（１）画像による点検作業であるから、足場を組み立てる必要がない上に、損傷箇所を現地で図面に記入する手間を省くことができる。
（２）重複率の適否を判断したうえで画像を取得するため、十分な重複率をもった画像を取得することができ、個々の画像をつなぎ合わせた全体画像を容易に作成することができる。この結果、点検対象全体のうちどこに損傷が生じているか（損傷位置）を容易に把握することができる。

【図面の簡単な説明】

【0021】

【図1】道路橋を示す縦断面図。

【図2】１径間の床版を下方から見た図であり、１つのパネルに相当する床版下面を示す平面図。

【図3】１つのパネルを示す部分平面図。

【図4】本願発明の主な処理や工程の流れを示すフロー図。

【図5】手持ちした画像取得手段で床版下面を撮影する状況を示す側面図。

【図6】本願発明の主な構成を示すブロック図。

【図7】（ａ）は第１分割領域を対象として第１分割画像を取得する状況を示す説明図、（ｂ）は第１分割画像を取得した後に第２分割領域を対象として第２分割画像を取得する状況を示す説明図、（ｃ）は第２分割画像を取得した後に第３分割領域を対象として第３分割画像を取得する状況を示す説明図、（ｄ）は第３分割画像を取得した後に第４分割領域を対象として第４分割画像を取得する状況を示す説明図。

【図8】（ａ）は重複面積に基づいて求める重複率を説明するモデル図、（ｂ）は外周線の長さに基づいて求める重複率を説明するモデル図、（ｃ）は図心から外周線までの長さに基づいて求める重複率を説明するモデル図。

【図9】第１分割画像〜第４分割画像を結合して結合画像を得る過程を示すモデル図。

【図10】解像度の是非を判定する装置の処理の主な流れと、解像度の是非を判定する方法の主な工程の流れを示すフロー図。

【図11】三脚上の画像取得手段と床版下面との距離を測り、画像取得手段で床版下面を撮影する状況を示す側面図。

【図12】解像度の是非を判定する装置の主な構成を示すブロック図。

【発明を実施するための形態】

【0022】

本願発明の点検装置、及び点検方法の実施形態の一例を、図に基づいて説明する。なお本願発明の点検装置、及び点検方法は、コンクリート構造物をはじめあらゆるものを点検の対象（以下、「対象物」という。）とすることができるが、ここでは便宜上、図１に示す道路橋のコンクリート床版の下面（以下、単に「床版下面」という。）を対象物とし、さらに床版下面に生じたひび割れの状況を把握する橋梁点検の例で説明する。

【0023】

床版下面の点検を行う場合、あらかじめ床版全体を複数のパネルに分割したうえで実施される。パネルは点検範囲の１単位であり、橋軸方向を横桁や対傾構などで区切り、橋軸直角方向を主桁で区切ることで設定される。例えば図２では、橋軸方向を１径間で区切り、橋軸直角方向を主桁で区切って、パネルＰＮを設定している。

【0024】

図３は、１つのパネルＰＮを示す部分平面図である。長期にわたって供用されてきた道路橋のコンクリート床版（特にＲＣ床版）には、この図に示すように多数のひび割れが生じていることも珍しくなく、しかもそのひび割れが徐々に伸長しているケースも少なくない。このひび割れの発生状況、そしてひび割れの位置（分布状況）を把握することができれば、適切な時期に適切な対策を施すことができ、その結果、不測の事故を防ぐことができると同時に、橋梁の長寿命化を図ることができるわけである。

【0025】

本願発明は、対象物を撮影して取得した画像を用いて点検を行うことを１つの特徴としている。画像に基づく点検作業では、場所や時間を限定されることなく損傷を検出できる上、点検者以外の者も判断できることからより客観的に損傷を検出できるのは、既に説明したとおりである。ただし、１回の撮影で取得できる画像の範囲（以下、「画像範囲」という。）は限定的であり、そのため例えば１つのパネルＰＮの画像を得るためには、パネルＰＮ範囲を分割して複数回の撮影を行う必要がある。また、それぞれの分割領域を撮影して得られた個々の画像ではパネルＰＮ全体の状況を把握することが難しいため、通常は個々の画像を互いに結合した１つの画像（以下、「結合画像」という。）が作成される。このとき、隣接する（隣あう）２つの画像が相当程度重複（ラップ）していないと、これらの画像を結合することは難しい。そこで本願発明は、画像を取得したその場で、隣接する画像との重複の程度を適否判定することも特徴の１つとしている。

【0026】

以下、図４を参照しながら、本願発明の点検装置の処理の主な流れ、及び点検方法の主な工程の流れについてさらに詳しく説明する。図４は、処理や流れを示すフロー図であり、中央の列に実施する処理や工程を示し、左列にはその処理や工程に必要な入力情報を、右列にはその処理や工程から生まれる出力情報を示している。

【0027】

はじめに、床版下面のパネルＰＮを区分した分割領域の画像を、画像取得手段１０１によって取得する（Ｓｔｅｐ１１０）。このとき取得した画像が、隣接する画像と十分重複していれば採用され、そうでなければ再度撮影することとなる。つまり、今まさに取得した画像が判定対象になるわけであり、判定対象とされるこの画像のことをここでは便宜上、「今回画像」ということとする。

【0028】

画像取得手段１０１は、画像を取得することができるものであり、デジタルカメラを代表的な例として挙げることができる。画像を取得する際、この画像取得手段１０１を三脚などの支持台上で固定したうえで撮影することもできるし、図５に示すように固定することなく手持ちした画像取得手段１０１で撮影することもできる。取得された今回画像は、図６に示すようにひとまず画像記憶手段１０２に記憶される。図６は、本願発明の点検装置１００の主な構成を示すブロック図である。

【0029】

今回画像が取得できると、図６に示す画像読出し手段１０３によって画像記憶手段１０２から、今回画像と、この今回画像に隣接する画像（以下、「隣接画像」という。）を読み出す（図４：Ｓｔｅｐ１２０）。ここで、図７を参照しながら今回画像と隣接画像について説明する。図７は、床版下面のパネルＰＮを４区分した分割領域ＳＲ（第１分割領域ＳＲ１と、第２分割領域ＳＲ２、第３分割領域ＳＲ３、第４分割領域ＳＲ４）を、それぞれ順に撮影する状況を示す説明図であり、（ａ）は第１分割領域ＳＲ１を対象として第１分割画像ＰＨ１を取得する状況を、（ｂ）は第１分割画像ＰＨ１を取得した後に第２分割領域ＳＲ２を対象として第２分割画像ＰＨ２を取得する状況を、（ｃ）は第２分割画像ＰＨ２を取得した後に第３分割領域ＳＲ２を対象として第３分割画像ＰＨ３を取得する状況を、（ｄ）は第３分割画像ＰＨ３を取得した後に第４分割領域ＳＲ４を対象として第４分割画像ＰＨ４を取得する状況を示している。

【0030】

図７に示すように、隣接する分割画像ＰＨどうしはある程度重複しながら取得される。したがって、これから取得しようとする今回画像は、既に取得された隣接画像とある程度重複させながら取得される。例えば図７（ｂ）では、第２分割画像ＰＨ２が今回画像であり、既に取得した第１分割画像ＰＨ１が隣接画像となり、第１分割画像ＰＨ１（隣接画像）とある程度重複した状態で第２分割画像ＰＨ２（今回画像）が取得される。同様に図７（ｃ）では、第３分割画像ＰＨ３が今回画像、第１分割画像ＰＨ１が隣接画像となり、第１分割画像ＰＨ１（隣接画像）とある程度重複した状態で第３分割画像ＰＨ３（今回画像）が取得され、図７（ｄ）では、第４分割画像ＰＨ４が今回画像、第２分割画像ＰＨ２や第３分割画像ＰＨ３が隣接画像となり、第２分割画像ＰＨ２や第３分割画像ＰＨ３（隣接画像）とある程度重複した状態で第４分割画像ＰＨ４（今回画像）が取得される。このように隣接画像は、今回画像の撮影範囲に隣接する範囲を取得した画像であって、既に取得され、画像記憶手段１０２に記憶されたものである。そして、今般取得した今回画像も、後に取得された今回画像にとっては隣接画像となりうるわけである。

【0031】

画像読出し手段１０３によって今回画像と隣接画像が読み出されると、図６に示す重複率算出手段１０４により今回画像と隣接画像の重複率が算出される（図４：Ｓｔｅｐ１３０）。ここで、図８を参照しながら重複率について説明する。図８は、今回画像と隣接画像の重複率を示すモデル図であり、（ａ）は重複面積に基づいて求める重複率を説明するモデル図、（ｂ）は外周線の長さに基づいて求める重複率を説明するモデル図、（ｃ）は図心から外周線までの長さに基づいて求める重複率を説明するモデル図である。

【0032】

今回画像と隣接画像の重複率は、図８（ａ）に示すように今回画像と隣接画像が重なった重複領域の面積、つまり重複面積に基づいて求めることができる。具体的には、今回画像の面積のうち重複面積が占める割合（百分率）を重複率とするわけである。あるいは、隣接画像の面積のうち重複面積が占める割合を重複率とすることもできるし、今回画像と隣接画像の総和面積のうち重複面積が占める割合を重複率とすることもできる。

【0033】

また、今回画像と隣接画像の重複率は、図８（ｂ）に示すように外周線の長さに基づいて求めることもできる。なお、この図に示すように、今回画像や隣接画像の外周を形成する境界線が「外周線」であり、特に重複領域にある外周線のことを「重複外周線」ということとする。具体的には、今回画像の重複外周線の長さを今回画像の外周線の長さで除した値から重複率を算出する。あるいは、隣接画像の重複外周線の長さを隣接画像の外周線の長さで除した値や、今回画像と隣接画像の重複外周線の総長を今回画像と隣接画像の外周線の総長で除した値から、重複率を求めることもできる。

【0034】

さらに、今回画像と隣接画像の重複率は、図８（ｃ）に示すように重複領域の図心から外周線までの長さに基づいて求めることもできる。具体的には、重複領域の図心から今回画像の外周線までの長さ（以下、「縁距離」という。）を求め、この縁距離を今回画像や隣接画像の外周線の長さで除した値から重複率を算出する。縁距離は、図心から今回画像（隣接画像）の外周線のまでの最短距離としたり、短辺の外周線までの垂線の足の長さ（以下、「垂線長」という。）としたり、あるいは長辺の外周線までの垂線長とすることができ、さらに縁距離を除す長さは、今回画像（隣接画像）の短辺の外周線の長さとしたり、今回画像（隣接画像）の長辺の外周線の長さとしたり、今回画像（隣接画像）の外周線の全周長さとすることができる。

【0035】

ところで、今回画像と隣接画像では、その撮影位置も異なるうえ、撮影方向も異なることから、たとえ一部が重複しているとはいえ単純に両者を重ね合わせることはできない。そこで、今回画像と隣接画像に共通する複数の特徴点を抽出し、これら特徴点に基づいて今回画像と隣接画像の位置関係を求めることとなる。具体的には、今回画像を自動認識することによって特徴点を抽出するとともに、隣接画像を自動認識することによって特徴点を抽出し、両者の特徴点どうしの相関を求めることで共通の特徴点か否かを判断する。この画像認識は、画像上の輝度や色（色相、彩度、及び明度）の相違に基づいて自動判別する手法など、公知の技術を用いて行うことができる。例えば、画素間の輝度差と距離から勾配値を求め、特異な勾配値を示す画素が一定程度集合したものを特徴点として認定する。

【0036】

今回画像と隣接画像の位置関係を明確にするには、一方の画像座標系（例えば今回画像）から他方の画像座標系（例えば隣接画像）に変換できればよい。この変換は、例えば下式に示す射影変換によって行うことができる。

【数1】

【0037】

さらに、式１を基に下記に示す行列式を得ることができる。

【数2】

【0038】

一方（例えば今回画像）の画像座標系における４つの特徴点の座標をＧ１（ｘ１，ｙ１）〜Ｇ４（ｘ４，ｙ４）とし、これに対応する他方（例えば隣接画像）の画像座標系における４つの特徴点の座標をＰ１（Ｘ１，Ｙ１，Ｚ１）〜Ｐ４（Ｘ４，Ｙ４，Ｚ４）とすると、式２を解くことで係数ｂ１〜ｂ８を求めることができる。したがって、今回画像と隣接画像に共通する特著点は少なくとも４点が必要となる。

【0039】

今回画像と隣接画像の位置関係が明確となり、今回画像と隣接画像の重複率が算出されると、今回画像の重複率の適否判定を行う（図４：Ｓｔｅｐ１４０）。図６に示すように、画像取得判定手段１０５が、あらかじめ定めた重複率の閾値（以下、「重複率閾値」という。）を重複率閾値記憶手段１０６から読み出すとともに、この解像度閾値と算出した重複率を照らし合わせることでその重複率の適否を判定する。具体的には、算出した重複率が重複率閾値を上回るときはその重複率を適合と判定し、算出した重複率が重複率閾値を下回るときはその重複率を不適合と判定する。ここで画像取得判定手段１０５が判定した結果（重複率の適否）は、ディスプレイや音声出力器などの出力手段１０７に出力することもできる。

【0040】

画像取得判定手段１０５が今回画像の重複率に対して不適合と判定した場合（Ｓｔｅｐ１４０：Ｎｏ）は、前回よりも重複するように心がけて再度分割領域の画像取得し（Ｓｔｅｐ１１０）、改めて算出したうえで今回画像の重複率の適否判定を行う（Ｓｔｅｐ１４０）。なお、その重複率に対して不適合と判定された今回画像は、画像記憶手段１０２は削除しておくとよい。一方、画像取得判定手段１０５が今回画像の重複率に対して適合と判定した場合（Ｓｔｅｐ１４０：Ｙｅｓ）は、その画像を今回画像（後続の処理等では隣接画像）として画像記憶手段１０２に記憶させる（図４：Ｓｔｅｐ１５０）。

【0041】

対象となる範囲、例えば図７に示すパネルＰＮの第１分割領域ＳＲ１〜第４分割領域ＳＲ４すべてについて、今回画像の取得（Ｓｔｅｐ１１０）〜今回画像の記憶（Ｓｔｅｐ１５０）の処理（工程）を繰り返し実行する（図４：Ｓｔｅｐ１６０）。そして、それぞれ第１分割領域ＳＲ１〜第４分割領域ＳＲ４に対して取得した分割画像ＰＨ（第１分割画像ＰＨ１〜第４分割画像ＰＨ４）を、図６に示す画像結合手段１０８によって結合する。具体的には、既述した共通する特徴点を利用して隣接する分割画像ＰＨを結合していき、図９に示すようにパネルＰＮ全体を表す１つの結合画像を作成する（図４：Ｓｔｅｐ１７０）。
図９は、第１分割画像ＰＨ１〜第４分割画像ＰＨ４を結合して結合画像を得る過程を示すモデル図である。なお、図９のうち破線で示す範囲は、隣接する分割画像どうしの重複領域を示している。ここで得られた結合画像は、画像記憶手段１０２に記憶される。

【0042】

画像が取得できると、その画像からひび割れを抽出する（図４：Ｓｔｅｐ１８０）。図９では、結合画像から抽出されたひび割れを示している。このとき、人が画像から目視判読することによってひび割れを抽出してもよいし、図６に示すひび割れ抽出手段１０９によって自動的にひび割れを抽出することもできる。具体的には、画像記憶手段１０２から結合画像を読み出したひび割れ抽出手段１０９が、その画像を自動認識することによってひび割れを抽出する。この画像認識は、画像上の輝度や色（色相、彩度、及び明度）の相違に基づいて自動判別する手法など、公知の技術を用いて行うことができる。例えば、ひび割れに対してあらかじめ設定された輝度や色と近似する（又は一致する）画素を画像中から検出し、その検出された画素が所定数（閾値以上）を超えて連続する場合、これをひび割れとして抽出する。

【0043】

ところで、画像からひび割れ等の損傷を検出するためには、相当の解像度をもった画像を取得しなければならないことは既に説明した。十分な重複率で分割画像ＰＨを取得し、適切に結合画像が得られたとしても、その解像度が十分でないことが後日判明すれば、改めて現地に出向いて十分な重複率と適切な解像度をもった画像を取得しなければならない。そこで本願発明の点検装置と点検方法は、分割画像ＰＨの重複率の適否を判定するとともに、その解像度の是非を判定したうえで、作成した結合画像からひび割れを抽出することもできる。より詳しくは、今回画像を取得する（図４：Ｓｔｅｐ１１０）にあたって、取得されるはずの今回画像の解像度を推定し、その推定された解像度が肯定されたときにはじめて今回画像が取得され（Ｓｔｅｐ１１０）、その今回画像に対して後続の処理等（Ｓｔｅｐ１２０〜Ｓｔｅｐ１８０）が実行される。以下、図１１を参照しながら、解像度の是非を判定する装置（以下、「解像度判定装置」という。）の処理の主な流れと、解像度の是非を判定する方法（以下、「解像度判定方法」という。）の主な工程の流れについて詳しく説明する。図１０は、処理や流れを示すフロー図であり、中央の列に実施する処理や工程を示し、左列にはその処理や工程に必要な入力情報を、右列にはその処理や工程から生まれる出力情報を示している。

【0044】

はじめに、床版下面を見通せる位置に画像取得装置１０１を設置する（Ｓｔｅｐ２１０）。この場合、画像取得手段１０１は、図１２に示すように三脚２０２などの支持台上で固定して設置される。なお、後に説明するように、三脚１０２上に載置した可動式の雲台に画像取得装置１０１を設置することもできる。なお、この時点ではまだ画像を取得する必要はない。

【0045】

画像取得手段１０１が設置できると、画像取得手段１０１から床版下面（対象物）までの距離（以下、この距離のことを「対象距離」という。）を測距手段２０３で計測し（Ｓｔｅｐ２２０）、画像取得手段１０１の姿勢（以下、「撮影姿勢」という。）を姿勢測定手段２０４で測定する（Ｓｔｅｐ２３０）。なお図１０では、対象距離を計測した後に撮影姿勢を測定するように示しているが、この場合に限らず、撮影姿勢を測定した後に対象距離を計測してもよいし、対象距離の計測と撮影姿勢の測定を並行して行ってもよい。

【0046】

対象距離を計測する測距手段２０３は、２点間の距離を測ることができるものであれば従来から使用されている種々の技術を利用することができ、例えばレーザー計測の技術を利用することができる。レーザー計測は、計測したい対象物に対して照射したレーザー光の反射信号を受けて計測するものであり、照射時刻と受信時刻の時間差から２点間の距離を測ることができる。図１１では、レーザー計測器（測距手段２０３）で対象距離を計測する状況を示しており、図中の矢印はレーザー計測器から照射されたレーザー光を示している。このとき、画像取得手段１０１のレンズ中心から床版下面までの距離を計測するとよい。実際には、図１１に示すように、レンズ中心を通る方向（視線方向）を若干量平行移動したレーザー光によって、画像取得手段１０１のレンズ中心から床版下面までの距離を近似的に計測する。

【0047】

撮影姿勢を測定する姿勢測定手段２０４は、姿勢を測ることができるものであれば従来から使用されている種々の技術を利用することができる。なお、ここでいう姿勢とは画像取得手段１０１が向いている方向であり、対象物（この場合は、床版下面）に対する傾きのことを意味する。例えば、床版下面が水平面であれば、画像取得手段１０１の仰角（水平面となす角）や鉛直角（鉛直軸となす角）を測ることで床版下面に対する傾き、すなわち撮影姿勢を得ることができる。姿勢測定手段２０４としては、傾斜計や、地磁気センサ（電子コンパス）、加速度センサが代表的であるが、その他ジャイロセンサなどの技術、あるいはこれらを組み合わせた技術を利用することができる。電子コンパスと加速度センサの両方を内蔵した、いわゆる６軸センサ内蔵の端末器も市販されているので、この端末器を利用してもよい。

【0048】

また、姿勢測定手段２０４をレーザー計測器からなるものとし、つまりレーザー計測器により画像取得手段１０１の姿勢を取得することもできる。レーザー計測器と画像取得手段１０１の位置関係（光軸からの傾斜角も含む）を明確にした上で、床版下面にレーザー光を照射すると、床版下面で反射した点の座標が取得できる。この座標は、画像取得手段１０１の中心を原点とし光軸を含む３軸からなる任意の座標系を設定したとき、この座標系で表される相対的な座標となる。したがって３点以上を照射して床版下面の3点以上の座標を取得すれば、よく知られている空間上の平面の計算式を適用することで、画像取得手段１０１に対する床版下面の傾き、すなわち撮影姿勢を得ることができる。この場合のレーザー計測器は、レーザー光を照射する手段（以下、「レーザー光照射手段」という。）を３台以上の搭載したものとしてもよいし、可動する１台（又は２台）のレーザー照射手段を搭載したものとしてもよい。なお、姿勢測定手段２０４をレーザー計測器からなるものとした場合、平面の方程式から床版下面と画像取得手段との位置関係（距離を含む）を得ることができ、すなわち対象距離を得ることができることから、測距手段２０３を代用することもできる。言い換えると、３台以上のレーザー光照射手段、あるいは可動する１台（又は２台）のレーザー光照射手段を搭載したレーザー計測器を姿勢測定手段２０４とした場合、対象距離を計測する測距手段２０３、及び撮影姿勢を測定する姿勢測定手段２０４を同時に備えたことになるわけである。

【0049】

測距手段２０３で計測した対象距離と、姿勢測定手段２０４で測定した撮影姿勢は、図１２に示すように空間情報記憶手段２０５に記憶される。図１２は、解像度判定装置の主な構成を示すブロック図である。

【0050】

対象距離と撮影姿勢が得られると、解像度推定手段２０６で今回画像の解像度を推定する（図１０：Ｓｔｅｐ２４０）。ただし、この時点ではまだ実際に今回画像を取得する必要はない。すなわち、ここまでに得られた対象距離と撮影姿勢で撮影すれば取得されるはずの今回画像に対して、解像度を（あくまで）推定するわけである。具体的には、図１２に示すように、空間情報記憶手段２０５から対象距離と撮影姿勢を読み出した解像度推定手段２０６が、画像取得手段１０１の諸元（画角、画面距離など）を基に取得されるはずの今回画像の解像度を推定する。対象距離と撮影姿勢と画像取得手段１０１の諸元が得られると、図１１の破線で示すように、画像取得手段１０１が取得する床版下面の画像範囲が算出できる。画像取得手段１０１の画素数はあらかじめ分かっているため、この画素数と画像範囲との関係から画像の解像度を推定することができるわけである。

【0051】

取得される今回画像の解像度が推定されると、実際に画像取得を行ってもよいか否かの判定を行う（図１０：Ｓｔｅｐ２５０）。図１２に示すように、画像取得判定手段２０７が、あらかじめ定めた解像度の閾値（以下、「解像度閾値」という。）を解像度閾値記憶手段２０８から読み出すとともに、この解像度閾値と推定した解像度を照らし合わせることで画像取得の是非を判定する。具体的には、推定した解像度が解像度閾値を上回るときは画像取得を肯定し、推定した解像度が解像度閾値を下回るときは画像取得を否定する。なお、図１１からも分かるように、１つの画像内の解像度が一様ではないケースもある。この場合、推定した解像度のうち最も低い値と解像度閾値を比較してもよいし、平均値や中央値といった統計的に処理した値と解像度閾値を比較してもよい。ここで画像取得判定手段２０７が判定した結果（画像取得の肯定／否定）は、ディスプレイや音声出力器などの出力手段１０９に出力することもできる。

【0052】

画像取得判定手段２０７が画像取得を肯定すると、実際に画像取得手段１０１で今回画像を取得する（図４：Ｓｔｅｐ１１０）。このとき、人が画像取得手段１０１を操作して今回画像を取得してもよいし、画像取得判定手段２０７の結果に応じて自動撮影することもできる。具体的には、画像取得判定手段２０７が画像取得を肯定すると、その情報を受け取った撮影制御手段（図示しない）が画像取得手段１０１に対して信号を送り、この信号を受信した画像取得手段１０１が自動的に画像を取得する。したがってこの場合、画像取得判定手段２０７と撮影制御手段、そして画像取得手段１０１は、それぞれ情報や信号を送受信することでのできる手段を有しており、さらにそれぞれは無線又は有線による通信手段で接続されている。なお、解像度推定手段２０６と画像取得判定手段２０７、撮影制御手段は、図１１に示すコンピュータＰＣによって実行させるとよい。

【0053】

一方、画像取得判定手段２０７が画像取得を否定した場合、その設置状態（位置と姿勢）における画像取得手段１０１では画像を取得せずに、画像取得手段１０１の設置位置や設置姿勢を調整する（図１０：Ｓｔｅｐ２７０）。そして、あらためて対象距離を計測し（Ｓｔｅｐ２２０）、撮影姿勢を測定し（Ｓｔｅｐ２３０）、取得される画像の解像度を推定して（Ｓｔｅｐ２４０）、画像取得判定手段２０７に画像取得の是非を判定させる（Ｓｔｅｐ２５０）。

【0054】

画像取得判定手段２０７が画像取得を否定したときに行う画像取得手段１０１の調整作業は人による手動とすることもできるし、自動的に調整することもできる。この場合、図１２に示す演算手段２０９が画像取得手段１０１の適正な設置位置や設置姿勢を算出し、この適正な設置位置と設置姿勢に基づいて調整制御手段２１０が可動式の雲台２１１に対して移動等するよう指令を送る。具体的には、画像取得判定手段２０７が画像取得を否定したという情報を受け取った演算手段２０９が、現状の対象距離と撮影姿勢、推定した解像度、解像度閾値といった情報を基に、適正な（つまり、解像度閾値を上回る解像度の画像を得ることができる）対象距離と撮影姿勢を求め、適正な設置位置と設置姿勢を算定し、さらに現状から適正な設置位置となるまでの移動量と移動方向、現状から適正な設置姿勢となるまでの移動傾斜角を算出する。この情報を受けた調整制御手段２１０が、可動式の雲台２１１に対して適正な設置位置や設置姿勢となるための調整量（移動量と移動方向、移動傾斜角）とともに調整すべき旨の指令を送り、これに応じて雲台２１１が移動し、傾斜する。したがってこの雲台２１１は、三脚２０２上で画像取得手段１０１を固定するものであって、電力などを動力とし、画像取得手段１０１を固定したまま移動し得るものであり、さらに画像取得手段１０１を固定したまま姿勢を変更（傾斜）し得るものである。またこの場合、画像取得判定手段２０７と、演算手段２０９、調整制御手段２１０、そして雲台２１１は、それぞれ情報や信号を送受信することでのできる手段を有しており、さらにそれぞれは無線又は有線による通信手段で接続されている。なお、演算手段２０９と、調整制御手段２１０、雲台２１１は、図１１に示すコンピュータＰＣによって実行させるとよい。

【0055】

あらかじめ床版全体を複数のパネルＰＮに分割したうえで点検を行うことは既述したとおりである。したがって、橋梁床版を構成する全パネルＰＮに対して一連の処理（工程）を繰り返し行うことで当該橋梁床版の点検が完了する。

【産業上の利用可能性】

【0056】

本願発明の点検装置、及び点検方法は、道路橋、鉄道橋、管路橋など種々の用途の橋梁に利用でき、さらに橋梁のほか様々な建設インフラに利用することができる。本願発明によれば、供用中の建設インフラの劣化状況が把握でき、その劣化状況に応じた補修、補強対策が可能となり、ひいては建設インフラの長寿命化につながることを考えれば、産業上利用できるばかりでなく社会的にも大きな貢献を期待し得る発明といえる。

【符号の説明】

【0057】

１００ 本願発明の点検装置
１０１ 画像取得手段
１０２ 画像記憶手段
１０３ 画像読出し手段
１０４ 重複率算出手段
１０５ 画像取得判定手段
１０６ 重複率閾値記憶手段
１０７ 出力手段
１０８ 画像結合手段
１０９ ひび割れ抽出手段
２０２ 三脚
２０３ 測距手段
２０４ 姿勢測定手段
２０５ 空間情報記憶手段
２０６ 解像度推定手段
２０７ 画像取得判定手段
２０８ 解像度閾値記憶手段
２０９ 演算手段
２１０ 調整制御手段
２１１ 雲台
ＰＣ コンピュータ
ＰＨ 分割画像
ＰＨ１ 第１分割画像
ＰＨ２ 第２分割画像
ＰＨ３ 第３分割画像
ＰＨ４ 第４分割画像
ＰＮ パネル
ＳＲ 分割領域
ＳＲ１ 第１分割領域
ＳＲ２ 第２分割領域
ＳＲ３ 第３分割領域
ＳＲ４ 第４分割領域

【要約】

【課題】本願発明の課題は、画像を取得したその場で隣接する画像との重複の適否を判定し、複数の画像を結合し得る程度の適切な重複率をもった画像を取得することで、この画像をもとに点検することのできる点検装置、及び点検方法を提供することにある。
【解決手段】本願発明の点検装置は、画像取得手段と、画像記憶手段、画像判定手段を備えたものである。画像判定手段は、画像取得手段で撮影して「今回画像」を取得したときに、その今回画像の適否判定を行う手段である。重複率算出手段は、今回画像と隣接画像との特徴点に基づいて今回画像と隣接画像の位置関係を求め、さらに今回画像と隣接画像の重複率を算出する。画像判定手段は、重複率が重複率閾値を上回るときは今回画像を適合と判定し、下回るときは不適合と判定する。
【選択図】図６

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】