特許 7325020 検査装置及び検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-03

(45)【発行日】2023-08-14

(54)【発明の名称】検査装置及び検査方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230804BHJP

【ＦＩ】

G01N21/88 Z

【請求項の数】 8

(21)【出願番号】P 2020501674

(86)(22)【出願日】2019-02-08

(86)【国際出願番号】 JP2019004559

(87)【国際公開番号】W WO2019163556

(87)【国際公開日】2019-08-29

【審査請求日】2021-12-13

(31)【優先権主張番号】P 2018030189

(32)【優先日】2018-02-22

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】今川 太郎

(72)【発明者】

【氏名】日下 博也

(72)【発明者】

【氏名】野田 晃浩

【審査官】平田 佳規

(56)【参考文献】

【文献】特開２００９－２１７５８３（ＪＰ，Ａ）

【文献】特表２０１０－５３７４３４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０

Ｇ０１Ｌ １／００

Ｇ０１Ｌ １／２４

Ｇ０１Ｍ ９９／００

Ｇ０１Ｎ ３／００ － Ｇ０１Ｎ ３／６２

Ｇ０６Ｔ １／００ － Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ － Ｇ０６Ｔ ３／６０

Ｇ０６Ｔ ５／００ － Ｇ０６Ｔ ５／５０

Ｇ０６Ｔ ７／００ － Ｇ０６Ｔ ７／９０

Ｇ０６Ｔ ９／００ － Ｇ０６Ｔ ９／４０

Ｈ０４Ｎ ５／２２２－ Ｈ０４Ｎ ５／２５７

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ － Ｈ０４Ｎ ２３／７６

Ｈ０４Ｎ ２３／９０ － Ｈ０４Ｎ ２３／９５９

(57)【特許請求の範囲】

【請求項1】

亀裂を有する構造物を検査する検査装置であって、
前記構造物に掛かる荷重が変化しているときに互いに異なる時刻に前記構造物が撮影された第１画像及び第２画像を含む複数の画像を取得する取得部と、
前記複数の画像の各々において前記構造物の表面上の亀裂を検出する亀裂検出部と、
前記複数の画像の各々において、予め定められたサイズの複数のブロックに分割し、検出された前記亀裂の先端を基準として、前記第１画像における前記基準に対する前記複数のブロックの相対位置と、前記第２画像における前記基準に対する前記複数のブロックの相対位置との位置関係に基づいて前記複数のブロックの動きベクトルを導出する動き推定部と、
前記亀裂に対して対称な位置間における動きベクトルの差異に基づいて、前記構造物の安全性を判定する検査部と、を備える、
検査装置。

【請求項2】

前記検査部は、
前記基準を含む前記亀裂上の複数の点を選択し、
前記複数の点の各々において、
前記亀裂の方向を算出し、
算出された前記亀裂の方向に延びる前記亀裂上の線に対して線対称な位置を、前記亀裂に対して対称な位置として決定する、
請求項１に記載の検査装置。

【請求項3】

前記検査部は、前記動きベクトルの差異に基づいて前記亀裂の幅の変化量を推定し、推定された前記幅の変化量に基づいて、前記構造物の安全性を判定する、
請求項１又は２に記載の検査装置。

【請求項4】

さらに、導出された前記複数のブロックの動きベクトルの主成分分析を行うことにより、前記複数の動きベクトルから複数の主成分を抽出する抽出部を備え、
前記検査部は、抽出された前記複数の主成分のうち、固有値が大きい順における最下位側の１以上の主成分を除く主成分を用いて、前記構造物の安全性を判定する、
請求項１～３のいずれか１項に記載の検査装置。

【請求項5】

前記取得部は、さらに、前記複数の画像よりも時間的に前に撮影された参照画像を取得し、
前記亀裂検出部は、さらに、前記参照画像において前記構造物の表面上の亀裂を検出し、
前記検査部は、さらに、前記参照画像と前記複数の画像のいずれかとの間の亀裂の変化量に基づいて、前記構造物の安全性を判定する、
請求項１～４のいずれか１項に記載の検査装置。

【請求項6】

さらに、前記複数の画像を撮影する撮影部を備える、
請求項１～５のいずれか１項に記載の検査装置。

【請求項7】

前記検査部は、前記複数の画像の各々において前記亀裂以外の特徴点を原点とした座標を決定し、前記第１画像の前記基準の座標と、前記第２画像の前記基準の座標とに基づいて、亀裂の変化量を算出し、前記亀裂の変化量に基づいて、前記構造物の安全性を判定する、
請求項１～６のいずれか１項に記載の検査装置。

【請求項8】

亀裂を有する構造物を検査する検査方法であって、
前記構造物に掛かる荷重が変化しているときに互いに異なる時刻に前記構造物が撮影された第１画像及び第２画像を含む複数の画像を取得し、
前記複数の画像の各々において前記構造物の表面上の亀裂を検出し、
前記複数の画像の各々において、予め定められたサイズの複数のブロックに分割し、検出された前記亀裂の先端を基準として、前記第１画像における前記基準に対する前記複数のブロックの相対位置と、前記第２画像における前記基準に対する前記複数のブロックの相対位置との位置関係に基づいて前記複数のブロックの動きベクトルを導出し、
前記亀裂に対して対称な位置間における動きベクトルの差異に基づいて、前記構造物の安全性を判定する、
検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、外部から付加される荷重が変化する構造物の検査に関する。

【背景技術】

【0002】

移動体の通過等により荷重が変化する構造物（例えば橋など）は、時間とともに劣化したときに崩落又は崩壊の可能性が増加する。つまり、経年劣化に伴って構造物の安全性が低下する。構造物の劣化による崩落又は崩壊を防ぐためには、構造物を定期的に検査し、必要に応じて補修及び補強を行う必要がある。

【0003】

このような構造物の定期的な検査の１つとして、外観検査がある。外観検査では、構造物の外部の状態が評価され、補修及び補強の必要性あるいは精密検査の必要性などが判断される。

【0004】

一般的に、構造物の外観検査は、検査員の目視により行われることが多い。しかしながら、目視検査では、検査員の主観に依存するため客観的な検査結果を得ることが難しく、長時間の検査が必要となる。

【0005】

特許文献１では、外観検査を自動化し、客観的な検査結果を得るために、カメラを通して得た構造物の原映像から亀裂幅を測定する技術が公開されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００８－１３９２８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、亀裂の幅は微小であり、その時間変化も微小である。したがって、亀裂の幅から構造物を検査することは難しい。

【0008】

そこで、本開示は、構造物の検査時間の低減及び検査精度の向上を図ることができる検査装置及び検査方法を提供する。

【課題を解決するための手段】

【0009】

本開示の一態様に係る検査装置は、亀裂を有する構造物を検査する検査装置であって、前記構造物に掛かる荷重が変化しているときに互いに異なる時刻に撮影された前記構造物の複数の画像を取得する取得部と、前記複数の画像の各々において前記構造物の表面上の亀裂を検出する亀裂検出部と、前記複数の画像において、検出された前記亀裂の所定位置を基準として前記構造物の表面の局所的な動き推定を行うことで複数の動きベクトルを導出する動き推定部と、前記亀裂に対して対称な位置間における動きベクトルの差異に基づいて、前記構造物の安全性を判定する検査部と、を備える。

【0010】

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0011】

本開示の一態様に係る検査装置は、構造物の検査時間の低減及び検査精度の向上を図ることができる。

【図面の簡単な説明】

【0012】

【図1】図１は、実施の形態１に係る検査システムの構成例を示す外観図である。

【図2】図２は、実施の形態１に係る検査装置の機能構成を示すブロック図である。

【図3】図３は、実施の形態１に係る検査装置の処理の全体像を示すフローチャートである。

【図4】図４は、実施の形態１における複数の画像の一例を示す図である。

【図5】図５は、実施の形態１において画像内の亀裂を説明するための図である。

【図6】図６は、実施の形態１において亀裂周辺の動きベクトルを説明するための図である。

【図7】図７は、実施の形態１に係る検査装置の安全性の判定処理を示すフローチャートである。

【図8】図８は、実施の形態１において安全性の判定処理を説明するための拡大図である。

【図9】図９は、実施の形態２に係る検査装置の機能構成を示すブロック図である。

【図10】図１０は、実施の形態２に係る検査装置の処理の全体像を示すフローチャートである。

【図11】図１１は、実施の形態３に係る検査装置の機能構成を示すブロック図である。

【図12】図１２は、実施の形態３に係る検査装置の処理の全体像を示すフローチャートである。

【図13】図１３は、実施の形態３における参照画像及び複数の画像の一例を示す図である。

【図14】図１４は、実施の形態３に係る検査装置の安全性の判定処理の詳細を示すフローチャートである。

【発明を実施するための形態】

【0013】

（本開示の概要）
本開示の一態様に係る検査装置は、亀裂を有する構造物を検査する検査装置であって、前記構造物に掛かる荷重が変化しているときに互いに異なる時刻に撮影された前記構造物の複数の画像を取得する取得部と、前記複数の画像の各々において前記構造物の表面上の亀裂を検出する亀裂検出部と、前記複数の画像において、検出された前記亀裂の所定位置を基準として前記構造物の表面の局所的な動き推定を行うことで複数の動きベクトルを導出する動き推定部と、前記亀裂に対して対称な位置間における動きベクトルの差異に基づいて、前記構造物の安全性を判定する検査部と、を備える。

【0014】

これによれば、亀裂に対して対称な位置間における動きベクトルの差異に基づいて構造物の安全性を判定することができる。亀裂の伸展は、亀裂周辺の応力に依存し、特に亀裂に掛かる応力に依存する。したがって、亀裂に対して対称な位置間における動きベクトルの差異に基づいて構造物の安全性を判定することで、亀裂の伸展による構造物の安全性の低下をより正確に判定することができ、検査の精度を向上させることができる。さらに、画像から構造物の安全性を判定することができるため、目視検査を省略することもでき、検査時間の低減を図ることもできる。

【0015】

また、本開示の一態様に係る検査装置において、前記検査部は、前記亀裂の方向を算出し、算出された前記亀裂の方向に延びる前記亀裂上の線に対して線対称な位置を、前記亀裂に対して対称な位置として決定してもよい。

【0016】

これによれば、算出された亀裂の方向に延びる亀裂上の線に対して線対称な位置を、亀裂に対して対称な位置として決定することができる。したがって、亀裂に垂直な方向に亀裂を挟む位置間の動きベクトルの差異を安全性の判定に用いることができ、亀裂の伸展による構造物の安全性の低下をより正確に判定することができる。

【0017】

また、本開示の一態様に係る検査装置において、前記検査部は、前記動きベクトルの差異に基づいて前記亀裂の幅の変化量を推定し、推定された前記幅の変化量に基づいて、前記構造物の安全性を判定してもよい。

【0018】

これによれば、推定された亀裂の幅の変化量に基づいて、構造物の安全性を判定することができる。構造物に掛かる荷重が変化しているときの亀裂の幅の変化量は、亀裂の伸展に対する影響が大きいが、微小であるため画像から直接的に導出することは難しい。そこで、亀裂に対して対称な位置間における動きベクトルの差異に基づいて推定された亀裂の幅の変化量を用いることで、亀裂の伸展をより正確に予測することも可能となり、構造物の検査の精度を向上させることができる。

【0019】

また、本開示の一態様に係る検査装置において、さらに、導出された前記複数の動きベクトルの主成分分析を行うことにより、前記複数の動きベクトルから複数の主成分を抽出する抽出部を備え、前記検査部は、抽出された前記複数の主成分のうち、固有値が大きい順における最下位側の１以上の主成分を除く主成分を用いて、前記構造物の安全性を判定してもよい。

【0020】

これによれば、固有値が大きい順における最下位側の１以上の主成分を除く主成分を用いて、構造物の安全性を判定することができる。したがって、動きベクトルからノイズ成分を除去することができ、さらに、構造物の検査の精度を向上させることができる。

【0021】

また、本開示の一態様に係る検査装置において、前記取得部は、さらに、前記複数の画像よりも時間的に前に撮影された参照画像を取得し、前記亀裂検出部は、さらに、前記参照画像において前記構造物の表面上の亀裂を検出し、前記検査部は、さらに、前記参照画像と前記複数の画像のいずれかとの間の亀裂の変化量に基づいて、前記構造物の安全性を判定してもよい。

【0022】

これによれば、動きベクトルの差異に加えて、複数の画像よりも前に撮影された参照画像と複数の画像のいずれかとの亀裂の変化量に基づいて、構造物の安全性を判定することができる。したがって、亀裂の伸展をより正確に予測することも可能となり、構造物の検査の精度を向上させることができる。

【0023】

また、本開示の一態様に係る検査装置において、さらに、前記複数の画像を撮影する撮影部を備えてもよい。

【0024】

これによれば、検査装置に撮影部を備えることができ、構造物の検査を簡易に行うことができる。

【0025】

また、本開示の一態様に係る検査装置において、前記所定位置は先端であってもよい。

【0026】

これによれば、亀裂の先端を基準として構造物の表面の局所的な動き推定を行うことができる。したがって、亀裂に近い特徴的な位置を基準とすることができ、亀裂周辺の動きをより精細に推定することができる。

【0027】

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0028】

以下、実施の形態について、図面を参照しながら具体的に説明する。

【0029】

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。

【0030】

（実施の形態１）
［検査システムの構成］
まず、実施の形態１に係る検査システムの構成例について図１を参照しながら具体的に説明する。図１は、実施の形態１に係る検査システムの構成例を示す外観図である。検査システム１００は、撮像装置１１０と検査装置１２０とを備える。

【0031】

撮像装置１１０は、例えばイメージセンサを備えるデジタルビデオカメラ又はデジタルスチルカメラである。撮像装置１１０は、構造物９９の画像を経時的に撮影する。具体的には、撮像装置１１０は、構造物９９に掛かる荷重が変化しているときに、構造物の複数の画像を撮影する。例えば構造物９９が鉄道橋であれば、列車が鉄道橋を走行しているときに複数の画像が撮影される。

【0032】

複数の画像は、構造物９９の同じ部分の画像であり、互いに異なる時刻に撮影された画像である。具体的には、複数の画像は、例えば映像に含まれる複数のフレームである。また、構造物９９の部分としては、例えば予め表面に亀裂が生じている部分が利用される。

【0033】

検査装置１２０は、例えばコンピュータであり、プロセッサ（図示せず）と、ソフトウェアプログラム又はインストラクションが格納されたメモリ（図示せず）と、を備える。プロセッサがソフトウェアプログラムを実行することによって、検査装置１２０は、後述する複数の機能を実現する。また、検査装置１２０は、専用の電子回路（図示せず）で構成されてもよい。この場合、後述する複数の機能は、別々の電子回路で実現されてもよいし、集積された１つの電子回路で実現されてもよい。

【0034】

検査装置１２０は、撮像装置１１０と通信可能に接続され、撮像装置１１０によって撮影された複数の画像に基づいて構造物９９の検査を行う。本実施の形態において、構造物９９の検査とは、構造物９９の表面上の亀裂を評価し、構造物９９の安全性又は危険性を判定することを意味する。安全性又は危険性の判定の具体例としては、例えば亀裂周辺の詳細点検の必要性の判定、今後のモニタリングの時期及び間隔の見直し、及び、補修の必要性の判定などがある。

【0035】

［検査装置の機能構成］
次に、実施の形態１に係る検査装置１２０の機能構成について図２を参照しながら説明する。図２は、実施の形態１に係る検査装置１２０の機能構成を示すブロック図である。図２に示すように、検査装置１２０は、取得部１２１と、亀裂検出部１２２と、動き推定部１２３と、検査部１２４と、を備える。

【0036】

取得部１２１は、構造物９９に掛かる荷重が変化しているときに互いに異なる時刻に撮影された構造物９９の複数の画像を取得する。例えば、取得部１２１は、撮像装置１１０から無線通信によって複数の画像を取得する。また例えば、取得部１２１は、着脱可能なメモリ（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ）を介して撮像装置１１０から複数の画像を取得してもよい。

【0037】

亀裂検出部１２２は、複数の画像の各々において構造物９９の表面上の亀裂を検出する。亀裂の検出方法は、特に限定されないが、例えばエッジ検出を用いることができる。

【0038】

動き推定部１２３は、複数の画像において、検出された亀裂の先端を基準として構造物９９の表面の局所的な動き推定を行うことで動きベクトルを導出する。動き推定方法は、特に限定されないが、例えばブロックマッチングを用いることができる。

【0039】

この場合、例えば、動き推定部１２３は、画像毎に、予め定められたサイズのブロック（例えば８ｘ８画素又は１６ｘ１６画素など）に分割する。そして、動き推定部１２３は、ブロック毎に、当該ブロックに類似するブロックを、当該ブロックを含む画像と時間的に隣接する画像内で探索する。以下において、当該ブロックをカレントブロックと呼び、カレントブロックに類似するブロックを類似ブロックと呼ぶ。さらに、カレントブロックを含む画像をカレント画像と呼び、カレント画像に時間的に隣接する画像を隣接画像と呼ぶ。

【0040】

動き推定部１２３は、カレント画像における亀裂の先端に対するカレントブロックの相対位置と、隣接画像における亀裂の先端に対する類似ブロックの相対位置と、の間の位置関係に基づいて、カレントブロックの動きベクトルを導出する。なお、動きベクトルを算出するための参照画像は、隣接画像に限定される必要はなく、カレント画像に隣接しない画像が参照画像として用いられてもよい。

【0041】

検査部１２４は、亀裂に対して対称な位置間における動きベクトルの差異に基づいて、構造物の安全性を判定する。亀裂に対して対称な位置とは、亀裂を基準として空間的に対称な位置を意味する。具体例については図面を用いて後述する。

【0042】

［検査装置の処理］
次に、以上のように構成された検査装置１２０における各種処理について説明する。

【0043】

［検査処理の全体像］
まず、検査装置の処理の全体像を図３～図６を参照しながら具体的に説明する。図３は、実施の形態１に係る検査装置１２０の処理の全体像を示すフローチャートである。図４は、実施の形態１における複数の画像の一例を示す図である。図５は、実施の形態１において画像内の亀裂を説明するための図である。図６は、実施の形態１において亀裂周辺の動きベクトルを説明するための図である。

【0044】

まず、取得部１２１は、撮像装置１１０によって撮影された構造物９９の複数の画像を取得する（Ｓ１０１）。例えば、図４に示すように、取得部１２１は、構造物の同じ部分を含み、互いに異なる時刻に撮影された画像１１～１４を取得する。

【0045】

亀裂検出部１２２は、複数の画像の各々において亀裂を検出する（Ｓ１０２）。例えば、図５に示すように、亀裂検出部１２２は、画像１１において亀裂２１を検出する。

【0046】

動き推定部１２３は、複数の画像において、検出された亀裂の先端を基準として構造物９９の表面の局所的な動き推定を行うことで動きベクトルを導出する（Ｓ１０３）。例えば、動き推定部１２３は、画像１１と画像１２との間でブロックマッチングを行うことにより、図６に示すように、画像１１内の亀裂２１の先端２２を基準とした動きベクトル２３を導出する。具体的には、動き推定部１２３は、亀裂の先端を原点として画像１１及び画像１２の各々の画素の座標を決定し、決定された座標を用いて表現された動きベクトル２３を導出する。

【0047】

検査部１２４は、亀裂に対して対称な位置間における動きベクトルの差異に基づいて、構造物の安全性を判定する（Ｓ１０４）。この処理の詳細については、図７を用いて後述する。

【0048】

最後に、検査部１２４は、判定結果を出力する（Ｓ１０５）。例えば、検査部１２４は、ディスプレイ（図示せず）に判定結果を表示する。また例えば、検査部１２４は、他の装置（例えばスマートフォン又はタブレットコンピュータなど）に判定結果を送信してもよい。

【0049】

［安全性の判定処理の詳細］
次に、構造物９９の安全性の判定処理（図３のステップＳ１０４）の詳細について図７を参照しながら具体的に説明する。図７は、実施の形態１に係る検査装置１２０の安全性の判定処理を示すフローチャートである。図８は、実施の形態１において安全性の判定処理を説明するための拡大図である。

【0050】

まず、検査部１２４は、取得された複数の画像の中から未選択の画像を選択する（Ｓ１１１）。例えば、検査部１２４は、図４の画像１１～１４の中から時間順に画像（例えば最初の画像１１）を選択する。

【0051】

検査部１２４は、亀裂上の複数の画素の中から画素を選択する（Ｓ１１２）。例えば、検査部１２４は、図８において、予め定められた画素間隔で、亀裂２１の先端２２から順番に亀裂２１上の画素を選択する。

【0052】

検査部１２４は、選択された画素における亀裂の方向を算出する（Ｓ１１３）。検査部１２４は、例えば図８において、選択された画素及びその近傍の亀裂２１上の画素に基づいて、亀裂２１の方向３１を算出する。

【0053】

検査部１２４は、算出された方向に延びる亀裂上の線に対して線対称な位置にある２つの領域を決定する（Ｓ１１４）。例えば、検査部１２４は、図８において、選択された亀裂２１の先端２２の画素に隣接する所定の大きさの２つの領域３２、３３であって、亀裂２１の方向３１に垂直な方向に隣り合う２つの領域３２、３３を決定する。この２つの領域３２、３３は、亀裂に対して対称な領域（位置）の一例である。

【0054】

検査部１２４は、決定された領域３２及び領域３３の２つの領域の動きを算出する（Ｓ１１５）。そして、検査部１２４は、２つの領域間の動きベクトルの差異を算出する（Ｓ１１６）。例えば、検査部１２４は、２つの領域３２、３３の各々について、領域に含まれる動きベクトルの算術的な代表動きベクトル（例えば平均動きベクトル、最大動きベクトルなど）を算出する。そして、検査部１２４は、領域３２の代表動きベクトルと、領域３３の代表動きベクトルとの間の差分動きベクトルを算出する。

【0055】

検査部１２４は、亀裂上の画素の選択が終了したか否かを判定する（Ｓ１１７）。ここで、亀裂上の画素の選択が終了していないと判定された場合（Ｓ１１７のＮｏ）、ステップＳ１１２に戻る。一方、亀裂上の画素の選択が終了したと判定された場合（Ｓ１１７のＹｅｓ）、検査部１２４は、画像の選択が終了したか否かを判定する（Ｓ１１８）。ここで、画像の選択が終了していないと判定された場合（Ｓ１１８のＮｏ）、ステップ１１１に戻る。一方、画像の選択が終了したと判定された場合（Ｓ１１８のＹｅｓ）、検査部１２４は、ステップＳ１１５で算出された動きベクトルの差異に基づいて、構造物９９の安全性を判定する（Ｓ１１９）。例えば、画像１１～１３における差分動きベクトルの大きさの算術的な代表値（例えば平均値又は中央値など）が予め定められた閾値より大きい場合に、検査部１２４は、構造物９９の安全性が低いと判定し、そうでない場合に構造物９９の安全性が高いと判定する。

【0056】

［効果等］
以上のように、本実施の形態に係る検査装置１２０によれば、亀裂に対して対称な位置間における動きベクトルの差異に基づいて構造物の安全性を判定することができる。亀裂の伸展は、亀裂周辺の応力に依存し、特に亀裂に掛かる応力に依存する。したがって、亀裂に対して対称な位置間における動きベクトルの差異に基づいて構造物の安全性を判定することで、亀裂の伸展による構造物の安全性の低下をより正確に判定することができ、検査の精度を向上させることができる。さらに、画像から構造物の安全性を判定することができるため、目視検査を省略することもでき、検査時間の低減を図ることもできる。

【0057】

また、本実施の形態に係る検査装置１２０によれば、算出された亀裂の方向に延びる亀裂上の線に対して線対称な位置を、亀裂に対して対称な位置として決定することができる。したがって、亀裂に垂直な方向に亀裂を挟む位置間の動きベクトルの差異を安全性の判定に用いることができ、亀裂の伸展による構造物の安全性の低下をより正確に判定することができる。

【0058】

なお、本実施の形態では、動きベクトルの差異として差分動きベクトルが用いられているが、これに限定されない。例えば、動きベクトルから亀裂の方向に垂直な成分を抽出し、抽出された成分の差分値が動きベクトルの差異として用いられてもよい。

【0059】

さらに、抽出された成分から亀裂の幅の変化量を推定し、推定された幅の変換量に基づいて、構造物の安全性が判定されてもよい。構造物に掛かる荷重が変化しているときの亀裂の幅の変化量は、亀裂の伸展に対する影響が大きいが、微小であるため画像から直接的に導出することは難しい。そこで、亀裂に対して対称な位置間における動きベクトルの差異に基づいて推定された亀裂の幅の変化量を用いることで、亀裂の伸展をより正確に予測することも可能となり、構造物の検査の精度を向上させることができる。

【0060】

（実施の形態２）
次に、実施の形態２について説明する。本実施の形態では、局所動き推定によって得られた動きベクトルがそのまま検査に用いられるのではなく、主成分分析によって抽出された動きベクトルの主成分が検査に用いられる点が上記実施の形態１と異なる。以下に、上記実施の形態１と異なる点を中心に本実施の形態について説明する。

【0061】

［検査装置の機能構成］
実施の形態２に係る検査装置２２０の機能構成について図９を参照しながら説明する。図９は、実施の形態２に係る検査装置２２０の機能構成を示すブロック図である。図９に示すように、検査装置２２０は、取得部１２１と、亀裂検出部１２２と、動き推定部１２３と、抽出部２２１と、検査部２２２と、を備える。

【0062】

抽出部２２１は、複数の動きベクトルの主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を行うことにより、複数の動きベクトルから複数の主成分を抽出する。

【0063】

検査部２２２は、抽出された複数の主成分のうち、固有値又は寄与率が大きい順における最下位側の１以上の主成分を除く主成分を用いて、構造物の安全性を判定する。つまり、検査部２２２は、固有値又は寄与率の降順における上位の主成分を用いて、構造物の安全性を判定する。

【0064】

［検査装置の処理］
次に、以上のように構成された検査装置２２０における各種処理について説明する。図１０は、実施の形態２に係る検査装置２２０の処理の全体像を示すフローチャートである。

【0065】

実施の形態１と同様にステップＳ１０１～ステップＳ１０３が行われた後に、抽出部２２１は、複数の動きベクトルの主成分分析を行うことにより、複数の動きベクトルから複数の主成分を抽出する（Ｓ２０１）。

【0066】

抽出部２２１は、抽出された複数の主成分のうち、固有値が大きい順における最下位側の１以上の主成分を除く主成分を用いて、複数の動きベクトルを再構成する（Ｓ２０２）。具体的には、抽出部２２１は、複数の主成分のうち、予め定められた閾値寄与率よりも大きい累積寄与率を有する上位主成分を抽出する。つまり、抽出部２２１は、複数の主成分から下位主成分を除去する。抽出部２２１は、このようにして得られた主成分を用いて複数の動きベクトルを再構成する。

【0067】

そして、検査部２２２は、再構成された複数の動きベクトルを用いて、構造物の安全性を判定する（Ｓ２０３）。つまり、検査部２２２は、実施の形態１における複数の動きベクトルの代わりに、再構成された複数の動きベクトルを用いて、構造物の安全性を判定する。

【0068】

［効果等］
以上のように、本実施の形態に係る検査装置２２０によれば、固有値が大きい順における最下位側の１以上の主成分を除く主成分を用いて、構造物の安全性を判定することができる。したがって、動きベクトルからノイズ成分を除去することができ、さらに、構造物の検査の精度を向上させることができる。

【0069】

（実施の形態３）
次に、実施の形態３について説明する。本実施の形態では、亀裂に対して対称な位置にある領域間における短期的な動きを表す動きベクトルの差異に加えて、長期的な亀裂の変化に基づいて、構造物が検査される点が上記各実施の形態と異なる。以下に、上記実施の形態１と異なる点を中心に本実施の形態について説明する。

【0070】

［検査装置の機能構成］
実施の形態３に係る検査装置３２０の機能構成について図１１を参照しながら説明する。図１１は、実施の形態３に係る検査装置３２０の機能構成を示すブロック図である。図１１に示すように、検査装置３２０は、取得部３２１と、亀裂検出部３２２と、動き推定部１２３と、検査部３２３と、を備える。

【0071】

取得部３２１は、構造物９９に掛かる荷重が変化しているときに互いに異なる時刻に撮影された構造物９９の複数の画像に加えて、さらに、複数の画像よりも時間的に前に撮影された参照画像を取得する。

【0072】

亀裂検出部３２２は、複数の画像に加えて、参照画像において構造物９９の表面上の亀裂を検出する。

【0073】

検査部３２３は、亀裂に対して対称な位置にある領域間における動きベクトルの差異に加えて、参照画像と複数の画像のいずれかとの間の亀裂の変化量に基づいて、構造物の安全性を判定する。具体的には、検査部３２３は、参照画像と、複数の画像の中から選択された１つの画像（以下、選択画像という）との間の亀裂の変化量を算出する。

【0074】

［検査装置の処理］
次に、以上のように構成された検査装置３２０における各種処理について説明する。図１２は、実施の形態３に係る検査装置３２０の処理の全体像を示すフローチャートである。

【0075】

まず、取得部３２１は、構造物９９に掛かる荷重が変化しているときに互いに異なる時刻に撮影された構造物９９の複数の画像と、複数の画像よりも時間的に前に撮影された参照画像とを取得する（Ｓ３０１）。具体的には、取得部３２１は、例えば図１３に示すように、参照画像４１及び複数の画像１１～１４を取得する。ここで、参照画像４１及び複数の画像１１～１４のうちの最初の画像１１間の第１時間間隔は、複数の画像間の第２時間間隔よりも大きい。

【0076】

第１時間間隔は、亀裂の物理的な変化（例えば伸展）を観察するための時間間隔であり、例えば１週間、１か月又は１年などである。一方、第２時間間隔は、荷重の変化に伴う構造物の表面の微小な変動を観察するための時間間隔であり、例えば１／６０秒、１／３０秒又は１／１５秒などである。

【0077】

亀裂検出部３２２は、複数の画像及び参照画像の各々において亀裂を検出する（Ｓ３０２）。

【0078】

動き推定部１２３は、実施の形態１と同様に、複数の画像において、検出された亀裂の先端を基準として構造物９９の表面の局所的な動き推定を行うことで動きベクトルを導出する（Ｓ１０３）。

【0079】

検査部３２３は、亀裂に対して対称な位置にある領域間における動きベクトルの差異に加えて、参照画像と複数の画像のいずれかとの間の亀裂の変化量に基づいて、構造物の安全性を判定する（Ｓ３０３）。

【0080】

ここで、図１４を参照してステップＳ３０３を具体的に説明する。図１４は、実施の形態３に係る検査装置３２０の安全性の判定処理の詳細を示すフローチャートである。

【0081】

実施の形態１と同様にステップＳ１１１～ステップＳ１１８が行われた後に、画像の選択が終了したと判定された場合（Ｓ１１８のＹｅｓ）、検査部３２３は、複数の画像の中から１つの画像を選択する（Ｓ３１１）。例えば、検査部３２３は、複数の画像の中から時間順で最初の画像を選択する。また例えば、検査部３２３は、複数の画像の中から時間順で最後の画像を選択してもよい。

【0082】

検査部３２３は、選択画像及び参照画像の間で亀裂の変化量を算出する（Ｓ３１２）。具体的には、検査部３２３は、亀裂以外の特徴点を原点として参照画像及び選択画像の各々の画素の座標を決定し、決定された座標を用いて亀裂の変化量を算出する。例えば、参照画像内の亀裂の先端の画素の座標が（１０，１０）であり、選択画像内の亀裂の先端の画素の座標が（１０，２５）である場合、変化量は１５画素と算出される。

【0083】

検査部３２３は、ステップＳ１１５で算出された動きベクトルの差異と、ステップＳ３１２で算出された亀裂の変化量とに基づいて、構造物９９の安全性を判定する（Ｓ３１３）。例えば、差分動きベクトルの大きさが予め定められた閾値より大きく、かつ、亀裂の変化量が予め定められた閾値変化量よりも大きい場合に、検査部３２３は、構造物９９の安全性が低いと判定し、そうでない場合に構造物９９の安全性が高いと判定する。

【0084】

［効果等］
以上のように、本実施の形態に係る検査装置３２０によれば、動きベクトルの差異に加えて、複数の画像よりも前に撮影された参照画像と複数の画像のいずれかとの亀裂の変化量に基づいて、構造物の安全性を判定することができる。したがって、亀裂の伸展をより正確に予測することも可能となり、構造物の検査の精度を向上させることができる。

【0085】

（他の実施の形態）
以上、本開示の１つまたは複数の態様に係る検査装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。

【0086】

例えば、上記各実施の形態では、二次元画像を例に説明したが、三次元画像を用いることもできる。この場合、三次元の動きベクトルを用いて構造物の安全性を判定することができる。

【0087】

なお、上記各実施の形態では、検査装置は、撮像装置を含んでいなかったが、撮像装置を含んでもよい。また、検査装置に含まれる複数の機能構成（取得部、亀裂検出部、動き推定部及び検査部など）は、分散コンピューティング又はクラウドコンピューティングによって実現されてもよい。

【0088】

なお、上記各実施の形態では、動き推定でブロックマッチングを用いる例を説明したが、これに限定されない。例えば、他の局所画像特徴量（例えばＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＳＩＦＴ（Ｓｃａｌｅｄ Ｉｎｖａｒｉａｎｃｅ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ））をマッチングすることにより動き推定が行われてもよい。

【0089】

なお、上記各実施の形態では、亀裂に対して対称な位置間の動きベクトルの差異として、亀裂に対して対称な位置にある領域間の代表動きベクトルの差異を用いる例を説明したが、これに限定されない。例えば、領域を用いずに、個々の位置間の動きベクトルの差異が用いられてもよい。また例えば、亀裂に対して対称な位置間の動きベクトルの時間周波数成分の差異が用いられてもよい。

【0090】

なお、局所動き推定は、画像全体で行われる必要はなく、限定された領域でのみ行われてもよい。例えば、亀裂の周辺領域でのみ局所動き推定が行われてもよい。周辺領域は、例えば亀裂からの距離に基づいて定義され得る。

【0091】

なお、上記各実施の形態では、亀裂上の画素毎に亀裂の方向を算出していたが、これに限定されない。亀裂の方向は、亀裂の代表的な画素でのみ算出されてもよい。この場合、１つの亀裂に対して１つの方向が算出され、算出された方向に基づいて亀裂に対して対称な位置にある領域が決定される。

【0092】

なお、上記各実施の形態では、亀裂の先端を基準として構造物の表面の局所的な動き推定を行っていたが、亀裂の先端に限定される必要はない。亀裂の先端の代わりに、亀裂上の他の特徴的な位置（所定位置）が基準点として用いられてもよい。例えば、亀裂の分岐点又は屈曲点などが動き推定のための基準点として用いられてもよい。

【0093】

また、上記各実施の形態における検査装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、検査装置１２０は、取得部１２１と、亀裂検出部１２２と、動き推定部１２３と、検査部１２４と、を有するシステムＬＳＩから構成されてもよい。

【0094】

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

【0095】

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0096】

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【0097】

また、本開示の一態様は、このような検査装置だけではなく、検査装置に含まれる特徴的な構成部をステップとする検査方法であってもよい。また、本開示の一態様は、検査方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。

【0098】

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の検査装置などを実現するソフトウェアは、次のようなプログラムである。

【0099】

すなわち、このプログラムは、コンピュータに、亀裂を有する構造物を検査する検査方法であって、前記構造物に掛かる荷重が変化しているときに互いに異なる時刻に撮影された前記構造物の複数の画像を取得し、前記複数の画像の各々において前記構造物の表面上の亀裂を検出し、前記複数の画像において、検出された前記亀裂の先端を基準として前記構造物の表面の局所的な動き推定を行うことで複数の動きベクトルを導出し、前記亀裂に対して対称な位置間における動きベクトルの差異に基づいて、前記構造物の安全性を判定することを実行させる。

【産業上の利用可能性】

【0100】

本開示は、亀裂による安全性の低下を防ぐために構造物を検査する検査装置に利用可能である。

【符号の説明】

【0101】

１１、１２、１３、１４ 画像
２１ 亀裂
２２ 先端
２３ 動きベクトル
３１ 亀裂の方向
３２、３３ 領域
４１ 参照画像
９９ 構造物
１００ 検査システム
１１０ 撮像装置
１２０、２２０、３２０ 検査装置
１２１、３２１ 取得部
１２２、３２２ 亀裂検出部
１２３ 動き推定部
１２４、２２２、３２３ 検査部
２２１ 抽出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】