特許 7126670 スペックル画像を用いる欠陥検出方法およびその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-19

(45)【発行日】2022-08-29

(54)【発明の名称】スペックル画像を用いる欠陥検出方法およびその装置

(51)【国際特許分類】

   G01B 11/30 20060101AFI20220822BHJP

   G01N 21/88 20060101ALI20220822BHJP

【ＦＩ】

G01B11/30 A

G01N21/88 J

【請求項の数】 8

(21)【出願番号】P 2017170670

(22)【出願日】2017-09-05

(65)【公開番号】P2019045398

(43)【公開日】2019-03-22

【審査請求日】2020-09-07

【新規性喪失の例外の表示】特許法第３０条第２項適用 （１）２０１７年３月６日 和歌山大学産学連携・研究支援センターにおいて開催された全空間画像計測コンソーシアム第８回総会・第１１回セミナーで発表 （２）２０１７年３月１１日 一般社団法人日本非破壊検査協会亀戸センターにおいて開催された平成２８年度第３回応力・ひずみ測定部門講演会で発表

(73)【特許権者】

【識別番号】504145320

【氏名又は名称】国立大学法人福井大学

(74)【代理人】

【識別番号】110001151

【氏名又は名称】あいわ特許業務法人

(72)【発明者】

【氏名】藤垣 元治

(72)【発明者】

【氏名】川原 滉平

(72)【発明者】

【氏名】目黒 栄

【審査官】國田 正久

(56)【参考文献】

【文献】特開平０７－２１８４４９（ＪＰ，Ａ）

【文献】特開平０６－３０８０３７（ＪＰ，Ａ）

【文献】特開２００６－３００７６３（ＪＰ，Ａ）

【文献】特開２００７－０２４６７４（ＪＰ，Ａ）

【文献】特開２００１－３４３４８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００ － １１／３０

Ｇ０１Ｎ ２１／８８ － ２１／８９８

(57)【特許請求の範囲】

【請求項1】

塗 膜もしくはシート材料を表面に有する対象物の前記塗膜もしくは前記シート材料の表面にレーザー光源からレーザー光を照射し、前記塗膜もしくは前記シート材料の表面からの散乱光を、スペックル干渉計を介することなく、撮影手段により撮像して、前記対象物の表面あるいは前記表面の近傍のき裂または欠損部の欠陥もしくは前記対象物の表面に付けられた前記塗膜もしくは前記シート材料の膜面の浮きまたは剥離の欠陥を検出する欠陥検出方法であって、
前記対象物の振動時に撮影された画像について、時間的に異なる複数の前記画像に対する演算処理を行うことで、前記欠陥を検出することを特徴とする欠陥検出方法。

【請求項2】

前記撮影手段を複数用い、それぞれの前記撮影手段で得られた画像を組み合わせることで欠陥検出を行うことを特徴とする請求項１の欠陥検出方法。

【請求項3】

前記対象物の振動は、前記対象物を加振する周波数を変化させ、複数の加振の周波数において撮像された画像を解析することにより、前記欠陥を検出することを特徴とする請求項１または２に記載の欠陥検出方法。

【請求項4】

塗 膜もしくはシート材料を表面に有する対象物の前記塗膜もしくは前記シート材料の表面にレーザー光を照射するレーザー光源と、前記塗膜もしくは前記シート材料の表面からの散乱光を、スペックル干渉計を介することなく、撮像する撮影手段と、前記撮影手段により撮像された画像を処理する処理手段と、を備え、前記対象物の表面あるいは前記表面の近傍のき裂または欠損部の欠陥もしくは前記対象物の表面に付けられた前記塗膜もしくは前記シート材料の膜面の浮きまたは剥離の欠陥を検出する欠陥検出装置であって、
前記対象物の振動時に撮影された画像について、前記処理手段により、時間的に異なる複数の前記画像に対する演算処理を行うことで、前記欠陥を検出することを特徴とする欠陥検出装置。

【請求項5】

前記対象物を加振する手段を更に備えた請求項４に記載の欠陥検出装置。

【請求項6】

前記対象物を複数の方向から撮影する複数の前記撮影手段を持つ請求項４または５に記載の欠陥検出装置。

【請求項7】

前記レーザー光源と前記撮像手段とを一つのユニットとして構成する、請求項４～６の何れか一つに記載の欠陥検査装置。

【請求項8】

少なくとも前記レーザー光源と前記撮像手段とを独立して構成する、請求項４～６の何れか一つに記載の欠陥検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スペックル画像を用いる欠陥検出方法およびその装置に関する。

【背景技術】

【0002】

鋼橋などのインフラ構造物でよく使用される鋼材は、一般に、表面に塗装を施してされている。そのため、塗装下におけるインフラ構造物の表面の微細な欠陥を見つけることは困難である。塗装を除去せずに塗装下の欠陥を見つける方法があれば、効率よく鋼構造物の点検作業ができるようになる。

【0003】

塗装された構造物のき裂を見つける方法としては、塗装膜を除去して観察する方法がある。また、ひずみゲージを複数取り付けて、ひずみの値を計測し、その値から欠陥の有無を予測する方法もある。

【0004】

近年は、デジタル画像相関法による構造物表面のひずみ分布計測方法（非特許文献１）が提案されているが、表面にランダムパターンを塗布する必要があることや、比較的大きなひずみでないと検出できないという短所がある。

【0005】

デジタルホログラフィ（特許文献１，２）やスペックル干渉法（非特許文献２）などを用いて、荷重時における表面のひずみ分布を求め、そこから内部の欠陥の有無を調べる方法が提案されている。しかし、用いる光学系が複雑となり、簡単に屋外の現場に適用することはできない。

【0006】

なお、レーザースペックルの性質と計測への応用については、非特許文献３や非特許文献４にまとめられている。レーザースペックルの性質として、対象物表面の面内の微小な変位に比例して、撮影されるスペックル画像内でのスペックルの粒の位置も変位するというものがある。その性質を利用して表面の変位計測にレーザースペックルを適用できる。

【0007】

なお、レーザースペックル画像を用いる方法としては、特許文献３に開示されているように、物体のゲル状態またはゾル－ゲル状態変化の評価方法およびその装置が提案されており、豆腐等の固まり具合の評価に適用されている。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２００７－０７１７９３号公報

【文献】特開２００７－１１３９７４号公報

【文献】特許第４１５３４３３号

【非特許文献】

【0009】

【文献】出水享，松田浩，伊藤幸広，森田千尋，藤野義裕，光学的手法による鋼部材の加熱・冷却過程におけるひずみ分布計測，構造工学論文集 Vol.57A,86-93,(2011)

【文献】松田浩，神原天鳴，才本明秀，阪上直美，山下務，崎山毅，スペックル干渉による非接触全視野ひずみ計測法，応用力学論文集，Vol.6,1081-1088,(2003)

【文献】山口一郎，スペックル応用計測技術と最近の動向，計測と制御，Vol.21,No.9,881-890,(1982)

【文献】山口一郎，レーザースペックルの性質と計測への応用，実験力学，Vol.2,No.3,153-160,(2002)

【発明の概要】

【発明が解決しようとする課題】

【0010】

そこで、本発明の目的は、上記問題を解決するものであり、スペックル画像を用いる欠陥検出方法およびその装置を提供することである。

【課題を解決するための手段】

【0011】

第１の実施形態は、
塗膜もしくはシート材料を表面に有する対象物の前記塗膜もしくは前記シート材料の表面にレーザー光源からレーザー光を照射し、前記塗膜もしくは前記シート材料の表面からの散乱光を、スペックル干渉計を介することなく、撮影手段により撮像して、前記対象物の表面あるいは前記表面の近傍のき裂または欠損部の欠陥もしくは前記対象物の表面に付けられた前記塗膜もしくは前記シート材料の膜面の浮きまたは剥離の欠陥を検出する欠陥検出方法であって、
前記対象物の振動時に撮影された画像について、時間的に異なる複数の前記画像に対する演算処理を行うことで、前記欠陥を検出することを特徴とする欠陥検出方法である。
第２の実施形態は、
前記撮影手段を複数用い、それぞれの前記撮影手段で得られた画像を組み合わせることで欠陥検出を行うことを特徴とする欠陥検出方法である。
第３の実施形態は、
前記対象物の振動は、前記対象物を加振する周波数を変化させ、複数の加振の周波数において撮像された画像を解析することにより、前記欠陥を検出することを特徴とする欠陥検出方法である。
第４の実施形態は、
塗膜もしくはシート材料を表面に有する対象物の前記塗膜もしくは前記シート材料の表面にレーザー光を照射するレーザー光源と、前記塗膜もしくは前記シート材料の表面からの散乱光を、スペックル干渉計を介することなく、撮像する撮影手段と、前記撮影手段により撮像された画像を処理する処理手段と、を備え、前記対象物の表面あるいは前記表面の近傍のき裂または欠損部の欠陥もしくは前記対象物の表面に付けられた前記塗膜もしくは前記シート材料の膜面の浮きまたは剥離の欠陥を検出する欠陥検出装置であって、
前記対象物の振動時に撮影された画像について、前記処理手段により、時間的に異なる複数の前記画像に対する演算処理を行うことで、前記欠陥を検出することを特徴とする欠陥検出装置である。
第５の実施形態は、
前記対象物を加振する手段を更に備えたことを特徴とする欠陥検出装置である。
第６の実施形態は、
前記対象物を複数の方向から撮影する複数の前記撮影手段を持つことを特徴とする欠陥検出装置である。
第７の実施形態は、
前記レーザー光源と前記撮像手段とを一つのユニットとして構成することを特徴とする欠陥検出装置である。
第８の実施形態は、
少なくとも前記レーザー光源と前記撮像手段とを独立して構成することを特徴とする欠陥検出装置である。

【発明の効果】

【0012】

本発明により、スペックル画像を用いる欠陥検出方法およびその装置を提供できる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態の装置構成を説明する図である。

【図2】塗装膜に浮きが発生している様子を説明する模式図である。

【図3】欠陥検出のアルゴリズムを説明する図である（その１）。

【図4】欠陥検出のアルゴリズムを説明する図である（その２）。

【図5】欠陥検出のアルゴリズムを説明する図である（その３）

【図6】演算方法による差の信号の違いを説明する図である。

【図7】本発明の実施形態である加振装置付きの装置構成を説明する図である。

【図8】本発明の実施形態である遠隔加振装置付きの装置構成を説明する図である。

【図9】撮影装置を複数個取り付けて、それぞれ対象物を異なる方向から撮影する実施形態の装置構成を説明する図である。

【図10】図９の装置構成に加振装置を組み合わせた装置構成を説明する図である。

【図11】計測装置から遠隔の構造物の欠陥を検出する実施形態を説明する図である。

【図12】本発明に係る実験装置を説明する図である。

【図13】本発明に係る実験装置を示す写真である。

【図14】欠陥部分の抽出を説明する図である（１フレーム目）。

【図15】欠陥部分の抽出を説明する図である（２フレーム目）。

【図16】欠陥部分の抽出を説明する図である（差の絶対値）

【図17】図１６の破線部縦断面の輝度値の差の絶対値の分布を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施形態を図面と共に説明する。
＜スペックル画像による欠陥検出方法＞
図１に示すように、欠陥検査ユニット１０はレーザー光源１１と撮影装置１２を備えている。レーザー光源１１から対象物１の表面に対して球面波を照射する。撮影装置１２は、対象物１の表面を撮影するように配置されている。対象物１の表面は、塗装膜２または表面に貼付されたシート（図示せず）などにより粗面が形成されている。その対象物１の表面で反射されたレーザー光は、対象物１の表面の粗面による反射によってランダムに干渉が発生し、スペックル画像として撮影される。対象物１の表面を撮影した撮影画像はパーソナルコンピュータなどの処理装置２０に出力される。処理装置２０では、図２，図３，図５に示される画像処理および欠陥検出処理が実行される。

【0015】

対象物１の表面またはその近傍に欠陥３がある場合、対象物１に振動が加わった際には、き裂などの欠陥３の近傍およびき裂を覆う塗装膜２は、欠陥３がない部分の塗装膜２と比べて大きなひずみが発生し、さらに大きく振動することになる。き裂の間隔が変化すると、その近傍の塗装膜２には、大きな伸び縮みが発生することになる。また、振動に関してもき裂の近傍の塗装膜２は、それ以外の部分と比べて大きく変位することが予想される。

【0016】

これは、図２に示すような塗装膜２に浮き４が発生した場合も同様であり、塗装膜２の浮き４の部分は他の部分と比較して大きく振動することが予想される。以下、き裂や閉口き裂、浮き、剥離、穴など、周囲と異なる検出すべき様相を欠陥と呼び、欠陥がある部分を欠陥部と呼ぶ。

【0017】

撮影画像におけるスペックルの発生位置は、対象物１の面内の変位に応じて移動することが知られている。このため、欠陥の近傍においては、他の部分よりもスペックルの移動が大きくなる。すなわち、スペックルの移動によって、欠陥の検出が可能である。

【0018】

ただし、このスペックルの移動量は、非常に小さなものであるため、スペックルを撮影した画像をそのまま観察しても欠陥の部分の違いを見ることはできない。そこで、図３に示すように、時系列の複数の撮影画像に対して、１フレーム前の画像との差の絶対値を求めて、時系列の解析画像を作成する。この解析画像は、１フレーム前から輝度が変化した値の分布となるため、欠陥によってスペックルの変位が大きな部分があれば、その領域は大きな値となる画素が高密度に現れる。よって、この解析画像を欠陥検出画像という。欠陥検出画像を複数作成し、それらの平均化や２値化や欠陥部の色表示を変更するなどを行なって欠陥検出画像としてもよい。

【0019】

一般に、ＣＣＤカメラやＣＭＯＳカメラで撮影した画像には、実際の撮像素子表面の輝度にランダムな輝度がノイズとして混入する。そのため、スペックルの変位が無い場合であっても、そのランダムなノイズとして輝度値の差が現れる。そのノイズによる輝度の大きさと密度よりも明らかに大きな輝度と密度になる領域がある場合は、そこに欠陥があると判断することができる。

【0020】

また、図３に示すように、時系列の複数の撮影画像に対して、複数の解析画像を作成し、その平均値を求めることや、ある閾値より輝度が高い画素を抽出してその出現頻度から欠陥部を検出するなど、さまざまな画像解析手段を用いることで、異なる時刻に得られた複数の解析画像から欠陥部を強調させて、欠陥部の位置が可視化された欠陥検出画像を作成することができる。

【0021】

さらに、図４に示すように、時系列の複数の撮影画像に対して、別途撮影した基準画像との差の絶対値を求めて、解析画像を得る方法をもちいてもよい。基準画像の取得の方法や時系列画像から解析画像を得る方法は、他にも様々な方法を用いてもよい。例えば、差の絶対値ではなく、差を用いることでもよい。

【0022】

複数の時系列画像を用いて、画素ごとに輝度値の変化の周波数解析を行い、ランダムノイズと対象物の振動による輝度の変化の成分を分離する方法なども用いることができる。また、画素ごとに変化を求めるのではなく、注目画素の近傍の輝度値を用いて、周囲との変化量を求めるような方法も用いることができる。
さらに、欠陥検出画像を作成する際に、周囲よりも大きな輝度と密度になる領域を見つけるために、平滑化処理を行うことなどさまざまなフィルタリング処理を施すことができる。

【0023】

さらに、図５に示すように、間隔をあけて撮影された画像との差を求めることで、画像間の時間差が振動周期の１／２かそれに近いものになる場合に、その周期の半分に近い画像間の差を求めると、図６に模式的に示すように逆位相の大きな変化となることがわかる。ここで、図６の上の図の縦の太線（左から１本目と２本目）は隣り合う２枚の画像の輝度を表しており、点線（左から３本目と１１本目）は画像間の時間差が振動周期の１／２となる２枚の画像の輝度を表している．図６の中央の図は隣り合う２枚の画像から求めた差分の時間変化を示しており、図６の下の図は画像間の時間差が振動周期の１／２となる２枚の画像から求めた差分の時間変化を示している。
したがって、与える振動の周期の約半分の間隔をあけた画像との差分や差の絶対値などの演算を行うことで、大きな信号として検出ができる。また、選択する２枚の画像の間隔を変化させることで、大きく振動する周期を見つけることもできる。

【0024】

＜欠陥検査ユニット＞
橋梁などのインフラ構造物の場合は、高い頻度で自然に加振されることが多く、図１に示したようなレーザー光源１１と撮影装置１２のみの単純な構成で欠陥検査ユニット１０を構成することができる。このような構成であれば、小型の装置にすることも可能で、持ち込んで三脚に立てることで、容易にレーザー光の照射と撮影を行なうことができる。

【0025】

レーザー光の出射の向きを調整することができるようにすることで、対象物１までの距離が変わっても、必要なところにレーザーの照射とその部分の撮影を行なうことができるため、実用上便利になる。レーザー光の照射の広がり角を調整し、さらに、撮影装置１２のレンズを調整することで、遠方の対象物であっても検査可能となる。

【0026】

また、対象物１の欠陥部の振動の周波数によっては、欠陥検出に適したフレームレートが存在する。撮影装置１２を複数個にする場合、撮影装置１２ごとに異なるフレームレートで撮影できるように設定しておくことにより、短時間で多くのフレームレートによる画像の撮影ができることになる。

【0027】

撮影装置１２のレンズに、照射するレーザー光の波長に合わせたバンドパスフィルター（図示せず）を取り付けることで、外乱光の影響を減らすことができる。必要に応じて、加振装置を付けて、対象物に振動を与え、その振動によって欠陥を検出する構成とすることができる。図７は、接触式の加振装置３０を用いる場合であり、図８は、非接触で遠隔から加振する遠隔加振装置３１を取り付けた様子を示している。遠隔加振装置３１としては、例えば、音波によって加振するためのスピーカーなどを用いることができる。また、指向性を高めるために超音波を用いたパラメトリックスピーカーなどを利用することも可能である。コントローラ１３は処理装置２０からの指令により、加振装置３０や遠隔加振装置３１により加振する周波数や強度を制御する。

【0028】

さらに、加振の周波数を変化させることで、欠陥部がより大きく振動する周波数を見つけることも可能である。複数の加振の周波数において前述の方法で画像を撮影して得られた解析画像を元に欠陥検出画像を生成することで、特定の加振の周波数では検出できない欠陥の検出を行なうことができる。

【0029】

段落「００２２」で述べたように、撮影画像におけるスペックルの発生位置は、対象物１の面内の変位に応じて移動することが知られている。これは、撮影装置１２の光軸方向の移動に対するスペックルの移動や明暗の変化は小さく、撮影装置１２の光軸方向に垂直の方向への移動に対して、スペックルの移動や明暗の変化は大きくなることを意味している。

【0030】

したがって、対象物１の振動による変位の方向が撮影装置１２の光軸方向となる場合は、その振動を検出することは困難となる。そこで、図９に示すように、撮影装置１２を複数個取り付けて、それぞれ対象物１を異なる方向から撮影するようにする。複数の撮影装置１２－１，１２－２で撮影された時系列の画像から輝度変化を抽出することで、振動の方向がどのような方向であっても、それを検出することができるようになる。また、図１０に示すような加振装置３０や、遠隔加振装置と組み合わせることも容易に実現できる。

【0031】

さらに、図１１に示すように、遠隔の構造物の欠陥を検出する場合には、装置の揺れによって、撮影画像全体が平行移動することがある。これによって、撮影されるスペックルの像も画像内で平行に移動するが、時間が異なるフレームの画像を比較することで、移動量を算出することができ、その値から装置の揺れによって移動しない画像を生成することができる。また、撮像装置を複数個にすることで、同一時刻において撮像装置ごとに得られた画像からも装置の揺れの量を算出することができ、その値から装置の揺れによって移動しない画像を生成することができる。この手順を行ってから「００１８」から「００２４」で述べた処理を行うことで，装置の振動の影響を低減することができる．

【0032】

＜効果＞
本発明による効果は以下のとおりである。
（１） 表面の塗装を剥がさずに鋼構造物の塗装下の欠陥を検出することができる。
（２） 塗装の剥離や浮きを検出することができる。
（３） 塗装だけでなく、表面にシート状の膜を貼り付けた場合の内部の欠陥の検出や膜の浮きや剥離の検出にも適用できる。

【0033】

（１） 実験方法
図１２に実験装置を示す。図１３は実験装置を写した写真である。試料として樹脂製の箱を用い、側面をハンマーで叩いて、欠陥としてクラックを形成する。光源は、波長532nm、最大出力150mWのDPSSレーザー（フォトンリサーチ株式会社、(GB-9100G)を使用する。スペックルの撮影には撮影領域2592×2048ピクセルの高速度カメラ（ディテクト株式会社，HAS-U2）を使用する。フレームレートを800fps、露出時間を1msとする。撮影範囲は横8mm、縦6mm（640×480ピクセル）とする。資料とカメラとの距離を30mmとする。ソレノイドで対象物体に振動を与え、振動中のスペックルパターンを記録する。ソレノイドにはファンクションジェネレーターから電圧5V、周波数7Hzの正弦波を与えた。

【0034】

（２） 実験結果
1/800秒間隔で撮影して得られた時系列の画像の中から取り出した連続する２枚の画像を図１４と図１５にそれぞれ示す。それぞれの差の絶対値を求めた画像を図１６に示す。図１５により、塗装下の欠陥の検出ができていることがわかる。

【0035】

図１６における縦の点線部分について、縦断面の値のグラフを図１７に示す。図中の矢印で示す欠陥部は、少しではあるが、周囲と比較すると平均的に大きな値となっているのがわかる。これは、１フレーム目と２フレーム目との間で、周辺の画素よりもスペックルの位置の移動量が大きいことを意味している。この原因として、き裂が多少開いたときに、き裂部分の塗装が伸びることによって、スペックルのパターンが他の部分と比較して大きく変化していることを示している。

【符号の説明】

【0036】

１ 対象物
２ 塗装膜
３ 欠陥
４ 浮き

１０ 欠陥検査ユニット
１１ レーザー光源
１２ 撮影装置
１２－１ 撮影装置
１２－２ 撮影装置
１３ コントローラ

２０ 処理装置

３０ 加振装置
３１ 遠隔加振装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】