IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 神鋼検査サービス株式会社の特許一覧

特開2022-21833欠陥検出装置、該方法および該プログラム
<>
  • 特開-欠陥検出装置、該方法および該プログラム 図1
  • 特開-欠陥検出装置、該方法および該プログラム 図2
  • 特開-欠陥検出装置、該方法および該プログラム 図3
  • 特開-欠陥検出装置、該方法および該プログラム 図4
  • 特開-欠陥検出装置、該方法および該プログラム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022021833
(43)【公開日】2022-02-03
(54)【発明の名称】欠陥検出装置、該方法および該プログラム
(51)【国際特許分類】
   G01N 21/88 20060101AFI20220127BHJP
【FI】
G01N21/88 J
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2020125670
(22)【出願日】2020-07-22
(71)【出願人】
【識別番号】594126159
【氏名又は名称】神鋼検査サービス株式会社
(74)【代理人】
【識別番号】100115381
【弁理士】
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100067828
【弁理士】
【氏名又は名称】小谷 悦司
(74)【代理人】
【識別番号】100111453
【弁理士】
【氏名又は名称】櫻井 智
(72)【発明者】
【氏名】山根 佑之
(72)【発明者】
【氏名】佐々木 昇
(72)【発明者】
【氏名】遠藤 英樹
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AA90
2G051AB02
2G051AC15
2G051BA04
2G051BA06
2G051CA04
2G051EB01
2G051EC01
2G051EC05
2G051ED30
2G051GA10
(57)【要約】
【課題】背景が変化する場合でもより精度よく欠陥を検出できる欠陥検出装置、該方法および該プログラムを提供する。
【解決手段】欠陥検出装置Sは、異なる各時点および各位置の中の少なくとも一方で撮像された構造物の複数の画像を取得する画像取得部1と、機械学習後の推定モデルを用いることによって、前記構造物の画像に基づいて、前記構造物の欠陥の有無に関する確率を出力する推定部22と、前記複数の画像のうちの少なくとも1個の画像について、前記1個の画像に基づいて推定部22から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する欠陥判定部23と、前記複数の画像に基づいて、前記欠陥の有無を判定する際に利用される所定のパラメータを生成するパラメータ生成部24とを備え、欠陥判定部23は、パラメータ生成部24で生成したパラメータを利用して前記1個の画像の構造物に形成された欠陥の有無を判定する。
【選択図】図1
【特許請求の範囲】
【請求項1】
検査対象の構造物に形成された欠陥を検出する欠陥検出装置であって、
互いに異なる複数の時点および互いに異なる複数の位置のうちの少なくとも一方で撮像された前記構造物の複数の画像を取得する画像取得部と、
機械学習後の推定モデルを用いることによって、前記画像取得部によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定部と、
前記画像取得部によって取得された前記構造物の複数の画像のうちの少なくとも1個の画像について、前記1個の画像に基づいて前記推定部から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する欠陥判定部と、
前記画像取得部によって取得された前記構造物の複数の画像に基づいて、前記欠陥判定部で前記欠陥の有無を判定する際に利用される所定のパラメータを生成するパラメータ生成部とを備え、
前記欠陥判定部は、前記パラメータ生成部で生成したパラメータを利用することによって、前記1個の画像に基づいて前記推定部から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する、
欠陥検出装置。
【請求項2】
前記パラメータ生成部は、前記画像取得部によって取得された、互いに異なる複数の位置で撮像された前記構造物の複数の画像それぞれについて前記推定部から出力された複数の確率をローパスフィルタでフィルタリングするローパスフィルタ部と、
前記ローパスフィルタ部でフィルタリングしたフィルタリング結果に基づいて前記パラメータを生成する生成部とを備える、
請求項1に記載の欠陥検出装置。
【請求項3】
前記ローパスフィルタ部は、前記ローパスフィルタとして移動平均を用いる、
請求項2に記載の欠陥検出装置。
【請求項4】
前記構造物の複数の画像それぞれについて、欠陥の有無を入力する入力部をさらに備え、
前記パラメータは、前記欠陥の有無を判定する判定閾値であり、
前記生成部は、前記ローパスフィルタ部でフィルタリングしたフィルタリング結果のうちの、前記入力部で欠陥有りと入力された前記構造物の画像に対応するフィルタリング結果の平均値および標準偏差を求め、前記求めた平均値および標準偏差に基づいて前記パラメータを求める、
請求項2または請求項3に記載の欠陥検出装置。
【請求項5】
前記パラメータ生成部は、前記画像取得部によって取得された、互いに異なる複数の時点で撮像された前記構造物の複数の画像それぞれについて前記推定部から出力された複数の確率の平均値および標準偏差を求め、前記求めた平均値および標準偏差に基づいて前記パラメータを求める、
請求項1に記載の欠陥検出装置。
【請求項6】
検査対象の構造物に形成された欠陥を検出する欠陥検出方法であって、
互いに異なる複数の時点および互いに異なる複数の位置のうちの少なくとも一方で撮像された前記構造物の複数の画像を取得する画像取得工程と、
機械学習後の推定モデルを用いることによって、前記画像取得工程によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定工程と、
前記画像取得工程によって取得された前記構造物の複数の画像のうちの少なくとも1個の画像について、前記1個の画像に基づいて前記推定工程から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する欠陥判定工程と、
前記画像取得工程によって取得された前記構造物の複数の画像に基づいて、前記欠陥判定工程で前記欠陥の有無を判定する際に利用される所定のパラメータを生成するパラメータ生成工程とを備え、
前記欠陥判定工程は、前記パラメータ生成工程で生成したパラメータを利用することによって、前記1個の画像に基づいて前記推定工程から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する、
欠陥検出方法。
【請求項7】
検査対象の構造物に形成された欠陥を検出する欠陥検出プログラムであって、
コンピュータに、
互いに異なる複数の時点および互いに異なる複数の位置のうちの少なくとも一方で撮像された前記構造物の複数の画像を取得する画像取得工程と、
機械学習後の推定モデルを用いることによって、前記画像取得工程によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定工程と、
前記画像取得工程によって取得された前記構造物の複数の画像のうちの少なくとも1個の画像について、前記1個の画像に基づいて前記推定工程から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する欠陥判定工程と、
前記画像取得工程によって取得された前記構造物の複数の画像に基づいて、前記欠陥判定工程で前記欠陥の有無を判定する際に利用される所定のパラメータを生成するパラメータ生成工程とを実行させるための欠陥検出プログラムであって、
前記欠陥判定工程は、前記パラメータ生成工程で生成したパラメータを利用することによって、前記1個の画像に基づいて前記推定工程から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する、
欠陥検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査対象の構造物に形成された例えば亀裂等の欠陥を検出する欠陥検出装置、欠陥検出方法および欠陥検出プログラムに関する。
【背景技術】
【0002】
例えば、道路、橋梁、建物、クレーン、ダムおよび堤防等の構造物には、その劣化等によって表面、表面近傍および内部等に欠陥を生じることがある。前記欠陥とは、材料およびその接合部等に生じた亀裂、ボイド、介在物等の不連続部を意味する。このような欠陥を検出する技術が例えば特許文献1に提案されている。
【0003】
この特許文献1に開示された欠陥検出装置は、移動荷重を生じさせる移動体が走行する構造物の欠陥を検出する構造物の欠陥検出装置であって、前記移動体に設置された赤外線カメラと、前記赤外線カメラにより前記移動体が走行することにより応力変動が生じている前記構造物を撮影して得られた熱画像における温度分布変動から、前記構造物の欠陥を検出する情報処理部とを具備する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008-8705号公報(特許第4898320号公報)
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、画像を生成する際の撮像条件が異なると同じ被写体でも写り方が異なって画像が変化してしまうため、画像から欠陥を検出する場合、精度よく検出するためには、前記撮像条件が一定であることが望まれ、前記撮像条件が変わると誤検出する虞がある。前記特許文献1に開示された欠陥検出装置のように、カメラ(撮像部)を移動しながら時系列な複数の画像を連続的に撮像する場合、検査対象だけでなく、検査対象の背景が写り込むと、前記背景が変化するために、撮像条件が一定にならずに変化してしまう。また、定点観測で経時的に検査対象を撮像する場合でも、検査対象が屋外に在ると、天候の違いや雲の流れ等により背景が変化するため、撮像条件が一定にならずに変化してしまう。検査対象が屋内に在る場合でも、検査対象に外光が影響する場合は、同様に、明るさやコントラスト等の撮像条件が一定にならずに変化してしまう。
【0006】
本発明は、上述の事情に鑑みて為された発明であり、その目的は、背景等の欠陥と無関係な部分の画像が変化する場合でも、より精度よく欠陥を検出できる欠陥検出装置、欠陥検出方法および欠陥検出プログラムを提供することである。
【課題を解決するための手段】
【0007】
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる欠陥検出装置は、検査対象の構造物に形成された欠陥を検出する装置であって、互いに異なる複数の時点および互いに異なる複数の位置のうちの少なくとも一方で撮像された前記構造物の複数の画像を取得する画像取得部と、機械学習後の推定モデルを用いることによって、前記画像取得部によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定部と、前記画像取得部によって取得された前記構造物の複数の画像のうちの少なくとも1個の画像について、前記1個の画像に基づいて前記推定部から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する欠陥判定部と、前記画像取得部によって取得された前記構造物の複数の画像に基づいて、前記欠陥判定部で前記欠陥の有無を判定する際に利用される所定のパラメータを生成するパラメータ生成部とを備え、前記欠陥判定部は、前記パラメータ生成部で生成したパラメータを利用することによって、前記1個の画像に基づいて前記推定部から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する。好ましくは、上述の欠陥検出装置において、前記画像取得部は、前記構造物の画像を生成する撮像装置である。好ましくは、上述の欠陥検出装置において、前記画像取得部は、外部の機器との間でデータを入出力するインターフェース回路であり、前記外部の機器は、前記構造物の画像を記憶した記憶媒体である。好ましくは、上述の欠陥検出装置において、前記画像取得部は、外部の機器との間でデータを入出力するインターフェース回路であり、前記外部の機器は、前記構造物の画像を記録した記録媒体からデータを読み込むドライブ装置である。好ましくは、上述の欠陥検出装置において、前記画像取得部は、外部の機器と通信信号を送受信する通信インターフェース回路であって、前記外部の機器は、ネットワークを介して前記通信インターフェース回路に接続され、前記構造物の画像を管理するサーバ装置である。好ましくは、上述の欠陥検出装置において、前記推定モデルは、ニューラルネットワーク、サポートベクターマシンおよびランダムフォレスト等の機械学習に用いる手法を利用した機械学習モデルを備えて構成される。好ましくは、前記ニューラルネットワークは、例えば畳み込みニューラルネットワーク(CNN)等の深層学習に利用されるニューラルネットワークである。
【0008】
同様な欠陥でも、前記推定部から出力される確率は、前記構造物の画像における前記構造物の写り方に応じて変化する虞があるが、上記欠陥検出装置は、前記構造物の複数の画像に基づいて、前記欠陥の有無を判定する際に利用される所定のパラメータを生成し、このパラメータを利用することによって画像の構造物に形成された欠陥の有無を判定するので、前記構造物の写り方をパラメータに反映できるから、前記構造物の写り方を反映して画像の構造物に形成された欠陥の有無を判定できる。したがって、上記欠陥検出装置は、背景等の欠陥と無関係な部分の画像が変化する場合でも、より精度よく欠陥を検出できる。
【0009】
他の一態様では、上述の欠陥検出装置において、前記パラメータ生成部は、前記画像取得部によって取得された、互いに異なる複数の位置で撮像された前記構造物の複数の画像それぞれについて前記推定部から出力された複数の確率をローパスフィルタでフィルタリングするローパスフィルタ部と、前記ローパスフィルタ部でフィルタリングしたフィルタリング結果に基づいて前記パラメータを生成する生成部とを備える。好ましくは、上述の欠陥検出装置において、前記複数の画像は、撮像装置を移動しながら前記検査対象を撮像して生成した動画である。好ましくは、前記検査対象は、前記撮像装置の画角より大きい構造物である。
【0010】
前記構造物の複数の画像が動画の各フレームである場合、誤検出して現れる確率(ノイズ)は、散発的に生じるため、時系列で連続する前記構造物の複数の画像(前記動画の各フレーム)に基づいて前記推定部から出力される時系列な複数の確率において、高周波成分となる。上記欠陥検出装置は、前記構造物の複数の画像それぞれについて前記推定部から出力された複数の確率をローパスフィルタでフィルタリングするので、高周波成分が除かれ、前記誤検出して現れる確率(ノイズ)を低減できる。したがって、上記欠陥検出装置は、より適切に前記パラメータを求めることができ、背景等の欠陥と無関係な部分の画像が変化する場合でも、より精度よく欠陥を検出できる。
【0011】
他の一態様では、上述の欠陥検出装置において、前記ローパスフィルタ部は、前記ローパスフィルタとして移動平均を用いる。
【0012】
これによれば、前記ローパスフィルタとして移動平均を用いるローパスフィルタ部を備えた欠陥検出装置が提供できる。
【0013】
他の一態様では、これら上述の欠陥検出装置において、前記構造物の複数の画像それぞれについて、欠陥の有無を入力する入力部をさらに備え、前記パラメータは、前記欠陥の有無を判定する判定閾値であり、前記生成部は、前記ローパスフィルタ部でフィルタリングしたフィルタリング結果のうちの、前記入力部で欠陥有りと入力された前記構造物の画像に対応するフィルタリング結果の平均値および標準偏差を求め、前記求めた平均値および標準偏差に基づいて前記パラメータを求める。
【0014】
このような欠陥検出装置は、例えばオペレータ等によって欠陥の有無が判定され、この精度の良い判定結果が入力部から入力され、入力部で欠陥有りと入力された前記構造物の画像に対応するフィルタリング結果に基づいて前記パラメータを求めるので、より適切に前記パラメータを求めることができ、前記パラメータを試行錯誤して決定する必要が無い。
【0015】
他の一態様では、上述の欠陥検出装置において、前記パラメータ生成部は、前記画像取得部によって取得された互いに異なる複数の時点で撮像された前記構造物の複数の画像それぞれについて前記推定部から出力された複数の確率の平均値および標準偏差を求め、前記求めた平均値および標準偏差に基づいて前記パラメータを求める。好ましくは、上述の欠陥検出装置において、前記複数の画像は、前記検査対象を定点で経時的に撮像して生成した複数の静止画である。
【0016】
定点観測で経時的に検査対象を撮像する場合でも、誤検出して現れる確率(ノイズ)は、散発的に生じる。上記欠陥検出装置は、前記構造物の複数の画像それぞれについて前記推定部から出力された複数の確率の平均値を求めるので、複数の静止画において、前記構造物の複数の画像それぞれについて前記推定部から出力された複数の確率に対する、誤検出して現れる確率(ノイズ)の比率を低減できる。上記欠陥検出装置は、このような平均値および標準偏差に基づいて前記パラメータを求めるので、より適切に前記パラメータを求めることができ、背景等の欠陥と無関係な部分の画像が変化する場合でも、より精度よく欠陥を検出できる。
【0017】
本発明の他の一態様にかかる欠陥検出方法は、検査対象の構造物に形成された欠陥を検出する方法であって、互いに異なる複数の時点および互いに異なる複数の位置のうちの少なくとも一方で撮像された前記構造物の複数の画像を取得する画像取得工程と、機械学習後の推定モデルを用いることによって、前記画像取得工程によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定工程と、前記画像取得工程によって取得された前記構造物の複数の画像のうちの少なくとも1個の画像について、前記1個の画像に基づいて前記推定工程から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する欠陥判定工程と、前記画像取得工程によって取得された前記構造物の複数の画像に基づいて、前記欠陥判定工程で前記欠陥の有無を判定する際に利用される所定のパラメータを生成するパラメータ生成工程とを備え、前記欠陥判定工程は、前記パラメータ生成工程で生成したパラメータを利用することによって、前記1個の画像に基づいて前記推定工程から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する。
【0018】
本発明の他の一態様にかかる欠陥検出プログラムは、検査対象の構造物に形成された欠陥を検出するプログラムであって、コンピュータに、互いに異なる複数の時点および互いに異なる複数の位置のうちの少なくとも一方で撮像された前記構造物の複数の画像を取得する画像取得工程と、機械学習後の推定モデルを用いることによって、前記画像取得工程によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定工程と、前記画像取得工程によって取得された前記構造物の複数の画像のうちの少なくとも1個の画像について、前記1個の画像に基づいて前記推定工程から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する欠陥判定工程と、前記画像取得工程によって取得された前記構造物の複数の画像に基づいて、前記欠陥判定工程で前記欠陥の有無を判定する際に利用される所定のパラメータを生成するパラメータ生成工程とを実行させるためのプログラムであって、前記欠陥判定工程は、前記パラメータ生成工程で生成したパラメータを利用することによって、前記1個の画像に基づいて前記推定工程から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する。
【0019】
このような欠陥検出方法および欠陥検出プログラムは、前記構造物の複数の画像に基づいて、前記欠陥の有無を判定する際に利用される所定のパラメータを生成し、このパラメータを利用することによって画像の構造物に形成された欠陥の有無を判定するので、前記構造物の写り方をパラメータに反映できるから、前記構造物の写り方を反映して画像の構造物に形成された欠陥の有無を判定できる。したがって、上記欠陥検出方法および欠陥検出プログラムは、背景等の欠陥と無関係な部分の画像が変化する場合でも、より精度よく欠陥を検出できる。
【発明の効果】
【0020】
本発明にかかる欠陥検出装置、欠陥検出方法および欠陥検出プログラムは、背景等の欠陥と無関係な部分の画像が変化する場合でも、より精度よく欠陥を検出できる。
【図面の簡単な説明】
【0021】
図1】実施形態における欠陥検出装置の構成を示すブロック図である。
図2】パラメータの設定に関し、前記欠陥検出装置の動作を示すフローチャートである。
図3】欠陥の一例として、亀裂を生じている構造物の画像を示す図である。
図4】推定部による理想的な推定結果を示す図である。
図5】前記パラメータの設定手法を説明するための図である。
【発明を実施するための形態】
【0022】
以下、図面を参照して、本発明の1または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
【0023】
実施形態における欠陥検出装置は、検査対象の構造物に形成された欠陥を検出する装置である。この欠陥検出装置は、互いに異なる複数の時点および互いに異なる複数の位置のうちの少なくとも一方で撮像された前記構造物の複数の画像を取得する画像取得部と、機械学習後の推定モデルを用いることによって、前記画像取得部によって取得された前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する推定部と、前記画像取得部によって取得された前記構造物の複数の画像のうちの少なくとも1個の画像について、前記1個の画像に基づいて前記推定部から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する欠陥判定部と、前記画像取得部によって取得された前記構造物の複数の画像に基づいて、前記欠陥判定部で前記欠陥の有無を判定する際に利用される所定のパラメータを生成するパラメータ生成部とを備える。そして、前記欠陥判定部は、前記パラメータ生成部で生成したパラメータを利用することによって、前記1個の画像に基づいて前記推定部から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する。以下、このような欠陥検出装置について、より具体的に説明する。
【0024】
図1は、実施形態における欠陥検出装置の構成を示すブロック図である。本実施形態における欠陥検出装置Sは、例えば、図1に示すように、画像取得部1と、制御処理部2と、入力部3と、出力部4と、インターフェース部(IF部)5と、記憶部6とを備える。
【0025】
画像取得部1は、制御処理部2に接続され、制御処理部2の制御に従って、互いに異なる複数の時点および互いに異なる複数の位置のうちの少なくとも一方で撮像された、検査対象の構造物の複数の画像を取得する装置である。前記構造物は、例えば、道路、橋梁、建物、クレーン、ダムおよび堤防等であり、欠陥検出装置Sは、このような構造物の表面、表面近傍および内部等に形成された欠陥を検出する。画像取得部1は、例えば、構造物を撮像することによって前記構造物の画像を生成する撮像装置である。前記撮像装置は、例えば、X線画像を生成するX線撮像装置、可視光の画像を生成する可視カメラ、赤外線(赤外光)の画像を生成する赤外線カメラ、および、構造物のサーモグラフフィー(熱分布画像)を生成するサーモグラフィカメラ等である。なお、この場合において、撮像対象は、構造物そのものであっても良いし、浸透探傷試験および磁粉探傷試験等の方法により処理された構造物表面の模様等であっても良い。ここで、前記浸透探傷試験および前記磁粉探傷試験は、JISZ2300に規定された試験方法をいう。この画像取得部1としての撮像装置は、有線または無線によって制御処理部2に接続されて良い。あるいは、画像取得部1は、例えば、外部の機器との間でデータを入出力するインターフェース回路である。前記外部の機器は、前記構造物の画像を記憶した、例えばUSB(Universal Serial Bus)メモリおよびSDカード(登録商標)等の記憶媒体である。あるいは、前記外部の機器は、前記構造物の画像を記録した、例えばCD-ROM(Compact Disc Read Only Memory)、CD-R(Compact Disc Recordable)、DVD-ROM(Digital Versatile Disc Read Only Memory)およびDVD-R(Digital Versatile Disc Recordable)等の記録媒体からデータを読み込むドライブ装置である。この画像取得部1としてのインターフェース回路は、有線または無線によって前記外部の機器に接続されて良い。あるいは、画像取得部1は、例えば、外部の機器と通信信号を送受信する通信インターフェース回路であって、前記外部の機器は、ネットワーク(WAN(Wide Area Network、公衆通信網を含む))あるいはLAN(Local Area Network)を介して前記通信インターフェース回路に接続され、前記構造物の画像を管理するサーバ装置である。なお、画像取得部1がインターフェース回路や通信インターフェース回路である場合では、画像取得部1は、IF部5と兼用されても良い(すなわち、IF部5が画像取得部1として用いられても良い)。
【0026】
入力部3は、制御処理部2に接続され、例えば当該欠陥検出装置Sによって前記構造物に形成された欠陥の有無に関する確率(欠陥存在確率)の推定開始(演算開始)を指示するコマンド等の各種コマンド、および、例えば前記構造物の複数の画像の名称(例えば画像のシリアル番号や構造物の名称等)等の、前記当該欠陥検出装置の稼働を行う上で必要な各種データを欠陥検出装置Sに入力する装置であり、例えば、所定の機能を割り付けられた複数の入力スイッチ、キーボードおよびマウス等である。そして、本実施形態では、入力部3は、後述の所定のパラメータを設定されるために、前記構造物の複数の画像それぞれについて、その欠陥の有無(オペレータ(ユーザ、技術者等)が欠陥の有無を判定したオペレータの判定結果)をオペレータより受け付ける。
【0027】
出力部4は、制御処理部2に接続され、制御処理部2の制御に従って、入力部3から入力されたコマンドやデータ、および、当該欠陥検出装置Sによって推定(演算)された前記確率や欠陥の有無の判定結果等を出力する装置であり、例えばCRTディスプレイ、LCD(液晶表示装置)および有機ELディスプレイ等の表示装置やプリンタ等の印刷装置等である。
【0028】
なお、入力部3および出力部4は、タッチパネルより構成されてもよい。このタッチパネルを構成する場合において、入力部3は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部4は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な1または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置に触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として欠陥検出装置Sに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い欠陥検出装置Sが提供される。
【0029】
IF部5は、制御処理部2に接続され、制御処理部2の制御に従って、例えば、外部の機器との間でデータを入出力する回路であり、例えば、シリアル通信方式であるRS-232Cのインターフェース回路、Bluetooth(登録商標)規格を用いたインターフェース回路、および、USB規格を用いたインターフェース回路等である。また、IF部5は、例えば、データ通信カードや、IEEE802.11規格等に従った通信インターフェース回路等の、外部の機器と通信信号を送受信する通信インターフェース回路であっても良い。
【0030】
記憶部6は、制御処理部2に接続され、制御処理部2の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、欠陥検出装置Sの各部1、3~6を制御する制御プログラムや、機械学習後の推定モデルを用いることによって、画像取得部1によって取得された構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率(欠陥存在確率)を出力する推定プログラムや、画像取得部1によって取得された前記構造物の複数の画像のうちの少なくとも1個の画像について、前記1個の画像に基づいて前記推定プログラムから出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する欠陥判定プログラムや、画像取得部1によって取得された前記構造物の複数の画像に基づいて、前記欠陥判定プログラムで前記欠陥の有無を判定する際に利用される所定のパラメータを生成するパラメータ生成プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、画像取得部1によって取得された前記構造物の画像、前記推定プログラムによって求められた前記確率、前記パラメータ生成プログラムによって求められた前記パラメータ等の、これら各プログラムを実行する上で必要なデータが含まれる。このような記憶部6は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部6は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部2のワーキングメモリとなるRAM(Random Access Memory)等を含む。また、記憶部6は、比較的記憶容量の大きいハードディスク装置を備えて構成されても良い。
【0031】
制御処理部2は、欠陥検出装置Sの各部1、3~6を当該各部の機能に応じてそれぞれ制御し、構造物の複数の画像に基づいて、前記欠陥の有無を判定する際に利用される所定のパラメータを生成し、前記構造物に形成された欠陥を検出するための回路である。制御処理部2は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部2は、制御処理プログラムが実行されることによって、制御部21、推定部22、欠陥判定部23およびパラメータ生成部24を機能的に備える。
【0032】
制御部21は、当該欠陥検出装置Sの各部1、3~6を当該各部の機能に応じてそれぞれ制御し、欠陥検出装置Sの全体制御を司るものである。
【0033】
推定部22は、機械学習後の推定モデルを用いることによって、画像取得部1によって取得された構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率(欠陥存在確率)を出力するものである。すなわち、推定部22は、前記推定モデルを備えて構成される。前記推定モデルは、例えばニューラルネットワーク(neural Network)、サポートベクターマシン(Support Vector Machine、SVM)およびランダムフォレスト(random forest)等の機械学習に用いる手法を利用した機械学習モデルを備えて構成され、前記構造物の画像が入力されると、機械学習によって獲得した能力(欠陥検出能力)に従って、前記構造物の画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を出力する。このように画像が入力されるので、推定モデルにニューラルネットワークが利用される場合では、前記ニューラルネットワークは、例えば畳み込みニューラルネットワーク(CNN)等の深層学習に利用されるニューラルネットワークであることが好ましい。
【0034】
欠陥判定部23は、画像取得部1によって取得された前記構造物の複数の画像のうちの少なくとも1個の画像について、前記1個の画像に基づいて推定部22から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定するものである。もちろん、欠陥判定部23は、画像取得部1によって取得された前記構造物の複数の画像それぞれについて、当該画像に基づく推定部22から出力された確率に基づいて、当該画像の構造物に形成された欠陥の有無を判定してもよい。そして、本実施形態では、欠陥判定部23は、後述のようにパラメータ生成部24で生成したパラメータを利用することによって、前記1個の画像に基づいて推定部22から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する。
【0035】
パラメータ生成部24は、画像取得部1によって取得された前記構造物の複数の画像に基づいて、欠陥判定部23で前記欠陥の有無を判定する際に利用される所定のパラメータを生成するものである。本実施形態では、前記構造物の複数の画像は、例えば、動画の各フレームであり、より具体的には、前記動画は、当該動画を生成する撮像装置(カメラ)を移動しながら前記検査対象の前記構造物を撮像して生成した動画である。前記検査対象が前記撮像装置の画角より大きい構造物であるため、前記撮像装置を移動することによって前記検査対象の前記構造物全体が撮像される。
【0036】
パラメータ生成部24は、本実施形態では、機能的に、ローパスフィルタ部(LPF部)241と、生成部242とを備える。
【0037】
LPF部241は、画像取得部1によって取得された前記構造物の複数の画像それぞれについて、推定部22から出力された複数の確率をローパスフィルタでフィルタリングするものである。本実施形態では、LPF部241は、前記構造物の複数の画像が時系列に連続した動画の各フレームであるので、推定部22から出力された複数の確率も時系列に連続したものとなるから、前記ローパスフィルタとして移動平均を用いている。
【0038】
生成部242は、LPF部241でフィルタリングしたフィルタリング結果に基づいて前記パラメータを生成するものである。本実施形態では、オペレータによって入力部3から、前記構造物の複数の画像それぞれについて、欠陥の有無が入力され、生成部242は、LPF部241でフィルタリングしたフィルタリング結果のうちの、入力部3で欠陥有りと入力された前記構造物の画像に対応する確率のフィルタリング結果の平均値Pおよび標準偏差σを求め、これら求めた平均値Pおよび標準偏差σに基づいて前記パラメータを求める。このパラメータは、ここでは、前記欠陥の有無を判定する判定閾値Thである。例えば、判定閾値Thは、式1によって与えられる。
式1;Th=P-n×σ
ここで、nは、P>n×σを満たす実数であり、例えば、n=1やn=2等である。
【0039】
したがって、本実施形態では、欠陥判定部23は、画像取得部1によって取得された前記構造物の複数の画像のうちの少なくとも1個の画像について、前記1個の画像に基づいて推定部22から出力された確率と判定閾値Thとを比較し、前記1個の画像に基づいて推定部22から出力された確率が判定閾値Th以上である場合には、前記1個の画像に対し、欠陥有り(欠陥が写り込んだ画像)と判定し、前記1個の画像に基づいて推定部22から出力された確率が判定閾値Th未満である場合には、前記1個の画像に対し、欠陥無し(欠陥が写り込んでいない画像)と判定する。
【0040】
これら制御処理部2、入力部3、出力部4、IF部5および記憶部6は、例えば、デスクトップ型やノート型やタブレット型等のコンピュータによって構成可能である。
【0041】
次に、本実施形態の動作について説明する。図2は、パラメータの設定に関し、前記欠陥検出装置の動作を示すフローチャートである。図3は、欠陥の一例として、亀裂を生じている構造物の画像を示す図である。図4は、推定部による理想的な推定結果を示す図である。図5は、前記パラメータの設定手法を説明するための図である。図5Aは、一例として、推定部による推定結果を示す図であり、図5Bは、図5Aに示す結果をローパスフィルタでフィルタリングしたフィルタリング結果を示す図であり、図5Cは、複数の画像のうち、オペレータによって設定(入力)された欠陥有りの画像範囲を説明するための図である。図4および図5の各図において、その横軸は、時系列に撮像された画像に順に付された当該画像の画像番号、すなわち、撮像した時刻であり、その縦軸は、欠陥が存在する確率[%]、すなわち、前記確率(欠陥存在確率)である。
【0042】
まず、検査対象の構造物を撮像した動画が用意される。この動画のうちの一部、例えば、最初から所定時間経過までの動画における各フレームについて、オペレータによって欠陥の有無が判定される。そして、この欠陥の有無がオペレータによって最初から所定時間経過までの動画における各フレームに対応付けながら入力部3から入力される。そして、欠陥検出装置Sは、オペレータによって欠陥の有無が対応付けられた最初から所定時間経過までの動画における各フレームを用いて前記パラメータ、本実施形態では、判定閾値Thを求める(前処理)。そして、このように判定閾値Thの決定後、欠陥検出装置Sは、この判定閾値Thを利用することによって、前記所定時間経過後の動画における各フレームそれぞれについて、欠陥の有無を判定し、この判定結果を出力する(本処理、欠陥判定処理)。
【0043】
なお、上述では、前記前処理に最初から所定時間経過までの動画が用いられたが、これに限定されるものではなく、例えば、最初から第1時間の経過後から、最初から前記第1時間より長い第2時間の経過後までの動画等、適宜な動画の一部が用いられてよい。また、現場ごとに、欠陥の性状が様々であり、現場ごとにパラメータの調整が必要であるから、動画ごとに前処理が実行されることが好ましいが、前処理の実行によって得られたパラメータが、この前処理に用いられた動画の撮像条件と類似するとオペレータによって判断される他の動画における本処理に用いられてもよい。
【0044】
より具体的には、上述のようなオペレータによる欠陥の有無が判定され、準備が終了すると、欠陥検出装置Sは、その電源が投入され、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部2には、制御部21、推定部22、欠陥判定部23およびパラメータ生成部24が機能的に構成され、パラメータ生成部24には、LPF部241および生成部242が機能的に構成される。
【0045】
図2において、まず、欠陥検出装置Sは、画像取得部1によって、前記構造物の複数の画像、本実施形態では、前記構造物の動画を取得する(S1)。この取得された前記構造物の動画は、画像取得部1から制御処理部2へ出力され、制御処理部2によって記憶部6に記憶される。
【0046】
続いて、欠陥検出装置Sは、制御処理部2の推定部22によって、画像取得部1によって取得された前記構造物の動画における各フレームそれぞれについて、当該フレームの画像に基づいて、前記構造物に形成された欠陥の有無に関する確率を演算する(S2)。より具体的には、推定部22の推定モデルに、当該フレームの画像が入力され、前記推定モデルから、前記構造物に形成された欠陥の有無に関する確率Aが出力される。本実施形態では、欠陥有りの「有り確率Ap」が出力される。したがって、「有り確率Ap」が小さいほど、前記構造物の画像に欠陥が有る可能性が低く(すなわち、前記構造物の画像に欠陥が無い可能性が高く)、「有り確率Ap」が大きいほど、前記構造物の画像に欠陥が有る可能性が高い(すなわち、前記構造物の画像に欠陥が無い可能性が低い)。
【0047】
図3には、欠陥の有る画像の一例が示されている。図3に示す例の画像には、亀裂CKが構造物に生じており、この亀裂CKの上部に構造物である三角リブRBが前記画像に写り込んでいる。図3に示す画像は、赤外線カメラによる熱画像(温度が輝度値で表された画像)である。
【0048】
また、動画の一例として、クレーンに赤外線カメラがランウェイガーダに向けて設置され、前記クレーンの走行に合わせて前記赤外線カメラによってランウェイガーダが撮像され、前記一例の動画が生成される。この動画は、クレーンの走行に応じて赤外線カメラの視野(撮像位置)が移動するため、背景が各画像(フレーム)ごとに異なる、時系列に連続した複数の画像となる。この赤外線カメラは、例えば毎秒100枚(100fps)や毎秒150枚(150fps)等のフレームレートで撮像可能であり、クレーンは、秒速1mや秒速2mで走行する。このため、1個の欠陥が複数の画像(複数のフレーム)に写り込む場合がある。このような動画を推定部22に入力し、有り確率Apを求めると、理想的には、例えば、図4に示すような結果が得られる。すなわち、前記動画には、7個の欠陥1ないし欠陥7があり、各欠陥1~7が写り込んだ各画像(各フレーム)に対し、有り確率Ap=100[%]が推定部22から出力される。
【0049】
しかしながら、実際には、図5Aに示すように、各欠陥1~7が写り込んだ各画像(各フレーム)に対し、有り確率Ap=100[%]が必ずしも推定部22から出力されるわけではなく、有り確率Ap=100[%]未満の値が推定部22から出力される場合もある。それだけではなく、図5Aから分かるように、各欠陥1~7が写り込んだ各画像(各フレーム)ではない画像(欠陥の無い画像)に対し、有り確率Ap=0[%]より大きな値が推定部22から出力される場合もある。すなわち、ノイズが出力される。図5Aに示す例では、欠陥1が写り込んだ画像より時間的に前に撮像された数枚の画像にノイズが生じ、欠陥5が写り込んだ画像と欠陥6が写り込んだ画像との間に撮像された数枚の画像にノイズが生じている。このような誤検出して現れる有り確率Ap(ノイズ)は、散発的に生じるため、時系列で連続する前記構造物の複数の画像(前記動画の各フレーム)に基づいて推定部22から出力される時系列な複数の有り確率Apにおいて、高周波成分となる。
【0050】
このため、本実施形態では、図2に戻って、続いて、欠陥検出装置Sは、制御処理部2のパラメータ生成部24におけるLPF部241によって、前記動画の複数の画像(各フレーム)それぞれについて、推定部22から出力された複数の確率をローパスフィルタでフィルタリングする(S3、LPF処理)。本実施形態では、前記ローパスフィルタとして移動平均が用いられる。すなわち、LPF部241は、前記動画の複数の画像(各フレーム)それぞれについて、当該画像に対する確率と当該画像より所定の時間だけ前に撮像された複数の画像に対する各確率との平均を求める。前記所定の時間は、例えば、10枚や20枚等のフレームが撮像される時間であり、適宜に、予め設定される。
【0051】
このLPF処理により、上述の図5Aに示す結果は、図5Bに示すフィルタリング結果となる。図5Aに示す結果と、図5Bに示すフィルタリング結果とを比較すると分かるように、誤検出して現れる有り確率Ap(ノイズ)のレベルが低くなっている(前記ノイズの値が減少している)。
【0052】
続いて、欠陥検出装置Sは、制御処理部2のパラメータ生成部24における生成部242によって、LPF部241でフィルタリングしたフィルタリング結果に基づいてパラメータを生成する(S4)。より具体的には、このパラメータの生成では、まず、オペレータによって、入力部3から、欠陥の有無が、上述の例では最初から所定時間経過までの動画における各フレームに対応付けながら入力される。例えば、図5Bに示すフィルタリング結果が出力部4から出力され、図5Cに示すように、各欠陥1~欠陥7それぞれの開始画像および終了画像それぞれが入力部3を用いて指定され、入力される。図5Cでは、各欠陥1~欠陥7それぞれの開始画像および終了画像それぞれが縦軸に平行な縦線(垂直直線)α1~α14で図示されている。このように欠陥の有無が入力されると、生成部242は、LPF部241でフィルタリングした確率のフィルタリング結果のうちの、入力部3で欠陥有りと入力された前記構造物の画像に対応するフィルタリング結果の平均値Pおよび標準偏差σを求め、これら求めた平均値Pおよび標準偏差σに基づいて前記パラメータを求める。例えば、前記式1に従って前記パラメータとして判定閾値Thが求められる。例えば、n=1とされ、判定閾値Th=P-σが求められる。図5Cに示す例では、平均値Pは、63.4[%]であり(P=63.4)、標準偏差σは、30.2[%]であり(σ=30.2)、判定閾値Thが33.2[%]と求められる(Th=33.2、n=1)。図5Cから分かるように、このように求めた判定閾値Thによって、図5Bでは、一見するとノイズと見分け難い欠陥1および欠陥4と前記ノイズとが判別できる。
【0053】
このように前記前処理が実行され、続いて、次のように、前記本処理が実行される。
【0054】
図2に戻って、続いて、欠陥検出装置Sは、制御処理部2の欠陥判定部23によって、画像取得部1によって取得された前記構造物の複数の画像のうちの少なくとも1個の画像について、前記1個の画像に基づいて推定部22から出力された確率に基づいて、前記1個の画像の構造物に形成された欠陥の有無を判定する(S5)。より具体的には、欠陥判定部23は、画像取得部1によって取得された前記構造物の複数の画像のうちの少なくとも1個の画像について、前記1個の画像に基づいて推定部22から出力された確率と判定閾値Thとを比較し、前記1個の画像に基づいて推定部22から出力された確率が判定閾値Th以上である場合には、前記1個の画像に対し、欠陥有り(欠陥が写り込んだ画像)と判定し、前記1個の画像に基づいて推定部22から出力された確率が判定閾値Th未満である場合には、前記1個の画像に対し、欠陥無し(欠陥が写り込んでいない画像)と判定する。例えば、前記所定時間経過後の動画における各フレームそれぞれについて、欠陥の有無が判定される。
【0055】
続いて、欠陥検出装置Sは、制御処理部2によって、処理S5で求めた、前記所定時間経過後の動画における各フレームそれぞれについての各判定結果を出力部4から出力し(S6)、本処理を終了する。なお、必要に応じて、各判定結果は、IF部5から外部の機器へ出力されてもよい。
【0056】
以上説明したように、実施形態における欠陥検出装置Sおよびこれに実装された欠陥検出方法は、前記構造物の複数の画像に基づいて、前記欠陥の有無を判定する際に利用される所定のパラメータを生成し、このパラメータを利用することによって画像の構造物に形成された欠陥の有無を判定するので、前記構造物の写り方をパラメータに反映できるから、前記構造物の写り方を反映して画像の構造物に形成された欠陥の有無を判定できる。したがって、上記欠陥検出装置Sおよび欠陥検出方法は、背景等の欠陥と無関係な部分の画像が変化する場合でも、より精度よく欠陥を検出できる。
【0057】
上記欠陥検出装置Sおよび欠陥検出方法は、前記構造物の複数の画像それぞれについて推定部22から出力された複数の確率をローパスフィルタでフィルタリングするので、高周波成分が除かれ、前記誤検出して現れる確率(ノイズ)を低減できる。したがって、上記欠陥検出装置Sおよび欠陥検出方法は、より適切に前記パラメータを求めることができ、背景等の欠陥と無関係な部分の画像が変化する場合でも、より精度よく欠陥を検出できる。
【0058】
上記欠陥検出装置Sおよび欠陥検出方法は、例えばオペレータ等によって欠陥の有無が判定され、この精度の良い判定結果が入力部3から入力され、入力部3で欠陥有りと入力された前記構造物の画像に対応するフィルタリング結果に基づいて前記パラメータを求めるので、より適切に前記パラメータを求めることができ、前記パラメータを試行錯誤して決定する必要が無い。
【0059】
本実施形態によれば、前記ローパスフィルタとして移動平均を用いるLPF部241を備えた欠陥検出装置Sが提供できる。
【0060】
なお、上述の実施形態では、前記構造物の複数の画像として動画、図5に示す例では互いに異なる複数の時点および互いに異なる複数の位置で撮像された動画が用いられたが、前記構造物の複数の画像は、互いに異なる複数の時点で撮像された複数の静止画であってもよい。例えば、前記複数の静止画は、前記検査対象の構造物を定点で経時的に撮像して生成した複数の静止画である。この場合、パラメータ生成部24は、画像取得部1によって取得された前記構造物の複数の画像それぞれについて推定部22から出力された複数の確率の平均値および標準偏差を求め、これら求めた平均値および標準偏差に基づいて前記パラメータを求める。前記パラメータは、例えば、前記欠陥の有無を判定する判定閾値である。
【0061】
定点観測で経時的に検査対象の構造物を撮像する場合でも、誤検出して現れる確率(ノイズ)は、散発的に生じる。上記欠陥検出装置Sおよび欠陥検出方法は、前記構造物の複数の画像それぞれについて推定部22から出力された複数の確率の平均値を求めるので、複数の静止画において、前記構造物の複数の画像それぞれについて推定部22から出力された複数の確率に対する、誤検出して現れる確率(ノイズ)の比率を低減できる。上記欠陥検出装置Sおよび欠陥検出方法は、このような平均値および標準偏差に基づいて前記パラメータを求めるので、より適切に前記パラメータを求めることができ、背景が変化する場合でも、より精度よく欠陥を検出できる。
【0062】
また、上述において、定点観測では無く、前記構造物の複数の画像は、互いに異なる複数の位置で撮像された複数の静止画であってもよい。例えば、1枚で写しきれない長尺な構造物を互いに異なる複数の位置で撮像して生成した複数の静止画である。このような場合でも、位置の違いによって背景や照明の当たり方が異なるので、誤検出して現れる確率(ノイズ)の比率を低減できる。
【0063】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【符号の説明】
【0064】
S 欠陥検出装置
1 画像取得部
2 制御処理部
3 入力部
22 推定部
23 欠陥判定部
24 パラメータ生成部
241 ローパスフィルタ部(LPF部)
242 生成部
図1
図2
図3
図4
図5