(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-11
(45)【発行日】2023-09-20
(54)【発明の名称】表面の不具合検査方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20230912BHJP
G06T 7/00 20170101ALI20230912BHJP
【FI】
G01N21/88 J
G06T7/00 610
(21)【出願番号】P 2018235228
(22)【出願日】2018-12-17
【審査請求日】2021-11-17
(73)【特許権者】
【識別番号】000000549
【氏名又は名称】株式会社大林組
(74)【代理人】
【識別番号】110000176
【氏名又は名称】弁理士法人一色国際特許事務所
(72)【発明者】
【氏名】中林 拓馬
(72)【発明者】
【氏名】和田 后司
【審査官】三宅 克馬
(56)【参考文献】
【文献】特開2016-142601(JP,A)
【文献】特開2017-054239(JP,A)
【文献】特開2018-195001(JP,A)
【文献】特開2018-190329(JP,A)
【文献】国際公開第2018/037689(WO,A1)
【文献】特開2012-202858(JP,A)
【文献】特開2016-065809(JP,A)
【文献】国際公開第2019/009214(WO,A1)
【文献】国際公開第2018/025356(WO,A1)
【文献】国際公開第2015/133287(WO,A1)
【文献】特開2018-074757(JP,A)
【文献】特開2008-281580(JP,A)
【文献】特開平6-94643(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84 - G01N 21/958
G06T 7/00 - G06T 7/90
(57)【特許請求の範囲】
【請求項1】
製造物又は施工物の表面の不具合検査方法であって、
サンプルとするサンプル表面を撮像したサンプル画像と、前記サンプル表面のサンプル不具合部を所定条件に基づいて前記サンプル表面のサンプル健全部と前記サンプル画像上で第一色の着色により識別化した不具合部識別化画像と、を関連付けて機械学習させた不具合部学習情報と、
検査対象とする検査対象表面を撮像した検査対象画像と、を用いて、
前記検査対象表面の検査対象不具合部を検査
し、
前記不具合部学習情報、及び、
サンプルとするサンプル表面を撮像したサンプル画像と、該サンプル画像に含まれ検査対象から除外されるサンプル除外部を除外部所定条件に基づいて前記サンプル画像のサンプル非除外部と前記サンプル画像上で前記第一色と異なる第二色の着色により識別化した除外部識別化画像と、を関連付けて機械学習させた除外部学習情報に基づいて、
検査対象除外部を含む前記検査対象画像から前記検査対象不具合部及び前記検査対象除外部を検出することを特徴とする表面の不具合検査方法。
【請求項2】
製造物又は施工物の表面の不具合検査方法であって、
サンプルとするサンプル表面を撮像したサンプル画像と、前記サンプル表面のサンプル不具合部を所定条件に基づいて前記サンプル表面のサンプル健全部と前記サンプル画像上で第一色の着色により識別化した不具合部識別化画像と、を関連付けて機械学習させた不具合部学習情報と、
検査対象とする検査対象表面を撮像した検査対象画像と、を用いて、
前記検査対象表面の検査対象不具合部を検査
し、
前記所定条件は、技術員が評価した評価値を除き、前記サンプル表面の実物において前記サンプル不具合部と認められる輪郭又は凹凸を含む形状、色、輝度、模様、大きさ、太さ、長さのいずれか1つ以上の条件であることを特徴とする表面の不具合検査方法。
【請求項3】
請求項1
又は請求項2に記載の表面の不具合検査方法であって、
前記不具合部学習情報は、畳み込みニューラルネットワークを利用して機械学習させた情報であることを特徴とする表面の不具合検査方法。
【請求項4】
請求項1乃至請求項3のいずれかに記載の表面の不具合検査方法であって、
前記検査対象表面を、互いに隣り合う前記検査対象画像に重複部分が形成されるように複数に分割して撮像することにより、複数の前記検査対象画像を取得し、
取得された前記検査対象画像から、前記不具合部学習情報に基づいて前記検査対象不具合部を検出することを特徴とする表面の不具合検査方法。
【請求項5】
請求項4に記載の表面の不具合検査方法であって、
前記所定条件は、前記サンプル不具合部の長さ条件を含み、
当該長さ条件において、最小サンプル不具合部の長さを所定長さと設定した際には、前記検査対象画像の前記重複部分の重複幅を、前記所定長さより大きく前記検査対象画像の幅よりも小さい値に設定することを特徴とする表面の不具合検査方法。
【請求項6】
請求項1乃至請求項5のいずれかに記載の表面の不具合検査方法であって、
前記検査対象画像を複数に分割して互いに隣り合う分割画像に重複部分が形成されるように複数の前記分割画像を生成し、
生成された前記分割画像から、前記不具合部学習情報に基づいて前記検査対象不具合部を検出することを特徴とする表面の不具合検査方法。
【請求項7】
請求項6に記載の表面の不具合検査方法であって、
前記所定条件は、前記サンプル不具合部の長さ条件を含み、
当該長さ条件において、最小サンプル不具合部の長さを所定長さと設定した際には、前記分割画像の前記重複部分の重複幅を、前記所定長さより大きく前記分割画像の幅よりも小さい値に設定することを特徴とする表面の不具合検査方法。
【請求項8】
請求項1乃至
請求項7のいずれかに記載の表面の不具合検査方法であって、
前記検査対象表面の検査対象不具合部の検査として、
前記検査対象不具合部の検査対象不具合部毎の最長径若しくは面積、又は前記検査対象表面における前記検査対象不具合部の面積率を算出することを特徴とする表面の不具合検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表面の不具合検査方法に関する。
【背景技術】
【0002】
検査対象とする検査対象表面を撮像した検査対象画像と、検査対象の不具合部を機械学習させた不具合部学習情報と、を用いて、検査対象表面の不具合を検査する表面の不具合検査方法は、既によく知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の表面の不具合検査においては、検査対象の不具合部の画像と、該不具合部を複数の技術員が評価した評価値と、の組み合わせを複数用いて機械学習させた不具合部学習情報により、表面の不具合検査が行われていた。そのため、従来の不具合部学習情報には、技術員間の評価値のばらつきが存在していた。
【0005】
本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、表面の不具合検査を高精度化することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するための主たる発明は、製造物又は施工物の表面の不具合検査方法であって、サンプルとするサンプル表面を撮像したサンプル画像と、前記サンプル表面のサンプル不具合部を所定条件に基づいて前記サンプル表面のサンプル健全部と前記サンプル画像上で第一色の着色により識別化した不具合部識別化画像と、を関連付けて機械学習させた不具合部学習情報と、検査対象とする検査対象表面を撮像した検査対象画像と、を用いて、前記検査対象表面の検査対象不具合部を検査し、前記不具合部学習情報、及び、サンプルとするサンプル表面を撮像したサンプル画像と、該サンプル画像に含まれ検査対象から除外されるサンプル除外部を除外部所定条件に基づいて前記サンプル画像のサンプル非除外部と前記サンプル画像上で前記第一色と異なる第二色の着色により識別化した除外部識別化画像と、を関連付けて機械学習させた除外部学習情報に基づいて、検査対象除外部を含む前記検査対象画像から前記検査対象不具合部及び前記検査対象除外部を検出することを特徴とする表面の不具合検査方法である。
【0007】
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
【発明の効果】
【0008】
本発明によれば、表面の不具合検査を高精度化することが可能となる。
【図面の簡単な説明】
【0009】
【
図1】ベースプレート3のコンクリート打設時の側面断面図である。
【
図3】サンプル画像30S及び不具合部識別化画像32Sである。
【
図6】除外部識別化画像34S及び除外部識別化画像36Sである。
【
図7】サンプル画像30S、及び除外部識別化画像34S又は除外部識別化画像36Sの作製フローチャートである。
【
図8】コンクリート表面10の検査フローチャートである。
【
図9】検査対象画像30の重複部分を説明するための図である。
【
図10】分割画像38の生成を説明するための模式図である。
【
図11】検出結果画像の生成を説明するための模式図である。
【発明を実施するための形態】
【0010】
本明細書及び添付図面により、少なくとも、以下の事項が明らかとなる。
【0011】
製造物又は施工物の表面の不具合検査方法であって、サンプルとするサンプル表面を撮像したサンプル画像と、前記サンプル表面のサンプル不具合部を所定条件に基づいて前記サンプル表面のサンプル健全部と前記サンプル画像上で識別化した不具合部識別化画像と、を関連付けて機械学習させた不具合部学習情報と、検査対象とする検査対象表面を撮像した検査対象画像と、を用いて、前記検査対象表面の検査対象不具合部を検査することを特徴とする表面の不具合検査方法。
【0012】
このような表面の不具合検査方法によれば、表面の不具合検査を高精度化することが可能となる。
【0013】
かかる表面の不具合検査方法であって、前記不具合部学習情報は、畳み込みニューラルネットワークを利用して機械学習させた情報であることが望ましい。
【0014】
このような表面の不具合検査方法によれば、不具合部学習情報を高精度化することが可能となる。
【0015】
かかる表面の不具合検査方法であって、前記不具合部学習情報、及び、サンプルとするサンプル表面を撮像したサンプル画像と、該サンプル画像に含まれ検査対象から除外されるサンプル除外部を除外部所定条件に基づいて前記サンプル画像のサンプル非除外部と前記サンプル画像上で識別化した除外部識別化画像と、を関連付けて機械学習させた除外部学習情報に基づいて、検査対象除外部を含む前記検査対象画像から前記検査対象不具合部及び前記検査対象除外部を検出することが望ましい。
【0016】
このような表面の不具合検査方法によれば、表面の不具合検査をより一層高精度化することが可能となる。
【0017】
かかる表面の不具合検査方法であって、前記検査対象表面を、互いに隣り合う前記検査対象画像に重複部分が形成されるように複数に分割して撮像することにより、複数の前記検査対象画像を取得し、取得された前記検査対象画像から、前記不具合部学習情報に基づいて前記検査対象不具合部を検出することが望ましい。
【0018】
このような表面の不具合検査方法によれば、学習装置の検出ミスを抑制することが可能となる。
【0019】
かかる表面の不具合検査方法であって、前記所定条件は、前記サンプル不具合部の長さ条件を含み、当該長さ条件において、最小サンプル不具合部の長さを所定長さと設定した際には、前記検査対象画像の前記重複部分の重複幅を、前記所定長さより大きく前記検査対象画像の幅よりも小さい値に設定することが望ましい。
【0020】
このような表面の不具合検査方法によれば、不具合部の検出に有効な範囲で重複部分を重複させることが可能となる。
【0021】
かかる表面の不具合検査方法であって、前記検査対象画像を複数に分割して互いに隣り合う分割画像に重複部分が形成されるように複数の分割画像を生成し、生成された前記分割画像から、前記不具合部学習情報に基づいて前記検査対象不具合部を検出することが望ましい。
【0022】
このような表面の不具合検査方法によれば、学習装置の検出ミスを抑制することが可能となる。
【0023】
かかる表面の不具合検査方法であって、前記所定条件は、前記サンプル不具合部の長さ条件を含み、当該長さ条件において、最小サンプル不具合部の長さを所定長さと設定した際には、前記分割画像の前記重複部分の重複幅を、前記所定長さより大きく前記分割画像の幅よりも小さい値に設定することが望ましい。
【0024】
このような表面の不具合検査方法によれば、不具合部の検出に有効な範囲で重複部分を重複させることが可能となる。
【0025】
かかる表面の不具合検査方法であって、前記所定条件は、前記サンプル表面の実物において前記サンプル不具合部と認められる輪郭又は凹凸を含む形状、色、輝度、模様、大きさ、太さ、長さのいずれか1つ以上の条件であることが望ましい。
【0026】
このような表面の不具合検査方法によれば、サンプル空隙か否かの判断ミスを抑制することが可能となる。
【0027】
かかる表面の不具合検査方法であって、前記検査対象表面の検査対象不具合部の検査として、前記検査対象不具合部の検査対象不具合部毎の最長径若しくは面積、又は前記検査対象表面における前記検査対象不具合部の面積率を算出することが望ましい。
【0028】
このような表面の不具合検査方法によれば、不具合部の検査項目を数値化して検査することが可能となる。
【0029】
===本実施の形態に係る表面の不具合検査方法について===
本実施の形態に係る表面の不具合検査方法は、プレキャストコンクリート等の製造物又は現場打ちコンクリート等の施工物の表面の不具合を検査する方法であって、機械学習済みの学習情報を記録したコンピュータ(以下、学習装置40ともいう。
図2参照)を用いて、検査対象表面の不具合を検査する方法である。
【0030】
以下では、表面の不具合検査方法の一例として、建築物等の免震装置を設置するためのベースプレート3のコンクリート打設時における不具合の検査であって、ベースプレート3が接するコンクリート表面10(検査対象表面に相当)の空隙20(検査対象不具合部に相当)の検査について説明する。
【0031】
<<<ベースプレート3におけるコンクリート表面10の表面検査について>>>
ベースプレート3のコンクリート打設は、
図1に示すように、ベースプレート3に設けられたホッパー5の上部からホッパー5内部へ生コンクリート1を流し込んで行われる。
図1は、ベースプレート3のコンクリート打設時の側面断面図である。
【0032】
ホッパー5内部は、ベースプレート3の下側まで貫通しており、生コンクリート1は、ホッパー5内部を経由して、ベースプレート3の下側の空間へ至る。
【0033】
該空間は、周囲が型枠で区切られており、生コンクリート1は、型枠の内側においてベースプレート3の下面に至るまで流し込まれる。つまり、該コンクリート打設は、ベースプレート3の下部空間を生コンクリート1で満たすようにして行われる。
【0034】
ベースプレート3は、建築物等に用いられる免震装置を正確な高さで設置するために設けられる鉄板である。そのため、ベースプレート3の下部に打設される生コンクリート1は、ベースプレート3と免震装置を介して建築物等の荷重を支持することとなる。すなわち、ベースプレート3の下部に打設される生コンクリート1は、硬化後に建築物等の構造体の一部となるので、建築物等を支持するための強度が求められる。
【0035】
したがって、該コンクリート打設時には、ベースプレート3の下面にしっかりと生コンクリート1が密着するように打設されるが、生コンクリート1から発生する気体等が生コンクリート1とベースプレート3の下面との間に残存することが知られている。
【0036】
そして、この残存した気体は、生コンクリート1が固まった後にコンクリート表面10の空隙20へと変化して残存し(
図9の(c)参照)、強度が必要とされる構造体としてのコンクリート表面10においては、この空隙20がコンクリート表面10とベースプレート3の密着度(接している面積)を低下させ、建築物等の品質に悪影響を及ぼすことが知られている。
【0037】
そのため、本実施の形態においては、この密着度を検査(合否判定)するために、コンクリート表面10に形成された個々の空隙20の面積を検査対象画像30から計測し、コンクリート表面10の空隙面積率を以下の式から算出する。
【0038】
コンクリート表面10の空隙面積率=空隙20の面積の総和/コンクリート表面10の面積
コンクリート表面10の空隙面積率の数値が小さければ、コンクリート表面10の単位面積辺りの空隙20の面積が少ないので、密着度が良好となる。
【0039】
本実施の形態においては、コンクリート表面10の空隙面積率の数値に閾値を設定して、コンクリート表面10の空隙面積率の数値が閾値より大きいか小さいかで密着度(空隙20の総面積ともいえる)を検査する。
【0040】
なお、検査対象画像30とは、本番(実際の施工)ではベースプレート3を本番のコンクリート表面10から取り外せないので、本番前に本番と略同一条件で生コンクリート1を打設してベースプレート3を取り外し、当該コンクリート表面10を本番のコンクリート表面10とみなして撮像することにより取得する画像のことである。
【0041】
また、ベースプレート3のコンクリート打設時における密着度の検査は、生コンクリート1の材料、打設環境等が毎回同じではないので、原則として、個々の建築物等に対して毎回行われる。
【0042】
<<<学習装置40について>>>
図2は、本実施の形態に係る学習装置40を示した図である。学習装置40には、検査対象画像30から空隙20を検出するために機械学習された空隙学習情報42(不具合部学習情報に相当)と、検査対象画像30から検査対象ではない除外部を検出するために機械学習された除外部学習情報44と、が記憶されており、検査対象画像30を入力する入力部(例えば、USB接続端子)と、検査結果を出力する出力部(例えば、ディスプレイ)と、が備えられている。
【0043】
つまり、学習装置40は、入力部から入力された検査対象画像30を空隙学習情報42、除外部学習情報44等を用いて処理し、コンクリート表面10の空隙面積率を算出して上記した密着度を検査し、出力部に該検査結果を出力する装置である。
【0044】
<空隙学習情報42について>
本実施の形態に係る空隙学習情報42は、深層学習(ディープラーニング)の1種である畳み込みニューラルネットワークを利用して機械学習させた情報であって、検査対象画像30における空隙20の画素を空隙と識別(セマンティック・セグメンテーション)することにより、コンクリート表面10の空隙20を検出するための情報である。
【0045】
図3は、サンプル画像30Sと不具合部識別化画像32Sを示しており、左図がサンプル画像30Sであり、右図が不具合部識別化画像32Sである。
【0046】
不具合部識別化画像32Sとは、サンプル表面10Sのサンプル空隙20S(サンプル不具合部に相当)を所定条件に基づいてサンプル表面10Sのサンプル健全部とサンプル画像30S上で識別化した画像である。
【0047】
そして、当該深層学習においては、
図3に示す複数(本実施の形態においては450組程度)のサンプル画像30S及び不具合部識別化画像32Sを見本として用いて機械学習を行う。
【0048】
つまり、例題として、サンプル画像30Sを問題(入力)とし、当該サンプル画像30Sの不具合部識別化画像32Sを答え(出力)とした教師ありの深層学習であって、複数の例題を解くことにより例題の正解率を上げていく深層学習が行われる。
【0049】
換言すれば、サンプル表面10Sを撮像したサンプル画像30Sと、サンプル画像30S上におけるサンプル空隙20Sを赤く着色(図では濃いグレーで表示)した不具合部識別化画像32S(つまり、本実施の形態における識別化行為は着色である)と、を関連付けて深層学習が行われる(より具体的には、画像ソフトが不具合部識別化画像32Sの色情報を画像処理にて読み取り、該色情報に基づいた分類インデックス(例えば、サンプル健全部を0、サンプル空隙20Sを1とした数値)と、サンプル画像30Sと、を関連付けて深層学習が行われる)。
【0050】
そして、かかる深層学習によって、検査対象画像30から空隙20を検出するための情報である機械学習済みの空隙学習情報42(所謂分類器)が生成される。
【0051】
なお、上記した不具合部識別化画像32Sを生成するための所定条件は、サンプル表面10Sにおいてサンプル空隙20Sと認められるサンプル表面10Sの外観情報に基づいている。
【0052】
すなわち、所定条件は、サンプル表面10Sの実物においてサンプル空隙20Sと認められる輪郭又は凹凸を含む形状、色、輝度、模様、大きさ、太さ、長さのいずれか1つ以上の条件である。
【0053】
本実施の形態に係るサンプル空隙20Sの所定条件は、空隙の輪郭と該空隙の長さ条件であり、空隙の輪郭の内側において最長となる直線の長さ(最長径に相当。以下、最長長さともいう。詳しくは後述する)が、5mm以上の空隙をサンプル空隙20Sとし、5mm未満の空隙は、サンプル空隙20Sに該当しないサンプル健全部(サンプル表面10Sのサンプル空隙20S以外の部分)とする。
【0054】
<サンプル画像30S及び不具合部識別化画像32Sの作製について>
以下では、
図3に示す、サンプル画像30S及び不具合部識別化画像32Sの作製(以下、サンプル作製ともいう)について、
図1、
図4、及び
図5を用いて説明する。
【0055】
図4は、サンプル作製のフローチャートであり、
図5は、最長長さを説明するための図である。
【0056】
本実施の形態においては、実際の施工に類似したサンプルを用いてサンプル作製を行う。つまり、サンプルベースプレート3S及びサンプルホッパー5Sを用意して、
図1のように組み立て、サンプルコンクリート1Sを用いて、サンプル画像30Sの取得のためのサンプルコンクリート1Sの打設を行う(
図4のS1)。
【0057】
次に、サンプルコンクリート1Sが硬化したら、サンプルホッパー5S及びサンプルベースプレート3Sを取り外して、サンプル表面10Sが確認できる状態とする。そして、作業員が、墨出し器でサンプル墨出し線をサンプル表面10Sに格子状に引いて、サンプル表面10Sをサンプル墨出し線で区画分け(分割)する。
【0058】
本実施の形態においては、格子状の1区画が縦×横=250mm×250mmとなるように区画分けしており、これは、後述するコンクリート表面10における区画分けと同じサイズである(
図4のS3)。
【0059】
そうしたら、作業員は、サンプル表面10Sのサンプル空隙20Sを確認する。すなわち、作業員は、サンプル表面10Sの空隙から最長長さが5mm以上の空隙を確認する。(
図4のS5)。
【0060】
ここで、最長長さとは、
図5に示す符号b及び符号cの矢印の直線の長さのことであり、左図は楕円空隙の場合、右図は実際の空隙を模した形状の場合、についてそれぞれ示している。
【0061】
楕円空隙の最長長さは、楕円空隙の長軸となる符号bで示した矢印の直線の長さとなる。すなわち、符号aで示した矢印の直線の長さは、符号bで示した長軸よりも短いので、最長長さには該当しない。そうすると、実際の空隙を模した空隙の最長長さは、符号cで示した矢印となる。
【0062】
つまり、作業員は、
図5に示すように空隙のどの部分が最長長さになるか判断して、サンプル表面10S上の全ての空隙に対して最長長さを確認し、サンプル空隙20Sに該当するか否かを確認する。
【0063】
より具体的には、空隙の最長長さが、サンプル表面10S上で明らかに5mmに達しない空隙、及び、明らかに5mmを超えている空隙の最長長さの測定は省略し、5mm付近の最長長さを有する空隙の最長長さを測定して、サンプル空隙20Sに該当するか否かを確認する(確認したサンプル空隙20Sには目印等をつけてもよい)。
【0064】
サンプル表面10Sの空隙の確認が完了したら、作業員は、上記区画分けした区画毎に、サンプル表面10Sの上方からサンプル表面10Sの写真をデジタルカメラ等で撮像し、複数のサンプル画像30Sを取得する(
図4のS7)。
【0065】
すべての区画を撮像(サンプル表面10Sの全体を撮像)したら、作業員は、画像の加工ができる画像ソフトをインストールしたコンピュータに、全てのサンプル画像30Sのデータをコピーする。
【0066】
そうしたら、作業員は、該画像ソフトを用いて全てのサンプル画像30Sの各々について、正対化処理として、台形補正(サンプル墨出し線が正方形になるように補正して、サンプル画像30Sをサンプル表面10Sの真上から撮像したものとする画像処理)→トリミング(サンプル墨出し線より外側の画像を削除して、サンプル画像30Sの外枠をサンプル墨出し線と一致させる画像処理)を行う。
【0067】
そして、このような正対化処理を行うことにより、各々のサンプル画像30Sの外枠の1辺が、サンプル表面10Sにおける250mmに対応するので、作業員は、全てのサンプル画像30Sの1辺に同一の画素数を割り当てる。
【0068】
すなわち、作業員は、サンプル画像30Sの外枠の1辺が2000画素になるように調整して、サンプル表面10S上の250mmがサンプル画像30S上において2000画素になるように設定する(
図4のS9)。
【0069】
そうしたら、上記の画素数設定により、5mm=40画素となるので、作業者は、5mm以上=サンプル画像30S上で40画素以上、の最長長さを有する空隙=サンプル空隙20Sを、サンプル画像30S上で再度確認する。
【0070】
そして、作業員は、サンプル画像30S上においてサンプル空隙20Sに該当すると確認した空隙の全てを、画像ソフトを用いて赤く着色して識別化し、不具合部識別化画像32Sを生成する(
図4のS11)。
【0071】
本実施の形態においては、このようにしてサンプル作製を行い、複数のサンプル画像30S及びこれに対応する不具合部識別化画像32Sを用いて上記した深層学習を行い、空隙学習情報42を生成する。
【0072】
<除外部学習情報44について>
前述したように、
図2に示す除外部学習情報44は、検査対象画像30から検査対象ではない除外部を検出するために機械学習された情報である。ここで、「除外部」とは、コンクリート表面10(サンプル表面10S)と、該表面の空隙20(サンプル空隙20S)以外の部分のことであり、例えば、
図3のサンプル画像30Sにおいては、サンプルボルト12Sとサンプル枠7Sが除外部に該当する。
【0073】
以下では、
図3のサンプル画像30Sを用いて機械学習された除外部学習情報44について説明する。すなわち、除外部学習情報44として、サンプルボルト12Sについて機械学習されたボルト学習情報44aと、サンプル枠7Sについて機械学習された枠学習情報44bを
図6、
図7を用いて説明する。
【0074】
図6は、
図3の右図である不具合部識別化画像32Sに対応する図であって、左図は、サンプルボルト12Sを青く着色(図においては右下がり斜線で表示)して識別化した除外部識別化画像34Sであり、右図は、サンプル枠7Sを緑で着色(図においては右上がり斜線で表示)して識別化した除外部識別化画像36Sである。
図7は後述する。
【0075】
ボルト学習情報44a(枠学習情報44b)は、上記した空隙学習情報42と同様に、深層学習の1種である畳み込みニューラルネットワークで機械学習させた情報として生成される。
【0076】
つまり、例題として、サンプル画像30Sを問題とし、除外部識別化画像34S(除外部識別化画像36S)を答えとした教師ありの深層学習が行われ、かかる深層学習によって、検査対象画像30からボルト12(枠7)を検出するための機械学習済みのボルト学習情報44a(枠学習情報44b)が生成される。
【0077】
換言すれば、サンプル表面10Sを撮像したサンプル画像30Sと、該サンプル画像30Sに含まれ検査対象から除外されるサンプルボルト12S(サンプル枠7S)を、除外部所定条件に基づいてサンプル画像30Sのサンプル非除外部(コンクリート表面10と該表面の空隙20)とサンプル画像30S上で識別化した除外部識別化画像34S(除外部識別化画像36S)と、を関連付けて深層学習が行われる。
【0078】
なお、上記した除外部所定条件としては、サンプル画像30S上のサンプルボルト12S(サンプル枠7S)の輪郭が該当する。
【0079】
図7は、
図4に対応する図であって、サンプル画像30S、及び除外部識別化画像34S又は除外部識別化画像36Sの作製フローチャートである。
【0080】
図7と
図4の相違点、すなわち、不具合部識別化画像32Sの生成手順と、除外部識別化画像34S又は除外部識別化画像36Sの生成手順との相違点は、
図4ではS9からS11へ工程が進むのに対し、
図7ではS9からS13又はS15へ工程が進む点である。すなわち、上記で説明した
図4のS1からS9までの処理は、
図7においても同じ処理である。
【0081】
したがって、作業員は、上記で不具合部識別化画像32Sの生成のために
図4のS1からS9までの処理を終えたサンプル画像30Sのサンプルボルト12S(サンプル枠7S)部分を、画像ソフトで青く(緑で)着色して識別化した除外部識別化画像34S(除外部識別化画像36S)を生成する(
図7のS13、S15)。
【0082】
そして、複数のサンプル画像30S及びこれに対応する除外部識別化画像34S(除外部識別化画像36S)を用いた深層学習が行われ、ボルト学習情報44a(枠学習情報44b)が生成される。
【0083】
<<<コンクリート表面10の空隙面積率の検査について>>>
次に、コンクリート表面10の空隙面積率(空隙20)の検査について、
図8乃至
図11を用いて説明する。
図8は、コンクリート表面10の検査フローチャートである。
図9乃至
図11は後述する。
【0084】
本実施の形態においては、コンクリート表面10を撮像した検査対象画像30を用いて、コンクリート表面10の空隙20を検査するため、前述したように、本番と略同一条件で生コンクリート1の打設を行い、生コンクリート1が固まった後にベースプレート3を取り外して、コンクリート表面10を撮像できる状態とする(
図8のS1)。
【0085】
コンクリート表面10が撮像できる状態となったら、作業員は、墨出し器で墨出し線14をコンクリート表面10に格子状に引いて(
図9参照)、コンクリート表面10を、格子状の1区画が縦×横=250mm×250mmとなるように区画分け(分割)する(
図8のS3)。
【0086】
墨出し線14による区画分けが完了したら、作業員は、コンクリート表面10の上方からコンクリート表面10を上記区画毎に撮像して複数の検査対象画像30を取得する。つまり、本実施の形態においては、取得された複数の検査対象画像30について空隙20の検出を行う。また、作業員は、区画毎に複数の検査対象画像30を撮像する際に、互いに隣り合う検査対象画像30に重複部分が形成されるように撮像して検査対象画像30を取得する。
【0087】
図9は、検査対象画像30の重複部分を説明するための図である。
図9の(a)は、検査対象画像30の撮像範囲T(一例として、小さな破線の正方形の範囲を、図中に縦横5×5=25箇所示す)が重複している様子を示した図であり、
図9の(b)は、互いに隣り合う撮像範囲Tの重複部分を拡大した図であり、
図9の(c)は、一例としての検査対象画像30である。
【0088】
図9の(a)に示すように、作業員は、区画分けした墨出し線14より外側の範囲まで撮像範囲Tを大きくしてコンクリート表面10を撮像する。そのため、隣り合う検査対象画像30には、互いに重複部分が形成される。
【0089】
本実施の形態においては、学習装置40が空隙学習情報42を用いて最長長さ=5mm以上の空隙を空隙20として検出するので、この重複部分を5mmより大きく重複させる。
【0090】
すなわち、作業員は、
図9の(b)の重複幅T1が5mmより大きくなるような撮像範囲Tであり、かつ、隣り合う検査対象画像30が完全に重複しないような撮像範囲Tでコンクリート表面10を撮像する。
【0091】
換言すれば、最小となるサンプル空隙20Sの最長長さを所定長さ(本実施の形態においては、5mm)に設定した際には、検査対象画像30の重複部分の重複幅T1を、当該所定長さ(本実施の形態においては、5mm)よりも大きく検査対象画像30の幅T2よりも小さい値に設定し、該設定に基づいて、作業員は、コンクリート表面10を撮像して検査対象画像30を取得する(
図8のS5)。
【0092】
このようにして、全ての区画を撮像(コンクリート表面10の全体を撮像)したら、作業員は、学習装置40の入力部から全ての検査対象画像30を学習装置40に読み込ませる。この読み込ませ方としては、例えば、学習装置40の入力部とデジタルカメラ等をケーブルで接続して読み込ませる方法でもよいし、タブレットで撮像した検査対象画像30を、タブレットの無線通信機能によってインターネット上の学習装置40の入力部に読み込ませる方法(所謂クラウドサービス)でもよい。
【0093】
そうしたら、作業員は、学習装置40に空隙20の検査を開始させる。すなわち、学習装置40は、読み込んだ検査対象画像30から空隙20を検出して検査する処理を実行する。なお、以下では、説明を解りやすくするために、検査対象画像30の一例として、
図9の(c)に示す検査対象画像30の模式図を用いて説明していく。
【0094】
検査が開始された学習装置40は、検査対象画像30に正対化処理を行って画素数を設定する。つまり、上記で説明したサンプル画像30Sに対して作業員が行った正対化処理及び画素数設定と同様の処理、すなわち、学習装置40は、台形補正→トリミング(又は墨出し線14を認識して区画の認識)を行い、検査対象画像30の外枠(又は墨出し線14の区画)の1辺が2000画素になるように調整して、コンクリート表面10上の250mmが検査対象画像30上における2000画素になるように設定する(
図8のS7)。
【0095】
次に、本実施の形態においては、検査対象画像30の画素数が2000×2000=400万画素となり、学習装置40の最大処理画素数を超えるので、学習装置40は、1枚の検査対象画像30を複数の分割画像38に分割して、学習装置40が処理する画像の画素数を学習装置40の最大処理画素数より小さくする。
【0096】
つまり、学習装置40は、検査対象画像30を分割して学習装置40が処理できる画素数の分割画像38を生成し、複数の分割画像38を処理することにより、1枚の検査対象画像30を処理する。
【0097】
そして、このように画像を分割して処理することにより、検査対象画像30の画素数を学習装置40の最大処理画素数より小さくしなくても、当該検査対象画像30を学習装置40が処理することができる。すなわち、画素数が多い検査対象画像30(解像度が高く詳細な情報を有した検査対象画像30)を用いて検査することができる。
【0098】
また、学習装置40は、上記した検査対象画像30を複数に分割する際に、互いに隣り合う分割画像38に重複部分が形成されるように複数の分割画像38を生成する。
【0099】
つまり、学習装置40は、
図10に示すように、隣り合う分割画像38が重複部分を形成するような分割範囲Uで検査対象画像30を分割して、複数の分割画像38を生成する。
【0100】
図10は、分割画像38の生成を説明するための模式図である。
図10の(a)は、正対化処理後の検査対象画像30に分割画像38の分割範囲U(一例として、小さな破線の正方形の範囲を、図中に縦横5×5=25箇所示す)が重複している様子を示した模式図であり、
図10の(b)は、互いに隣り合う分割範囲Uの重複部分を拡大した図であり、
図10の(c)は、分割後の検査対象画像30の模式図である。
【0101】
分割画像38の重複部分は、上記した撮像範囲Tの重複部分と同様に、5mmより大きく重複させて形成される。すなわち、
図10の(b)の重複幅U1が5mmより大きくなるように分割範囲Uが設定される。
【0102】
換言すれば、最小となるサンプル空隙20Sの最長長さを所定長さ(本実施の形態においては、5mm)に設定した際には、分割画像38の重複部分の重複幅U1を、当該所定長さ(本実施の形態においては、5mm)よりも大きく分割画像38の幅U2よりも小さい値に設定し、該設定に基づいて、学習装置40は、検査対象画像30を分割して分割画像38を生成する(
図8のS9)。
【0103】
次に、学習装置40は、検出結果画像を生成する。
図11は、検出結果画像の生成を説明するための模式図である。
図11の(a)は、学習装置40が空隙学習情報42を用いて分割画像38の空隙20を検出した結果(図では空隙20を白色で表示)を示す模式図であり、
図11の(b)は、
図11の(a)の分割画像38を結合して(分割した検査対象画像30を分割前の検査対象画像30の状態に戻して)空隙20を赤く着色(図では横線で表示)した模式図であり、
図11の(c)は、学習装置40がボルト学習情報44aを用いてボルト12を検出して青く着色(図では右下がり斜線で表示)した模式図であり、
図11の(d)は、検出結果画像の模式図である。
【0104】
分割画像38が生成されたら、学習装置40は、
図11の(a)に示すように、空隙学習情報42を用いて生成された複数の分割画像38の空隙20を検出する。そして、
図11の(b)に示すように、学習装置40は、分割画像38を結合し、全ての空隙20を赤く着色して空隙検出画像を生成する(
図8のS11)。
【0105】
次に、学習装置40は、除外部学習情報44を用いて分割画像38の除外部を検出し、除外部検出画像を生成する。すなわち、学習装置40は、ボルト学習情報44aを用いてボルト12を検出し、枠学習情報44bを用いて枠7を検出し、それぞれの検出画像を生成する。そのため、当該検査対象画像30(
図9の(c))からは、
図11の(c)に示す、ボルト12を青く着色したボルト検出画像が生成される(
図8のS13)。
【0106】
つまり、学習装置40は、
図9の(c)から(ボルト12を含む検査対象画像30から)、空隙学習情報42と除外部学習情報44とを用いて空隙20及びボルト12を検出し、空隙検出画像及びボルト検出画像を生成する。
【0107】
そうしたら、学習装置40は、空隙検出画像からボルト検出画像のボルト12の部分を除外して(
図11の(b)の画像から
図11の(c)のボルト12の部分の画像をコンクリート表面10ではない部分として取り除いて)、
図11の(d)に示す検出結果画像を生成する。
【0108】
そして、学習装置40は、検査対象画像30から生成された検出結果画像のコンクリート表面10の面積と、該表面の空隙20の面積を算出して(具体的にはそれぞれの画素数をカウントして)、当該検査対象画像30におけるコンクリート表面10の空隙面積率を上記した式から算出する(
図8のS15)。
【0109】
以上で、当該検査対象画像30に対するコンクリート表面10の空隙面積率の算出が完了する。つまり、本実施の形態においては、複数の検査対象画像30を取得しているので、コンクリート表面10の空隙面積率を算出するためには、全ての検査対象画像30に対して、
図8のS7からS15までの処理が必要となる。
【0110】
すなわち、学習装置40は、全ての検査対象画像30に対して
図8のS7からS15までの処理を行い、これらの面積を総和することにより、コンクリート表面10の空隙面積率を算出してコンクリート表面10の空隙20(密着度)を検査し、該検査結果を出力部に出力する(
図8のS17)。
【0111】
<<<本実施の形態に係る表面の不具合検査方法の有効性について>>>
本実施の形態においては、ベースプレート3の下部に打設されたコンクリート表面10の空隙検査方法であって、サンプル画像30Sと、サンプル空隙20Sを所定条件に基づいて識別化した不具合部識別化画像32Sと、を関連付けて機械学習させた空隙学習情報42と、コンクリート表面10を撮像した検査対象画像30と、を用いて、コンクリート表面10の空隙20を検査することとした。そのため、コンクリート表面10の空隙検査(表面の不具合検査)を高精度化することが可能となる。
【0112】
従来のコンクリート表面の空隙検査においては、検査対象の空隙の画像と、該空隙を複数の技術員が評価した評価値と、の組み合わせを複数用いて機械学習させた不具合部学習情報により、コンクリート表面の空隙検査が行われていた。そのため、従来の空隙学習情報には、技術員間の評価値のばらつきが存在していた。
【0113】
すなわち、従来の空隙学習情報は、1つの空隙の画像(問題)に対して、複数の評価値(答え)があり、いずれの答えが正解かあいまいな例題を用いて機械学習された情報であった。
【0114】
これに対し、本実施の形態においては、サンプル画像30Sと、サンプル画像30Sに対応した不具合部識別化画像32S(サンプル画像30Sと不具合部識別化画像32Sは所定条件に基づいた1対1の関係)を複数用意し、サンプル画像30Sと不具合部識別化画像32Sとを関連付けて機械学習させた空隙学習情報42を用いて、学習装置40がコンクリート表面10の空隙20を検査することとした。
【0115】
つまり、答えにばらつきが無い例題で機械学習させた学習情報、すなわち、本実施の形態に係る空隙学習情報42を用いて、学習装置40がコンクリート表面10の空隙20を検査するので、コンクリート表面10の空隙検査(表面の不具合検査)を高精度化することが可能となる。
【0116】
また、本実施の形態においては、空隙学習情報42は、畳み込みニューラルネットワークを利用して機械学習させた情報であることとした。
【0117】
畳み込みニューラルネットワークを利用した機械学習は、画像の中にある特定の領域を検出(分割識別)する場合において、良好な結果が得られることが知られている。したがって、畳み込みニューラルネットワークを利用することにより、空隙学習情報42(不具合部学習情報)を高精度化することが可能となる。
【0118】
また、本実施の形態においては、空隙学習情報42と除外部学習情報44に基づいて、検査対象除外部を含む検査対象画像30から空隙20及び除外部を検出することとした。
【0119】
すなわち、学習装置40は、除外部学習情報44を用いてコンクリート表面10には含まれない除外部を検出し、コンクリート表面10の面積から検出した除外部の面積を除去して上記したコンクリート表面10の空隙面積率を算出するので、コンクリート表面10の空隙検査(表面の不具合検査)をより一層高精度化することが可能となる。
【0120】
また、本実施の形態においては、コンクリート表面10を、互いに隣り合う検査対象画像30に重複部分が形成されるように複数に分割して撮像することにより、複数の検査対象画像30を取得し、取得された検査対象画像30の空隙20を検出することとした。
【0121】
仮に、このような重複部分が形成されないで検査対象画像30が取得されると、例えば、隣り合う検査対象画像30の縁が、最長長さ5mmの空隙20を2mmと3mmに分断してしまい、学習装置40が空隙学習情報42を用いて当該空隙20を検出できなくなる(最長長さが5mm未満の2つの空隙に分断されたため検出できなくなる)ケースが考えられる。すなわち、かかる重複部分を形成することにより、学習装置40の検出ミスを抑制することが可能となる。
【0122】
また、本実施の形態においては、最小となる空隙20の最長長さを所定長さ(本実施の形態においては、5mm)に設定し、検査対象画像30の重複部分の重複幅T1を、当該所定長さ(本実施の形態においては、5mm)より大きく検査対象画像30の幅T2よりも小さい値に設定することとした。
【0123】
つまり、重複幅T1を5mmより大きくすることにより、最小となる空隙20が互いに隣り合う検査対象画像30の少なくともどちらか一方の検査対象画像30に撮像されることととなり、幅T2未満とすることにより、同一のコンクリート表面10(検査対象画像30)が撮像(取得)されない。
【0124】
すなわち、空隙20(不具合部)の検出に有効な範囲で検査対象画像30の重複部分を重複させることが可能となる。
【0125】
また、本実施の形態においては、検査対象画像30を複数に分割して互いに隣り合う分割画像38に重複部分が形成されるように複数の分割画像38を生成し、生成された分割画像38の空隙20を検出することとした。
【0126】
分割画像38に重複部分を形成する目的は、上記した検査対象画像30を重複させる目的と同じであり、学習装置40の検出ミスを抑制するためである。
【0127】
また、本実施の形態においては、最小となる空隙20の最長長さを所定長さ(本実施の形態においては、5mm)に設定し、分割画像38の重複部分の重複幅U1を、当該所定長さ(本実施の形態においては、5mm)より大きく分割画像38の幅U2よりも小さい値に設定することとした。
【0128】
すなわち、重複幅U1を5mmより大きく、幅U2未満とすることにより、空隙20(不具合部)の検出に有効な範囲で検査対象画像30の重複部分を重複させることが可能となる。
【0129】
また、本実施の形態においては、所定条件は、サンプル表面10Sの実物においてサンプル空隙20Sと認められる輪郭又は凹凸を含む形状、色、輝度、模様、大きさ、太さ、長さのいずれか1つ以上の条件とした。
【0130】
すなわち、サンプル表面10Sの実物の外観情報に基づいてサンプル空隙20Sを確認するので、サンプル空隙20Sか否かの判断ミスを抑制することが可能となる。
【0131】
===その他の実施形態について===
上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更・改良され得ると共に、本発明には、その等価物が含まれることは言うまでもない。
【0132】
また、上記実施の形態においては、コンクリート表面10の空隙面積率を算出して密着度を検査したが、これに限るものではない。例えば、各々の空隙20の最長長さ又は面積に閾値を設け、学習装置40が、空隙20の最長長さ又は空隙20の面積を検査してもよい。
【0133】
つまり、学習装置40は、空隙20毎の最長長さ若しくは面積、又はコンクリート表面10における空隙20の空隙面積率を算出して、いずれを検査してもよい。すなわち、例えば、空隙20毎の最長長さを検査したい場合は、学習装置40を最長長さ検査モード(空隙20毎の最長長さを算出して検査するモード)に設定し、コンクリート表面10の空隙面積率を検査したい場合は、学習装置40を空隙面積率検査モード(例えば、上記実施の形態)に設定する。
【0134】
つまり、目的とする空隙20の検査項目を選択して学習装置40に設定することにより、上記した空隙20のいずれの検査においても、学習装置40は、空隙20(不具合部)の検査項目を数値化して検査することが可能となる。
【0135】
また、上記実施の形態においては、サンプル画像30S上において最長長さが5mm以上の空隙をサンプル空隙20Sとし、該サンプル空隙20Sを画像ソフトで赤く着色して識別化した不具合部識別化画像32Sを生成したが、これに限るものではない。
【0136】
例えば、サンプル画像30S上の全ての(サイズによらない)空隙を画像ソフトで赤く着色して識別化した識別化画像を生成し、サンプル画像30Sと、当該識別化画像と、を関連付けて機械学習させた学習情報、すなわち、全ての空隙を検出する空隙学習情報を生成する。そして、学習装置が、当該空隙学習情報を用いて検査対象画像30の全ての空隙を検出してから、検出後の全ての空隙の最長長さを算出し、最長長さが5mm以上か否か(空隙20に該当するか否か)を選別して、コンクリート表面10の空隙面積率を算出してもよい。
【0137】
また、上記実施の形態のおいては、除外部をボルト12と枠7としたが、これに限るものではない。例えば、生コンクリート1の圧入口(ホッパー5の下側開口部)を除外部としてもよい。
【符号の説明】
【0138】
1 生コンクリート
1S サンプルコンクリート
3 ベースプレート
3S サンプルベースプレート
5 ホッパー
5S サンプルホッパー
7 枠
7S サンプル枠
10 コンクリート表面(検査対象表面)
10S サンプル表面
12 ボルト
12S サンプルボルト
14 墨出し線
20 空隙(検査対象不具合部)
20S サンプル空隙(サンプル不具合部)
30 検査対象画像
30S サンプル画像
32S 不具合部識別化画像
34S 除外部識別化画像
36S 除外部識別化画像
38 分割画像
40 学習装置
42 空隙学習情報(不具合部学習情報)
44 除外部学習情報
44a ボルト学習情報
44b 枠学習情報
T 撮像範囲
U 分割範囲
T1 重複幅
T2 幅
U1 重複幅
U2 幅