特開 2024-135679 削孔位置検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024135679

(43)【公開日】2024-10-04

(54)【発明の名称】削孔位置検出方法

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240927BHJP

   G01B 11/00 20060101ALI20240927BHJP

   G06T 7/00 20170101ALI20240927BHJP

   G06V 10/70 20220101ALI20240927BHJP

【ＦＩ】

G06T7/60 150Z

G01B11/00 D

G06T7/00 350B

G06V10/70

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023046481

(22)【出願日】2023-03-23

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 発行者名 株式会社奥村組 刊行物名 令和４年度土木学会全国大会第７７回年次学術講演会 該当頁 ＶＩ－８９４「深層学習を用いた削孔位置の検出方法に関する検討」 発行日 令和４年８月１日

(71)【出願人】

【識別番号】000140292

【氏名又は名称】株式会社奥村組

(74)【代理人】

【識別番号】100101971

【弁理士】

【氏名又は名称】大畑 敏朗

(72)【発明者】

【氏名】三澤 孝史

(72)【発明者】

【氏名】山口 治

(72)【発明者】

【氏名】川澄 悠馬

(72)【発明者】

【氏名】石井 敏之

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA03

2F065AA17

2F065AA26

2F065QQ17

2F065QQ18

5L096BA08

5L096DA02

5L096FA69

5L096KA04

(57)【要約】

【課題】コンクリート製の構造物の壁面に形成された複数の孔の位置検出効率を向上させることができる。
【解決手段】削孔壁面の撮影画像から一部の孔Ｈｓが含まれる複数の元画像を切り出し、その複数の元画像から一部の孔Ｈｓの外周縁を抽出した複数の教師画像を作成し、その複数の教師画像を用いて学習させることにより孔外周縁特定用画像認識ＡＩモデルを作成し、そのＡＩモデルに検出対象の孔Ｈが形成された壁面の画像を入力し、そのＡＩモデルにより検出対象の孔Ｈの外周縁を特定し、検出対象の孔Ｈの位置を検出する。
【選択図】図４

【特許請求の範囲】

【請求項1】

複数の孔が形成された壁面の画像から一部の孔が含まれる複数の元画像を切り出し、前記複数の元画像から前記一部の孔の外周縁を抽出した複数の教師画像を作成し、当該複数の教師画像を用いて学習させることにより孔外周縁特定用画像認識ＡＩモデルを作成し、当該孔外周縁特定用画像認識ＡＩモデルに検出対象の孔が形成された壁面の画像を入力し、前記孔外周縁特定用画像認識ＡＩモデルにより前記検出対象の孔の外周縁を特定し、当該孔の位置を検出することを特徴とする削孔位置検出方法。

【請求項2】

前記教師画像の画素数は、前記元画像の画素数より少ないことを特徴とする請求項１記載の削孔位置検出方法。

【請求項3】

前記一部の孔の数は、１個または２個であることを特徴とする請求項１または２記載の削孔位置検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、削孔位置検出方法に関し、例えば、コンクリート製の構造物に形成された孔の位置検出技術に関すものである。

【背景技術】

【0002】

コンクリート製の構造物の補強工事として、壁等の増厚工法や、あと施工剪断工法等の工法がある。これらの工法においては、既設のコンクリート製の構造物との一体性を高めるため、あと施工アンカー筋や、あと施工剪断筋が使用されるが、それらを挿入するためにコンクリート製の構造物に挿入孔が形成される。しかし、この挿入孔は、数千個以上と極めて多くなるため、削孔出来形（削孔位置）の検出の効率化が求められている。

【0003】

なお、例えば、特許文献１には、削孔された壁面を撮影して、孔と壁面との明度差から孔位置を求める技術が開示されている。また、特許文献２には、削孔した壁面をレーザ光で走査して得られた表面形状から孔位置を求める技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２－２８８６７８号公報

【特許文献2】特開２０１４－１６３８９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、削孔出来形の検出を効率化するため、コンクリート製の構造物の複数の孔が形成された壁面（以下、削孔壁面という）を撮影した画像から削孔位置を検出する方法の開発に取り組む中で、削孔壁面を撮影して得られた複数の画像をＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）処理することにより削孔壁面の３次元点群データを取得し、削孔壁面よりも予め決められた深さだけ奥の範囲の点を抽出し、抽出された点群に対し、孔を円とみなして場所を特定する方法を開発した。

【0006】

しかしながら、上記した方法においては、複数の壁面画像から点群データを作成するため手間がかかり、また、大容量のデータを処理する必要があるためデータ処理に時間がかかるので、削孔出来形（削孔位置）の検出効率が著しく低下する、という課題がある。

【0007】

本発明は、上述の技術的背景からなされたものであって、コンクリート製の構造物の壁面に形成された複数の孔の位置検出効率を向上させることのできる技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するため、請求項１に記載の本発明の削孔位置検出方法は、複数の孔が形成された壁面の画像から一部の孔が含まれる複数の元画像を切り出し、前記複数の元画像から前記一部の孔の外周縁を抽出した複数の教師画像を作成し、当該複数の教師画像を用いて学習させることにより孔外周縁特定用画像認識ＡＩモデルを作成し、当該孔外周縁特定用画像認識ＡＩモデルに検出対象の孔が形成された壁面の画像を入力し、前記孔外周縁特定用画像認識ＡＩモデルにより前記検出対象の孔の外周縁を特定し、当該孔の位置を検出することを特徴とする。

【0009】

請求項２に記載の本発明の削孔位置検出方法は、上記請求項１に記載の発明において、前記教師画像の画素数は、前記元画像の画素数より少ないことを特徴とする。

【0010】

請求項３に記載の本発明の削孔位置検出方法は、上記請求項１または２に記載の発明において、前記一部の孔の数は、１個または２個であることを特徴とする。

【発明の効果】

【0011】

本発明によれば、コンクリート製の構造物の壁面に形成された複数の孔の位置検出効率を向上させることが可能になる。

【図面の簡単な説明】

【0012】

【図1】コンクリート製の構造物に形成された耐震補強部の縦断面図である。

【図2】耐震補強部を形成するためにコンクリート製の構造物に形成された孔の要部縦断面図である。

【図3】デジタルカメラなどによって撮影された試験体構造物の削孔壁面画像の一例の要部平面図である。

【図4】（ａ）は試験体構造物の削孔壁面画像から一部の孔を切り出した元画像の一例の平面図、（ｂ）は図４（ａ）の元画像のサイズを縮小して得られた教師画像の一例の平面図である。

【図5】孔外周縁特定用画像認識ＡＩモデルの概略構造を示した説明図である。

【図6】推論結果を示す孔の画像の一例の平面図である。

【図7】（ａ）は一部が欠けた孔画像を示す図、（ｂ）は図７（ａ）の一部が欠けた孔画像から最小二乗法により円の中心および半径を算出した結果を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の一例としての実施の形態について、図面に基づいて詳細に説明する。なお、実施の形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0014】

図１はコンクリート製の構造物に形成された耐震補強部の縦断面図、図２は耐震補強部を形成するためにコンクリート製の構造物に形成された孔の要部縦断面図である。

【0015】

図１および図２に示すように、あと施工せん断補強工法は、既設のコンクリート製の構造物Ｓの補強（耐震補強）工法の１つであり、例えば、地盤Ｇに接する既設のコンクリート製の構造物Ｓや、鉄道や道路等の建造物に近接する地上に構築された既設のコンクリート製の構造物Ｓなどに形成した孔Ｈの内部に、あと施工せん断補強鉄筋（以下、「せん断補強鉄筋」という。）Ｒを挿入した後、定着材（モルタル）Ｍを充填注入して硬化させ、せん断補強鉄筋Ｒと構造物Ｓとを一体化させて当該構造物Ｓのせん断耐力を向上させる工法である。なお、せん断補強鉄筋Ｒとしては、例えば、一般的に使用される鉄筋Ｒ１の片側をネジ切り、斜め切断加工し、先端部に定着体として六角ナットＲ２を装着したものなどが用いられる。

【0016】

ところで、あと施工せん断補強工法においては、削孔された複数の孔Ｈが適正な位置に適正な大きさで削孔されているか否かを確認するために、当該複数の孔Ｈの削孔出来形（孔の位置および半径）を検出する必要がある。

【0017】

その方法として、削孔壁面を撮影して、孔と壁面との明度差から孔位置を求める削孔位置検出方法があるが、この方法の場合、撮影時に孔と壁面との明度差が不明確になると、削孔位置を特定することが困難になる。

【0018】

また、削孔壁面をレーザ光で走査して得られた表面形状から孔位置を求める削孔位置検出方法があるが、この方法の場合、削孔開始時において削孔装置の先端がぶれたり、孔Ｈの周縁部のコンクリートが欠損（図２参照）したりするために、実際の孔径（内部の孔径）よりも大きな孔径に検出されてしまう場合がある。

【0019】

これらの問題点を踏まえ発明者らは、削孔壁面を撮影して得られた複数の画像をＳｆＭ処理することにより削孔壁面の３次元点群データを取得し、壁面よりも予め決められた深さだけ奥の範囲の点を抽出し、抽出された点群に対し、孔を円とみなして場所を特定する方法を開発したが、その場合、複数の壁面画像から点群データを作成するため手間がかかり、また、大容量のデータを処理する必要があるためデータ処理に時間がかかるので、削孔出来形（孔の位置および半径）の検出効率が著しく低下する、という課題がある。

【0020】

そこで、本実施の形態においては、教師画像により学習させた孔外周縁特定用画像認識ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデル（以下、単にＡＩモデルという）により抽出した孔の輪郭に基づいて削孔出来形（孔の位置および半径）を特定するようにした。すなわち、削孔壁面の撮影画像から一部の孔が含まれる複数の元画像を切り出し、その複数の元画像から一部の孔の外周縁を抽出した複数の教師画像を作成し、その複数の教師画像を用いてＡＩモデルを学習させ、当該ＡＩモデルに検出対象の孔Ｈが形成された壁面の画像を入力し、ＡＩモデルにより検出対象の孔Ｈの外周縁を特定し、当該孔Ｈの位置を検出するようにした。以下、本実施の形態の削孔位置検出方法の一例について図３～図７を参照して説明する。

【0021】

図３はデジタルカメラなどによって撮影された試験体構造物の削孔壁面画像の一例の要部平面図である。試験体構造物Ｓｓは、例えばコンクリートからなり、その壁面には複数個の孔Ｈｓが穿孔されている。孔Ｈｓの直径は、例えば２０～４０ｍｍ程度、孔Ｈｓの深さは、例えば５００ｍｍ程度である。但し、本発明において孔Ｈｓの径および深さは上記した値に限定されるものではなく削孔位置検出対象の構造物の状態などに応じて必要な値に設定される。

【0022】

まず、削孔位置検出に先立って教師用の孔Ｈｓの画像を用いてＡＩモデルを学習させる。学習に用いる入力画像としては、試験体構造物Ｓｓの削孔壁面を複数枚撮影して得られた画像から、例えば、孔Ｈｓが１個または２個入るように５００×５００ピクセルのサイズの複数枚の元画像を切り出し、さらに、その元画像を、例えば、１２５×１２５ピクセルのサイズにリサイズ（縮小）した複数枚の教師画像を用いた。但し、本発明において各種画像サイズは上記した値に限定されるものではなく種々変更可能である。

【0023】

図４（ａ）は試験体構造物の削孔壁面画像から一部の孔を切り出した元画像の一例の平面図、図４（ｂ）は図４（ａ）の元画像のサイズを縮小して得られた教師画像の一例の平面図である。

【0024】

図４（ａ）に示すように、元画像には、例えば２個の孔Ｈｓが含まれている。このように元画像のサイズを１個または２個の孔Ｈｓが含まれる程度にすることにより、データ容量を低減できるので、データ処理にかかる時間を短縮でき、データ処理の効率を向上させることができる。

【0025】

また、図４（ｂ）に示すように、教師画像は、画像編集ソフトにより、図４（ａ）の孔Ｈｓの輪郭（外周縁）に合わせて円（図４（ｂ）のリング状の白線）を描画した画像を作成した。教師画像として、例えば、元画像を回転または上下左右に反転させた画像を用いて作成したものを用いても良い。これにより、撮影の労力を低減できる上、ＡＩモデルの信頼性を向上させることができる。

【0026】

ここでは、元画像から教師画像を作成する際に、ＡＩモデルの信頼性を考慮して孔Ｈｓの判別に影響しない範囲で画像サイズを縮小した。これにより、ＡＩモデルの学習に際して、データ容量を低減できるので、データ処理にかかる時間を短縮でき、データ処理の効率を向上させることができる。

【0027】

また、ここでは、ＡＩモデルの信頼性を確実にするために、例えば４００枚の教師画像を用いた。ただし、教師画像の枚数は４００枚に限定されるものではなく、例えば４００枚より増やせばＡＩモデルの信頼性を向上させることができる。

【0028】

図５はＡＩモデルの概略構造を示した説明図である。

【0029】

ＡＩモデルには、セマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ（ピクセル毎に、どのクラスかを推定する））で良く利用されるＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）を用いた。セマンティックセグメンテーションでは、Ｖｇｇ１６やＵ－Ｎｅｔなどのモデルが開発されているが、今回の検討では対象画像を分割して画像サイズを小さくして処理する前提で、まず、図５に示すように、シンプルなモデルを試した。学習に用いる入力画像のサイズを考慮して、例えば４０層程度の多層の畳み込み層Ｌ１～Ｌ４０で構成され、全結合層がないモデルである。畳み込み層Ｌ１～Ｌ４０には、バッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ）を導入した。

【0030】

以上のようにして学習したＡＩモデルを用いて、推論用の画像（削孔壁面画像）として、教師画像と同様に、例えば、５００×５００ピクセルで撮影画像を切り出し、例えば、１２５×１２５ピクセルにリサイズした画像を用いて推論させたところ、良好に孔を検出することができた。

【0031】

なお、推論用の画像は、例えばデジタルカメラで撮影した。学習用の画像と推論用の画像とは同じデジタルカメラを用いて撮影しても良いし、異なるデジタルカメラを用いて撮影しても良い。

【0032】

また、ＡＩモデルの学習後の推論に用いた画像は、例えばＡＩモデルの学習に用いた画像とは異なる５０枚の画像を用いた。但し、ここでは説明を簡単にするため推論に用いた画像を５０枚としたが、これに限定されるものではなく、例えば各々の現場で必要とする数千枚からの枚数を判定させる。また、位置検出対象の削孔壁面画像を学習に用いる入力画像としても良い。

【0033】

図６は推論結果を示す孔の画像の一例の平面図である。

【0034】

図６の左の列は入力画像を示しており、個数や配置の異なる孔Ｈの画像が例示されている。２段目の孔Ｈの画像は、撮影位置と削孔壁面との距離が他とは異なる場合が例示されている。

【0035】

図６の中央の列はＡＩモデルによる検出画像（検出結果）を示しており、図６の右の列は入力画像と検出画像との重ね合わせ画像を示している。入力画像の孔Ｈの外周と検出画像の円の輪郭とが一致していることがわかる。この例以外の画像についても、孔Ｈを全く検出できなかったものはなく、おおむね良好に孔Ｈを検出することができた。

【0036】

検出結果の評価として一致率を算出した。ここで求めた一致率とは、推論に用いた画像について、教師画像の作成と同じく、予め画像編集ソフトで孔の輪郭を円として検出した画像を作成し、この画像の円を構成するピクセルに対し、検出画像の同じ位置のピクセルの値が「０（ゼロ）」以外であれば「正」とした。そして、円として検出した画像において円を構成するピクセルの総数により、「正」としたピクセルの合計数を除して一致率とした。推論に用いた５０枚の画像における一致率は、０．５３～０．９７となり、平均値は、０．８２と高い精度であった。

【0037】

削孔位置を検出する方法としては、深層ＡＩモデルにより検出した孔の輪郭画像を最小二乗法により円で近似し、その近似した円の中心位置を算出することで孔の位置を求める。

【0038】

ここで、検出画像を見ると、入力画像において孔とコンクリート製の構造物の表面との境界のコントラストが明確でない部分などは、円の一部が明瞭でなかったり、データが欠落したような検出画像となっていたりするものがある。

【0039】

図７（ａ）は一部が欠けた孔画像を示す図、図７（ｂ）は図７（ａ）の一部が欠けた孔画像から最小二乗法により円の中心および半径を算出した結果を示す図である。

【0040】

このような一部が欠けた孔画像を用い、下記の式（１）に示すように、最小二乗法により円の中心および半径を算出した。これにより、図７（ａ）に示すように、完全な円として検出できなくても、図７（ｂ）に示すように、最小二乗法により円（すなわち、孔）の中心位置および半径を算出することができた。

【0041】

（ｘｉ－ａ）^２＋（ｙｉ－ｂ）^２＝ｒ^２・・・・式（１）

【0042】

ここで、ｘｉ，ｙｉは検出された孔を構成する任意の画素のＸ軸およびＹ軸のピクセル位置の値であり、ａ，ｂは円の中心のＸ軸およびＹ軸のピクセル位置の値であり、ｒは円の半径である。

【0043】

このように本実施の形態によれば、位置検出対象の削孔壁面の削孔出来形（孔の位置および半径）をＡＩモデルにより検出することにより、位置検出時の作業を簡単化することができるので、位置検出対象の削孔壁面における複数の孔の位置検出効率を向上させることができる。

【0044】

また、ＡＩモデルの学習に用いる元画像のサイズを１個または２個の孔が含まれる程度にすることにより、ＡＩモデルの学習に際して、データ容量を低減できるので、データ処理にかかる時間を短縮でき、データ処理の効率を向上させることができる。このため、位置検出対象の削孔壁面における複数の孔の位置検出効率を向上させることができる。

【0045】

さらに、ＡＩモデルの学習に用いる教師画像のサイズを元画像のサイズより小さくしたことにより、ＡＩモデルの学習に際して、データ容量を低減できるので、データ処理にかかる時間を短縮でき、データ処理の効率をさらに向上させることができる。このため、位置検出対象の削孔壁面における複数の孔の位置検出効率をさらに向上させることができる。

【0046】

以上本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本明細書で開示された実施の形態はすべての点で例示であって、開示された技術に限定されるものではない。すなわち、本発明の技術的な範囲は、前記の実施の形態における説明に基づいて制限的に解釈されるものでなく、あくまでも特許請求の範囲の記載に従って解釈されるべきであり、特許請求の範囲の記載技術と均等な技術および特許請求の範囲の要旨を逸脱しない限りにおけるすべての変更が含まれる。

【0047】

例えば、削孔壁面の孔の位置検出にあたって、削孔位置検出対象の削孔壁面の画像を分割したり、画像に物理的な距離（撮影用のカメラと削孔壁面との距離）情報を与えたりしてもよい。

【産業上の利用可能性】

【0048】

以上の説明では、本発明を、コンクリート製の構造物に、せん断補強鉄筋を挿入するために形成された孔の位置検出に適用した場合を示したが、せん断補強鉄筋を挿入するための孔に限定されるものではなく、様々な目的でコンクリート製の構造物に形成された孔の位置検出に広く適用することができる。

【符号の説明】

【0049】

Ｓ 構造物
Ｓｓ 試験体構造物
Ｈ 孔
Ｈｓ 孔
Ｒ あと施工せん断補強鉄筋
Ｒ１ 鉄筋
Ｒ２ 六角ナット
Ｍ 定着材
Ｇ 地盤

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】