特許 7214023 配筋検査装置、配筋検査方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-01-19

(45)【発行日】2023-01-27

(54)【発明の名称】配筋検査装置、配筋検査方法およびプログラム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20230120BHJP

   E04G 21/12 20060101ALI20230120BHJP

   G06T 7/593 20170101ALI20230120BHJP

   G06T 1/00 20060101ALI20230120BHJP

   G06T 7/00 20170101ALI20230120BHJP

【ＦＩ】

G01B11/00 H

E04G21/12 105Z

G06T7/593

G06T1/00 315

G06T7/00 350B

【請求項の数】 9

(21)【出願番号】P 2022016805

(22)【出願日】2022-02-07

【審査請求日】2022-02-07

(73)【特許権者】

【識別番号】591036457

【氏名又は名称】三菱電機エンジニアリング株式会社

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(72)【発明者】

【氏名】久柴 拓也

(72)【発明者】

【氏名】平 謙二

【審査官】山▲崎▼ 和子

(56)【参考文献】

【文献】特開２０２０－１６６４６８（ＪＰ，Ａ）

【文献】特開２０２０－９５００９（ＪＰ，Ａ）

【文献】特開２０１８－１７３６７６（ＪＰ，Ａ）

【文献】国際公開第２０２１／０２４４９９（ＷＯ，Ａ１）

【文献】特開２０２０－１６５７４８（ＪＰ，Ａ）

【文献】特開２０２０－２７０５８（ＪＰ，Ａ）

【文献】特開２０２１－１４６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０４Ｇ ２１／１２

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ ７／５９３

Ｇ０６Ｔ １／００－５／５０

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

複数段の平面のそれぞれに鉄筋が配筋された構造体が複数の撮影角度から連続して撮影された撮影画像を入力し、撮影画像ごとに前記構造体の三次元情報を取得する三次元情報取得部と、
撮影画像ごとに取得された三次元情報を用いて、前記構造体の三次元情報を再構成する三次元情報再構成部と、
再構成された三次元情報を用いて前記構造体における複数段の平面をそれぞれ特定する平面特定部と、
前記構造体の撮影画像を当該構造体に正対化した正対化画像に変換する画像変換部と、
前記正対化画像を用いて複数段の平面のそれぞれにおける鉄筋の位置情報を検出する位置検出部と、
上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報に基づいて、上段の鉄筋により隠される下段の鉄筋を判定するオクルージョン判定部と、を備えた
ことを特徴とする配筋検査装置。

【請求項2】

平面ごとの鉄筋の位置情報とオクルージョン判定結果とに基づいて前記正対化画像から鉄筋の画像を抽出する画像抽出部と、
前記正対化画像から抽出した鉄筋の画像を入力として、鉄筋の検査情報を出力する学習モデルを用いて、鉄筋の検査情報を推論する推論部と、を備えた
ことを特徴とする請求項１に記載の配筋検査装置。

【請求項3】

各平面の鉄筋の位置情報、前記オクルージョン判定結果および鉄筋の検査情報に基づいて、前記構造体における各段の平面の鉄筋を上段側から視認可能な画像を生成する画像生成部を備えた
ことを特徴とする請求項２に記載の配筋検査装置。

【請求項4】

前記画像生成部は、上段の鉄筋により隠された下段の鉄筋を示すライン画像が上段の平面に重畳された画像を生成する
ことを特徴とする請求項３に記載の配筋検査装置。

【請求項5】

前記画像抽出部は、前記正対化画像から抽出した鉄筋の画像を、複数の部分画像に分割し、
前記推論部は、複数の前記部分画像を入力とし、前記正対化画像から抽出した鉄筋の径または鉄筋の節の間隔の少なくとも一つを出力する前記学習モデルを用いて、鉄筋の検査情報として鉄筋の径または鉄筋の節の間隔の少なくとも一つを推論する
ことを特徴とする請求項２に記載の配筋検査装置。

【請求項6】

前記位置検出部は、前記正対化画像を鉄筋以外の部分がマスクされたマスク画像に変換し、前記マスク画像の鉄筋部分の画素をカウントすることにより、各段の平面における鉄筋の位置を検出する
ことを特徴とする請求項１から請求項５のいずれか１項に記載の配筋検査装置。

【請求項7】

前記三次元情報取得部は、識別子が配置された前記構造体が複数の撮影角度から連続して撮影された撮影画像を入力して、撮影画像ごとに前記構造体の三次元情報を取得する
ことを特徴とする請求項１から請求項６のいずれか１項に記載の配筋検査装置。

【請求項8】

三次元情報取得部が、複数段の平面のそれぞれに鉄筋が配筋された構造体が複数の撮影角度から連続して撮影された撮影画像を入力し、撮影画像ごとに前記構造体の三次元情報を取得するステップと、
三次元情報再構成部が、撮影画像ごとに取得された三次元情報を用いて、前記構造体の三次元情報を再構成するステップと、
平面特定部が、再構成された三次元情報を用いて前記構造体における複数段の平面をそれぞれ特定するステップと、
画像変換部が、前記構造体の撮影画像を当該構造体に正対化した正対化画像に変換するステップと、
位置検出部が、前記正対化画像を用いて複数段の平面のそれぞれにおける鉄筋の位置情報を検出するステップと、
オクルージョン判定部が、上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報に基づいて、上段の鉄筋により隠される下段の鉄筋を判定するステップと、を備えた
ことを特徴とする配筋検査方法。

【請求項9】

コンピュータを請求項１から請求項７のいずれか１項に記載の配筋検査装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、配筋検査装置、配筋検査方法およびプログラムに関する。

【背景技術】

【0002】

鉄筋コンクリート構造物の施工においては、鉄筋を組み上げる配筋を行った後に、鉄筋が設計通り配筋されているかを検査する配筋検査が行われる。例えば、特許文献１には、配筋状態を撮影した画像を認識して解析を行うことにより、配筋の出来形を管理する配筋出来形管理システムが記載されている。特許文献１に記載の配筋出来形管理システムは、鉄筋の長さおよび太さの基準となる基準データを付与して撮影範囲を設定し、設定された撮影範囲で配筋状態を撮影した撮影データから配筋状態を認識する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－２７０５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

複数段の平面のそれぞれに鉄筋が配筋された構造体を撮影した撮影画像では、上段側の鉄筋のオクルージョンによって下段側の鉄筋が隠れてしまう場合がある。この場合、特許文献１に記載された配筋出来形管理システムでは、オクルージョンによって隠れた下段側の鉄筋を撮影画像から特定できず、鉄筋の検査漏れが発生する可能性があるという課題があった。

【0005】

本開示は上記課題を解決するものであり、複数段の平面のそれぞれに鉄筋が配筋された構造体の撮影画像にオクルージョンが発生しても鉄筋の検査漏れを防止することができる配筋検査装置、配筋検査方法およびプログラムを得ることを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る配筋検査装置は、複数段の平面のそれぞれに鉄筋が配筋された構造体が複数の撮影角度から連続して撮影された撮影画像を入力し、撮影画像ごとに構造体の三次元情報を取得する三次元情報取得部と、撮影画像ごとに取得された三次元情報を用いて、構造体の三次元情報を再構成する三次元情報再構成部と、再構成された三次元情報を用いて構造体における複数段の平面をそれぞれ特定する平面特定部と、構造体の撮影画像を構造体に正対化した正対化画像に変換する画像変換部と、正対化画像を用いて複数段の平面のそれぞれにおける鉄筋の位置情報を検出する位置検出部と、上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報に基づいて、上段の鉄筋により隠される下段の鉄筋を判定するオクルージョン判定部と、を備える。

【発明の効果】

【0007】

本開示によれば、複数段の平面のそれぞれに鉄筋が配筋された構造体が複数の撮影角度から連続して撮影された撮影画像ごとに構造体の三次元情報を取得し、取得した三次元情報を用いて構造体の三次元情報を再構成し、再構成した三次元情報を用いて各段の平面の特定と鉄筋の位置情報の検出とを行い、上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報に基づいて、上段の鉄筋により隠される下段の鉄筋を判定する。撮影画像において上段の鉄筋により隠される下段の鉄筋が判定されるので、本開示に係る配筋検査装置は、複数段の平面のそれぞれに鉄筋が配筋された構造体の撮影画像にオクルージョンが発生しても鉄筋の検査漏れを防止することができる。

【図面の簡単な説明】

【0008】

【図1】実施の形態１に係る配筋検査装置の構成を示すブロック図である。

【図2】実施の形態１に係る配筋検査方法を示すフローチャートである。

【図3】検査領域の撮影処理の概要を示す説明図である。

【図4】マーカを配置したテープを示す正面図である。

【図5】時刻ｔ－１におけるステレオカメラが備える左撮影部および右撮影部による検査領域の撮影画像を示す画面図である。

【図6】時刻ｔにおけるステレオカメラが備える左撮影部および右撮影部による検査領域の撮影画像を示す画面図である。

【図7】図７Ａ、図７Ｂおよび図７Ｃは、検査領域の構造体における各段の平面を示す関数とアウトライヤおよびインライヤとの関係を示すグラフである。

【図8】撮影画像を正対化画像に変換する処理を示す説明図である。

【図9】上段の平面のマスク画像、下段の平面のマスク画像および両者を重ね合わせたマスク画像を示す画面図である。

【図10】正対化画像における鉄筋の位置を検出する処理を示す説明図である。

【図11】図１１Ａ、図１１Ｂおよび図１１Ｃは、マスク画像における鉄筋部分に対応する線分を特定する処理を示す説明図である。

【図12】図１２Ａおよび図１２Ｂは、実施の形態１に係る配筋検査装置の機能を実現するハードウェア構成を示すブロック図である。

【図13】実施の形態２に係る配筋検査装置の構成を示すブロック図である。

【図14】正対化画像から鉄筋の部分画像を抽出する処理を示す説明図である。

【図15】鉄筋の部分画像を学習モデルに入力して鉄筋の径を推論する処理を示す説明図である。

【図16】上段の鉄筋を示すライン画像が重畳された検査領域の撮影画像を示す画面図である。

【図17】下段の鉄筋を示すライン画像が重畳された検査領域の撮影画像を示す画面図である。

【発明を実施するための形態】

【0009】

実施の形態１．
図１は、実施の形態１に係る配筋検査装置１の構成を示すブロック図である。配筋検査装置１は、検査領域に配筋されている鉄筋の本数、隣り合う鉄筋の間隔、鉄筋の径または鉄筋の節の間隔の少なくとも一つを検査する装置である。検査領域とは、複数段の平面のそれぞれに鉄筋が配筋された構造体を上段の平面側からみた領域である。なお、当該構造体は、骨格として鉄筋が配筋された建築または土木の構造体である。

【0010】

配筋検査装置１は、タブレット端末、スマートフォンまたはノートタイプのパーソナルコンピュータ（ＰＣ）である。図１に示すように、配筋検査装置１には、有線または無線でステレオカメラ２が接続されている。ステレオカメラ２が外付けされた装置に限らず、配筋検査装置１は、ステレオカメラ２を内蔵する装置であってもよい。

【0011】

例えば、検査者が、配筋検査装置１を携帯して検査領域の周辺を移動しながら、配筋検査装置１と接続されたステレオカメラ２で検査領域を撮影する。検査者とともにステレオカメラ２も移動するので、ステレオカメラ２は、検査領域を複数の撮影角度から連続して撮影することができる。なお、配筋検査装置１とともに検査領域の周辺を移動する移動体は、検査者に限らず、車両、無人飛行体等であってもよい。

【0012】

ステレオカメラ２は、左撮影部および右撮影部を有した撮影装置である。左撮影部は、左側から見た左視点画像を撮影する。右撮影部は、右側から見た右視点画像を撮影する。ステレオカメラ２は、左視点画像および右視点画像から構成される撮影画像を出力する。

【0013】

配筋検査装置１は、ステレオカメラ２によって複数の撮影角度から連続して撮影された検査領域の撮影画像を入力し、これらの撮影画像を用いて上段の鉄筋により隠される下段の鉄筋を判定する。また、配筋検査装置１は、三次元情報取得部１１、三次元情報再構成部１２、平面特定部１３、画像変換部１４、位置検出部１５およびオクルージョン判定部１６を備える。

【0014】

三次元情報取得部１１は、複数段の平面のそれぞれに鉄筋が配筋された構造体である、検査領域が複数の撮影角度から連続して撮影された撮影画像を入力して、撮影画像ごとに構造体の三次元情報を取得する。例えば、配筋検査装置１を携帯した検査者が検査領域の周辺を移動することにより、ステレオカメラ２は、検査領域を複数の撮影角度から予め定められたフレームレイト（例えば、３０ｆｐｓ）で連続して撮影する。三次元情報取得部１１は、検査領域の左視点画像および同検査領域の右視点画像（フレーム画像）の時系列データである撮影画像を、ステレオカメラ２から順次入力する。そして、三次元情報取得部１１は、左視点画像と右視点画像とをステレオマッチングすることにより、検査領域の三次元画像である三次元情報を、撮影画像ごとに（フレーム画像ごとに）取得する。

【0015】

三次元情報再構成部１２は、撮影画像ごとに取得された三次元情報を用いて上記構造体の三次元情報を再構成する。撮影画像ごとに取得された三次元画像は、ステレオカメラ２の移動により異なる撮影角度から撮影されたものである。例えば、三次元情報再構成部１２は、予め定められた検査周期ごとに取得された複数の撮影画像にそれぞれ対応する三次元画像を入力し、上記検査周期の期間に取得された各三次元画像から検査領域に存在する物体の特徴点（エッジ等）である三次元点を抽出して、これらの三次元画像において同一の三次元点がそれぞれの三次元画像においてどこに位置するのかを特定する。このようにして、三次元情報再構成部１２は、上記検査期間ごとに、検査領域に存在する物体の三次元点群が特定された三次元画像を再構成する。

【0016】

例えば、ある時刻の撮影点で撮影された検査領域の三次元画像において、上段の鉄筋によって下段の鉄筋が隠れるオクルージョンが発生していても、異なる時刻の撮影点で撮影された検査領域の三次元画像の中には、上段の同じ鉄筋によるオクルージョンが発生していないものが含まれる。このため、三次元情報再構成部１２が、撮影画像ごとに得られた三次元情報を用いて三次元情報を再構成することにより、各段の平面に配筋された全ての鉄筋に対応する三次元点が特定された三次元情報が得られる。

【0017】

平面特定部１３は、三次元情報再構成部１２が再構成した三次元情報を用いて上記構造体における複数段の平面をそれぞれ特定する。例えば、平面特定部１３は、再構成された三次元画像における複数の三次元点が含まれる複数の平面候補を設定し、平面候補との距離が閾値以下である三次元点の個数を算出する。平面特定部１３は、複数の平面候補のうち、算出した三次元点の個数が最も多い平面候補を、最上段の平面として特定する。同様に、平面特定部１３は、平面ごとに設定された閾値を用いて各段の平面を特定する。

【0018】

画像変換部１４は、上記構造体である検査領域の撮影画像を当該検査領域に正対化した正対化画像に変換する。正対化画像は、ステレオカメラ２と検査領域との間の距離が一定であり、ステレオカメラ２が検査領域に正対している。例えば、画像変換部１４は、各段の平面に格子状に配筋された鉄筋による任意の格子の矩形の４隅の点を指定し、指定した４点の位置座標を用いてホモグラフィ変換行列を推定する。画像変換部１４は、推定したホモグラフィ変換行列に基づいて、撮影画像を、検査領域に正対化した正対化画像に変換する。

【0019】

位置検出部１５は、正対化画像を用いて複数段の平面のそれぞれにおける鉄筋の位置情報を検出する。例えば、位置検出部１５は、正対化画像を二値化し、二値化された画像における鉄筋の画像部分以外がマスクされたマスク画像を生成し、鉄筋の画像部分の画素をカウントすることにより、正対化画像における各段の平面に配筋された鉄筋の位置を検出する。

【0020】

オクルージョン判定部１６は、上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報とに基づいて、上段の鉄筋により隠される下段の鉄筋を判定する。例えば、オクルージョン判定部１６は、検査領域が上段側から撮影された撮影画像における、上段の鉄筋の位置情報と下段の鉄筋の位置情報に基づく両者の位置関係を特定することにより、上段の鉄筋によって隠れる下段の鉄筋を判定する。

【0021】

オクルージョン判定部１６は、撮影画像ごとに、上段の鉄筋により隠されると判定した下段の鉄筋の位置情報を、オクルージョン判定結果として出力する。配筋検査装置１は、検査領域の撮影画像ごとのオクルージョン判定結果を用いて、上段の鉄筋により隠れた下段の鉄筋が視認可能となるように、撮影画像上に鉄筋の識別情報を表示することが可能である。

【0022】

図２は、実施の形態１に係る配筋検査方法を示すフローチャートである。
三次元情報取得部１１が、複数段の平面のそれぞれに鉄筋が配筋された構造体である、検査領域が複数の撮影角度から連続して撮影された撮影画像を入力して、撮影画像ごとに検査領域の三次元情報を取得する（ステップＳＴ１）。続いて、三次元情報再構成部１２が、撮影画像ごとに取得された三次元情報を用いて、検査領域の三次元情報を再構成する（ステップＳＴ２）。

【0023】

平面特定部１３が、再構成された三次元情報を用いて検査領域における複数段の平面をそれぞれ特定する（ステップＳＴ３）。次に、画像変換部１４が、検査領域の撮影画像を検査領域に正対化させた正対化画像に変換する（ステップＳＴ４）。位置検出部１５が、正対化画像を用いて複数段の平面のそれぞれにおける鉄筋の位置情報を検出する（ステップＳＴ５）。オクルージョン判定部１６が、上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報に基づいて、上段の鉄筋により隠される下段の鉄筋を判定する（ステップＳＴ６）。

【0024】

次に、検査領域の配筋検査の詳細について説明する。
図３は、検査領域４の撮影処理の概要を示す説明図である。また、図４は、マーカ７を配置したテープ６を示す正面図である。検査領域４の周辺には、図３に示すように、テープ６が敷設されており、テープ６上には複数のマーカ７が一定の間隔で並んで配置されている。マーカ７は、図４に示すように、正方形の下地７Ａに識別形状７Ｂが描かれた識別子であり、例えば、ＡＲ（拡張現実）マーカである。

【0025】

配筋検査装置１を携帯した検査者が、テープ６に沿って移動すると、配筋検査装置１に接続されたステレオカメラ２も、検査領域４を撮影しながらテープ６に沿って移動する。三次元情報取得部１１は、検査者とともにテープ６に沿って移動するステレオカメラ２によって予め定められたフレームレイトで撮影された撮影画像の時系列データを入力する。

【0026】

なお、配筋検査には、ステレオカメラ２が備える左撮影部および右撮影部のうち、一方の撮影部が撮影した画像のみを用いてもよい。例えば、左視点画像のみを配筋検査に使用し、右視点画像は、左視点画像との視差をとるために使用される。三次元情報取得部１１は、ステレオカメラ２から入力した撮影画像を、図１において図示していない表示装置に出力し、表示装置は、撮影画像を表示する。

【0027】

三次元情報取得部１１は、ステレオカメラ２から入力した撮影画像からマーカ７を検出する。例えば、三次元情報取得部１１は、ステレオカメラ２が撮影した撮影画像（フレーム画像）を入力とし、マーカ７の検出データを出力する学習モデルを用いることにより、検査領域４の撮影画像からマーカ７を検出する。学習モデルは、テープ６を含む検査領域４の撮影画像を学習用データとして機械学習されたものであり、例えば、ニューラルネットワークモデルである。なお、三次元情報取得部１１は、検査領域４の撮影画像に対してマーカ７のパターンマッチングを実施して、マーカ７を検出してもよい。

【0028】

次に、三次元情報取得部１１は、検出したマーカ７の位置情報を算出する。例えば、三次元情報取得部１１は、ステレオカメラ２から入力した撮影画像を２値化し、マーカ７の下地７Ａの輪郭線を検出して、検出した輪郭線に基づいて下地７Ａが正方形であると判断されたときのマーカ７の位置を算出する。

【0029】

例えば、図４に示すように、頂点Ｐ１と頂点Ｐ２とを結ぶ線分、頂点Ｐ２と頂点Ｐ３とを結ぶ線分、頂点Ｐ３と頂点Ｐ４とを結ぶ線分、および頂点Ｐ４と頂点Ｐ１とを結ぶ線分により構成される形状が正方形である場合は、撮影画像は、ステレオカメラ２が検査領域４を正面から撮影したものである。このときの撮影位置は、隣り合うマーカ７の間の位置である。下地７Ａの形状の４つの頂点Ｐ１～Ｐ４のうち、いずれかの頂点が検出されないか、下地７Ａの形状が歪んで正方形として検出されなかった場合は、このときの撮影画像は、ステレオカメラ２が検査領域４を斜め方向から撮影したものである。

【0030】

三次元情報取得部１１は、下地７Ａの形状が歪んで正方形として検出されない撮影位置および下地７Ａの形状が正方形として検出される撮影位置でそれぞれ撮影された撮影画像におけるマーカ７の位置情報を算出する。三次元情報取得部１１は、マーカ７の位置情報を用いて、鉄筋５の計測を行う計測範囲８を特定する。例えば、図３に示すように、隣り合ったマーカ７の間に配筋検査装置１が位置したとき、すなわちフレーム画像に隣り合う２つのマーカ７が写ったときに、三次元情報取得部１１は、隣り合うマーカ７同士を結ぶ線で区画される範囲を、計測範囲８として特定する。

【0031】

図５は、時刻ｔ－１におけるステレオカメラ２が備える左撮影部および右撮影部による検査領域４の撮影画像２Ａおよび２Ｂを示す画面図である。図５において、撮影画像２Ａは、時刻ｔ－１に撮影された検査領域４の左視点画像であり、撮影画像２Ｂは、時刻ｔ－１に撮影された検査領域４の右視点画像である。時刻ｔ－１における撮影角度で検査領域４が撮影された場合、撮影画像２Ａに、上段の平面にある鉄筋５Ａ（図５において太線で示す鉄筋）によって下段の平面にある鉄筋５Ｂが隠れるオクルージョンが発生している。

【0032】

例えば、配筋検査に左視点画像を用い、右視点画像は左視点画像との視差をとるために用いられる場合、図５に示すように、左視点画像である撮影画像２Ａにオクルージョンが発生していると、左視点画像と右視点画像とをステレオマッチングした三次元画像には、下段の鉄筋５Ｂが隠れた状態となる。このため、配筋検査において下段の鉄筋５Ｂの検査漏れが発生する可能性がある。そこで、上段の鉄筋５Ａによって隠れた下段の鉄筋５Ｂを三次元画像に表示する必要がある。

【0033】

図６は、時刻ｔにおけるステレオカメラ２が備える左撮影部および右撮影部による検査領域４の撮影画像２Ａおよび２Ｂを示す画面図である。図６において、撮影画像２Ａは、時刻ｔに撮影された検査領域４の左視点画像であり、撮影画像２Ｂは、時刻ｔに撮影された検査領域４の右視点画像である。時刻ｔ－１から単位時間進んだ時刻ｔまでにステレオカメラ２が移動して、時刻ｔ－１における撮影角度とは異なる時刻ｔにおける撮影角度で検査領域４が撮影された場合、撮影画像２Ａおよび２Ｂにオクルージョンが発生しない。

【0034】

三次元情報再構成部１２は、各時刻における撮影画像のそれぞれに対応する三次元画像を入力して、各三次元画像から検査領域４に存在する物体の特徴点である三次元点を抽出し、三次元点群が特定された三次元画像を再構成する。各時刻における撮影画像に対応する複数の三次元画像の中には、図６に示すように、オクルージョンが発生していない画像も含まれる。三次元情報再構成部１２が三次元画像を再構成することにより、上段の鉄筋５Ａにより隠された下段の鉄筋５Ｂが、オクルージョンが発生していない画像の鉄筋５Ｂによって補間される。

【0035】

図７Ａ、図７Ｂおよび図７Ｃは、検査領域４の構造体における各段の平面を示す関数とアウトライヤおよびインライヤとの関係を示すグラフである。各段の平面を示す関数Ｐ（１）、Ｐ（２）およびＰ（３）とアウトライヤ２０およびインライヤ２１との関係を示すグラフであり、ＸＹ座標系における三次元点を示している。アウトライヤ２０は、許容可能な範囲に含まれない三次元点であり、インライヤ２１は、許容可能な範囲に含まれる三次元点である。

【0036】

ＲＡＮＳＡＣ法では、関数Ｐ（１）、Ｐ（２）およびＰ（３）を表すパラメータごとにインライヤ２１となる三次元点の数がカウントされ、カウント数が最も多いパラメータが最適なパラメータに決定される。すなわち、決定されたパラメータを適用した関数で表される平面候補が最上段の平面の推定結果とされる。図７Ａ、図７Ｂおよび図７Ｃから明らかなように、関数Ｐ（３）を表すパラメータにおいて、インライヤ２１となる三次元点の数が最も多いので、平面特定部１３は、関数Ｐ（３）で表される平面候補を最上段の平面として特定する。

【0037】

図８は、撮影画像２Ｃを正対化画像２Ｄに変換する処理を示す説明図である。撮影画像２Ｃは、三次元情報再構成部１２により再構成された三次元画像である。図８に示すように、撮影画像２Ｃには、ステレオカメラ２に近いほど鉄筋５が大きく写り、ステレオカメラ２から遠くなると鉄筋５が小さく写る。すなわち、撮影画像２Ｃにおける下側の画像領域には、ステレオカメラ２に近い位置にある鉄筋５が写っており、上側の画像領域には、ステレオカメラ２から遠い位置にある鉄筋５が写っている。

【0038】

画像変換部１４は、撮影画像２Ｃに映る複数の鉄筋５のうち、任意の矩形の４隅の点を指定し、４隅の点を指定した矩形がステレオカメラ２の正面から見た形状となるホモグラフィ変換行列を推定する。次に、画像変換部１４は、ホモグラフィ変換行列を用いて撮影画像２Ｃを正対化画像２Ｄに変換する。画像変換部１４は、正対化画像２Ｄの全てのポイント（画素）を、ステレオカメラ２との距離が一定になるようにスケーリングする。これにより、正対化画像２Ｄでは、ステレオカメラ２と検査領域４との距離に応じた鉄筋５の大きさの違いが補正される。

【0039】

図９は、上段の平面のマスク画像３１Ａ、下段の平面のマスク画像３１Ｂおよび両者を重ね合わせたマスク画像３１Ｃを示す画面図である。位置検出部１５は、正対化画像２Ｄを鉄筋以外の部分がマスクされたマスク画像３１Ｃに変換する。マスク画像３１Ｃでは、正対化画像２Ｄにおける鉄筋を示す領域が「１」表され、それ以外の領域が「０」で表された二値の画素値を有した画像である。画素値が「１」の領域は、白画素の領域となり、画素値が「０」の領域は、黒画素の領域となる。

【0040】

マスク画像３１Ｃには、例えば、最上段の平面のマスク画像３１Ａとその直下の平面のマスク画像３１Ｂとが含まれている。マスク画像３１Ａには、最上段の平面における鉄筋強調画像５Ｃのみが表示され、マスク画像３１Ｂには、その直下の平面における鉄筋強調画像５Ｄのみが表示されている。位置検出部１５は、マスク画像３１Ｃから抽出した各段の平面のマスク画像を用いて、各段の平面における鉄筋の位置情報を検出する。

【0041】

図１０は、正対化画像２Ｄにおける鉄筋５の位置を検出する処理を示す説明図である。位置検出部１５は、正対化画像２Ｄの左視点画像および右視点画像を用いて、同一位置にある鉄筋の画像上のずれ量を左右の視差として算出し、算出した視差を用いて鉄筋の画像部分を特定する。そして、位置検出部１５は、特定した画像部分の画素値を「１」とし、それ以外の画像部分を「０」として、マスク画像３１Ｃを生成する。

【0042】

位置検出部１５は、マスク画像３１Ｃに含まれる各段の平面のマスク画像から、鉄筋の位置情報を検出する。例えば、位置検出部１５は、最上段の平面のマスク画像３１Ａにおいて白画素のカウント数が閾値以上である位置を、鉄筋の位置として検出する。位置検出部１５は、図１０に示すように、マスク画像３１Ａを回転させて白画素の数をカウントすることにより、鉄筋のＸ方向の位置およびＹ方向の位置を検出することができる。このようにして、位置検出部１５は、正対化画像２Ｄにおいて、各段の平面ごとに、縦方向に並ぶ鉄筋の位置情報と、横方向に並ぶ鉄筋の位置情報とを検出する。

【0043】

図１１Ａ、図１１Ｂおよび図１１Ｃは、マスク画像３１Ａにおける鉄筋部分に対応する線分を特定する処理を示す説明図である。図１１Ａに示すように、マスク画像３１Ａにおいて白画素の領域Ａ、領域Ｂおよび領域Ｃがある場合、どの領域が鉄筋の画像に対応するのか不明である。そこで、位置検出部１５は、白画素の領域Ａ、領域Ｂおよび領域Ｃを通る座標軸における領域Ａの長さＤ（１）、領域Ｂの長さＤ（２）および領域Ｃの長さＤ（３）と、領域Ａと領域Ｂとの間隔Ｄ（４）と、領域Ｂと領域Ｃとの間隔Ｄ（５）とを算出する。

【0044】

位置検出部１５は、図１１Ｂに示すように、間隔Ｄ（４）および間隔Ｄ（５）のうち、閾値以上の間隔が空いた領域間は鉄筋ではないと判定し、閾値未満の間隔が空いた領域同士は同じ鉄筋に対応する画像領域であると判定する。例えば、位置検出部１５は、閾値未満の間隔Ｄ（４）が空いた領域Ａと領域Ｂを通り長さがＤ（６）である線分３２で示す画像領域を、同じ鉄筋に対応する画像領域であると判定する。また、Ｄ（５）は閾値以上であるので、位置検出部１５は、マスク画像３１Ａにおいて領域Ｂと領域Ｃとの間に鉄筋に対応する画像領域がないと判定する。

【0045】

位置検出部１５は、マスク画像３１Ａにおいて鉄筋の画像領域であると判定した部分の位置情報を、正対化画像２Ｄに付与する。位置検出部１５は、各段の平面のマスク画像について同様の処理により鉄筋の画像領域であると判定した部分の位置情報を算出し、各段の平面における鉄筋の位置情報を正対化画像２Ｄに付与して、オクルージョン判定部１６に出力する。

【0046】

オクルージョン判定部１６は、正対化画像２Ｄに付与された上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報とに基づいて、正対化画像２Ｄから上段の鉄筋と下段の鉄筋との位置関係を特定することにより、上段の鉄筋によって隠れる下段の鉄筋を判定する。オクルージョン判定部１６は、ステレオカメラ２に撮影された撮影画像ごと（左視点画像ごと）に、上段の鉄筋により隠されると判定した下段の鉄筋の位置情報を、オクルージョン判定結果として出力する。

【0047】

次に、配筋検査装置１の機能を実現するハードウェア構成について説明する。
配筋検査装置１が備える三次元情報取得部１１、三次元情報再構成部１２、平面特定部１３、画像変換部１４、位置検出部１５およびオクルージョン判定部１６の機能は、処理回路により実現される。すなわち、配筋検査装置１は、図２に示したステップＳＴ１からステップＳＴ６の処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

【0048】

図１２Ａは、配筋検査装置１の機能を実現するハードウェア構成を示すブロック図である。図１２Ｂは、配筋検査装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図１０Ａおよび図１０Ｂにおいて、入力インタフェース１００は、配筋検査装置１がステレオカメラ２から入力する撮影画像を中継するインタフェースである。出力インタフェース１０１は、配筋検査装置１から外部へ出力される情報を中継するインタフェースである。

【0049】

処理回路が図１２Ａに示す専用のハードウェアの処理回路１０２である場合、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。配筋検査装置１が備える三次元情報取得部１１、三次元情報再構成部１２、平面特定部１３、画像変換部１４、位置検出部１５およびオクルージョン判定部１６の機能を別々の処理回路で実現してもよく、これらの機能をまとめて一つの処理回路で実現してもよい。

【0050】

処理回路が図１２Ｂに示すプロセッサ１０３である場合、配筋検査装置１が備える三次元情報取得部１１、三次元情報再構成部１２、平面特定部１３、画像変換部１４、位置検出部１５およびオクルージョン判定部１６の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。

【0051】

プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することにより、配筋検査装置１が備える三次元情報取得部１１、三次元情報再構成部１２、平面特定部１３、画像変換部１４、位置検出部１５およびオクルージョン判定部１６の機能を実現する。例えば、配筋検査装置１は、プロセッサ１０３によって実行されるときに、図２に示したステップＳＴ１からステップＳＴ６の処理が結果的に実行されるプログラムを記憶するためのメモリ１０４を備える。

【0052】

これらのプログラムは、三次元情報取得部１１、三次元情報再構成部１２、平面特定部１３、画像変換部１４、位置検出部１５およびオクルージョン判定部１６が行う処理の手順または方法を、コンピュータに実行させる。メモリ１０４は、コンピュータを、三次元情報取得部１１、三次元情報再構成部１２、平面特定部１３、画像変換部１４、位置検出部１５およびオクルージョン判定部１６として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

【0053】

メモリ１０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

【0054】

配筋検査装置１が備える三次元情報取得部１１、三次元情報再構成部１２、平面特定部１３、画像変換部１４、位置検出部１５およびオクルージョン判定部１６の機能の一部を専用のハードウェアで実現し、一部を、ソフトウェアまたはファームウェアで実現してもよい。例えば、三次元情報取得部１１および三次元情報再構成部１２は、専用のハードウェアである処理回路１０２により機能を実現し、平面特定部１３、画像変換部１４、位置検出部１５およびオクルージョン判定部１６は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することによって機能を実現する。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することができる。

【0055】

以上のように、実施の形態１に係る配筋検査装置１は、複数段の平面のそれぞれに鉄筋５が配筋された構造体である検査領域４が複数の撮影角度から連続して撮影された撮影画像を入力し、撮影画像ごとに構造体の三次元情報を取得する三次元情報取得部１１と、撮影画像ごとに取得された三次元情報を用いて、構造体の三次元情報を再構成する三次元情報再構成部１２と、再構成された三次元情報を用いて構造体における複数段の平面をそれぞれ特定する平面特定部１３と、構造体の撮影画像を構造体に正対化した正対化画像２Ｄに変換する画像変換部１４と、正対化画像２Ｄを用いて複数段の平面のそれぞれにおける鉄筋５の位置情報を検出する位置検出部１５と、上段の平面における鉄筋５Ａの位置情報と下段の平面における鉄筋５Ｂの位置情報に基づいて、上段の鉄筋５Ａにより隠される下段の鉄筋５Ｂを判定するオクルージョン判定部１６を備える。撮影画像において上段の鉄筋５Ａにより隠される下段の鉄筋５Ｂが判定されるので、配筋検査装置１は、複数段の平面のそれぞれに鉄筋５が配筋された構造体の撮影画像にオクルージョンが発生しても鉄筋５の検査漏れを防止することができる。

【0056】

実施の形態１に係る配筋検査装置１において、位置検出部１５は、正対化画像を鉄筋５以外の部分がマスクされたマスク画像に変換し、マスク画像の鉄筋５の部分の画素をカウントすることにより、各段の平面における鉄筋５の位置を検出する。これにより、配筋検査装置１は、各段の平面の正対化画像２Ｄにおいて、縦方向に並ぶ鉄筋の位置と横方向に並ぶ鉄筋の位置を正確に検出することが可能である。

【0057】

実施の形態１に係る配筋検査装置１において、三次元情報取得部１１は、マーカ７が配置された構造体が複数の撮影角度から連続して撮影された撮影画像を入力して、撮影画像ごとに構造体の三次元情報を取得する。これにより、配筋検査装置１は、テープ６に等間隔に記載されたマーカ７の位置情報に基づいて、検査領域４の計測範囲８を特定することができる。

【0058】

実施の形態１に係る配筋検査方法は、三次元情報取得部１１が、複数段の平面のそれぞれに鉄筋５が配筋された構造体である検査領域４が複数の撮影角度から連続して撮影された撮影画像を入力し、撮影画像ごとに構造体の三次元情報を取得するステップと、三次元情報再構成部１２が、撮影画像ごとに取得された三次元情報を用いて、構造体の三次元情報を再構成するステップと、平面特定部１３が、再構成された三次元情報を用いて構造体における複数段の平面をそれぞれ特定するステップと、画像変換部１４が、構造体の撮影画像を構造体に正対化した正対化画像２Ｄに変換するステップと、位置検出部１５が、正対化画像２Ｄを用いて複数段の平面のそれぞれにおける鉄筋５の位置情報を検出するステップと、オクルージョン判定部１６が、上段の平面における鉄筋５Ａの位置情報と下段の平面における鉄筋５Ｂの位置情報に基づいて、上段の鉄筋５Ａにより隠される下段の鉄筋５Ｂを判定するステップと、を備える。これにより、複数段の平面のそれぞれに鉄筋５が配筋された構造体の撮影画像にオクルージョンが発生しても鉄筋５の検査漏れを防止することができる。

【0059】

実施の形態１に係るプログラムは、コンピュータを配筋検査装置１として機能させる。これにより、複数段の平面のそれぞれに鉄筋５が配筋された構造体の撮影画像にオクルージョンが発生しても鉄筋５の検査漏れを防止することができる配筋検査装置１を提供可能である。

【0060】

実施の形態２．
図１３は、実施の形態２に係る配筋検査装置１Ａの構成を示すブロック図である。配筋検査装置１Ａは、配筋検査装置１と同様に、検査領域に配筋されている鉄筋の本数、隣り合う鉄筋の間隔、鉄筋の径または鉄筋の節の間隔の少なくとも一つを検査する。検査領域とは、複数段の平面のそれぞれに鉄筋が配筋された構造体を上段の平面側からみた領域である。なお、構造体は、骨格として鉄筋が配筋された建築または土木の構造体である。

【0061】

配筋検査装置１Ａは、タブレット端末、スマートフォンまたはノートタイプのＰＣである。図１３に示すように、配筋検査装置１Ａには、有線または無線でステレオカメラ２、表示装置４１および学習装置５１が接続されている。なお、ステレオカメラ２、表示装置４１および学習装置５１が外付けされた装置に限らず、配筋検査装置１Ａは、ステレオカメラ２、表示装置４１および学習装置５１を内蔵する装置であってもよい。

【0062】

例えば、検査者が、配筋検査装置１Ａを携帯して検査領域の周辺を移動しながら、配筋検査装置１Ａと接続されたステレオカメラ２で検査領域を撮影する。検査者とともにステレオカメラ２も移動するので、ステレオカメラ２は、検査領域を複数の撮影角度から連続して撮影することができる。なお、配筋検査装置１Ａとともに検査領域の周辺を移動する移動体は、検査者に限らず、車両、無人飛行体等であってもよい。

【0063】

配筋検査装置１Ａは、三次元情報取得部１１、三次元情報再構成部１２、平面特定部１３、画像変換部１４、位置検出部１５、オクルージョン判定部１６、画像抽出部１７、推論部１８および画像生成部１９を備える。推論部１８は、学習装置５１に接続され、画像生成部１９は、表示装置４１に接続されている。学習装置５１は、学習部５１１と記憶部５１２を備える。

【0064】

画像抽出部１７は、平面ごとの鉄筋の位置情報とオクルージョン判定結果とに基づいて正対化画像から鉄筋の画像を抽出する。例えば、画像抽出部１７は、位置検出部１５により算出された各平面における鉄筋の位置情報に基づいて正対化画像における鉄筋の画像を鉄筋ごとに特定する。さらに、画像抽出部１７は、オクルージョン判定結果である下段の鉄筋の位置情報に基づいて、正対化画像において上段の鉄筋によって隠されている鉄筋の画像を特定する。画像抽出部１７は、このようにして特定した鉄筋の画像から鉄筋の長手方向に沿って同じ大きさの複数の部分画像を順に抽出する。画像抽出部１７によって抽出された複数の部分画像データは、鉄筋の画像ごとに推論部１８に出力される。

【0065】

推論部１８は、正対化画像から抽出した鉄筋の画像を入力として、鉄筋の検査情報を出力する学習モデルを用いて、鉄筋の検査情報を推論する。例えば、推論部１８は、画像抽出部１７によって鉄筋の画像ごとに抽出された複数の部分画像データを入力とし、鉄筋の検査情報として鉄筋の径または鉄筋の節の間隔の少なくとも一つを推論する学習モデルを用いて、鉄筋の検査情報を推論する。

【0066】

画像生成部１９は、各平面の鉄筋の位置情報、オクルージョン判定結果、および鉄筋の検査情報に基づいて、検査領域である構造体における各段の平面の鉄筋を上段側から視認可能な画像を生成する。例えば、画像生成部１９は、上段の鉄筋によって隠された下段の鉄筋を示すライン画像が上段の平面に重畳された撮影画像を生成する。画像生成部１９により生成された画像は、表示装置４１に表示される。検査者は、表示装置４１に表示された画像のうち、上記ライン画像を視認することにより、上段の鉄筋によって隠された下段の鉄筋を認識することが可能である。

【0067】

表示装置４１は、配筋検査装置１Ａが備える表示装置である。表示装置４１は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置である。

【0068】

学習装置５１は、鉄筋の撮影画像が分割された複数の部分画像を入力として、鉄筋の検査情報を出力する学習モデルを生成する装置であり、学習部５１１および記憶部５１２を備える。鉄筋の検査情報は、鉄筋の径、鉄筋の節の間隔、または鉄筋の径および節の間隔である。学習部５１１は、学習用データを用いて鉄筋の検査情報を学習することにより、学習モデルを生成し、学習モデルを記憶部５１２に記憶する。学習アルゴリズムとして、例えば、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）、ニューラルネットワーク、遺伝的プログラミング、機能論理プログラミングまたはサポートベクターマシンを用いてもよい。

【0069】

学習用データは、学習モデルの入力データである、鉄筋の撮影画像を分割した複数の部分画像データと正解ラベルとを含むデータセットである。正解ラベルは、複数の部分画像データのそれぞれに対応する鉄筋の径を示す情報、複数の部分画像データのそれぞれに対応する鉄筋の節間隔を示す情報または複数の部分画像データにそれぞれ対応する鉄筋の径および節間隔を示す情報である。なお、学習用データには、画像抽出部１７が鉄筋の撮影画像を分割した複数の部分画像データを用いてもよい。

【0070】

図１４は、正対化画像２Ｄから鉄筋５Ａの部分画像２Ｆ（１），２Ｆ（２），２Ｆ（３），・・・を抽出する処理を示す説明図である。画像抽出部１７は、図１４に示すように、正対化画像２Ｄから、長手方向に沿った鉄筋５Ａの画像２Ｅを抽出する。さらに、画像抽出部１７は、画像２Ｅから順次同一の大きさの部分画像２Ｆ（１），２Ｆ（２），２Ｆ（３），・・・を抽出して推論部１８に出力する。

【0071】

部分画像２Ｆ（１），２Ｆ（２），２Ｆ（３），・・・は、例えば、縦横が同じ画素数の正方形の画像である。図１４において、画像抽出部１７は、正対化画像２Ｄにおける最上段の平面における、鉄筋５Ａについて部分画像２Ｆ（１），２Ｆ（２），２Ｆ（３），・・・を抽出している。画像抽出部１７は、正対化画像２Ｄに写る各段の平面における全ての鉄筋について、これらの処理を行う。

【0072】

図１５は、鉄筋５Ａの部分画像を学習モデルに入力して鉄筋５Ａの径を推論する処理を示す説明図である。図１５において、学習モデルは、鉄筋の画像から抽出された複数の部分画像と、各部分画像に付与された鉄筋の径Ｄを示す正解ラベルとのセットである学習用データを用いて生成されたモデルである。推論部１８は、複数の部分画像データを学習モデルに入力して部分画像データごとに推論を行い、部分画像ごとに径Ｄの鉄筋が写っている確率と鉄筋以外が写っている確率とを算出する。

【0073】

例えば、推論結果データ６１（１）は、図１４に示した部分画像２Ｆ（１）において、各種類の鉄筋が写っている確率と鉄筋以外のもの（ＮＯＮ）が写っている確率を算出した結果である。鉄筋には、例えば、ＪＩＳ規格に基づく１６種類の鉄筋がある。１６種類の鉄筋には、Ｄ４、Ｄ５、Ｄ６、Ｄ８、Ｄ１０、Ｄ１３、Ｄ１６、Ｄ１９、Ｄ２２、Ｄ２５、Ｄ２９、Ｄ３２、Ｄ３５、Ｄ３８、Ｄ４１およびＤ５１という「呼び名」が付与されている。呼び名は、鉄筋の公称直径を丸めた径の大きさを示している。

【0074】

呼び名がＤ１０である鉄筋の公称直径は、９．５３（ｍｍ）であり、呼び名がＤ１３である鉄筋の公称直径は、１２．７（ｍｍ）であり、呼び名がＤ１６である鉄筋の公称直径は、１５．９（ｍｍ）である。なお、建築物の骨格として一般的に使用される鉄筋は、Ｄ１０以降の鉄筋である。

【0075】

推論結果データ６１（２）は、図１４に示した部分画像２Ｆ（２）において、各種類の鉄筋が写っている確率と鉄筋以外のもの（ＮＯＮ）が写っている確率とを算出した結果である。このような推論結果データが同じ鉄筋の画像から抽出された全ての部分画像データについて算出される。

【0076】

続いて、学習モデルは、同じ鉄筋の画像から抽出された全ての部分画像データについての推論結果データを平均することにより、鉄筋の画像における推論結果データ６２を算出する。例えば、推論結果データ６２には、各種類の鉄筋が写っている確率を平均した値と鉄筋以外のもの（ＮＯＮ）が写っている確率を平均した値とが含まれる。

【0077】

推論部１８は、推論結果データ６２に基づいて、鉄筋の径Ｄを判定する。図１５の例では、図１４に示した画像２Ｅにおける鉄筋の種類がＤ１６、すなわち径Ｄが１５．９（ｍｍ）の鉄筋であると判定されている。推論部１８は、学習モデルを用いることにより、鉄筋の径Ｄを正確に検出でき、鉄筋の径Ｄに基づいて鉄筋の種類を判定できる。

【0078】

また、推論部１８は、複数の部分画像を入力として、正対化画像２Ｄから抽出した鉄筋の画像における鉄筋の節の間隔Ｌを出力する学習モデルを用いて、鉄筋の節の間隔Ｌを推論してもよい。学習モデルは、鉄筋の画像から抽出された複数の部分画像と各部分画像に付与された鉄筋の節の間隔Ｌを示す正解ラベルとのセットである学習用データを用いて生成されたモデルである。

【0079】

推論部１８は、複数の部分画像データを学習モデルに入力して、部分画像データごとに推論を行い、部分画像ごとに、節間隔Ｌである鉄筋が写っている確率と鉄筋以外が写っている確率とを算出する。学習モデルは、同じ鉄筋の画像から抽出された全ての部分画像データについての推論結果データを平均することにより、鉄筋の画像における推論結果データを算出する。推論部１８は、算出した推論結果データに基づいて鉄筋の節の間隔Ｌを正確に検出でき、鉄筋の節の間隔Ｌに基づいて鉄筋の種類を判定することが可能である。

【0080】

さらに、推論部１８は、複数の部分画像を入力とし、正対化画像２Ｄから抽出した鉄筋の画像における鉄筋の径Ｄおよび節の間隔Ｌを出力する学習モデルを用いて、鉄筋の検査情報として鉄筋の径Ｄおよび節の間隔Ｌを推論してもよい。学習モデルは、鉄筋の画像から抽出された複数の部分画像と、各部分画像に付与された鉄筋の径Ｄおよび節の間隔Ｌを示す正解ラベルとのセットである学習用データを用いて生成されたモデルである。

【0081】

推論部１８は、複数の部分画像データを学習モデルに入力して、部分画像データごとに推論を行い、部分画像ごとに、径Ｄおよび節間隔Ｌである鉄筋が写っている確率と、鉄筋以外が写っている確率とを算出する。学習モデルは、同じ鉄筋の画像から抽出された全ての部分画像データについての推論結果データを平均することにより、当該鉄筋の画像における推論結果データを算出する。推論部１８は、算出した推論結果データに基づいて、鉄筋の径Ｄおよび節の間隔Ｌを正確に検出でき、鉄筋の径Ｄおよび節の間隔Ｌに基づいて、鉄筋の種類を判定することが可能である。

【0082】

図１６は、上段の鉄筋５Ａを示すライン画像８１が重畳された撮影画像２Ａを示す画面図である。画像生成部１９は、平面ごとの鉄筋５の位置情報、オクルージョン判定結果、および鉄筋５の検査情報に基づいて、各段の平面の鉄筋５を上段側から視認可能な撮影画像２Ａを生成する。図１６において、画像生成部１９は、電子黒板７１およびライン画像８１を重畳させた撮影画像２Ａを、表示装置４１の画面４１Ａに表示させる。

【0083】

電子黒板７１には、例えば、最上段の平面における計測範囲の識別番号と鉄筋５Ａの検査情報とが記載される。ライン画像８１は、最上段の平面における縦方向および横方向の鉄筋５Ａを示す画像である。これにより、検査者は、表示装置４１の画面４１Ａを参照することにより、最上段の平面における計測範囲の識別番号、鉄筋５Ａの検査情報および最上段の平面における縦方向および横方向の鉄筋５Ａを認識することができる。

【0084】

図１７は、下段の鉄筋５Ｂを示すライン画像８２および８３が重畳された撮影画像２Ａを示す画面図である。画像生成部１９は、平面ごとの鉄筋５の位置情報、オクルージョン判定結果、および鉄筋５の検査情報に基づいて、上段の鉄筋５Ａによって隠された下段の鉄筋５Ｂを視認可能な撮影画像２Ａを生成する。図１７において、画像生成部１９は、電子黒板７１、ライン画像８２およびライン画像８３を重畳させた撮影画像２Ａを、表示装置４１の画面４１Ａに表示させる。

【0085】

電子黒板７１には、例えば、下段の平面における計測範囲の識別番号と鉄筋５Ｂの検査情報とが記載される。ライン画像８２は、最上段の直下の平面における縦方向および横方向の鉄筋５Ｂを示す画像である。ライン画像８３は、破線のライン画像であり、最上段の鉄筋５Ａによって隠された下段の鉄筋５Ｂを示す画像である。撮影画像２Ａにおいて、ライン画像８３は、下段の鉄筋５Ｂを隠している上段の鉄筋５Ａ上に重畳されている。
検査者は、表示装置４１の画面４１Ａを参照することにより、最上段の直下の平面における計測範囲の識別番号、鉄筋５Ｂの検査情報、および下段の平面における縦方向および横方向の鉄筋５Ｂを認識することができる。

【0086】

以上のように、実施の形態２に係る配筋検査装置１Ａは、平面ごとの鉄筋５の位置情報と下段の鉄筋５Ｂの判定結果とに基づいて、正対化画像２Ｄから鉄筋５の画像２Ｅを抽出する画像抽出部１７と、正対化画像２Ｄから抽出した鉄筋５の画像２Ｅを入力として、鉄筋５の検査情報を出力する学習モデルを用いて鉄筋５の検査情報を推論する推論部１８を備える。推論部１８は、上記学習モデルを用いることにより鉄筋の検査情報を正確に検出でき、鉄筋の検査情報を推論することが可能である。

【0087】

実施の形態２に係る配筋検査装置１Ａは、平面ごとの鉄筋５の位置情報、オクルージョン判定結果および鉄筋５の検査情報に基づいて、各段の平面の鉄筋５を上段側から視認可能な撮影画像２Ａを生成する画像生成部１９を備える。これにより、検査者は、撮影画像２Ａを視認することにより、上段の鉄筋によって隠された下段の鉄筋を認識することが可能である。

【0088】

実施の形態２に係る配筋検査装置１Ａにおいて、画像生成部１９は、上段の鉄筋５Ａにより隠された下段の鉄筋５Ｂを示すライン画像８３が上段の平面に重畳された撮影画像２Ａを生成する。検査者は、撮影画像２Ａに重畳されたライン画像８３を視認することで、上段の鉄筋によって隠された下段の鉄筋を認識することが可能である。

【0089】

実施の形態２に係る配筋検査装置１Ａにおいて、画像抽出部１７は、正対化画像２Ｄから抽出した鉄筋５の画像２Ｅを部分画像２Ｆ（１），２Ｆ（２），２Ｆ（３），・・・に分割する。推論部１８は、部分画像２Ｆ（１），２Ｆ（２），２Ｆ（３），・・・を入力とし、正対化画像２Ｄから抽出した鉄筋５の径または鉄筋５の節の間隔の少なくとも一つを出力する学習モデルを用いて、鉄筋５の検査情報として、鉄筋５の径または鉄筋５の節の間隔の少なくとも一つを推論する。これにより、配筋検査装置１Ａは、各段の平面の正対化画像２Ｄにおいて縦方向に並ぶ鉄筋の位置情報および横方向に並ぶ鉄筋の位置情報を正確に検出することが可能である。

【0090】

なお、各実施の形態の組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

【符号の説明】

【0091】

１，１Ａ 配筋検査装置、２ ステレオカメラ、２Ａ～２Ｃ 撮影画像、２Ｄ 正対化画像、２Ｅ 画像、２Ｆ（１），２Ｆ（２），２Ｆ（３），・・・ 部分画像、４ 検査領域、５，５Ａ，５Ｂ 鉄筋、５Ｃ，５Ｄ 鉄筋強調画像、６ テープ、７ マーカ、７Ａ 下地、７Ｂ 識別形状、８ 計測範囲、１１ 三次元情報取得部、１２ 三次元情報再構成部、１３ 平面特定部、１４ 画像変換部、１５ 位置検出部、１６ オクルージョン判定部、１７ 画像抽出部、１８ 推論部、１９ 画像生成部、２０ アウトライヤ、２１ インライヤ、３１Ａ～３１Ｃ マスク画像、３２ 線分、４１ 表示装置、４１Ａ 画面、５１ 学習装置、６１，６２ 推論結果データ、７１ 電子黒板、８１～８３ ライン画像、１００ 入力インタフェース、１０１ 出力インタフェース、１０２ 処理回路、１０３ プロセッサ、１０４ メモリ、５１１ 学習部、５１２ 記憶部。

【要約】      （修正有）

【課題】複数段の平面のに鉄筋が配筋された構造体の撮影画像にオクルージョンが発生しても鉄筋の検査漏れを防止することができる配筋検査装置を提供する。
【解決手段】配筋検査装置１は複数段の平面に鉄筋が配筋された構造体である検査領域を複数の撮影角度から連続して撮影された撮影画像を入力し、構造体の三次元情報を取得する三次元情報取得部１１と、構造体の三次元情報を再構成する三次元情報再構成部１２と、再構成された三次元情報を用いて構造体における複数段の平面をそれぞれ特定する平面特定部１３と、構造体の撮影画像を構造体に正対化した正対化画像に変換する画像変換部１４と、正対化画像を用いて複数段の平面のそれぞれにおける鉄筋の位置情報を検出する位置検出部１５と、上段の平面における鉄筋の位置情報と下段の平面における鉄筋の位置情報に基づいて、上段の鉄筋により隠される下段の鉄筋を判定するオクルージョン判定部１６を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】