知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167921
(43)【公開日】2024-12-05
(54)【発明の名称】配筋検査装置、配筋検査方法およびプログラム
(51)【国際特許分類】
G01B 11/00 20060101AFI20241128BHJP
G06T 7/70 20170101ALI20241128BHJP
G06T 7/593 20170101ALI20241128BHJP
G06T 7/00 20170101ALI20241128BHJP
【ＦＩ】
G01B11/00 H
G06T7/70 Z
G06T7/593
G06T7/00 610
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023084228
(22)【出願日】2023-05-23
(71)【出願人】
【識別番号】591036457
【氏名又は名称】三菱電機エンジニアリング株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】坂井 清士郎
(72)【発明者】
【氏名】平 謙二
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA12
2F065AA17
2F065BB28
2F065FF04
2F065QQ16
2F065QQ43
5L096AA06
5L096AA09
5L096BA03
5L096BA18
5L096CA04
5L096DA02
5L096EA13
5L096FA06
5L096FA10
5L096FA12
5L096FA23
5L096FA24
5L096FA32
5L096FA34
5L096FA35
5L096FA54
5L096FA66
5L096FA67
5L096FA69
5L096GA10
5L096GA30
5L096GA51
5L096HA09
5L096JA11
(57)【要約】
【課題】 単眼カメラによって撮影された画像を用いて配筋の各層の鉄筋を検出できる、配筋検査装置を提供する。
【解決手段】 配筋検査装置（１）は、単眼カメラ（２）によって異なる角度からそれぞれ撮影された配筋（３）の複数の撮影画像を取得する画像取得部（１１）と、撮影画像間のマーカ（５）の大きさ、位置および撮影角度の変化に基づいて、単眼カメラ（２）の撮影姿勢および移動距離に基づいて、配筋（３）を表す三次元点群データを算出する三次元復元部（１２）と、三次元点群データを用いて平面マスク画像を生成する平面検出部（１３）と、撮影画像および平面マスク画像を正対画像に変換する画像変換部（１４）と、撮影画像の正対画像と平面マスク画像の正対画像とを用いて、平面における鉄筋（４）を検出する鉄筋検出部（１５）と、検出された鉄筋（４）の特徴量を用いて、配筋（３）における鉄筋（４）を計測する計測処理部（１６）と、を備える。
【選択図】 図１
【解決手段】 配筋検査装置（１）は、単眼カメラ（２）によって異なる角度からそれぞれ撮影された配筋（３）の複数の撮影画像を取得する画像取得部（１１）と、撮影画像間のマーカ（５）の大きさ、位置および撮影角度の変化に基づいて、単眼カメラ（２）の撮影姿勢および移動距離に基づいて、配筋（３）を表す三次元点群データを算出する三次元復元部（１２）と、三次元点群データを用いて平面マスク画像を生成する平面検出部（１３）と、撮影画像および平面マスク画像を正対画像に変換する画像変換部（１４）と、撮影画像の正対画像と平面マスク画像の正対画像とを用いて、平面における鉄筋（４）を検出する鉄筋検出部（１５）と、検出された鉄筋（４）の特徴量を用いて、配筋（３）における鉄筋（４）を計測する計測処理部（１６）と、を備える。
【選択図】 図１
【特許請求の範囲】
【請求項1】
格子状に組まれた鉄筋からなる複数層の平面を有した配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラによって異なる角度からそれぞれ撮影された複数の撮影画像を取得する画像取得部と、
前記撮影画像間の前記マーカの大きさ、位置および撮影角度の変化に基づいて、前記単眼カメラの撮影姿勢および移動距離を算出し、算出した前記単眼カメラの撮影姿勢および移動距離に基づいて、前記配筋を表す三次元点群データを算出する三次元復元部と、
前記三次元点群データを用いて、平面における鉄筋以外の部分をマスクした平面マスク画像を生成する平面検出部と、
前記撮影画像および前記平面マスク画像を、鉄筋が互いに直交する正対画像に変換する画像変換部と、
前記撮影画像の前記正対画像と前記平面マスク画像の前記正対画像とを用いて、平面における鉄筋を検出する鉄筋検出部と、
検出された鉄筋の特徴量を用いて、前記配筋における鉄筋を計測する計測処理部と、を備えた
ことを特徴とする配筋検査装置。
前記撮影画像間の前記マーカの大きさ、位置および撮影角度の変化に基づいて、前記単眼カメラの撮影姿勢および移動距離を算出し、算出した前記単眼カメラの撮影姿勢および移動距離に基づいて、前記配筋を表す三次元点群データを算出する三次元復元部と、
前記三次元点群データを用いて、平面における鉄筋以外の部分をマスクした平面マスク画像を生成する平面検出部と、
前記撮影画像および前記平面マスク画像を、鉄筋が互いに直交する正対画像に変換する画像変換部と、
前記撮影画像の前記正対画像と前記平面マスク画像の前記正対画像とを用いて、平面における鉄筋を検出する鉄筋検出部と、
検出された鉄筋の特徴量を用いて、前記配筋における鉄筋を計測する計測処理部と、を備えた
ことを特徴とする配筋検査装置。
【請求項2】
前記マーカは、前記配筋の平面に複数設けられ、多角形の外形状を有している
ことを特徴とする請求項１に記載の配筋検査装置。
ことを特徴とする請求項１に記載の配筋検査装置。
【請求項3】
前記三次元復元部は、複数の前記撮影画像における、複数の前記マーカの大きさ、位置および撮影角度の変化に基づいて、前記単眼カメラの撮影位置および撮影姿勢を算出し、互いに異なる前記撮影画像のペアから算出した前記単眼カメラの撮影位置および移動距離を用いて、前記三次元点群データを算出する
ことを特徴とする請求項２に記載の配筋検査装置。
ことを特徴とする請求項２に記載の配筋検査装置。
【請求項4】
前記平面検出部は、前記三次元点群データを用いて、互いに異なる前記撮影画像のペアから前記平面マスク画像を生成する
ことを特徴とする請求項３に記載の配筋検査装置。
ことを特徴とする請求項３に記載の配筋検査装置。
【請求項5】
前記平面検出部は、前記三次元点群データを用いて決定した複数の平面候補から、前記単眼カメラから平面までの距離が設定距離内にある三次元点数に応じて選択した前記平面候補を表す平面パラメータを推定し、前記平面パラメータを用いて前記平面マスク画像を生成する
ことを特徴とする請求項４に記載の配筋検査装置。
ことを特徴とする請求項４に記載の配筋検査装置。
【請求項6】
前記平面検出部は、前記平面候補の前記平面パラメータの算出と、当該平面候補の法線に基づいた平面の誤差量を示すヒストグラムの更新とを繰り返すことにより、検査対象の平面を表す前記平面パラメータを算出する
ことを特徴とする請求項５に記載の配筋検査装置。
ことを特徴とする請求項５に記載の配筋検査装置。
【請求項7】
前記平面検出部は、互いに異なる前記撮影画像のペアからそれぞれ算出された前記三次元点群データを用いて前記平面マスク画像を生成し、これらの前記平面マスク画像を合成したものを、最終的な前記平面マスク画像とする
ことを特徴とする請求項４に記載の配筋検査装置。
ことを特徴とする請求項４に記載の配筋検査装置。
【請求項8】
前記鉄筋検出部は、前記撮影画像の前記正対画像における輝度エッジに基づいて、前記平面マスク画像の前記正対画像における鉄筋部分に対応する線分のエッジ位置を補正する
ことを特徴とする請求項１に記載の配筋検査装置。
ことを特徴とする請求項１に記載の配筋検査装置。
【請求項9】
前記計測処理部は、前記単眼カメラから鉄筋までの距離が一定になるように、検出された鉄筋の前記撮影画像と、予め登録した鉄筋の前記撮影画像との画像スケールを合わせるスケーリングを行う
ことを特徴とする請求項１に記載の配筋検査装置。
ことを特徴とする請求項１に記載の配筋検査装置。
【請求項10】
前記計測処理部は、検査対象の平面における鉄筋の位置パラメータに基づいて鉄筋同士が上下に交差している交点を算出し、前記撮影画像の前記正対画像から、交点間の鉄筋の特徴量を抽出する
ことを特徴とする請求項９に記載の配筋検査装置。
ことを特徴とする請求項９に記載の配筋検査装置。
【請求項11】
前記計測処理部は、前記正対画像における鉄筋の長手方向に沿った複数の画素の輝度値からなる走査線を、鉄筋の長手方向に直交する方向の画素ごとに取得し、画素ごとの前記走査線の輝度値を周波数変換した複数の周波数スペクトルを算出して、これらの前記周波数スペクトルから抽出した輝度値の変化量の中央値を、鉄筋の特徴量とする
ことを特徴とする請求項１０に記載の配筋検査装置。
ことを特徴とする請求項１０に記載の配筋検査装置。
【請求項12】
前記計測処理部は、前記周波数スペクトルに一定の周波数範囲ごとのセグメントを設定し、前記セグメントごとに輝度値の変化量の総和と判定基準値とを比較し、前記判定基準値よりも低い前記セグメントの前記総和を、複数の前記周波数スペクトルのうち同一の前記セグメントで前記総和が中央値となるものに置き換える
ことを特徴とする請求項１１に記載の配筋検査装置。
ことを特徴とする請求項１１に記載の配筋検査装置。
【請求項13】
前記計測処理部は、前記撮影画像から求めた前記周波数スペクトルにおけるピークの周波数での輝度値の中央値と、予め登録した鉄筋の画像から求められた前記周波数スペクトルにおけるピークの周波数での輝度値の変化量の中央値との相関係数を算出し、前記相関係数の値に応じて重み付けたピークの周波数での輝度値の変化量の中央値を加算したものを、相関評価値として算出して、前記相関評価値が閾値を超えた鉄筋の前記周波数スペクトルを新たに登録する
ことを特徴とする請求項１１に記載の配筋検査装置。
ことを特徴とする請求項１１に記載の配筋検査装置。
【請求項14】
前記計測処理部は、前記正対画像から抽出した鉄筋の画像を複数の部分画像に分割し、複数の前記部分画像が入力されると鉄筋の径を出力する学習モデルを用いて、鉄筋の径を推論する
ことを特徴とする請求項９に記載の配筋検査装置。
ことを特徴とする請求項９に記載の配筋検査装置。
【請求項15】
配筋検査装置の配筋検査方法であって、
画像取得部が、格子状に組まれた鉄筋からなる複数層の平面を有した配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラによって異なる角度からそれぞれ撮影された複数の撮影画像を取得するステップと、
三次元復元部が、前記撮影画像間の前記マーカの大きさ、位置および形状の変化に基づいて、前記単眼カメラの撮影姿勢および移動距離を算出し、算出した前記単眼カメラの撮影姿勢および移動距離に基づいて、前記配筋を表す三次元点群データを算出するステップと、
平面検出部が、前記三次元点群データを用いて、平面における鉄筋以外の部分をマスクした平面マスク画像を生成するステップと、
画像変換部が、前記撮影画像および前記平面マスク画像を、鉄筋が互いに直交する正対画像に変換するステップと、
鉄筋検出部が、前記撮影画像の前記正対画像と前記平面マスク画像の前記正対画像とを用いて、平面における鉄筋を検出するステップと、
計測処理部が、検出された鉄筋の特徴量を用いて、前記配筋における鉄筋を計測するステップと、を備えた
ことを特徴とする配筋検査方法。
画像取得部が、格子状に組まれた鉄筋からなる複数層の平面を有した配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラによって異なる角度からそれぞれ撮影された複数の撮影画像を取得するステップと、
三次元復元部が、前記撮影画像間の前記マーカの大きさ、位置および形状の変化に基づいて、前記単眼カメラの撮影姿勢および移動距離を算出し、算出した前記単眼カメラの撮影姿勢および移動距離に基づいて、前記配筋を表す三次元点群データを算出するステップと、
平面検出部が、前記三次元点群データを用いて、平面における鉄筋以外の部分をマスクした平面マスク画像を生成するステップと、
画像変換部が、前記撮影画像および前記平面マスク画像を、鉄筋が互いに直交する正対画像に変換するステップと、
鉄筋検出部が、前記撮影画像の前記正対画像と前記平面マスク画像の前記正対画像とを用いて、平面における鉄筋を検出するステップと、
計測処理部が、検出された鉄筋の特徴量を用いて、前記配筋における鉄筋を計測するステップと、を備えた
ことを特徴とする配筋検査方法。
【請求項16】
コンピュータを、
格子状に組まれた鉄筋からなる複数層の平面を有した配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラによって異なる角度からそれぞれ撮影された複数の撮影画像を取得する画像取得部、
前記撮影画像間の前記マーカの大きさ、位置および形状の変化に基づいて、前記単眼カメラの撮影姿勢および移動距離を算出し、算出した前記単眼カメラの撮影姿勢および移動距離に基づいて、前記配筋を表す三次元点群データを算出する三次元復元部、
前記三次元点群データを用いて、平面における鉄筋以外の部分をマスクした平面マスク画像を生成する平面検出部、
前記撮影画像および前記平面マスク画像を、鉄筋が互いに直交する正対画像に変換する画像変換部、
前記撮影画像の前記正対画像と前記平面マスク画像の前記正対画像とを用いて、平面における鉄筋を検出する鉄筋検出部、
検出された鉄筋の特徴量を用いて、前記配筋における鉄筋を計測する計測処理部、
として機能させるためのプログラム。
格子状に組まれた鉄筋からなる複数層の平面を有した配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラによって異なる角度からそれぞれ撮影された複数の撮影画像を取得する画像取得部、
前記撮影画像間の前記マーカの大きさ、位置および形状の変化に基づいて、前記単眼カメラの撮影姿勢および移動距離を算出し、算出した前記単眼カメラの撮影姿勢および移動距離に基づいて、前記配筋を表す三次元点群データを算出する三次元復元部、
前記三次元点群データを用いて、平面における鉄筋以外の部分をマスクした平面マスク画像を生成する平面検出部、
前記撮影画像および前記平面マスク画像を、鉄筋が互いに直交する正対画像に変換する画像変換部、
前記撮影画像の前記正対画像と前記平面マスク画像の前記正対画像とを用いて、平面における鉄筋を検出する鉄筋検出部、
検出された鉄筋の特徴量を用いて、前記配筋における鉄筋を計測する計測処理部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、配筋検査装置、配筋検査方法およびプログラムに関する。
【背景技術】
【0002】
鉄筋コンクリート構造物の施工においては、複数の鉄筋を組み上げて構成される配筋が設計通りに構成されているかどうかを検査する配筋検査が行われる。例えば、特許文献１に記載される配筋検査システムでは、配筋の所定の層の上に配置したマーカを単眼カメラにより異なる角度から撮影した複数の画像を重ね合わせた重畳画像を生成し、重畳画像において配筋の所定の層の対象層画像を生成する。そして、配筋検査システムは、対象層画像に基づいて配筋の鉄筋領域を抽出し、鉄筋領域の中心線のうち、所定の範囲に含まれる中心線の数を算出し、中心線の数と設計データとの正否を判定する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６８０１０５５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載される配筋検査システムは、単眼カメラによって異なる角度から撮影された複数の画像をそれぞれ半透明の変換画像に変換し、これらの変換画像を重ね合わせた重畳画像を生成し、重畳画像において各変換画像の物体が重なって濃く表示されている部分を残し、物体が重ならなかった部分を消して対象層画像を生成している。このため、上層の鉄筋画像と下層の鉄筋画像がずれて重なる可能性があり、この場合、鉄筋を正確に検出できない、という課題があった。例えば、上層の鉄筋による下層の鉄筋に対するオクルージョンが発生すると、上層の鉄筋によって隠された下層の鉄筋を検出できない。
【0005】
本開示は上記課題を解決するものであり、単眼カメラによって撮影された画像を用いて配筋の各層の鉄筋を検出できる、配筋検査装置を得ることを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る配筋検査装置は、格子状に組まれた鉄筋からなる複数層の平面を有した配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラによって異なる角度からそれぞれ撮影された複数の撮影画像を取得する画像取得部と、撮影画像間のマーカの大きさ、位置および撮影角度の変化に基づいて、単眼カメラの撮影姿勢および移動距離を算出し、算出した単眼カメラの撮影姿勢および移動距離に基づいて、配筋を表す三次元点群データを算出する三次元復元部と、三次元点群データを用いて、平面における鉄筋以外の部分をマスクした平面マスク画像を生成する平面検出部と、撮影画像および平面マスク画像を、鉄筋が互いに直交する正対画像に変換する画像変換部と、撮影画像の正対画像と平面マスク画像の正対画像とを用いて、平面における鉄筋を検出する鉄筋検出部と、検出された鉄筋の特徴量と予め登録した鉄筋の特徴量との相関処理の結果に基づいて、平面における鉄筋を計測する計測処理部と、を備える。
【発明の効果】
【0007】
本開示によれば、配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラにより異なる角度からそれぞれ撮影された複数の撮影画像を取得し、これらの撮影画像間のマーカの変化に基づいて単眼カメラの撮影姿勢および移動距離を算出し、単眼カメラの撮影姿勢および移動距離に基づいて、配筋を表す三次元点群データを算出する。そして、三次元点群データを用いて平面マスク画像を生成し、撮影画像および平面マスク画像を正対画像に変換し、撮影画像の正対画像と平面マスク画像の正対画像とを用いて鉄筋を検出し、検出した鉄筋の特徴量を用いて、鉄筋を計測する。これにより、本開示に係る配筋検査装置は、単眼カメラによって撮影された画像を用いて配筋の各層の鉄筋を検出できる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係る配筋検査装置の構成例を示すブロック図である。
【図2】配筋の撮影処理および三次元復元処理の概要を示す概要図である。
【図4】平面の誤選択および平面の選択の修正の概要を示す概要図である。
【図5】正対画像への変換処理の概要を示す概要図である。
【図6】正対画像から鉄筋を検出する処理の概要を示す概要図である。
【図8】平面マスク画像における鉄筋部分に対応する線分の特性の概要を示す概要図である。
【図10】撮影画像における鉄筋同士の間隔を計測する処理の概要を示す概要図である。
【図11】鉄筋部分の画像のスケーリング処理の概要を示す概要図である。
【図13】撮影画像から鉄筋部分の特徴量を抽出する処理の概要を示す概要図である。
【図14】鉄筋部分の画像における輝度値の周波数スペクトルの補正処理の概要を示す概要図である。
【図15】正対画像から求めた周波数スペクトルと予め登録された周波数スペクトルとの相関処理の概要を示す概要図である。
【図16】実施の形態１に係る配筋検査方法を示すフローチャートである。
【図18】実施の形態２に係る配筋検査装置の構成例を示すブロック図である。
【図19】鉄筋の部分画像を抽出する処理の概要を示す概要図である。
【図20】学習モデルによる鉄筋径の推論処理の概要を示す概要図である。
【発明を実施するための形態】
【0009】
実施の形態１．
図１は、実施の形態１に係る配筋検査装置１の構成例を示すブロック図である。図１において、配筋検査装置１は、格子状に組まれた鉄筋からなる複数層の平面を有した配筋における、鉄筋の本数、隣り合う鉄筋の間隔、鉄筋の径または鉄筋の節の間隔の少なくとも一つを検査する装置である。また、配筋検査装置１は、タブレット端末、スマートフォンまたはノートタイプのパーソナルコンピュータ（ＰＣ）である。図１に示すように、配筋検査装置１には、有線または無線で単眼カメラ２が接続されている。単眼カメラ２が外付けされた装置に限らず、配筋検査装置１は、単眼カメラ２を内蔵していてもよい。
図１は、実施の形態１に係る配筋検査装置１の構成例を示すブロック図である。図１において、配筋検査装置１は、格子状に組まれた鉄筋からなる複数層の平面を有した配筋における、鉄筋の本数、隣り合う鉄筋の間隔、鉄筋の径または鉄筋の節の間隔の少なくとも一つを検査する装置である。また、配筋検査装置１は、タブレット端末、スマートフォンまたはノートタイプのパーソナルコンピュータ（ＰＣ）である。図１に示すように、配筋検査装置１には、有線または無線で単眼カメラ２が接続されている。単眼カメラ２が外付けされた装置に限らず、配筋検査装置１は、単眼カメラ２を内蔵していてもよい。
【0010】
配筋検査において、検査者は、配筋検査装置１を携帯して検査対象の配筋の周辺を移動しながら、配筋検査装置１と接続された単眼カメラ２によって配筋を撮影する。検査者とともに移動する単眼カメラ２は、複数の撮影角度で配筋を撮影することができる。
なお、配筋の周辺を移動する移動体は、検査者に限らず、車両、無人飛行体等であってもよい。
なお、配筋の周辺を移動する移動体は、検査者に限らず、車両、無人飛行体等であってもよい。
【0011】
配筋検査装置１は、単眼カメラ２を搭載する端末装置と通信可能なサーバが備える構成要素であってもよい。例えば、端末装置は、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）の形態で提供される配筋検査を行うことができる。ＳａａＳの形態で配筋検査を行う場合、端末装置には、配筋検査用の情報処理アプリケーションがインストールされていなくてよい。配筋検査用の情報処理アプリケーションは上記サーバで実行されており、上記端末装置は、汎用のＷｅｂブラウザ上で計測結果情報が提供される。配筋検査用アプリケーションは、サーバが備える記憶部に記憶されている。
また、上記端末装置には、配筋検査用の情報処理アプリケーションがインストールされていてもよい。配筋検査用の情報処理アプリケーションがインストールされた端末装置では、当該アプリケーションが実行されることで、配筋検査が可能となる。
また、上記端末装置には、配筋検査用の情報処理アプリケーションがインストールされていてもよい。配筋検査用の情報処理アプリケーションがインストールされた端末装置では、当該アプリケーションが実行されることで、配筋検査が可能となる。
【0012】
単眼カメラ２は、ステレオカメラよりも安価なカメラであり、前述したように、タブレット端末、スマートフォンまたはノートタイプのＰＣが備えるカメラを想定している。
配筋検査装置１は、単眼カメラ２によって異なる撮影角度で撮影された配筋の撮影画像を入力し、これらの撮影画像を用いて、配筋の各層の平面における鉄筋を判別することができる。
配筋検査装置１は、単眼カメラ２によって異なる撮影角度で撮影された配筋の撮影画像を入力し、これらの撮影画像を用いて、配筋の各層の平面における鉄筋を判別することができる。
【0013】
配筋検査装置１は、少なくとも、演算部および記憶部を備えた装置である。演算部は、配筋検査装置１の全体動作を制御する。演算部は、画像取得部１１、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６を備える。演算部が、配筋検査用の情報処理アプリケーションを実行することにより、画像取得部１１、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６の各種の機能が実現される。
【0014】
記憶部は、配筋検査用の情報処理アプリケーションと、演算部の演算処理に用いられる情報を記憶する。記憶部は、配筋検査装置１として機能するコンピュータが備える記憶装置であり、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）もしくはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ、または、後述する図１７Ｂのメモリ１０４を含むものである。なお、記憶部は、配筋検査装置１がアクセス可能なものであればよく、配筋検査装置１の外部に設けられていてもよい。
【0015】
画像取得部１１は、格子状に組まれた鉄筋からなる複数層の平面を有した配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラ２によって異なる角度からそれぞれ撮影された複数の撮影画像を取得する。図２は、配筋３の撮影処理および三次元復元処理の概要を示す概要図であり、複数の鉄筋４が格子状に組まれた平面を有する配筋３が撮影された撮影画像２１Ａ、２１Ｂおよび２１Ｃを示している。平面内の位置Ａ、Ｂ、ＣおよびＤには、マーカ５がそれぞれ敷設される。マーカ５を敷設する位置は、配筋３における検査対象領域を規定する位置である。図２において、検査対象領域は、位置Ａ、Ｂ、ＣおよびＤにより規定される矩形の領域である。
【0016】
マーカ５は、上述したように、配筋３の平面に複数設けられ、多角形の外形状を有している。多角形の外形状のマーカ５は、異なる撮影角度で撮影されると、撮影角度に応じてその外形状が歪んで写る。この歪みを解析することにより撮影角度を特定でき、撮影角度に応じた単眼カメラ２の撮影姿勢を推定可能である。
【0017】
図２において、マーカ５は、正方形の下地６Ａに識別形状６Ｂが描かれたものであり、例えば、ＡＲ（拡張現実）マーカである。撮影画像２１Ａ、２１Ｂおよび２１Ｃは、単眼カメラ２によって異なる撮影角度で４つのマーカ５の全てを含むように撮影されたものである。
【0018】
三次元復元部１２は、撮影画像間のマーカ５の大きさ、位置、および、撮影角度の変化に基づいて、単眼カメラ２の撮影姿勢および移動距離を算出し、算出した単眼カメラ２の撮影姿勢および移動距離に基づいて、配筋３を表す三次元点群データを算出する。
例えば、三次元復元部１２は、撮影画像２１Ａ、２１Ｂおよび２１Ｃに対してＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）を実行する。ＳｆＭは、撮影画像２１Ａ、２１Ｂおよび２１Ｃから三次元空間内のマーカ５の形状および位置を推定する方法である。三次元復元部１２は、撮影画像２１Ａ、２１Ｂおよび２１Ｃのそれぞれにパターンマッチングといった画像解析を実施することにより撮影画像２１Ａ、２１Ｂおよび２１Ｃからマーカ５の位置を特定する。続いて、三次元復元部１２は、撮影画像２１Ａ、２１Ｂおよび２１Ｃを２値化することによりマーカ５の下地６Ａの輪郭線を検出し、この輪郭線に基づいてマーカ５を特徴点として検出する。
例えば、三次元復元部１２は、撮影画像２１Ａ、２１Ｂおよび２１Ｃに対してＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）を実行する。ＳｆＭは、撮影画像２１Ａ、２１Ｂおよび２１Ｃから三次元空間内のマーカ５の形状および位置を推定する方法である。三次元復元部１２は、撮影画像２１Ａ、２１Ｂおよび２１Ｃのそれぞれにパターンマッチングといった画像解析を実施することにより撮影画像２１Ａ、２１Ｂおよび２１Ｃからマーカ５の位置を特定する。続いて、三次元復元部１２は、撮影画像２１Ａ、２１Ｂおよび２１Ｃを２値化することによりマーカ５の下地６Ａの輪郭線を検出し、この輪郭線に基づいてマーカ５を特徴点として検出する。
【0019】
三次元復元部１２は、複数の撮影画像における、複数のマーカ５の大きさ、位置および撮影角度の変化に基づいて、単眼カメラ２の撮影位置および撮影姿勢を算出する。次に、三次元復元部１２は、単眼カメラ２の撮影位置および撮影姿勢を用いて、互いに異なる撮影画像のペアから算出した単眼カメラ２の撮影位置および移動距離を用いて、三次元点群データを算出する。
【0020】
例えば、三次元復元部１２は、撮影画像２１Ａ、２１Ｂおよび２１Ｃから、マーカ５を特徴点として抽出する。特徴点の抽出方法には、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、または、ＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）等がある。次に、三次元復元部１２は、撮影画像２１Ａと撮影画像２１Ｂのペアにおける特徴点同士を比較して、特徴が似ているもの同士を対応づける特徴点マッチングを行う。続いて、撮影画像２１Ａと撮影画像２１Ｃのペアおよび撮影画像２１Ｂと撮影画像２１Ｃのペアについても同様に特徴点マッチングを行う。
【0021】
三次元復元部１２は、撮影画像２１Ｂと撮影画像２１Ｃとのペアに特徴点マッチングを行うことにより、撮影画像２１Ｂの位置Ａにおけるマーカ５と、撮影画像２１Ｃの位置Ａにおけるマーカ５とを対応づける。三次元復元部１２は、対応づけたマーカ５の大きさ、位置および撮影角度の変化に基づいて、三次元空間内での単眼カメラ２の撮影位置および撮影姿勢をそれぞれ算出する。
【0022】
例えば、三次元復元部１２は、図２に示すように、頂点Ｐ１と頂点Ｐ２とを結ぶ線分、頂点Ｐ２と頂点Ｐ３とを結ぶ線分、頂点Ｐ３と頂点Ｐ４とを結ぶ線分、および頂点Ｐ４と頂点Ｐ１とを結ぶ線分によって外形状が構成される、撮影画像におけるマーカ５の大きさに基づいて、単眼カメラ２と配筋３との距離を決定する。さらに、三次元復元部１２は、上述した線分によって構成される形状が正方形である撮影画像を、単眼カメラ２によって配筋３の平面の正面が撮影されたものと判断する。三次元復元部１２は、４つの頂点Ｐ１～Ｐ４のいずれかが検出されないか、または下地６Ａの形状が歪んで検出された撮影画像を単眼カメラ２が配筋３の平面を斜め方向から撮影したものであると決定する。
【0023】
三次元復元部１２は、互いに異なる撮影画像のペアにおいて対応する特徴点同士の位置関係に基づいて、ペアの撮影画像間が相対的にどのような位置関係にあるかを推定する。例えば、二つの撮影画像が単眼カメラ２の平行移動により撮影されたものである場合に、三次元復元部１２は、対応する特徴点同士の距離が平行方向の移動量を推定し、回転している場合は、対応する特徴点間の角度差を算出することにより回転量を推定する。三次元復元部１２は、算出された単眼カメラ２の移動量または回転量を用いて、単眼カメラ２が撮影画像２１Ａ、２１Ｂおよび２１Ｃを撮影した撮影位置および撮影姿勢を算出する。
【0024】
次に、三次元復元部１２は、単眼カメラ２の撮影位置および移動距離を用いて、三次元点群データを算出する。例えば、三次元復元部１２は、単眼カメラ２の撮影位置および移動距離を用いて、撮影画像２１Ａ、２１Ｂおよび２１Ｃの各画素の位置情報を三次元座標系に変換することにより、配筋３を表す三次元点群データを算出する。
【0025】
平面検出部１３は、三次元復元部１２によって算出された三次元点群データを用いて、平面マスク画像を生成する。平面マスク画像は、配筋３の平面における鉄筋４以外の部分をマスクした画像である。例えば、平面検出部１３は、Ｈａｒｒｉｓ作用素に基づいて、第１のマスク画像を生成する。Ｈａｒｒｉｓ作用素とは、撮影画像から三層ピラミッド画像を生成し、各層のＨａｒｒｉｓ特徴量を抽出し、特徴量の閾値処理により平面マスク画像を生成する技術である。三層ピラミッド画像は、第１層の画像、第２層の画像および第３層の画像からなる。第１層の画像は、元の撮影画像を等倍した画像である。第２層の画像は、第１層の画像を１／２に縮小した画像（１／２画像）であり、第３層の画像は、第２層の画像をさらに１／２に縮小した画像（１／４画像）である。
【0026】
平面検出部１３は、第１層の画像、第２層の画像および第３層の画像のそれぞれから、コーナーらしさを表すＨａｒｒｉｓ特徴量を抽出し、Ｈａｒｒｉｓ特徴量を所定の閾値と比較することにより画像上の物体のコーナーに対応する部分を特定し、特定した部分以外の部分をマスクしたマスク画像を生成する。続いて、平面検出部１３は、第１層の画像、第２層の画像および第３層の画像のそれぞれに基づいて生成した各層のマスク画像を元のサイズにリサイズし、これらの画像を論理和演算することにより一枚の第１のマスク画像を生成する。
【0027】
次に、平面検出部１３は、三次元点群データを用いて奥行きに基づく第２のマスク画像を生成する。例えば、平面検出部１３は、三次元点群データからなる三次元画像（デプスマップ）を奥行きが浅い領域と深い領域に分離し、前面と背面のマスク画像を生成する。そして、平面検出部１３は、例えば前面のマスク画像で所定の明るさ以上の画素を残し、それ以外の画素をマスクすることで、背景に関連する要素を削除するための第２のマスク画像を生成する。
【0028】
平面検出部１３は、第１のマスク画像と第２のマスク画像を合成することにより、平面検出処理用のサンプリングマスクを生成する。続いて、平面検出部１３は、サンプリングマスクと、デプスマップとを用いて、ＲＡＮＳＡＣにより平面を推定する。ＲＡＮＳＡＣでは、サンプリングマスクを用いてデプスマップからランダムにサンプリングされた点群データを用いて平面候補が繰り返し推定される。平面検出部１３は、ＲＡＮＳＡＣで推定した平面候補のうち、当該平面候補からの距離が設定範囲内の三次元点であるインライヤが最も多いものを、配筋３が有する各層の平面として検出する。
【0029】
図３Ａ、図３Ｂ、および図３Ｃは、平面候補を示す関数Ｐ（１）、Ｐ（２）およびＰ（３）と、アウトライヤ３１およびインライヤ３２との関係を示すグラフである。各層の平面を示す関数Ｐ（１）、Ｐ（２）およびＰ（３）とアウトライヤ３１およびインライヤ３２との関係を示すグラフであり、ＸＹ座標系における三次元点を示している。アウトライヤ３１は、許容可能な範囲に含まれない三次元点であり、インライヤ３２は、許容可能な範囲に含まれる三次元点である。
【0030】
ＲＡＮＳＡＣ法では、関数Ｐ（１）、Ｐ（２）およびＰ（３）を表すパラメータごとにインライヤ３２となる三次元点の数がカウントされ、カウント数が最も多いパラメータが最適なパラメータに決定される。すなわち、決定されたパラメータを適用した関数で表される平面候補が平面の推定結果とされる。図３Ａ、図３Ｂおよび図３Ｃから明らかなように、関数Ｐ（３）を表すパラメータにおいて、インライヤ３２となる三次元点の数が最も多いので、平面検出部１３は、関数Ｐ（３）で表される平面候補を、配筋３の平面として検出する。
【0031】
平面検出部１３は、三次元点群データを用いて決定した複数の平面候補から、単眼カメラ２から平面までの距離が設定距離内にある三次元点数に応じて選択した平面候補を表す平面パラメータを推定し、平面パラメータを用いて平面マスク画像を生成する。例えば、平面検出部１３は、配筋３の最前面の平面を特定し、特定した平面を示す平面パラメータを推定し、推定した平面パラメータを用いて平面マスク画像を生成する。前面判定の基準は、単眼カメラ２に近い物体であるほど、すなわち前面側にある物体であるほど、画像上で大きく写り、単眼カメラ２との間に遮蔽が少ない、というものである。なお、画像上で大きく写るということは、三次元点の数が多いことを示しており、単眼カメラ２との間に遮蔽が少ないということは、上層の鉄筋による下層の鉄筋のオクルージョンが少ないことを示している。
【0032】
例えば、平面検出部１３は、ランダムにＮ個の三次元点を複数回選んで上記処理を行うことにより、複数の平面候補を推定する。そして、平面検出部１３は、複数の平面候補のうち、単眼カメラ２からの距離が閾値以下である三次元点をカウントし、前面判定の基準に従い、含まれる三次元点のカウント数が多いものから順に、前面側の平面であると判定する。すなわち、三次元点のカウント数が最も多い平面候補が最前面の平面とされる。
【0033】
ただし、前面判定の基準の調整が不十分であるか、単眼カメラ２と配筋３との間に障害物が存在するために、最前面（最表層）付近では、２枚以上の平面候補が検出される場合がある。図４は、平面４１の誤選択および平面４１の選択の修正の概要を示す概要図であり、単眼カメラ２と配筋３の平面とを上方からみた様子を示している。例えば、前面判定の基準を、単純に単眼カメラ２と三次元点４０との近さとした場合、図４の左側図に示すように、単眼カメラ２側に傾いた平面４２が配筋３の最前面の平面とされることがある。そこで、平面検出部１３は、図４の右側図に示すように、配筋３の最前面の平面とされた平面４２を、平面４１に修正する処理を行う。
【0034】
平面４２を平面４１に修正するため、平面検出部１３は、平面候補の平面パラメータの算出と、平面候補の法線に基づいた平面の誤差量を示すヒストグラムの更新とを繰り返すことにより、検査対象の平面を表す平面パラメータを算出する。
例えば、平面検出部１３は、ＲＡＮＳＡＣによる平面の推定を行い、推定した平面候補の法線に基づくヒストグラムを算出する。このヒストグラムは、法線の方向を三次元点の分布として可視化したものである。次に、平面検出部１３は、三次元点群データに対する最小二乗法によって平面候補を示す関数の平面パラメータを再度算出する。そして、平面検出部１３は、算出した平面パラメータにより規定される平面候補の法線のヒストグラムを再度算出して、ヒストグラムを更新する。
これらの処理を繰り返し行うことにより、配筋３の最前面の平面は、平面４２から平面４１へ修正される。
例えば、平面検出部１３は、ＲＡＮＳＡＣによる平面の推定を行い、推定した平面候補の法線に基づくヒストグラムを算出する。このヒストグラムは、法線の方向を三次元点の分布として可視化したものである。次に、平面検出部１３は、三次元点群データに対する最小二乗法によって平面候補を示す関数の平面パラメータを再度算出する。そして、平面検出部１３は、算出した平面パラメータにより規定される平面候補の法線のヒストグラムを再度算出して、ヒストグラムを更新する。
これらの処理を繰り返し行うことにより、配筋３の最前面の平面は、平面４２から平面４１へ修正される。
【0035】
平面検出部１３は、上述のようにして、三次元点群データから推定した平面（最前面）を表す平面パラメータを用いて平面マスク画像を生成する。例えば、平面検出部１３は、三次元点群データを用いて、互いに異なる撮影画像のペアから平面マスク画像を生成するものである。以下、三次元復元部１２が、図２に示した撮影画像２１Ａと撮影画像２１Ｂとのペアを用いて、第１の三次元点群データ（第１のデプスマップ）を算出し、撮影画像２１Ｂと撮影画像２１Ｃとのペアを用いて、第２の三次元点群データ（第２のデプスマップ）を算出したものとする。
【0036】
平面検出部１３は、第１の三次元点群データに対して上述した処理を施すことにより、配筋３の最前面の平面を推定し、推定平面から三次元点までの距離を閾値処理することにより、第１の平面マスク画像を生成する。例えば、平面検出部１３は、推定した平面パラメータにより表される関数が示す平面について、当該平面から一定の距離（閾値）だけ離れた近接範囲を定義し、この近接範囲から外れた三次元点をマスクすることにより、当該平面における鉄筋４以外がマスクされた第１の平面マスク画像を生成する。平面検出部１３は、第２の三次元点群データについても同様の処理を施すことにより第２の平面マスク画像を生成する。
【0037】
平面検出部１３は、互いに異なる撮影画像のペアからそれぞれ算出された三次元点群データを用いて平面マスク画像を生成し、これらの平面マスク画像を合成したものを、最終的な平面マスク画像とする。例えば、平面検出部１３は、第１の平面マスク画像と第２の平面マスク画像とを和演算することで、一枚の平面マスク画像を算出する。これにより、配筋検査装置１は、平面に含まれる鉄筋を抽出するための平面マスク画像を正確に生成することができる。
【0038】
画像変換部１４は、撮影画像および平面マスク画像を正対画像に変換する。正対画像とは、格子状に組まれた鉄筋４が互いに直交している画像である。
図５は、正対画像への変換処理の概要を示す概要図である。撮影画像２１Ｄは、三次元復元部１２によって生成された三次元点群データからなる三次元画像である。図５に示すように、撮影画像２１Ｄにおける鉄筋４は、単眼カメラ２に近いほど大きく写り、単眼カメラ２から遠くなるほど小さく写る。すなわち、撮影画像２１Ｄにおける下側の画像領域には、単眼カメラ２に近い位置にある鉄筋４が写っており、上側の画像領域には、単眼カメラ２から遠い位置にある鉄筋４が写っている。
図５は、正対画像への変換処理の概要を示す概要図である。撮影画像２１Ｄは、三次元復元部１２によって生成された三次元点群データからなる三次元画像である。図５に示すように、撮影画像２１Ｄにおける鉄筋４は、単眼カメラ２に近いほど大きく写り、単眼カメラ２から遠くなるほど小さく写る。すなわち、撮影画像２１Ｄにおける下側の画像領域には、単眼カメラ２に近い位置にある鉄筋４が写っており、上側の画像領域には、単眼カメラ２から遠い位置にある鉄筋４が写っている。
【0039】
そこで、画像変換部１４は、撮影画像２１Ｄに映る複数の鉄筋４のうち、任意の矩形の４隅の点を指定し、４隅の点で規定される矩形が単眼カメラ２の正面から見た形状となる正対変換行列を推定する。続いて、画像変換部１４は、正対変換行列を用いて、撮影画像２１Ｄを、正対画像である撮影画像２１Ｅに変換する。画像変換部１４は、この正対画像における全ての画素を、単眼カメラ２との距離が一定になるようにスケーリングする。
これにより、撮影画像２１Ｄにおける単眼カメラ２との距離に応じた鉄筋４の大きさの違いが補正される。
なお、画像変換部１４は、平面マスク画像についても同様の処理を施すことによって、平面マスク画像を正対画像に変換する。
これにより、撮影画像２１Ｄにおける単眼カメラ２との距離に応じた鉄筋４の大きさの違いが補正される。
なお、画像変換部１４は、平面マスク画像についても同様の処理を施すことによって、平面マスク画像を正対画像に変換する。
【0040】
鉄筋検出部１５は、撮影画像の正対画像と平面マスク画像の正対画像とを用いて、平面における鉄筋４を検出する。例えば、鉄筋検出部１５は、平面マスク画像の正対画像上の配筋３の平面が写っている領域の外形を規定し、この外形で規定される領域に内接する円を設定して、この円で囲まれた部分の領域を円マスク画像とする。次に、鉄筋検出部１５は、生成した円マスク画像をハフ変換し、ハフ空間での円マスク画像の角度パラメータθを特定し、円マスク画像の位置パラメータρが示す位置での白画素の数をカウントする。鉄筋検出部１５は、角度パラメータθを制御して円マスク画像を回転させることで、位置パラメータρが示す位置におけるカウント数に基づいて、鉄筋４の位置を検出する。
【0041】
図６は、正対画像から鉄筋４を検出する処理の概要を示す概要図である。鉄筋検出部１５は、正対画像に変換された平面マスク画像５１を用いて鉄筋４の画像部分を特定する。そして、鉄筋検出部１５は、特定した画像部分の画素値を「１」とし、それ以外の画像部分を「０」として、平面マスク画像５１を生成する。例えば、鉄筋検出部１５は、配筋３の前面に対応する平面マスク画像５１において白画素のカウント数が閾値以上である位置を、鉄筋４の位置として検出する。鉄筋検出部１５は、図６に示すように、平面マスク画像５１を回転させて白画素の数をカウントすることにより、鉄筋４のＸ方向の位置およびＹ方向の位置を検出できる。これにより、鉄筋検出部１５は、配筋３の各層の平面において、縦方向に並ぶ鉄筋の位置情報と、横方向に並ぶ鉄筋の位置情報とを検出可能である。
【0042】
鉄筋検出部１５は、平面マスク画像５１において鉄筋に対応する線分を特定する処理を行う。図７Ａ、図７Ｂおよび図７Ｃは、平面マスク画像５１における鉄筋部分に対応する線分を特定する処理を示す説明図である。図７Ａに示すように、平面マスク画像５１において、白画素の領域Ａ、領域Ｂおよび領域Ｃがある場合、どの領域が鉄筋４の画像に対応するのか不明である。鉄筋検出部１５は、平面マスク画像５１から、白画素の領域Ａ、領域Ｂおよび領域Ｃを通る座標軸における領域Ａの長さＤ（１）、領域Ｂの長さＤ（２）および領域Ｃの長さＤ（３）と、領域Ａと領域Ｂとの間隔Ｄ（４）と、領域Ｂと領域Ｃとの間隔Ｄ（５）とを算出する。
【0043】
鉄筋検出部１５は、図７Ｂに示すように、間隔Ｄ（４）および間隔Ｄ（５）のうち、閾値以上の間隔が空いた領域間は鉄筋４の画像領域に対応するものではないと判定し、閾値未満の間隔が空いた領域同士は同じ鉄筋４に対応する画像領域であると判定する。
例えば、鉄筋検出部１５は、図７Ｃに示すように、閾値未満の間隔Ｄ（４）が空いた領域Ａと領域Ｂとを通り長さがＤ（６）である線分５２で示す画像領域を、同じ鉄筋４に対応する画像領域であると判定する。また、Ｄ（５）は閾値以上であるので、鉄筋検出部１５は、平面マスク画像５１において、領域Ｂと領域Ｃとの間に鉄筋４に対応する画像領域がないと判定する。
鉄筋検出部１５は、平面マスク画像５１において、鉄筋４の画像領域であると判定した部分の位置情報を撮影画像の正対画像に付与し、この正対画像を、計測処理部１６に出力する。
例えば、鉄筋検出部１５は、図７Ｃに示すように、閾値未満の間隔Ｄ（４）が空いた領域Ａと領域Ｂとを通り長さがＤ（６）である線分５２で示す画像領域を、同じ鉄筋４に対応する画像領域であると判定する。また、Ｄ（５）は閾値以上であるので、鉄筋検出部１５は、平面マスク画像５１において、領域Ｂと領域Ｃとの間に鉄筋４に対応する画像領域がないと判定する。
鉄筋検出部１５は、平面マスク画像５１において、鉄筋４の画像領域であると判定した部分の位置情報を撮影画像の正対画像に付与し、この正対画像を、計測処理部１６に出力する。
【0044】
また、鉄筋検出部１５は、撮影画像の正対画像における輝度エッジに基づいて、平面マスク画像の正対画像における鉄筋部分に対応する線分のエッジ位置を補正してもよい。
この場合、鉄筋検出部１５は、正対画像に変換された平面マスク画像と、正対画像に変換された撮影画像とを入力することで、鉄筋部分に対応する線分の輪郭領域が補正された平面マスク画像を生成する。
この場合、鉄筋検出部１５は、正対画像に変換された平面マスク画像と、正対画像に変換された撮影画像とを入力することで、鉄筋部分に対応する線分の輪郭領域が補正された平面マスク画像を生成する。
【0045】
図８は、平面マスク画像５１における鉄筋部分に対応する線分の特性の概要を示す概要図である。鉄筋検出部１５は、正対画像に変換された撮影画像を、鉄筋部分に対応する線分の中央点を中心に回転可能な画像６０に変換する。図８の左側の図は、この画像６０を示している。例えば、図８の左側の図に示す画像６０は、鉄筋部分に対応する線分の中央点がｘ座標＝Ｃｘ’’の点であり、この点を中心に回転可能である。破線で囲った矩形領域には、この鉄筋部分に対応する線分が含まれる。
【0046】
鉄筋検出部１５は、画像６０における鉄筋部分に対応する線分の画像上での角度および位置を、この画像６０の輝度勾配に基づいて補正する。この補正は、画像６０における鉄筋ごとに行われる。図８の中央の図は、図８の左側の図に示した矩形領域のＹ方向に並ぶ画素列の各画素の輝度値を積算したヒストグラム６１をＸ座標ごとに求めたものである。上記矩形領域において、鉄筋部分から外れた箇所は、背景に相当する輝度値が低い部分であり、鉄筋部分に対応する線分において高い輝度値となっている。図８の右側の図は、図８の中央の図に示すヒストグラム６１を二次微分した結果であり、鉄筋部分に対応する線分と背景部分との境界部分で強いピーク６２と６３が現れる。
【0047】
図９Ａ、図９Ｂおよび図９Ｃは、画像６０における鉄筋部分に対応する線分の補正処理の概要を示す概要図である。図９Ａは、画像６０を徐々に回転させた様子を示している。鉄筋検出部１５は、画像６０を、鉄筋部分に対応する線分の中央点を中心に回転させながら、この線分に直交した方向の輝度勾配を算出し、輝度勾配が最大値となる回転角度を、正対画像に変換した平面マスク画像５１に反映させる最終的な角度とする。図９Ｂおよび図９Ｃは、互いに異なる回転角度での矩形領域６０Ａおよび６０Ｂと、その輝度勾配を示す波形（図８に示したヒストグラム６１を二次微分した波形）とを示している。
【0048】
矩形領域６０Ａの回転角度では、鉄筋部分を含む矩形領域６０ＡがＹ軸に対して傾きを有するため、Ｘ方向の輝度勾配にはピークがなく、鉄筋部分に対応する線分とその背景のマスク部分との境界部分がぼやけることがある。一方、矩形領域６０Ｂの回転角度では、鉄筋部分を含む矩形領域６０ＢがＹ軸に沿っているため、Ｘ方向の輝度勾配にエッジ部分に対応するピークが現れており、鉄筋部分に対応する線分とその背景との境界部分が明確になっている。鉄筋検出部１５は、平面マスク画像５１を矩形領域６０Ｂとなる回転角度で回転させることで、鉄筋部分に対応する線分のエッジ位置の補正を平面マスク画像５１に反映させる。
【0049】
なお、Ｙ方向に沿った鉄筋部分についての補正を説明したが、Ｘ方向に沿った鉄筋部分についても同様な処理により、鉄筋部分に対応する線分のエッジ位置を補正できる。これにより、配筋検査装置１は、平面に含まれる鉄筋４を精度よく抽出できる平面マスク画像５１を生成することができる。
【0050】
計測処理部１６は、鉄筋検出部１５により検出された鉄筋４の特徴量を用いて、配筋３における鉄筋４を計測する。例えば、計測処理部１６は、検査対象の平面において隣り合った鉄筋同士の間隔を計測する。図１０は、正対画像に変換された撮影画像２１Ｅにおける、鉄筋同士の間隔を計測する処理の概要を示す概要図である。計測処理部１６は、図１０の左側の図に示すように、撮影画像２１Ｅにおける、配筋３の前面の平面に対応する画像領域１１１に外接する矩形１１２を設定する。そして、計測処理部１６は、矩形１１２の中心１１３を通り、鉄筋検出部１５により画像領域１１１から検出された各鉄筋４の平均の傾きを有する線分Ｌ１と直交する線分Ｌ２と、エッジ位置を補正した鉄筋部分に対応する線分４Ａとの交点Ｐを算出する。
【0051】
続いて、計測処理部１６は、撮影画像２１Ｅに回転逆行列を乗ずることにより、図１０の左側に示す２次元画像（撮影画像２１Ｅ）における代表点ｐ１および代表点ｐ２を算出する。代表点ｐ１は、２次元画像における鉄筋に含まれる点であり、代表点ｐ２は、２次元画像において代表点ｐ１を含む鉄筋と隣り合った鉄筋に含まれる点である。計測処理部１６は、図１０の右側の図に示すように、二次元画像の代表点ｐ１および代表点ｐ２を、画像領域１１１に対応する三次元座標空間の領域１１１Ａにおける点Ｐ１および点Ｐ２に変換する。領域１１１Ａは、配筋３の前面の平面に対応する領域である。計測処理部１６は、点Ｐ１と点Ｐ２との間隔を計測することにより鉄筋４の間隔を求めることができる。
【0052】
計測処理部１６は、単眼カメラ２から鉄筋４までの距離が一定になるように、鉄筋検出部１５により検出された鉄筋４の撮影画像と予め登録した鉄筋４の撮影画像との間の画像スケールを合わせるスケーリングを行ってもよい。これにより、配筋検査装置１は、撮影位置および撮影姿勢が互いに異なる撮像画像から検出された鉄筋４の特徴量を正確に比較することができる。
【0053】
図１１は、鉄筋部分の撮影画像２１Ｅのスケーリング処理の概要を示す概要図である。配筋検査装置１は、配筋３の鉄筋４を検査した検査結果情報を、図１７Ｂに示すメモリ１０４に記憶された検査結果データベースに逐次登録する。検査結果情報には、鉄筋径、鉄筋間隔および鉄筋本数等の検査結果に加え、これらの計測に利用された画像も含まれる。
計測処理部１６は、配筋３が新たに撮影された場合、既に登録された検査結果情報との相関演算を行い、既に登録された検査結果情報との相関が高いと評価された撮影画像から得られた検査結果情報を新たに検査結果データベースに登録する。
計測処理部１６は、配筋３が新たに撮影された場合、既に登録された検査結果情報との相関演算を行い、既に登録された検査結果情報との相関が高いと評価された撮影画像から得られた検査結果情報を新たに検査結果データベースに登録する。
【0054】
例えば、図１１に示すように、評価位置は１．５ｍであるものとする。評価位置とは、既に登録した結果と新たに検査した結果との相関を評価する位置であり、検査対象の鉄筋までの距離が所定値（例えば１．５ｍ）である。撮影画像２１Ｅは、撮影距離ｆの位置で撮影された検査対象の鉄筋の画像を正対画像に変換したものである。撮影距離ｆは、評価位置における上記距離よりも短いものとする。計測処理部１６は、撮影画像２１Ｅに写る鉄筋を検査すると、撮影画像２１Ｅを評価位置で撮影したときの画像サイズに縮小した撮影画像２１Ｆを生成し、撮影画像２１Ｆを検査結果情報に含めて検査結果データベースに登録する。
【0055】
撮影画像２１Ｇは、撮影距離Ｆの位置で撮影された検査対象の鉄筋の画像を正対画像に変換したものである。撮影距離Ｆは、評価位置における上記距離よりも長いものとする。計測処理部１６は、撮影画像２１Ｇに写る鉄筋を検査すると、撮影画像２１Ｇを評価位置で撮影したときの画像サイズに拡大した撮影画像２１Ｈを生成する。そして、計測処理部１６は、登録されている撮影画像２１Ｆとの相関演算を行い、相関が高いと評価された撮影画像２１Ｈから得られた検査結果情報を、新たに検査結果データベースに登録する。
【0056】
また、計測処理部１６は、検査対象の平面における鉄筋４の位置パラメータに基づいて鉄筋４同士が上下に交差している交点を算出し、撮影画像の正対画像から、交点間の鉄筋４の特徴量を抽出してもよい。これにより、交点間の鉄筋４のみが検査対象となるので、配筋検査装置１は、検査対象の鉄筋４とともに組まれた他の鉄筋４の影響を除外し、当該検査対象の鉄筋４を正確に検査することができる。
【0057】
図１２Ａおよび図１２Ｂは鉄筋部分の画像を検出する処理の概要を示す概要図である。図１２Ａは、縦方向の検査対象の鉄筋４と、これと交差するように組まれた横方向の鉄筋４（０）、４（１）および４（２）とを示している。また、図１２Ｂは、正対画像に変換された鉄筋の撮影画像２１Ｈを示している。計測処理部１６は、鉄筋検出部１５によって検出された鉄筋の位置情報に基づいて、鉄筋ごとの検出線を設定する。例えば、計測処理部１６は、図１２Ｂに示すように、鉄筋の位置情報に基づいて当該鉄筋の長手方向に検出線ＬＢを設定し、さらに検出線ＬＢを基準に±１画素および±２画素分の範囲にある検出線ＬＣ１およびＬＣ２を設定する。
【0058】
計測処理部１６は、検出線ＬＢと検出線ＬＣ１およびＬＣ２を含む範囲で鉄筋４および鉄筋４（０）、４（１）および４（２）の位置を特定し、鉄筋４と鉄筋４（０）、４（１）および４（２）のそれぞれとの交点を算出する。そして、計測処理部１６は、交点を含む鉄筋４の長さのうち、交点から１０％の長さ範囲にある部分の画素に０値を設定して検査対象から除き、残りの８０％の長さ範囲にある部分を、検査対象の鉄筋４のセグメントとする。なお、検査対象の鉄筋４のセグメントにおける画素数が、規定の画素数（例えば、５１２画素）に満たない場合、計測処理部１６は、鉄筋４が明確に撮影されていないものとして、当該セグメント部分の画素に０値を設定して検査対象から除く。
【0059】
また、計測処理部１６は、正対画像における鉄筋４の長手方向に沿った複数の画素の輝度値からなる走査線を、鉄筋４の長手方向に直交する方向の画素ごとに取得する。
そして、計測処理部１６は、画素ごとの走査線の輝度値を周波数変換した複数の周波数スペクトルを算出し、これらの周波数スペクトルから抽出した周波数ごとの輝度値の変化量の中央値を、鉄筋４の特徴量とする。これにより、配筋検査装置１は、撮影画像から鉄筋４の特徴を正確に抽出することが可能である。
そして、計測処理部１６は、画素ごとの走査線の輝度値を周波数変換した複数の周波数スペクトルを算出し、これらの周波数スペクトルから抽出した周波数ごとの輝度値の変化量の中央値を、鉄筋４の特徴量とする。これにより、配筋検査装置１は、撮影画像から鉄筋４の特徴を正確に抽出することが可能である。
【0060】
図１３は、撮影画像から鉄筋部分の特徴量を抽出する処理の概要を示す概要図である。図１３の左側の図は、正対画像に変換された鉄筋の撮影画像２１Ｈを示しており、鉄筋４の画像領域が破線で囲んだ領域１４１である。計測処理部１６は、鉄筋検出部１５により検出された鉄筋の位置情報に基づいて、鉄筋４の長手方向に沿った走査線ｉ＝０、１、２および３を、領域１４１内に設定する。走査線ｉ＝０、１、２および３は、鉄筋４の長手方向に直交する方向（鉄筋の幅方向）に設定される。
【0061】
配筋３の周辺の実環境では、日差しの向き等により、配筋３における鉄筋４は、一様な明るさでない場合がある。この場合、鉄筋部分の画像領域における輝度値変化量も一様でない。例えば、走査線ｉ＝３側から日差しが当たっている場合、図１３の中央の図に示すように、走査線ｉ＝０、１、２および３は、走査線ｉ＝３に沿った画素列の全体的な輝度値は高いが、走査線に沿った輝度値の変化量は小さい。一方、走査線ｉ＝０に沿った画素列は、日差しの陰側にあるため、全体的な輝度値は低いが、走査線に沿った輝度値の変化量は大きい。
【0062】
そこで、計測処理部１６は、走査線ｉ＝０、１、２および３のそれぞれに沿った画素列の輝度値に周波数変換（例えば、ＦＦＴ；Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を行い、各走査線の周波数スペクトルを算出する。図１３の右側の図は、走査線ｉ＝０、１、２および３の周波数スペクトルＳＰ０、ＳＰ１、ＳＰ２およびＳＰ３である。走査線ｉ＝０に沿った輝度値の変化量は大きいので、周波数スペクトルＳＰ０は、振幅の大きなスペクトルとなっている。これに対し、走査線ｉ＝３に沿った輝度値の変化量は小さいので、周波数スペクトルＳＰ３は、振幅の小さなスペクトルとなる。
【0063】
計測処理部１６は、走査線ｉ＝０、１、２および３の周波数スペクトルに対して、一定の周波数範囲ごとのセグメントｓｅｇ０、ｓｅｇ１、ｓｅｇ２、ｓｅｇ３およびｓｅｇ４を設定する。そして、計測処理部１６は、鉄筋の長手方向に沿った輝度値の変化量の中央値を、走査線ごとおよび周波数帯ごと（セグメントごと）に算出する。
【0064】
計測処理部１６は、周波数スペクトルに一定の周波数範囲ごとのセグメントを設定し、セグメントごとに輝度値の変化量の総和と判定基準値とを比較し、判定基準値よりも低いセグメントの総和を、複数の周波数スペクトルのうち同一のセグメントで総和が中央値となるものに置き換える。
図１４は、鉄筋部分の画像における輝度値の周波数スペクトルの補正処理の概要を示す概要図である。図１４の左側の図には、走査線ｉ＝１に対応する周波数スペクトルＳＰ１と、走査線ｉ＝３に対応する周波数スペクトルＳＰ３とが例示されている。周波数スペクトルＳＰ１と周波数スペクトルＳＰ３とは、同じ周波数帯がそれぞれセグメントｓｅｇ０、ｓｅｇ１、ｓｅｇ２、ｓｅｇ３およびｓｅｇ４に区分けされている。周波数スペクトルＳＰ３における領域Ａ１の部分波形は、セグメントｓｅｇ２の周波数帯における輝度値の変化量を示すスペクトルである。また、周波数スペクトルＳＰ１における領域Ａ２の部分波形は、セグメントｓｅｇ２の周波数帯における輝度値の変化量を示すスペクトルである。
図１４は、鉄筋部分の画像における輝度値の周波数スペクトルの補正処理の概要を示す概要図である。図１４の左側の図には、走査線ｉ＝１に対応する周波数スペクトルＳＰ１と、走査線ｉ＝３に対応する周波数スペクトルＳＰ３とが例示されている。周波数スペクトルＳＰ１と周波数スペクトルＳＰ３とは、同じ周波数帯がそれぞれセグメントｓｅｇ０、ｓｅｇ１、ｓｅｇ２、ｓｅｇ３およびｓｅｇ４に区分けされている。周波数スペクトルＳＰ３における領域Ａ１の部分波形は、セグメントｓｅｇ２の周波数帯における輝度値の変化量を示すスペクトルである。また、周波数スペクトルＳＰ１における領域Ａ２の部分波形は、セグメントｓｅｇ２の周波数帯における輝度値の変化量を示すスペクトルである。
【0065】
次に、計測処理部１６は、周波数スペクトルＳＰ０、ＳＰ１、ＳＰ２およびＳＰ３においてセグメントｓｅｇ０、ｓｅｇ１、ｓｅｇ２、ｓｅｇ３およびｓｅｇ４のそれぞれで輝度値の変化量の総和を算出する。そして、計測処理部１６は、セグメントごとの総和のうち、周波数スペクトルＳＰ０、ＳＰ１、ＳＰ２およびＳＰ３での総和の中央値を算出する。図１４の中央の図は、領域Ａ１と領域Ａ２における部分的なスペクトルを拡大表示したものである。図１４の中央の図に示すように、周波数スペクトルＳＰ３は、セグメントｓｅｇ２の周波数帯における輝度値の変化量が小さく、スペクトルＳＰ３Ａの起伏が少ない。一方、周波数スペクトルＳＰ１は、セグメントｓｅｇ２の周波数帯における輝度値の変化量が大きく、スペクトルＳＰ１Ａの起伏は激しくなっている。
【0066】
また、計測処理部１６は、セグメントｓｅｇ２の輝度値の変化量の総和のうち、周波数スペクトルＳＰ０、ＳＰ１、ＳＰ２およびＳＰ３での総和の中央値を算出している。
周波数スペクトルＳＰ０、ＳＰ１、ＳＰ２およびＳＰ３のセグメントｓｅｇ２の輝度値の変化量の総和の中央値は、周波数スペクトルＳＰ１のセグメントｓｅｇ２における輝度値の変化量であるものとする。
周波数スペクトルＳＰ０、ＳＰ１、ＳＰ２およびＳＰ３のセグメントｓｅｇ２の輝度値の変化量の総和の中央値は、周波数スペクトルＳＰ１のセグメントｓｅｇ２における輝度値の変化量であるものとする。
【0067】
このような輝度値の変化量は、日差しの向き等の配筋３が置かれた実環境による影響が強く、本来ならば、同じ鉄筋４であれば、走査線ｉ＝０、１、２および３において同様の輝度値の変化量であることが望ましい。すなわち、周波数スペクトルのセグメントにおける輝度値の変化量が閾値未満である場合、配筋撮影時の実環境の影響を受けて輝度値の変化量が小さくなっていると考えられる。このため、鉄筋の特徴を正確に表す輝度値の変化量を算出するためには、輝度値の変化量の低下分を補う必要がある。
【0068】
例えば、計測処理部１６は、周波数スペクトルＳＰ３のセグメントｓｅｇ２におけるスペクトルＳＰ３Ａでの輝度値の変化量が閾値未満である場合、周波数スペクトルＳＰ０、ＳＰ１、ＳＰ２およびＳＰ３のセグメントｓｅｇ２における輝度値の変化量のうちから、これらの総和の中央値を探索する。ここでは、周波数スペクトルＳＰ１のセグメントｓｅｇ２におけるスペクトルＳＰ１Ａでの輝度値の変化量が中央値である。
そこで、計測処理部１６は、図１４の右側の図に示すように、周波数スペクトルＳＰ３のセグメントｓｅｇ２におけるスペクトルＳＰ３ＡをスペクトルＳＰ１Ａに置き換える処理を行う。これにより、実環境の影響が低減されるので、配筋検査装置１は、鉄筋４の特徴を正確に抽出することが可能である。
そこで、計測処理部１６は、図１４の右側の図に示すように、周波数スペクトルＳＰ３のセグメントｓｅｇ２におけるスペクトルＳＰ３ＡをスペクトルＳＰ１Ａに置き換える処理を行う。これにより、実環境の影響が低減されるので、配筋検査装置１は、鉄筋４の特徴を正確に抽出することが可能である。
【0069】
さらに、計測処理部１６は、図１２Ａに示した鉄筋４の交点間のセグメントごとに、走査線ｉ＝０、１、２および３の輝度値を周波数変換して周波数スペクトルＳＰ０、ＳＰ１、ＳＰ２およびＳＰ３を算出する。
そして、計測処理部１６は、これらの周波数スペクトルの周波数ごとの輝度値の変化量の中央値を、鉄筋４の特徴量として算出する。すなわち、周波数スペクトルＳＰ０、ＳＰ１、ＳＰ２およびＳＰ３を、周波数ごとの輝度値の変化量の中央値からなる周波数スペクトルに合成する。
さらに、計測処理部１６は、各セグメントにおける上記合成後の周波数スペクトルを、周波数ごとの輝度値の変化量の中央値からなる周波数スペクトルに合成してもよい。
そして、計測処理部１６は、これらの周波数スペクトルの周波数ごとの輝度値の変化量の中央値を、鉄筋４の特徴量として算出する。すなわち、周波数スペクトルＳＰ０、ＳＰ１、ＳＰ２およびＳＰ３を、周波数ごとの輝度値の変化量の中央値からなる周波数スペクトルに合成する。
さらに、計測処理部１６は、各セグメントにおける上記合成後の周波数スペクトルを、周波数ごとの輝度値の変化量の中央値からなる周波数スペクトルに合成してもよい。
【0070】
計測処理部１６は、正対画像に変換された撮影画像２１Ｈから求めた周波数スペクトル（上記合成後の周波数スペクトル）におけるピークの周波数での輝度値の変化量の中央値と、予め登録した鉄筋４の画像から求めた周波数スペクトルにおけるピークの周波数での輝度値の変化量の中央値との相関係数を算出する。そして、計測処理部１６は、相関係数の値に応じて重み付けたピークの周波数での輝度値の変化量の中央値を加算したものを、相関評価値として算出して、相関評価値が閾値を超えた鉄筋４の周波数スペクトルを新たに登録する。
【0071】
図１５は、撮影画像２１Ｈから求めた周波数スペクトルと、予め登録された周波数スペクトルとの相関処理の概要を示す概要図である。図１５において、今回の検査で得られた撮影画像２１Ｈから求めた周波数スペクトルは、破線で示すスペクトルである。予め登録された周波数スペクトルは、実線で示すスペクトルである。
計測処理部１６は、周波数スペクトル同士の相関を全周波数域で評価する相関演算（１）と、周波数スペクトルに最初に現れる第１のピーク同士（ＰｅａｋＡとＰｅａｋＢ）の相関を評価する相関演算（２）と、周波数スペクトルに次に現れる第２のピーク同士の相関を評価する相関演算（３）を行う。
計測処理部１６は、周波数スペクトル同士の相関を全周波数域で評価する相関演算（１）と、周波数スペクトルに最初に現れる第１のピーク同士（ＰｅａｋＡとＰｅａｋＢ）の相関を評価する相関演算（２）と、周波数スペクトルに次に現れる第２のピーク同士の相関を評価する相関演算（３）を行う。
【0072】
相関演算（１）において、計測処理部１６は、（ｍｉｎ（ＰｅａｋＡ，ＰｅａｋＢ）－４）～２５６で表される相関評価範囲で、両スペクトルの相関を示す相関スコア（１）を算出する。ここで、ＰｅａｋＡは、予め登録された周波数スペクトルに最初に現れた第１のピークの強度であり、ＰｅａｋＢは、今回の検査で得られた周波数スペクトルに最初に現れた第１のピークの強度である。
相関演算（２）において、計測処理部１６は、（ＰｅａｋＡ）±１０で表される相関評価範囲で、両スペクトルの相関を示す相関スコア（２）を算出する。
相関演算（３）において、計測処理部１６は、（ＰｅａｋＡ×２）±１０で表す相関評価範囲で、両スペクトルの相関を示す相関スコア（３）を算出する。
相関演算（２）において、計測処理部１６は、（ＰｅａｋＡ）±１０で表される相関評価範囲で、両スペクトルの相関を示す相関スコア（２）を算出する。
相関演算（３）において、計測処理部１６は、（ＰｅａｋＡ×２）±１０で表す相関評価範囲で、両スペクトルの相関を示す相関スコア（３）を算出する。
【0073】
計測処理部１６は、相関スコア（１）、相関スコア（２）および相関スコア（３）のそれぞれの値に応じた重み係数を決定する。そして、計測処理部１６は、例えば、下記式に従って総合相関スコアを算出する。計測処理部１６は、総合相関スコアが閾値以上である場合に、今回の検査で得られた周波数スペクトルを用いた検査結果情報が、予め登録された検査結果情報に類似すると判定して、当該検査結果情報を検査結果データベースに登録する。これにより、配筋検査装置１は、既に登録済みの検査結果との相関が高く、信頼性の高い検査結果を新たに登録することができる。
総合相関スコア＝（相関スコア（１）×０．５）＋（相関スコア（２）×０．２）＋（相関スコア（３）×０．３）
総合相関スコア＝（相関スコア（１）×０．５）＋（相関スコア（２）×０．２）＋（相関スコア（３）×０．３）
【0074】
図１６は、実施の形態１に係る配筋検査方法を示すフローチャートである。
画像取得部１１は、配筋３を、マーカ５が付された鉄筋４を含む平面側から、単眼カメラ２が異なる角度からそれぞれ撮影した複数の撮影画像を取得する（ステップＳＴ１）。
三次元復元部１２は、撮影画像間のマーカ５の大きさ、位置および形状の変化に基づいて単眼カメラ２の撮影姿勢および移動距離を算出し、単眼カメラ２の撮影姿勢および移動距離に基づいて、配筋３を表す三次元点群データを算出する（ステップＳＴ２）。
平面検出部１３は、三次元点群データを用いて、平面における鉄筋４以外の部分をマスクした平面マスク画像を生成する（ステップＳＴ３）。
画像変換部１４は、撮影画像および平面マスク画像を、複数の鉄筋４が直交している正対画像に変換する（ステップＳＴ４）。
鉄筋検出部１５は、撮影画像の正対画像と平面マスク画像の正対画像とを用いて、平面における鉄筋４を検出するステップＳＴ５と、計測処理部１６が、検出された鉄筋４の特徴量を用いて、配筋３における鉄筋４を計測する（ステップＳＴ６）。
配筋検査装置１が、この配筋検査方法を実行することにより、単眼カメラ２によって撮影された画像を用いて配筋３の各層の鉄筋４を検出できる。
画像取得部１１は、配筋３を、マーカ５が付された鉄筋４を含む平面側から、単眼カメラ２が異なる角度からそれぞれ撮影した複数の撮影画像を取得する（ステップＳＴ１）。
三次元復元部１２は、撮影画像間のマーカ５の大きさ、位置および形状の変化に基づいて単眼カメラ２の撮影姿勢および移動距離を算出し、単眼カメラ２の撮影姿勢および移動距離に基づいて、配筋３を表す三次元点群データを算出する（ステップＳＴ２）。
平面検出部１３は、三次元点群データを用いて、平面における鉄筋４以外の部分をマスクした平面マスク画像を生成する（ステップＳＴ３）。
画像変換部１４は、撮影画像および平面マスク画像を、複数の鉄筋４が直交している正対画像に変換する（ステップＳＴ４）。
鉄筋検出部１５は、撮影画像の正対画像と平面マスク画像の正対画像とを用いて、平面における鉄筋４を検出するステップＳＴ５と、計測処理部１６が、検出された鉄筋４の特徴量を用いて、配筋３における鉄筋４を計測する（ステップＳＴ６）。
配筋検査装置１が、この配筋検査方法を実行することにより、単眼カメラ２によって撮影された画像を用いて配筋３の各層の鉄筋４を検出できる。
【0075】
次に、配筋検査装置１の機能を実現するハードウェア構成について説明する。
配筋検査装置１が備える、画像取得部１１、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６の機能は、処理回路によって実現される。すなわち、配筋検査装置１は、図１６に示したステップＳＴ１からステップＳＴ６までの各処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。
配筋検査装置１が備える、画像取得部１１、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６の機能は、処理回路によって実現される。すなわち、配筋検査装置１は、図１６に示したステップＳＴ１からステップＳＴ６までの各処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。
【0076】
図１７Ａは、配筋検査装置１の機能を実現するハードウェア構成を示すブロック図である。また、図１７Ｂは、配筋検査装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図１７Ａおよび図１７Ｂにおいて、入力インタフェース１００は、単眼カメラ２から配筋検査装置１へ出力される画像情報を中継するインタフェースである。出力インタフェース１０１は、配筋検査装置１から後段の装置へ出力される配筋検査結果を中継するインタフェースである。
【0077】
処理回路が、図１７Ａに示す専用のハードウェアの処理回路１０２である場合、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）または、これらを組み合わせたものが該当する。
配筋検査装置１が備える、画像取得部１１、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６の機能を、別々の処理回路が実現してもよく、これらの機能をまとめて一つの処理回路が実現してもよい。
配筋検査装置１が備える、画像取得部１１、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６の機能を、別々の処理回路が実現してもよく、これらの機能をまとめて一つの処理回路が実現してもよい。
【0078】
処理回路が、図１７Ｂに示すプロセッサ１０３である場合、配筋検査装置１が備える、画像取得部１１、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。
【0079】
プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することにより、配筋検査装置１が備える、画像取得部１１、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６の機能を実現する。例えば、配筋検査装置１は、プロセッサ１０３により実行されるときに、図１６に示したステップＳＴ１からステップＳＴ６の処理が結果的に実行されるプログラムを記憶するためのメモリ１０４を備える。これらのプログラムは、画像取得部１１、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６が行う処理の手順または方法を、コンピュータに実行させる。メモリ１０４は、コンピュータを、画像取得部１１、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
【0080】
メモリ１０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。
【0081】
配筋検査装置１が備える、画像取得部１１、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６の機能の一部が専用のハードウェアで実現され、残りの一部がソフトウェアまたはファームウェアで実現されてもよい。
例えば、画像取得部１１は、専用のハードウェアである処理回路１０２によってその機能が実現され、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することによりその機能が実現される。
このように、処理回路はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能を実現することができる。
例えば、画像取得部１１は、専用のハードウェアである処理回路１０２によってその機能が実現され、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することによりその機能が実現される。
このように、処理回路はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能を実現することができる。
【0082】
以上のように、実施の形態１に係る配筋検査装置１は、配筋３を、マーカ５が付された鉄筋４を含む平面側から、単眼カメラ２によって異なる角度からそれぞれ撮影した複数の撮影画像を取得する画像取得部１１と、撮影画像間のマーカ５の大きさ、位置および撮影角度の変化に基づいて、単眼カメラ２の撮影姿勢および移動距離を算出し、算出した単眼カメラ２の撮影姿勢および移動距離に基づいて、配筋３を表す三次元点群データを算出する三次元復元部１２と、三次元点群データを用いて、平面における鉄筋４以外の部分をマスクした平面マスク画像を生成する平面検出部１３と、撮影画像および平面マスク画像を正対画像に変換する画像変換部１４と、撮影画像の正対画像と平面マスク画像の正対画像とを用いて、平面における鉄筋４を検出する鉄筋検出部１５と、検出された鉄筋４の特徴量を用いて、配筋３における鉄筋４を計測する計測処理部１６とを備える。これにより、配筋検査装置１は、単眼カメラ２によって撮影された画像を用いて配筋３の各層の鉄筋４を検出できる。
【0083】
実施の形態１に係る配筋検査装置１において、マーカ５は、配筋３の平面に複数設けられ、多角形の外形状を有している。多角形の外形状のマーカ５は、異なる撮影角度で撮影されると、撮影角度に応じてその外形状が歪んで写るので、この歪みを解析することで、撮影角度に応じた単眼カメラ２の撮影姿勢を推定可能である。
【0084】
実施の形態１に係る配筋検査装置１において、三次元復元部１２は、複数の撮影画像における、複数のマーカ５の大きさ、位置および撮影角度の変化に基づいて、マーカ５の位置および撮影姿勢をそれぞれ算出し、マーカ５の位置および撮影姿勢を用いて、撮影画像間の単眼カメラ２の撮影位置および移動距離を算出し、互いに異なる撮影画像のペアから算出した単眼カメラ２の撮影位置および移動距離を用いて三次元点群データを算出する。これにより、配筋検査装置１は、精度よく配筋３を表す三次元点群データを算出することができる。
【0085】
実施の形態１に係る配筋検査装置１において、平面検出部１３は、三次元点群データを用いて、互いに異なる撮影画像のペアから平面マスク画像を生成する。これにより、配筋検査装置１は、平面に含まれる鉄筋を精度よく抽出できる平面マスク画像を生成することができる。
【0086】
実施の形態１に係る配筋検査装置１において、平面検出部１３は、三次元点群データを用いて決定した複数の平面候補から、単眼カメラ２から平面までの距離が設定距離内にある三次元点数に応じて選択した平面候補を表す平面パラメータを推定し、平面パラメータを用いて平面マスク画像を生成する。これにより、配筋検査装置１は、平面に含まれる鉄筋を精度よく抽出できる平面マスク画像を生成することができる。
【0087】
実施の形態１に係る配筋検査装置１において、平面検出部１３は、平面候補の平面パラメータの算出と、平面候補の法線に基づいた平面の誤差量を示すヒストグラムの更新とを繰り返すことにより、検査対象の平面を示す平面パラメータを算出する。これにより、配筋検査装置１は、平面に含まれる鉄筋を精度よく抽出できる平面マスク画像を生成することができる。
【0088】
実施の形態１に係る配筋検査装置１において、平面検出部１３は、互いに異なる撮影画像のペアからそれぞれ算出された三次元点群データを用いて平面マスク画像を生成し、これらの平面マスク画像を合成したものを、最終的な平面マスク画像とする。これにより、配筋検査装置１は、平面に含まれる鉄筋を精度よく抽出できる平面マスク画像を生成することができる。
【0089】
実施の形態１に係る配筋検査装置１において、鉄筋検出部１５は、撮影画像の正対画像における輝度エッジに基づいて、平面マスク画像の正対画像における鉄筋部分に対応する線分のエッジ位置を補正する。これにより、配筋検査装置１は、平面に含まれる鉄筋を精度よく抽出できる平面マスク画像を生成することができる。
【0090】
実施の形態１に係る配筋検査装置１において、計測処理部１６は、単眼カメラ２から鉄筋４までの距離が一定になるように、検出された鉄筋４の撮影画像と、予め登録した鉄筋４の撮影画像との画像スケールを合わせるスケーリングを行う。これにより、配筋検査装置１は、撮影位置および撮影姿勢が互いに異なる撮像画像から検出された鉄筋４の特徴量を正確に比較することができる。
【0091】
実施の形態１に係る配筋検査装置１において、計測処理部１６は、検査対象の平面における鉄筋４の位置パラメータに基づいて鉄筋４同士が上下に交差している交点を算出し、撮影画像の正対画像から、交点間の鉄筋４の特徴量を抽出する。これにより、配筋検査装置１は、検査対象の鉄筋４とともに組まれた他の鉄筋４の影響を除外し、当該検査対象の鉄筋４を正確に検査することができる。
【0092】
実施の形態１に係る配筋検査装置１において、計測処理部１６は、正対画像における鉄筋４の長手方向に沿った複数の画素の輝度値からなる走査線を、鉄筋４の長手方向に直交する方向の画素ごとに取得し、画素ごとの走査線の輝度値を周波数変換した複数の周波数スペクトルを算出して、これらの周波数スペクトルから算出した輝度値の変化量の中央値を、鉄筋４の特徴量とする。これにより、配筋検査装置１は、撮影画像から鉄筋４の特徴を正確に抽出することが可能である。
【0093】
実施の形態１に係る配筋検査装置１において、計測処理部１６は、周波数スペクトルに一定の周波数範囲ごとのセグメントを設定し、セグメントごとに輝度値の変化量の総和と判定基準値とを比較し、判定基準値よりも低いセグメントの総和を、複数の周波数スペクトルのうち同一のセグメントで総和が中央値となるものに置き換える。これにより、配筋検査装置１は、撮影画像から鉄筋４の特徴を正確に抽出することが可能である。
【0094】
実施の形態１に係る配筋検査装置１において、計測処理部１６は、撮影画像から求めた周波数スペクトルにおけるピークの周波数での輝度値の変化量の中央値と、予め登録した鉄筋４の画像から求められた周波数スペクトルにおけるピークの周波数での輝度値の変化量の中央値との相関係数を算出し、相関係数の値に応じて重み付けたピークの周波数での輝度値の変化量の中央値を加算したものを、相関評価値として算出して、相関評価値が閾値を超えた鉄筋４の周波数スペクトルを新たに登録する。これにより、配筋検査装置１は、既に登録済みの検査結果との相関が高く、信頼性の高い検査結果を新たに登録することができる。
【0095】
実施の形態１に係る配筋検査方法は、画像取得部１１が、配筋３を、マーカ５が付された鉄筋４を含む平面側から、単眼カメラ２によって異なる角度からそれぞれ撮影した複数の撮影画像を取得するステップＳＴ１と、三次元復元部１２が、撮影画像間のマーカ５の大きさ、位置および形状の変化に基づいて、単眼カメラ２の撮影姿勢および移動距離を算出し、算出した単眼カメラ２の撮影姿勢および移動距離に基づいて、配筋３を表す三次元点群データを算出するステップＳＴ２と、平面検出部１３が、三次元点群データを用いて、平面における鉄筋４以外の部分をマスクした平面マスク画像を生成するステップＳＴ３と、画像変換部１４が、撮影画像および平面マスク画像を、複数の鉄筋４が直交している正対画像に変換するステップＳＴ４と、鉄筋検出部１５が、撮影画像の正対画像と平面マスク画像の正対画像とを用いて、平面における鉄筋４を検出するステップＳＴ５と、計測処理部１６が、検出された鉄筋４の特徴量を用いて、配筋３における鉄筋４を計測するステップＳＴ６と、を備える。当該配筋検査方法を配筋検査装置１が実行することで、単眼カメラ２によって撮影された画像を用いて配筋３の各層の鉄筋４を検出できる。
【0096】
実施の形態１に係るプログラムをコンピュータが実行することにより、単眼カメラ２によって撮影された画像を用いて配筋３の各層の鉄筋４を検出できる配筋検査装置１を提供することができる。
【0097】
実施の形態２．
図１８は、実施の形態２に係る配筋検査装置１Ａの構成例を示すブロック図である。
図１８において、配筋検査装置１Ａは、格子状に組まれた鉄筋からなる複数層の平面を有した配筋における、鉄筋の本数、隣り合う鉄筋の間隔、鉄筋の径または鉄筋の節の間隔の少なくとも一つを検査する装置である。また、配筋検査装置１Ａは、タブレット端末、スマートフォンまたはノートタイプＰＣである。図１８に示すように、配筋検査装置１Ａには、有線または無線で単眼カメラ２が接続されている。単眼カメラ２が外付けされた装置に限らず、配筋検査装置１Ａは、単眼カメラ２を内蔵していてもよい。
図１８は、実施の形態２に係る配筋検査装置１Ａの構成例を示すブロック図である。
図１８において、配筋検査装置１Ａは、格子状に組まれた鉄筋からなる複数層の平面を有した配筋における、鉄筋の本数、隣り合う鉄筋の間隔、鉄筋の径または鉄筋の節の間隔の少なくとも一つを検査する装置である。また、配筋検査装置１Ａは、タブレット端末、スマートフォンまたはノートタイプＰＣである。図１８に示すように、配筋検査装置１Ａには、有線または無線で単眼カメラ２が接続されている。単眼カメラ２が外付けされた装置に限らず、配筋検査装置１Ａは、単眼カメラ２を内蔵していてもよい。
【0098】
配筋検査において、検査者は、配筋検査装置１Ａを携帯して検査対象の配筋の周辺を移動しながら、配筋検査装置１Ａと接続された単眼カメラ２によって配筋を撮影する。検査者とともに移動する単眼カメラ２は、複数の撮影角度で配筋を撮影することができる。
なお、配筋の周辺を移動する移動体は、検査者に限らず、車両、無人飛行体等であってもよい。
なお、配筋の周辺を移動する移動体は、検査者に限らず、車両、無人飛行体等であってもよい。
【0099】
配筋検査装置１Ａは、単眼カメラ２を搭載する端末装置と通信可能なサーバが備える構成要素であってもよい。例えば、端末装置は、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）の形態で提供される配筋検査を行うことができる。ＳａａＳの形態で配筋検査を行う場合、端末装置には、配筋検査用の情報処理アプリケーションがインストールされていなくてよい。配筋検査用の情報処理アプリケーションは上記サーバで実行されており、上記端末装置は、汎用のＷｅｂブラウザ上で計測結果情報が提供される。配筋検査用アプリケーションは、サーバが備える記憶部に記憶されている。
また、上記端末装置には、配筋検査用の情報処理アプリケーションがインストールされていてもよい。配筋検査用の情報処理アプリケーションがインストールされた端末装置では、当該アプリケーションが実行されることで、配筋検査が可能となる。
また、上記端末装置には、配筋検査用の情報処理アプリケーションがインストールされていてもよい。配筋検査用の情報処理アプリケーションがインストールされた端末装置では、当該アプリケーションが実行されることで、配筋検査が可能となる。
【0100】
配筋検査装置１Ａは、少なくとも演算部および記憶部を備える。演算部は、配筋検査装置１Ａの全体動作を制御する。演算部は、画像取得部１１、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６Ａを備える。演算部が、配筋検査用の情報処理アプリケーションを実行することにより、画像取得部１１、三次元復元部１２、平面検出部１３、画像変換部１４、鉄筋検出部１５および計測処理部１６Ａの各種の機能が実現される。計測処理部１６Ａは、学習装置７１に接続されている。学習装置７１は、学習部７１１および記憶部７１２を備える。
【0101】
記憶部は、配筋検査用の情報処理アプリケーションと、演算部の演算処理に用いられる情報を記憶する。記憶部は、配筋検査装置１Ａとして機能するコンピュータが備える記憶装置であり、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）もしくはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ、または、図１７Ｂのメモリ１０４を含むものである。なお、記憶部は、配筋検査装置１Ａがアクセス可能なものであればよく、配筋検査装置１の外部に設けられていてもよい。
【0102】
計測処理部１６Ａは、正対画像から抽出した鉄筋４の画像を複数の部分画像に分割し、複数の部分画像が入力されると鉄筋４の径を出力する学習モデルを用いて、鉄筋４の径を推論する。例えば、計測処理部１６Ａは、一本の鉄筋４の画像を複数に分割した部分画像を入力とし、鉄筋の検査情報として鉄筋径を推論する学習モデルを用いて、鉄筋径を推論する。
【0103】
学習装置７１は、鉄筋の撮影画像が分割された複数の部分画像が入力されると、鉄筋径を出力する学習モデルを生成する。学習部７１１は、学習用データから鉄筋径を推論する学習を行うことにより学習モデルを生成する。学習用データは、学習モデルの入力データである、鉄筋の撮影画像を分割した複数の部分画像データと正解ラベルとを含むデータセットである。正解ラベルは、複数の部分画像データにそれぞれ対応する鉄筋径を示す情報である。学習モデルは、記憶部７１２に記憶される。学習アルゴリズムとして、例えば、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）、ニューラルネットワーク、遺伝的プログラミング、機能論理プログラミングまたはサポートベクターマシンが用いられる。
【0104】
図１９は、鉄筋４の部分画像２Ｈ（１）、２Ｈ（２）、２Ｈ（３）を抽出する処理の概要を示す概要図である。計測処理部１６Ａは、図１９に示すように、正対画像に変換された撮影画像２Ｈから、長手方向に沿った鉄筋４の画像を抽出する。さらに、計測処理部１６Ａは、鉄筋４の画像から順次同一の大きさの部分画像２Ｈ（１）、２Ｈ（２）、２Ｈ（３）を抽出する。部分画像２Ｈ（１）、２Ｈ（２）、２Ｈ（３）は、例えば、縦横が同じ画素数の正方形の画像であり、鉄筋径はＤである。図１９において、計測処理部１６Ａは、配筋３が有する各層の平面における全ての鉄筋について、これらの処理を行う。
【0105】
図２０は、学習モデルによる鉄筋径の推論処理の概要を示す概要図である。図２０において、学習モデルは、鉄筋の画像から抽出された複数の部分画像と、各部分画像に付与された鉄筋の径Ｄを示す正解ラベルとのセットである学習用データを用いて生成される。
計測処理部１６Ａは、複数の部分画像データを当該学習モデルに入力して推論を行い、部分画像ごとに径Ｄの鉄筋４が写っている確率と、鉄筋４以外が写っている確率とを算出する。
計測処理部１６Ａは、複数の部分画像データを当該学習モデルに入力して推論を行い、部分画像ごとに径Ｄの鉄筋４が写っている確率と、鉄筋４以外が写っている確率とを算出する。
【0106】
例えば、推論結果データ１５１は、図１９に示した部分画像２Ｈ（１）において、各種類の鉄筋が写っている確率と鉄筋以外のもの（ＮＯＮ）が写っている確率を算出した結果である。鉄筋には、例えば、ＪＩＳ規格に基づく１６種類の鉄筋がある。１６種類の鉄筋には、Ｄ４、Ｄ５、Ｄ６、Ｄ８、Ｄ１０、Ｄ１３、Ｄ１６、Ｄ１９、Ｄ２２、Ｄ２５、Ｄ２９、Ｄ３２、Ｄ３５、Ｄ３８、Ｄ４１およびＤ５１という「呼び名」が付与されている。呼び名は、鉄筋の公称直径を丸めた径の大きさを示している。
【0107】
呼び名がＤ１０である鉄筋の公称直径は、９．５３（ｍｍ）であり、呼び名がＤ１３である鉄筋の公称直径は、１２．７（ｍｍ）であり、呼び名がＤ１６である鉄筋の公称直径は、１５．９（ｍｍ）である。なお、建築物の骨格として一般的に使用される鉄筋は、Ｄ１０以降の鉄筋である。
【0108】
推論結果データ１５２は、図１９に示した部分画像２Ｈ（２）において、各種類の鉄筋が写っている確率と鉄筋以外のもの（ＮＯＮ）が写っている確率とを算出した結果である。このような推論結果データが同じ鉄筋の画像から抽出された全ての部分画像データについて算出される。
【0109】
続いて、学習モデルは、同じ鉄筋の画像から抽出された全ての部分画像データについての推論結果データを平均することにより、鉄筋の画像における推論結果データ１５３を算出する。例えば、推論結果データ１５３には、各種類の鉄筋が写っている確率を平均した値と鉄筋以外のもの（ＮＯＮ）が写っている確率を平均した値とが含まれる。
【0110】
計測処理部１６Ａは、推論結果データ１５３に基づいて鉄筋の径Ｄを判定する。図２０の例では、図１９に示した撮影画像２Ｈにおける鉄筋４の種類がＤ１６、すなわち、径Ｄが１５．９（ｍｍ）の鉄筋４であると判定されている。計測処理部１６Ａは、学習モデルを用いることにより、鉄筋径Ｄを正確に検出でき、鉄筋径Ｄに基づいて鉄筋の種類を判定することができる。
【0111】
また、学習モデルは、鉄筋４の複数の部分画像が入力されると、隣り合う鉄筋４同士の間隔を出力するものであってもよいし、一本の鉄筋４における節同士の間隔を推論するものであってもよい。
【0112】
以上のように、実施の形態２に係る配筋検査装置１Ａにおいて、計測処理部１６Ａは、正対画像から抽出した鉄筋４の画像を複数の部分画像に分割し、複数の部分画像が入力されると鉄筋４の径を出力する学習モデルを用いて、鉄筋４の径を推論する。計測処理部１６Ａが上記学習モデルを用いることで、配筋検査装置１Ａは、鉄筋４の検査情報を正確に推論することが可能である。
【0113】
以下、本開示の諸態様を付記としてまとめて記載する。
【0114】
（付記１）
格子状に組まれた鉄筋からなる複数層の平面を有した配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラによって異なる角度からそれぞれ撮影された複数の撮影画像を取得する画像取得部と、
前記撮影画像間の前記マーカの大きさ、位置および撮影角度の変化に基づいて、前記単眼カメラの撮影姿勢および移動距離を算出し、算出した前記単眼カメラの撮影姿勢および移動距離に基づいて、前記配筋を表す三次元点群データを算出する三次元復元部と、
前記三次元点群データを用いて、平面における鉄筋以外の部分をマスクした平面マスク画像を生成する平面検出部と、
前記撮影画像および前記平面マスク画像を、鉄筋が互いに直交する正対画像に変換する画像変換部と、
前記撮影画像の前記正対画像と前記平面マスク画像の前記正対画像とを用いて、平面における鉄筋を検出する鉄筋検出部と、
検出された鉄筋の特徴量を用いて、前記配筋における鉄筋を計測する計測処理部と、を備えた
ことを特徴とする配筋検査装置。
（付記２）
前記マーカは、前記配筋の平面に複数設けられ、多角形の外形状を有している
ことを特徴とする付記１に記載の配筋検査装置。
（付記３）
前記三次元復元部は、複数の前記撮影画像における、複数の前記マーカの大きさ、位置および撮影角度の変化に基づいて、前記単眼カメラの撮影位置および撮影姿勢を算出し、互いに異なる前記撮影画像のペアから算出した前記単眼カメラの撮影位置および移動距離を用いて、前記三次元点群データを算出する
ことを特徴とする付記１または付記２に記載の配筋検査装置。
（付記４）
前記平面検出部は、前記三次元点群データを用いて、互いに異なる前記撮影画像のペアから前記平面マスク画像を生成する
ことを特徴とする付記１から付記３のいずれか一つに記載の配筋検査装置。
（付記５）
前記平面検出部は、前記三次元点群データを用いて決定した複数の平面候補から、前記単眼カメラから平面までの距離が設定距離内にある三次元点数に応じて選択した前記平面候補を表す平面パラメータを推定し、前記平面パラメータを用いて前記平面マスク画像を生成する
ことを特徴とする付記４に記載の配筋検査装置。
（付記６）
前記平面検出部は、前記平面候補の前記平面パラメータの算出と、当該平面候補の法線に基づいた平面の誤差量を示すヒストグラムの更新とを繰り返すことにより、検査対象の平面を表す前記平面パラメータを算出する
ことを特徴とする付記５に記載の配筋検査装置。
（付記７）
前記平面検出部は、互いに異なる前記撮影画像のペアからそれぞれ算出された前記三次元点群データを用いて前記平面マスク画像を生成し、これらの前記平面マスク画像を合成したものを、最終的な前記平面マスク画像とする
ことを特徴とする付記４に記載の配筋検査装置。
（付記８）
前記鉄筋検出部は、前記撮影画像の前記正対画像における輝度エッジに基づいて、前記平面マスク画像の前記正対画像における鉄筋部分に対応する線分のエッジ位置を補正する
ことを特徴とする付記１から付記７のいずれか一つに記載の配筋検査装置。
（付記９）
前記計測処理部は、前記単眼カメラから鉄筋までの距離が一定になるように、検出された鉄筋の前記撮影画像と、予め登録した鉄筋の前記撮影画像との画像スケールを合わせるスケーリングを行う
ことを特徴とする付記１から付記８のいずれか一つに記載の配筋検査装置。
（付記１０）
前記計測処理部は、検査対象の平面における鉄筋の位置パラメータに基づいて鉄筋同士が上下に交差している交点を算出し、前記撮影画像の前記正対画像から、交点間の鉄筋の特徴量を抽出する
ことを特徴とする付記１から付記９のいずれか一つに記載の配筋検査装置。
（付記１１）
前記計測処理部は、前記正対画像における鉄筋の長手方向に沿った複数の画素の輝度値からなる走査線を、鉄筋の長手方向に直交する方向の画素ごとに取得し、画素ごとの前記走査線の輝度値を周波数変換した複数の周波数スペクトルを算出して、これらの前記周波数スペクトルから抽出した輝度値の変化量の中央値を、鉄筋の特徴量とする
ことを特徴とする付記１０に記載の配筋検査装置。
（付記１２）
前記計測処理部は、前記周波数スペクトルに一定の周波数範囲ごとのセグメントを設定し、前記セグメントごとに輝度値の変化量の総和と判定基準値とを比較し、前記判定基準値よりも低い前記セグメントの前記総和を、複数の前記周波数スペクトルのうち同一の前記セグメントで前記総和が中央値となるものに置き換える
ことを特徴とする付記１１に記載の配筋検査装置。
（付記１３）
前記計測処理部は、前記撮影画像から求めた前記周波数スペクトルにおけるピークの周波数での輝度値の中央値と、予め登録した鉄筋の画像から求められた前記周波数スペクトルにおけるピークの周波数での輝度値の変化量の中央値との相関係数を算出し、前記相関係数の値に応じて重み付けたピークの周波数での輝度値の変化量の中央値を加算したものを、相関評価値として算出して、前記相関評価値が閾値を超えた鉄筋の前記周波数スペクトルを新たに登録する
ことを特徴とする付記１１に記載の配筋検査装置。
（付記１４）
前記計測処理部は、前記正対画像から抽出した鉄筋の画像を複数の部分画像に分割し、複数の前記部分画像が入力されると鉄筋の径を出力する学習モデルを用いて、鉄筋の径を推論する
ことを特徴とする付記１から付記１３のいずれか一つに記載の配筋検査装置。
（付記１５）
配筋検査装置の配筋検査方法であって、
画像取得部が、格子状に組まれた鉄筋からなる複数層の平面を有した配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラによって異なる角度からそれぞれ撮影した複数の撮影画像を取得するステップと、
三次元復元部が、前記撮影画像間の前記マーカの大きさ、位置および形状の変化に基づいて、前記単眼カメラの撮影姿勢および移動距離を算出し、算出した前記単眼カメラの撮影姿勢および移動距離に基づいて、前記配筋を表す三次元点群データを算出するステップと、
平面検出部が、前記三次元点群データを用いて、平面における鉄筋以外の部分をマスクした平面マスク画像を生成するステップと、
画像変換部が、前記撮影画像および前記平面マスク画像を、鉄筋が互いに直交する正対画像に変換するステップと、
鉄筋検出部が、前記撮影画像の前記正対画像と前記平面マスク画像の前記正対画像とを用いて、平面における鉄筋を検出するステップと、
計測処理部が、検出された鉄筋の特徴量と予め登録した鉄筋の特徴量との相関処理の結果に基づいて、平面における鉄筋を計測するステップと、を備えた
ことを特徴とする配筋検査方法。
（付記１６）
コンピュータを、
格子状に組まれた鉄筋からなる複数層の平面を有した配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラによって異なる角度からそれぞれ撮影した複数の撮影画像を取得する画像取得部、
前記撮影画像間の前記マーカの大きさ、位置および形状の変化に基づいて、前記単眼カメラの撮影姿勢および移動距離を算出し、算出した前記単眼カメラの撮影姿勢および移動距離に基づいて、前記配筋を表す三次元点群データを算出する三次元復元部、
前記三次元点群データを用いて、平面における鉄筋以外の部分をマスクした平面マスク画像を生成する平面検出部、
前記撮影画像および前記平面マスク画像を、鉄筋が互いに直交する正対画像に変換する画像変換部、
前記撮影画像の前記正対画像と前記平面マスク画像の前記正対画像とを用いて、平面における鉄筋を検出する鉄筋検出部、
検出された鉄筋の特徴量と予め登録した鉄筋の特徴量との相関処理の結果に基づいて、平面における鉄筋を計測する計測処理部、
として機能させるためのプログラム。
格子状に組まれた鉄筋からなる複数層の平面を有した配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラによって異なる角度からそれぞれ撮影された複数の撮影画像を取得する画像取得部と、
前記撮影画像間の前記マーカの大きさ、位置および撮影角度の変化に基づいて、前記単眼カメラの撮影姿勢および移動距離を算出し、算出した前記単眼カメラの撮影姿勢および移動距離に基づいて、前記配筋を表す三次元点群データを算出する三次元復元部と、
前記三次元点群データを用いて、平面における鉄筋以外の部分をマスクした平面マスク画像を生成する平面検出部と、
前記撮影画像および前記平面マスク画像を、鉄筋が互いに直交する正対画像に変換する画像変換部と、
前記撮影画像の前記正対画像と前記平面マスク画像の前記正対画像とを用いて、平面における鉄筋を検出する鉄筋検出部と、
検出された鉄筋の特徴量を用いて、前記配筋における鉄筋を計測する計測処理部と、を備えた
ことを特徴とする配筋検査装置。
（付記２）
前記マーカは、前記配筋の平面に複数設けられ、多角形の外形状を有している
ことを特徴とする付記１に記載の配筋検査装置。
（付記３）
前記三次元復元部は、複数の前記撮影画像における、複数の前記マーカの大きさ、位置および撮影角度の変化に基づいて、前記単眼カメラの撮影位置および撮影姿勢を算出し、互いに異なる前記撮影画像のペアから算出した前記単眼カメラの撮影位置および移動距離を用いて、前記三次元点群データを算出する
ことを特徴とする付記１または付記２に記載の配筋検査装置。
（付記４）
前記平面検出部は、前記三次元点群データを用いて、互いに異なる前記撮影画像のペアから前記平面マスク画像を生成する
ことを特徴とする付記１から付記３のいずれか一つに記載の配筋検査装置。
（付記５）
前記平面検出部は、前記三次元点群データを用いて決定した複数の平面候補から、前記単眼カメラから平面までの距離が設定距離内にある三次元点数に応じて選択した前記平面候補を表す平面パラメータを推定し、前記平面パラメータを用いて前記平面マスク画像を生成する
ことを特徴とする付記４に記載の配筋検査装置。
（付記６）
前記平面検出部は、前記平面候補の前記平面パラメータの算出と、当該平面候補の法線に基づいた平面の誤差量を示すヒストグラムの更新とを繰り返すことにより、検査対象の平面を表す前記平面パラメータを算出する
ことを特徴とする付記５に記載の配筋検査装置。
（付記７）
前記平面検出部は、互いに異なる前記撮影画像のペアからそれぞれ算出された前記三次元点群データを用いて前記平面マスク画像を生成し、これらの前記平面マスク画像を合成したものを、最終的な前記平面マスク画像とする
ことを特徴とする付記４に記載の配筋検査装置。
（付記８）
前記鉄筋検出部は、前記撮影画像の前記正対画像における輝度エッジに基づいて、前記平面マスク画像の前記正対画像における鉄筋部分に対応する線分のエッジ位置を補正する
ことを特徴とする付記１から付記７のいずれか一つに記載の配筋検査装置。
（付記９）
前記計測処理部は、前記単眼カメラから鉄筋までの距離が一定になるように、検出された鉄筋の前記撮影画像と、予め登録した鉄筋の前記撮影画像との画像スケールを合わせるスケーリングを行う
ことを特徴とする付記１から付記８のいずれか一つに記載の配筋検査装置。
（付記１０）
前記計測処理部は、検査対象の平面における鉄筋の位置パラメータに基づいて鉄筋同士が上下に交差している交点を算出し、前記撮影画像の前記正対画像から、交点間の鉄筋の特徴量を抽出する
ことを特徴とする付記１から付記９のいずれか一つに記載の配筋検査装置。
（付記１１）
前記計測処理部は、前記正対画像における鉄筋の長手方向に沿った複数の画素の輝度値からなる走査線を、鉄筋の長手方向に直交する方向の画素ごとに取得し、画素ごとの前記走査線の輝度値を周波数変換した複数の周波数スペクトルを算出して、これらの前記周波数スペクトルから抽出した輝度値の変化量の中央値を、鉄筋の特徴量とする
ことを特徴とする付記１０に記載の配筋検査装置。
（付記１２）
前記計測処理部は、前記周波数スペクトルに一定の周波数範囲ごとのセグメントを設定し、前記セグメントごとに輝度値の変化量の総和と判定基準値とを比較し、前記判定基準値よりも低い前記セグメントの前記総和を、複数の前記周波数スペクトルのうち同一の前記セグメントで前記総和が中央値となるものに置き換える
ことを特徴とする付記１１に記載の配筋検査装置。
（付記１３）
前記計測処理部は、前記撮影画像から求めた前記周波数スペクトルにおけるピークの周波数での輝度値の中央値と、予め登録した鉄筋の画像から求められた前記周波数スペクトルにおけるピークの周波数での輝度値の変化量の中央値との相関係数を算出し、前記相関係数の値に応じて重み付けたピークの周波数での輝度値の変化量の中央値を加算したものを、相関評価値として算出して、前記相関評価値が閾値を超えた鉄筋の前記周波数スペクトルを新たに登録する
ことを特徴とする付記１１に記載の配筋検査装置。
（付記１４）
前記計測処理部は、前記正対画像から抽出した鉄筋の画像を複数の部分画像に分割し、複数の前記部分画像が入力されると鉄筋の径を出力する学習モデルを用いて、鉄筋の径を推論する
ことを特徴とする付記１から付記１３のいずれか一つに記載の配筋検査装置。
（付記１５）
配筋検査装置の配筋検査方法であって、
画像取得部が、格子状に組まれた鉄筋からなる複数層の平面を有した配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラによって異なる角度からそれぞれ撮影した複数の撮影画像を取得するステップと、
三次元復元部が、前記撮影画像間の前記マーカの大きさ、位置および形状の変化に基づいて、前記単眼カメラの撮影姿勢および移動距離を算出し、算出した前記単眼カメラの撮影姿勢および移動距離に基づいて、前記配筋を表す三次元点群データを算出するステップと、
平面検出部が、前記三次元点群データを用いて、平面における鉄筋以外の部分をマスクした平面マスク画像を生成するステップと、
画像変換部が、前記撮影画像および前記平面マスク画像を、鉄筋が互いに直交する正対画像に変換するステップと、
鉄筋検出部が、前記撮影画像の前記正対画像と前記平面マスク画像の前記正対画像とを用いて、平面における鉄筋を検出するステップと、
計測処理部が、検出された鉄筋の特徴量と予め登録した鉄筋の特徴量との相関処理の結果に基づいて、平面における鉄筋を計測するステップと、を備えた
ことを特徴とする配筋検査方法。
（付記１６）
コンピュータを、
格子状に組まれた鉄筋からなる複数層の平面を有した配筋を、マーカが付された鉄筋を含む平面側から、単眼カメラによって異なる角度からそれぞれ撮影した複数の撮影画像を取得する画像取得部、
前記撮影画像間の前記マーカの大きさ、位置および形状の変化に基づいて、前記単眼カメラの撮影姿勢および移動距離を算出し、算出した前記単眼カメラの撮影姿勢および移動距離に基づいて、前記配筋を表す三次元点群データを算出する三次元復元部、
前記三次元点群データを用いて、平面における鉄筋以外の部分をマスクした平面マスク画像を生成する平面検出部、
前記撮影画像および前記平面マスク画像を、鉄筋が互いに直交する正対画像に変換する画像変換部、
前記撮影画像の前記正対画像と前記平面マスク画像の前記正対画像とを用いて、平面における鉄筋を検出する鉄筋検出部、
検出された鉄筋の特徴量と予め登録した鉄筋の特徴量との相関処理の結果に基づいて、平面における鉄筋を計測する計測処理部、
として機能させるためのプログラム。
【0115】
なお、各実施の形態の組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。
【符号の説明】
【0116】
１，１Ａ 配筋検査装置、２ 単眼カメラ、２Ｈ（１），２Ｈ（２），２Ｈ（３） 部分画像、２Ｈ，２１Ａ，２１Ｂ，２１Ｃ，２１Ｄ，２１Ｅ，２１Ｆ，２１Ｇ，２１Ｈ 撮影画像、３ 配筋、４ 鉄筋、４Ａ，５２ 線分、５ マーカ、６Ａ 下地、６Ｂ 識別形状、１１ 画像取得部、１２ 三次元復元部、１３ 平面検出部、１４ 画像変換部、１５ 鉄筋検出部、１６，１６Ａ 計測処理部、３１ アウトライヤ、３２ インライヤ、４０ 三次元点、４１，４２ 平面、５１ 平面マスク画像、６０ 画像、６０Ａ，６０Ｂ 矩形領域、６１ ヒストグラム、６２ ピーク、７１ 学習装置、１００ 入力インタフェース、１０１ 出力インタフェース、１０２ 処理回路、１０３ プロセッサ、１０４ メモリ、１１１ 画像領域、１１１Ａ，１４１ 領域、１１２ 矩形、１１３ 中心、１５１，１５２，１５３ 推論結果データ、７１１ 学習部、７１２ 記憶部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】