(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022146049
(43)【公開日】2022-10-05
(54)【発明の名称】配筋検査装置及び配筋検査方法
(51)【国際特許分類】
G01B 11/00 20060101AFI20220928BHJP
G01B 11/245 20060101ALI20220928BHJP
G06T 7/593 20170101ALI20220928BHJP
E04C 5/06 20060101ALI20220928BHJP
E04G 21/12 20060101ALI20220928BHJP
【FI】
G01B11/00 H
G01B11/245 H
G06T7/593
E04C5/06 ESW
E04G21/12 105Z
【審査請求】有
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2021046832
(22)【出願日】2021-03-22
(71)【出願人】
【識別番号】000166432
【氏名又は名称】戸田建設株式会社
(71)【出願人】
【識別番号】593089046
【氏名又は名称】青木あすなろ建設株式会社
(71)【出願人】
【識別番号】000156204
【氏名又は名称】株式会社淺沼組
(71)【出願人】
【識別番号】303057365
【氏名又は名称】株式会社安藤・間
(71)【出願人】
【識別番号】000140292
【氏名又は名称】株式会社奥村組
(71)【出願人】
【識別番号】591169490
【氏名又は名称】北野建設株式会社
(71)【出願人】
【識別番号】000001317
【氏名又は名称】株式会社熊谷組
(71)【出願人】
【識別番号】000166627
【氏名又は名称】五洋建設株式会社
(71)【出願人】
【識別番号】000172813
【氏名又は名称】佐藤工業株式会社
(71)【出願人】
【識別番号】000207872
【氏名又は名称】大末建設株式会社
(71)【出願人】
【識別番号】510065067
【氏名又は名称】▲高▼松建設株式会社
(71)【出願人】
【識別番号】000216025
【氏名又は名称】鉄建建設株式会社
(71)【出願人】
【識別番号】303056368
【氏名又は名称】東急建設株式会社
(71)【出願人】
【識別番号】000235543
【氏名又は名称】飛島建設株式会社
(71)【出願人】
【識別番号】000195971
【氏名又は名称】西松建設株式会社
(71)【出願人】
【識別番号】000231198
【氏名又は名称】日本国土開発株式会社
(71)【出願人】
【識別番号】000150615
【氏名又は名称】株式会社長谷工コーポレーション
(71)【出願人】
【識別番号】000112196
【氏名又は名称】株式会社ピーエス三菱
(71)【出願人】
【識別番号】591214804
【氏名又は名称】株式会社松村組
(71)【出願人】
【識別番号】000245852
【氏名又は名称】矢作建設工業株式会社
(71)【出願人】
【識別番号】304038149
【氏名又は名称】村本建設株式会社
(74)【代理人】
【識別番号】100090387
【弁理士】
【氏名又は名称】布施 行夫
(74)【代理人】
【識別番号】100090398
【弁理士】
【氏名又は名称】大渕 美千栄
(74)【代理人】
【識別番号】100213388
【弁理士】
【氏名又は名称】竹内 康司
(72)【発明者】
【氏名】八代 成美
(72)【発明者】
【氏名】安武 祐太
(72)【発明者】
【氏名】赤星 博仁
(72)【発明者】
【氏名】増田 隆行
(72)【発明者】
【氏名】市川 達也
(72)【発明者】
【氏名】高井 茂光
(72)【発明者】
【氏名】田野井 淳一
(72)【発明者】
【氏名】上田 洋一
(72)【発明者】
【氏名】築城 寛行
(72)【発明者】
【氏名】鈴木 哲矢
(72)【発明者】
【氏名】長澤 新治
(72)【発明者】
【氏名】竹澤 一秀
(72)【発明者】
【氏名】村川 昌広
(72)【発明者】
【氏名】村井 克綺
(72)【発明者】
【氏名】青木 信吾
(72)【発明者】
【氏名】松本 賢二郎
(72)【発明者】
【氏名】上原 誠
(72)【発明者】
【氏名】依田 昌典
(72)【発明者】
【氏名】関口 友裕
【テーマコード(参考)】
2E164
2F065
5L096
【Fターム(参考)】
2E164AA02
2E164CA01
2E164CA02
2E164CA12
2F065AA04
2F065AA22
2F065AA26
2F065AA53
2F065BB05
2F065BB12
2F065BB28
2F065CC14
2F065DD03
2F065EE00
2F065EE08
2F065FF05
2F065FF09
2F065JJ03
2F065JJ05
2F065JJ26
2F065LL22
2F065QQ31
2F065QQ38
2F065SS13
5L096AA02
5L096AA03
5L096AA09
5L096BA03
5L096CA05
5L096DA01
5L096FA09
5L096FA66
5L096FA67
5L096FA69
(57)【要約】
【課題】本発明は、色情報が必要ない限り、同一の撮像素子数またはサイズであればカラーカメラによる画像よりも一画素あたりの解像度を高くできるモノクロカメラによる画像を利用して鉄筋の検知精度を向上させると共に、カラーカメラによる同一対象物の画像を用いて検知結果を見やすくすることができる配筋検査装置10を提供する。
【解決手段】本発明に係る配筋検査装置10は、第1モノクロカメラ12と、第2モノクロカメラ14と、カラーカメラ16と、本体11と、第1モノクロカメラ12及び第2モノクロカメラ14によって撮影された少なくとも一組の配筋画像に基づいて複数の配筋ラインを含む三次元配筋データを得る合成処理部30と、カラーカメラ16で撮影されたカラー配筋画像に複数の配筋ラインを配置するための表示用座標を算出する表示座標計算部34と、を含む。
【選択図】
図2
【特許請求の範囲】
【請求項1】
第1モノクロカメラと、
前記第1モノクロカメラに対して所定間隔離れて配置された第2モノクロカメラと、
前記第1モノクロカメラに対して所定間隔離れて配置されたカラーカメラと、
前記第1モノクロカメラ、前記第2モノクロカメラ及び前記カラーカメラが装着された本体と、
前記第1モノクロカメラ及び前記第2モノクロカメラによって撮影された少なくとも一組の配筋画像に基づいて複数の配筋ラインを含む三次元配筋データを得る合成処理部と、
前記カラーカメラで撮影されたカラー配筋画像に前記複数の配筋ラインを配置するための表示用座標を算出する表示座標計算部と、
を含むことを特徴とする、配筋検査装置。
【請求項2】
請求項1において、
前記第1モノクロカメラの配筋画像と前記カラーカメラのカラー配筋画像に基づいて前記第1モノクロカメラに対する前記カラーカメラの姿勢関係情報を推定する推定部と、
前記カラー配筋画像の撮影時における前記第1モノクロカメラで撮影された配筋画像と前記カラー配筋画像とのマッチングを行うマッチング部と、
をさらに含み、
前記表示座標計算部は、前記マッチング部のマッチング結果及び前記推定部で推定された前記姿勢関係情報に基づいて前記カラー配筋画像における前記表示用座標を算出することを特徴とする、配筋検査装置。
【請求項3】
請求項1において、
前記第1モノクロカメラ、前記第2モノクロカメラ及び前記カラーカメラの相対位置関係情報を取得する画像較正処理部をさらに含み、
前記表示座標計算部は、前記画像較正処理部で得られた前記相対位置関係情報に基づいて前記カラー配筋画像における前記表示用座標を計算することを特徴とする、配筋検査装置。
【請求項4】
請求項1~請求項3のいずれか一項において、
前記表示座標計算部で算出された前記表示用座標を用いて前記カラー配筋画像に前記複数の配筋ラインを配置した合成画像を表示する表示部をさらに含むことを特徴とする、配筋検査装置。
【請求項5】
請求項4において、
前記カラーカメラ及び前記表示部は、前記本体に固定されたタブレット端末に備えられることを特徴とする、配筋検査装置。
【請求項6】
所定間隔で配置された第1モノクロカメラ及び第2モノクロカメラによって撮影された少なくとも一組の配筋画像に基づいて複数の配筋ラインを含む三次元配筋データを合成し、
前記第1モノクロカメラに対して所定間隔離れて配置されたカラーカメラで撮影されたカラー配筋画像に前記複数の配筋ラインを配置するための表示用座標を算出し、
前記表示用座標に基づいて前記カラー配筋画像と前記複数の配筋ラインとを表示部に重畳して表示することを特徴とする、配筋検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、配筋検査装置及び配筋検査方法に関する。
【背景技術】
【0002】
鉄筋コンクリート造、鉄筋鉄骨コンクリート造、鉄骨造等の建築物の工事現場では、配筋された柱や梁の配筋検査が行われる。このような配筋検査に用いる配筋検査システムとして、デジタルカメラで撮影された鉄筋の画像に基づいて検査対象の鉄筋の径、本数、ピッチの少なくとも一つを計測するシステムが提案されている(特許文献1)。
【0003】
また、ワイヤーやケーブル等の線状物に対して、ステレオ方式で形状を計測する3次元計測方法及び装置もある(特許文献2)。ステレオ方式では、視点の異なる2つの画像上で計測したい点の対応点を求め、各画像上の対応点および2台のカメラの位置関係から三角測量の原理によって、計測点の3次元位置を算出することができる。ステレオ方式で用いられるカメラは、いずれもカラーカメラが用いられる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2016-3981号公報
【特許文献2】国際公開公報WO2019/017360
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来のカラーカメラを用いたステレオカメラでは誤検知や未検知の鉄筋が多く、さらなる検知精度の向上が求められている。
【0006】
そこで、本発明は、色情報が必要ない限り、同一の撮像素子数またはサイズであればカラーカメラによる画像よりも一画素あたりの解像度を高くできるモノクロカメラによる画像を利用して鉄筋の検知精度を向上させると共に、カラーカメラによる同一対象物の画像を用いて検知結果を見やすくすることが可能な配筋検査装置及び配筋検査方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は上述の課題の少なくとも一部を解決するためになされたものであり、以下の態様または適用例として実現することができる。
【0008】
[1]本発明に係る配筋検査装置の一態様は、
第1モノクロカメラと、
前記第1モノクロカメラに対して所定間隔離れて配置された第2モノクロカメラと、
前記第1モノクロカメラに対して所定間隔離れて配置されたカラーカメラと、
前記第1モノクロカメラ、前記第2モノクロカメラ及び前記カラーカメラが装着された本体と、
前記第1モノクロカメラ及び前記第2モノクロカメラによって撮影された少なくとも一組の配筋画像に基づいて複数の配筋ラインを含む三次元配筋データを得る合成処理部と、
前記カラーカメラで撮影されたカラー配筋画像に前記複数の配筋ラインを配置するための表示用座標を算出する表示座標計算部と、
を含むことを特徴とする。
【0009】
[2]上記配筋検査装置の一態様において、
前記第1モノクロカメラの配筋画像と前記カラーカメラのカラー配筋画像に基づいて前記第1モノクロカメラに対する前記カラーカメラの姿勢関係情報を推定する推定部と、
前記カラー配筋画像の撮影時における前記第1モノクロカメラで撮影された配筋画像と前記カラー配筋画像とのマッチングを行うマッチング部と、
をさらに含み、
前記表示座標計算部は、前記マッチング部のマッチング結果及び前記推定部で推定された前記姿勢関係情報に基づいて前記カラー配筋画像における前記表示用座標を算出することができる。
【0010】
[3]上記配筋検査装置の一態様において、
前記第1モノクロカメラ、前記第2モノクロカメラ及び前記カラーカメラの相対位置関係情報を取得する画像較正処理部をさらに含み、
前記表示座標計算部は、前記画像較正処理部で得られた前記相対位置関係情報に基づいて前記カラー配筋画像における前記表示用座標を計算することができる。
【0011】
[4]上記配筋検査装置の一態様において、
前記表示座標計算部で算出された前記表示用座標を用いて前記カラー配筋画像に前記複数の配筋ラインを配置した合成画像を表示する表示部をさらに含むことができる。
【0012】
[5]本発明に係る配筋検査方法の一態様は、
前記カラーカメラ及び前記表示部は、前記本体に固定されたタブレット端末に備えられてもよい。
【0013】
[6]本発明に係る配筋検査方法の一態様は、
所定間隔で配置された第1モノクロカメラ及び第2モノクロカメラによって撮影された少なくとも一組の配筋画像に基づいて複数の配筋ラインを含む三次元配筋データを合成し、
前記第1モノクロカメラに対して所定間隔離れて配置されたカラーカメラで撮影されたカラー配筋画像に前記複数の配筋ラインを配置するための表示用座標を算出し、
前記表示用座標に基づいて前記カラー配筋画像と前記複数の配筋ラインとを表示部に重畳して表示することを特徴とする。
【発明の効果】
【0014】
本発明に係る配筋検査装置の一態様及び配筋検査方法の一態様によれば、モノクロカメラの高解像度を利用して鉄筋の検知精度を向上させると共に、カラーカメラを用いて検知結果を見やすくすることができる。
【図面の簡単な説明】
【0015】
【
図1】本実施形態に係る配筋検査装置と配筋を模式的に示す図である。
【
図2】本実施形態に係る配筋検査装置のブロック図である。
【
図3】本実施形態に係る事前準備処理のフローチャートである。
【
図4】本実施形態に係る配筋検査方法のフローチャートである。
【
図5】表示部に表示されたカラー配筋画像の一例を示す図である。
【
図6】変形例1に係る配筋検査装置のブロック図である。
【
図7】変形例1に係る事前準備処理のフローチャートである。
【
図8】変形例1に係る配筋検査方法のフローチャートである。
【
図9】変形例2に係る配筋検査装置を模式的に示す図である。
【
図10】変形例2に係る配筋検査装置のブロック図である。
【発明を実施するための形態】
【0016】
以下、本発明の好適な実施形態について、図面を用いて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。
【0017】
本実施形態に係る配筋検査装置の一態様は、第1モノクロカメラと、前記第1モノクロカメラに対して所定間隔離れて配置された第2モノクロカメラと、前記第1モノクロカメラに対して所定間隔離れて配置されたカラーカメラと、前記第1モノクロカメラ、前記第2モノクロカメラ及び前記カラーカメラが装着された本体と、前記第1モノクロカメラ及び前記第2モノクロカメラによって撮影された少なくとも一組の配筋画像に基づいて複数の配筋ラインを含む三次元配筋データを得る合成処理部と、前記カラーカメラで撮影されたカラー配筋画像に前記複数の配筋ラインを配置するための表示用座標を算出する表示座標計算部と、を含むことを特徴とする。
【0018】
本実施形態に係る配筋検査方法の一態様は、所定間隔で配置された第1モノクロカメラ及び第2モノクロカメラによって撮影された少なくとも一組の配筋画像に基づいて複数の配筋ラインを含む三次元配筋データを合成し、前記第1モノクロカメラに対して所定間隔離れて配置されたカラーカメラで撮影されたカラー配筋画像に前記複数の配筋ラインを配置するための表示用座標を算出し、前記表示用座標に基づいて前記カラー配筋画像と前記複数の配筋ラインとを表示部に重畳して表示することを特徴とする。
【0019】
1.配筋検査装置の概要
図1及び
図2を用いて、本発明の一実施形態に係るについて説明する。
図1は、本実施形態に係る配筋検査装置10と配筋1を模式的に示す図であり、
図2は本実施形態に係る配筋検査装置10のブロック図である。
【0020】
図1及び
図2に示すように、配筋検査装置10は、第1モノクロカメラ12と、第2モノクロカメラ14と、カラーカメラ16と、本体11と、合成処理部30と、表示座標計算部34と、を含む。配筋検査装置10は、さらに表示部38を含むことができる。
【0021】
配筋検査装置10は、鉄筋コンクリート造の建築物の工事現場において、柱や梁などの配筋1を検査するために用いることができる。配筋検査装置10は、2つのモノクロカメラで撮影された配筋1の画像に基づいて検査対象の例えば主筋1a等を検知して三次元配筋データを作成することができ、さらに、配筋検査装置10は、その検知結果として複数の配筋ラインを表示部38にカラーカメラ16で撮影したカラー配筋画像に重畳して表示することができる。さらに、例えば鉄筋径ごとに配筋ラインの色を設定し、平行に配置された隣の鉄筋との距離を表示部38に表示させることもできる。操作者は、表示された三次元配筋データに基づいて主筋1a等の径、本数、ピッチ等を計測し、設計通りであるかを検査することができる。
【0022】
本体11は、第1モノクロカメラ12、第2モノクロカメラ14及びカラーカメラ16が装着される。全てのカメラは、同時に検査対象である配筋1を撮影できるように配筋1に対向する本体11の同一の平面(仮想平面でもよい)に配置される。本体11の内部には、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)やHDD(Hard Disk Drive)などの記憶媒体、高速データ通信を行う通信インターフェース、及びタッチパネルやキーボードなどのユーザインターフェースを備えることができる。本体11は、ディスプレイを備えていてもよいが、本実施形態のよう
に本体11の載置部18上に置いた別体のタブレット端末を表示部38としてもよい。なお、その際には本体11とタブレット端末とを直接接続しデータの通信を行うようにしてもよい。また、本体11及び表示部38をノートパソコンやタブレット端末として構成し、3つのカメラセットを外付けしてもよい。配筋検査装置10は、工事現場において携帯可能な端末であることが好ましいが、必ずしも一台の装置により実現する必要はなく、例えばクライアントサーバ型コンピュータやクラウドコンピューティングに一部の処理部を分散してもよい。
【0023】
図2に示すように、本体11は、合成処理部30及び表示座標計算部34の他に、例えば、画像取得部22、画像較正処理部23、推定部24、第1マッチング部26、三次元座標計算部28、第2マッチング部32、出力部36をさらに含んでもよい。これらの処理部の機能は、本体11の記憶媒体に保存された情報に基づいてプロセッサがプログラムを実行し、他のハードウェアを協働させることにより実現する。本体11は、3つのカメラの操作手段として例えば図示しないシャッターボタンを備えていてもよい。
【0024】
第1モノクロカメラ12及び第2モノクロカメラ14は、同じ性能を備えるデジタルカメラである。第1モノクロカメラ12及び第2モノクロカメラ14は、公知の光学系と撮像素子を有し、モノクロ画像を撮影可能である。撮像素子は、例えば、カラーフィルタを備えないモノクロCMOSセンサ又はモノクロCCDセンサである。第1モノクロカメラ12及び第2モノクロカメラ14は、カラーフィルタを介さないため同じ撮像素子の数であってもカラーカメラ16よりも解像度が高くなる。そのため、配筋検査装置10は解像度の高いモノクロ画像により高精度な検知を行うことが可能となる。第1モノクロカメラ12及び第2モノクロカメラ14は、本体11を操作者の指令により配筋1を撮影し、配筋1のモノクロの配筋画像を画像取得部22へ出力する。
【0025】
第1モノクロカメラ12は、基準カメラであり、第2モノクロカメラ14は第1モノクロカメラ12に対して所定間隔W1離れて配置される。所定間隔W1は、第1モノクロカメラ12及び第2モノクロカメラ14の各レンズの中心間距離である。所定間隔W1は、視差を用いた距離算出が可能であれば任意の距離で設定することができ、撮影時には固定値であるが、撮影する対象に応じて変更可能に構成してもよい。また、第1モノクロカメラ12と、第2モノクロカメラ14は、所定間隔W1離れていれば水平方向にだけではなく、垂直方向、斜め方向において配置されていてもよい。第1モノクロカメラ12及び第2モノクロカメラ14はステレオカメラ15として構成され、このステレオカメラ15で撮影された配筋画像を用いると、2つの画像の視差から三角測量の原理で配筋1とステレオカメラ15との距離を算出することができる。そして、それらの距離を用いて例えば逆投影手法を用いることで配筋1上の点の三次元での位置を算出することができる。ステレオカメラ15としては、少なくとも2つのモノクロカメラがあればよいが、各々所定間隔をあけて配置された3つ以上のモノクロカメラで構成されてもよい。3台以上のモノクロカメラを用いることで配筋検査装置10の検知精度を向上させることができる。
【0026】
カラーカメラ16は、基準カメラである第1モノクロカメラ12に対して所定間隔W2離れて配置される。所定間隔W2は、第1モノクロカメラ12及びカラーカメラ16の各レンズの中心間距離である。所定間隔W2は、任意の距離で設定することができるが、第1モノクロカメラ12による画像とカラーカメラ16による画像間で調整可能なずれに収まる距離が望ましく、撮影時には固定値である。
図1の例では、カラーカメラ16は、第1モノクロカメラ12の直下に配置されているが、カラーカメラ16の位置はこれに限らず、同一の被対象物を第1モノクロカメラ12と同時に撮影可能であればよく、所定間隔W2離れてさえいれば例えば、第1モノクロカメラ12と第2モノクロカメラ14との間に一列となるようにカラーカメラ16を配置してもよい。また、カラーカメラ16は、他のカメラに対して位置が固定されていればよいので、ステレオカメラ15を有する本体1
1に単眼カラーカメラを固定する形態としてもよい。
【0027】
カラーカメラ16は、公知の光学系と撮像素子を有し、カラー画像を撮影可能である。撮像素子は、例えば、RGBのカラーフィルタを備えるCMOSセンサ又はCCDセンサである。カラーカメラ16は、本体11を操作者の指令により配筋1を撮影し、配筋1のカラー配筋画像を画像取得部22へ出力する。
【0028】
画像取得部22は、第1モノクロカメラ12及び第2モノクロカメラ14によって同時に撮影された少なくとも一組の配筋画像を取得することができ、例えば所定時間内に複数組取得してもよい。ステレオカメラ15による1回の撮影で得られる配筋画像は、第1モノクロカメラ12から得られる第1画像(右画像)と第2モノクロカメラ14から得られる第2画像(左画像)の一組である。
【0029】
画像較正処理部23は、第1モノクロカメラ12及び第2モノクロカメラ14のキャリブレーション情報を推定し、記憶媒体に保存する。キャリブレーション情報とは、例えば、ステレオカメラ15の固有パラメータである内部パラメータの推定値及び第1モノクロカメラ12に対する第2モノクロカメラ14の相対位置関係に係る外部パラメータの推定値を含む。内部パラメータとは焦点距離、主点座標、歪み係数などであり、外部パラメータは2つのカメラの座標系、回転行列及び並進ベクトルの関係などである。
【0030】
推定部24は、第1モノクロカメラ12及び第2モノクロカメラ14の姿勢を推定する。ここで、「姿勢」とは、計測開始時の初期フレームのステレオカメラ15の位置を基準とした場合の、現時点のステレオカメラ15の回転と並進移動の差分である。
【0031】
ステレオカメラ15の姿勢の推定に際しては、配筋1の任意の面(例えば正面2)に立体マーカーを配置させた状態で配筋画像を取得してもよい。立体マーカーは、AR(Augumented Reality:拡張現実)マーカーである。立体マーカーが撮影対象である配筋1と共に配筋画像に含まれるように撮影されることによって、配筋画像に含まれる立体マーカーの位置及び角度を認識することができ、その結果、配筋1に対するステレオカメラ15の姿勢を推定することができる。
【0032】
また、推定部24は、画像取得部22で取得した少なくとも一組の配筋画像に基づいて複数の配筋ラインを推定する。配筋ラインは、第1画像または第2画像における鉄筋に沿って延びる仮想線であり、鉄筋上に重なるように推定され、好ましくは鉄筋の中心軸に沿うように推定される。配筋ラインの推定は、鉄筋の特徴(例えば直線性、節、輝度、交差部など)を利用して行うことができる。推定部24は、画像取得部22で取得した全ての配筋画像に対して、配筋1の検知及び配筋ラインの推定を行う。配筋ラインを推定する手法としては、例えば学習機能を有する形状検出アルゴリズムを利用することができる。さらに、推定部24は、配筋画像から配筋1の鉄筋の径を推定してもよい。
【0033】
また、推定部24は、第1モノクロカメラ12のモノクロ配筋画像とカラーカメラのカラー配筋画像に基づいて、第1モノクロカメラ12に対するカラーカメラ16の姿勢関係情報を推定する。「姿勢関係情報」は、第1モノクロカメラ12に対するカラーカメラ16の回転・並進移動に関する情報であり、例えば、回転行列と並進移動ベクトルの関係式として取得できる。回転移動に関する関係式としては、回転行列の他に、公知の回転ベクトル、クォータニオン、オイラー角などで表すことができる。
【0034】
第1マッチング部26は、推定部24で推定された配筋ラインを各組の配筋画像ごとにマッチングする。マッチングは、2枚の画像を比較して「同じものを一致する」ことである。ここで、「もの」は画像中の「点」や「領域」である。第1マッチング部26は、推
定部24で配筋ラインを推定する際に検知した鉄筋の特徴点をマッチングしてもよい。その場合、マッチングした鉄筋に対応する配筋ラインであることを判定することで配筋ラインをマッチングしてもよい。マッチングの手法としては、特徴点マッチングを採用することができる。マッチングを行う前に、予め各画像に対して前処理を施すことができる。
【0035】
三次元座標計算部28は、推定部24で推定された各配筋ラインの三次元座標を計算する。三次元座標は、初めにステレオカメラ15で撮影する、あらかじめ取得した鉄筋位置を三次元座標の基準点とするか、もしくは、配筋1に設置した立体マーカーを三次元座標の基準点として計算することで取得できる。配筋ラインは、マッチング処理で用いられた複数の特徴点上を通るため、各特徴点とステレオカメラ15との距離を計測して配筋ラインの三次元座標を計算することができる。
【0036】
合成処理部30は、複数の配筋ラインを含む三次元配筋データを得る。具体的には、合成処理部30は、三次元座標計算部28によって得られた各配筋ラインの三次元座標に基づいて、基準三次元座標系に配筋ラインを配置して三次元配筋データを合成する。すなわち、三次元座標が特定された全ての配筋ラインを共通の基準三次元座標系に関連付ける。これにより、配筋ラインを三次元データとして表現することができる。
【0037】
第2マッチング部32は、カラーカメラ16によるカラー配筋画像の撮影時における第1モノクロカメラ12で撮影された配筋画像とカラー配筋画像とのマッチングを行う。第2マッチング部32は、例えば2枚の画像中における鉄筋の特徴点をマッチングしてもよいし、さらに、画像内の鉄筋以外の背景の特徴点をマッチングしてもよい。マッチングの手法としては、SIFT(Scale-Invariant Feature Transform)、SURF(Speed-Upped Robust Feature)、ORB(ORiented-BRIEF)、AKAZE(Accelerated KAZE)などの公知の局所特徴量を用いたマッチングを使用できる。マッチングを具体的に説明すると、第1モノクロカメラ12の配筋画像で計算された特徴点の局所特徴量を計算し、同じ特徴量をもつ点がカラーカメラ16のカラー配筋画像内のどこにあるのか探索する。
【0038】
表示座標計算部34は、カラーカメラ16で撮影されたカラー配筋画像に複数の配筋ラインを配置するための表示用座標を算出する。表示座標計算部34は、第2マッチング部32のマッチング結果及び推定部24で推定された姿勢関係情報に基づいてカラー配筋画像における表示用座標を算出する。表示座標計算部34は、推定部24で推定した姿勢関係情報を用いる。表示用座標とは、二次元のカラー配筋画像に対して三次元の配筋ラインを配置する座標であり、二次元に配置する際の三次元の配筋ラインの回転角度も含む。
【0039】
出力部36は、表示座標計算部34で算出された表示用座標と、カラー配筋画像と、複数の配筋ラインの各データ信号を表示部38に出力する。出力部36は、無線通信例えばブルートゥース(登録商標)により本体11から表示部38へデータ信号を出力する。本体11と表示部38との接続は有線通信であってもよい。
【0040】
表示部38は、表示座標計算部34で算出された表示用座標を用いてカラー配筋画像に複数の配筋ラインを配置した合成画像を表示する。合成画像は、カラー配筋画像の配筋のそれぞれに合致するように配筋ラインが配置される。配筋検査装置10によれば、第1モノクロカメラ12及び第2モノクロカメラ14の高解像度を利用して鉄筋の検知精度を向上させると共に、カラーカメラ16を用いて検知結果を見やすくすることができる。表示部38は、操作者によるタッチパネル式の入力手段及び操作手段を含んでもよい。
【0041】
2.配筋検査方法
図1~
図5を用いて、本実施形態に係る配筋検査方法について説明する。
図3は、本実施形態に係る事前準備処理のフローチャートであり、
図4は、本実施形態に係る配筋検査方法のフローチャートであり、
図5は、表示部38に表示されたカラー配筋画像50の一例を示す図である。以下の配筋検査方法の説明では、配筋検査装置10を用いた例について説明するが、これに限定されるものではない。
【0042】
図3に示すように、
図4の姿勢推定工程(S10)に先立って、画像較正処理部23は事前準備処理(S1~S3)を実行する。事前準備処理(S1~S3)は、キャリブレーションボードをステレオカメラ15で撮影する工程(S1)と、キャリブレーションを行い、ステレオカメラ15の内部パラメータと外部パラメータを推定する工程(S2)と、ステレオカメラ15のキャリブレーション情報を保存する工程(S3)と、を含む。
【0043】
キャリブレーションボードを撮影する工程(S1):配筋検査装置10aは、第1モノクロカメラ12及び第2モノクロカメラ14により同じキャリブレーションボードを撮影する。
【0044】
キャリブレーションを行い、ステレオカメラ15の内部パラメータと外部パラメータを推定する工程(S2):配筋検査装置10の画像較正処理部23は、S1で撮影されたそれぞれの画像から内部パラメータ(焦点距離及び歪行列)を推定する。さらに歪を補正したステレオカメラ15によりキャリブレーションボードを撮影し、これらステレオカメラ15の外部パラメータ(移動及び回転)を画像較正処理部23が推定する。
【0045】
ステレオカメラ15のキャリブレーション情報を保存する工程(S3):配筋検査装置10は、S2で推定した外部パラメータをステレオカメラ15のキャリブレーション情報として本体11の記憶媒体に保存する。
【0046】
図4に示すように、事前準備処理(S1~S3)の後に、配筋検査方法は、少なくとも三次元配筋データを得る工程(S20)と、表示用座標を算出する工程(S46)と、表示部38へ出力する工程(S48)と、を含む。配筋検査方法は、さらに、姿勢推定工程(S10)と、鉄筋径を識別する工程(S30)と、保持データに現在の計測結果を反映する工程(S40)と、マッチング工程(S42)と、第1モノクロカメラ12とカラーカメラ16との姿勢関係を推定する工程(S44)と、を備えることが好ましい。
図4のフローチャートの順に説明する。
【0047】
姿勢推定工程(S10):配筋検査装置10は、ステレオカメラ15の画像から姿勢推定工程(S10)を実行して、ステレオカメラ15の姿勢を推定する。ここで、「ステレオカメラ15の姿勢」とは、計測開始時の初期フレームのステレオカメラ15の位置に対する、現時点のステレオカメラ15の回転と並進移動の差分である。ステレオカメラ15の姿勢を推定することによって、後述のS20において本工程(S10)で推定された該姿勢を用いて現時点で推定された配筋ラインの三次元座標を、初期姿勢位置(計測開始時の初期フレームのステレオカメラ15の位置)に変換することができ、三次元配筋データを合成するという効果が得られる。
【0048】
姿勢推定工程(S10)は、ステレオカメラ15で撮影する工程(S11)と、歪を較正する工程(S12)と、平行化変換する工程(S14)と、ステレオカメラ15の姿勢を推定する工程(S16)と、を含む。
【0049】
ステレオカメラ15で撮影する工程(S11):配筋検査装置10は、ステレオカメラ15で計測対象である配筋1を撮影する。画像取得部22は、ステレオカメラ15で撮影されたモノクロ配筋画像を取得する。
【0050】
歪を較正する工程(S12):推定部24は、S11で撮影された一組の配筋画像を用いて、第1モノクロカメラ12及び第2モノクロカメラ14それぞれの内部パラメータ(焦点距離、主点座標、歪み係数)から歪を較正する。ここで「歪」とは、カメラのレンズを通して撮影した像の歪みである。
【0051】
平行化変換する工程(S14):推定部24は、S11で撮影された配筋画像を用いて、第1モノクロカメラ12及び第2モノクロカメラ14それぞれの外部パラメータ(2つのカメラの座標系、回転行列及び並進ベクトルの関係)から平行化変換する。
【0052】
ステレオカメラ15の姿勢を推定する工程(S16):推定部24は、現フレームの第1モノクロカメラ12と第2モノクロカメラ14のそれぞれの姿勢を推定する。「現フレーム」とは、S11時点で撮影されたモノクロ配筋画像である。
【0053】
三次元配筋データを得る工程(S20):合成処理部30は、所定間隔W1離れて配置された第1モノクロカメラ12及び第2モノクロカメラ14によって撮影された少なくとも一組のモノクロ配筋画像に基づいて複数の配筋ラインを含む三次元配筋データを合成する。具体的には、画像取得部22で取得したモノクロ配筋画像から推定部24、第1マッチング部26及び三次元座標計算部28が複数の配筋ラインの三次元座標を算出し、合成処理部30が基準三次元座標系に複数の配筋ラインを配置して三次元配筋データを合成する。基準三次元座標系は、基準カメラである第1モノクロカメラ12により撮影されたモノクロ配筋画像に対応する座標系である。
【0054】
鉄筋径を識別する工程(S30):配筋検査装置10は、第1モノクロカメラ12及び第2モノクロカメラ14によって撮影された少なくとも一組のモノクロ配筋画像に基づいて、配筋1の例えば主筋1a、せん断補強筋1b、腹筋1c等の鉄筋径を識別する。S30で使用するモノクロ配筋画像は、S20で使用したモノクロ配筋画像を使用する。
【0055】
保持データに現在の計測結果を反映する工程(S40):配筋検査装置10は、本体11の記憶媒体(メインメモリ)に保持されたデータに、S10,S20,S30から得られた現在の計測結果を反映する。
【0056】
マッチング工程(S42):第1モノクロカメラ12によって撮影されたモノクロ配筋画像と、この配筋画像と同時にカラーカメラ16によって撮影されたカラー配筋画像とに対し第2マッチング部32がマッチングを実行する。マッチングを行うことにより、後述のS44及びS46において、第1モノクロカメラ12とカラーカメラ16との姿勢関係を推定し、推定された三次元配筋データが、カラーカメラ16で撮影されたカラー配筋画像中のどの位置に存在するのか算出することができる。マッチングとしては、例えば、形状、サイズ、識別マーク等に基づいて、実行することができる。
【0057】
第1モノクロカメラ12とカラーカメラ16との姿勢関係を推定する工程(S44):配筋検査装置10は、S42の結果に基づいて、第1モノクロカメラ12とカラーカメラ16との姿勢関係情報を推定部24が推定する。S42においてマッチングされた結果を用いてS44において姿勢関係情報を推定することができると、S40で反映された三次元配筋データを後述するS48においてカラーカメラ16で撮影されたカラー配筋画像へ配置することが可能になる。
【0058】
表示用座標を算出する工程(S46):配筋検査装置10は、第1モノクロカメラ12に対して所定間隔W2で配置されたカラーカメラ16で撮影されたカラー配筋画像50に複数の配筋ライン40を配置するための表示用座標を表示座標計算部34が算出する。こ
こで「表示用座標」とは、S40で記憶媒体に保存したS20で得られた三次元座標と、S44で推定された回転行列と並進移動ベクトルを用いて計算した、投影先の二次元座標である。
【0059】
表示部38へ出力する工程(S48):
図5に示すように、配筋検査装置10は、S46で算出された表示用座標と、カラー配筋画像と、複数の配筋ラインの各データ信号を表示部38に出力部36が出力する。表示部38は、出力部36から出力された表示用座標に基づいてカラー配筋画像50と複数の配筋ライン40とを表示部38に表示する。表示部38に表示された合成画像62では、カラー配筋画像50に映る配筋1上に配筋ライン40が重ねて表示されており、配筋1と配筋ライン40との関係が把握しやすい。カラー配筋画像50は、配筋1のそれぞれが配筋ライン40に合致した状態で表示される。このように検知結果をわかりやすく表示部38に表示することで設計通りであるかを検査しやすくなる。また、図示しないが、表示部38に表示された合成画像62にS30で識別された鉄筋径をカラー配筋画像50の上に重ねて表示させてもよい。
【0060】
このように本配筋検査方法によれば、同一の撮像素子数またはサイズであればカラーカメラ16による画像よりも高解像度を有する第1モノクロカメラ12及び第2モノクロカメラ14による画像を利用して鉄筋の検知精度を向上させると共に、カラーカメラ16を用いて検知結果を見やすくすることができる。
【0061】
S48に続いて、配筋検査装置10は、ブラッシュアップ処理や配筋ライン40を削除する処理を実行してもよい。ブラッシュアップ処理は、表示部38に表示された配筋ライン40が配筋1と不一致の部分を修正する処理であり、例えば、誤推定した配筋ラインの削除や配筋ラインの延長等の処理がある。ブラッシュアップ処理は、配筋検査装置10が自動で処理してもよいし、表示部38の画像を見ながら手動で行ってもよいし、自動処理と手動処理を組み合わせて行ってもよい。配筋ラインを削除する処理は、表示部38の画像を見ながら手動で配筋ラインを削除する処理である。
【0062】
3.変形例1に係る配筋検査装置
図6を用いて、変形例1に係る配筋検査装置10aについて説明する。配筋検査装置10aの基本的な構成は、
図1及び
図2を用いて説明した配筋検査装置10と同じであるので、重複する部分については説明を省略する。
図6は、変形例1に係る配筋検査装置10aのブロック図である。
【0063】
図6に示すように、配筋検査装置10aは、上述の配筋検査装置10の画像較正処理部23に代えて第1モノクロカメラ12、第2モノクロカメラ14及びカラーカメラ16の相対位置関係情報を取得する画像較正処理部23aを含む。配筋検査装置10aの本体11aは、画像較正処理部23aの他、画像取得部22、推定部24a、マッチング部26a、三次元座標計算部28、合成処理部30、表示座標計算部34a、及び出力部36を備える。マッチング部26aは、上述の配筋検査装置10の第1マッチング部26に対応し、同様の処理を実行する。
【0064】
画像較正処理部23aは、第1モノクロカメラ12、第2モノクロカメラ14及びカラーカメラ16の相対位置関係情報と、それぞれのカメラの内部パラメータであるカメラ行列と歪み行列などを本体11aの記憶媒体に保存する。
【0065】
ここで「相対位置関係情報」とは、第1モノクロカメラ12に対する第2モノクロカメラ14の回転・並進移動と、第1モノクロカメラ12に対するカラーカメラ16の回転・並進移動とに関する情報である。「相対位置関係情報」は、ステレオカメラ15及びカラーカメラ16のいわゆる外部パラメータである。
【0066】
相対位置関係情報をあらかじめ取得しておくことにより、上述した配筋検査装置10における第2マッチング部32のように撮影のたびにモノクロ配筋画像とカラー配筋画像とをマッチングさせる処理を省略することができる。そのため、本体11aには第2マッチング部32に対応する処理部が存在しない。また、変形例1における配筋検査装置10aの推定部24aは、画像較正処理部23aで相対位置関係情報を既に取得しているため、上述した配筋検査装置10における推定部24のS44による第1モノクロカメラ12とカラーカメラ16の姿勢関係情報の推定は実施しない。
【0067】
表示座標計算部34aは、画像較正処理部23aで得られた相対位置関係情報に基づいてカラー配筋画像における表示用座標を計算する。相対位置関係情報を用いることで、カラー配筋画像における表示用座標を短時間の演算により設定することができる。
【0068】
4.変形例1に係る配筋検査方法
図7及び
図8を用いて、変形例1に係る配筋検査方法について説明する。
図7は、変形例1に係る事前準備処理のフローチャートであり、
図8は、変形例1に係る配筋検査方法のフローチャートである。
【0069】
図7に示す事前準備処理(S1a~S3a)は、
図8の配筋検査方法に先立って行う。事前準備処理(S1a~S3a)は、キャリブレーションボードを撮影する工程(S1a)と、キャリブレーションを行い、各カメラの内部パラメータと外部パラメータを推定する工程(S2a)と、カメラの相対位置関係情報を保存する工程(S3a)と、を含む。
【0070】
キャリブレーションボードを撮影する工程(S1a):配筋検査装置10aは、第1モノクロカメラ12、第2モノクロカメラ14及びカラーカメラ16により同じキャリブレーションボードを撮影する。
【0071】
キャリブレーションを行い、各カメラの内部パラメータと外部パラメータを推定する工程(S2a):配筋検査装置10aは、S1aで撮影されたそれぞれの画像から内部パラメータ(焦点距離及び歪行列)を画像較正処理部23aが推定する。さらに歪を補正した第1モノクロカメラ12、第2モノクロカメラ14及びカラーカメラ16によりキャリブレーションボードを撮影し、これら第1モノクロカメラ12と第2モノクロカメラ14同士の外部パラメータ(移動及び回転)及び第1モノクロカメラ12とカラーカメラ16同士の外部パラメータを画像較正処理部23aが推定する。
【0072】
カメラの相対位置関係情報を保存する工程(S3a):配筋検査装置10aは、S2aで推定した外部パラメータを第1モノクロカメラ12、第2モノクロカメラ14及びカラーカメラ16の相対位置関係情報として本体11aの記憶媒体に保存する。
【0073】
図8に示す配筋検査方法は、姿勢推定工程(S10)と、三次元配筋データを得る工程(S20)と、鉄筋径を識別する工程(S30)と、保持データに現在の計測結果を反映する工程(S40a)と、表示用座標を算出する工程(S46a)と、表示部38へ出力する工程(S48a)と、を含む。S10,S20及びS30については
図4の各工程と同様であるので説明を省略する。
【0074】
保持データに現在の計測結果を反映する工程(S40a):配筋検査装置10aは、記憶媒体に保存された保持データに、S10,S20,S30から得られた現在の計測結果を反映する。
【0075】
表示用座標を算出する工程(S46a):配筋検査装置10aは、カラーカメラ16で
撮影されたカラー配筋画像50に複数の配筋ライン40を配置するための表示用座標を算出する。システム初回起動時に実行された事前準備処理(S1a~S3a)において第1モノクロカメラ12とカラーカメラ16の相対位置関係情報が得られており、S20において第1モノクロカメラ12のモノクロ配筋画像の基準三次元座標系に複数の配筋ラインを配置して三次元配筋データが得られているので、マッチング処理を経ることなく表示用座標を算出できる。
【0076】
表示部38へ出力する工程(S48a):
図5に示すように、配筋検査装置10aは、S46aで算出された表示用座標と、カラー配筋画像と、複数の配筋ラインの各データ信号を表示部38に出力部36が出力する。表示部38は、出力部36から出力された表示用座標に基づいてカラー配筋画像50と複数の配筋ライン40とを表示部38に重畳して表示する。
【0077】
このように変形例1に係る配筋検査方法によれば、同一の撮像素子数またはサイズであればカラーカメラよりも高解像度を有する第1モノクロカメラ12及び第2モノクロカメラ14による画像を利用して鉄筋の検知精度を向上させると共に、カラーカメラ16を用いて検知結果を見やすくすることができる。また、変形例1に係る配筋検査方法でも、ブラッシュアップ処理や配筋ライン40を削除する処理を実行してもよい。
【0078】
5.変形例2に係る配筋検査装置
図9及び
図10を用いて変形例2に係る配筋検査装置10bについて説明する。
図9は変形例2に係る配筋検査装置10bを模式的に示す図であり、
図10は変形例2に係る配筋検査装置10bのブロック図である。なお、
図9の(a)は表示部38a側から見た正面図であり、(b)はステレオカメラ15側から見た背面図である。
【0079】
図9の(a)及び(b)に示すように、変形例2に係る配筋検査装置10bは、タブレット端末39と、タブレット端末39を固定する本体11bとから構成される。
【0080】
タブレット端末39は、表示部38aとカラーカメラ16aとを備える携帯型の情報処理装置である。タブレット端末39は略平板形状であり、操作者が片手で持ち歩くことができる程度の大きさを有する。表示部38は、例えば7インチ~12インチの液晶画面であり、タッチパネル式の入力手段や無線通信手段を含んでもよい。配筋検査装置10bは、上述の実施形態及び変形例1のカラーカメラ16の代わりに、タブレット端末39に内蔵されたカラーカメラ16aを用いる。タブレット端末39は、市販のカメラを内蔵したものを採用することができるため、安価に配筋検査装置10bを構築できる。
【0081】
本体11bは、第1モノクロカメラ12と第2モノクロカメラ14を備える。本体11bは、タブレット端末39を載置部18に載置した状態で図示しない固定手段によりタブレット端末39を固定する。本体11bの所定位置にタブレット端末39を固定することにより、第1モノクロカメラ12に対するカラーカメラ16aの位置が定まる。
【0082】
上述した実施形態及び変形例1のように本体11bに画像取得部22などの処理部を設けてもよいが、例えば、
図10に示すように、タブレット端末39が、画像取得部22、画像較正処理部23a、推定部24a、マッチング部26a、三次元座標計算部28、合成処理部30、表示座標計算部34a及び出力部36を含んでもよい。上述した実施形態または変形例1と同じ符号で示す各処理部は、基本的に同じ機能を有するのでここでは重複する説明を省略する。本体11bは、有線通信またはブルートゥース(登録商標)のような無線通信によりタブレット端末39と通信可能である。
【0083】
本発明は、上述した実施形態に限定されるものではなく、さらに種々の変形が可能であ
る。例えば、本発明は、実施形態で説明した構成と実質的に同一の構成(例えば、機能、方法、及び結果が同一の構成、あるいは目的及び効果が同一の構成)を含む。また、本発明は、実施形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施形態で説明した構成に公知技術を付加した構成を含む。
【符号の説明】
【0084】
1…配筋、1a…主筋、1b…せん断補強筋、1c…腹筋、10,10a,10b…配筋検査装置、11,11a,11b…本体、12…第1モノクロカメラ、14…第2モノクロカメラ、15…ステレオカメラ、16…カラーカメラ、18…載置部、22…画像取得部、23,23a…画像較正処理部、24…推定部、26…第1マッチング部、26a…マッチング部、28…三次元座標計算部、30…合成処理部、32…第2マッチング部、34,34a…表示座標計算部、36…出力部、38,38a…表示部、39…タブレット端末、40…配筋ライン、50…カラー配筋画像、60…三次元配筋データ、62…合成画像、W1,W2…所定間隔