(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173117
(43)【公開日】2024-12-12
(54)【発明の名称】配筋検査装置、配筋検査方法およびプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20241205BHJP
G06T 7/593 20170101ALI20241205BHJP
G06T 7/00 20170101ALI20241205BHJP
G06Q 50/08 20120101ALI20241205BHJP
E04G 21/00 20060101ALI20241205BHJP
【FI】
G06T19/00 A
G06T7/593
G06T7/00 610Z
G06Q50/08
E04G21/00 ESW
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023091286
(22)【出願日】2023-06-02
(71)【出願人】
【識別番号】591036457
【氏名又は名称】三菱電機エンジニアリング株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】橋本 和樹
(72)【発明者】
【氏名】平 謙二
【テーマコード(参考)】
5B050
5L049
5L050
5L096
【Fターム(参考)】
5B050BA09
5B050BA13
5B050CA07
5B050DA01
5B050DA10
5B050EA07
5B050EA18
5B050EA19
5B050EA27
5B050EA28
5B050FA02
5B050FA09
5B050GA08
5L049CC07
5L050CC07
5L096AA06
5L096BA03
5L096CA05
5L096DA01
5L096DA02
5L096DA04
5L096FA64
5L096FA66
5L096HA11
(57)【要約】
【課題】 現画像データを改ざんすることなく、後工程で配筋の鉄筋計測を行うことができる、配筋検査装置を提供する。
【解決手段】 配筋検査装置(1)は、ステレオカメラ(2)が撮影した配筋のステレオ画像から、配筋の三次元画像を生成する三次元情報取得部(11)と、三次元画像を用いて、配筋が有する平面を特定する平面特定部(12)と、特定された平面における鉄筋を検出する鉄筋検出部(13)と、ステレオ画像上に、配筋の各層の平面の鉄筋を含む三次元画像、および、検出された鉄筋の位置を示す鉄筋検出情報を重畳した画像情報を生成する画像情報生成部(14)と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
格子状に組まれた鉄筋からなる複数層の平面を有した配筋の鉄筋を検査する配筋検査装置であって、
ステレオカメラが撮影した前記配筋のステレオ画像から、前記配筋の三次元画像を生成する三次元情報取得部と、
前記三次元画像を用いて前記配筋が有する平面を特定する平面特定部と、
特定された平面における鉄筋の位置を示す鉄筋検出情報および前記ステレオ画像の画素ごとの画角情報を検出する鉄筋検出部と、
前記鉄筋検出情報および前記画角情報に基づいて、前記ステレオ画像に画素単位で前記三次元画像が対応付けられ、当該ステレオ画像上に当該三次元画像が重畳して表示される画像情報を生成する画像情報生成部と、を備えた
ことを特徴とする配筋検査装置。
【請求項2】
前記画像情報を用いて前記配筋が有する平面の鉄筋を計測する計測部を備え、
前記画像情報生成部は、鉄筋を計測した結果を示す電子黒板情報をさらに重畳した前記画像情報を生成する
ことを特徴とする請求項1に記載の配筋検査装置。
【請求項3】
前記画像情報生成部は、平面ごとの鉄筋を区別して表示する前記三次元画像を生成し、生成した前記三次元画像を前記ステレオ画像上に重畳した前記画像情報を生成する
ことを特徴とする請求項1または請求項2に記載の配筋検査装置。
【請求項4】
前記画像情報生成部は、平面ごとに鉄筋の色を変えた前記三次元画像を生成する
ことを特徴とする請求項3に記載の配筋検査装置。
【請求項5】
前記画像情報生成部は、平面ごとに鉄筋に重畳する線の種類を変えた前記三次元画像を生成する
ことを特徴とする請求項3に記載の配筋検査装置。
【請求項6】
前記画像情報生成部は、操作により指定された平面における鉄筋を、前記配筋における他の平面の鉄筋とは区別して表示する前記三次元画像を生成し、生成した前記三次元画像を前記ステレオ画像上に重畳した前記画像情報を生成する
ことを特徴とする請求項3に記載の配筋検査装置。
【請求項7】
前記画像情報生成部は、操作により指定された平面における鉄筋を、前記配筋における他の平面の鉄筋とは異なる色で表示する前記三次元画像を生成する
ことを特徴とする請求項6に記載の配筋検査装置。
【請求項8】
前記画像情報生成部は、操作により指定された平面における鉄筋を、前記配筋における他の平面の鉄筋とは異なる種類の線を重畳して表示する前記三次元画像を生成する
ことを特徴とする請求項6に記載の配筋検査装置。
【請求項9】
格子状に組まれた鉄筋からなる複数層の平面を有した配筋の鉄筋を検査する配筋検査装置による配筋検査方法であって、
三次元情報取得部が、ステレオカメラが撮影した前記配筋のステレオ画像から、前記配筋の三次元画像を生成するステップと、
平面特定部が、前記三次元画像を用いて前記配筋が有する平面を特定するステップと、
鉄筋検出部が、特定された平面における鉄筋の位置を示す鉄筋検出情報および前記ステレオ画像の画素ごとの画角情報を検出するステップと、
画像情報生成部が、前記鉄筋検出情報および前記画角情報に基づいて、前記ステレオ画像に画素単位で前記三次元画像が対応付けられ、当該ステレオ画像上に当該三次元画像が重畳して表示される画像情報を生成するステップと、を備えた
ことを特徴とする配筋検査方法。
【請求項10】
計測部が、前記画像情報を用いて前記配筋が有する平面の鉄筋を計測するステップを備え、
前記画像情報生成部が、鉄筋を計測した結果を示す電子黒板情報をさらに重畳した前記画像情報を生成する
ことを特徴とする請求項9に記載の配筋検査方法。
【請求項11】
コンピュータを、
格子状に組まれた鉄筋からなる複数層の平面を有した配筋の鉄筋を検査する配筋検査装置であって、
ステレオカメラが撮影した前記配筋のステレオ画像から、前記配筋の三次元画像を生成する三次元情報取得部と、
前記三次元画像を用いて前記配筋が有する平面を特定する平面特定部と、
特定された平面における鉄筋の位置を示す鉄筋検出情報および前記ステレオ画像の画素ごとの画角情報を検出する鉄筋検出部と、
前記鉄筋検出情報および前記画角情報に基づいて、前記ステレオ画像に画素単位で前記三次元画像が対応付けられ、当該ステレオ画像上に当該三次元画像が重畳して表示される画像情報を生成する画像情報生成部と、を備えた配筋検査装置として機能させる
ことを特徴とするプログラム。
【請求項12】
コンピュータを、
前記画像情報を用いて前記配筋が有する平面の鉄筋を計測する計測部を備え、
前記画像情報生成部が、鉄筋を計測した結果を示す電子黒板情報をさらに重畳した前記画像情報を生成する配筋検査装置として機能させる
ことを特徴とする請求項11に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、配筋検査装置、配筋検査方法およびプログラムに関する。
【背景技術】
【0002】
鉄筋コンクリート構造物の施工においては、複数の鉄筋を組み上げて構成される配筋が設計通りに構成されているかどうかを検査する配筋検査が行われる。配筋検査において、作業者は、画面に表示された、鉄筋の位置、鉄筋の種類、鉄筋の配置間隔の実測値と設計値、および鉄筋ごとの本数を参照しながら、検査作業を行う場合がある。
【0003】
例えば、特許文献1には、検査対象の配筋の画像を表示する従来の配筋計測システムが記載されている。この配筋計測システムは、鉄筋の計測情報を配筋のステレオ画像に重畳して表示する表示部と、少なくとも複数の鉄筋検出仮想線、複数の鉄筋番号および識別情報のうちのいずれか1つ以上を編集する編集信号の入力を受け付け可能な入力部と、入力部が入力を受け付けた編集信号に基づいて、計測情報を編集するものである。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載される配筋計測システムは、配筋が撮影された現画像データを、配筋計測用データとして保存する。しかしながら、現画像データを、配筋の三次元構造を表すデータに変換する、いわゆる現画像データの改ざんを行わなければ、後工程で配筋の鉄筋計測ができないという課題があった。
【0006】
本開示は上記課題を解決するものであり、現画像データを改ざんすることなく後工程で配筋の鉄筋計測を行うことができる配筋検査装置を得ることを目的とする。
【課題を解決するための手段】
【0007】
本開示に係る配筋検査装置は、格子状に組まれた鉄筋からなる複数層の平面を有した配筋の鉄筋を検査する配筋検査装置であって、ステレオカメラが撮影した配筋のステレオ画像から配筋の三次元画像を生成する三次元情報取得部と、三次元画像を用いて、配筋が有する平面を特定する平面特定部と、特定された平面における鉄筋の位置を示す鉄筋検出情報およびステレオ画像の画素ごとの画角情報を検出する鉄筋検出部と、鉄筋検出情報および画角情報に基づいて、ステレオ画像に画素単位で三次元画像が対応付けられ、ステレオ画像上に三次元画像が重畳して表示される画像情報を生成する画像情報生成部と、を備える。
【発明の効果】
【0008】
本開示によれば、配筋で格子状に組まれた鉄筋の位置を示す鉄筋検出情報と、ステレオ画像の画素ごとの画角情報に基づいて、ステレオ画像に画素単位で三次元画像が対応付けられ、ステレオ画像上に三次元画像が重畳して表示される画像情報を生成する。ステレオ画像に対応付けられた三次元画像とピクセル単位の画角情報とに基づいて、ステレオ画像の現画像データから、配筋を三次元復元することで、現画像データを改ざんすることなく後工程で配筋の鉄筋計測を行うことができる。
【図面の簡単な説明】
【0009】
【
図1】実施の形態1に係る配筋検査装置の構成例を示すブロック図である。
【
図2】配筋検査表示画面を構成する各レイヤを示す概要図である。
【
図3】配筋検査表示画面の例(1)を示す画面図である。
【
図4】配筋検査表示画面の例(2)を示す画面図である。
【
図5】配筋検査表示画面の例(3)を示す画面図である。
【
図6】配筋検査表示画面の例(4)を示す画面図である。
【
図7】配筋検査表示画面の例(5)を示す画面図である。
【
図8】実施の形態1に係る配筋検査方法を示すフローチャートである。
【
図9】
図9Aおよび
図9Bは、実施の形態1に係る配筋検査装置の機能を実現するハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【0010】
実施の形態1.
図1は、実施の形態1に係る配筋検査装置1の構成例を示すブロック図である。
図1において、配筋検査装置1は、格子状に組まれた鉄筋からなる複数層の平面を有した配筋における、鉄筋の本数、隣り合う鉄筋の間隔、鉄筋の径または鉄筋の節の間隔の少なくとも一つを検査する装置である。また、配筋検査装置1は、タブレット端末、スマートフォンまたはノートタイプのパーソナルコンピュータ(PC)である。
図1に示すように、配筋検査装置1には、有線または無線でステレオカメラ2が接続されている。ステレオカメラ2が外付けされた装置に限らず、配筋検査装置1は、ステレオカメラ2を内蔵していてもよい。
【0011】
配筋検査において、検査者は、配筋検査装置1を携帯して検査対象の配筋の周辺を移動しながら、配筋検査装置1と接続されたステレオカメラ2によって配筋を撮影する。検査者とともに移動するステレオカメラ2は、複数の撮影角度で配筋を撮影できる。
なお、配筋の周辺を移動する移動体は、検査者に限らず、車両、無人飛行体等であってもよい。
【0012】
配筋検査装置1は、ステレオカメラ2を搭載する端末装置と通信可能なサーバが備える構成要素であってもよい。例えば、端末装置は、SaaS(Software as a Service)の形態で提供される配筋検査を行うことができる。SaaSの形態で配筋検査を行う場合、端末装置には、配筋検査用の情報処理アプリケーションがインストールされていなくてよい。配筋検査用の情報処理アプリケーションは上記サーバで実行されており、端末装置は、汎用のWebブラウザ上で計測結果情報が提供される。配筋検査用アプリケーションは、サーバが備える記憶部に記憶されている。
また、端末装置には、配筋検査用の情報処理アプリケーションがインストールされていてもよい。配筋検査用の情報処理アプリケーションがインストールされた端末装置では、当該アプリケーションが実行されることで、配筋検査が可能となる。
【0013】
ステレオカメラ2は、左撮影部および右撮影部を有した撮影装置である。左撮影部は、左側から見た左視点画像を撮影する。右撮影部は、右側から見た右視点画像を撮影する。ステレオカメラ2は、左視点画像および右視点画像から構成される撮影画像を出力する。
なお、ステレオカメラ2の撮影範囲における画素ごとのカメラ画角情報(H,V)は、ステレオ画像に含めて配筋検査装置1へ出力される。このカメラ画角情報(H,V)は、ステレオ画像を構成する画素一つ一つに対してその画素がカメラの画角のどの位置にあるかを示す画角情報であり、画素のxy座標に対応する水平方向(H)および垂直方向(V)の角度で表される情報である。
【0014】
配筋検査装置1は、少なくとも、演算部および記憶部を備えた装置である。演算部は、配筋検査装置1の全体動作を制御する。演算部は、三次元情報取得部11、平面特定部12、鉄筋検出部13、画像情報生成部14および計測部15を備える。演算部が、配筋検査用の情報処理アプリケーションを実行することによって、三次元情報取得部11、平面特定部12、鉄筋検出部13、画像情報生成部14および計測部15の各種の機能が実現される。
【0015】
記憶部は、配筋検査用の情報処理アプリケーションと、演算部の演算処理に用いられる情報を記憶する。記憶部は、配筋検査装置1として機能するコンピュータが備える記憶装置であり、HDD(Hard Disk Drive)もしくはSSD(Solid State Drive)等のストレージ、または、後述する
図9Bのメモリ104を含むものである。なお、記憶部は、配筋検査装置1がアクセス可能なものであればよく、配筋検査装置1の外部に設けられていてもよい。
【0016】
三次元情報取得部11は、ステレオカメラ2が撮影した配筋のステレオ画像から、配筋の三次元画像を生成する。例えば、配筋検査装置1を携帯した検査者が、検査対象の配筋の周辺を移動することで、ステレオカメラ2は、配筋を複数の撮影角度から予め定められたフレームレイト(例えば30fps)で連続して撮影する。三次元情報取得部11は、配筋の左視点画像および同配筋の右視点画像(フレーム画像)の時系列データである撮影画像をステレオカメラ2から順次入力する。そして、三次元情報取得部11は、左視点画像と右視点画像とをステレオマッチングすることで、検査領域の三次元画像である三次元情報を、撮影画像ごとに(フレーム画像ごとに)取得する。
【0017】
三次元情報取得部11は、撮影画像ごとに取得された三次元情報を用いて配筋の三次元情報を再構成する。例えば、撮影画像ごとに取得された三次元画像は、ステレオカメラ2の移動により異なる撮影角度から撮影されたものである。三次元情報取得部11は、予め定められた検査周期ごとに取得された複数の撮影画像のそれぞれに対応する三次元画像を入力し、検査周期の期間に取得された各三次元画像から、配筋を構成する鉄筋の特徴点(エッジ等)である三次元点を抽出して、これらの三次元画像において同一の三次元点がそれぞれの三次元画像においてどこに位置するのかを特定してもよい。このようにして、三次元情報取得部11は、検査期間ごとに、配筋の三次元点群が特定された三次元画像を再構成する。
【0018】
例えば、ある時刻の撮影点で撮影された配筋の三次元画像において、配筋の上層の鉄筋によって下層の鉄筋が隠れるオクルージョンが発生しても、異なる時刻の撮影点で撮影された配筋の三次元画像の中には、上層の同じ鉄筋によるオクルージョンが発生していないものが含まれる。そこで、三次元情報取得部11は、撮影画像ごとの三次元情報を用いて配筋の三次元情報を再構成することにより、配筋の各層の平面に組まれた鉄筋に対応する三次元点が特定された三次元情報を生成する。
【0019】
平面特定部12は、三次元画像を用いて、配筋が有する平面を特定する。例えば、平面特定部12は、再構成された三次元画像における複数の三次元点が含まれる複数の平面候補を設定し、平面候補との距離が閾値以下である三次元点の個数を算出する。平面特定部12は、複数の平面候補のうち、算出した三次元点の個数が最も多い平面候補を、最上層の平面として特定する。同様に、平面特定部12は、平面ごとに設定された閾値を用いて各層の平面を特定する。
【0020】
鉄筋検出部13は、平面特定部12によって特定された平面における鉄筋の位置を示す鉄筋検出情報およびステレオ画像の画素ごとの画角情報(H,V)を検出する。
例えば、鉄筋検出部13は、配筋のステレオ画像および三次元画像(デプス画像)を、格子状に組まれた鉄筋が互いに直交している正対画像に変換する。
例えば、鉄筋検出部13は、各層の平面に格子状に配筋された鉄筋による任意の格子の矩形の4隅の点を指定して、指定した4点の位置座標を用いて正対変換行列を推定する。鉄筋検出部13は、推定した正対変換行列に基づいて、ステレオ画像および三次元画像を正対画像に変換する。
【0021】
そして、鉄筋検出部13は、三次元画像の正対画像を用いて、複数層の平面のそれぞれにおける鉄筋の位置情報を検出する。例えば、鉄筋検出部13は、正対画像を二値化し、二値化された画像における鉄筋の画像部分以外がマスクされたマスク画像を生成して、鉄筋の画像部分の画素をカウントすることにより、正対画像における各層の平面に組まれた鉄筋の位置を検出し、鉄筋の位置を示す鉄筋検出情報を生成する。
また、鉄筋検出部13は、ステレオ画像から、画素ごとのカメラ画角情報(H,V)を抽出する。抽出されたカメラ画角情報(H,V)および鉄筋検出情報は、画像情報生成部14に出力され、鉄筋検出情報は、計測部15に出力される。
【0022】
画像情報生成部14は、鉄筋検出情報およびカメラ画角情報(H,V)に基づいて、ステレオ画像に画素単位で三次元画像が対応付けられ、ステレオ画像上に三次元画像が重畳して表示される画像情報を生成する。例えば、ステレオ画像は、SVG(Scalable Vector Graphic)ファイルとして記憶部4に保存されている。画像情報生成部14は、三次元画像をレイヤ画像に変換することによってステレオ画像のSVGファイルに紐付けた画像情報を生成し、生成した画像情報を記憶部4に保存する。
【0023】
例えば、ステレオ画像にはその撮影範囲の画素単位のカメラ画角情報(H,V)が含まれている。画像情報生成部14は、ステレオ画像における対象点のカメラ画角情報(H,V)を用いて、表示部3の表示画面における対象点の二次元座標(X,Y)を算出して、算出した二次元座標を、三次元画像(デプス画像)における対象点に対応する奥行き情報と組み合わせる。これら一連の処理が三次元画像のレイヤ化(重畳処理)である。
これにより、配筋検査装置1は、ステレオ画像上の配筋における鉄筋の実距離の視認性を向上させた画像を表示することができる。
また、画像情報生成部14によって生成される画像情報は、実質的に配筋が三次元復元されたものである。このため、当該画像情報では任意の二点間の距離計測も可能であり、ステレオ画像を改ざんすることなく、鉄筋の計測が可能な画像情報を提供できる。
【0024】
また、三次元画像であるデプス画像では、ステレオ画像における画素ごとの輝度情報が被写体までの距離情報となる。このため、画像情報生成部14は、例えば16ビット階調としてミリ単位でデプス画像における距離情報を、ステレオ画像に対応付けて記憶部4に保存する。
【0025】
計測部15は、画像情報生成部14が生成した画像情報を用いて、配筋が有する平面の鉄筋を計測する。上記画像情報では、ステレオ画像に画素単位で三次元画像の距離情報が対応付けられている。このため、画素ごとの距離情報を用いて、画像情報における任意の二点間の距離計測も可能である。例えば、計測部15は、画像情報を用いて、鉄筋径等の検査情報を計測してもよい。
【0026】
また、計測部15は、配筋の各層の平面の鉄筋を含む三次元画像、および、検出された鉄筋の位置を示す鉄筋検出情報を用いて、配筋が有する各平面の鉄筋を計測してもよい。
例えば、計測部15は、三次元画像を用いて配筋から検査対象の平面を特定し、正対画像に変換された撮影画像から検査対象の平面に組まれた鉄筋の画像を抽出し、抽出した鉄筋の画像を複数の部分画像に分割する。そして、計測部15は、これらの部分画像が入力されると、鉄筋径等を、鉄筋の検査情報として推論する学習モデルを用いて、鉄筋の検査情報を推論するものであってもよい。
【0027】
画像情報生成部14は、計測部15が鉄筋を計測した結果を示す電子黒板情報をさらに重畳した画像情報を生成してもよい。例えば、画像情報生成部14は、計測部15による鉄筋の計測情報を取得すると、取得した計測情報をテキストまたはグラフで表示する電子黒板情報を生成する。電子黒板情報は、ステレオ画像のSVGファイルに付加される。
これにより、配筋検査装置1は、電子黒板情報を重畳させた画像を表示することが可能である。
【0028】
図2は、配筋検査表示画面を構成する各レイヤを示す概要図であり、画像情報を構成する各レイヤの画像を示している。
図2において、ステレオ画像141は、格子状に組まれた鉄筋6からなる複数層の平面を有した配筋が撮影された現画像である。三次元画像(デプス画像)142は、当該配筋における三次元点群データからなる画像であり、各三次元点には、その三次元座標および撮影点(ステレオカメラ2の位置)からの距離情報が含まれる。画像143は、鉄筋検出情報を示す画像であり、例えば、配筋の最前面に組まれた横方向の鉄筋6の位置を示すマーカ151Aと、縦方向の鉄筋6の位置を示すマーカ151Bを含む画像である。画像144は、鉄筋6の計測情報を示す電子黒板情報151Cを含む画像である。
【0029】
図3は、配筋検査表示画面の例(1)を示す画面図である。画像情報生成部14は、
図2に示した、ステレオ画像141に画素単位で三次元画像142を対応付けて、ステレオ画像141上に三次元画像142を重畳し、さらに、画像143と画像144を順に重畳した画像情報145を生成する。この画像情報145を表示部3に表示したものが、
図3に示す画面である。画像情報145では、ステレオ画像に写る鉄筋6に対し、距離情報である三次元点群が重畳されている。画像情報145での三次元点群の濃淡(粗密ともいえる)を視認することによって、ステレオ画像上の鉄筋の実距離を認識することができる。このように配筋検査装置1が提供する画像情報145は、ステレオ画像上の配筋における鉄筋の実距離の視認性が向上されたものとなっている。
【0030】
また、画像情報生成部14は、平面ごとの鉄筋を区別して表示する三次元画像を生成し、生成した三次元画像がステレオ画像上に重畳した画像情報を生成してもよい。
これにより、配筋検査装置1は、ステレオ画像上の配筋におけるどの層の平面に組まれた鉄筋であるのかの視認性を向上させた画像を表示することができる。
鉄筋を区別して表示する態様としては、例えば、鉄筋を表す三次元点群に付与する色を変えるか、または、鉄筋の画像に重畳する線の種類を変えることが考えられる。
【0031】
例えば、画像情報生成部14は、平面ごとに鉄筋の色を変えた三次元画像を生成してもよい。これにより、配筋検査装置1は、平面ごとの鉄筋の色の違いにより、どの層の平面に組まれた鉄筋であるのかの視認性を向上させた画像を表示することができる。
図4は、配筋検査表示画面の例(2)を示す画面図である。
図4に示す画像146は、各層の平面に異なる色情報を付与した三次元画像を、同じ配筋を撮影したステレオ画像に重畳したものであり、画素単位でステレオ画像と三次元画像とが対応付けられている。
【0032】
画像情報生成部14は、三次元画像の各三次元点から、平面特定部12が特定した平面に属するものを特定し、平面ごとに異なる色情報を、鉄筋検出情報を用いて特定した平面における鉄筋に対応する三次元点群に付与する。これにより、平面ごとの鉄筋に異なる色情報が三次元点ごとに付与された擬似カラー三次元画像が生成される。
画像情報生成部14は、ステレオ画像に擬似カラー三次元画像を重畳した画像146を表示部3に表示する。画像146では、上層の平面に組まれた鉄筋6に対応する三次元点群111Aが青色で表示され、下層の平面に組まれた鉄筋6に対応する三次元点群111Aが赤色で表示されている。この画像146を参照することにより、平面ごとに鉄筋の色の違いから、どの層の平面に組まれた鉄筋6であるのかを認識することができる。
【0033】
画像情報生成部14は、平面ごとに鉄筋に重畳する線の種類を変えた三次元画像を生成してもよい。これにより、配筋検査装置1は、平面ごとの鉄筋に重畳した線の種類の違いにより、どの層の平面に組まれた鉄筋であるのかの視認性を向上させた画像を表示することができる。
図5は、配筋検査表示画面の例(3)を示す画面図である。
図5に示す画像147は、各層の平面に種類が異なる線情報を付与した三次元画像を、同じ配筋を撮影したステレオ画像に重畳したものであり、画素単位でステレオ画像と三次元画像とが対応付けられている。
【0034】
画像情報生成部14は、三次元画像の各三次元点から、平面特定部12が特定した平面に属するものを特定し、平面ごとに種類が異なる線情報を、鉄筋検出情報を用いて特定した平面における鉄筋に対応する三次元点群に付与する。これにより、平面ごとの鉄筋に種類が異なる線情報が付与された線付加三次元画像が生成される。
画像情報生成部14は、ステレオ画像に線付加三次元画像を重畳した画像147を表示部3に表示する。画像147では、上層の平面に組まれた鉄筋6に対応する三次元点群111Cに実線の画像が重畳表示され、下層の平面に組まれた鉄筋6に対応する三次元点群111Aに破線の画像が重畳表示されている。この画像147を参照することにより、平面ごとの線の種類の違いから、どの層の平面に組まれた鉄筋6であるのかを認識することができる。
【0035】
画像情報生成部14は、操作により指定された平面における鉄筋を、配筋における他の平面の鉄筋とは区別して表示する三次元画像を生成し、三次元画像をステレオ画像上に重畳した画像情報を生成してもよい。これにより、配筋検査装置1は、指定された平面に組まれた鉄筋の視認性を向上させた画像を表示することができる。
鉄筋を区別して表示する態様としては、例えば、鉄筋を表す三次元点群に付与する色を変えるか、または、鉄筋の画像に重畳する線の種類を変えることが考えられる。
【0036】
例えば、画像情報生成部14は、操作により指定された平面における鉄筋を、配筋における他の平面の鉄筋とは異なる色で表示する三次元画像を生成してもよい。これにより、配筋検査装置1は、鉄筋に付された色により、指定された平面に組まれた鉄筋の視認性を向上させた画像を表示することができる。例えば、画像情報生成部14は、
図3に示した画像情報145を表示部3に表示させた状態で、操作部5を用いて配筋のいずれかの平面を指定させるユーザインタフェースを提供する。操作部5を用いて平面が指定されると、その操作情報は、操作部5から画像情報生成部14に出力される。画像情報生成部14は、操作情報に基づいて指定された平面を特定する。
【0037】
図6は、配筋検査表示画面の例(4)を示す画面図である。画像情報生成部14は、三次元画像の各三次元点から、操作情報により指定された平面に属するものを特定し、この平面に固有に設定された色情報を、鉄筋検出情報を用いて特定した平面における鉄筋に対応する三次元点群に付与する。これにより、指定された平面の鉄筋に色情報が三次元点ごとに付与された擬似カラー三次元画像が生成される。
画像情報生成部14は、ステレオ画像に擬似カラー三次元画像を重畳した画像148を表示部3に表示する。画像148では、上層の平面が指定され、この平面に組まれた鉄筋6に対応する三次元点群111Aが青色で表示されている。この画像148を参照することにより、鉄筋の色で、指定した平面に組まれた鉄筋6を認識することが可能である。
【0038】
また、画像情報生成部14は、操作により指定された平面における鉄筋を、配筋における他の平面の鉄筋とは異なる種類の線を重畳して表示する三次元画像を生成してもよい。これにより、配筋検査装置1は、鉄筋に重畳された線の種類により、指定された平面に組まれた鉄筋の視認性を向上させた画像を表示することができる。例えば、画像情報生成部14は、
図3に示した画像情報145を表示部3に表示させた状態で、操作部5を用いて配筋のいずれかの平面を指定させるユーザインタフェースを提供する。操作部5を用いて平面が指定されると、その操作情報は、操作部5から画像情報生成部14に出力される。画像情報生成部14は、操作情報に基づいて指定された平面を特定する。
【0039】
図7は、配筋検査表示画面の例(5)を示す画面図である。画像情報生成部14は、三次元画像の各三次元点から、操作情報により指定された平面に属するものを特定し、この平面に固有に設定された種類の線情報を、鉄筋検出情報を用いて特定した平面における鉄筋に対応する三次元点群に付与する。これにより、指定された平面の鉄筋に線が重畳された線付加三次元画像が生成される。
画像情報生成部14は、ステレオ画像に線付加三次元画像を重畳した画像149を表示部3に表示する。画像149では、上層の平面が指定され、この平面に組まれた鉄筋6の画像に実線の画像が重畳表示されている。この画像149を参照することにより、鉄筋に重畳された線の種類で、指定した平面に組まれた鉄筋6を認識することが可能である。
【0040】
鉄筋を区別して表示する態様としては、鉄筋を表す三次元点群に付与する色を変えるか、または、鉄筋の画像に重畳する線の種類を変えることを示したが、これに限定されるものではない。ここでは、鉄筋を区別して表示することができればよく、例えば、鉄筋を表す三次元点群に付与する色を発光させたり、この発光を点滅させたりしてもよい。
【0041】
図8は、実施の形態1に係る配筋検査方法を示すフローチャートである。
三次元情報取得部11は、ステレオカメラ2が撮影した配筋のステレオ画像から、配筋の三次元画像を生成する(ステップST1)。平面特定部12は、三次元画像を用いて、配筋が有する平面を特定する(ステップST2)。鉄筋検出部13は、鉄筋検出情報およびカメラ画角情報(H,V)を検出する(ステップST3)。画像情報生成部14は、鉄筋検出情報および画角情報に基づいて、ステレオ画像に画素単位で三次元画像が対応付けられ、ステレオ画像上に三次元画像が重畳して表示される画像情報を生成する(ステップST4)。この方法を実行することで、配筋検査装置1は、ステレオ画像上の配筋における鉄筋の実距離の視認性を向上させた画像を表示することができる。
【0042】
次に、配筋検査装置1の機能を実現するハードウェア構成について説明する。
配筋検査装置1が備える、三次元情報取得部11、平面特定部12、鉄筋検出部13、画像情報生成部14および計測部15の機能は、処理回路によって実現される。
すなわち、配筋検査装置1は、
図8に示したステップST1からステップST4までの各処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するCPU(Central Processing Unit)であってもよい。
【0043】
図9Aは、配筋検査装置1の機能を実現するハードウェア構成を示すブロック図である。また、
図9Bは、配筋検査装置1の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。
図9Aおよび
図9Bにおいて、入力インタフェース100は、ステレオカメラ2から配筋検査装置1へ出力される画像情報を中継するインタフェースである。出力インタフェース101は、配筋検査装置1から後段の装置へ出力される配筋検査結果を中継するインタフェースである。
【0044】
処理回路が、
図9Aに示す専用のハードウェアの処理回路102である場合、処理回路102は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)または、これらを組み合わせたものが該当する。
配筋検査装置1が備える、三次元情報取得部11、平面特定部12、鉄筋検出部13、画像情報生成部14および計測部15の機能を、別々の処理回路が実現してもよく、これらの機能をまとめて一つの処理回路が実現してもよい。
【0045】
処理回路が、
図9Bに示すプロセッサ103である場合、配筋検査装置1が備える三次元情報取得部11、平面特定部12、鉄筋検出部13、画像情報生成部14および計測部15の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ104に記憶される。
【0046】
プロセッサ103は、メモリ104に記憶されたプログラムを読み出して実行することにより、配筋検査装置1が備える、三次元情報取得部11、平面特定部12、鉄筋検出部13、画像情報生成部14および計測部15の機能を実現する。
例えば、配筋検査装置1は、プロセッサ103により実行されるときに、
図8に示したステップST1からステップST4の処理が結果的に実行されるプログラムを記憶するためのメモリ104を備える。これらのプログラムは、三次元情報取得部11、平面特定部12、鉄筋検出部13、画像情報生成部14、および計測部15が行う処理の手順または方法を、コンピュータに実行させる。メモリ104は、コンピュータを、三次元情報取得部11、平面特定部12、鉄筋検出部13、画像情報生成部14および計測部15として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
【0047】
メモリ104は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically-EPROM)などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVDなどが該当する。
【0048】
配筋検査装置1が備える、三次元情報取得部11、平面特定部12、鉄筋検出部13、画像情報生成部14、および計測部15の機能の一部が専用のハードウェアで実現され、残りの一部がソフトウェアまたはファームウェアで実現されてもよい。
例えば、三次元情報取得部11は、専用のハードウェアである処理回路102によってその機能が実現され、平面特定部12、鉄筋検出部13、画像情報生成部14および計測部15は、プロセッサ103がメモリ104に記憶されたプログラムを読み出して実行することによりその機能が実現される。
このように、処理回路はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能を実現することができる。
【0049】
以上のように、実施の形態1に係る配筋検査装置1は、ステレオカメラ2が撮影した配筋のステレオ画像から、配筋の三次元画像を生成する三次元情報取得部11と、三次元画像を用いて、配筋が有する平面を特定する平面特定部12と、特定された平面における鉄筋の位置を示す鉄筋検出情報およびステレオ画像の画素ごとの画角情報を検出する鉄筋検出部13と、鉄筋検出情報および画角情報に基づいて、ステレオ画像に画素単位で三次元画像が対応付けられ、ステレオ画像上に三次元画像が重畳して表示される画像情報を生成する画像情報生成部14と、を備える。配筋検査装置1は、ステレオ画像に対応付けられた三次元画像とピクセル単位の画角情報とに基づいて、ステレオ画像の現画像データから配筋を三次元復元することにより、現画像データを改ざんすることなく後工程で配筋の鉄筋計測を行うことができる。
【0050】
実施の形態1に係る配筋検査装置1において、三次元画像および鉄筋検出情報を用いて配筋が有する各平面の鉄筋を計測する計測部15を備える。画像情報生成部14は、鉄筋を計測した結果を示す電子黒板情報をさらに重畳した画像情報を生成する。これにより、配筋検査装置1は、電子黒板情報を重畳させた画像を表示することが可能である。
【0051】
実施の形態1に係る配筋検査装置1において、画像情報生成部14は、平面ごとの鉄筋を区別して表示する三次元画像を生成し、生成した三次元画像がステレオ画像上に重畳した画像情報を生成する。これにより、配筋検査装置1は、ステレオ画像上の配筋におけるどの層の平面に組まれた鉄筋であるのかの視認性を向上させた画像を表示することができる。
【0052】
実施の形態1に係る配筋検査装置1において、画像情報生成部14は、平面ごとに鉄筋の色を変えた三次元画像を生成する。これにより、配筋検査装置1は、ステレオ画像上の配筋におけるどの層の平面に組まれた鉄筋であるのかの視認性を向上させた画像を表示することができる。
【0053】
実施の形態1に係る配筋検査装置1において、画像情報生成部14は、平面ごとに鉄筋に重畳する線の種類を変えた三次元画像を生成する。これにより、配筋検査装置1は、ステレオ画像上の配筋におけるどの層の平面に組まれた鉄筋であるのかの視認性を向上させた画像を表示することができる。
【0054】
実施の形態1に係る配筋検査装置1において、画像情報生成部14は、操作により指定された平面における鉄筋を、配筋における他の平面の鉄筋とは区別して表示する三次元画像を生成し、三次元画像をステレオ画像上に重畳した画像情報を生成する。これにより、配筋検査装置1は、操作により指定された平面に組まれた鉄筋であるのかの視認性を向上させた画像を表示することができる。
【0055】
実施の形態1に係る配筋検査装置1において、画像情報生成部14は、操作により指定された平面における鉄筋を、配筋における他の平面の鉄筋とは異なる色で表示する三次元画像を生成する。これにより、配筋検査装置1は、操作により指定された平面に組まれた鉄筋であるのかの視認性を向上させた画像を表示することができる。
【0056】
実施の形態1に係る配筋検査装置1において、画像情報生成部14は、操作により指定された平面における鉄筋を、配筋における他の平面の鉄筋とは異なる種類の線を重畳して表示する三次元画像を生成する。これにより、配筋検査装置1は、操作により指定された平面に組まれた鉄筋であるのかの視認性を向上させた画像を表示することができる。
【0057】
実施の形態1に係る配筋検査方法は、三次元情報取得部11が、ステレオカメラ2が撮影した配筋のステレオ画像から、配筋の三次元画像を生成するステップST1と、平面特定部12が、三次元画像を用いて配筋が有する平面を特定するステップST2と、鉄筋検出部13が、特定された平面における鉄筋の位置を示す鉄筋検出情報およびステレオ画像の画素ごとの画角情報を検出するステップST3と、画像情報生成部14が、鉄筋検出情報および画角情報に基づいて、ステレオ画像に画素単位で三次元画像が対応付けられ、ステレオ画像上に三次元画像が重畳して表示される画像情報を生成するステップST4と、を備える。この方法を実行することにより、配筋検査装置1は、ステレオ画像に対応付けられた三次元画像とピクセル単位の画角情報とに基づいて、ステレオ画像の現画像データから配筋を三次元復元することにより、現画像データを改ざんすることなく後工程で配筋の鉄筋計測を行うことができる。
【0058】
実施の形態1に係る配筋検査方法において、計測部15が、三次元画像を用いて配筋が有する平面の鉄筋を計測するステップST6を備え、画像情報生成部14が、鉄筋を計測した結果を示す電子黒板情報をさらに重畳した画像情報を生成する。この方法を実行することにより、配筋検査装置1は、電子黒板情報を重畳させた画像を表示することが可能である。
【0059】
実施の形態1に係るプログラムを実行するコンピュータは、ステレオカメラ2が撮影した配筋のステレオ画像から、配筋の三次元画像を生成する三次元情報取得部11と、三次元画像を用いて、配筋が有する平面を特定する平面特定部12と、特定された平面における鉄筋の位置を示す鉄筋検出情報およびステレオ画像の画素ごとの画角情報を検出する鉄筋検出部13と、鉄筋検出情報および画角情報に基づいて、ステレオ画像に画素単位で三次元画像が対応付けられ、ステレオ画像上に三次元画像が重畳して表示される画像情報を生成する画像情報生成部14と、を備えた、配筋検査装置1として機能する。
これにより、ステレオ画像に対応付けられた三次元画像とピクセル単位の画角情報とに基づいて、ステレオ画像の現画像データから配筋を三次元復元することにより、現画像データを改ざんすることなく後工程で配筋の鉄筋計測を行う配筋検査装置1を提供することができる。
【0060】
実施の形態1に係るプログラムを実行するコンピュータは、三次元画像を用いて配筋が有する平面の鉄筋を計測する計測部15を備え、画像情報生成部14が、鉄筋を計測した結果を示す電子黒板情報をさらに重畳した画像情報を生成する配筋検査装置1として機能する。これにより、電子黒板情報を重畳させた画像を表示する配筋検査装置1を提供することができる。
【0061】
なお、実施の形態の任意の構成要素の変形もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【0062】
1 配筋検査装置、2 ステレオカメラ、3 表示部、4 記憶部、5 操作部、6 鉄筋、11 三次元情報取得部、12 平面特定部、13 鉄筋検出部、14 画像情報生成部、15 計測部、100 入力インタフェース、101 出力インタフェース、102 処理回路、103 プロセッサ、104 メモリ、111A,111C 三次元点群、141 ステレオ画像、142 三次元画像、143,144,146,147,148,149 画像、145 画像情報、151A,151B マーカ、151C 電子黒板情報。