特開 2024-52436 配筋結果表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024052436

(43)【公開日】2024-04-11

(54)【発明の名称】配筋結果表示システム

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20240404BHJP

   G01C 15/00 20060101ALI20240404BHJP

   E04G 21/12 20060101ALI20240404BHJP

【ＦＩ】

G06Q50/08

G01C15/00 103A

E04G21/12 105Z

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2022159150

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】110004060

【氏名又は名称】弁理士法人あお葉国際特許事務所

(74)【代理人】

【識別番号】100139745

【弁理士】

【氏名又は名称】丹波 真也

(74)【代理人】

【識別番号】100168088

【弁理士】

【氏名又は名称】太田 悠

(74)【代理人】

【識別番号】100187182

【弁理士】

【氏名又は名称】川野 由希

(74)【代理人】

【識別番号】100207642

【弁理士】

【氏名又は名称】簾内 里子

(72)【発明者】

【氏名】菊池 武志

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC07

5L050CC07

(57)【要約】

【課題】 現場の作業員の配筋誤りの修正作業を容易とする配筋検査結果の表示を可能とする。
【解決手段】 配筋検査結果表示システムは、通信部44と、３次元座標計測部262とを備える測定器2と、ディスプレイ41を備えるアイウェア表示装置4、およびアイウェア表示装置の位置及び方向に関する情報の座標空間と、測定器の座標空間とを、共通の基準点を原点とする空間で管理するシステム制御部60、を備え、システム制御部で作成される画像をディスプレイ41に表示することにより、アイウェア表示装置4を装着して観察される現物に重ねて表示する配筋検査結果表示システムSあって、システム制御部は、位置および方向が既知の状態で取得された配筋検査範囲の３次元点群データに基づいて配筋検査範囲の現状の３次元モデルを生成し、配筋検査範囲についての配筋検査結果を、３次元モデルに関連付けて３次元検査結果表示データを生成して、ディスプレイに表示し、検査範囲における配筋誤りを認識可能に表示することを特徴とする
【選択図】図２

【特許請求の範囲】

【請求項1】

通信部と、３次元座標計測部とを備える測定器；
ディスプレイと、自位置を検出する相対位置センサと、自方向を検出する相対方向センサとを備えるアイウェア表示装置；および
前記アイウェア表示装置の位置及び方向に関する情報の座標空間と、前記測定器の座標空間とを、共通の基準点を原点とする空間で管理するシステム制御部；を備え、
前記システム制御部で作成される画像を前記ディスプレイに表示することにより、前記アイウェア表示装置を装着して観察される現物に重ねて表示する配筋検査結果表示システムあって、
前記システム制御部は、位置および方向が既知の状態で取得された配筋検査範囲の３次元点群データに基づいて配筋検査範囲の現状の３次元モデルを生成し、
配筋検査範囲についての配筋検査結果を、前記３次元モデルに関連付けて３次元検査結果表示データを生成して、前記ディスプレイに表示し、
前記配筋検査範囲における配筋誤りを認識可能に表示することを特徴とする配筋検査結果表示システム。

【請求項2】

前記システム制御部は、前記検査範囲における、３次元配筋設計データに基づいて、前記配筋誤りを修正するための修正支援データを生成し、
前記修正支援データに基づいて、前記配筋誤りを修正する作業を支援する修正支援画像を、前記ディスプレイに表示することを特徴とする請求項１に記載の配筋検査結果表示システム。

【請求項3】

前記システム制御部は、前記アイウェア表示装置の視野内の作業者の手を認識可能であり、
前記ディスプレイ内で、前記作業者が触れた鉄筋を認識可能に表示することを特徴とする請求項１に記載の配筋検査結果表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、配筋検査結果表示システムに関し、より詳細には、アイウェア表示装置を用いる配筋検査結果表示システムに関する。

【背景技術】

【0002】

鉄筋工事における配筋検査では、鉄筋の種類、本数、位置、間隔、継手方法などが設計どおりに正しく配置されているか否かを検査する。従来は、検査員が配筋図面と現場の配筋状態を照らし合わせて誤りがないかを点検し、デジタルカメラなどで撮影して記録する。

【0003】

近年では、撮影画像を用いて、鉄筋の本数、直径およびピッチ等の配筋情報を取得する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－２７０５８号公報

【特許文献2】特開２０２１－２１６２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１、特許文献２の配筋検査システムでの出力は、検査報告用の帳票を作成するためのデータの表示や、検査員が検査結果を確認するためにタブレット等への表示に係るものであった。配筋誤りを修正するための作業には、この帳票やタブレットの表示を確認しなければならず、作業員にとっては使い勝手の悪いものであった。このため、配筋検査結果を、配筋誤りを修正する現場の作業員が利用するために表示をすることができる技術の開発が望まれていた。

【0006】

本発明は、係る事情に鑑みてなされたものであり、現場の作業員の配筋誤りを修正する作業を容易にするような配筋検査結果の表示を可能とすることを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の第１の態様に係る配筋検査結果表示システムは、以下の構成を有する。
１．通信部と、３次元座標計測部とを備える測定器、ディスプレイと、自位置を検出する相対位置センサと、自方向を検出する相対方向センサとを備えるアイウェア表示装置、および、前記アイウェア表示装置の位置及び方向に関する情報の座標空間と、前記測定器の座標空間とを、共通の基準点を原点とする空間で管理するシステム制御部；を備え、前記システム制御部で作成される画像を前記ディスプレイに表示することにより、前記アイウェア表示装置を装着して観察される現物に重ねて表示する配筋検査結果表示システムあって、前記システム制御部は、位置および方向が既知の状態で取得された配筋検査範囲の３次元点群データに基づいて配筋検査範囲の現状の３次元モデルを生成し、配筋検査範囲についての配筋検査結果を、前記３次元モデルに関連付けて３次元検査結果表示データを生成して、前記ディスプレイに表示し、前記検査範囲における配筋誤りを認識可能に表示することを特徴とする。

【0008】

２．上記１の構成において、前記システム制御部は、前記検査範囲における、３次元配筋設計データに基づいて、前記配筋誤りを修正するための修正支援データを生成し、前記修正支援データに基づいて、前記配筋誤りを修正する作業を支援する修正支援画像を、前記ディスプレイに表示することも好ましい。

【0009】

３．上記１または２の構成において、前記システム制御部は、前記アイウェア表示装置の視野内の作業者の手を認識可能であり、前記ディスプレイ内で、前記作業者が触れた鉄筋を認識可能に表示することも好ましい。

【発明の効果】

【0010】

上記態様によれば、現場の作業員の配筋誤りを修正する作業を容易にするような配筋検査結果の表示が可能になる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施の形態に係る配筋検査結果表示システムを包含する配筋検査システムの外観概略図である。

【図2】同システムのブロック図である。

【図3】同システムを構成するスキャナのブロック図である。

【図4A】同システムを構成するアイウェア表示装置の外観斜視図である。

【図4B】同アイウェア表示装置のブロック図である。

【図5】上記システムを構成するデータ処理装置のブロック図である。

【図6】（Ａ）～（Ｃ）は、画像データ、点群データおよび点群合成画像の違いを説明する図である。

【図7】同データ処理装置の配筋状態検査部を説明する図である。

【図8】同データ処理装置の配筋状態識別モデルの生成方法を説明する図である。

【図9】上記システムを用いた配筋検査方法の概略のフロー図である。

【図10】同方法におけるデータ処理装置の処理のフロー図である。

【図11】同方法における配筋状態検査の処理の詳細のフロー図である。

【図12】同システムを用いた配筋検査結果表示データの生成の処理のフロー図である。

【図13】同システムによる配筋検査結果表示の例を示す図である。

【図14】同システムによる配筋検査結果表示の例を示す図である。

【図15】本実施の形態に係る配筋検査結果表示システムのブロック図である。

【図16】システムの変形例に係る配筋検査結果表示システムのブロック図である。

【図17】同システムに係るモーションキャプチャ装置を説明する図である。

【図18】同システムによる配筋検査結果表示の例を示す図である。

【図19】３次元点群データおよび、３次元配筋検査結果データを取得するための検査システムの別の例の外観概略図である。

【図20】同検査システムの構成ブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明の好適な実施の形態について、図面を参照して説明するが、本発明はこれに限定されるものではない。また、各実施の形態および変形例に共通する同一の構成には、同一の符号を付し、重複する説明は適宜省略する。

【0013】

Ｉ 実施の形態
１ 配筋検査システム１００（配筋検査結果表示システムＳ）の構成
図１は、本発明の実施の形態に係る配筋検査結果表示システム（以下、単に表示システムという。）Ｓが組み込まれた配筋検査システム（以下、単に検査システムという。）１００の使用状態の概要を示すブロック図である。検査システム１００は、少なくとも１つのスキャナ２と、カメラ５０を備えるアイウェア表示装置（以下、アイウェア装置という。）４と、データ処理装置６とを備える。スキャナ２、アイウェア装置４、およびデータ処理装置６は、無線で接続され、互いに情報の送受信が可能である。

【0014】

スキャナ２は、地上設置型の３次元レーザスキャナである。スキャナ２は、検査範囲である基礎工事の現場内の任意の点に設置される。器械設置点は、後方交会法等により既知とされる。スキャナ２は、三脚上に取り付けられた整準台を介して設置され、整準台の上に設けられた基盤部２αと、基盤部２α上を軸Ｈ周りに水平回転する托架部２βと、托架部２βの中央で鉛直回転する投光部２γとを有する。

【0015】

アイウェア装置４は、作業者の頭部に装着されるいわゆるヘッドマウンドディスプレイである。カメラ５０を用いて、検査範囲の配筋状態の画像を取得する。カメラ５０は１度の撮影で、カメラ５０の視野の範囲内の範囲（検査対象範囲という）の画像を取得する。また、ディスプレイ４１は、検査結果を、鉄筋の現物に重ねて表示することができる。

【0016】

データ処理装置６は、図示の例において、ラップトップコンピュータである。データ処理装置は、スキャナ２で取得した３次元点群データ（以下、単に点群データという。）、およびカメラ５０で取得した画像を用いて、配筋検査を実行する。以下、各構成要素の詳細について説明する。

【0017】

２．スキャナ
図３は、スキャナ２の構成ブロック図である。スキャナ２は、測距部２１、鉛直回転駆動部２２、鉛直角検出器２３、水平回転駆動部２４、水平角検出器２５、スキャナ制御部２６、表示部２７、操作部２８、記憶部２９、外部記憶装置３０、および通信部３１を備える。

【0018】

測距部２１は、送光部、受光部、送光光学系、送光光学系と光学素子を共有する受光光学系および回動ミラー２１αを備える。送光部は、半導体レーザ等の発光素子を備え、スキャン光として測距光であるパルス光を出射する。出射された測距光は、送光光学系を介して回動ミラー２１αに入射し、回動ミラー２１αによって偏向されて測定対象物に照射される。回動ミラー２１αは、鉛直回転駆動部２２により駆動されて軸Ｖ周りに回転する。

【0019】

測定対象物により再帰反射された反射光は、回動ミラー２１αおよび受光光学系を経て、受光部に入射する。受光部は、フォトダイオードなどの受光素子を備える。また、受光部には、測距光の一部が内部参照光として入射するようになっており、反射光および内部参照光に基づいて、スキャナ制御部により、照射点までの距離を求めるようになっている。

【0020】

鉛直回転駆動部２２と水平回転駆動部２４は、モータであり、スキャナ制御部に制御される。鉛直回転駆動部２２は回動ミラー２１αを鉛直方向に軸Ｖ周りに回転させる。水平回転駆動部２４は、托架部２βを水平方向に軸Ｈ周りに回転させる。

【0021】

鉛直角検出器２３と水平角検出器２５は、ロータリエンコーダである。鉛直角検出器２３は、回動ミラー２１αの鉛直方向の回転角を測定する。水平角検出器２５は、托架部２βの水平方向の回転角を測定する。これにより、測距光軸の鉛直角および水平角が検出される。

【0022】

スキャナ制御部２６は、少なくとも１つのプロセッサおよび少なくとも１つのメモリを含む。プロセッサは、例えば、ＣＰＵ（Central Processing Unit），ＭＰＵ(Micro Processing Unit)である。メモリは、例えば、ＳＲＡＭ（Static Random Access Memory），ＤＲＡＭ（Dynamic Random Access Memory）等である。プロセッサは、記憶部２９等に記憶されるデータおよびプログラムをメモリに読み出して、スキャナ２の機能を実現するための処理を実行する。

【0023】

本明細書において、プロセッサは、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ（(Application Specific Integrated Circuit)）を備えてもよい。すなわち、プロセッサは、コンピュータプログラム（ソフトウェア）に従って動作する少なくとも１つのプロセッサ、と各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路の組み合わせ、を含む回路（circuitry）として構成されていてもよい。

【0024】

スキャナ制御部２６は、送光部の発光タイミングと、受光部の受光タイミングの時間差（パルス光の往復時間）に基づき、測距光の１パルス光ごとに照射点までの距離を算出する。また、その時の測距光の照射角度を算出して、照射点の角度を算出する。

【0025】

また、スキャナ制御部２６は、機能部として、点群データ取得部２６１と３次元座標計測部２６２を備える。点群データ取得部２６１は、測距部２１、回動ミラー２１α、鉛直回転駆動部２２、および水平回転駆動部２４を制御して測距光を全周（３６０°）に走査（フルドームスキャン）して、各照射点の座標を取得して、全周の点群データを取得する。点群データ取得部２６１は、検査範囲の３次元点群データ（以下、３Ｄ点群データという。）７１を取得して、データ処理装置６に送る。３次元座標計測部２６２は、ターゲットの周辺を高密度に走査して、ターゲットを測距測角し、ターゲットの３次元座標を取得するターゲットスキャン機能を実現する。

【0026】

表示部２７は、例えば、液晶ディスプレイである。操作部２８は、電源キー、数字キー、小数点キー、＋/－キー、実行キー、カーソル移動キー等を有する。作業者は、操作部２８から、スキャナ２に対する操作指示や情報を入力できる。

【0027】

記憶部２９は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ等のコンピュータ読取可能な記憶媒体である。記憶部２９は、スキャナ制御部２６の機能を実行するためのプログラムを格納する。外部記憶装置３０は、例えばメモリカード等であり、スキャナ２が取得する種々のデータを記憶する。

【0028】

通信部３１は、ネットワークアダプタ、ネットワークインタフェースカード、ＬＡＮカード，Ｂｌｕｅｔｏｏｔｈ（登録商標）アダプタ等の通信制御装置であり、スキャナ２を、アイウェア装置４およびデータ処理装置６と有線または無線で接続する。スキャナ制御部２６は、通信部３１を介して、アイウェア装置４およびデータ処理装置６との間で情報を送受信することができる。

【0029】

３． アイウェア装置４
図４Ａは、アイウェア装置４の外観斜視図であり、図４Ｂは、アイウェア装置４の構成ブロック図である。アイウェア装置４は、ディスプレイ４１、カメラ５０および制御部４２を備える。制御部４２は、アイウェア制御部４３、アイウェア通信部４４、相対位置検出センサ４５、相対方向検出センサ４６、アイウェア記憶部４７、および操作スイッチ４８を備える。

【0030】

ディスプレイ４１は、作業者が装着した時に、作業者の両目を覆うゴーグルレンズ型の透過型ディスプレイである。一例として、ディスプレイ４１は、ハーフミラーによる光学シースルーのディスプレイであり、現場風景に、アイウェア制御部４３の受信した画像を重畳して表示するようになっている。

【0031】

あるいは、ディスプレイ４１は、ビデオシースルーのディスプレイであり、カメラ５０でリアルタイムに取得した正面風景画像にアイウェア制御部４３の受信した画像を重畳した画像を表示してもよい。また、投影方式としては、虚像投影方式でもよく、網膜投影方式であってもよい。

【0032】

カメラ５０は、レンズ、およびＣＣＤ（Charge-Coupled Device），ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを備えるデジタルカメラである。カメラ５０は、アイウェア装置４の前面中央に設けられ、アイウェア装置４の正面の画像をリアルタイムで撮影する。カメラ５０は、アイウェア装置４の視野の範囲を検査対象範囲として、検査対象範囲の画像データ７２を取得する。取得した画像データ７２はデータ処理装置６へ送られる。イメージセンサは、カメラ５０の撮像中心を原点とした直交座標系を有し、各画素のローカル座標は特定される。カメラ５０の撮像中心が、アイウェア装置４の中心であり、撮像光軸がアイウェア装置４の視線方向である。

【0033】

アイウェア通信部４４は、通信部３１と同じ通信制御装置である。アイウェア通信部４４は、は、アイウェア装置４を、有線または無線、好ましくは無線で接続する。アイウェア制御部４３は、アイウェア通信部４４を介して、スキャナ２およびデータ処理装置６と情報を送受信することができる。

【0034】

相対位置センサ４５は、観測現場に設置されたＧＮＳＳ（Ｇｌｏｂａｌ・Ｎａｖｉｇａｔｉｏｎ・Ｓａｔｅｌｌｉｔｅ・Ｓｙｓｔｅｍ）用アンテナ、Ｗｉ－Ｆｉ（登録商標）アクセスポイント、超音波発振器などから無線測位を行い、観測現場内でのアイウェア装置４の位置（自位置）を検出する。

【0035】

相対方向センサ４６は、三軸加速度センサまたはジャイロセンサと、傾斜センサとの組み合わせからなる。相対方向センサ４６は、上下方向をＺ軸方向、左右方向をＹ軸方向、前後方向をＸ軸方向として、アイウェア装置４の姿勢（自方向）を検出する。この結果、カメラ５０は位置および方向が既知の状態で、画像を取得可能となっている。

【0036】

アイウェア記憶部４７は、例えばメモリカード等のコンピュータ読取可能な記憶媒体である。アイウェア記憶部４７は、アイウェア制御部４３が機能を実行するためのプログラムを格納している。

【0037】

操作スイッチ４８は、例えば、テンプル部分に設けられた押しボタンである。操作スイッチ４８は、例えば、アイウェア装置４の電源をＯＮ／ＯＦＦするための電源ボタン４８αと、カメラ５０で静止画像を撮影するための撮影ボタン４８β，画像を切り替えるための画像切替ボタン４８γを備える。

【0038】

アイウェア制御部４３は、スキャナ２のスキャナ制御部２６と同様に、少なくとも１つのプロセッサ（例えば、ＣＰＵ）と少なくとも１つのメモリ（例えば、ＳＲＡＭ，ＤＲＡＭ等）を備える。プロセッサがアイウェア記憶部４７に記憶されたプログラムを読み出してメモリに展開することにより、アイウェア装置４の各種機能を実現する。

【0039】

アイウェア制御部４３は、相対位置センサ４５および相対方向センサ４６の検出したアイウェア装置４の位置および方向の情報をデータ処理装置６に出力する。また、データ処理装置６から受信したデータを、検査現場の風景に重ねてアイウェア装置４のディスプレイ４１に表示する。

【0040】

４． データ処理装置６
図５は、データ処理装置６の構成ブロック図である。データ処理装置６は、いわゆるコンピュータであり、典型的にはパーソナルコンピュータ、サーバコンピュータ等であるが、タブレット端末、スマートフォン等であってもよい。データ処理装置６の演算処理部６０が、特許請求の範囲におけるシステム制御部に対応する。システム制御部は、データ処理装置６の様に、１台のコンピュータであってもよいが、複数台のコンピュータが分散的に処理を行うコンピュータシステムであってもよい。この場合、１以上のコンピュータの処理資源の一部を論理的に利用するものであってもよい。システム制御部は、アイウェア装置４の一部として構成してもよく、スキャナ２の一部として構成してもよい。データ処理装置６の一部の処理をアイウェア装置４で行うように構成してもよく、一部の処理をスキャナ２で行うように構成してもよい。

【0041】

データ処理装置６は、少なくとも演算処理部６０、通信部６３，表示部６４，入力部６５、および記憶部６６を備える。

【0042】

通信部６３は、スキャナ２の通信部３１と同等の通信制御装置であり、データ処理装置６を、スキャナ２およびアイウェア装置４と無線で通信可能とする。演算処理部６０は、通信部６３を介して、スキャナ２およびアイウェア装置４と情報を送受信することができる。

【0043】

表示部６４は、例えば液晶ディスプレイである。入力部６５は、例えば、キーボード、マウス等であり、作業者からの種々の指令・選択・決定等を入力可能とする。

【0044】

演算処理部６０は、スキャナ２のスキャナ制御部２６と同様に、少なくとも１つのプロセッサ（例えば、ＣＰＵ,ＧＰＵ）、および少なくとも１つのメモリ（例えば、ＳＲＡＭ，ＤＲＡＭ等）を備える制御演算ユニットである。プロセッサが記憶部６６に記憶されたプログラムを読み出してメモリに展開することにより、データ処理装置６の各種機能、特に、下記の機能部の機能を実現する。

【0045】

演算処理部６０は、機能部として、同期計測部６０１，点群データ受付部６０２，配筋設計データ読出部６０３，画像データ受付部６０４，点群合成画像生成部６０５，配筋状態検査部６０６、および表示データ生成・出力部６０７を備える。

【0046】

同期計測部６０１は、スキャナ２、アイウェア装置４（カメラ５０）、データ処理装置６を同期する。同期とは、スキャナ２、アイウェア装置４（カメラ５０）の位置及び姿勢、およびデータ処理装置６で扱う設計データ等、位置座標を含む情報を共通の基準点を原点とする共通の座標空間で管理できるようにする作業である。以下に好適と考えられる一例を示すが、当業者の知識に基づいて適宜の手法で同期がとられればよい。

【0047】

まず、検査システム１００に対して、検査現場に、基準点と基準方向を設定し、スキャナ２とデータ処理装置６を同期する。基準点は、既知点（座標が既知の点）または現場の任意の点を選択する。基準点とは別の特徴点を選択し、基準点から該特徴点に向かう方向を基準方向とする。スキャナ２のターゲットスキャン機能を用いて、基準点および特徴点を含む後方交会法の観測により、スキャナ２の絶対座標を把握し、データ処理装置６に送信する。同期計測部６０１は、基準点の絶対座標を（ｘ，ｙ，ｚ）＝（０，０，０）と認識し、基準方向を水平角０°と認識する。これにより、データ処理装置６は、スキャナ２からの情報に関して、基準点を原点とする空間で、スキャナ２の相対位置および相対方向を管理可能となる。

【0048】

次に、アイウェア装置４とデータ処理装置６を同期する。アイウェア装置４を基準点に設置し、アイウェア装置４を水平にした状態で、アイウェア装置４の視線方向を基準方向に一致させ、相対位置センサ４５の（ｘ，ｙ，ｚ）を（０，０，０）、かつ、相対方向センサの（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）を（０，０，０）とする。これにより、データ処理装置６は、以後、アイウェア装置４(カメラ５０)からの情報について、基準点を原点とする空間で、アイウェア装置４(カメラ５０)の相対位置・相対方向を管理可能となる。

【0049】

点群データ受付部６０２は、スキャナ２でフルドームスキャンして取得される検査範囲全体の３次元点群データを通信部６３を介して受け付ける。

【0050】

配筋設計データ読出部６０３は、記憶部６６に格納された、後述する３Ｄ（３次元）配筋設計データ（以下配筋設計データ）７３を読み出す。

【0051】

画像データ受付部６０４は、カメラ５０で取得される画像データ７２を、通信部６３を介して受け付ける。

【0052】

点群合成画像生成部６０５は、３Ｄ点群データ７１に、画像データ７２を合成して、点群合成画像を生成する。図６は、画像データ（Ａ），点群データ（Ｂ），点群合成画像（Ｃ）のイメージを示す。画像データ７２は、色情報を含むデータであるが、影等が映りこむ場合もある。一方点群データは、影の影響は受けないが、色情報を含まない。点群データの各点は座標が特定されており、実寸がわかる。点群合成画像は、画像データの有する色情報と、点群データから把握される実寸の情報を含む。つまり、配筋状態を識別するために点群合成画像を用いることで、定規等の基準マーカを設置しなくても、寸法を特定することができる。

【0053】

配筋状態検査部６０６は、点群合成画像から配筋状態を検査し、３次元配筋検査結果データ（以下、３Ｄ配筋検査結果データまたは配筋検査結果データという。）７５を出力する。配筋状態検査部６０６の詳細については後述する。

【0054】

表示データ生成・出力部６０７は、配筋検査結果データに基づいて、アイウェア装置４のディスプレイ４１に表示する表示データを生成する。

【0055】

記憶部６６は、例えば、ＨＤＤ，ＳＳＤ（Solid State Drive）等である。記憶部６６には、上述した３Ｄ配筋設計データ（以下、配筋設計データともいう。）７３が記憶されている。また、記憶部６６には、演算処理部６０の各機能部がソフトウェアとして実現されている場合に、各機能を実行するためのプログラムを記憶されている。

【0056】

なお、配筋設計データ７３は、３ＤＣＡＤデータを用いて作成した、配筋詳細図である。配筋詳細図は、鉄筋コンクリ―ト部材の詳細な配筋状態を示す図である。配筋状態は、例えば、鉄筋の種類（材質および太さ）、鉄筋の間隔および本数、鉄筋被り量の不足を防止するためのスペーサの配置、主筋方向、鉄筋継手の種類、結束箇所の位置等を含む。配筋設計データ７３は、これらのうち少なくとも１つの情報を含む。

【0057】

配筋設計データ７３は、予め３Ｄ配筋設計データ生成装置７０で生成され、記憶部６６に格納されている。３Ｄ配筋設計データ生成装置７０は、データ処理装置６と同等の少なくとも１つのプロセッサと少なくとも１つのメモリとを含むコンピュータである。

【0058】

次に、配筋状態検査部６０６の詳細を、図７，８を参照して説明する、図７に示すように、配筋状態検査部６０６は、前処理部６１１と、配筋状態識別モデル６１２と、設計データ比較部６１３とを備える。

【0059】

前処理部６１１は、検査対象として入力された点群合成画像に対して、鉄筋の認識を容易にするための画像処理を行う。例えば、グレースケール変換、エッジや線分の抽出、輝度値の平均化等の処理等公知の画像処理を行う。また、これに加えて、点群合成画像を、所定の縮尺となるように画像を拡大または縮小してもよい。合成画像データは位置座標、すなわち実寸情報を含むデータであるため、定規などの基準マーカを同時に撮影しなくとも、所定の縮尺への拡大/縮小が可能である。

【0060】

配筋状態識別モデル６１２は、図８に示すように、例えば、多数の配筋状態を撮像、点群データ取得して作成した多数の学習用点群合成画像を学習して得られる学習済みモデルである。学習用点群合成画像は、それぞれの鉄筋の種類（材料、形状および太さ（径の寸法））、配筋間隔および本数、鉄筋被り量の不足を防止するためのスペーサの配置、主筋方向、鉄筋継手の種類、結束箇所の位置等についてラベルしたもの用いる。学習用データとしては、一般的な配筋方法における様々な配筋状態を撮像して、点群合成画像と同様に生成した多数の点群合成画像が用いられる。あわせて、画像データを用いてもよい。

【0061】

配筋状態識別モデル６１２は、検査範囲の点群合成画像を入力すると、検査範囲における、鉄筋の種類（材質および太さ）、配筋間隔および本数、鉄筋被り量の不足を防止するためのスペーサの配置、主筋方向、鉄筋継手の種類を識別し、これらの事象を位置と関連付けて出力する。学習は、データ処理装置６と同様に少なくとも１つのプロセッサおよびメモリを備えるコンピュータにより行われる。学習方法としては、例えば、畳み込みニューラルネットワーク(Convolutional Neural Networks: CNN)，回帰型ニューラルネットワーク(Recurrent Neural Network: RNN)，ボルツマンマシン等を用いたディープラーニングが利用される。

【0062】

なお、鉄筋の種類は、材料、形状および径の寸法によりＪＩＳ規格に従って、Ｄ３，Ｄ１３，Ｄ３８，ＳＲ２９５…等の様に呼称が定められている。鉄筋の種類のラベルにはこれらの呼称が用いられていてもよい。

【0063】

また、前処理において、点群合成画像の縮尺となるように拡大/縮小する場合には、学習に供する学習用データに、同じ所定の縮尺の画像データを用いれば、配筋状態識別の精度が高くなる。

【0064】

配筋状態識別モデル６１２に、検査範囲の点群合成画像を入力すると、例えば、図８の右下部に一例を示すように、検出された配筋状態情報、すなわち鉄筋の種類（材料、形状および太さ（径の寸法））、配筋間隔および本数、鉄筋被り量の不足を防止するためのスペーサの配置、主筋方向、鉄筋継手の種類、結束箇所の位置等の情報とその位置情報を含む配筋状態識別データ７４が出力される。

【0065】

設計データ比較部６１３は、点群合成画像を、配筋設計データ６６１と比較して、その差異（配筋誤り）とその位置を配筋検査結果データ７５として出力する。具体的には、鉄筋の種類、配筋間隔および本数、鉄筋被り量の不足を防止するためのスペーサの配置、主筋方向、鉄筋継手の種類、結束箇所の相違等を、検査範囲における位置情報と関連付けて出力する。

【0066】

５．配筋検査方法(配筋検査システム１００の処理)
次に、配筋検査方法について説明する。図９は、本形態に係る検査システム１００を用いた配筋検査方法の概略のフロー図である。

【0067】

ステップＳ０１では、スキャナ２を、既知点に設置して、フルドームスキャンを実行して、検査範囲（好ましくは全体）の点群データ７１を取得する。この検査範囲全体は、厳密に検査範囲全体を意味するのではなく、検査範囲の中で作業者が必要とする範囲でよい。取得した点群データ７１はデータ処理装置６に送られる。なお、可能であれば一度のフルドームスキャンで現場全体の点群データ７１を用いて取得してもよい。複数台のスキャナ２を用いて点群データ７１を取得してもよい。あるいは、設置点を変えて複数回のフルドームスキャンを行って点群データ７１を取得してもよい。

【0068】

次に、ステップＳ０２では、作業者が、カメラ５０により、検査範囲に設定された一部の範囲の画像（検査対象範囲）を撮影する。検査範囲に設定された一部の範囲とは、具体的には、カメラ５０の画角の範囲であり、作業者が検査のために撮影しようとする範囲である。取得された画像データ７２は、データ処理装置６に送られる。

【0069】

次に、ステップＳ０３で、データ処理装置６が、受け付けた３Ｄ点群データ７１および画像データ７２を、合成し、点群合成画像を生成する。

【0070】

次に、ステップＳ０４で、データ処理装置６が、点群合成画像を用いて配筋状態の検査を実行し、配筋検査結果データ７５を出力する。

【0071】

次に、ステップＳ０５で、データ処理装置６が、配筋検査結果データ７５に基づいて表示データを生成して、出力する。検査結果の出力は、アイウェア装置４のディスプレイ４１への表示でも、データ処理装置６の表示部６４への表示でも、あるいはデータ処理装置６からプリンタ等外部機器へ帳票として出力してもよい。

【0072】

６. 配筋検査方法（データ処理装置６の処理）
図１０は、上記配筋検査方法でのデータ処理装置６の処理のフロー図である。図１１はステップＳ１５の詳細なフロー図である。

【0073】

処理が開始すると、まず、ステップＳ１１で点群データ受付部６０２が、スキャナ２でから全周の点群データ７１を受け付けて、記憶部６６に記憶する。

【0074】

次に、ステップＳ１２で、配筋設計データ読出部６０３が、記憶部６６から配筋設計データ７３を読み出す。ステップＳ１１，Ｓ１２の順序はこれに限らず、配筋状態検査部６０６が検査を実施する際に読み出してもよい。

【0075】

次に、ステップＳ１３で、画像データ受付部６０４が、カメラ５０から、検査対象範囲の画像データ７２を受け付ける。

【0076】

次に、ステップＳ１４で、点群合成画像生成部６０５が、検査対象範囲の画像データ７２と、検査対象範囲に対応する点群データ７１とを合成し、点群合成画像を生成する。

【0077】

次に、ステップＳ１５で、配筋状態検査部６０６が、検査対象範囲の点群合成画像と対応する３Ｄ配筋設計データ７３とを比較して、検査対象範囲の配筋状態を検査する。

【0078】

具体的には、ステップＳ２１で、前処理部６１１が、検査対象として入力された点群合成画像に対して、鉄筋の認識を容易にするための画像処理を行う。

【0079】

次に、ステップＳ２２で、配筋状態識別モデル６１２に検査対象範囲の点群合成画像を入力し、検査対象範囲の配筋状態を識別して、配筋状態識別データ７４として出力する。

【0080】

次に、ステップＳ２３で、ステップＳ１２で読み出した３Ｄ配筋設計データ７３と、ステップＳ２２で出力した配筋状態識別データ７４を比較して、差異（配筋誤り）のある部分を特定し、その部分の位置と関連付けて、配筋検査結果データ７５として記憶部６６に記憶して、ステップＳ１５を終了する。この結果得られる配筋検査結果は、検査対象範囲毎に蓄積して、検査対象範囲を移動しながら検査現場全体を検査することで、検査現場全体についての３次元の配筋検査結果データ７５を取得することが可能である。

【0081】

次に、ステップＳ１６で、表示データ生成・出力部６０７がアイウェア装置４のディスプレイに表示する表示データを生成する。詳細は後述する。

【0082】

７． 表示データ生成の詳細
図１２は、表示データ生成・出力部６０７による詳細な処理のフロー図である。

【0083】

ステップＳ２１では、表示データ生成・出力部６０７は、スキャナ２から取得し、記憶部６６に記憶された現状の３Ｄ点群データ７１に基づいて、現状の３次元モデルを生成して、３Ｄ現状データとする。

【0084】

次に、ステップＳ２２で、表示データ生成・出力部６０７は、配筋状態検査部６０６で出力され、記憶部６６に記憶された配筋検査結果データ７５を、上記現状の３次元モデルと関連づけて、３Ｄ検査結果表示データを生成する。

【0085】

次に、ステップＳ２３で、表示データ生成・出力部６０７は、予め記憶部に記憶された３Ｄ配筋設計データ７３に基づいて、３Ｄ修正支援データを生成する。

【0086】

そして、ステップＳ２４で、表示データ生成・出力部６０７は、３Ｄ現状データ、３Ｄ検査結果表示データ、３Ｄ修正支援データを用いて、ディスプレイ４１の視野に対応する、表示画像を生成し、現物の上に重ねて、ディスプレイ４１に表示する。

【0087】

図１３，図１４は、このようにして生成される表示画像のイメージを表す図である。図中、破線は、ディスプレイ４１の視野内に見える、現物（鉄筋）を示し、実線は、表示データ生成・出力部６０７が生成した表示画像である。なお、実際には、表示画像は、現物に重ねて表示されるが、説明の都合上、若干ずらして描画している。

【0088】

図１３は、アイウェア装置４を装着する作業者が、壁面に対応する鉄筋に正対して、配筋状態を観察した場合の画像を示す。図１３（Ａ）は、現状の様子を表示する。３Ｄ現状データに基づいて生成された現状画像４１ａしたもので、現物に重なって表示されている。３Ｄ現状データは、必須ではないが、配筋状態識別モデル６１２による配筋状態の識別結果を含んでいてもよい。図１３（Ａ）ではそのような例として、鉄筋の種類（Ｄ１３，Ｄ３８），鉄筋の間隔が表示されている。

【0089】

図１３（Ｂ）は、３Ｄ検査結果表示データに基づいて作成される検査結果画像４１ｂを表示したものである。検査結果として、右端の鉄筋は、配筋誤りであり、３Ｄ現状データに加えて、図１３（Ｂ）では、右端の縦の鉄筋がＤ１３であることは誤りであることが分かるように、強調表示されている。具体的には、適正な配筋状態である鉄筋は、緑色等で配置され、誤りのある鉄筋は、赤色や黄色等の目立つ配色で表示されたり、点滅するようになっていてもよい。

【0090】

図１３（Ｃ）は、３Ｄ修正支援データに基づいて作成される修正支援画像４１ｃを表示したものである。修正支援画像４１ｃは、配筋誤りを修正する作業を支援するために、設計配筋データに基づく、適正な配筋状態を示す。図１３（Ｃ）では、右端の鉄筋は正しくはＤ３８であることを示し、その鉄筋を目立つように強調表示している。

【0091】

アイウェア装置４では、演算処理部６０またはアイウェア制御部４３の制御により、現状画像４１ａ、検査結果画像４１ｂ、修正支援画像４１ｃが切替可能となっていてもよい。この場合、例えば、作業者が画像切替ボタン４８γを押すことにより切り替えられるようになっていてもよい。

【0092】

図１４は、アイウェア装置４を装着する作業者が、床面に配置された鉄筋の配筋状態を斜め上から観察した場合の表示画像を示す。図１４（Ａ）は、現状の様子を表示する、３Ｄ現状データに基づいて生成された現状画像４１ａを表示したもので、現物に重なって表示されている。

【0093】

図１４（Ｂ）は、３Ｄ検査結果表示データに基づいて作成される検査結果画像４1ｂａを表示したものである。検査結果画像４1ｂは、検査結果として、中央の鉄筋の交差部分が垂れ下がり、被り不足となっていることを示すように、被り不足となっている部分を色を変えることなどにより、強調表示する。この時、必須ではないが、図１４（Ｂ）に示すように、配筋誤りの内容、すなわち「被り不足」であることがわかるように表示されるようになっていてもよい。

【0094】

図１４（Ｃ）は、３Ｄ修正支援データに基づいて作成される修正支援画像を表示したものである。図１４（Ｃ）では、修正支援画像４１ｃは、配筋誤りを修正する作業を支援するために、被り量が適正となるように、当該箇所にスペーサを設置することで、誤りが解消することを示している。

【0095】

このほか、検査結果画像４1ｂおよび修正支援画像４１ｃは、配筋間隔および本数の間違い、主筋方向の間違い、鉄筋継手の種類の間違い、結束箇所の位置の間違いおよびこれらの訂正方法および訂正後の配筋状態に関するものでよい。これらを全て表示するのではなく、一部を表示するようになっていてもよい。或いは、これらの配筋誤りの種類毎に、表示を切り替えられるようになっていてもよい。

【0096】

ここで、改めて、実施の形態に係る表示システムＳのブロック図を図１５に示す。表示システムＳは、スキャナ（測定器）２と、アイウェア装置４と、データ処理装置６を備える。スキャナ２は、アイウェア装置４とデータ処理装置６が取り扱う絶対座標系のデータを同期するための測定器として機能する。この観点から、配筋検査結果表示システムＳに係る測定器としてのスキャナ２は、スキャナ制御部２６に、３次元座標計測部２６２を備えていればよい。また、データ処理装置６は、アイウェア装置４およびスキャナ２と同期させるための同期計測部６０１と、表示データ生成・出力部６０７を備える。また、データ処理装置６は、検査範囲についての取得された３Ｄ点群データ、３Ｄ配筋設計データ７３と、配筋検査結果データ７５を備えていればよい。

【0097】

なお、測定器は、スキャナ２に限らず、測定対象物の３次元位置座標を取得可能な３次元座標計測部を備える測量機器であればよい。例えば、測距測角機能を有するトータルステーションでもよい。また、特開２０２１－７７１２７号公報に例示されるような、２つのカメラを備え、写真測量により測定対象物の３次元位置座標を取得可能なカメラであってもよい。

【0098】

また、３Ｄ点群データ７１、３Ｄ配筋設計データ７３と、３Ｄ配筋検査結果データ７５は、本実施の形態の様に、必ずしも表示システムＳを包含する検査システム１００により取得される様になっている必要はなく、別途取得されて予め記憶部に記憶されていてもよい。しかし、表示システムＳを包含する検査システム１００により取得されるようになっていれば、リアルタイムで検査結果を表示することができるので有利である。

【0099】

８．効果
このように、本実施の形態に係る表示システムＳによれば、作業者が頭部に装着するアイウェア表示装置４のディスプレイ４１上で、現物に重ねて配筋誤りの内容および位置を識別可能に表示する。この結果、作業者は、帳票やタブレットの表示と照らし合わせなくても、確認したい部分を見るだけで配筋誤り部分が確認できるため作業者の負担が低減する。

【0100】

また、配筋誤りの内容を把握できるように表示するため、修正のために必要な作業が容易に把握できる。

【0101】

特に、表示システムＳは、さらに、配筋誤りの修正のための支援として、正しい配筋状態を表示するため、作業者は、困難なく、正しい配筋状態となるように修正作業を行うことが可能である。

【0102】

また、本実施の形態に係る表示システムＳによれば、表示システムＳを検査システム１００に包含させ、配筋結果を表示するためのアイウェア表示装置４に、検査範囲の画像を取得するためのカメラ５０を設けたので、作業者はカメラ５０で確認したい検査範囲を撮像すれば、一連の処理で、ディスプレイ４１上で、現物に重ねて配筋誤りを確認できるので、便利である。

【0103】

９.変形例
図１６は、変形例に係る、表示システムＳＡのブロック図である。

【0104】

表示システムＳＡは、表示システムＳの構成に加えて、モーションキャプチャ装置５を備える。また、データ処理装置６Ａは、同期計測部６０１に代えて、同期計測部６０１Ａを備える。

【0105】

モーションキャプチャ装置５は、いわゆる磁気式のモーションキャプチャ装置である。モーションキャプチャ装置５は、データ処理装置６Ａとの通信を可能とする通信部５１と、作業者の手指に装着されるデバイスである複数の磁気式３次元位置姿勢センサ５２と、３次元位置姿勢センサ５２で検出された信号を作業者の動作情報として、時系列でデータ処理装置に出力する信号処理部５３とを備える。３次元位置姿勢センサ５２としては、例えば、特開２００７－２３６６０２号公報に開示された磁気式位置姿勢センサが好適である。

【0106】

モーションキャプチャ装置５は、複数の３次元位置姿勢センサ５２を柔軟性のあるグローブに配置したものであり、手指の繊細な動きを検出することが出来るようになっている。

【0107】

モーションキャプチャ装置５は、図１７（Ａ）に示すように、例えば人差し指の先端に位置するセンサ５２ａの中心を原点と仮定して、信号処理部５３の固定基準点から見たそれらの位置座標（ｘ，ｙ，ｚ）およびＸ軸、Ｙ軸、Ｚ軸周りの回転角から求められる姿勢を示すオイラー角の情報が得る。なお、Ｚ軸は、図１７（Ａ）における、ＸＹ平面の原点を通り、ＸＹ平面に直交する軸である。

【0108】

また、同期計測部６０１Ａは、同期計測部６０１の機能に加えて、モーションキャプチャ装置Ａから受信する位置・方向に関する情報を同期させたスキャナ２およびアイウェア装置４の座標空間と一致するように変換して管理する。モーションキャプチャ装置５の同期は、基準点にモーションキャプチャ装置５を装着した作業者の人差し指の先端を配置し、人差し指の先端をスキャナ２の基準方向に一致するように向けて、位置座標およびオイラー角を０とする。

【0109】

このようにすることで、モーションキャプチャ装置５を装着した作業者が手で触れた位置を、アイウェア装置４が、把握できるようになる。

【0110】

図１８は、表示システムＳＡによる、ディスプレイ４１への表示の例である。図１８（Ａ）～（Ｄ）は、図１８（Ａ）は、現状画像４１ａを示す。図１８（Ｂ）は、現状画像４１ａにおいて、モーションキャプチャ装置５を装着した手で右端の鉄筋をつかんだ状態の現状画像４１ａを示す。また、モーションキャプチャ装置５で触った鉄筋が強調表示されるようになっている。また、モーションキャプチャ装置５で触った鉄筋の配筋状態（図においては鉄筋の種類と間隔）が表示されるようになっている。

【0111】

図１８（Ｃ），（Ｄ）は、修正支援画像４１ｃを示す。図１８（Ｃ），（Ｄ）モーションキャプチャ装置５で触った鉄筋に対して、配筋誤りを修正する作業が表示されるようになっている。

【0112】

このようにすると、画像に表示される多数の鉄筋の中から、作業者が触った鉄筋を容易に認識し、また、その鉄筋についての配筋誤りの修正作業を容易に把握することができる。

【0113】

なお、本変形例では、手の認識にモーションキャプチャ装置を用いたが、これに限らず、画像処理により、肌色と形状から手を認識して、手で触った鉄筋を特定できるようにしてもよい。

【0114】

１０．検査システムの別の例
本実施の形態に係る表示システムに用いる３Ｄ点群データ７１、配筋検査結果データ７５は、必ずしも上記形態の検査システム１００により取得されたものでなくてもよい。３次元点群データは、検査範囲に位置および方向が既知の状態でレーザスキャナで取得されたものであればよく、配筋検査結果データ７５は、配筋検査結果が、３次元データとして得られたものが入手できればそれを用いることができる。例えば、検査システムとして下記の検査システム２００を用いて取得したものでよい。

【0115】

図１９は、第２の実施の形態に係る配筋検査システム２００の使用状態を示す外観図であり、図２０は、ブロック図である。

【0116】

システム２００は、スキャナ２、データ処理装置２０６，カメラ２５０を備える飛行装置８および測量機９を備える。スキャナ２、データ処理装置２０６、プリズムを備える飛行装置８および測量機９は、無線で接続され、互いに情報の送受信が可能である。スキャナ２は、実施の形態１に係るスキャナ２と同じものである。

【0117】

飛行装置８は、自律飛行可能なＵＡＶ（Unmanned Air Vehicle）である。飛行装置８は、本体８ａから放射状に延出する複数のプロペラ８ｂと、ターゲットとしてのプリズム８ｃと検査対象の画像データを撮影するカメラ２５０を備える。飛行装置８は、予め定められた飛行経路を飛行したり、遠隔操作により自由に飛行したりすることが可能である。飛行装置８は本体８ａ内に図示しないＩＭＵ装置とタイマを備える。ＩＭＵ（Inertial Measuring Unit）とカメラ２５０の位置関係は既知となっており、カメラ２５０の方向と姿勢がわかるようになっている。

【0118】

測量機９は、自動追尾機能を備えるモータドライブトータルステーションである。飛行装置８を検査範囲で飛行させつつ、カメラ２５０の撮影タイミングと、測量機の撮影タイミングを合わせて検査範囲の画像データを取得できるようになっている。

【0119】

データ処理装置２０６は、データ処理装置６と同等の構成を備え、スキャナ２で取得した３Ｄ点群データ７１と、カメラ２５０で取得した画像データを用いて、検査システム１００と同等の配筋検査結果データ７５を取得可能である、

【0120】

検査範囲全体の３次元点群データおよび画像データは、それぞれ、位置および方向が既知とされたスキャナおよび位置および方向が既知とされたカメラで取得されればよく、上記の例に限定されない。例えば、カメラは位置および方向（姿勢が）既知となるように設置された全方位カメラに代えてもよい。また、スキャナを地上設置型スキャナではなく、飛行装置に取り付けたものでもよい。

【0121】

以上、本発明の好ましい実施の形態について述べたが、上記の実施の形態は本発明の一例であり、これらを当業者の知識に基づいて組み合わせることが可能であり、そのような形態も本発明の範囲に含まれる。

【符号の説明】

【0122】

４ ：アイウェア表示装置
３１ ：通信部
４１ ：ディスプレイ
４１ａ ：現状画像
４１ｂ ：検査結果画像
４１ｃ ：修正支援画像
４４ ：通信部
４５ ：相対位置センサ
４６ ：相対方向センサ
５１ ：通信部
５２ａ ：センサ
６０ ：制御演算部
６３ ：通信部
７０ ：３次元配筋設計データ生成装置
７１ ：３次元点群データ
７３ ：配筋設計データ
２００ ：システム
２６２ ：３次元座標計測部
Ｓ ：配筋検査結果表示システム

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】