特開 2023-123026 締固め作業解析装置、解析方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023123026

(43)【公開日】2023-09-05

(54)【発明の名称】締固め作業解析装置、解析方法及びプログラム

(51)【国際特許分類】

   E04G 21/06 20060101AFI20230829BHJP

   G01B 11/00 20060101ALI20230829BHJP

   G06T 7/70 20170101ALI20230829BHJP

【ＦＩ】

E04G21/06 ESW

G01B11/00 H

G06T7/70 Z

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022026844

(22)【出願日】2022-02-24

(71)【出願人】

【識別番号】000166627

【氏名又は名称】五洋建設株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】王 涛

(72)【発明者】

【氏名】谷口 修

(72)【発明者】

【氏名】酒井 貴洋

【テーマコード（参考）】

2E172

2F065

5L096

【Ｆターム（参考）】

2E172AA05

2E172FA00

2F065AA01

2F065AA04

2F065AA25

2F065BB15

2F065BB27

2F065CC16

2F065DD03

2F065FF04

2F065JJ05

2F065JJ19

2F065JJ26

2F065MM02

2F065QQ29

5L096AA02

5L096AA06

5L096AA09

5L096BA02

5L096CA05

5L096DA02

5L096FA09

5L096FA15

5L096FA67

5L096FA69

5L096JA11

(57)【要約】

【課題】作業員によるコンクリートの締固め作業を従来よりも精度よく解析する。
【解決手段】本実施形態に係るシステム１においては、まず、作業者がバイブレータを持って締固め作業を行う様子を撮像装置１０ａ，１０ｂにより撮像し、締固め作業解析装置３０がその画像データ中の作業者及びバイブレータを画像解析する。次に、撮像装置１０ａ，１０ｂの撮像範囲における固有座標系（撮像装置座標系という）においてコンクリートに対する締固めが行われている位置（撮像装置座標値）を特定する。そして、その撮像装置座標値を、締固めが行われている３次元空間における絶対的な座標系（３次元絶対座標系という）における座標値（３次元絶対座標値）に変換し、この３次元絶対座標値に基づいて、コンクリートにおいて締固めが行われている位置を推定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業者がバイブレータを持ってコンクリートの締固め作業を行う空間が撮像された画像データを複数の撮像装置からそれぞれ取得する取得部と、
取得された複数の前記画像データから、前記作業者に相当する作業者画像オブジェクト、又は、前記バイブレータに相当するバイブレータ画像オブジェクトを抽出する抽出部と、
複数の前記画像データからそれぞれ抽出された前記作業者画像オブジェクト又は前記バイブレータ画像オブジェクトに対して、前記撮像装置が有する固有座標系である撮像装置座標系における撮像装置座標値を特定する特定部と、
特定された前記撮像装置座標値を、３次元絶対座標値に変換する変換部と、
変換された前記３次元絶対座標値に基づいて、前記コンクリートにおいて締固めが行われている箇所を推定する推定部と
を備える締固め作業解析装置。

【請求項2】

前記抽出部は、
前記バイブレータの先端に設けられた振動体に相当する振動体画像オブジェクト、又は、前記バイブレータから伸びたコードに設けられたマーカに相当するマーカ画像オブジェクトの少なくともいずれか一方を、前記バイブレータ画像オブジェクトとして抽出し、
前記作業者の手に相当する手画像オブジェクトを、前記作業者画像オブジェクトとして抽出する
請求項１に記載の締固め作業解析装置。

【請求項3】

前記抽出部は、
前記手画像オブジェクトの抽出において、骨格推定を用いて前記作業者の両手のうち前記振動体及び／又は前記コードを把持していると判断した手の画像を手画像オブジェクトとして抽出する、
請求項２に記載の締固め作業解析装置。

【請求項4】

前記マーカは、前記コードの延長方向に所定の間隔をおいて前後で異なる配色となるように、単色又は複数の単色の組み合わせで構成されている
請求項２又は３に記載の締固め作業解析装置。

【請求項5】

前記推定部は、前記振動体画像オブジェクト、前記マーカ画像オブジェクト、及び、前記手画像オブジェクトのうち、前記振動体に最も近い位置にある画像オブジェクトの３次元絶対座標値を優先して用いることによって、締固めが行われている箇所を推定する
請求項３に記載の締固め作業解析装置。

【請求項6】

前記特定部は、各々の前記撮像装置の焦点距離、及び、各々の前記撮像装置の撮像素子における平面座標値に基づいて、複数の前記画像データからそれぞれ抽出された前記作業者画像オブジェクト又は前記バイブレータ画像オブジェクトに対して、前記撮像装置座標値を特定する
請求項１～５のいずれか１項に記載の締固め作業解析装置。

【請求項7】

前記抽出部は、前記画像データから同時に作業をしている複数の前記作業者に相当する複数の前記作業者画像オブジェクト、及び、複数の前記バイブレータに相当する複数の前記バイブレータ画像オブジェクトを抽出し、
前記推定部は、前記コンクリートにおいて同時に締固めが行われている複数の箇所を推定する
請求項１～６のいずれか１項に記載の締固め作業解析装置。

【請求項8】

作業者がバイブレータを持ってコンクリートの締固め作業を行う空間が撮像された画像データを複数の撮像装置からそれぞれ取得するステップと、
取得された複数の前記画像データから、前記作業者に相当する作業者画像オブジェクト、又は、前記バイブレータに相当するバイブレータ画像オブジェクトを抽出するステップと、
複数の前記画像データからそれぞれ抽出された前記作業者画像オブジェクト又は前記バイブレータ画像オブジェクトに対して、前記撮像装置が有する固有座標系である撮像装置座標系における撮像装置座標値を特定するステップと、
特定された前記撮像装置座標値を、３次元絶対座標値に変換するステップと、
変換された前記３次元絶対座標値に基づいて、前記コンクリートにおいて締固めが行われている箇所を推定するステップと
を備える締固め作業解析方法。

【請求項9】

コンピュータに、
作業者がバイブレータを持ってコンクリートの締固め作業を行う空間が撮像された画像データを複数の撮像装置からそれぞれ取得するステップと、
取得された複数の前記画像データから、前記作業者に相当する作業者画像オブジェクト、又は、前記バイブレータに相当するバイブレータ画像オブジェクトを抽出するステップと、
複数の前記画像データからそれぞれ抽出された前記作業者画像オブジェクト又は前記バイブレータ画像オブジェクトに対して、前記撮像装置が有する固有座標系である撮像装置座標系における撮像装置座標値を特定するステップと、
特定された前記撮像装置座標値を、３次元絶対座標値に変換するステップと、
変換された前記３次元絶対座標値に基づいて、前記コンクリートにおいて締固めが行われている箇所を推定するステップと
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業員による打設されたコンクリートの締固め作業を解析するための技術に関する。

【背景技術】

【0002】

型枠内に打設されたコンクリートに振動を与えてコンクリートをいきわたらせ、型枠内に空隙が生じ無いようにする作業を、締固めという。例えば特許文献１には、締固めを行うためのバイブレータ２の振動部２１に認識体ｉ１～ｉ３を取り付けておき、締固め作業の撮像画像から認識体ｉ１～ｉ３の３次元座標値を求め、さらに、コンクリート表面の座標値とバイブレータ２の先端Ｆの座標値との関係に基づいてバイブレータ２の挿入深さや挿入期間を算出することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６７８１４３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、作業員による締固め作業によってコンクリートが締固めされた位置を精度よく推定することを目的とする。

【課題を解決するための手段】

【0005】

上記課題を解決するため、本発明は、作業者がバイブレータを持ってコンクリートの締固め作業を行う空間が撮像された画像データを複数の撮像装置からそれぞれ取得する取得部と、取得された複数の前記画像データから、前記作業者に相当する作業者画像オブジェクト、又は、前記バイブレータに相当するバイブレータ画像オブジェクトを抽出する抽出部と、複数の前記画像データからそれぞれ抽出された前記作業者画像オブジェクト又は前記バイブレータ画像オブジェクトに対して、前記撮像装置が有する固有座標系である撮像装置座標系における撮像装置座標値を特定する特定部と、特定された前記撮像装置座標値を、３次元絶対座標値に変換する変換部と、変換された前記３次元絶対座標値に基づいて、前記コンクリートにおいて締固めが行われている箇所を推定する推定部とを備える締固め作業解析装置である。

【0006】

前記抽出部は、前記バイブレータの先端に設けられた振動体に相当する振動体画像オブジェクト、又は、前記バイブレータから伸びたコードに設けられたマーカに相当するマーカ画像オブジェクトの少なくともいずれか一方を、前記バイブレータ画像オブジェクトとして抽出し、前記作業者の手に相当する手画像オブジェクトを、前記作業者画像オブジェクトとして抽出するようにしてもよい。

【0007】

前記抽出部は、前記手画像オブジェクトの抽出において、骨格推定を用いて前記作業者の両手のうち前記振動体及び／又は前記コードを把持していると判断した手の画像を手画像オブジェクトとして抽出するようにしてもよい。

【0008】

前記マーカは、前記コードの延長方向に所定の間隔をおいて前後で異なる配色となるように、単色又は複数の単色の組み合わせで構成されてもよい。

【0009】

前記推定部は、前記振動体画像オブジェクト、前記マーカ画像オブジェクト、及び、前記手画像オブジェクトのうち、前記振動体に最も近い位置にある画像オブジェクトの３次元絶対座標値を優先して用いることによって、締固めが行われている箇所を推定するようにしてもよい。

【0010】

前記特定部は、各々の前記撮像装置の焦点距離、及び、各々の前記撮像装置の撮像素子における平面座標値に基づいて、複数の前記画像データからそれぞれ抽出された前記作業者画像オブジェクト又は前記バイブレータ画像オブジェクトに対して、前記撮像装置座標値を特定するようにしてもよい。

【0011】

前記抽出部は、前記画像データから同時に作業をしている複数の前記作業者に相当する複数の前記作業者画像オブジェクト、及び、複数の前記バイブレータに相当する複数の前記バイブレータ画像オブジェクトを抽出し、前記推定部は、前記コンクリートにおいて同時に締固めが行われている複数の箇所を推定するようにしてもよい。

【0012】

また、本発明は、作業者がバイブレータを持ってコンクリートの締固め作業を行う空間が撮像された画像データを複数の撮像装置からそれぞれ取得するステップと、取得された複数の前記画像データから、前記作業者に相当する作業者画像オブジェクト、又は、前記バイブレータに相当するバイブレータ画像オブジェクトを抽出するステップと、複数の前記画像データからそれぞれ抽出された前記作業者画像オブジェクト又は前記バイブレータ画像オブジェクトに対して、前記撮像装置が有する固有座標系である撮像装置座標系における撮像装置座標値を特定するステップと、特定された前記撮像装置座標値を、３次元絶対座標値に変換するステップと、変換された前記３次元絶対座標値に基づいて、前記コンクリートにおいて締固めが行われている箇所を推定するステップとを備える締固め作業解析方法である。

【0013】

また、本発明は、コンピュータに、作業者がバイブレータを持ってコンクリートの締固め作業を行う空間が撮像された画像データを複数の撮像装置からそれぞれ取得するステップと、取得された複数の前記画像データから、前記作業者に相当する作業者画像オブジェクト、又は、前記バイブレータに相当するバイブレータ画像オブジェクトを抽出するステップと、複数の前記画像データからそれぞれ抽出された前記作業者画像オブジェクト又は前記バイブレータ画像オブジェクトに対して、前記撮像装置が有する固有座標系である撮像装置座標系における撮像装置座標値を特定するステップと、特定された前記撮像装置座標値を、３次元絶対座標値に変換するステップと、変換された前記３次元絶対座標値に基づいて、前記コンクリートにおいて締固めが行われている箇所を推定するステップとを実行させるためのプログラムである。

【発明の効果】

【0014】

本発明によれば、作業員による締固め作業によってコンクリートが締固めされた位置を精度よく推定することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係るシステム全体の構成の一例を示すブロック図。

【図2】同実施形態に係る締固め作業解析装置のハードウェア構成の一例を示すブロック図。

【図3】締固め作業解析装置の機能構成の一例を示すブロック図。

【図4】作業者に対する骨格推定を例示する図。

【図5】バイブレータに対する骨格推定を例示する図。

【図6】バイブレータのコードに設けられる各マーカの配色を例示する図。

【図7】複数の撮像装置と、各撮像装置の撮像時の方向角とを例示する図。

【図8】近似三角形を用いた撮像装置座標値を推定する原理を例示する図。

【図9】複数の撮像装置座標系と、３次元絶対座標系との関係を例示する図。

【図10】撮像装置座標値を３次元絶対座標値に変換する数式を示す図。

【図11】締固め作業解析装置の動作を示すフローチャート。

【発明を実施するための形態】

【0016】

本発明を実施するための形態の一例について説明する。
［構成］
図１は、本発明の実施形態に係るシステム１の全体構成の一例を示すブロック図である。図１に示すように、このシステム１は、複数の撮像装置１０ａ，１０ｂと、無線通信網又は有線通信網を含むネットワーク２０と、締固め作業解析装置３０とを備える。撮像装置１０ａ，１０ｂはコンクリートの打設が行われる現場に設置され、有線又は無線でネットワーク２０に接続されている。図１では、コンクリートの打設現場に設置される複数の撮像装置として、２つの撮像装置１０ａ、１０ｂを例示しているが、これらは３以上であってもよい。

【0017】

作業員は、型枠に打設されたコンクリートに対して所定の距離間隔で所定の期間にわたってバイブレータを挿入し、コンクリートに適度な振動を与えることで、コンクリートの締固めを行う。これにより、型枠内でコンクリートが充填されていない空隙が無くなり、コンクリート構造物の品質が良好となる。なお、本実施形態において、バイブレータとは、振動体と、その振動体から延びるコードとを総称した装置のことである。

【0018】

本実施形態に係るシステム１においては、まず、作業者がバイブレータを持って締固め作業を行う様子を撮像装置１０ａ，１０ｂにより撮像し、締固め作業解析装置３０がその画像データ中の作業者及びバイブレータを画像解析する。次に、撮像装置１０ａ，１０ｂの撮像範囲における各撮像装置が有する固有の座標系である撮像装置座標系においてコンクリートに対する締固めが行われている位置（撮像装置座標値）を特定する。そして、その撮像装置座標値を、締固めが行われている３次元空間における絶対的な座標系（３次元絶対座標系という）における座標値（３次元絶対座標値）に変換し、この３次元絶対座標値に基づいて、コンクリートにおいて締固めが行われている箇所を推定する。

【0019】

図２は、締固め作業解析装置３０のハードウェア構成を示す図である。締固め作業解析装置３０は、物理的には、プロセッサ３００１、メモリ３００２、ストレージ３００３、通信装置３００４、入力装置３００５、出力装置３００６及びこれらを接続するバスなどを含むコンピュータ装置として構成されている。これらの各装置は図示せぬ電源から供給される電力によって動作する。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。締固め作業解析装置３０のハードウェア構成は、図２に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0020】

締固め作業解析装置３０における各機能は、プロセッサ３００１、メモリ３００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ３００１が演算を行い、通信装置３００４による通信を制御したり、他の装置から送信されてきたデータを取得したり、メモリ３００２及びストレージ３００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

【0021】

プロセッサ３００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ３００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。

【0022】

プロセッサ３００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ３００３及び通信装置３００４の少なくとも一方からメモリ３００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。締固め作業解析装置３０の機能ブロックは、メモリ３００２に格納され、プロセッサ３００１において動作する制御プログラムによって実現されてもよい。各種の処理は、１つのプロセッサ３００１によって実行されてもよいが、２以上のプロセッサ３００１により同時又は逐次に実行されてもよい。プロセッサ３００１は、１以上のチップによって実装されてもよい。なお、プログラムは、クラウド上の他の装置から電気通信回線を介して締固め作業解析装置３０に送信されてもメモリ３００２やストレージ３００３にインストールされてもよい。

【0023】

メモリ３００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ３００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ３００２は、本実施形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0024】

ストレージ３００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、ソリッドステートドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ３００３は、補助記憶装置と呼ばれてもよい。

【0025】

通信装置３００４は、有線又は無線の少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、撮像装置１０ａ，１０ｂとネットワーク２０経由で通信を行う。また、締固め作業解析装置３０と別個に携帯端末等を出力装置３００６として用いるときにも、コンピュータと出力装置３００６との間の通信をネットワーク２０経由で行う。

【0026】

入力装置３００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタンなど）である。出力装置３００６は、外部への出力を実施する出力デバイス（例えば、携帯端末、スマートグラス、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置３００５及び出力装置３００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0027】

締固め作業解析装置３０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ３００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0028】

図３は、締固め作業解析装置３０の機能構成の一例を示す図である。締固め作業解析装置３０によって実現される各機能は、プロセッサ３００１、メモリ３００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ３００１が演算を行い、通信装置３００４による通信を制御したり、メモリ３００２及びストレージ３００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

【0029】

図３において、取得部３１は、締固め作業解析装置３０の外部から各種のデータを取得する。例えば取得部３１は、撮像装置１０ａ，１０ｂからネットワーク２０経由で、その撮像装置１０ａ，１０ｂによって撮像された複数の画像、例えば作業者とバイブレータと作業者がバイブレータを持ってコンクリートの締固め作業を行う空間とが撮像された画像を表す画像データを取得する。この画像データは、例えば時間的に連続した動画データであってもよいし、タイムプラス機能により所定の時間間隔（例えば１秒）で撮像された静止画データの集合であってもよい。

【0030】

抽出部３２は、上記画像データに対して例えばパターンマッチング等の形状認識アルゴリズムを用いることで、作業者に相当する画像オブジェクト（以下、作業者画像オブジェクトという）、及び、バイブレータに相当する画像オブジェクト（以下、バイブレータ画像オブジェクトという）を抽出する。さらに、抽出部３２はこの作業者画像オブジェクト及びバイブレータ画像オブジェクトを解析する。具体的には、抽出部３２は、作業者画像オブジェクト及びバイブレータ画像オブジェクトに対する骨格推定を行って、作業者画像オブジェクト及びバイブレータ画像オブジェクトの位置、姿勢又は動きを解析する。骨格推定とは、図４に例示するように、人体Ｈの関節や顔を構成するパーツ（目、鼻、耳など）などの複数の部位ｓの位置を認識し、それら部位ｓの位置関係から人体Ｈの骨格を推定する技術である。人体に対する骨格推定は、人体にいわゆるマーカを設けていない状態（マーカレス）で実現可能である。これにより、抽出部３２は、例えば作業者の手に相当する手画像オブジェクトを、作業者画像オブジェクトとして抽出することが可能となる。具体的には、抽出部３２は、骨格推定を用いて作業者の両手のうち振動体及び／又はコードを把持していると判断した手の画像を手画像オブジェクトとして抽出する。

【0031】

一方、バイブレータに対して骨格推定を適用する場合には、図５に例示するように、例えば色別の複数のマーカｍをバイブレータＶＲの各部位に取り付ける。抽出部３２は、バイブレータＶＲに取り付けられた各マーカｍの位置を認識することで、バイブレータＶＲの先端に設けられた振動体Ｖ及びその振動体Ｖから伸びたコードＣの位置、姿勢又は動きを推定することが可能である。

【0032】

ここで、図６は、バイブレータＶＲに設けられる複数のマーカｍの配色を例示する図である。図６に例示するように、コードＣの先端部に設けられた振動体Ｖの根元から距離５０ｃｍごとに異なる色となるようなマーカｍが設けられる。コードＣの先端からの距離０ｃｍの位置に設けられる赤色のマーカは、例えば赤色のテープをコードの周囲に貼ることで実現される。また、コードＣの先端からの距離３００ｃｍの位置に設けられる赤色及び黄色のマーカｍは、例えば赤色のテープと黄色のテープとを近接させた状態でコードの周囲に貼ることで実現される。つまり、これらのマーカｍは、コードＣの延長方向に所定の間隔をおいて前後で異なる配色となるように、単色又は複数の単色の組み合わせで構成されている。抽出部３２は、このようなマーカｍを画像認識することで、バイブレータＶＲの先端に設けられた振動体Ｖに相当する振動体画像オブジェクト、又は、振動体Ｖから延びたコードＣに付けられたマーカｍに相当するマーカ画像オブジェクトの少なくともいずれか一方を、バイブレータ画像オブジェクトとして抽出することができる。

【0033】

特定部３３は、複数の画像データからそれぞれ抽出された作業者画像オブジェクト、又はバイブレータ画像オブジェクトについて、撮像装置１０ａ，１０ｂの撮像装置座標系に基づく撮像装置座標値をそれぞれ特定する。例えば、図７に例示するような構成において、特定部３３は、方向角θａの撮像で撮像装置１０ａから取得した画像データから抽出された作業者画像オブジェクト又はバイブレータ画像オブジェクトについて、その撮像装置１０ａの固有座標系である（１０ａ）撮像装置座標系における撮像装置座標値を特定する。同様に、特定部３３は、方向角θｂの撮像で撮像装置１０ｂから取得した画像データから抽出された作業者画像オブジェクト、又はバイブレータ画像オブジェクトについて、その撮像装置１０ｂの固有座標系である（１０ｂ）撮像装置座標系における撮像装置座標値を特定する。

【0034】

各撮像装置１０ａ，１０ｂの各固有座標系である（１０ａ）撮像装置座標系・（１０ｂ）撮像装置座標系における撮像装置座標値は、次のようにして特定される。特定部３３は、図８に示すように、各々の撮像装置１０ａ，１０ｂの焦点距離ｆ＝ｚ、及び各々の撮像装置１０ａ，１０ｂの撮像素子における平面座標系（ｘｙ座標系）における平面座標値（ｘ，ｙ）に基づいて、各々の画像データからそれぞれ抽出された作業者画像オブジェクト又はバイブレータ画像オブジェクトについて、撮像装置１０ａ，１０ｂの各固有座標系である（１０ａ）撮像装置座標系・（１０ｂ）撮像装置座標系のＸＹＺ座標における撮像装置座標値（Ｘ，Ｙ，Ｚ）をそれぞれ特定する。

【0035】

これにより、図９に示すように、撮像装置１０ｂから取得された画像データに含まれる作業者画像オブジェクト又はバイブレータ画像オブジェクトＰについて、その撮像装置１０ｂの撮像装置座標系ＬＣ１における撮像装置座標値（Ｘ，Ｙ，Ｚ）が特定されるとともに、撮像装置１０ａから取得された画像データに含まれる作業者画像オブジェクト又はバイブレータ画像オブジェクトＰについて、その撮像装置１０ａの撮像装置座標系ＬＣ２における撮像装置座標値（Ｘ，Ｙ，Ｚ）が特定される。

【0036】

変換部３４は、各撮像装置１０ａ，１０ｂの各固有座標系である撮像装置座標系ＬＣ２・撮像装置座標系ＬＣ１における撮像装置座標値のうち少なくともいずれか一方を、３次元絶対座標系ＷＣにおける作業者画像オブジェクト又はバイブレータ画像オブジェクトＰの３次元絶対座標値（ｘ，ｙ，ｚ）に変換する。

【0037】

撮像装置が複数ある場合、それらの１つにおける撮像装置座標値から３次元絶対座標値への変換は図１０に示した数式により算出される。この数式において、Ｍ_X（-φ_ｊ）、Ｍ_Y（-α_ｊ）、Ｍ_Z（-θ_ｊ）はそれぞれＸ、Ｙ、Ｚ軸周りの回転マトリクスであり、_jＯ_x ^*、_jＯ_ｙ ^*、_jＯ_ｚ*、φ_ｊ、α_ｊ、θ_ｊ、Ｂ_jは撮像装置ごとに予め計測可能なパラメータである。添字jは各々の撮像装置を意味している。したがって、k台の撮像装置で撮像した場合、１つの画像オブジェクトにつき、未知数は、ｘ_i、ｙ_i、ｚ_i、_jＹ_ｊ ^*の（ｋ＋３）個であり、且つ、図１０に示した方程式の数式は3k個あるので、それらのうち(k+3)個の数式を用いて、３次元絶対座標値（ｘ_i、ｙ_i、ｚ_i）を求めればよい。

【0038】

推定部３５は、変換された３次元絶対座標値に基づいて、コンクリートにおいて締固めが行われている箇所を推定する。このとき、推定部３５は、振動体画像オブジェクト、マーカ画像オブジェクト、及び、手画像オブジェクトのうち、振動体に最も近い位置にある画像オブジェクトの座標値を優先して用いることによって、締固めが行われている位置を推定する。具体的には、推定部３５は、振動体画像オブジェクトが抽出された場合は、その振動体画像オブジェクトの３次元絶対座標値（ｘ，ｙ，ｚ）に基づいて、締固めが行われている箇所を推定する。この場合、振動体画像オブジェクトの３次元絶対座標値（ｘ，ｙ，ｚ）が、締固めの行われている箇所の座標値となる。

【0039】

これに対し、振動体画像オブジェクトが抽出されない場合には、推定部３５は、手画像オブジェクトよりも振動体Ｖに近い位置にマーカ画像オブジェクトが抽出された場合には、その抽出されたマーカ画像オブジェクトの３次元絶対座標値（ｘ，ｙ，ｚ）に基づいて、締固めが行われている箇所を推定する。具体的には、図６に例示したように、各マーカ画像オブジェクトはその色によって振動体Ｖからの距離が分かるようになっているから、推定部３５は、抽出された複数のマーカ画像オブジェクトのうち、どのマーカ画像オブジェクトが振動体Ｖに最も近いかをその色によって判断する。これにより、手画像オブジェクトよりも振動体Ｖに近い位置にあるマーカ画像オブジェクトが抽出された場合には、そのマーカ画像オブジェクトが振動体Ｖに最も近い画像オブジェクトに相当するから、推定部３５は、そのマーカ画像オブジェクトの３次元絶対座標値（ｘ，ｙ，ｚ）に基づいて、締固めが行われている箇所を推定する。この場合、振動体Ｖに最も近いマーカ画像オブジェクトの３次元絶対座標値（ｘ，ｙ，ｚ）のｘ，ｙ座標値が、締固めの行われている箇所のｘ，ｙ座標値となる。また、振動体Ｖに最も近いマーカ画像オブジェクトの３次元絶対座標値（ｘ，ｙ，ｚ）のｚ座標値に対して、そのマーカ画像オブジェクトのコード先端からの距離（図６参照）を減算した値が、締固めの行われている箇所のｚ座標値となる。

【0040】

一方、手画像オブジェクトよりも振動体Ｖに近い位置にあるマーカ画像オブジェクトが抽出されない場合には、手画像オブジェクトが振動体Ｖに最も近い画像オブジェクトに相当するから、推定部３５は、その手画像オブジェクトの３次元絶対座標値（ｘ，ｙ，ｚ）に基づいて、締固めが行われている箇所を推定する。この場合、手画像オブジェクトの３次元絶対座標値（ｘ，ｙ，ｚ）のｘ，ｙ座標値を、締固めの行われている箇所のｘ，ｙ座標値とみなす。また、手画像オブジェクトの３次元絶対座標値（ｘ，ｙ，ｚ）のｚ座標値に対して、手画像オブジェクトよりも振動体Ｖから遠い位置にあるマーカ画像オブジェクトのコード先端からの距離（図６参照）に１未満の係数を乗算した数値を減算した値を、締固めの行われている箇所のｚ座標値とみなす。

【0041】

このように、推定部３５は、振動体画像オブジェクト、マーカ画像オブジェクト、及び、手画像オブジェクトのうち、振動体に最も近い位置にある画像オブジェクトの３次元絶対座標値を優先して用いることによって、締固めが行われている箇所を推定する。

【0042】

表示部３６は、推定部３５により締固めが行われたと推定されたコンクリートの位置を作業者又は管理者が視認可能に表示する。このとき、表示部３６は、締固めが行われたと推定されたコンクリートの位置を平面形状、断面形状又は立体形状の少なくともいずれかの形状で表示する。

【0043】

［動作］
次に、本実施形態の動作について説明する。まず、コンクリートの打設現場において締固め作業が行われる期間にわたって、撮像装置１０ａ，１０ｂにより撮像が行われる。このとき、この打設現場には、鉄筋や障害物が多数あるので、図７に例示したように、現場の複数箇所にそれぞれ異なる複数の撮影方向を撮像するように設置された撮像装置１０ａ、１０ｂを用いることで、撮影範囲に欠落が無いようにしている。このようにして撮像された複数の画像データは各撮像装置１０ａ，１０ｂから締固め作業解析装置３０に送信される。締固め作業解析装置３０の取得部３１は、この画像データを取得する（図１１のステップＳ１１）。

【0044】

次に、締固め作業解析装置３０の抽出部３２は、取得された画像データから各種の画像オブジェクト群（作業者画像オブジェクト、バイブレータ画像オブジェクト、及びコンクリート表面に相当する画像オブジェクト等）を抽出する（ステップＳ１２）。

【0045】

締固め作業解析装置３０の抽出部３２は、上記画像オブジェクト群から、パターンマッチング等の画像認識アルゴリズムを用いて、撮像装置座標値を特定すべき手画像オブジェクト、振動体画像オブジェクト及びマーカ画像オブジェクトを抽出する（ステップＳ１３）。

【0046】

特定部３３は、抽出された手画像オブジェクト、振動体画像オブジェクト及びマーカ画像オブジェクトについて、図８に例示した方法に従って撮像装置座標値（Ｘ，Ｙ，Ｚ）をそれぞれ特定する（ステップＳ１４）。

【0047】

変換部４１は、手画像オブジェクト、振動体画像オブジェクト及びマーカ画像オブジェクトの撮像装置座標値を、図１０に例示した数式に従って３次元絶対座標値へ変換する（ステップＳ１５）。

【0048】

推定部３８は、手画像オブジェクト、振動体画像オブジェクト及びマーカ画像オブジェクトの３次元絶対座標値に基づいて、締固めが行われたコンクリートの位置を推定する（ステップＳ１６）。このとき、各撮像装置座標値から変換された後の３次元絶対座標値が同一となる画像オブジェクトについては、１つの画像オブジェクトとして取り扱われる。これにより、同一の画像オブジェクトについて重複した位置推定がなされることがないようになっている。

【0049】

そして、表示部３９は、推定部３８により締固めが行われたと推定されたコンクリートの位置を作業者又は管理者が視認可能となるように表示する（ステップＳ１７）。表示の仕方としては、携帯端末、スマートフォン及び事務所のパーソナルコンピュータ等に出力して表示してもよいし、プリンターで印刷するようにしてもよい。

【0050】

上述した実施形態によれば、作業員による締固め作業によってコンクリートが締固めされた位置を精度よく推定することが可能となる。

【0051】

［変形例］
上述した実施形態を以下のように変形してもよい。
コンクリートの打設現場では同時に複数の位置にて締固めが行われることがある。そこで、抽出部２７は、画像データから同時に作業をしている複数の作業者に相当する複数の作業者画像オブジェクト及び複数のバイブレータに相当する複数のバイブレータ画像オブジェクトを抽出し、各作業者画像オブジェクトとバイブレータ画像オブジェクトを紐づけし、記推定部は、前記コンクリートにおいて同時に締固めが行われている複数の箇所を推定するようにしてもよい。

【符号の説明】

【0052】

１０ａ，１０ｂ：撮像装置、２０：ネットワーク、３０：締固め作業解析装置、３００１：プロセッサ、３００２：メモリ、３００３：ストレージ、３００４：通信装置、３００５：入力装置、３００６：出力装置、３１：取得部、３２：抽出部、３３：特定部、３４：変換部、３５：推定部、３６：表示部、ｓ：部位、Ｈ：人体、ｍ：マーカ、ＶＲ：バイブレータ、Ｖ：振動体、Ｃ：コード、Ｐ：画像オブジェクト、Θａ，Θｂ：方向角、ＷＣ：３次元絶対座標系、ＬＣ１，ＬＣ２：撮像装置座標系。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】