特許 7578529 施工管理システム、データ処理装置、及び施工管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-28

(45)【発行日】2024-11-06

(54)【発明の名称】施工管理システム、データ処理装置、及び施工管理方法

(51)【国際特許分類】

   G06Q 50/08 20120101AFI20241029BHJP

【ＦＩ】

G06Q50/08

【請求項の数】 11

(21)【出願番号】P 2021061691

(22)【出願日】2021-03-31

(65)【公開番号】P2022157458

(43)【公開日】2022-10-14

【審査請求日】2024-02-13

(73)【特許権者】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】川本 駿

(72)【発明者】

【氏名】蓮實 翼

(72)【発明者】

【氏名】杉村 みなみ

(72)【発明者】

【氏名】董 鯉

(72)【発明者】

【氏名】平間 翔大

【審査官】牧 裕子

(56)【参考文献】

【文献】国際公開第２０１７／１７０６５１（ＷＯ，Ａ１）

【文献】特開２０１８－０５９２６８（ＪＰ，Ａ）

【文献】特開２００３－２５３６６１（ＪＰ，Ａ）

【文献】特開２０２１－０３８５７１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

作業機械が稼働する施工現場の現況地形データを作成する現況地形データ作成部と、
前記施工現場の一部分を検出する検出装置の検出データを取得する検出データ取得部と、
前記検出データを前記現況地形データに反映する反映データを生成する反映部と、
前記検出データに基づいて前記施工現場の物体を認識する認識部と、
前記反映データを表示装置に出力する出力部と、を備え、
前記反映データは、前記施工現場の更新された地形の一部分を示す更新地形データと、前記施工現場の物体を示す非地形データと、を含み、
前記反映部は、
前記認識部により前記更新地形データに物体が存在しないと判定された場合、前記現況地形データの一部に前記更新地形データを当てはめ、
前記認識部により前記更新地形データに物体が存在すると判定された場合、前記検出データから前記非地形データが除去された前記更新地形データを前記現況地形データに当てはめた後、前記非地形データを当てはめる、
施工管理システム。

【請求項2】

前記検出データは、前記現況地形データよりも高頻度で更新される、
請求項１に記載の施工管理システム。

【請求項3】

前記物体は、前記作業機械を含み、
前記反映データは、前記作業機械の３次元モデルを含む、
請求項１に記載の施工管理システム。

【請求項4】

前記認識部は、前記作業機械の動作を認識し、
前記反映部は、前記作業機械に同期して前記３次元モデルを動かす、
請求項３に記載の施工管理システム。

【請求項5】

前記物体は、人を含む、
請求項１から請求項４のいずれか一項に記載の施工管理システム。

【請求項6】

前記認識部は、前記物体の位置を認識し、
前記反映データは、前記物体の位置を示すシンボル画像を含む、
請求項１から請求項５のいずれか一項に記載の施工管理システム。

【請求項7】

前記検出装置は、飛行体に搭載される、
請求項１から請求項６のいずれか一項に記載の施工管理システム。

【請求項8】

前記検出装置は、前記作業機械及び前記作業機械の周辺の施工エリアを検出する、
請求項１から請求項７のいずれか一項に記載の施工管理システム。

【請求項9】

作業機械が稼働する施工現場の現況地形データを作成する現況地形データ作成部と、
前記施工現場の一部分を検出する検出装置の検出データを取得する検出データ取得部と、
前記検出データを前記現況地形データに反映する反映データを生成する反映部と、
前記検出データに基づいて前記施工現場の物体を認識する認識部と、
前記反映データを表示装置に出力する出力部と、を備え、
前記反映データは、前記施工現場の更新された地形の一部分を示す更新地形データと、前記施工現場の物体を示す非地形データと、を含み、
前記反映部は、
前記認識部により前記更新地形データに物体が存在しないと判定された場合、前記現況地形データの一部に前記更新地形データを当てはめ、
前記認識部により前記更新地形データに物体が存在すると判定された場合、前記検出データから前記非地形データが除去された前記更新地形データを前記現況地形データに当てはめた後、前記非地形データを当てはめる、
データ処理装置。

【請求項10】

コンピュータシステムが、
作業機械が稼働する施工現場の現況地形データを記憶することと、
前記施工現場の一部分を検出する検出装置の検出データを取得することと、
前記検出データを前記現況地形データに反映する反映データを生成することと、
前記検出データに基づいて前記施工現場の物体を認識することと、
前記反映データを表示装置に表示することと、を実行し、
前記反映データは、前記施工現場の更新された地形の一部分を示す更新地形データと、前記施工現場の物体を示す非地形データと、を含み、
前記更新地形データに物体が存在しないと判定された場合、前記現況地形データの一部に前記更新地形データを当てはめ、
前記更新地形データに物体が存在すると判定された場合、前記検出データから前記非地形データが除去された前記更新地形データを前記現況地形データに当てはめた後、前記非地形データを当てはめる、
施工管理方法。

【請求項11】

前記検出データは、前記現況地形データよりも高頻度で更新される、
請求項１０に記載の施工管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、施工管理システム、データ処理装置、及び施工管理方法に関する。

【背景技術】

【0002】

施工管理システムに係る技術分野において、特許文献１に開示されているような施工管理システムが知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１９／０１２９９３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

施工現場の施工効率の低下を抑制するためには、施工の進捗状況を適正に確認できることが好ましい。

【0005】

本開示は、施工の進捗状況を確認することを目的とする。

【課題を解決するための手段】

【0006】

本開示に従えば、作業機械が稼働する施工現場の現況地形データを作成する現況地形データ作成部と、施工現場を検出する検出装置の検出データを取得する検出データ取得部と、検出データを現況地形データに反映する反映データを生成する反映部と、反映データを表示装置に出力する出力部と、を備える、施工管理システムが提供される。

【発明の効果】

【0007】

本開示によれば、施工の進捗状況を確認することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る施工管理システムを示す模式図である。

【図2】図２は、実施形態に係る油圧ショベルを示す斜視図である。

【図3】図３は、実施形態に係るクローラダンプを示す斜視図である。

【図4】図４は、実施形態に係る施工管理システムを示す機能ブロック図である。

【図5】図５は、実施形態に係る施工管理方法を示すフローチャートである。

【図6】図６は、実施形態に係る現況地形データを示す図である。

【図7】図７は、実施形態に係る反映データを示す図である。

【図8】図８は、実施形態に係る反映データを示す図である。

【図9】図９は、実施形態に係る反映データを示す図である。

【図10】図１０は、実施形態に係る反映データを示す図である。

【図11】図１１は、実施形態に係る反映データを示す図である。

【図12】図１２は、実施形態に係る反映データを示す図である。

【図13】図１３は、実施形態に係るコンピュータシステムを示すブロック図である。

【発明を実施するための形態】

【0009】

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

【0010】

［施工管理システム］
図１は、実施形態に係る施工管理システム１を示す模式図である。施工管理システム１は、施工現場２の施工を管理する。施工現場２において複数の作業機械２０が稼働する。実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３を含む。なお、作業機械２０は、ホイールローダを含んでもよい。また、施工現場２に人ＷＭが存在する。人ＷＭとして、施工現場２で作業する作業者が例示される。なお、人ＷＭは、施工を管理する監督者でもよい。人ＷＭは、見学者でもよい。

【0011】

図１に示すように、施工管理システム１は、管理装置３と、サーバ４と、情報端末５と、検出装置９と、検出装置１２とを備える。

【0012】

管理装置３は、施工現場２に配置されるコンピュータシステムを含む。管理装置３は、走行装置６に支持される。管理装置３は、走行装置６により施工現場２を走行することができる。走行装置６として、高所作業車、トラック、及び走行ロボットが例示される。サーバ４は、コンピュータシステムを含むデータ処理装置である。サーバ４は、施工現場２に配置されてもよいし、施工現場２の遠隔地に配置されてもよい。情報端末５は、施工現場２の遠隔地１３に配置されるコンピュータシステムである。情報端末５として、パーソナルコンピュータ又はスマートフォンが例示される。管理装置３とサーバ４と情報端末５とは、通信システム１０を介して通信する。通信システム１０として、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、携帯電話通信網、及び衛星通信網が例示される。

【0013】

検出装置９は、施工現場２を検出する。検出装置９は、施工現場２の３次元データを取得する。検出装置９の検出対象として、施工現場２の地形及び施工現場２に存在する物体が例示される。物体は、可動体及び静止体の一方又は両方を含む。可動体として、作業機械２０及び人ＷＭが例示される。静止体として、木材又は資材が例示される。

【0014】

検出装置９により取得される３次元データは、施工現場２の画像データを含む。検出装置９により取得される画像データは、動画データでもよいし静止画データでもよい。検出装置９として、ステレオカメラが例示される。なお、検出装置９は、単眼カメラと３次元計測装置とを含んでもよい。３次元計測装置として、レーザ光を射出することにより検出対象を検出するレーザセンサ（ＬＩＤＡＲ：Light Detection and Ranging）が例示される。なお、３次元計測装置は、赤外光を射出することにより物体を検出する赤外線センサ又は電波を射出することにより物体を検出するレーダセンサ（ＲＡＤＡＲ：Radio Detection and Ranging）でもよい。

【0015】

検出装置９は、飛行体８に搭載される。飛行体８として、ドローンのような無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）が例示される。検出装置９は、施工現場２の上方から施工現場２を検出する。

【0016】

実施形態において、飛行体８と管理装置３とは、ケーブル７により接続される。検出装置９の検出データは、ケーブル７を介して管理装置３に送信される。管理装置３に送信された検出装置９の検出データは、通信システム１０を介してサーバ４に送信される。

【0017】

実施形態において、管理装置３は、電源又は発電機を含む。管理装置３は、ケーブル７を介して飛行体８に電力を供給することができる。

【0018】

検出装置１２は、施工現場２を検出する。検出装置９と同様、検出装置１２は、施工現場２の３次元データを取得する。検出装置１２により取得される３次元データは、施工現場２の画像データを含む。

【0019】

検出装置１２は、飛行体１１に搭載される。検出装置１２は、施工現場２の上方から施工現場２を検出する。検出装置１２の検出データは、通信システム１０を介してサーバ４に送信される。

【0020】

飛行体１１は、飛行体８よりも上空を飛行することができる。飛行体１１は、飛行体８よりも広範囲を飛行することができる。検出装置１２は、検出装置９よりも施工現場２の広範囲を検出することができる。実施形態において、検出装置１２は、施工現場２の全体を検出する。検出装置９は、施工現場２の一部分を検出する。

【0021】

［作業機械］
図２は、実施形態に係る油圧ショベル２１を示す斜視図である。図２に示すように、油圧ショベル２１は、走行体２４と、走行体２４に支持される旋回体２５と、旋回体２５に支持される作業機２６と、作業機２６を駆動する油圧シリンダ２７とを備える。

【0022】

走行体２４は、一対の履帯を有する。油圧ショベル２１は、走行体２４により施工現場２を走行することができる。旋回体２５は、走行体２４に支持された状態で旋回する。作業機２６は、旋回体２５に連結されるブーム２６Ａと、ブーム２６Ａに連結されるアーム２６Ｂと、アーム２６Ｂに連結されるバケット２６Ｃとを含む。油圧シリンダ２７は、ブーム２６Ａを動作させるブームシリンダ２７Ａと、アーム２６Ｂを動作させるアームシリンダ２７Ｂと、バケット２６Ｃを動作させるバケットシリンダ２７Ｃとを含む。

【0023】

油圧ショベル２１は、動作する。油圧ショベル２１の動作として、走行体２４の走行動作、旋回体２５の旋回動作、ブーム２６Ａの上げ動作及び下げ動作、アーム２６Ｂの掘削動作及びダンプ動作、並びにバケット２６Ｃの掘削動作及びダンプ動作が例示される。

【0024】

図３は、実施形態に係るクローラダンプ２３を示す斜視図である。図３に示すように、クローラダンプ２３は、走行体２８と、車体２９と、ダンプボディ３０とを有する。

【0025】

走行体２８は、一対の履帯を有する。クローラダンプ２３は、走行体２８により施工現場２を走行することができる。ダンプボディ３０は、積荷が積み込まれる部材である。油圧ショベル２１は、作業機２６を用いてダンプボディ３０に積荷を積み込むことができる。ダンプボディ３０は、不図示のホイストシリンダにより上昇して、積荷を排出することができる。

【0026】

クローラダンプ２３は、動作する。クローラダンプ２３の動作として、走行体２８の走行動作、並びにダンプボディ３０の下げ動作及びダンプ動作が例示される。

【0027】

［サーバ］
図４は、実施形態に係る施工管理システム１を示す機能ブロック図である。図４に示すように、施工管理システム１は、飛行体８と、飛行体１１と、施工現場２に配置された管理装置３と、サーバ４と、施工現場２の遠隔地１３に配置された情報端末５とを有する。

【0028】

飛行体８は、位置センサ１４と、姿勢センサ１５と、検出装置９とを有する。

【0029】

位置センサ１４は、飛行体８の位置を検出する。位置センサ１４は、全地球航法衛星システム（ＧＮＳＳ）を利用して飛行体８の位置を検出する。位置センサ１４は、ＧＮＳＳ受信機（ＧＮＳＳセンサ）を含み、飛行体８のグローバル座標系の位置を検出する。姿勢センサ１５は、飛行体８の姿勢を検出する。姿勢センサ１５として、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）が例示される。

【0030】

飛行体１１は、位置センサ１６と、姿勢センサ１７と、検出装置１２とを有する。

【0031】

位置センサ１６は、ＧＮＳＳ受信機を含み、飛行体１１のグローバル座標系の位置を検出する。姿勢センサ１７は、飛行体１１の姿勢を検出する。姿勢センサ１７として、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）が例示される。

【0032】

サーバ４は、現況地形データ作成部４１と、検出データ取得部４２と、認識部４３と、反映部４４と、出力部４５と、記憶部４６とを有する。

【0033】

現況地形データ作成部４１は、作業機械２０が稼働する施工現場２の現況地形を示す現況地形データを作成する。現況地形データは、施工現場２の現況地形を示す３次元地形データである。現況地形は、所定の施工が開始される前の基準地形を含む。

【0034】

現況地形データ作成部４１は、検出装置１２の検出データに基づいて現況地形データを作成する。上述のように、検出装置１２は、施工現場２の全体を検出する。現況地形データは、施工現場２の全体の現況地形を示す。

【0035】

実施形態において、検出装置１２は、第１の頻度で施工現場２を検出する。検出装置１２は、例えば１日の始業前に１回だけ施工現場２を検出する。検出装置１２は、施工現場２において所定の施工が開始される前の基準地形を示す現況地形を検出する。現況地形データ作成部４１は、第１の頻度で現況地形データを作成する。現況地形データ作成部４１により作成された現況地形データは、記憶部４６に記憶される。記憶部４６に記憶される現況地形データは、第１の頻度で更新される。

【0036】

なお、検出装置１２が施工現場２を検出するタイミングは、１日の始業前に限定されず、任意のタイミングでもよい。

【0037】

検出データ取得部４２は、作業機械２０及び作業機械２０の周辺の施工エリアを検出した検出装置９の検出データを取得する。

【0038】

上述のように、検出装置９は、施工現場２の一部分を検出する。検出装置９により検出される施工現場２の一部分は、作業を実施する作業機械２０を含む。検出装置９により検出される施工現場２の一部分は、作業を実施する作業機械２０の周辺の施工エリアを含む。検出装置９により検出される施工エリアとして、作業機械２０により施工が進行している施工エリアが例示される。

【0039】

実施形態において、検出装置９は、第１の頻度よりも高い第２の頻度で施工現場２を検出する。検出装置９は、例えば一定期間だけ施工現場２を連続的に検出する。検出装置９は、例えば作業機械２０の作業が実施されている期間だけ施工現場２を連続的に検出する。なお、検出装置９は、施工現場２を常時検出してもよい。検出データ取得部４２は、第２の頻度で検出装置９の検出データを取得する。検出データ取得部４２により取得される検出データは、現況地形データよりも高頻度で更新される。

【0040】

認識部４３は、検出データ取得部４２により取得された検出データに基づいて、施工現場２の物体を認識する。上述のように、物体として、作業機械２０及び人ＷＭが例示される。

【0041】

認識部４３は、入力データをアルゴリズムにより解析して出力データを出力する人工知能（ＡＩ：Artificial Intelligence）を利用して物体を認識する。入力データは検出装置９により取得された施工現場２の画像データであり、出力データは物体である。

【0042】

認識部４３は、物体の特徴量を学習することにより生成された学習モデルを保有する。学習モデルは、作業機械２０の特徴量を学習することにより生成された学習モデルと、人ＷＭの特徴量を学習することにより生成された学習モデルとを含む。学習モデルの生成においては、物体を含む学習画像を教師データとして機械学習が実施されることにより、物体の特徴量を入力とし物体を出力する学習モデルが生成される。認識部４３は、検出装置９により取得された施工現場２の画像データを学習モデルに入力して、物体を認識することができる。

【0043】

反映部４４は、検出データ取得部４２により取得された検出データを現況地形データに反映した反映データを生成する。現況地形データは、検出装置１２により第１の頻度で検出された施工現場２の全体の３次元地形データである。検出データは、検出装置９により第２の頻度で検出された施工現場２の一部分である施工エリアの３次元地形データを含む。検出データ取得部４２により取得される検出データは、第２の頻度で順次更新される。反映部４４は、検出データ取得部４２により取得された検出データを現況地形データの一部分に第２の頻度で順次反映する。現況地形データの少なくとも一部は、検出データ取得部４２により取得された検出データにより順次更新される。

【0044】

検出データ取得部４２により取得される検出データは、施工エリアの更新後の地形を示す更新地形データを含む。更新後の地形は、施工中又は施工後の最新地形を含む。更新地形データは、第２の頻度で更新される。反映部４４は、検出データ取得部４２により取得された更新地形データを、記憶部４６に記憶されている現況地形データに反映する。

【0045】

検出データ取得部４２により取得される検出データは、施工現場２の物体を示す非地形データを含む。非地形データは、施工現場２の物体を示す３次元データである。非地形データは、第２の頻度で更新される。反映部４４は、検出データ取得部４２により取得された非地形データを、記憶部４６に記憶されている現況地形データに反映する。

【0046】

実施形態において、反映部４４は、検出データ取得部４２により取得された検出データから非地形データが除去された施工エリアの更新地形データを現況地形データに反映する。物体を示す非地形データは、認識部４３により認識される。反映部４４は、検出データから非地形データを除去して更新地形データを生成する。また、施工現場２に物体が存在する場合、反映部４４は、物体が反映された反映データを生成する。

【0047】

反映部４４により生成される反映データは、施工エリアの更新地形データを含む。

【0048】

反映部４４により生成される反映データは、認識部４３により認識された物体を含む。

【0049】

反映部４４により生成される反映データは、認識部４３により認識された作業機械２０の３次元モデルを含む。作業機械２０の３次元モデルは、作業機械２０のコンピュータグラフィックス（ＣＧ：Computer Graphics）を含む。

【0050】

作業機械２０の３次元モデルとは、作業機械２０を表した３次元モデルであって、例えば走行体２４、旋回体２５、及び作業機２６のような作業機械２０を構成するパーツごとに構築される。作業機械２０の３次元モデルは、記憶部４６に予め記憶されている。

【0051】

反映部４４により生成される反映データは、物体の位置を示すシンボル画像を含む。シンボル画像は、物体の位置を強調する画像データである。反映部４４は、認識部４３の認識結果に基づいて、シンボル画像を生成する。

【0052】

出力部４５は、反映部４４により生成された反映データを情報端末５に出力する。出力部４５は、通信システム１０を介して、反映データを情報端末５に送信する。

【0053】

情報端末５は、入力装置５１と表示装置５２とを有する。

【0054】

入力装置５１は、遠隔地１３に存在する管理者に操作される。入力装置５１は、管理者の操作に基づいて、入力データを生成する。入力装置５１として、タッチパネル、コンピュータ用キーボード、マウス、又は操作ボタンが例示される。なお、入力装置５１は、光学センサを含む非接触型入力装置でもよいし、音声入力装置でもよい。

【0055】

表示装置５２は、表示データを表示する。遠隔地１３の管理者は、表示装置５２に表示された表示データを確認することができる。実施形態において、出力部４５は、反映部４４により生成された反映データを表示装置５２に出力する。表示装置５２は、表示データとして、反映部４４により生成された反映データを表示する。表示装置５２として、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイが例示される。

【0056】

［検出装置と３次元データとの関係］
上述のように、飛行体８には、位置センサ１４及び姿勢センサ１５が搭載されている。位置センサ１４は、検出装置９の位置を検出することができる。姿勢センサ１５は、検出装置９の姿勢を検出することができる。姿勢は、例えばロール角、ピッチ角、及びヨー角を含む。ヨー角は、飛行体８に設けられた２つのＧＮＳＳセンサの検出データに基づいて算出されてもよい。検出装置９は、施工現場２の３次元データを検出する。施工現場２の３次元データは、検出装置９と検出対象に規定される複数の検出点のそれぞれとの相対距離及び相対位置を含む。認識部４３及び反映部４４は、位置センサ１４の検出データと、姿勢センサ１５の検出データと、検出装置９の検出データとに基づいて、例えばグローバル座標系における検出対象の３次元データの位置を算出することができる。また、認識部４３及び反映部４４は、所定の座標変換を実施して、例えば施工現場２に規定されたローカル座標系における検出対象の３次元データの位置を算出することができる。検出装置９の検出対象は、更新後の地形及び物体を含む。

【0057】

同様に、現況地形データ作成部４１は、位置センサ１６の検出データと、姿勢センサ１７の検出データと、検出装置１２の検出データとに基づいて、例えば施工現場２に規定されたローカル座標系における検出対象の３次元データの位置を算出することができる。検出装置１２の検出対象は、現況地形を含む。

【0058】

認識部４３は、検出データ取得部４２により取得された検出データに基づいて、物体の存否及び物体の位置を認識することができる。

【0059】

例えば人ＷＭの位置を認識する場合、認識部４３は、検出装置９の単眼カメラで取得された２次元画像に基づいて人ＷＭを認識する。また、認識部４３は、施工現場２の３次元地形データを取得する。認識部４３は、２次元画像に基づいて認識された人ＷＭに基づいて、施工現場２における人ＷＭの位置を認識することができる。例えば、ステレオカメラを構成する２つの単眼カメラで取得された２次元画像に基づいて認識された人ＷＭを、三角測量の原理に基づいて画像処理を実施して、人ＷＭの三次元の位置を算出し、施工現場２の３次元地形データに対応させることにより、施工現場２における人ＷＭの位置を認識することができる。また、レーザセンサやレーダセンサの検出値を用いて２次元画像に基づいて認識された人ＷＭの三次元の位置を算出し、、施工現場２の３次元地形データに対応させることにより、施工現場２における人ＷＭの位置を認識してもよい。なお、認識部４３は、施工現場２の３次元データから人ＷＭの位置を認識してもよい。なお、認識部４３は、人ＷＭが所持している位置センサの検出データに基づいて、人ＷＭの位置を認識してもよい。例えば人ＷＭがスマートフォンを所持しており、スマートフォンにＧＮＳＳセンサが搭載されている場合、認識部４３は、スマートフォンのＧＮＳＳセンサの検出データに基づいて、人ＷＭの位置を認識することができる。なお、人ＷＭが所持する位置センサは、ビーコン（Beacon）でもよい。なお、２次元画像に基づいて認識された人ＷＭの２次元画像上の座標と、検出装置９の３次元の位置及び姿勢と、３次元地形データとから、施工現場２における人ＷＭの位置を幾何学計算で推定してもよい。

【0060】

また、認識部４３は、検出データ取得部４２により取得された検出データに基づいて、作業機械２０の動作を認識することができる。油圧ショベル２１は、走行体２４、旋回体２５、及び作業機２６を動作させることができる。クローラダンプ２３は、走行体２８及びダンプボディ３０を動作させることができる。反映部４４は、作業機械２０に同期して、３次元モデルを動かすことができる。

【0061】

［施工管理方法］
図５は、実施形態に係る施工管理方法を示すフローチャートである。現況地形データ作成部４１は、作業機械２０が稼働する施工現場２の現況地形データを作成する（ステップＳ１）。

【0062】

図６は、実施形態に係る現況地形データを示す図である。現況地形データは、施工現場２の全体の現況地形を示す３次元地形データである。現況地形データ作成部４１は、検出装置１２の検出データを取得する。現況地形データ作成部４１は、検出装置１２の検出データに基づいて、現況地形データを作成する。

【0063】

現況地形データ作成部４１で作成された現況地形データは、記憶部４６に記憶される。出力部４５は、現況地形データを情報端末５に送信することができる。表示装置５２は、図６に示すような現況地形を表示することができる。

【0064】

施工現場２において作業機械２０の作業が開始されると、施工現場２の地形が変化する。飛行体８に搭載されている検出装置９は、施工現場２を検出する。検出装置９は、例えば作業を実施している作業機械２０及び作業機械２０の周辺の施工エリアを検出する。検出装置９の検出データは、ケーブル７を介して管理装置３に送信される。管理装置３は、検出装置９の検出データをサーバ４に送信する。検出データ取得部４２は、作業機械２０及び作業機械２０の周辺の施工エリアを検出した検出装置９の検出データを取得する（ステップＳ２）。

【0065】

認識部４３は、検出データ取得部４２により取得された検出データに基づいて、施工現場２に物体が存在するか否かを判定する。実施形態において、認識部４３は、施工エリアに物体が存在するか否かを判定する（ステップＳ３）。

【0066】

ステップＳ３において、施工エリアに物体が存在しないと判定された場合（ステップＳ３：Ｎｏ）、反映部４４は、検出データ取得部４２により取得された検出データを記憶部４６に記憶されている現況地形データに反映して、反映データを生成する。検出データ取得部４２により取得された検出データは、施工現場２の一部分を示す施工エリアの更新地形データを含む。反映部４４は、更新地形データを現況地形データに反映させる（ステップＳ４）。

【0067】

例えば油圧ショベル２１により施工現場２の一部が掘削された場合、掘削箇所を含む検出データが更新地形データとして検出データ取得部４２に取得される。更新地形データは、油圧ショベル２１により掘削された掘削箇所を含む。反映部４４は、現況地形データの一部と更新地形データとを合成する。反映部４４は、現況地形データの一部に更新地形データを当てはめる。これにより、掘削箇所を含む更新地形データが反映された反映データが生成される。

【0068】

ステップＳ３において、施工エリアに物体が存在すると判定された場合（ステップＳ３：Ｙｅｓ）、反映部４４は、認識部４３により認識された物体を示す非地形データを検出データから除去して更新地形データを生成する（ステップＳ５）。

【0069】

更新地形データが生成された後、反映部４４は、更新地形データを現況地形データに反映して反映データを生成する。また、物体が存在する場合、反映部４４は、物体が反映された反映データを生成する（ステップＳ６）。

【0070】

なお、反映部４４は、物体が存在する場合でも、物体が反映されない反映データを生成してもよい。

【0071】

出力部４５は、ステップＳ４及びステップＳ６の少なくとも一方で生成された反映データを情報端末５に出力する。表示装置５２は、出力部４５から送信された反映データを表示する（ステップＳ７）。

【0072】

図７は、実施形態に係る反映データを示す図である。図７は、施工エリアに物体が存在しない場合の反映データを示す。反映データは、施工エリアの画像データを含む。例えば施工エリアにおける施工が進行すると、図７に示すように、施工現場２の地形の少なくとも一部が変化する。図７に示す例においては、油圧ショベル２１の掘削作業により施工エリアに掘削箇所が生成される。検出データ取得部４２により取得される検出データは、施工エリアの更新地形データを含む。反映部４４は、施工現場２の地形の変化をリアルタイムで現況地形に反映させる。反映部４４は、更新地形データを現況地形データにリアルタイムに反映させる。図７に示すように、表示装置５２は、掘削箇所が反映された反映データを表示することができる。遠隔地１３の管理者は、表示装置５２に表示された反映データを確認することにより、施工現場２の施工の進捗状況をリアルタイムに認識することができる。

【0073】

図８は、実施形態に係る反映データを示す図である。図８は、施工エリアに物体として油圧ショベル２１とクローラダンプ２３と人ＷＭとが存在する場合の反映データを示す。反映データは、現況地形データの一部に更新地形データを反映させた３次元地形データを含む。反映データは、認識部４３により認識された作業機械２０の３次元モデルを含む。図８に示す例において、作業機械２０の３次元モデルは、油圧ショベル２１の３次元モデル２１Ｄ及びクローラダンプ２３の３次元モデル２３Ｄを含む。

【0074】

作業機械２０の３次元モデルを表示装置５２に表示させる場合、認識部４３は、検出データ取得部４２により取得された検出装置１２の検出データに基づいて、作業機械２０の位置（３次元位置）及び姿勢を算出する。作業機械２０の姿勢は、水平面に対する旋回体２５の傾き及び走行体２４に対する旋回体２５の旋回角度を含む。また、作業機械２０の姿勢は、作業機２６の角度を含む。作業機２６の角度は、ブーム２６Ａの角度、アーム２６Ｂの角度、及びバケット２６Ｃの角度を含む。検出装置１２の検出データは、ステレオカメラにより取得された画像を含む。そのため、認識部４３は、検出装置１２の検出データに基づいて、作業機械２０の３次元位置及び姿勢を算出することができる。反映部４４は、記憶部４６に記憶されている３次元モデルが、認識部４３により算出された位置に配置され且つ認識部４３により算出された姿勢になるように、３次元モデルを調整して、反映データを生成する。

【0075】

上述のように、作業機械２０の３次元モデルは、例えば、走行体２４、旋回体２５、及び作業機２６のような作業機械２０を構成するパーツごとに構築される。反映部４４は、ブーム２６Ａの角度、アーム２６Ｂの角度、バケット２６Ｃの角度、及び旋回体２５の旋回角度に基づいて、３次元モデルの対応する部分の角度を変更することによって、３次元モデルを調整する。

【0076】

出力部４５は、反映部４４により生成された３次元モデルを含む反映データを表示装置５２に出力する。

【0077】

なお、作業機械２０の旋回体２５に２つのＧＮＳＳセンサが搭載されている場合、認識部４３は、１つのＧＮＳＳセンサの検出データに基づいて、作業機械２０の位置を算出してもよい。また、認識部４３は、２つのＧＮＳＳセンサのそれぞれの検出データに基づいて、旋回体２５の傾き及び旋回角度を算出してもよい。また、ブームシリンダ２７Ａ、アームシリンダ２７Ｂ、及びバケットシリンダ２７Ｃのそれぞれにストロークセンサが設けられている場合、認識部４３は、ストロークセンサの検出データに基づいて、作業機２６の角度を算出してもよい。

【0078】

図９は、実施形態に係る反映データを示す図である。反映データは、物体の位置を示すシンボル画像を含む。図９に示す例において、反映データは、人ＷＭの位置を示すシンボル画像３１を含む。反映部４４は、認識部４３により認識された人ＷＭの位置に基づいて、シンボル画像３１を生成する。反映部４４は、人ＷＭとシンボル画像３１とが重畳して表示されるように反映データを生成する。図９に示す例において、シンボル画像３１は、人ＷＭを囲むフレーム状（ボックス状）である。なお、シンボル画像３１の形状は任意であり、人ＷＭを強調できればよい。なお、シンボル画像３１は、人ＷＭに隣接して表示されてもよい。人ＷＭがシンボル画像３１により強調されることにより、遠隔地１３の管理者は、人ＷＭの存在を円滑に認識することができる。

【0079】

図１０は、実施形態に係る反映データを示す図である。図１０に示す例において、反映データは、油圧ショベル２１の位置を示すシンボル画像３２を含む。反映部４４は、認識部４３により認識された油圧ショベル２１の位置に基づいて、シンボル画像３２を生成することができる。図１０に示す例において、シンボル画像３２は、３次元モデル２１Ｄを囲むフレーム状（ボックス状）である。反映部４４は、油圧ショベル２１の３次元モデル２１Ｄとシンボル画像３２とが重畳して表示されるように反映データを生成する。なお、シンボル画像３２の形状は任意であり、油圧ショベル２１を強調できればよい。

【0080】

図１１は、実施形態に係る反映データを示す図である。図１１に示す例において、反映データは、油圧ショベル２１に同期して動く３次元モデル２１Ｄを含む。上述のように、認識部４３は、作業機械２０の動作を認識することができる。反映部４４は、認識部４３により認識された油圧ショベル２１の動作に基づいて、油圧ショベル２１の動作に同期するように、表示装置５２において３次元モデル２１Ｄを動かすことができる。図１１には、油圧ショベル２１のブーム２６Ａの上げ動作に同期して、３次元モデル２１Ｄのブームが上げ動作する例が示されている。同様に、反映部４４は、認識部４３により認識されたクローラダンプ２３の動作に基づいて、クローラダンプ２３の動作に同期するように、表示装置５２において３次元モデル２３Ｄを動かすことができる。

【0081】

図１２は、実施形態に係る反映データを示す図である。図１２に示す例において、反映データは、人ＷＭの位置を示すシンボル画像３１と、油圧ショベル２１の位置を示すシンボル画像３２と、クローラダンプ２３の位置を示すシンボル画像３３とを含む。反映部４４は、例えばクローラダンプ２３の３次元モデル２３Ｄとシンボル画像３３とが重畳して表示されるように反映データを生成する。

【0082】

反映部４４は、施工エリアの施工が終了したか否かを判定する（ステップＳ８）。

【0083】

ステップＳ８において施工が終了していないと判定された場合（ステップＳ８：Ｎｏ）、ステップＳ２からステップＳ７の処理が繰り返される。ステップＳ８において施工が終了したと判定された場合（ステップＳ８：Ｙｅｓ）、実施形態に係る施工管理方法が終了する。

【0084】

［コンピュータシステム］
図１３は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述のサーバ４は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述のサーバ４の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

【0085】

コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、作業機械２０が稼働する施工現場２の現況地形データを記憶することと、施工現場２を検出する検出装置９の検出データを取得することと、検出データを現況地形データに反映する反映データを生成することと、反映データを表示装置５２に表示することと、を実行することができる。

【0086】

［効果］
以上説明したように、実施形態によれば、施工前の施工現場２の基準地形を示す現況地形データが作成される。施工中において、作業機械２０及び作業機械２０の周辺の施工エリアが検出装置９により検出される。現況地形データに検出データが反映された反映データが表示装置５２に表示される。遠隔地１３の管理者は、表示装置５２を確認することにより、施工エリアの施工の進捗状況をリアルタイムで確認することができる。遠隔地１３の管理者は、施工の進捗状況を遠隔監視することができる。

【0087】

現況地形データに反映される検出データは、現況地形データよりも高頻度で更新される。そのため、遠隔地１３の管理者は、施工エリアの最新状況を確認することができる。

【0088】

現況地形データに反映される検出データは、施工エリアの更新地形データを含む。これにより、遠隔地１３の管理者は、施工中又は施工後の施工エリアの最新地形を確認することができる。

【0089】

現況地形データに反映される検出データは、施工現場２の物体を示す非地形データを含む。反映部４４は、検出データ取得部４２により取得された検出データから非地形データが除去された更新地形データを現況地形データに反映する。これにより、遠隔地１３の管理者は、物体の影響が抑制された施工エリアの最新地形を確認することができる。

【0090】

現況地形データに反映される検出データは、施工現場２の物体を示す非地形データを含む。これにより、遠隔地１３の管理者は、施工現場の最新地形のみならず、施工現場２の物体の状況をリアルタイムで確認することができる。

【0091】

表示装置５２に表示される反映データは、認識部４３により認識された物体を含む。表示装置５２には、最新地形と物体とが区別された反映データが表示される。これにより、遠隔地１３の管理者は、施工現場の最新地形と施工現場２の物体の状況との両方をリアルタイムで適正に確認することができる。

【0092】

表示装置５２に表示される反映データは、作業機械２０の３次元モデルを含む。遠隔地１３の管理者は、表示装置５２に表示された３次元モデルを確認することにより、作業機械２０の状況をリアルタイムで適正に確認することができる。

【0093】

認識部４３は、検出データ取得部４２により取得された検出データに基づいて、作業機械２０の動作を認識する。反映部４４は、認識部４３の認識結果に基づいて、作業機械２０に同期して３次元モデルを動かすことができる。遠隔地１３の管理者は、実際の作業機械２０に同期して動く３次元モデルを確認することにより、作業機械２０の状況をリアルタイムで適正に確認することができる。

【0094】

認識部４３は、検出データ取得部４２により取得された検出データに基づいて、人ＷＭを認識する。遠隔地１３の管理者は、表示装置５２に表示された人ＷＭを確認することにより、人ＷＭの状況をリアルタイムで適正に確認することができる。

【0095】

表示装置５２に表示される反映データは、物体の位置を示すシンボル画像を含む。遠隔地１３の管理者は、表示装置５２に表示されたシンボル画像を確認することにより、物体の位置を適正に確認することができる。

【0096】

検出装置９は、飛行体８に搭載される。これにより、検出装置９は、作業機械２０及び施工エリアを上空から一括して検出することができる。

【0097】

［その他の実施形態］
上述の実施形態において、認識部４３は、検出装置９の検出データに基づいて、作業機械２０の位置を認識することとした。例えば作業機械２０の位置を検出する位置センサが作業機械２０に設けられ、認識部４３は、位置センサの検出データに基づいて、作業機械２０の位置を認識してもよい。

【0098】

上述の実施形態において、認識部４３は、検出装置９の検出データに基づいて、作業機械２０の動作を認識することとした。例えば作業機械２０の動作を検出する動作センサが作業機械２０に設けられ、認識部４３は、動作センサの検出データに基づいて、作業機械２０の動作を認識してもよい。動作センサとして、例えば作業機２６の動作を検出する角度センサ又は油圧シリンダ２７の伸縮量を検出するストロークセンサが例示される。

【0099】

上述の実施形態において、認識部４３は、人工知能を利用せずに、例えばパターンマッチング法に基づいて物体を認識してもよい。認識部４３は、人ＷＭを示すテンプレートと施工現場２の画像データとを照合することにより、物体を認識することができる。

【0100】

上述の実施形態において、検出装置９は、飛行体８に搭載されなくてもよい。検出装置９は、例えば作業機械２０に搭載されてもよいし、施工現場２に存在する構造物に取り付けられてもよい。検出装置１２についても同様である。

【0101】

上述の実施形態において、現況地形データ作成部４１、検出データ取得部４２、認識部４３、反映部４４、出力部４５、及び記憶部４６のそれぞれが、別々のハードウエアにより構成されてもよい。例えば、現況地形データ作成部４１の機能、検出データ取得部４２の機能、認識部４３の機能、反映部４４の機能、出力部４５の機能、及び記憶部４６の機能の少なくとも一つが、管理装置３に設けられてもよいし、サーバ４とは別のサーバに設けられてもよい。

【0102】

上述の実施形態において、管理装置３は、走行装置６に支持され、施工現場２を走行することができることとした。管理装置３は、作業機械２０に搭載されてもよいし、施工現場２の所定の位置に設置されてもよい。

【0103】

上述の実施形態において、検出装置１２が施工現場２の全体を検出し、検出装置９が施工現場２の一部分を検出することとした。検出装置９が施工現場２の全体を検出してもよい。

【0104】

上述の実施形態において、検出装置９の検出対象は、施工現場２の地形、作業機械２０及び人ＷＭに限られない。他の実施形態においては、検出装置９は、施工用の資材を検出するようにしてもよい。

【0105】

上述の実施形態において、情報端末５は、施工現場２の遠隔地１３に配置されなくてもよい。情報端末５は、例えば作業機械２０に搭載されてもよい。また、情報端末５は省略されてもよい。施工の進捗状況が、作業機械２０にモニタから出力されてもよい。モニタは、表示装置のみならず入力装置を備えてもよい。

【0106】

上述の実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３を含むものに限られない。他の実施形態においては、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３の一部を含むものであってよい。また、他の種類の作業機械を含むものであってもよい。

【0107】

上述の実施形態において、全地球航法衛星システム（ＧＮＳＳ）を利用して飛行体８の位置を検出し、慣性計測装置を利用して飛行体８の姿勢を検出するものに限られない。他の実施形態においては、ＳＬＡＭ(Simultaneous Localization and Mapping)を利用して飛行体８の位置、及び姿勢を検出してもよい。同様にＳＬＡＭを利用して、飛行体１１や作業機械２０の位置、及び姿勢を検出してもよい。

【符号の説明】

【0108】

１…施工管理システム、２…施工現場、３…管理装置、４…サーバ（データ処理装置）、５…情報端末、６…走行装置、７…ケーブル、８…飛行体、９…検出装置、１０…通信システム、１１…飛行体、１２…検出装置、１３…遠隔地、１４…位置センサ、１５…姿勢センサ、１６…位置センサ、１７…姿勢センサ、２０…作業機械、２１…油圧ショベル、２１Ｄ…３次元モデル、２２…ブルドーザ、２３…クローラダンプ、２３Ｄ…３次元モデル、２４…走行体、２５…旋回体、２６…作業機、２６Ａ…ブーム、２６Ｂ…アーム、２６Ｃ…バケット、２７…油圧シリンダ、２７Ａ…ブームシリンダ、２７Ｂ…アームシリンダ、２７Ｃ…バケットシリンダ、２８…走行体、２９…車体、３０…ダンプボディ、３１…シンボル画像、３２…シンボル画像、３３…シンボル画像、４１…現況地形データ作成部、４２…検出データ取得部、４３…認識部、４４…反映部、４５…出力部、４６…記憶部、５１…入力装置、５２…表示装置、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、ＷＭ…人。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】