知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023086501
(43)【公開日】2023-06-22
(54)【発明の名称】表示システム及び表示方法
(51)【国際特許分類】
G06F 3/14 20060101AFI20230615BHJP
G06Q 50/08 20120101ALI20230615BHJP
G06T 1/00 20060101ALN20230615BHJP
【ＦＩ】
G06F3/14 320A
G06Q50/08
G06T1/00 315
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2021201059
(22)【出願日】2021-12-10
(71)【出願人】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】川本 駿
(72)【発明者】
【氏名】蓮實 翼
(72)【発明者】
【氏名】董 鯉
【テーマコード（参考）】
5B057
5B069
5L049
【Ｆターム（参考）】
5B057BA02
5B057CA08
5B057CA13
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC03
5B057CE03
5B057CE17
5B069AA18
5B069DD06
5B069HA03
5B069HA07
5L049CC07
(57)【要約】
【課題】施工現場の状況を確認すること。
【解決手段】表示システムは、作業機械が稼働する施工現場の第１範囲における３次元形状を示す３次元データを記憶する３次元データ記憶部と、第１範囲の一部の第２範囲における３次元形状を示す検出データを取得する検出データ取得部と、検出データに基づいて、３次元データの一部の範囲を更新する更新部と、３次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させる表示制御部と、を備える。
【選択図】図７
【解決手段】表示システムは、作業機械が稼働する施工現場の第１範囲における３次元形状を示す３次元データを記憶する３次元データ記憶部と、第１範囲の一部の第２範囲における３次元形状を示す検出データを取得する検出データ取得部と、検出データに基づいて、３次元データの一部の範囲を更新する更新部と、３次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させる表示制御部と、を備える。
【選択図】図７
【特許請求の範囲】
【請求項1】
作業機械が稼働する施工現場の第１範囲における３次元形状を示す３次元データを記憶する３次元データ記憶部と、
前記第１範囲の一部の第２範囲における３次元形状を示す検出データを取得する検出データ取得部と、
前記検出データに基づいて、前記３次元データの一部の範囲を更新する更新部と、
前記３次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させる表示制御部と、を備える、
表示システム。
前記第１範囲の一部の第２範囲における３次元形状を示す検出データを取得する検出データ取得部と、
前記検出データに基づいて、前記３次元データの一部の範囲を更新する更新部と、
前記３次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させる表示制御部と、を備える、
表示システム。
【請求項2】
前記表示制御部は、更新された範囲と更新されない範囲とを異なる色で表示させる、
請求項１に記載の表示システム。
請求項１に記載の表示システム。
【請求項3】
前記表示制御部は、更新された範囲が強調されるように表示させる、
請求項１に記載の表示システム。
請求項１に記載の表示システム。
【請求項4】
前記検出データは、前記施工現場の画像を示す画像データを含み、
前記画像における物体を特定する物体特定部を備え、
前記表示制御部は、特定された物体が強調されるように表示させる、
請求項１から請求項３のいずれか一項に記載の表示システム。
前記画像における物体を特定する物体特定部を備え、
前記表示制御部は、特定された物体が強調されるように表示させる、
請求項１から請求項３のいずれか一項に記載の表示システム。
【請求項5】
前記表示制御部は、前記物体を囲むフレームを表示させる、
請求項４に記載の表示システム。
請求項４に記載の表示システム。
【請求項6】
前記物体は、人及び作業機械の少なくとも一方を含む、
請求項４又は請求項５に記載の表示システム。
請求項４又は請求項５に記載の表示システム。
【請求項7】
前記検出データ取得部は、複数の時点のそれぞれで前記検出データを取得し、
前記更新部は、複数の時点のそれぞれで前記３次元データを更新し、
前記表示制御部は、更新された範囲を複数の時点ごとに異なる表示形態で表示させる、
請求項１から請求項６のいずれか一項に記載の表示システム。
前記更新部は、複数の時点のそれぞれで前記３次元データを更新し、
前記表示制御部は、更新された範囲を複数の時点ごとに異なる表示形態で表示させる、
請求項１から請求項６のいずれか一項に記載の表示システム。
【請求項8】
前記検出データ取得部は、前記施工現場を検出する３次元センサから前記検出データを取得し、
前記３次元センサは、移動体に配置される、
請求項１から請求項７のいずれか一項に記載の表示システム。
前記３次元センサは、移動体に配置される、
請求項１から請求項７のいずれか一項に記載の表示システム。
【請求項9】
前記移動体は、飛行体及び作業機械の少なくとも一方を含む、
請求項８に記載の表示システム。
請求項８に記載の表示システム。
【請求項10】
前記検出データ取得部は、複数の３次元センサのそれぞれから前記検出データを取得し、
前記更新部は、複数の３次元センサのそれぞれの検出データに基づいて前記３次元データを更新し、
前記表示制御部は、更新された範囲を複数の３次元センサごとに異なる表示形態で表示させる、
請求項８又は請求項９に記載の表示システム。
前記更新部は、複数の３次元センサのそれぞれの検出データに基づいて前記３次元データを更新し、
前記表示制御部は、更新された範囲を複数の３次元センサごとに異なる表示形態で表示させる、
請求項８又は請求項９に記載の表示システム。
【請求項11】
作業機械が稼働する施工現場の第１範囲における３次元形状を示す３次元データを記憶することと、
前記第１範囲の一部の第２範囲における３次元形状を示す検出データを取得することと、
前記検出データに基づいて、前記３次元データの一部の範囲を更新することと、
前記３次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させることと、を含む、
表示方法。
前記第１範囲の一部の第２範囲における３次元形状を示す検出データを取得することと、
前記検出データに基づいて、前記３次元データの一部の範囲を更新することと、
前記３次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させることと、を含む、
表示方法。
【請求項12】
更新された範囲と更新されない範囲とを異なる色で表示させる、
請求項１１に記載の表示方法。
請求項１１に記載の表示方法。
【請求項13】
更新された範囲が強調されるように表示させる、
請求項１１に記載の表示方法。
請求項１１に記載の表示方法。
【請求項14】
前記検出データは、前記施工現場の画像を示す画像データを含み、
前記画像における物体を特定することを含み、
特定された物体が強調されるように表示させる、
請求項１１から請求項１３のいずれか一項に記載の表示方法。
前記画像における物体を特定することを含み、
特定された物体が強調されるように表示させる、
請求項１１から請求項１３のいずれか一項に記載の表示方法。
【請求項15】
前記物体を囲むフレームを表示させる、
請求項１４に記載の表示方法。
請求項１４に記載の表示方法。
【請求項16】
前記物体は、人及び作業機械の少なくとも一方を含む、
請求項１４又は請求項１５に記載の表示方法。
請求項１４又は請求項１５に記載の表示方法。
【請求項17】
複数の時点のそれぞれで前記検出データを取得し、
複数の時点のそれぞれで前記３次元データを更新し、
更新された範囲を複数の時点ごとに異なる表示形態で表示させる、
請求項１１から請求項１６のいずれか一項に記載の表示方法。
複数の時点のそれぞれで前記３次元データを更新し、
更新された範囲を複数の時点ごとに異なる表示形態で表示させる、
請求項１１から請求項１６のいずれか一項に記載の表示方法。
【請求項18】
前記施工現場を検出する３次元センサから前記検出データを取得し、
前記３次元センサは、移動体に配置される、
請求項１１から請求項１７のいずれか一項に記載の表示方法。
前記３次元センサは、移動体に配置される、
請求項１１から請求項１７のいずれか一項に記載の表示方法。
【請求項19】
前記移動体は、飛行体及び作業機械の少なくとも一方を含む、
請求項１８に記載の表示方法。
請求項１８に記載の表示方法。
【請求項20】
複数の３次元センサのそれぞれから前記検出データを取得し、
複数の３次元センサのそれぞれの検出データに基づいて前記３次元データを更新し、
更新された範囲を複数の３次元センサごとに異なる表示形態で表示させる、
請求項１８又は請求項１９に記載の表示方法。
複数の３次元センサのそれぞれの検出データに基づいて前記３次元データを更新し、
更新された範囲を複数の３次元センサごとに異なる表示形態で表示させる、
請求項１８又は請求項１９に記載の表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示システム及び表示方法に関する。
【背景技術】
【0002】
施工管理に係る技術分野において、特許文献１に開示されているような施工管理システムが知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１９／０１２９９３号
【発明の概要】
【発明が解決しようとする課題】
【0004】
施工現場の状況は変化する。例えば、施工の進捗により施工現場の地形の状況が変化する。また、作業機械の稼働により作業機械の状況が変化する。施工現場の状況を適正に確認できる技術が要望される。
【0005】
本開示は、施工現場の状況を確認することを目的とする。
【課題を解決するための手段】
【0006】
本開示に従えば、作業機械が稼働する施工現場の第１範囲における３次元形状を示す３次元データを記憶する３次元データ記憶部と、第１範囲の一部の第２範囲における３次元形状を示す検出データを取得する検出データ取得部と、検出データに基づいて、３次元データの一部の範囲を更新する更新部と、３次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させる表示制御部と、を備える、表示システムが提供される。
【発明の効果】
【0007】
本開示によれば、施工現場の状況を確認することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【0010】
［施工管理システム］
図１は、実施形態に係る施工管理システム１を示す模式図である。施工管理システム１は、施工現場２の施工を管理する。施工現場２において複数の作業機械２０が稼働する。実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３を含む。施工現場２に人ＷＭが存在する。人ＷＭとして、施工現場２で作業する作業者が例示される。なお、人ＷＭは、施工を管理する監督者でもよい。人ＷＭは、見学者でもよい。
図１は、実施形態に係る施工管理システム１を示す模式図である。施工管理システム１は、施工現場２の施工を管理する。施工現場２において複数の作業機械２０が稼働する。実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３を含む。施工現場２に人ＷＭが存在する。人ＷＭとして、施工現場２で作業する作業者が例示される。なお、人ＷＭは、施工を管理する監督者でもよい。人ＷＭは、見学者でもよい。
【0011】
図１に示すように、施工管理システム１は、管理装置３と、サーバ４と、情報端末５と、飛行体８とを備える。
【0012】
管理装置３は、施工現場２に配置されるコンピュータシステムを含む。管理装置３は、走行装置６に支持される。管理装置３は、走行装置６により施工現場２を走行することができる。走行装置６として、高所作業車、トラック、及び走行ロボットが例示される。
【0013】
サーバ４は、コンピュータシステムを含む。サーバ４は、施工現場２に配置されてもよいし、施工現場２の遠隔地に配置されてもよい。
【0014】
情報端末５は、施工現場２の遠隔地９に配置されるコンピュータシステムである。情報端末５として、パーソナルコンピュータ及びスマートフォンが例示される。
【0015】
管理装置３とサーバ４と情報端末５とは、通信システム１０を介して通信する。通信システム１０として、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、携帯電話通信網、及び衛星通信網が例示される。
【0016】
飛行体８は、施工現場２を飛行する。飛行体８として、ドローンのような無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）が例示される。実施形態において、飛行体８と管理装置３とは、ケーブル７により接続される。管理装置３は、電源又は発電機を含む。管理装置３は、ケーブル７を介して飛行体８に電力を供給することができる。
【0017】
［飛行体］
図２は、実施形態に係る飛行体８を示す図である。飛行体８には、３次元センサ１１と、位置センサ１４と、姿勢センサ１５とが搭載される。
図２は、実施形態に係る飛行体８を示す図である。飛行体８には、３次元センサ１１と、位置センサ１４と、姿勢センサ１５とが搭載される。
【0018】
３次元センサ１１は、施工現場２を検出する。３次元センサ１１は、施工現場２の３次元形状を示す３次元データを取得する。３次元センサ１１の検出データは、施工現場２の３次元データを含む。３次元センサ１１は、飛行体８に配置される。３次元センサ１１は、施工現場２の上空から施工現場２を検出する。３次元センサ１１の検出対象として、施工現場２の地形及び施工現場２に存在する物体が例示される。物体は、可動体及び静止体の一方又は両方を含む。可動体として、作業機械２０及び人ＷＭが例示される。静止体として、工事用具、木材、又は資材が例示される。
【0019】
３次元センサ１１の検出データは、施工現場２の画像を示す画像データを含む。３次元センサ１１により取得される画像データは、動画データでもよいし静止画データでもよい。３次元センサ１１として、ステレオカメラが例示される。なお、３次元センサ１１は、単眼カメラと３次元計測装置とを含んでもよい。３次元計測装置として、レーザ光を射出することにより検出対象を検出するレーザセンサ（ＬＩＤＡＲ：Light Detection and Ranging）が例示される。なお、３次元計測装置は、赤外光を射出することにより物体を検出する赤外線センサ又は電波を射出することにより物体を検出するレーダセンサ（ＲＡＤＡＲ：Radio Detection and Ranging）でもよい。
【0020】
位置センサ１４は、飛行体８の位置を検出する。位置センサ１４は、全地球航法衛星システム（ＧＮＳＳ）を利用して飛行体８の位置を検出する。位置センサ１４は、ＧＮＳＳ受信機（ＧＮＳＳセンサ）を含み、飛行体８のグローバル座標系の位置を検出する。３次元センサ１１は、飛行体８に固定される。位置センサ１４は、飛行体８の位置を検出することにより、３次元センサ１１の位置を検出することができる。位置センサ１４の検出データは、３次元センサ１１の位置データを含む。
【0021】
姿勢センサ１５は、飛行体８の姿勢を検出する。姿勢は、例えばロール角、ピッチ角、及びヨー角を含む。姿勢センサ１５として、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）が例示される。３次元センサ１１は、飛行体８に固定される。姿勢センサ１５は、飛行体８の姿勢を検出することにより、３次元センサ１１の姿勢を検出することができる。姿勢センサ１５の検出データは、３次元センサ１１の姿勢データを含む。
【0022】
３次元センサ１１の検出データ、位置センサ１４の検出データ、及び姿勢センサ１５の検出データのそれぞれは、ケーブル７を介して管理装置３に送信される。管理装置３に受信された３次元センサ１１の検出データ、位置センサ１４の検出データ、及び姿勢センサ１５の検出データのそれぞれは、通信システム１０を介してサーバ４に送信される。
【0023】
［表示システム］
図３は、実施形態に係る表示システム３０を示す機能ブロック図である。図３に示すように、表示システム３０は、飛行体８と、施工現場２に配置される管理装置３と、サーバ４と、施工現場２の遠隔地９に配置される情報端末５とを有する。
図３は、実施形態に係る表示システム３０を示す機能ブロック図である。図３に示すように、表示システム３０は、飛行体８と、施工現場２に配置される管理装置３と、サーバ４と、施工現場２の遠隔地９に配置される情報端末５とを有する。
【0024】
飛行体８は、３次元センサ１１と、位置センサ１４と、姿勢センサ１５とを有する。
【0025】
情報端末５は、表示制御部５１と表示装置５２とを有する。
【0026】
表示装置５２は、表示データを表示する。遠隔地９の管理者は、表示装置５２に表示された表示データを確認することができる。表示装置５２として、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイが例示される。
【0027】
サーバ４は、検出データ取得部４１と、３次元データ記憶部４２と、更新部４３と、物体特定部４４と、出力部４５とを有する。
【0028】
検出データ取得部４１は、３次元センサ１１から施工現場２の３次元形状を示す検出データを取得する。すなわち、検出データ取得部４１は、３次元センサ１１から施工現場２の３次元データを取得する。検出データは、施工現場２の地形及び作業機械２０の少なくとも一方を含む。
【0029】
３次元データ記憶部４２は、検出データ取得部４１により取得された検出データを記憶する。３次元データ記憶部４２は、施工現場２の第１範囲における３次元形状を示す３次元データを記憶する。
【0030】
更新部４３は、検出データ取得部４１により取得された検出データに基づいて、３次元データ記憶部４２に記憶されている３次元データの一部の範囲を更新する。実施形態において、施工現場２の第１範囲における３次元形状を示す３次元データが３次元データ記憶部４２に記憶された後、第１範囲の一部の第２範囲における３次元形状を示す検出データが検出データ取得部４１により取得される。
【0031】
物体特定部４４は、検出データ取得部４１により取得された施工現場２の画像における物体を特定する。上述のように、３次元センサ１１の検出データは、施工現場２の画像を示す画像データを含む。物体特定部４４は、入力データをアルゴリズムにより解析して出力データを出力する人工知能（ＡＩ：Artificial Intelligence）を利用して物体を特定する。物体特定部４４は、例えばニューラルネットワークを利用して物体を特定する。
【0032】
出力部４５は、更新部４３により更新された３次元データを情報端末５に出力する。出力部４５は、通信システム１０を介して、更新部４３により更新された３次元データを情報端末５に送信する。
【0033】
出力部４５は、更新部４３により更新された３次元データを表示装置５２に表示させる制御指令を表示制御部５１に送信する。上述のように、３次元データの一部の範囲が更新される。出力部４５は、３次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置５２に表示させる制御指令を表示制御部５１に送信する。表示制御部５１は、出力部４５から送信された制御指令に基づいて、更新部４３により更新された３次元データにおいて更新された範囲と更新されない範囲とが異なる表示形態で表示装置５２に表示されるように、表示装置５２を制御する。
【0034】
［施工管理方法］
図４は、実施形態に係る表示方法を示すフローチャートである。
図４は、実施形態に係る表示方法を示すフローチャートである。
【0035】
飛行体８が施工現場２の上空において飛行を開始すると、３次元センサ１１による施工現場２の検出処理が開始される。
【0036】
検出データ取得部４１は、３次元センサ１１から施工現場２の３次元形状を示す検出データを取得する（ステップＳ１）。
【0037】
３次元データ記憶部４２は、ステップＳ１において検出された施工現場２の第１範囲における３次元形状を示す３次元データを記憶する（ステップＳ２）。
【0038】
検出データ取得部４１は、３次元センサ１１から施工現場２の第２範囲における３次元形状を示す検出データを取得する（ステップＳ３）。
【0039】
更新部４３は、ステップＳ３において取得された検出データに基づいて、ステップＳ２において３次元データ記憶部４２に記憶された３次元データの一部の範囲を更新する（ステップＳ４）。
【0040】
図５は、実施形態に係る第１範囲と第２範囲との関係を示す図である。図５に示すように、ステップＳ３において取得される施工現場２の第２範囲は、ステップＳ１において取得される施工現場２の第１範囲よりも小さい。第２範囲は、第１範囲の一部である。第２範囲は、施工現場２の状況が変化している範囲を含む。第１範囲において第２範囲の外側の範囲は、施工現場２の状況が変化していない範囲を含む。
【0041】
施工現場２において、状況が変化する動的範囲と状況が変化しない静的範囲とが存在する場合がある。動的範囲は、施工の進捗により施工現場２の地形の状況が変化する範囲及び油圧ショベル２１の稼働により油圧ショベル２１の状況が変化する範囲を含む。静的範囲は、施工が進捗せずに施工現場２の地形の状況が変化しない範囲及び油圧ショベル２１が存在するものの油圧ショベル２１が稼働しておらずに油圧ショベル２１の状況が変化しない範囲を含む。ステップＳ３において、３次元センサ１１は、動的範囲である第２範囲を検出する。
【0042】
更新部４３は、第１範囲の一部の範囲を第２範囲に置き換えることによって、３次元データの一部を更新する。
【0043】
更新部４３により３次元データの一部が更新された後、物体特定部４４は、施工現場２の画像における物体を特定する。物体特定部４４は、人工知能（ＡＩ：Artificial Intelligence）を利用して物体を特定する（ステップＳ５）。
【0044】
図６は、実施形態に係る物体の特定方法を示す図である。物体特定部４４は、物体の特徴量を学習することにより生成された学習モデルを保有する。物体特定部４４は、学習モデルに基づいて、２次元画像から物体を特定する。物体は、人ＷＭ及び作業機械２０の少なくとも一方を含む。物体特定部４４は、例えば人の画像及び作業機械の画像を含む学習画像を教師データとして機械学習することにより、物体の特徴量を入力とし人又は作業機械を出力とする学習モデルを生成する。物体特定部４４は、ステップＳ４において更新された施工現場２の画像を示す画像データから抽出された物体の特徴量を学習モデルに入力して、２次元画像における人ＷＭ又は作業機械２０を特定する。
【0045】
出力部４５は、ステップＳ４において更新された３次元データ及びステップＳ５において特定された物体を、通信システム１０を介して情報端末５に送信する。出力部４５は、更新された３次元データを表示装置５２に表示させる制御指令を表示制御部５１に送信する。表示制御部５１は、出力部４５から送信された制御指令に基づいて、３次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置５２に表示させる（ステップＳ６）。
【0046】
出力部４５は、３次元データの表示を終了するか否かを判定する（ステップＳ７）。ステップＳ７において３次元データの表示を継続すると判定された場合（ステップＳ７：Ｎｏ）、ステップＳ３の処理に戻る。これにより、施工現場２の３次元形状を示す３次元データが更新され続ける。表示装置５２には、施工現場２の状況に即した表示データがリアルタイムで表示される。ステップＳ７において３次元データの表示を終了すると判定された場合（ステップＳ７：Ｙｅｓ）、３次元データの表示が終了する。
【0047】
［表示装置］
図７は、実施形態に係る表示装置５２の一例を示す図である。図７に示すように、表示制御部５１は、３次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置５２に表示させる。更新された範囲は、第２範囲に相当する。更新されない範囲は、第１範囲において第２範囲の外側の範囲に相当する。図７に示すように、表示制御部５１は、更新された範囲と更新されない範囲とを異なる色で表示装置５２に表示させてもよい。
図７は、実施形態に係る表示装置５２の一例を示す図である。図７に示すように、表示制御部５１は、３次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置５２に表示させる。更新された範囲は、第２範囲に相当する。更新されない範囲は、第１範囲において第２範囲の外側の範囲に相当する。図７に示すように、表示制御部５１は、更新された範囲と更新されない範囲とを異なる色で表示装置５２に表示させてもよい。
【0048】
また、表示制御部５１は、物体特定部４４により特定された物体が強調されるように表示装置５２に表示させる。図７に示すように、表示制御部５１は、物体を囲むフレームを表示させてもよい。物体は、人ＷＭ及び作業機械２０の少なくとも一方を含む。図７に示す例において、表示制御部５１は、第１範囲において第２範囲の外側に存在する油圧ショベル２１を囲むフレーム３１を表示装置５２に表示される。表示制御部５１は、第２範囲に存在する油圧ショベル２１を囲むフレーム３２を表示装置５２に表示される。表示制御部５１は、人ＷＭを囲むフレーム３３を表示装置５２に表示される。また、物体の位置に物体を示す３次元モデルが表示されてもよい。３次元モデルは、物体のコンピュータグラフィックス（ＣＧ：Computer Graphics）を含む。例えば、油圧ショベル２１の３次元モデルが第１範囲、又は第２範囲の油圧ショベル２１の位置に表示されてもよい。
【0049】
図８は、実施形態に係る表示装置５２の別例を示す図である。図８に示すように、表示制御部５１は、更新された範囲である第２範囲が強調されるように表示装置５２に表示させてもよい。例えば、表示制御部５１は、第２範囲が太線で囲まれるように、表示装置５２に表示させてもよい。
【0050】
図９は、実施形態に係る表示装置５２の別例を示す図である。図４に示したように、ステップＳ３からステップＳ７の処理が複数回繰り返される場合がある。すなわち、検出データ取得部４１は、複数の時点のそれぞれで検出データを取得する場合がある。更新部４３は、複数の時点のそれぞれで３次元データを更新することができる。表示制御部５１は、更新された範囲を複数の時点ごとに異なる表示形態で表示装置５２に表示させてもよい。図９に示すように、表示制御部５１は、第１時点で更新された範囲（第２範囲）と、第１時点よりも後の第２時点で更新された範囲（第２範囲）と、第２時点よりも後の第３点で更新された範囲（第２範囲）とを、相互に異なる色で表示装置５２に表示させてもよい。
【0051】
図１０は、実施形態に係る表示装置５２の別例を示す図である。施工現場２に複数の３次元センサ１１が存在し、複数の３次元センサ１１のそれぞれが施工現場２を検出する場合がある。例えば３次元センサ１１が配置された複数の飛行体８が施工現場２の上空を飛行する場合がある。検出データ取得部４１は、複数の３次元センサ１１のそれぞれから検出データを取得することができる。更新部４３は、複数の３次元センサ１１のそれぞれの検出データに基づいて３次元データを更新することができる。表示制御部５１は、更新された範囲を複数の３次元センサごとに異なる表示形態で表示装置５２に表示させてもよい。図１０に示すように、表示制御部５１は、第１の３次元センサ１１により取得された検出データに基づいて更新された範囲（第２範囲）と、第２の３次元センサ１１により取得された検出データに基づいて更新された範囲（第２範囲）と、第３の３次元センサ１１により取得された検出データに基づいて更新された範囲（第２範囲）とを、相互に異なる色で表示装置５２に表示させてもよい。
【0052】
［コンピュータシステム］
図１１は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述のサーバ４は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述のサーバ４の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
図１１は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述のサーバ４は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述のサーバ４の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
【0053】
コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、作業機械２０が稼働する施工現場２の第１範囲における３次元形状を示す３次元データを記憶することと、第１範囲の一部の第２範囲における３次元形状を示す検出データを取得することと、検出データに基づいて、３次元データの一部の範囲を更新することと、３次元データにおいて更新された範囲と更新されない範囲とを異なる表示形態で表示装置に表示させることと、を実行することができる。
【0054】
［効果］
以上説明したように、実施形態によれば、施工現場２の一部の状況が変化した場合、３次元データ記憶部４２に記憶されている施工現場２の３次元データのうち、変化した部分だけが最新の検出データに置き換えられ、３次元データが更新される。更新された３次元データが表示装置５２に表示されることにより、管理者は、施工現場２の状況をリアルタイムで確認することができる。管理者は、施工現場２の状況をリアルタイムで確認することで、施工が進捗した領域と施工を進めなければならない領域を把握することができる。また、施工現場２の第１範囲の全部が最新の検出データに置き換わるのではなく、変化した部分だけが最新の検出データである第２範囲に置き換わるので、適正な３次元データが表示装置５２に表示される。第１範囲の全部を最新の検出データに置き換えようとすると、更新の負荷が多大になる。施工現場２の第１範囲のうち変化した部分だけを第２範囲として置き換えることにより、適正な３次元データが表示装置５２に表示される。
以上説明したように、実施形態によれば、施工現場２の一部の状況が変化した場合、３次元データ記憶部４２に記憶されている施工現場２の３次元データのうち、変化した部分だけが最新の検出データに置き換えられ、３次元データが更新される。更新された３次元データが表示装置５２に表示されることにより、管理者は、施工現場２の状況をリアルタイムで確認することができる。管理者は、施工現場２の状況をリアルタイムで確認することで、施工が進捗した領域と施工を進めなければならない領域を把握することができる。また、施工現場２の第１範囲の全部が最新の検出データに置き換わるのではなく、変化した部分だけが最新の検出データである第２範囲に置き換わるので、適正な３次元データが表示装置５２に表示される。第１範囲の全部を最新の検出データに置き換えようとすると、更新の負荷が多大になる。施工現場２の第１範囲のうち変化した部分だけを第２範囲として置き換えることにより、適正な３次元データが表示装置５２に表示される。
【0055】
［その他の実施形態］
上述の実施形態において、物体特定部４４は、更新部４３により３次元データの一部が更新された後、画像における物体を特定することとした。物体特定部４４は、他の時点において画像における物体を特定してもよい。例えば、物体特定部４４は、３次元データの一部の更新前に、第１範囲における３次元形状を示す３次元データと第２範囲における３次元形状を示す検出データとから、画像における物体を特定してもよい。
上述の実施形態において、物体特定部４４は、更新部４３により３次元データの一部が更新された後、画像における物体を特定することとした。物体特定部４４は、他の時点において画像における物体を特定してもよい。例えば、物体特定部４４は、３次元データの一部の更新前に、第１範囲における３次元形状を示す３次元データと第２範囲における３次元形状を示す検出データとから、画像における物体を特定してもよい。
【0056】
上述の実施形態において、飛行体８は、ケーブル７に接続される有線飛行体であることとした。飛行体８は、ケーブル７に接続されない無線飛行体でもよい。
【0057】
上述の実施形態において、位置センサ１４を利用して飛行体８の位置を検出し、姿勢センサ１５を利用して飛行体８の姿勢を検出することとした。ＳＬＡＭ(Simultaneous Localization and Mapping)を利用して飛行体８の位置及び姿勢を検出してもよい。地磁気又は気圧計を用いて飛行体８の位置及び姿勢が検出されてもよい。
【0058】
上述の実施形態において、物体特定部４４は、人工知能を利用せずに、例えばパターンマッチング法に基づいて物体を特定してもよい。物体特定部４４は、物体を示すテンプレートと施工現場２の画像データとを照合することにより、物体を特定することができる。
【0059】
上述の実施形態において、管理装置３は、走行装置６に支持され、施工現場２を走行することができることとした。管理装置３は、作業機械２０に搭載されてもよいし、施工現場２の所定の位置に設置されてもよい。
【0060】
上述の実施形態において、情報端末５は、施工現場２の遠隔地９に配置されなくてもよい。情報端末５は、例えば作業機械２０に搭載されてもよい。
【0061】
上述の実施形態において、表示制御部５１及び表示装置５２のそれぞれは、情報端末５に備えられることとした。表示制御部５１及び表示装置５２のそれぞれは、作業機械２０の制御装置に備えられてもよい。また、作業機械２０が遠隔操作される場合においては、表示制御部５１及び表示装置５２のそれぞれは、作業機械２０の遠隔操作を行う遠隔地に設置される制御装置に備えられてもよい。
【0062】
上述の実施形態において、サーバ４の機能が管理装置３に設けられてもよいし、情報端末５に設けられてもよいし、飛行体８に搭載されたコンピュータシステムに設けられてもよい。例えば、検出データ取得部４１、３次元データ記憶部４２、更新部４３、物体特定部４４、及び出力部４５の少なくとも一つの機能が、管理装置３に設けられてもよいし、情報端末５に設けられてもよいし、飛行体８に搭載されたコンピュータシステムに設けられてもよい。
【0063】
上述の実施形態において、検出データ取得部４１、３次元データ記憶部４２、更新部４３、物体特定部４４、及び出力部４５のそれぞれが、別々のハードウエアにより構成されてもよい。
【0064】
上述の実施形態において、３次元センサ１１は、飛行体８に配置されなくてもよい。３次元センサ１１は、例えば作業機械２０に配置されてもよいし、走行装置６に配置されてもよい。また、３次元センサ１１は、飛行体８、作業機械２０、及び走行装置６とは別の移動体に配置されてもよい。３次元センサ１１は、施工現場２に存在する構造物に配置されてもよい。また、３次元センサ１１が施工現場２に複数設置され、施工現場２が広範囲に亘って検出されてもよい。
【0065】
上述の実施形態において、物体は、人ＷＭ及び作業機械２０の少なくとも一方を含むこととした。物体は、工事用具、木材、又は資材の少なくとも一つを含んでもよい。
【0066】
上述の実施形態において、表示制御部５１は、更新された範囲と更新されない範囲とを色の明度、透明度、又は輝度によって異なる表示形態となるように表示装置５２に表示してもよい。また、表示制御部５１は、第１時点で更新された範囲（第２範囲）と、第１時点よりも後の第２時点で更新された範囲（第２範囲）と、第２時点よりも後の第３時点で更新された範囲（第２範囲）とを、色の明度、透明度、又は輝度によって相互に異なる表示形態となるように表示装置５２に表示してもよい。また、表示制御部５１は、第１の３次元センサ１１により取得された検出データに基づいて更新された範囲（第２範囲）と、第２の３次元センサ１１により取得された検出データに基づいて更新された範囲（第２範囲）と、第３の３次元センサ１１により取得された検出データに基づいて更新された範囲（第２範囲）とを、色の明度、透明度、又は輝度によって相互に異なる表示形態となるように表示装置５２に表示させてもよい。
【0067】
上述の実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３とは別の作業機械でもよい。作業機械２０は、例えばホイールローダを含んでもよい。
【符号の説明】
【0068】
１…施工管理システム、２…施工現場、３…管理装置、４…サーバ（データ処理装置）、５…情報端末、６…走行装置、７…ケーブル、８…飛行体、９…遠隔地、１０…通信システム、１１…３次元センサ、１４…位置センサ、１５…姿勢センサ、２０…作業機械、２１…油圧ショベル、２２…ブルドーザ、２３…クローラダンプ、３０…表示システム、３１…フレーム、３２…フレーム、３３…フレーム、４１…検出データ取得部、４２…３次元データ記憶部、４３…更新部、４４…物体特定部、４５…出力部、５１…表示制御部、５２…表示装置、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、ＷＭ…人。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】