知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023086500
(43)【公開日】2023-06-22
(54)【発明の名称】施工管理システム及び施工管理方法
(51)【国際特許分類】
G06Q 50/08 20120101AFI20230615BHJP
【ＦＩ】
G06Q50/08
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2021201058
(22)【出願日】2021-12-10
(71)【出願人】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】川本 駿
(72)【発明者】
【氏名】蓮實 翼
(72)【発明者】
【氏名】平間 翔大
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049CC07
(57)【要約】
【課題】施工現場における人の位置を確認すること。
【解決手段】施工管理システムは、作業機械が稼働する施工現場の画像を示す画像データを取得する画像データ取得部と、施工現場の地形の３次元形状を示す地形データを記憶する地形データ記憶部と、画像における人を特定する人特定部と、画像における人の２次元位置を特定する２次元位置特定部と、２次元位置と地形データとに基づいて、施工現場における人の３次元位置を特定する３次元位置特定部と、を備える。
【選択図】図６
【解決手段】施工管理システムは、作業機械が稼働する施工現場の画像を示す画像データを取得する画像データ取得部と、施工現場の地形の３次元形状を示す地形データを記憶する地形データ記憶部と、画像における人を特定する人特定部と、画像における人の２次元位置を特定する２次元位置特定部と、２次元位置と地形データとに基づいて、施工現場における人の３次元位置を特定する３次元位置特定部と、を備える。
【選択図】図６
【特許請求の範囲】
【請求項1】
作業機械が稼働する施工現場の画像を示す画像データを取得する画像データ取得部と、
前記施工現場の地形の３次元形状を示す地形データを記憶する地形データ記憶部と、
前記画像における人を特定する人特定部と、
前記画像における前記人の２次元位置を特定する２次元位置特定部と、
前記２次元位置と前記地形データとに基づいて、前記施工現場における前記人の３次元位置を特定する３次元位置特定部と、を備える、
施工管理システム。
前記施工現場の地形の３次元形状を示す地形データを記憶する地形データ記憶部と、
前記画像における人を特定する人特定部と、
前記画像における前記人の２次元位置を特定する２次元位置特定部と、
前記２次元位置と前記地形データとに基づいて、前記施工現場における前記人の３次元位置を特定する３次元位置特定部と、を備える、
施工管理システム。
【請求項2】
前記画像データ取得部は、前記施工現場を撮像するカメラから画像データを取得し、
前記３次元位置特定部は、前記カメラの位置と前記２次元位置と前記地形データとに基づいて、前記３次元位置を特定する、
請求項１に記載の施工管理システム。
前記３次元位置特定部は、前記カメラの位置と前記２次元位置と前記地形データとに基づいて、前記３次元位置を特定する、
請求項１に記載の施工管理システム。
【請求項3】
前記カメラの光学中心と前記人との間に透視投影面が規定され、
前記３次元位置特定部は、前記光学中心と前記透視投影面における前記人とを結ぶベクトルと、前記地形との交点に基づいて、前記３次元位置を特定する、
請求項２に記載の施工管理システム。
前記３次元位置特定部は、前記光学中心と前記透視投影面における前記人とを結ぶベクトルと、前記地形との交点に基づいて、前記３次元位置を特定する、
請求項２に記載の施工管理システム。
【請求項4】
前記ベクトルは、前記透視投影面における前記人の部位を通るように設定される、
請求項３に記載の施工管理システム。
請求項３に記載の施工管理システム。
【請求項5】
前記人の部位は、前記人の足元である、
請求項４に記載の施工管理システム。
請求項４に記載の施工管理システム。
【請求項6】
前記カメラは、移動体に配置される、
請求項２から請求項５のいずれか一項に記載の施工管理システム。
請求項２から請求項５のいずれか一項に記載の施工管理システム。
【請求項7】
前記移動体は、飛行体及び作業機械の少なくとも一方を含む、
請求項６に記載の施工管理システム。
請求項６に記載の施工管理システム。
【請求項8】
前記人特定部は、物体の特徴量を入力とし人を出力とする学習モデルに基づいて、前記人を特定する、
請求項１から請求項７のいずれか一項に記載の施工管理システム。
請求項１から請求項７のいずれか一項に記載の施工管理システム。
【請求項9】
前記３次元位置を表示装置に表示させる表示制御部を備える、
請求項１から請求項８のいずれか一項に記載の施工管理システム。
請求項１から請求項８のいずれか一項に記載の施工管理システム。
【請求項10】
作業機械が稼働する施工現場の画像を示す画像データを取得することと、
前記施工現場の地形の３次元形状を示す地形データを記憶することと、
前記画像における人を特定することと、
前記画像における前記人の２次元位置を特定することと、
前記２次元位置と前記地形データとに基づいて、前記施工現場における前記人の３次元位置を特定することと、を含む、
施工管理方法。
前記施工現場の地形の３次元形状を示す地形データを記憶することと、
前記画像における人を特定することと、
前記画像における前記人の２次元位置を特定することと、
前記２次元位置と前記地形データとに基づいて、前記施工現場における前記人の３次元位置を特定することと、を含む、
施工管理方法。
【請求項11】
前記画像データは、前記施工現場を撮像するカメラから取得され、
前記カメラの位置と前記２次元位置と前記地形データとに基づいて、前記３次元位置を特定する、
請求項１０に記載の施工管理方法。
前記カメラの位置と前記２次元位置と前記地形データとに基づいて、前記３次元位置を特定する、
請求項１０に記載の施工管理方法。
【請求項12】
前記カメラの光学中心と前記人との間に透視投影面が規定され、
前記光学中心と前記透視投影面における前記人とを結ぶベクトルと、前記地形との交点に基づいて、前記３次元位置を特定する、
請求項１１に記載の施工管理方法。
前記光学中心と前記透視投影面における前記人とを結ぶベクトルと、前記地形との交点に基づいて、前記３次元位置を特定する、
請求項１１に記載の施工管理方法。
【請求項13】
前記ベクトルは、前記透視投影面における前記人の部位を通るように設定される、
請求項１２に記載の施工管理方法。
請求項１２に記載の施工管理方法。
【請求項14】
前記人の部位は、前記人の足元である、
請求項１３に記載の施工管理方法。
請求項１３に記載の施工管理方法。
【請求項15】
前記カメラは、移動体に配置される、
請求項１１から請求項１４のいずれか一項に記載の施工管理方法。
請求項１１から請求項１４のいずれか一項に記載の施工管理方法。
【請求項16】
前記移動体は、飛行体及び作業機械の少なくとも一方を含む、
請求項１５に記載の施工管理方法。
請求項１５に記載の施工管理方法。
【請求項17】
物体の特徴量を入力とし人を出力とする学習モデルに基づいて、前記人を特定する、
請求項１０から請求項１６のいずれか一項に記載の施工管理方法。
請求項１０から請求項１６のいずれか一項に記載の施工管理方法。
【請求項18】
前記３次元位置を表示装置に表示させることを含む、
請求項１０から請求項１７のいずれか一項に記載の施工管理方法。
請求項１０から請求項１７のいずれか一項に記載の施工管理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、施工管理システム及び施工管理方法に関する。
【背景技術】
【0002】
施工管理システムに係る技術分野において、特許文献１に開示されているような施工管理システムが知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１９／０１２９９３号
【発明の概要】
【発明が解決しようとする課題】
【0004】
施工現場に人が存在する場合がある。施工現場の施工効率の低下を抑制するためには、人の位置を確認できることが好ましい。
【0005】
本開示は、施工現場における人の位置を確認することを目的とする。
【課題を解決するための手段】
【0006】
本開示に従えば、作業機械が稼働する施工現場の画像を示す画像データを取得する画像データ取得部と、施工現場の地形の３次元形状を示す地形データを記憶する地形データ記憶部と、画像における人を特定する人特定部と、画像における人の２次元位置を特定する２次元位置特定部と、２次元位置と前記地形データとに基づいて、施工現場における人の３次元位置を特定する３次元位置特定部と、を備える、施工管理システムが提供される。
【発明の効果】
【0007】
本開示によれば、施工現場における人の位置を確認することができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【0010】
［施工管理システム］
図１は、実施形態に係る施工管理システム１を示す模式図である。施工管理システム１は、施工現場２の施工を管理する。施工現場２において複数の作業機械２０が稼働する。実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３を含む。施工現場２に人ＷＭが存在する。人ＷＭとして、施工現場２で作業する作業者が例示される。なお、人ＷＭは、施工を管理する監督者でもよい。人ＷＭは、見学者でもよい。
図１は、実施形態に係る施工管理システム１を示す模式図である。施工管理システム１は、施工現場２の施工を管理する。施工現場２において複数の作業機械２０が稼働する。実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３を含む。施工現場２に人ＷＭが存在する。人ＷＭとして、施工現場２で作業する作業者が例示される。なお、人ＷＭは、施工を管理する監督者でもよい。人ＷＭは、見学者でもよい。
【0011】
図１に示すように、施工管理システム１は、管理装置３と、サーバ４と、情報端末５と、飛行体８とを備える。
【0012】
管理装置３は、施工現場２に配置されるコンピュータシステムを含む。管理装置３は、走行装置６に支持される。管理装置３は、走行装置６により施工現場２を走行することができる。走行装置６として、高所作業車、トラック、及び走行ロボットが例示される。
【0013】
サーバ４は、コンピュータシステムを含む。サーバ４は、施工現場２に配置されてもよいし、施工現場２の遠隔地に配置されてもよい。
【0014】
情報端末５は、施工現場２の遠隔地９に配置されるコンピュータシステムである。情報端末５として、パーソナルコンピュータ及びスマートフォンが例示される。
【0015】
管理装置３とサーバ４と情報端末５とは、通信システム１０を介して通信する。通信システム１０として、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、携帯電話通信網、及び衛星通信網が例示される。
【0016】
飛行体８は、施工現場２を飛行する。飛行体８として、ドローンのような無人航空機（ＵＡＶ：Unmanned Aerial Vehicle）が例示される。実施形態において、飛行体８と管理装置３とは、ケーブル７により接続される。管理装置３は、電源又は発電機を含む。管理装置３は、ケーブル７を介して飛行体８に電力を供給することができる。
【0017】
［飛行体］
図２は、実施形態に係る飛行体８を示す図である。飛行体８には、３次元センサ１１と、カメラ１２と、位置センサ１４と、姿勢センサ１５とが搭載される。
図２は、実施形態に係る飛行体８を示す図である。飛行体８には、３次元センサ１１と、カメラ１２と、位置センサ１４と、姿勢センサ１５とが搭載される。
【0018】
３次元センサ１１は、施工現場２を検出する。３次元センサ１１は、施工現場２の地形の３次元形状を示す３次元データを取得する。３次元センサ１１の検出データは、施工現場２の３次元データを含む。３次元センサ１１は、飛行体８に配置される。３次元センサ１１は、施工現場２の上空から施工現場２を検出する。３次元センサ１１として、レーザ光を射出することにより検出対象を検出するレーザセンサ（ＬＩＤＡＲ：Light Detection and Ranging）が例示される。なお、３次元センサ１１は、赤外光を射出することにより物体を検出する赤外線センサ又は電波を射出することにより物体を検出するレーダセンサ（ＲＡＤＡＲ：Radio Detection and Ranging）でもよい。なお、３次元センサ１１は、ステレオカメラのような３次元カメラでもよい。
【0019】
カメラ１２は、施工現場２を撮像する。カメラ１２は、施工現場２の画像を示す画像データを取得する。カメラ１２の撮像データは、施工現場２の画像データを含む。カメラ１２は、飛行体８に配置される。カメラ１２は、施工現場２の上空から施工現場２を撮像する。カメラ１２は、単眼カメラのような２次元カメラである。カメラ１２は、可視光カメラでもよいし、赤外線カメラでもよい。カメラ１２により取得される画像データは、動画データでもよいし静止画データでもよい。また、３次元センサ１１がステレオカメラである場合、ステレオカメラをカメラ１２としてもよい。
【0020】
位置センサ１４は、飛行体８の位置を検出する。位置センサ１４は、全地球航法衛星システム（ＧＮＳＳ）を利用して飛行体８の位置を検出する。位置センサ１４は、ＧＮＳＳ受信機（ＧＮＳＳセンサ）を含み、飛行体８のグローバル座標系の位置を検出する。３次元センサ１１及びカメラ１２のそれぞれは、飛行体８に固定される。位置センサ１４は、飛行体８の位置を検出することにより、３次元センサ１１の位置及びカメラ１２の位置を検出することができる。位置センサ１４の検出データは、３次元センサ１１の位置データ及びカメラ１２の位置データを含む。
【0021】
姿勢センサ１５は、飛行体８の姿勢を検出する。姿勢は、例えばロール角、ピッチ角、及びヨー角を含む。姿勢センサ１５として、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）が例示される。３次元センサ１１及びカメラ１２のそれぞれは、飛行体８に固定される。姿勢センサ１５は、飛行体８の姿勢を検出することにより、３次元センサ１１の姿勢及びカメラ１２の姿勢を検出することができる。姿勢センサ１５の検出データは、３次元センサ１１の姿勢データ及びカメラ１２の姿勢データを含む。
【0022】
３次元センサ１１の検出データ、カメラ１２の撮像データ、位置センサ１４の検出データ、及び姿勢センサ１５の検出データのそれぞれは、ケーブル７を介して管理装置３に送信される。管理装置３に受信された３次元センサ１１の検出データ、カメラ１２の撮像データ、位置センサ１４の検出データ、及び姿勢センサ１５の検出データのそれぞれは、通信システム１０を介してサーバ４に送信される。
【0023】
［サーバ］
図３は、実施形態に係る施工管理システム１を示す機能ブロック図である。図３に示すように、施工管理システム１は、飛行体８と、施工現場２に配置される管理装置３と、サーバ４と、施工現場２の遠隔地９に配置される情報端末５とを有する。
図３は、実施形態に係る施工管理システム１を示す機能ブロック図である。図３に示すように、施工管理システム１は、飛行体８と、施工現場２に配置される管理装置３と、サーバ４と、施工現場２の遠隔地９に配置される情報端末５とを有する。
【0024】
飛行体８は、３次元センサ１１と、カメラ１２と、位置センサ１４と、姿勢センサ１５とを有する。
【0025】
情報端末５は、表示制御部５１と表示装置５２とを有する。
【0026】
表示装置５２は、表示データを表示する。遠隔地９の管理者は、表示装置５２に表示された表示データを確認することができる。表示装置５２として、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイが例示される。
【0027】
サーバ４は、３次元データ取得部４１と、地形データ算出部４２と、地形データ記憶部４３と、画像データ取得部４４と、人特定部４５と、２次元位置特定部４６と、３次元位置特定部４７と、出力部４８とを有する。
【0028】
３次元データ取得部４１は、３次元センサ１１の検出データを取得する。すなわち、３次元データ取得部４１は、３次元センサ１１から施工現場２の３次元データを取得する。
【0029】
地形データ算出部４２は、３次元データ取得部４１により取得された施工現場２の３次元データに基づいて、施工現場２の地形の３次元形状を示す地形データを算出する。地形データ算出部４２は、３次元センサ１１が施工現場２を検出したときの３次元センサ１１の位置を位置センサ１４から取得し、３次元センサ１１が施工現場２を検出したときの３次元センサ１１の姿勢を姿勢センサ１５から取得する。施工現場２の３次元データは、複数の検出点からなる点群データを含む。施工現場２の３次元データは、３次元センサ１１と検出対象に規定される複数の検出点のそれぞれとの相対距離及び相対位置を含む。地形データ算出部４２は、３次元データ取得部４１により取得された施工現場２の３次元データと、位置センサ１４により検出された３次元センサ１１の位置と、姿勢センサ１５により検出された３次元センサ１１の姿勢とに基づいて、例えば施工現場２に規定されたローカル座標系における地形データを算出することができる。
【0030】
地形データ記憶部４３は、地形データ算出部４２により算出された施工現場２の地形の３次元形状を示す地形データを記憶する。
【0031】
画像データ取得部４４は、カメラ１２の撮像データを取得する。すなわち、画像データ取得部４４は、カメラ１２から施工現場２の画像を示す画像データを取得する。カメラ１２から取得される画像は、施工現場２の２次元画像である。
【0032】
人特定部４５は、画像データ取得部４４により取得された施工現場２の画像における人ＷＭを特定する。人特定部４５は、入力データをアルゴリズムにより解析して出力データを出力する人工知能（ＡＩ：Artificial Intelligence）を利用して人ＷＭを特定する。人特定部４５は、例えばニューラルネットワークを利用して人ＷＭを特定する。
【0033】
２次元位置特定部４６は、画像データ取得部４４により取得された施工現場２の画像における人ＷＭの２次元位置を特定する。
【0034】
３次元位置特定部４７は、２次元位置特定部４６により特定された施工現場２の画像における人ＷＭの２次元位置と地形データ記憶部４３に記憶されている施工現場２の地形データとに基づいて、施工現場２における人ＷＭの３次元位置を特定する。実施形態において、３次元位置特定部４７は、位置センサ１４により検出されたカメラ１２の位置と、２次元位置特定部４６により特定された施工現場２の画像における人ＷＭの２次元位置と、地形データ記憶部４３に記憶されている施工現場２の地形データとに基づいて、施工現場２における人ＷＭの３次元位置を特定する。
【0035】
出力部４８は、３次元位置特定部４７により特定された施工現場２における人ＷＭの３次元位置を情報端末５に出力する。出力部４８は、通信システム１０を介して、施工現場２における人ＷＭの３次元位置を情報端末５に送信する。
【0036】
出力部４８は、施工現場２における人ＷＭの３次元位置を表示装置５２に表示させる制御指令を表示制御部５１に送信する。表示制御部５１は、出力部４８から送信された制御指令に基づいて、施工現場２における人ＷＭの３次元位置が表示装置５２に表示されるように、表示装置５２を制御する。
【0037】
［施工管理方法］
図４は、実施形態に係る施工管理方法を示すフローチャートである。実施形態において、３次元センサ１１の検出範囲とカメラ１２の撮像範囲の少なくとも一部とは重複する。また、３次元センサ１１による施工現場２の検出処理とカメラ１２による施工現場２の撮像処理とは同時に実施される。３次元センサ１１とカメラ１２とは、飛行体８に固定されている。３次元センサ１１による検出処理とカメラ１２による撮像処理とが実施される前に、３次元センサ１１とカメラ１２との相対位置、及び３次元センサ１１とカメラ１２との相対姿勢のそれぞれを求めるキャリブレーション処理が実施される。
図４は、実施形態に係る施工管理方法を示すフローチャートである。実施形態において、３次元センサ１１の検出範囲とカメラ１２の撮像範囲の少なくとも一部とは重複する。また、３次元センサ１１による施工現場２の検出処理とカメラ１２による施工現場２の撮像処理とは同時に実施される。３次元センサ１１とカメラ１２とは、飛行体８に固定されている。３次元センサ１１による検出処理とカメラ１２による撮像処理とが実施される前に、３次元センサ１１とカメラ１２との相対位置、及び３次元センサ１１とカメラ１２との相対姿勢のそれぞれを求めるキャリブレーション処理が実施される。
【0038】
飛行体８が施工現場２の上空において飛行を開始すると、３次元センサ１１による施工現場２の検出処理とカメラ１２による施工現場２の撮像処理とが開始される。
【0039】
３次元データ取得部４１は、３次元センサ１１から施工現場２の３次元データを取得する（ステップＳ１）。
【0040】
地形データ算出部４２は、ステップＳ１において取得された施工現場２の３次元データに基づいて、施工現場２の地形の３次元形状を示す地形データを算出する（ステップＳ２）。
【0041】
地形データ算出部４２は、施工現場２の３次元データと、位置センサ１４により検出された３次元センサ１１の位置と、姿勢センサ１５により検出された３次元センサ１１の姿勢とに基づいて、例えば施工現場２に規定されたローカル座標系における地形データを算出する。
【0042】
地形データ記憶部４３は、ステップＳ２において算出された施工現場２の地形の３次元形状を示す地形データを記憶する（ステップＳ３）。
【0043】
画像データ取得部４４は、カメラ１２から施工現場２の画像を示す画像データを取得する。画像データ取得部４４が取得する画像は、施工現場２の２次元画像である（ステップＳ４）。
【0044】
人特定部４５は、ステップＳ４において取得された施工現場２の画像における人ＷＭを特定する。人特定部４５は、人工知能（ＡＩ：Artificial Intelligence）を利用して人ＷＭを特定する（ステップＳ５）。
【0045】
図５は、実施形態に係る人ＷＭの特定方法を示す図である。人特定部４５は、物体の特徴量を学習することにより生成された学習モデルを保有する。人特定部４５は、学習モデルに基づいて、２次元画像から人ＷＭを特定する。人特定部４５は、例えば人の画像を含む学習画像を教師データとして機械学習することにより、物体の特徴量を入力とし人（人物の存否）を出力とする学習モデルを生成する。人特定部４５は、ステップＳ４において取得された施工現場２の画像を示す画像データから抽出された物体の特徴量を学習モデルに入力して、２次元画像における人ＷＭを特定する。
【0046】
ステップＳ５において人ＷＭが特定された後、２次元位置特定部４６は、２次元画像における人ＷＭの２次元位置を特定する。実施形態において、２次元位置特定部４６は、人ＷＭの足元の２次元位置を特定する（ステップＳ６）。
【0047】
３次元位置特定部４７は、ステップＳ６において特定された施工現場２の２次元画像における人ＷＭの２次元位置と地形データ記憶部４３に記憶されている施工現場２の地形データとに基づいて、施工現場２における人ＷＭの３次元位置を特定する（ステップＳ７）。
【0048】
図６は、実施形態に係る人ＷＭの３次元位置の特定方法を示す図である。人ＷＭの３次元位置は、例えば、施工現場２の地形データにおける３次元位置である。図６に示すように、カメラ１２の光学中心と人ＷＭとの間に透視投影面が規定される。上述のキャリブレーション処理により、３次元センサ１１とカメラ１２との相対位置、及び３次元センサ１１とカメラ１２との相対姿勢のそれぞれは、既知である。透視投影面（Perspective Projection Surface）は、透視投影モデルに基づいて仮想的に規定される画像面である。３次元位置特定部４７は、カメラ１２の光学中心と透視投影面における人ＷＭとを結ぶベクトルと、地形との交点に基づいて、施工現場２における人ＷＭの３次元位置を特定する。施工現場２の地形データは、複数の検出点からなる点群データを含む。３次元位置特定部４７は、複数の検出点からベクトルとの内積が最大となる検出点を人ＷＭの３次元位置として特定する。ベクトルは、透視投影面における人ＷＭの足元を通るように設定される。３次元位置特定部４７は、人ＷＭの３次元位置として、人ＷＭの足元の３次元位置を特定する。
【0049】
出力部４８は、ステップＳ７において特定された人ＷＭの３次元位置を、通信システム１０を介して情報端末５に送信する。出力部４８は、施工現場２における人ＷＭの３次元位置を表示装置５２に表示させる制御指令を表示制御部５１に送信する。表示制御部５１は、出力部４８から送信された制御指令に基づいて、施工現場２における人ＷＭの３次元位置を表示装置５２に表示させる（ステップＳ８）。
【0050】
［人の３次元位置の利用形態］
図７は、実施形態に係る人ＷＭの３次元位置の利用形態を示す図である。情報端末５は、人ＷＭの３次元位置に基づいて、施工現場２の状況を認識することができる。情報端末５は、人ＷＭの３次元位置に基づいて、作業者の動線を解析して、例えば作業効率の改善を図ることができる。情報端末５は、人ＷＭの３次元位置に基づいて、作業効率が高い作業手順を提案することができる。情報端末５は、人ＷＭの３次元位置に基づいて、人ＷＭに警告を通知することができる。情報端末５は、人ＷＭの３次元位置に基づいて、例えば作業者の安全が確保されるように、作業者が所持する情報端末に警告を通知することができる。
図７は、実施形態に係る人ＷＭの３次元位置の利用形態を示す図である。情報端末５は、人ＷＭの３次元位置に基づいて、施工現場２の状況を認識することができる。情報端末５は、人ＷＭの３次元位置に基づいて、作業者の動線を解析して、例えば作業効率の改善を図ることができる。情報端末５は、人ＷＭの３次元位置に基づいて、作業効率が高い作業手順を提案することができる。情報端末５は、人ＷＭの３次元位置に基づいて、人ＷＭに警告を通知することができる。情報端末５は、人ＷＭの３次元位置に基づいて、例えば作業者の安全が確保されるように、作業者が所持する情報端末に警告を通知することができる。
【0051】
［コンピュータシステム］
図８は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述のサーバ４は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述のサーバ４の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
図８は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述のサーバ４は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述のサーバ４の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。
【0052】
コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、作業機械２０が稼働する施工現場２の画像を示す画像データを取得することと、施工現場２の地形の３次元形状を示す地形データを記憶することと、画像における人ＷＭを特定することと、画像における人ＷＭの２次元位置を特定することと、２次元位置と地形データとに基づいて、施工現場２における人ＷＭの３次元位置を特定することと、を実行することができる。
【0053】
［効果］
以上説明したように、実施形態によれば、サーバ４は、施工現場２における人ＷＭの３次元位置を特定することができる。これにより、例えば管理者は、施工現場２における人ＷＭの３次元位置を確認することができる。
以上説明したように、実施形態によれば、サーバ４は、施工現場２における人ＷＭの３次元位置を特定することができる。これにより、例えば管理者は、施工現場２における人ＷＭの３次元位置を確認することができる。
【0054】
３次元センサ１１の検出データからのみでは人ＷＭを特定することが困難な可能性がある。カメラ１２により取得された２次元画像から人ＷＭを特定することは高精度に実施可能である。実施形態においては、３次元センサ１１の検出データから算出される施工現場２の地形と、カメラ１２の撮像データから特定される人ＷＭの２次元位置とを組み合わせることにより、人ＷＭの３次元位置が高精度に特定される。
【0055】
３次元位置特定部４７は、位置センサ１４により検出されるカメラ１２の位置と、２次元画像における人ＷＭの２次元位置と、施工現場２の地形データとに基づいて、人ＷＭの３次元位置を特定することができる。
【0056】
透視投影面が規定されることにより、３次元位置特定部４７は、カメラ１２の光学中心と透視投影面における人ＷＭとを結ぶベクトルと、地形との交点に基づいて、人ＷＭの３次元位置を特定することができる。
【0057】
人ＷＭの足元の位置が特定されることにより、人ＷＭと地形との関係が高精度に特定される。
【0058】
カメラ１２が移動体である飛行体８に配置されることにより、施工現場２が広範囲に亘って撮像される。３次元センサ１１が移動体である飛行体８に配置されることにより、施工現場２の地形が広範囲に亘って検出される。
【0059】
人特定部４５は、人工知能を利用して２次元画像から人ＷＭを高精度に特定することができる。
【0060】
特定された人ＷＭの３次元位置が表示装置５２に表示されることにより、図７を参照して説明したように、作業効率の低下の抑制及び施工現場２の労働環境の低下の抑制が図られる。
【0061】
［その他の実施形態］
上述の実施形態において、飛行体８は、ケーブル７に接続される有線飛行体であることとした。飛行体８は、ケーブル７に接続されない無線飛行体でもよい。
上述の実施形態において、飛行体８は、ケーブル７に接続される有線飛行体であることとした。飛行体８は、ケーブル７に接続されない無線飛行体でもよい。
【0062】
上述の実施形態において、２次元位置特定部４６は、人ＷＭの足元の２次元位置を特定することとした。２次元位置特定部４６は、人ＷＭの頭部の２次元位置を特定してもよいし、人ＷＭの任意の部位の２次元位置を特定してもよいし、人ＷＭに装着された物品の２次元位置を特定してもよい。
【0063】
上述の実施形態において、位置センサ１４を利用して飛行体８の位置を検出し、姿勢センサ１５を利用して飛行体８の姿勢を検出することとした。ＳＬＡＭ(Simultaneous Localization and Mapping)を利用して飛行体８の位置及び姿勢を検出してもよい。地磁気又は気圧計を用いて飛行体８の位置及び姿勢が検出されてもよい。
【0064】
上述の実施形態において、人特定部４５は、人工知能を利用せずに、例えばパターンマッチング法に基づいて人ＷＭを特定してもよい。人特定部４５は、人ＷＭを示すテンプレートと施工現場２の画像データとを照合することにより、人ＷＭを特定することができる。人特定部４５は、赤外線カメラにより検出される人ＷＭの熱量に基づいて人ＷＭを特定してもよい。
【0065】
上述の実施形態において、管理装置３は、走行装置６に支持され、施工現場２を走行することができることとした。管理装置３は、作業機械２０に搭載されてもよいし、施工現場２の所定の位置に設置されてもよい。
【0066】
上述の実施形態において、情報端末５は、施工現場２の遠隔地９に配置されなくてもよい。情報端末５は、例えば作業機械２０に搭載されてもよい。
【0067】
上述の実施形態において、サーバ４の機能が管理装置３に設けられてもよいし、情報端末５に設けられてもよいし、飛行体８に搭載されたコンピュータシステムに設けられてもよい。例えば、３次元データ取得部４１、地形データ算出部４２、地形データ記憶部４３、画像データ取得部４４、人特定部４５、２次元位置特定部４６、３次元位置特定部４７、及び出力部４８の少なくとも一つの機能が、管理装置３に設けられてもよいし、情報端末５に設けられてもよいし、飛行体８に搭載されたコンピュータシステムに設けられてもよい。
【0068】
上述の実施形態において、３次元データ取得部４１、地形データ算出部４２、地形データ記憶部４３、画像データ取得部４４、人特定部４５、２次元位置特定部４６、３次元位置特定部４７、及び出力部４８のそれぞれが、別々のハードウエアにより構成されてもよい。
【0069】
上述の実施形態において、３次元センサ１１及びカメラ１２の少なくとも一方は、飛行体８に配置されなくてもよい。３次元センサ１１及びカメラ１２の少なくとも一方は、例えば作業機械２０に配置されてもよい。
【0070】
図９は、他の実施形態に係る人ＷＭの３次元位置の特定方法を示す図である。図９に示すように、カメラ１２は、作業機械２０に搭載される。３次元位置特定部４７は、作業機械２０に搭載されたカメラ１２の光学中心と透視投影面における人ＷＭとを結ぶベクトルと、地形との交点に基づいて、施工現場２における人ＷＭの３次元位置を特定してもよい。
【0071】
また、３次元センサ１１及びカメラ１２の少なくとも一方は、飛行体８及び作業機械２０とは別の移動体に配置されてもよい。また、３次元センサ１１及びカメラ１２の少なくとも一方は、施工現場２に存在する構造物に配置されてもよい。また、３次元センサ１１が施工現場２に複数設置され、施工現場２の地形が広範囲に亘って検出されてもよい。カメラ１２が施工現場２に複数設置され、施工現場２が広範囲に亘って撮像されてもよい。
【0072】
上述の実施形態において、３次元センサ１１による検出処理とカメラ１２による撮像処理とが同時に実施されることとした。３次元センサ１１による検出処理が実施され、施工現場２の地形データが地形データ記憶部４３に記憶された後、カメラ１２による施工現場２の撮像処理が実施されてもよい。施工現場２を検出するときの３次元センサ１１の位置及び姿勢が検出され、施工現場２を撮像するときのカメラ１２の位置及び姿勢が検出されることにより、３次元位置特定部４７は、人ＷＭの２次元位置と地形データとに基づいて、施工現場２における人ＷＭの３次元位置を特定することができる。
【0073】
上述の実施形態において、作業機械２０は、油圧ショベル２１、ブルドーザ２２、及びクローラダンプ２３とは別の作業機械でもよい。作業機械２０は、例えばホイールローダを含んでもよい。
【符号の説明】
【0074】
１…施工管理システム、２…施工現場、３…管理装置、４…サーバ（データ処理装置）、５…情報端末、６…走行装置、７…ケーブル、８…飛行体、９…遠隔地、１０…通信システム、１１…３次元センサ、１２…カメラ、１４…位置センサ、１５…姿勢センサ、２０…作業機械、２１…油圧ショベル、２２…ブルドーザ、２３…クローラダンプ、４１…３次元データ取得部、４２…地形データ算出部、４３…地形データ記憶部、４４…画像データ取得部、４５…人特定部、４６…２次元位置特定部、４７…３次元位置特定部、４８…出力部、５１…表示制御部、５２…表示装置、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、ＷＭ…人。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】