特表 2022-547608 画像ベースの生産性追跡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-14

(54)【発明の名称】画像ベースの生産性追跡システム

(51)【国際特許分類】

   G06Q 10/06 20120101AFI20221107BHJP

   G06Q 50/08 20120101ALI20221107BHJP

   G06Q 50/02 20120101ALI20221107BHJP

【ＦＩ】

G06Q10/06 332

G06Q50/08

G06Q50/02

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022516281

(86)(22)【出願日】2020-09-15

(85)【翻訳文提出日】2022-03-14

(86)【国際出願番号】 US2020050791

(87)【国際公開番号】W WO2021055301

(87)【国際公開日】2021-03-25

(31)【優先権主張番号】16/571,996

(32)【優先日】2019-09-16

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】391020193

【氏名又は名称】キャタピラー インコーポレイテッド

【氏名又は名称原語表記】ＣＡＴＥＲＰＩＬＬＡＲ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】サブラマニアン、ガウタム

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA06

5L049CC01

5L049CC07

(57)【要約】

感知装置、ユーザインターフェース、および制御ユニットを含む作業機械が開示される。制御ユニットは、生産性データに基づいて生産性層を生成し、画像データに基づいて画像層を生成するように構成されうる。画像データは、作業現場に関連付けられた工事の状態に対応する画像、および画像に関連付けられた地理空間参照に関連する情報を含みうる。制御ユニットは、マップ層、画像層、および生産性層に基づいて、作業現場の複合画像を生成し、複合画像がユーザインターフェースを介して表示されるようにさせるように構成されうる。複合画像は、地理空間参照および地理空間参照に対応する地理的座標に基づいて、マップ層に対して画像層を位置付け、画像層に対して生産性層を位置付けうる。
【選択図】図１

【特許請求の範囲】

【請求項1】

装置（１２２、１０６、１０８）であって、
一つ以上のメモリ（１３０、１３８、１４４）と、
前記一つ以上のメモリ（１３０、１３８、１４４）に通信可能に結合された一つ以上のプロセッサ（１２８、１３６、１４２）であって、
作業現場（２０４）に関連付けられた生産性データを受信することであって、
前記生産性データが、前記作業現場（２０４）に関連付けられた工事の状態に関連する情報を含む、生産性データを受信することと、
前記作業現場（２０４）に関連付けられた画像データを受信することであって、
前記画像データが、前記工事の状態に対応する画像および前記画像に関連付けられた地理空間参照に関連する情報を含む、画像データを受信することと、
前記画像データに基づいて画像層（２０８）を生成することと、
前記生産性データに基づいて生産性層（２１２）を生成することと、
マップ層（２０２）、前記画像層（２０８）、および前記生産性層（２１２）に基づいて、前記作業現場（２０４）の複合画像（２２０）を生成することであって、
前記マップ層（２０２）が、前記作業現場（２０４）に関連付けられた地理的属性、および前記地理的属性に関連付けられた地理的座標に関連する情報を含み、
前記複合画像（２２０）が、前記地理空間参照および前記地理空間参照に対応する地理的座標に基づいて、前記マップ層（２０２）に対して前記画像層（２０８）を位置付けし、前記画像層（２０８）に対して前記生産性層（２１２）を位置付けする、生成することと、
前記複合画像（２２０）に基づいて、アクションが実行されるようにさせることと、を実行するように構成された一つ以上のプロセッサと、を備える、装置。

【請求項2】

前記一つ以上のプロセッサ（１２８、１３６、１４２）が、前記画像データを受信するとき、
前記画像データを無人車両の撮像装置（１０２）から受信するように構成され、
前記撮像装置（１０２）が、前記画像を捕捉し、前記画像に関連付けられた前記地理空間参照を決定し、前記画像に基づいて前記画像データを生成し、前記地理空間参照を前記画像データに埋め込むように構成される、請求項１に記載の装置（１２２、１０６、１０８）。

【請求項3】

前記一つ以上のプロセッサ（１２８、１３６、１４２）が、前記画像層（２０８）を生成するとき、
前記画像データを、前記画像に対応する一つ以上の画像タイル（２１０）のグリッドに変換することであって、
前記一つ以上の画像タイル（２１０）が、それぞれの地理空間参照を有し、前記それぞれの地理空間参照に従って配置され、
前記一つ以上の画像タイル（２１０）が、前記マップ層（２０２）の一つ以上のマップタイル（２０６）に対応する、変換することと、
前記一つ以上の画像タイル（２１０）の前記グリッドに基づいて、前記画像層（２０８）を生成することと、を実行するように構成される、請求項１～２のいずれか一項に記載の装置（１２２、１０６、１０８）。

【請求項4】

前記一つ以上のプロセッサ（１２８、１３６、１４２）が、前記複合画像（２２０）を生成するとき、
前記マップ層（２０２）上に、前記地理空間参照に対応する地理的座標で前記画像層（２０８）を重ね合わせることと、
前記生産性層（２１２）を前記画像層（２０８）上に重ね合わせることであって、
前記生産性層（２１２）が、前記生産性データに関連付けられた位置情報を含み、
前記生産性層（２１２）が、前記位置情報に基づいて、前記画像層（２０８）に対して位置付けられる、重ね合わせることと、を実行するように構成される、請求項１～３のいずれか一項に記載の装置（１２２、１０６、１０８）。

【請求項5】

前記一つ以上のプロセッサ（１２８、１３６、１４２）が、前記アクションが実行されるようにさせるとき、
コマンド信号を撮像装置（１０２）に送信して、前記作業現場（２０４）に関連付けられた更新された画像を捕捉し、前記更新された画像に基づいて更新された画像データを生成することと、
前記更新された画像データを受信することと、
前記更新された画像データに基づいて、前記作業現場（２０４）の更新された複合画像（２２０）を生成することと、を実行するように構成される、請求項１～４のいずれか一項に記載の装置（１２２、１０６、１０８）。

【請求項6】

作業機械（１０４）であって、
前記作業機械（１０４）の生産性データを提供するように構成された感知装置（１２０）であって、前記生産性データが、作業現場（２０４）に関連付けられた工事の状態に関連する情報を含む、感知装置と、
前記工事の状態に関連する情報を前記作業機械（１０４）のオペレータに表示するように構成されたユーザインターフェース（１３２、１４６）と、
前記感知装置（１２０）および前記ユーザインターフェース（１３２、１４６）と通信する制御ユニット（１２２）であって、前記制御ユニット（１２２）が、
前記生産性データに基づいて生産性層（２１２）を生成することと、
画像データに基づいて画像層（２０８）を生成することであって、
前記画像データが、前記工事の状態に対応する画像および前記画像に関連付けられた地理空間参照に関連する情報を含む、生成することと、
マップ層（２０２）、前記画像層（２０８）、および前記生産性層（２１２）に基づいて、前記作業現場（２０４）の複合画像（２２０）を生成することであって、
前記マップ層（２０２）が、前記作業現場（２０４）に関連付けられた地理的属性、および前記地理的属性に関連付けられた地理的座標に関連する情報を含み、
前記複合画像（２２０）が、前記地理空間参照および前記地理空間参照に対応する地理的座標に基づいて、前記マップ層（２０２）に対して前記画像層（２０８）を位置付け、前記画像層（２０８）に対して前記生産性層（２１２）を位置付ける、生成することと、
前記複合画像（２２０）が前記ユーザインターフェース（１３２、１４６）を介して表示されるようにさせることと、を実行するように構成される、制御ユニットと、を備える、作業機械（１０４）。

【請求項7】

前記制御ユニット（１２２）は、前記生産性層（２１２）を生成するとき、
前記生産性データに関連付けられた視覚的表示を生成するように構成され、
前記視覚的表示が、前記作業機械（１０４）の位置、前記作業現場（２０４）に関連付けられた備蓄品の位置、または前記作業現場（２０４）に関連付けられた目標作業経路の位置のうちの一つ以上に関連する情報を含み、
前記視覚的表示に基づいて前記生産性層（２１２）を生成する、請求項６に記載の作業機械（１０４）。

【請求項8】

前記制御ユニット（１２２）は、前記複合画像（２２０）を生成するとき、
前記マップ層（２０２）上に、前記地理空間参照に対応する地理的座標で、前記画像層（２０８）を重ね合わせることと、
前記生産性層（２１２）を前記画像層（２０８）上に重ね合わせることであって、
前記生産性層（２１２）が、前記生産性データに関連付けられた位置情報を含み、
前記生産性層（２１２）が、前記位置情報に基づいて、前記画像層（２０８）に対して位置付けられる、重ね合わせることと、を実行するように構成される、請求項６～７のいずれか一項に記載の作業機械（１０４）。

【請求項9】

前記制御ユニット（１２２）は、
更新された画像データおよび更新された生産性データに基づいて、更新された複合画像（２２０）を生成することと、
前記複合画像（２２０）を、前記更新された複合画像（２２０）と比較することと、
前記複合画像（２２０）と前記更新された複合画像（２２０）との間の視覚的差異を識別することと、
前記視覚的差異に基づいて、前記作業現場（２０４）に関連付けられた前記工事の状態を判定することと、を実行するようにさらに構成される、請求項６～８のいずれか一項に記載の作業機械（１０４）。

【請求項10】

前記画像を捕捉し、前記画像に関連付けられた前記地理空間参照を決定し、前記画像に基づいて前記画像データを生成し、前記地理空間参照を前記画像データ内に地理空間タグ付き画像ファイル形式（ＧｅｏＴＩＦＦ）で埋め込むように構成された撮像装置（１２６）、をさらに備える、請求項６～９のいずれか一項に記載の作業機械（１０４）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、作業現場を調査することに関し、例えば、作業現場のための画像ベースの生産性追跡システムに関する。

【背景技術】

【0002】

作業現場は、作業を実施するためにそれぞれ個別に運営され、現場計画に従って工事を完了するように集合的に管理される、一つ以上の作業機械を含みうる。工事は、建設、舗装、解体、鉱業、造園、林業、パイプライン、および／または他の産業用途に関連しうる。現場計画には、作業現場の初期または以前の調査に基づいて設計される、作業現場で行われる工事の仕様を含めることができる。一部の事例では、追跡ツールを使用して、現場計画に対する工事の進捗を追跡しうる。追跡ツールは、調査データの変化（例えば、作業現場内の構造および／または地理的変化に関連する）、生産性データ（例えば、作業現場内の作業機械の位置および／または動作状態に関連する）、および／または進捗を追跡するために使用できるその他の情報に基づいて更新されうる。一部の事例では、追跡ツールは、作業機械のオペレータを誘導するために使用できる、作業現場のデジタルマップおよび／またはモデルを提供しうる。例えば、追跡ツールは、携帯機器、制御ステーション、作業機械内のディスプレイ、および／または別のユーザインターフェースを介して、遠隔オペレータおよび／またはローカルオペレータがアクセスできるようにしてもよい。

【0003】

一部の事例では、追跡ツールは、作業機械、備蓄品、および／または作業現場に関連付けられた別の資産もしくは属性のそれぞれの位置を示す、作業現場の画像を有するマップビューを提供しうる。作業現場内の資産および／または属性のそれぞれの位置は、作業機械によって提供される情報から取得および／または導出される生産性データに基づいて更新されうる。しかしながら、作業現場を描写するために使用される画像は、時代遅れである場合があり（例えば、時代遅れの衛星画像に基いて）、追跡ツールに依存するオペレータにとって、これは不正確であり、および／または誤解を招く場合がある。一部の事例では、オペレータは、作業現場を調査するために、撮像装置を有するドローンを使用してもよい。例えば、ドローンは、作業現場に対する視覚的な変化を評価するためにオペレータが使用できる、作業現場の更新された画像を捕捉するために使用することができる。しかしながら、ドローンを介して提供される情報は、追跡ツールによって提供される情報（例えば、作業機械からの生産性データ）と併せては使用できない。したがって、オペレータは、作業現場の状態を評価するために、追跡ツールを介して提供される情報およびドローンを介して提供される情報を別々に分析する必要がある場合がある。個別のシステムを使用して単一の工事を分析すると、エラー、遅延、および作業機械、計算リソース、ならびに／またはネットワークリソースの非効率的な使用が生じる場合がある。

【0004】

メタデータで符号化された空中画像を生成する試みの一つは、２０１３年１２月４日に出願されたＢｅｃｋｅｔｔらによる米国特許第９，６８４，６７３号（「’６７３特許」）に開示されている。’６７３特許は、観測データ、ならびに衛星または航空機を含む地球観測プラットフォームから取得される画像およびメタデータを処理するためのシステムおよび方法を開示している。’６７３特許は、画像および画像に関連付けられたメタデータの取得、符号化タイルの生成のための画像およびメタデータの符号化、符号化タイルのデータベースへの符号化タイルの格納、マップタイルの要求の受信、要求に関連する符号化タイルの取得、符号化タイルからのデータのマップタイルへのマージ、およびマップタイルの出力を開示する。しかしながら、’６７３特許は、作業現場の一つ以上の作業機械に関連する生産性データの取得、こうした生産性データを画像層およびマップ層に組み入れた複合画像の生成、またはこうした複合画像に基づく作業現場の工事の進捗の判定を開示しない。

【0005】

本開示の画像ベースの生産性追跡システムは、上述の問題および／または当技術分野における他の問題のうちの一つ以上を解決する。

【発明の概要】

【0006】

一部の実施形態によれば、方法は、装置によって、作業現場に関連付けられたマップデータであって、作業現場に関連付けられた地理的属性、および地理的属性に関連付けられた地理的座標に関連する情報を含む、マップデータを受信することと、装置によって、作業現場に関連付けられた生産性データであって、作業現場に関連付けられた工事の状態に関連する情報を含む生産性データを受信することと、装置によって、作業現場に関連付けられた画像データであって、工事の状態に対応する画像および画像に関連付けられた地理空間参照に関連する情報を含む画像データを受信することと、装置によって、マップデータに基づくマップ層を生成することと、装置によって、画像データに基づく画像層を生成することと、装置によって、生産性データに基づく生産性層を生成することと、装置によって、マップ層に基づいて、作業現場の複合画像、画像層、および生産性層を生成することであって、複合画像は地理空間参照および地理空間参照に対応する地理的座標に基づいて、マップ層に対して画像層を位置付け、画像層に対して生産性層を位置付ける、生成することと、装置によって、複合画像に基づいてアクションが実行されるようにさせることと、を含むことができる。

【0007】

一部の実施実施形態によれば、装置は、一つ以上のメモリと、作業現場に関連付けられた工事の状態に関連する情報を含む、作業現場に関連付けられた生産性データを受信するように構成された一つ以上のメモリに通信可能に結合された一つ以上のプロセッサと、を含むことと、工事の状態に対応する画像および画像に関連付けられた地理空間参照に関連する情報を含む、作業現場に関連付けられた画像データを受信することと、画像データに基づいて画像層を生成し、生産性データに基づいて生産性層を生成することと、作業現場に関連付けられた地理的属性、および地理的属性に関連付けられた地理的座標に関連する情報を含む、マップ層、画像層、及び生産性層に基づいて作業現場の複合画像を生成することであって、地理空間参照および地理空間参照に対応する地理的座標に基づいて、マップ層に対して画像層を位置付け、画像層に対して生産性層を位置付ける、複合画像を生成することと、複合画像に基づいて、アクションが実行されるようにさせることと、を実行することができる。

【0008】

一部の実施形態によれば、作業機械は、作業現場に関連付けられた工事の状態に関連する情報を含む、作業機械の生産性データを提供するように構成された感知装置と、工事の状態に関する情報を作業機械のオペレータに表示するよう構成されたユーザインターフェースと、感知装置およびユーザインターフェースと通信する制御ユニットであって、制御ユニットが、生産性データに基づいて生産性層を生成することと、工事の状態に対応する画像および画像に関連付けられた地理空間参照に関する情報を含む画像データに基づいて画像層を生成することと、マップ層、画像層、および生産性層に基づいて作業現場の複合画像を生成することであって、マップ層が、作業現場に関連付けられた地理的属性、および地理的属性に関連付けられた地理的座標に関連する情報を含み、複合層が地理空間参照および地理空間参照に対応する地理的座標に基づいて、マップ層に対して画像層を位置付け、画像層に対して生産性層を位置付ける、複合画像を生成することと、複合画像がユーザインターフェースを介して表示されるようにさせることと、を実行するように構成される制御ユニットと、を含むことができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本明細書に記載の例示的な画像ベースの生産性追跡システムの図である。

【図2-1】図２Ａ～２Ｄは、本明細書に記載の画像ベースの生産性追跡システムの例示的な実施形態の図である。

【図2-2】同上。

【図3】図３は、作業現場における工事の生産性を追跡するための例示的なプロセスのフローチャートである。

【発明を実施するための形態】

【0010】

図１は、本明細書に記載の例示的な画像ベースの生産性追跡システム１００の図である。図１に示すように、生産性追跡システム１００は、撮像装置１０２、作業機械１０４、管理プラットフォーム１０６、制御ステーション１０８、ネットワーク記憶装置１１０、および／または作業現場で実行される工事を促進するように構成された別の装置を含みうる。生産性追跡システム１００は、現場計画に対する工事の進捗を追跡するために使用されうる。作業機械１０４は、ドーザ、トラクタ、ローダ、トラック、モータグレーダ、ショベル、舗装機械、および／または工事に関連付けられた作業を実行するように構成された別の作業機械１０４を含みうる。工事は、建設、舗装、解体、鉱業、造園、林業、パイプライン、および／または他の産業用途に関連しうる。現場計画は、作業現場の初期または以前の調査に基づいて設計されてもよく、実行される工事の仕様（例えば、目標作業経路、目標切断深度、目標グレード、目標マットの厚さ、取り出され、配置され、および／または輸送される資材の目標体積、および／または様々な粒度で提供され得る工事の別の仕様）を含みうる。

【0011】

一部の実施形態では、生産性追跡システム１００は、作業現場で工事に関連する情報を受信し、工事の状態を判定し、作業現場に関連付けられたオペレータに工事の進捗を提供する、生産性追跡サービスを提供および／またはサポートしうる。一部の実施例では、生産性追跡システム１００は、作業現場のデジタルモデル（例えば、二次元デジタルモデルおよび／または三次元デジタルモデル）の形態で、工事の進行に関連する情報を提供しうる。デジタルモデルは、断続的に、定期的に、および／または連続的にリアルタイムで更新される画像データ（例えば、撮像装置１０２によって提供される）と、生産性データ（例えば、作業機械１０４、管理プラットフォーム１０６、制御ステーション１０８、および／またはネットワーク記憶装置１１０によって提供される）の組み合わせを使用して生成されうる。生産性追跡サービスおよび／または生産性追跡サービスによって提供される情報は、作業機械１０４のユーザインターフェースを介してローカルオペレータ、および／または生産性追跡サービスの加入者（例えば、遠隔オペレータ、現場監督、監督者、および／または同種のもの）が、制御ステーション１０８（例えば、携帯機器、コンピュータ、および／または同種のもの）を介して、アクセス可能とすることができる。

【0012】

一部の実施形態では、生産性追跡システム１００は、管理プラットフォーム１０６および／またはネットワーク記憶装置１１０と相互作用する、複数の撮像装置１０２、複数の作業機械１０４、および／または複数の制御ステーション１０８を含みうる。一部の実施例では、生産性追跡システム１００は、一つ以上の撮像装置１０２、一つ以上の作業機械１０４、および／または一つ以上の制御ステーション１０８と相互作用する、複数の管理プラットフォーム１０６および／または複数のネットワーク記憶装置１１０を含みうる。生産性追跡システム１００は、手動で操作された作業機械１０４および／または自律的にまたは半自律的に操作された作業機械１０４と共に使用されうる。例えば、生産性追跡システム１００は、作業機械１０４の位置データ、作業機械１０４に関連付けられた作業現場に関連付けられた座標データ、現場計画に関連付けられた座標データおよび／または同種のものに基づいて自律的または半自律的な作業機械１０４を誘導、ナビゲート、および／または制御するために使用されうる。一部の実施例では、作業機械１０４は、ローカルオペレータから、制御ステーション１０８を介して遠隔オペレータから、および／または生産性追跡システム１００の別の装置から、誘導、ナビゲーション、および／または制御情報を受信してもよい。

【0013】

図１にさらに示すように、撮像装置１０２は、作業現場の画像（例えば、デジタル画像および／またはデジタルビデオ）を捕捉するように構成されたデジタルカメラおよび／または同種のものを含む。図１の実施例に示されるように、撮像装置１０２は、作業現場に関連付けられた画像データ（例えば、撮像装置１０２によって捕捉されたデジタル画像および／またはデジタルビデオに関連するデータ）を生成する間に、一つ以上の方向に作業現場を横断することができる無人航空機（例えば、ドローンおよび／または同種のもの）上に配置されうる。撮像装置１０２および／または無人航空機は、オペレータによって遠隔制御されてもよく、および／または自律的もしくは半自律的に操作されてもよい（例えば、作業機械１０４、管理プラットフォーム１０６、制御ステーション１０８、および／またはネットワーク記憶装置１１０を介して提供される指令および／または命令に基づいて）。一部の実施例では、撮像装置１０２は、無人地上車両、無人水上艇、および／または別のタイプの無人車両上に配置されてもよい。一部の実施例では、撮像装置１０２は、手持ち式デジタルカメラ、携帯機器（例えば、スマートフォン、タブレット、ラップトップ、および／または同種のもの）のデジタルカメラ、および／または作業現場の画像を捕捉するための十分な画素密度および／または解像度を有する別のタイプのデジタルカメラに対応し得る。

【0014】

一部の実施形態では、撮像装置１０２は、捕捉された画像と関連付けられる地理空間参照を決定するように構成されうる。例えば、撮像装置１０２および／または無人航空機は、作業現場に対する撮像装置１０２の位置（例えば、地理的座標および／または同種のもの）を決定するように構成された、全地球測位システム（ＧＰＳ）装置、全地球航法衛星システム（ＧＮＳＳ）装置、および／または別の位置感知装置を含みうる。撮像装置１０２は、画像が捕捉された時に、撮像装置１０２の位置に基づいて、捕捉された画像の地理空間参照を決定しうる。撮像装置１０２は、撮像された画像に基づいて画像データを生成し、地理空間参照を画像データに埋め込むか、またはそうでなければ関連付けることができる。撮像装置１０２は、地理空間タグ付き画像ファイル形式（ＧｅｏＴＩＦＦ）、ＬＡＳｅｒ（ＬＡＳ）ファイル形式、ならびに／あるいは作業機械１０４、管理プラットフォーム１０６、制御ステーション１０８、および／またはネットワーク記憶装置１１０が画像データおよび画像データから地理空間参照を取り出し、地理空間参照に基づいて作業現場に対する位置と画像を関連付けることを可能にする、別の適切なファイル形式を使用して画像データを生成しうる。

【0015】

図１にさらに示すように、作業機械１０４は、フレーム１１２、牽引要素１１４、オペレータキャブ１１６、エンジン１１８、一つ以上の感知装置１２０、および制御ユニット１２２を含む。牽引要素１１４は、フレーム１１２に可動可能に結合され、作業機械１０４を推進するためにエンジン１１８によって駆動されるホイール、トラック、および／または同種のものを含みうる。オペレータキャブ１１６は、フレーム１１２に結合され、作業機械１０４のオペレータおよび制御ユニット１２２の一つ以上構成要素を支持するように構成されうる。エンジン１１８は、ディーゼルエンジン、ガソリンエンジン、天然ガスエンジン、ハイブリッドエンジン、電気モータ、および／または作業機械１０４を推進するために牽引要素１１４を駆動するように構成された別の電源を含みうる。一部の実施例では、作業機械１０４は、フレーム１１２に可動可能に結合され、作業機械１０４に関連付けられた作業を行うように構成された、器具１２４（例えば、ブレード、リッパ、ウィンチ、バケツ、シアー、ハンマ、および／または同種のもの）を含みうる。一部の実施例では、作業機械１０４は、作業機械１０４に固定され、作業現場に関連付けられた画像を捕捉し、画像に関連付けられた地理空間参照を決定し、画像に基づいて画像データを生成し、地理空間参照を画像データに埋め込むか、またはそうでなければ地理空間参照を画像データと関連付けるように構成される、オンボード撮像装置１２６（例えば、デジタルカメラおよび／または撮像装置１０２に類似のもの）を含み得る。

【0016】

感知装置１２０は、センサ、スイッチ、エンコーダ、および／または生産性データ（例えば、作業機械１０４の生産性に関連する情報）を提供するように構成された別の装置の組み合わせを含む。例えば、感知装置１２０は、作業機械１０４のエンジン速度、トラックまたはホイール速度、移動速度、トリップ長さ、トリップ持続時間、ランタイム、燃料消費率、エンジン温度、冷却液温度、および／または別の動作状態に関連する情報を提供するように構成されうる。一部の実施例では、感知装置１２０は、作業現場に対する作業機械１０４の位置を提供するように構成されたＧＰＳ装置、ＧＮＳＳ装置、および／または別の位置感知装置を含みうる。感知装置１２０が位置感知装置を含む場合、感知装置１２０によって決定される作業機械１０４の位置は、オンボード撮像装置１２６によって生成される画像データに埋め込まれるか、またはそうでなければ関連付けられる、地理空間参照として使用されうる。作業機械１０４が器具１２４を含む場合、感知装置１２０は、センサ、スイッチ、エンコーダ、および／または器具１２４の動作状態（例えば、切断深度、切断長さ、切断体積、積載または降ろされる資材の体積、および／または作業機械１０４の生産性を決定するために使用できる別の動作状態）に関連する情報を提供するように構成された別の装置を含みうる。

【0017】

制御ユニット１２２は、プロセッサ１２８、メモリ１３０、ユーザインターフェース１３２、および通信装置１３４を含む。プロセッサ１２８は、作業機械１０４および／または生産性追跡システム１００に関連付けられた機能を実行するようにプログラム可能なハードウェア、ファームウェア、および／またはハードウェアとソフトウェアの組み合わせで実装される。メモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、および／またはプロセッサ１２８によって実行される情報および／または命令を格納する別のタイプの動的または静的記憶装置を含む。ユーザインターフェース１３２は、入力装置および出力装置を含む。入力装置は、作業機械１０４のオペレータが、作業機械１０４を操作するための命令、コマンド、および／または別の動作パラメータを指定することを可能にしうる。出力装置は、作業機械１０４のオペレータが、作業現場の画像にアクセスし、現場計画にアクセスし、作業機械１０４に関連付けられた工事に関連する生産性データを監視し、作業機械１０４に関連付けられた工事の状態および／または進捗を監視し、作業現場に対する作業機械１０４の位置および／または別の作業機械１０４に対する位置を追跡し、作業機械１０４に関連付けられた履歴記録にアクセスすることなどを可能にし得る。

【0018】

通信装置１３４は、無線ローカルエリアネットワーク（ＷＬＡＮ）コンポーネント（例えば、Ｗｉ－Ｆｉコンポーネント）、無線周波数（ＲＦ）通信コンポーネント（例えば、Ｂｌｕｅｔｏｏｔｈコンポーネント）、および／または同種のものを含む。通信装置１３４は、作業機械１０４と撮像装置１０２、管理プラットフォーム１０６、制御ステーション１０８、および／またはネットワーク記憶装置１１０との間の通信を可能にしうる。例えば、通信装置１３４は、プロセッサ１２８が、作業現場に関連付けられたマップデータ、作業機械１０４に関連付けられた工事に関連する生産性データ、および／または撮像装置１０２、管理プラットフォーム１０６、制御ステーション１０８、および／またはネットワーク記憶装置１１０から作業現場に関連付けられた画像データを受信することを可能にしうる。一部の実施例では、通信装置１３４は、プロセッサ１２８が、作業機械１０４に関連付けられた生産性データ（例えば、感知装置１２０を介して決定される）および／または作業現場に関連付けられた画像データ（例えば、オンボード撮像装置１２６によって生成される）を管理プラットフォーム、制御ステーション１０８、および／またはネットワーク記憶装置１１０に送信することを可能にしうる。一部の実施例では、制御ユニット１２２は、管理プラットフォーム１０６を介して直接的および／または間接的に、撮像装置１０２、制御ステーション１０８、および／またはネットワーク記憶装置１１０と通信してもよい。

【0019】

図１にさらに示すように、管理プラットフォーム１０６は、プロセッサ１３６、メモリ１３８、および通信装置１４０を含む。プロセッサ１３６は、作業機械１０４および／または生産性追跡システム１００に関連付けられた機能を実行するようにプログラム可能なハードウェア、ファームウェア、および／またはハードウェアとソフトウェアの組み合わせで実装される。メモリ１３８は、プロセッサ１３６によって実行される情報および／または命令を格納するＲＡＭ、ＲＯＭ、および／または別のタイプの動的または静的記憶装置を含む。通信装置１４０は、ＷＬＡＮコンポーネント（例えば、Ｗｉ－Ｆｉコンポーネント）、ＲＦ通信コンポーネント（例えば、Ｂｌｕｅｔｏｏｔｈコンポーネント）、位置決めコンポーネント（例えば、ＧＰＳコンポーネント、ＧＮＳＳコンポーネント）、および／または同種のものを含む。通信装置１４０は、プロセッサ１３６が、作業現場に関連付けられたマップデータ、作業機械１０４に関連付けられた工事に関連する生産性データ、および／または撮像装置１０２、作業機械１０４、管理プラットフォーム１０６、制御ステーション１０８、および／またはネットワーク記憶装置１１０を持つ作業現場に関連付けられた画像データを交換することを可能にしうる。一部の実施例では、通信装置１４０は、撮像装置１０２、作業機械１０４、管理プラットフォーム１０６、制御ステーション１０８、および／またはネットワーク記憶装置１１０の間で、マップデータ、生産性データ、および／または画像データの交換を可能にしうる。

【0020】

図１にさらに示すように、制御ステーション１０８は、プロセッサ１４２、メモリ１４４、ユーザインターフェース１４６、および通信装置１４８を含む。プロセッサ１４２は、作業機械１０４および／または生産性追跡システム１００に関連付けられた機能を実行するようにプログラム可能なハードウェア、ファームウェア、および／またはハードウェアとソフトウェアの組み合わせで実装される。メモリ１４４は、プロセッサ１４２によって実行される情報および／または命令を格納するＲＡＭ、ＲＯＭ、および／または別のタイプの動的もしくは静的記憶装置を含む。ユーザインターフェース１４６は、入力装置および出力装置を含む。入力装置は、作業機械１０４の遠隔オペレータが、作業機械１０４を操作するための命令、コマンド、および／または別の動作パラメータを指定することを可能にしうる。出力装置は、作業機械１０４の遠隔オペレータが作業現場の画像にアクセスすること、現場計画にアクセスすること、作業機械１０４に関連付けられた工事に関連する生産性データを監視すること、作業機械１０４に関連付けられた工事の状態および／または進捗を監視すること、作業現場および／または別の作業機械１０４に対する作業機械１０４の位置を追跡すること、作業機械１０４に関連付けられた履歴記録にアクセスすること、および／または類似のものを可能にしうる。

【0021】

通信装置１４８は、無線ローカルエリアネットワーク（ＷＬＡＮ）コンポーネント（例えば、Ｗｉ－Ｆｉコンポーネント）、無線周波数（ＲＦ）通信コンポーネント（例えば、Ｂｌｕｅｔｏｏｔｈコンポーネント）、および／または同種のものを含む。通信装置１４８は、制御ステーション１０８と撮像装置１０２、作業機械１０４、管理プラットフォーム１０６、および／またはネットワーク記憶装置１１０との間の通信を可能にしうる。例えば、通信装置１４８は、プロセッサ１４２が、作業現場に関連付けられたマップデータ、作業機械１０４に関連付けられた工事に関連する生産性データ、および／または撮像装置１０２、作業機械１０４、管理プラットフォーム１０６、および／またはネットワーク記憶装置１１０を持つ作業現場に関連付けられた画像データを交換することを可能にしうる。一部の実施例では、通信装置１４８は、マップデータ、生産性データ、および／または画像データを、撮像装置１０２、作業機械１０４、管理プラットフォーム１０６、および／またはネットワーク記憶装置１１０の間で交換することを可能にしうる。一部の実施例では、制御ステーション１０８は、管理プラットフォーム１０６を介して、直接的および／または間接的に、作業機械１０４および／またはネットワーク記憶装置１１０と通信してもよい。追加的に、または代替的に、制御ステーション１０８は、管理プラットフォーム１０６のユーザインターフェースとして機能しうる。

【0022】

図１にさらに示すように、ネットワーク記憶装置１１０は、情報を記憶、処理、および／またはルーティングすることができる一つ以上の装置を含む。ネットワーク記憶装置１１０は、例えば、サーバ装置、データ構造を格納する装置、クラウドコンピューティング環境またはデータセンタ内の装置、および／または同種のものを含みうる。いくつかの実施例では、ネットワーク記憶装置１１０は、ネットワーク記憶装置１１０が、作業機械１０４、管理プラットフォーム１０６、制御ステーション１０８、および／または生産性追跡システム１００に関連付けられた別の装置から情報を受信し、および／またはそれらに情報を送信することを可能にする通信インターフェースを含み得る。いくつかの実施例では、ネットワーク記憶装置１１０は、作業機械１０４および／または生産性追跡システム１００に関連する情報を格納しうる。例えば、ネットワーク記憶装置１１０は、作業現場に関連付けられたマップデータ、作業機械１０４に関連付けられた工事に関連する生産性データ、および／または作業現場に関連付けられた画像データを格納するために使用されてもよく、撮像装置１０２、作業機械１０４、管理プラットフォーム１０６、および／または制御ステーション１０８が、マップデータ、生産性データ、および／または画像データにアクセスできるようにしてもよい。

【0023】

上述のように、図１は、一実施例として提供されている。他の例は、図１に関連して記載されたものと異なる場合がある。

【0024】

図２Ａ～２Ｄは、本明細書に記載の生産性追跡システム１００の例示的な実施形態２００の図である。図２Ａに示すように、生産性追跡システム１００（例えば、制御ユニット１２２、管理プラットフォーム１０６、および／または制御ステーション１０８を介する）は、作業現場２０４に関連付けられたマップデータに基づいて、マップ層２０２を生成するように構成されうる。マップデータは、作業現場２０４に関連付けられた地理的属性および地理的属性に関連付けられた地理的座標に関連する情報を含みうる。例えば、マップデータは、作業現場２０４に続く道、作業現場２０４の境界、作業現場２０４に関連付けられた目印、作業現場２０４に関連付けられた固定構造、作業現場２０４に関連付けられた基準点、および／または作業現場２０４の位置の特定および／または画定を支援する別の地理的基準に対応する地理的座標を含みうる。一部の実施例では、マップ層２０２は、マップデータに基づいて取得される、マップタイル２０６のグリッドを使用して生成されうる。マップタイル２０６は、対応する地理的座標に従って配置される、作業現場２０４に関連付けられた異なる地理的領域の視覚的表現を提供しうる。

【0025】

一部の実施形態では、生産性追跡システム１００は、示されるものとは異なる配置のマップタイル２０６を使用して、マップ層２０２を生成するように構成されうる。例えば、マップ層２０２は、示されるよりも多いより小さいマップタイル２０６、または示されるよりも少ないより大きいマップタイル２０６を使用して形成されてもよい。一部の実施例では、生産性追跡システム１００は、個々のマップタイル２０６の寸法を調整して、マップ層２０２のズームレベルを変えても、および／またはマップ層２０２の解像度を変えてもよい。追加的に、または代替的に、生産性追跡システム１００は、個々のマップタイル２０６の画素解像度を調整して、マップ層２０２の解像度を変えてもよい。一部の実施例では、マップ層２０２は、グリッド配置とは異なる形式で配置されるマップタイル２０６を使用して形成されうる。マップデータおよび／または対応するマップタイル２０６は、ネットワーク記憶装置１１０および／または生産性追跡システム１００にアクセス可能な別のリソースから取得されうる。一部の実施例では、生産性追跡システム１００は、（例えば、作業機械１０４のユーザインターフェース１３２および／または制御ステーション１０８のユーザインターフェース１４６を介して）オペレータから受信した入力に従って、マップ層２０２を介して描写される、作業現場２０４の視界（例えば、ズームレベル、パン方向、および／または同種のもの）を調整するように構成されうる。

【0026】

図２Ｂに示すように、生産性追跡システム１００は、作業現場２０４に関連付けられた画像データに基づいて、画像層２０８を生成するように構成されうる。画像データは、作業現場２０４で作業機械１０４によって実行される工事の状態に対応する画像、および画像に関連付けられた地理空間参照に関連する情報を含みうる。例えば、画像は、閾値時間内（例えば、秒、分、時間、日、週、および／または同種のものの範囲）に捕捉される作業現場２０４の状態を、作業現場２０４の解像度の閾値の程度、および／または作業現場２０４の別の属性に対応させうる。画像データは、画像を捕捉し、画像に関連付けられた地理空間参照を決定し、画像に基づいて画像データを生成し、地理空間参照を画像データに埋め込むように構成された撮像装置１０２から受信されてもよい。一部の実施例では、画像データは、画像に対応する画像タイル２１０のグリッドに変換されてもよい。画像タイル２１０は、それぞれの地理空間参照に従って配置される、作業現場２０４に関連付けられた異なる地理的領域の断面画像を描写しうる。画像タイル２１０のグリッドは、マップタイル２０６のグリッドに対応するようにサイズ設定され、空間的に配置されてもよい。作業現場２０４の空中図で示されているが、画像層２０８は、作業現場２０４の異なる図（例えば、作業機械１０４のオンボード撮像装置１２６を介して提供される画像データを使用する、作業現場２０４の表面レベル図）を提供してもよい。

【0027】

一部の実施形態では、生産性追跡システム１００は、示されるものとは異なる画像タイル２１０の配置を使用して、画像層２０８を生成するように構成されうる。生産性追跡システム１００は、個々の画像タイル２１０の寸法を調整して、画像層２０８のズームレベルを変え、および／または画像層２０８の解像度を変えてもよい。追加的に、または代替的に、生産性追跡システム１００は、個々の画像タイル２１０のピクセル解像度を調整して、画像層２０８の解像度を変えてもよい。一部の実施例では、画像層２０８は、グリッド配置とは異なる形式で配置される画像タイル２１０を使用して形成されてもよい。画像層２０８は、断続的に、定期的に、および／または連続的にリアルタイムで更新されうる。例えば、生産性追跡システム１００（例えば、制御ユニット１２２、管理プラットフォーム１０６、および／または制御ステーション１０８を介する）は、作業現場２０４に関連付けられた更新された画像を捕捉するために、コマンド信号を撮像装置１０２および／またはオンボード撮像装置１２６に送信して、更新された画像に基づいて更新された画像データを生成するように構成されてもよい。一部の実施例では、生産性追跡システム１００は、オペレータから受信した入力に従って、画像層２０８を介して描写される作業現場２０４の図を調整するように構成されうる。

【0028】

図２Ｃに示すように、生産性追跡システム１００は、作業現場２０４に関連付けられた生産性データに基づいて生産性層２１２を生成するように構成されうる。生産性データは、作業現場２０４に関連付けられた工事の状態に関連する情報を含みうる。生産性データは、作業機械１０４（例えば、感知装置１２０）、管理プラットフォーム１０６、制御ステーション１０８、および／またはネットワーク記憶装置１１０を介して提供される情報を介して取得されうる。一部の実施例では、生産性データは、オペレータによって手動で入力されてもよく、および／または作業機械１０４の性能、作業現場２０４の調査、および／または同種のものに関連する情報の評価に基づいて導き出されてもよい。例えば、生産性データが、作業機械１０４の位置と、作業機械１０４の作業と、作業機械１０４の動作パラメータと、作業機械１０４の動作状態と、作業現場２０４に関連付けられた測定値と、作業現場２０４に関連付けられた目標作業経路の位置と、作業現場２０４に関連付けられた備蓄品の位置と、備蓄品の測定値と、関連付けられた現場計画に対する工事の進捗と、および／または工事の進捗を追跡するために使用できるその他の情報に関する情報を含んでもよい。一部の実施例では、生産性データは、生産性指数（例えば、評価、スコア、および／または生産性データを定量化するための別の指標）を含みうる。

【0029】

一部の実施形態では、生産性追跡システム１００は、生産性データに関連付けられた視覚的表示（例えば、記号、アノテーション、および／または同種のもの）を生成し、視覚的表示を含む生産性層２１２を生成するように構成されうる。図２Ｃの実施例に示されるように、生産性層２１２は、作業現場２０４に対する作業機械１０４の位置および／または見出しを表す第一の記号２１４、作業現場２０４内の備蓄品の位置を表す第二の記号２１６、および／または同種のものを含みうる。いくつかの実施例では、生産性層２１２は、作業機械１０４に関連する情報（例えば、位置、現在の作業、動作状態、作業機械１０４の生産性指数、および／または同種のもの）、備蓄品に関連する情報（例えば、備蓄品の残量、移動された備蓄品の量、および／または同種のもの）、および／または工事の全体的な進捗に関連する情報（例えば、一般的な生産性指数、現場計画に対して完了した工事の割合、現場計画に対する残りの工事の割合、工事開始から経過した日数、完了までの残りの日数、および／または同種のもの）を提供するアノテーション２１８を含みうる。

【0030】

一部の実施では、生産性追跡システム１００は、生産性層２１２を断続的に、定期的に、および／または連続的にリアルタイムで更新するよう構成されてもよい。生産性追跡システム１００は、（例えば、制御ユニット１２２、管理プラットフォーム１０６、および／または制御ステーション１０８を介して）更新された生産性データを取得し、更新された生産性データに従って生産性層２１２の視覚的表示を調整するように構成されうる。例えば、第一の記号２１４の位置および／または配向は、作業機械１０４の位置および／または見出しの変化に応じて調整されてもよく、アノテーション２１８のコンテンツは、工事の状態または進捗の変化に応じて変更されてもよい。一部の実施例では、生産性追跡システム１００は、生産性データが画像データと一致するように、同期間隔に従って生産性層２１２および画像層２０８を更新しうる。いくつかの実施例では、生産性追跡システム１００は、生産性層２１２で検出された変化に基づいて画像層２０８を更新してもよく、および／または画像層２０８で検出された変化に基づいて、生産性層２１２を更新してもよい。追加的に、または代替的に、生産性追跡システム１００は、オペレータ入力に従って、生産性層２１２を介して提供される図および／またはコンテンツを調整するように構成されうる。

【0031】

図２Ｄに示すように、生産性追跡システム１００は、マップ層２０２、画像層２０８、および／または生産性層２１２に基づいて、作業現場２０４の複合画像２２０を生成するように構成されうる。例えば、生産性追跡システム１００は、画像層２０８に関連付けられた地理空間参照が、マップ層２０２に関連付けられた地理的座標に対応するように、マップ層２０２に対して、画像層２０８をマージ、オーバーレイ、スーパーインポーズ、および／またはそうでなければ位置付けしてもよい。マップタイル２０６および画像タイル２１０が使用されている場合、画像タイルのグリッド２１０は、マップタイルのグリッド２０６に対応するようにサイズ設定され、空間的に配置されてもよい。いくつかの実施例では、生産性追跡システム１００は、画像層２０８および／またはマップ層２０２に対して、生産性層２１２をマージ、オーバーレイ、スーパーインポーズ、および／またはそうでなければ位置決定してもよい。生産性層２１２が、位置情報に関連する視覚的表示（例えば、第一の記号２１４は、作業機械１０４の位置を示し、第二の記号２１６は、備蓄品の位置を示すなどの）を含む場合、視覚的表示が、複合画像２２０が、作業現場２０４に関連付けられたマップデータ、画像データ、および／または生産性データに関連する情報の組み合わせを描写するように画像層２０８の対応する地理空間参照、および／またはマップ層２０２の対応する地理的座標に位置付けられてもよい。

【0032】

一部の実施形態では、生産性追跡システム１００は、複合画像２２０を断続的に、定期的に、および／または連続的にリアルタイムで更新するよう構成されてもよい。例えば、生産性追跡システム１００は、更新された画像データに基づいて画像層２０８を修正し、更新された生産性データに基づいて生産性層２１２を修正し、修正された画像層２０８および／または修正された生産性層２１２で更新された複合画像２２０を生成しうる。追加的に、または代替的に、生産性追跡システム１００は、更新された画像データおよび／または更新された生産性データに基づく新しい生産性層２１２に基づいて新しい画像層２０８を生成し、新しい画像層２０８および／または新しい生産性層２１２に基づいて新しい複合画像２２０を生成しうる。いくつかの実施例では、生産性追跡システム１００によって、オペレータが複合画像２２０と相互作用して、複合画像２２０を介して提供される図および／またはコンテンツを調整することを可能にしうる。例えば、オペレータは、ズームレベルを調整し、パン方向を調整し、視覚的表示を修正し、異なる層の組み合わせを表示するなどのことができる可能性がある。

【0033】

一部の実施形態では、生産性追跡システム１００は、複合画像２２０に基づいてアクションが実行されるようにさせるように構成されうる。例えば、生産性追跡システム１００は、作業現場２０４の連続複合画像２２０および連続複合画像２２０が生成された時のそれぞれのタイムスタンプの記録を生成しうる。いくつかの実施例では、生産性追跡システム１００は、それぞれのタイムスタンプを介してインデックス付けされる連続複合画像２２０のカタログを生成し、カタログを、ネットワーク記憶装置１１０および／またはオペレータがアクセス可能な別のデータ構造に格納しうる。例えば、オペレータは、カタログを使用して、作業現場２０４での工事の前の状態を見てもよい。追加的に、または代替的に、オペレータは、カタログを使用して、連続複合画像２２０を比較し、連続複合画像２２０間の状態の変化に基づいて、作業現場２０４での工事の進捗を観察することができる。いくつかの実施例では、生産性追跡システム１００は、変化検出モデルおよび／または別のコンピュータビジョンモデルを使用して、連続複合画像２２０を比較し、連続複合画像２２０間の視覚的差異を識別し、視覚的差異に基づいて、作業現場２０４に関連付けられた工事の状態および／または進捗を判定しうる。

【0034】

一部の実施形態では、生産性追跡システム１００は、作業現場２０４に関連付けられた更新された画像を捕捉するために、コマンド信号を撮像装置１０２に送信し、更新された画像に基づいて更新された画像データを生成するように構成されうる。撮像装置１０２が無人航空機である場合、生産性追跡システム１００は、撮像装置１０２を所望の有利な地点に展開させ、および／または作業現場２０４に対して所望の経路を横断させ、作業現場２０４の更新された画像を捕捉させるコマンド信号を送信しうる。生産性追跡システム１００は、断続的におよび／または周期的に、撮像装置１０２を自動的に展開しうる。追加的に、または代替的に、生産性追跡システム１００は、撮像装置１０２に、固定位置でホバリングし、閾値持続時間の間、作業現場２０４の更新画像を連続的に捕捉するよう指示しうる。一部の実施例では、生産性追跡システム１００は、作業現場２０４に関連付けられた現場計画に関連する調査データを受信するように構成されうる。生産性追跡システム１００は、調査データに基づいて調査層を生成し、調査層に基づいて作業現場２０４の複合画像２２０を生成しうる。例えば、調査層は、作業現場２０４の工事の進捗を現場計画に対してオペレータが視覚的に観察することを可能にする方法で、マップ層２０２、画像層２０８、および／または生産性層２１２に対して位置付けられうる。

【0035】

上記のように、図２Ａ～２Ｄを実施例として提供する。他の実施例は、図２Ａ～２Ｄに関連して記載されたものとは異なる場合がある。

【0036】

図３は、作業現場における工事の生産性を追跡するための例示的なプロセス３００のフローチャートである。図３の一つ以上のプロセスブロックは、管理プラットフォーム（例えば、生産性追跡システム１００の管理プラットフォーム１０６）によって、および／または管理プラットフォームとは別個のまたは管理プラットフォームを含む別のコンポーネントもしくはコンポーネントの群（例えば、作業機械１０４の撮像装置１０２、制御ユニット１２２、生産性追跡システム１００の制御ステーション１０８、ネットワーク記憶装置１１０、および／または別の装置）によって実行されてもよい。

【0037】

図３に示すように、プロセス３００は、作業現場に関連付けられたマップデータを受信することを含んでもよく、マップデータは、作業現場に関連付けられた地理的属性および地理的属性に関連付けられた地理的座標に関連する情報を含む（ブロック３０２）。例えば、管理プラットフォーム（例えば、プロセッサ１３６、メモリ１３８、通信装置１４０、および／または同種のものを使用する）は、上述のように、作業現場に関連付けられたマップデータを受信しうる。マップデータは、作業現場に関連付けられた地理的属性および地理的属性に関連付けられた地理的座標に関連する情報を含みうる。

【0038】

図３にさらに示すように、プロセス３００は、作業現場に関連付けられた生産性データを受信することを含んでもよく、生産性データは、作業現場に関連付けられた工事の状態に関連する情報を含む（ブロック３０４）。例えば、管理プラットフォーム（例えば、プロセッサ１３６、メモリ１３８、通信装置１４０、および／または同種のものを使用する）は、上述のように、作業現場に関連付けられた生産性データを受信しうる。生産性データは、作業現場に関連付けられた工事の状態に関連する情報を含みうる。

【0039】

図３にさらに示すように、プロセス３００は、作業現場に関連付けられた画像データを受信することを含んでもよく、画像データは、工事の状態に対応する画像および画像に関連付けられた地理空間参照に関連する情報を含む（ブロック３０６）。例えば、管理プラットフォーム（例えば、プロセッサ１３６、メモリ１３８、通信装置１４０、および／または同種のものを使用する）は、上述のように、作業現場に関連付けられた画像データを受信しうる。画像データは、工事の状態に対応する画像、および画像に関連付けられた地理空間参照に関連する情報を含みうる。

【0040】

図３にさらに示すように、プロセス３００は、マップデータに基づいて、マップ層を生成することを含みうる（ブロック３０８）。例えば、管理プラットフォーム（例えば、プロセッサ１３６、メモリ１３８、通信装置１４０、および／または同種のものを使用する）は、上述のように、マップデータに基づいてマップ層を生成しうる。

【0041】

図３にさらに示すように、プロセス３００は、画像データに基づいて画像層を生成することを含みうる（ブロック３１０）。例えば、管理プラットフォーム（例えば、プロセッサ１３６、メモリ１３８、通信装置１４０、および／または同種のものを使用する）は、上述のように、画像データに基づいて画像層を生成しうる。

【0042】

図３にさらに示すように、プロセス３００は、生産性データに基づいて生産性層を生成することを含みうる（ブロック３１２）。例えば、管理プラットフォーム（例えば、プロセッサ１３６、メモリ１３８、通信装置１４０、および／または同種のものを使用する）は、上述のように、生産性データに基づいて生産性層を生成しうる。

【0043】

図３にさらに示すように、プロセス３００は、マップ層、画像層、および生産性層に基づいて、作業現場の複合画像を生成することを含んでもよく、複合層は、地理空間参照および地理空間参照に対応する地理的座標に基づいてマップ層に対して画像層を位置付け、画像層に対して生産性層を位置付ける（ブロック３１４）。例えば、管理プラットフォーム（例えば、プロセッサ１３６、メモリ１３８、通信装置１４０、および／または同種のものを使用する）は、上述のように、マップ層、画像層、および生産性層に基づいて、作業現場の複合画像を生成しうる。複合画像は、地理空間参照および地理空間参照に対応する地理的座標に基づいて、マップ層に対して画像層を位置付け、画像層に対して生産性層を位置付けうる。

【0044】

図３にさらに示すように、プロセス３００は、複合画像に基づいて、アクションが実行されるようにさせることを含み得る（ブロック３１６）。例えば、管理プラットフォーム（例えば、プロセッサ１３６、メモリ１３８、通信装置１４０、および／または同種のものを使用する）は、上述のように、複合画像に基づいてアクションが実行されるようにさせうる。

【0045】

プロセス３００は、本明細書の他の箇所に記載される任意の単一の実施形態、または実施形態の任意の組み合わせなど、図３に関連して記載されるものに対する変形および／または追加の実施形態を含みうる。図３は、プロセス３００の例示的なブロックを示すが、一部の実施例では、プロセス３００は、図３に描写したものよりも、追加のブロック、より少ないブロック、異なるブロック、または異なる配置のブロックを含みうる。追加的に、または代替的に、プロセス３００のブロックのうちの二つ以上が並列に実行されてもよい。

【産業上の利用可能性】

【0046】

作業現場は、作業を実施するために個別に操作され、現場計画に従って工事を完了するように集合的に管理される、一つ以上の作業機械を含みうる。工事は、建設、舗装、解体、鉱業、造園、林業、パイプライン、および／または他の産業用途に関連しうる。現場計画には、作業現場の初期または以前の調査に基づいて設計される、作業現場で行われる工事の仕様を含めることができる。一部の事例では、追跡ツールを使用して、現場計画に対する工事の進捗を追跡しうる。追跡ツールは、更新された調査データ（例えば、作業現場内の構造的および／または地理的な変化に関連する）、生産性データ（例えば、作業現場内の作業機械の位置および／または動作状態に関連する）、および／または進捗を追跡するために使用できるその他の情報に基づいて、断続的に、定期的に、および／または連続的にリアルタイムで更新されうる。一部の事例では、追跡ツールは、作業機械のオペレータを誘導するために使用できる、作業現場の二次元デジタルモデルおよび／または三次元デジタルモデルを提供しうる。例えば、追跡ツールは、携帯機器、制御ステーション、作業機械内のディスプレイ、および／または別のユーザインターフェースを介して、遠隔オペレータおよび／またはローカルオペレータがアクセスできるようにしてもよい。

【0047】

一部の事例では、追跡ツールは、作業機械、備蓄品、および／または作業現場に関連付けられた別の資産もしくは属性のそれぞれの位置を示す、作業現場の画像を有するマップビューを提供しうる。作業現場内の資産および／または属性のそれぞれの位置は、作業機械によって提供される情報から取得および／または導出される生産性データに基づいて更新されうる。しかしながら、作業現場を描写するために使用される画像は、時代遅れである場合があり（例えば、時代遅れの衛星画像に基づいて）、追跡ツールに依存するオペレータにとってこれは不正確であり、および／または誤解を招く場合がある。一部の事例では、オペレータは、作業現場を調査するために、撮像装置を有するドローンを使用してもよい。例えば、ドローンは、作業現場の状態を視覚的に評価するためにオペレータが使用できる、作業現場の更新された画像を捕捉するために使用されうる。しかしながら、ドローンは、作業現場内の作業の進捗を追跡するために使用できる情報（例えば、作業機械からの生産性データ）を提供しない。したがって、オペレータは、作業現場の状態を評価するために、追跡ツールを介して提供される情報およびドローンを介して提供される情報を別々に分析する必要がある場合がある。単一の工事を分析するために別個のシステムを使用することで、エラー、遅延、作業機械の非効率的な使用、および計算および／またはネットワークリソースの非効率的な使用が生じる場合がある。

【0048】

本明細書に記載される画像ベースの生産性追跡システムは、更新された画像データおよび更新された生産性データの両方を利用して、工事の進捗を追跡する単一のリソースを提供する。例えば、画像ベースの生産性追跡システムは、撮像装置から受信した更新された画像データを使用して画像層を生成し、作業機械から受信した更新された生産性データを使用して生産性層を生成し、画像層および生産性層に基づいて作業現場の複合画像を生成しうる。複合画像は、画像データに関連付けられた地理空間参照およびマップ層に関連付けられた地理的座標に基づいて、マップ層に対して画像層を位置付けうる。生産性層は、画像層内の資産および／または属性にインデックス付けする視覚的表示および／またはアノテーションを提供しうる。一部の実施例では、画像ベースの生産性追跡システムは、連続複合画像間の手動および／または機械ベースの視覚的比較を可能にして、工事の進捗を判定しうる。いくつかの実施例では、画像ベースの生産性追跡システムは、撮像装置を、断続的に、定期的に、および／または連続的に、更新された画像を取得するように制御しうる。

【0049】

したがって、本明細書に記載の画像ベースの生産性追跡システムは、画像ベースおよびデータベースの両方の作業現場における工事の進捗の追跡を可能にしうる。工事の進捗に関連する画像データおよび生産性データを取得するために、複数の異なるシステムを参照する必要性を克服することによって、画像ベースの生産性追跡システムは、こうした画像データおよび生産性データを取得するためにそうでなければ必要とされうる計算リソースおよび／またはネットワークリソースを節約する。追加的に、画像データおよび生産性データの両方が単一のリソースによって処理されるため、画像ベースの生産性追跡システムは、別個のシステムからの分析を裏付けているときに、そうでなければ起こりうる曖昧さおよび誤差の機会を低減する。それによって、画像ベースの生産性追跡システムによって、オペレータは工事の進捗をより正確に、より少ない時間で追跡することが可能となる。画像ベースの生産性追跡システムにより、オペレータは、現場計画からの誤差または逸脱を速やかに特定および修正することができる。さらに、画像ベースの生産性追跡システムは、より効率的に工事を完了させ、それによってエネルギー（例えば、燃料、ガス、電気、および／または同種のもの）を節約し、作業機械の不必要な摩耗を低減することを可能にする。

【図1】

【図2-1】

【図2-2】

【図3】

【国際調査報告】