特開 2023-736 計測システム、計測方法および計測用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023000736

(43)【公開日】2023-01-04

(54)【発明の名称】計測システム、計測方法および計測用プログラム

(51)【国際特許分類】

   G01C 15/00 20060101AFI20221222BHJP

【ＦＩ】

G01C15/00 103Z

G01C15/00 104C

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021101725

(22)【出願日】2021-06-18

(71)【出願人】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】100096884

【弁理士】

【氏名又は名称】末成 幹生

(72)【発明者】

【氏名】佐々木 陽

(57)【要約】

【課題】工事現場における現場資源の稼働状況の調査を効率よく行う。
【解決手段】
カメラと、レーザー光を用いた測位機能を備えた測量装置１００を用いた計測システムであって、前記カメラにより工事現場において作業を行う現場資源である重機２０１～２０４を連続して撮影する撮影手段と、前記撮影により得た撮影画像の中から前記現場資源を認識する認識手段と、前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡手段と、前記追跡の対象となる前記現場資源への視準を行い、該現場資源の測位を前記測位機能を用いて行う測位手段とを有し、前記測位が時間をおいて複数回行われる計測システム。
【選択図】図１

【特許請求の範囲】

【請求項1】

工事現場において作業を行う現場資源を連続して撮影するカメラと、
前記撮影により得た撮影画像の中から前記現場資源を認識する認識手段と、
前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡手段と、
前記追跡の対象となる前記現場資源への視準を行い、レーザー光を用いて前記現場資源の測位を行う測位手段と
を有し、
前記測位が時間をおいて複数回行われる計測システム。

【請求項2】

前記現場資源の移動の推移を表示したマップ作成手段を有する請求項１に記載の計測システム。

【請求項3】

前記現場資源の認識は、
前記カメラにより撮影された画像と、
予め用意された認識の対象となる現場資源の三次元モデルを異なる複数の視点から見た画像と
の比較により行われる請求項１または２に記載の計測システム。

【請求項4】

前記現場資源が重機である請求項３に記載の計測システム。

【請求項5】

前記重機は、走行のためのベース部と該ベース部上において動く可動部とを備え、
前記測位の結果に基づき、前記測位された点ではなく、前記ベース部に固定された点を移動中心として算出する移動中心算出手段を備える請求項４に記載の計測システム。

【請求項6】

前記カメラの外部標定要素と前記測位手段の外部標定要素との関係は既知であり、
前記関係に基づき、前記カメラにより撮影された前記重機の画像における前記レーザー光の反射点の位置が第１の関係として求められ、
前記比較により、前記カメラにより撮影された前記重機の画像に対応する三次元モデルが第２の関係として求められ、
前記第１の関係および前記第２の関係に基づき、前記重機の三次元モデルにおける前記レーザー光の反射点の位置が求められ、
前記重機の三次元モデルにおける前記レーザー光の反射点の位置に基づき、前記移動中心が算出される請求項５に記載の計測システム。

【請求項7】

前記現場資源は複数であり、
前記複数の現場資源のそれぞれに対して前記追跡が行われ、
前記視準が行われている間も前記連続した撮影は継続され、
前記視準が行われている間に前記視準の対象でない現場資源への前記追跡が行われる請求項１～６のいずれか一項に記載の計測システム。

【請求項8】

工事現場において作業を行う現場資源をカメラにより連続して撮影するステップと、
前記撮影により得た撮影画像の中から前記現場資源を認識する認識ステップと、
前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡ステップと、
前記追跡の対象となる前記現場資源への視準を行い、レーザー光を用いて前記現場資源の測位を行う測位ステップと
を有し、
前記測位が時間をおいて複数回行われる計測方法。

【請求項9】

コンピュータに実行させる計測用プログラムであって、
コンピュータに
工事現場において作業を行う現場資源をカメラにより連続して撮影するステップと、
前記撮影により得た撮影画像の中から前記現場資源を認識する認識ステップと、
前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡ステップと、
前記追跡の対象となる前記現場資源への視準を行い、レーザー光を用いて前記現場資源の測位を行う測位ステップと
を実行させ、
前記測位が時間をおいて複数回行われる計測用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、工事現場における重機等の現場資源の稼働状態を把握する技術に関する。

【背景技術】

【0002】

工事現場における重機等の現場資源の稼働効率の向上が求められている。そのためには、現場資源の稼働状況を調べる必用がある。例えば、特許文献１には、飛行するＵＡＶから撮影した画像を用いて重機を識別し、重機の移動を追跡する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１５９５６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

工事現場における重機等の現場資源の稼働状況の調査では、極力人出を必要とせず、また自動化されていることが望まれる。このような背景において、本発明は、工事現場における現場資源の稼働状況の調査を効率よく行う技術の提供を目的とする。

【課題を解決するための手段】

【0005】

本発明は、工事現場において作業を行う現場資源を連続して撮影するカメラと、前記撮影により得た撮影画像の中から前記現場資源を認識する認識手段と、前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡手段と、前記追跡の対象となる前記現場資源への視準を行い、レーザー光を用いて前記現場資源の測位を行う測位手段とを有し、前記測位が時間をおいて複数回行われる計測システムである。

【0006】

本発明において、前記現場資源の移動の推移を表示したマップ作成手段を有する態様は好ましい。本発明において、前記現場資源の認識は、前記カメラにより撮影された画像と、予め用意された認識の対象となる現場資源の三次元モデルを異なる複数の視点から見た画像との比較により行われる態様は好ましい。

【0007】

本発明において、前記現場資源が重機である態様が挙げられる。ここで、前記重機は、走行のためのベース部と該ベース部上において動く可動部とを備え、前記測位の結果に基づき、前記測位された点ではなく、前記ベース部に固定された点を移動中心として算出する移動中心算出手段を備える態様が挙げられる。

【0008】

本発明において、前記カメラの外部標定要素と前記測位手段の外部標定要素との関係は既知であり、前記関係に基づき、前記カメラにより撮影された前記重機の画像における前記レーザー光の反射点の位置が第１の関係として求められ、前記比較により、前記カメラにより撮影された前記重機の画像に対応する三次元モデルが第２の関係として求められ、前記第１の関係および前記第２の関係に基づき、前記重機の三次元モデルにおける前記レーザー光の反射点の位置が求められ、前記重機の三次元モデルにおける前記レーザー光の反射点の位置に基づき、前記移動中心が算出される態様が挙げられる。

【0009】

本発明において、前記現場資源は複数であり、前記複数の現場資源のそれぞれに対して前記追跡が行われ、前記視準が行われている間も前記連続した撮影は継続され、前記視準が行われている間に前記視準の対象でない現場資源への前記追跡が行われる態様が挙げられる。

【0010】

本発明は、工事現場において作業を行う現場資源をカメラにより連続して撮影するステップと、前記撮影により得た撮影画像の中から前記現場資源を認識する認識ステップと、前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡ステップと、前記追跡の対象となる前記現場資源への視準を行い、レーザー光を用いて前記現場資源の測位を行う測位ステップとを有し、前記測位が時間をおいて複数回行われる計測方法として把握することもできる。

【0011】

本発明は、コンピュータに実行させる計測用プログラムであって、コンピュータに工事現場において作業を行う現場資源をカメラにより連続して撮影するステップと、前記撮影により得た撮影画像の中から前記現場資源を認識する認識ステップと、前記連続した撮影により得た複数の撮影画像において、前記認識した前記現場資源の画像を追跡する追跡ステップと、前記追跡の対象となる前記現場資源への視準を行い、レーザー光を用いて前記現場資源の測位を行う測位ステップとを実行させ、前記測位が時間をおいて複数回行われる計測用プログラムとして把握することもできる。

【発明の効果】

【0012】

本発明によれば、工事現場における現場資源の稼働状況の調査を効率よく行える。

【図面の簡単な説明】

【0013】

【図1】発明を利用した計測システムの概要を示す概念図である。

【図2】測量装置を前方から見た斜視図（Ａ）と後方から見た斜視図（Ｂ）である。

【図3】測量装置のブロック図である。

【図4】処理の手順の一例を示すフローチャートである。

【図5】処理の手順の一例を示すフローチャートである。

【図6】重機の斜視図である。

【図7】処理の手順の一例を示すフローチャートである。

【図8】重機と作業員の位置をプロットした図（Ａ），（Ｂ），（Ｃ）である。

【図9】重機と作業員の位置をプロットした図である。

【図10】走行する重機を撮影した撮影画像を示すモデル図（Ａ），（Ｂ），（Ｃ）である。

【発明を実施するための形態】

【0014】

１．第１の実施形態
（概要）
図１に本発明を利用した計測システムの一例が示されている。図１には、測量装置１００が示されている。測量装置１００は、カメラ、レーザー測位機能、測量対象の自動追尾機能を有するトータルステーションである。測量装置１００は、自身が備えたカメラが撮影した画像中からの追跡対象物の識別、この識別した対象物の撮影画像中での追跡、当該対象物のレーザー光を用いた測位を行う。測量装置１００の詳細については後述する。

【0015】

図１には、重機２０１～２０４、土木作業を行う作業員３０１～３０４が示されている。この例では、重機２０１～２０４および作業員３０１～３０４が現場資源である。これら現場資源の稼働状況が測量装置１００により計測される。現場資源は、工事現場で工事に携わる機械や人であり、移動するものが対象となる。現場資源として扱う機械としては、移動が可能な各種の重機、電源、コンクリートミキサー、コンプレッサー等が挙げられる。

【0016】

測量装置１００は、カメラによる作業現場の撮影を行う。この撮影画像中から追跡の対象となる現場資源（重機１１１～１１４および作業員１２１～１２４）が認識され、また認識された各現場資源の識別が行われる。

【0017】

上記識別された現場資源のぞれぞれは、測量装置１００により追跡され、また測位される。測量装置１００により測位された各現場資源の位置情報は地図上にプロットされる（例えば図９）。時間経過に従う各重機の位置の変化を見ることで。現場資源の稼働状況の推移を知ることが出来る。

【0018】

上記の処理は、自動で行われる。そのため、工事現場における現場資源の稼働状況の調査が効率よく行われる。

【0019】

（測量装置）
図２は、測量装置１００の斜視図（Ａ）および（Ｂ）である。（Ａ）は正面の側から見た斜視図であり、（Ｂ）は背面の側から見た斜視図である。測量装置１００は、三脚１０１上に固定されたベース部１０２、ベース部１０２上で水平回転が可能な水平回転部１０３、水平回転部１０３に鉛直回転（仰角制御および俯角制御）が可能な状態で保持された鉛直回転部１０４を備えている。

【0020】

水平回転と鉛直回転は、モータにより行われる。水平回転部１０３の水平角（望遠鏡１０５の光軸の水平方向における指向方向）と鉛直回転部１０４の鉛直角（望遠鏡１０５の光軸の仰角または俯角）は、エンコーダにより精密に計測されている。

【0021】

鉛直回転部１０４の前面には、望遠鏡１０５、広角カメラ１０６が配置され、背面には、望遠鏡１０５の接岸部１０７とタッチパネルディスプレイ１０８が配置されている。望遠鏡１０５は、図３に示す狭角（望遠）カメラ１１１の光学系を兼ねている。また、望遠鏡１０５の対物レンズを介して、測距を行うための測距用のレーザー光が外部に向けて照射され、またその反射光が受光される。

【0022】

タッチパネルディスプレイ１０８は、測量装置１００の操作パネル兼ディスプレイである。タッチパネルディスプレイ１０８には、測量装置１００の操作に係る各種の情報や測量結果に係る情報が表示される。

【0023】

図３は、測量装置１００のブロック図である。測量装置１００は、狭角カメラ１１１、広角カメラ１０６、撮影範囲設定部１１２、カメラ制御部１１３、画像取得部１１４、追跡対象物認識部１１５、追跡部１１６、測位対象物選択部１１７、測位部１１８、移動中心算出部１１９、マッピング部１２０、駆動制御部１２１、データ記憶部１２２、通信装置１２３を備える。

【0024】

撮影範囲設定部１１２、カメラ制御部１１３、画像取得部１１４、追跡対象物認識部１１５、追跡部１１６、測位対象物選択部１１７、移動中心算出部１１９、マッピング部１２０、データ記憶部１２２の各機能部は、測量装置１００が備えるコンピュータにより実現される。

【0025】

当該コンピュータは、ＣＰＵ、記憶装置、インターフェースを備える。上記機能部の機能を実行するための動作プログラムが上記コンピュータにより読み取られ、実行されることで、上記の各機能部が実現される。一部または全部の機能部を専用のハードウェアで実現する形態も可能である。また、一部または全部の機能部をＦＰＧＡ等により実現する形態も可能である。

【0026】

狭角カメラ１１１は、望遠鏡１０５を介して相対的に狭い範囲の撮影を行う。この撮影では、望遠での拡大画像の撮影可能であり、広角カメラ１０６よりも精細な画像が撮影できる。広角カメラ１０６は、相対的に広い範囲（広角）の撮影を行う。

【0027】

狭角カメラ１１１、広角カメラ１０６および後述する測位部１１８の光学系の測量装置１００における外部標定要素（位置と姿勢）の関係は既知である。また、狭角カメラ１１１と測位部１１８の光学系の光軸は、同じ軸線上（望遠鏡１０５の光軸上）にある。広角カメラ１０６の光軸は、狭角カメラ１１１と測位部１１８の光学系の光軸（望遠鏡１０５の光軸）と平行な位置関係にある。

【0028】

撮影範囲設定部１１２は、後述するステップＳ１０１の処理に係り、広角カメラ１０６の撮影の範囲を設定する。カメラ制御部１１３は、広角カメラ１０６および狭角カメラ１１１の撮影動作の制御を行う。画像取得部１１４は、広角カメラ１０６および狭角カメラ１１１が撮影した画像の画像データを取得する。

【0029】

追跡対象物認識部１１５は、後述するステップＳ１０４の処理を行う。追跡部１１６は、後述するステップＳ１０５の処理を行う。測位対象物選択部１１７は、後述するステップＳ１０６の処理を行う。

【0030】

測位部１１８は、後述するステップＳ１０７の処理を行う。測位部１１８は、測距光（測距用のレーザー光）の発光部およびその照射光学系、対象物から反射して戻ってきた測距光の受光光学系と受光素子、測距光の反射点までの測距の算出部、光軸の方向と測距値に基づく測距光の反射点の位置の算出部を備える。

【0031】

反射点までの距離は、光波測距の原理を用いて算出される。距離の算出には、受光した測距光の位相差を用いる方法と伝搬時間を用いる方法がある。この例では、位相差を用いる方法で測距が行われる。

【0032】

位相差を用いる方法では、測量装置１００内に基準光路が設けられ、この基準光路を伝搬した測距光の受光タイミングと、対象物から反射した測距光の受光タイミングとの差（位相差）から、対象物までの距離を算出する。伝搬時間を用いる方法では、測距光が対象物に当たり、反射して戻ってくるまでの時間から、対象物までの距離を算出する。

【0033】

測距光の反射点までの距離とその方向により、測量装置１００を原点とした反射点の位置の算出が行われる。絶対座標系における測量装置１００の外部標定要素が既知であれば、絶対座標系における反射点の位置が求まる。絶対座標系は、ＧＮＳＳや地図で用いられる座標系である。例えば、緯度、経度、標高により絶対座標系における位置の記述が行われる。

【0034】

移動中心算出部１１９は、後述するステップＳ１０８の処理を行う。例えば、図６に示すような油圧シャベル６００を考える。油圧シャベル６００は、無限軌道６０１ａを備え、無限軌道６０１ａにより地上を移動する移動ベース６０１を有する。移動ベース６０１の上には、運転席を備え、アーム６０３の根元を支える回転部６０４が配置されている。また、アーム６０３の先端には、バケット６０２が連結されている。

【0035】

移動せずに油圧シャベル６００が稼働する場合、回転部６０４、アーム６０３、バケット６０２の位置は動くが、当該油圧シャベル６００は車両としては移動しない。この場合、アーム６０３やバケット６０２を測位の対象としたのでは、油圧シャベル６００の移動の状態を適切に把握できない。この場合、油圧シャベル６００の移動ベース６０１を測位の対象とすることで油圧シャベル６００の移動を適切に把握できる。

【0036】

マッピング部１２０は、地図上に追跡対象物の位置、およびその推移を記述する。位置と同時に時刻を記述することもできる。マッピング部１２０の機能により、例えば図８や図９の稼働マップが得られる。

【0037】

駆動制御部１２１は、測量装置１００の光軸の方向制御を行う。具体的には、水平回転部１０３の水平回転の駆動制御および鉛直回転部１０４の鉛直回転の駆動制御を行う。データ記憶部１２２は、測量装置１００の動作に必要なデータや動作プログラム、測量データ、各種の処理の結果得られたデータを記憶する。

【0038】

通信装置１２３は、外部の機器との通信を行う。通信は、無線ＬＡＮや携帯電話の通信回線を用いて行われる。通信装置１２３を用いて、図８や図９に例示する稼動マップのデータが外部の機器に送信される。

【0039】

（処理の一例）
図４に測量装置１００が行う動作の手順の一例を示す。図４に示すフローチャートを実行するためのプログラムは、適当な記憶媒体や記憶領域に記憶され、測量装置１００が備えるコンピュータにより実行される。図４の処理の少なくとも一部を外部の制御コンピュータや処理サーバで行う形態も可能である。これは、図５や図７のフローチャートについても同じである。

【0040】

まず、処理に先立ち、稼動マップで用いる座標系における測量装置１００の外部標定要素を求めておく。例えば、絶対座標系における測量装置１００の外部標定要素を求めておく。また、現場資源の追跡および測位を行う範囲（計測範囲）を予め定めておく。

【0041】

また、上記の計測範囲に対する撮影範囲を定めておく。例えば、計測は水平方向で行われるとし、計測範囲の角度範囲が９０°であり、撮影は広角カメラ１０６で行い、広角カメラ１０６の撮影範囲が２５°であるとする。この場合、９０°の範囲を４分割して撮影範囲を設定する。この場合、中心の方向がそれぞれ９０°／４ずれた第１の撮影範囲、第２の撮影範囲、第３の撮影範囲、第４の撮影範囲が設定される。勿論、撮影範囲は一部が重複していてもよい。また、撮影範囲の撮影の順番を決めておく。なお、撮影に狭角カメラ１１１を用いる形態も可能である。

【0042】

また、以下の処理において、現場資源は、図１に示すような重機２０１～２０４および作業員（人物）３０１～３０４とする。

【0043】

処理が開始されると、上述した予め設定された撮影範囲の中の最初の撮影範囲に測量装置１００の光軸を指向させる（ステップＳ１０１）。次に、広角カメラ１０６を用いた連続撮影を開始する（ステップＳ１０２）。この撮影は、特定の間隔で繰り返し行われる。例えば、０．５秒間隔や１秒間隔で撮影が行われる。動画を撮影し、動画を構成するフレーム画像を繰り返し行われる撮影の画像として利用してもよい。

【0044】

連続撮影を開始したら。その中の１枚の画像を基準画像として取得する（ステップＳ１０３）。次に、ステップＳ１０３で取得した基準画像の中から現場資源を画像認識する。例えば、ステップＳ１０３で取得した基準画像に図１の重機２０１、作業員３０１，３０２，３０３が写っているとする。この場合、画像解析技術を利用して重機２０１、作業員３０１，３０２，３０３の画像を認識する。

【0045】

以下、ステップＳ１０４の処理の詳細を説明する。図５は、ステップＳ１０４の処理の詳細を示すフローチャートである。図５の処理は、ステップＳ１０３で取得した基準画像を対象に行われる。

【0046】

まず、撮影画像中から人物を認識する画像処理アルゴリズムを用いて、対象とする画像の中から人物を認識する（ステップＳ２０１）。撮影画像の中から人物を認識する画像処理技術は、セキュリティー分野や車の自動運転技術分野で開発されている技術を利用する。

【0047】

次に、ステップＳ１０３で取得した基準画像の中から、重機の画像を認識する（ステップＳ２０２）。以下、重機の画像の認識について説明する。ここでは、三次元モデルを利用して撮影画像の中から重機の画像を認識する方法を説明する。この例では、対象となる重機が予め候補としてリストアップされており、それら各重機の三次元モデルが予め取得されている。重機の三次元モデルを得る方法としては、設計データから得る方法、三次元写真計測から得る方法、レーザースキャンにより得る方法が挙げられる。

【0048】

重機の画像の認識は、以下のようにして段階的に行われる。まず、「無限軌道あり」、「車輪あり」、「クレーンのアームあり」、「バケットのアームあり」といった重機の属性に係る要素を認識し、重機の候補の画像を第１候補群画像として認識する。次に、第１候補群画像と、予め用意された上記三次元モデルとの比較が行われる。

【0049】

この比較は、以下のようにして行われる。まず、（１）予め用意された重機の三次元モデルの一つが選択される。次に、（２）選択した三次元モデルを特定の視点から見た画像を比較画像として取得する。

【0050】

例えば、三次元モデルから得られる比較画像は図６のような特定の視点から当該三次元モデルを見た図となる。

【0051】

次に、（３）取得した比較画像と上記第１候補群を比較する。ここで、（２）の視点の位置を変えつつ、（２）→（３）の処理繰り返し行い、第１の候補群の中から、比較画像に一致あるいは近似するものを探索する。またこの探索は、縮尺を変えて繰り返し行われる。

【0052】

（１）で選択した三次元モデルに関して、（２）→（３）の処理を行った結果、第１の候補群の中から一致あるいは近似した比較画像が見つかった場合、その比較画像の基となる三次元モデルの重機を認識された対象として確定する。他方において、第１の候補群の中から一致あるいは近似した比較画像が見つからなかった場合、次の別の三次元モデルを選択し、同様の処理を繰り返す。

【0053】

こうして、ステップＳ１０３で得た撮影画像の中から、予め用意した三次元モデルに対応する画像を探索する。そして、予め用意した三次元モデルに対応する画像が見つかったら、それを重機の画像として認識する。図５の処理がステップＳ１０４において行われ、ステップＳ１０３で得た基準画像の中から、作業員と重機の画像が認識される。

【0054】

図４に戻り、ステップＳ１０４の後、ステップＳ１０５を実行する。ステップＳ１０５では、ステップＳ１０４で画像認識された追跡対象物（現場資源）のそれぞれ（一つの場合もあるが、ここでは複数ある場合の想定する）の追跡を開始する。

【0055】

以下、ステップＳ１０５について詳述する。まず、ステップＳ１０３で取得した基準画像の中から、当該基準画像の次（またはそれ以後の極力近い時刻）に撮影された撮影画像（次の撮影画像）を取得し、その画像の中から既に認識されている現場資源を認識する。

【0056】

例えば、基準画像の中で図６の重機が画像認識されていたとする。この場合、当該重機が稼動していても、基準画像の次の撮影画像において、当該重機の画面中での見た目は、大きく違わない。よって、当該次の撮影画像において、図６の重機の画像は容易に特定できる。

【0057】

撮影が連続して行われるに従って、当該重機の撮影画面中での位置およびその見た目は徐々に変化する場合もある。しかしながら、ｎ枚目とｎ＋１枚目の撮影画像を比較した場合、上述した理由により、ｎ枚目の撮影画像で認識されている重機の画像を、ｎ＋１枚目の撮影画像において認識することは容易である。この原理により、ステップＳ１０４で認識した重機の画像を連続撮影される画像中で認識し続ける。

【0058】

また同様の原理により、基準画像で認識された作業員の追跡も行われる。こうして、連続撮影される画像中での追跡対象物（この場合は重機と作業員）の追跡が行われる。すなわち、連続撮影することで得られる時間軸上において離散して分布する複数の画像において、同一の追跡対象物が時間軸に沿って順次認識されてゆく。

【0059】

図１０には、光軸を固定した状態で連続撮影された３枚の撮影画像のモデル図の例が示されている。ここで、（Ａ）が最初に撮影され、その後に（Ｂ）が撮影され、更にその後に（Ｃ）が撮影された場合が示されている。つまり時間軸上において、（Ａ）⇒（Ｂ）⇒（Ｃ）の順で撮影された場合が示されている。ここで、重機２０４は撮影画面上において、右から左に向かって移動している。よって、（Ａ）⇒（Ｂ）⇒（Ｃ）と経過するのに従って、重機２０４は徐々に左の方向に移動する。

【0060】

ここで、図１０（Ａ）において重機２０４と画像認識されたものが、図１０（Ｂ）において少し左に移動した画面位置において同じ重機２０４として画像認識され、更に図１０（Ｃ）において更に少し左に移動した画面位置において同じ重機２０４として画像認識される。これが、上述した連続撮影される画像中での追跡対象物の追跡となる。

【0061】

また、後述するステップＳ１０７の測位において、測量装置１００の光軸は、各測位対象に向けられる。この際、広角カメラ１０６の光軸の方向が変化し、撮影画面内における追跡対象物の位置が変化する。しかしながら、上述したように、ｎ枚目とｎ＋１枚目の撮影画像を比較した場合、ｎ枚目の撮影画像に写っている識別対象物の画像と、ｎ＋１枚目の撮影画像に写っている識別対象物の画像には近似性がある。

【0062】

このことを利用して、広角カメラ１０６の光軸の方向が変化した際における追跡対象物の追尾が行われる。すなわち、広角カメラ１０６の光軸の方向が変化している状況におけるｎ枚目の撮影画像における追跡対象物と、ｎ＋１枚目の撮影画像における追跡対象物との対応関係の特定が行われ、着目している追跡対象物が追跡される。以上の処理がステップＳ１０５において開始される。

【0063】

以上述べた連続画像における追跡対象物に対する追跡は、複数の現場資源のそれぞれに対して行われる。また、後述する測位の際、測量装置１００の光軸を測位点に向ける視準（測位を行う点に測量装置１００の狙いを付ける動作）が行われるが、その際、視準の対象でない他の追跡対象物に対する追跡は、継続して行われる。すなわち、次々と行われる追跡対象物に対する視準および測位を行いつつ、認識した他の複数の追跡対処物の追跡が途切れず行われる。

【0064】

次に、その時点で測位を行っていない追跡対象物の選択が行われる（ステップＳ１０６）。例えば、この時点で着目している基準画像において、図１の作業員３０１～３０３および重機２０１が追跡対象物として認識され、それらがその後の連続撮影において追跡されているとする。そして、作業員３０１と３０２が測位されているとする。

【0065】

この場合、作業員３０３と重機２０１が測位を行っていない追跡対象物となる。そして、この場合、ステップＳ１０６において、業員３０３または重機２０１が選択される。

【0066】

次に、ステップＳ１０６で選択された未測位の追跡対象物の測位が行われる（ステップＳ１０７）。測位は、測量装置１００が備えるレーザー測位の機能を利用して行われる。

【0067】

追跡対象物における測位点は、以下のようにして決定される。追跡対象物が人物の場合、腰周の部分が測位点として選択される。追跡対象物が重機の場合、画像の重心の位置あるいは本体部分の最も面積が大きい部分が測位点として選択される。

【0068】

次に、ステップＳ１０７で測位した追跡対象物の移動中心の位置を算出する（ステップＳ１０８）。追跡対象物の測位は、その表面の部分に対して行われるが、必ずしも追跡対象物の移動を反映したものとはならない。そのため、重機６００の地上での移動（走行）を把握したい場合、重機６００の移動を適切に評価できるパラメータの取得が望まれる。このパラメータとして、移動中心を採用する。

【0069】

追跡対象物が人物の場合、予め用意した骨格モデルを参照し、移動中心を算出する。例えば、骨格モデルの重心の位置を移動中心として算出する。追跡対象物が重機の場合、以下の方法により、移動中心を算出する。

【0070】

図７は、重機の移動中心を算出する処理の詳細を示すフローチャートである。図７の処理では、まず追跡対象物の認識に利用したここで追跡している重機の三次元モデルを取得する（ステップＳ３０１）。次にステップＳ１０７で得た測位データと上記三次元モデルの位置関係を取得する（ステップＳ３０２）。

【0071】

ここでは、ステップＳ１０７におけるレーザー測位を行った際、狭角カメラ１１１による撮影を行う。測位部１１８の光軸と狭角カメラの光軸は同一軸線上にあるので、上記狭角カメラ１１１の撮影画像の中心が測位された点となる。よって、追跡対象物上の測位点の位置が判る。

【0072】

ここで、狭角カメラ１１１と広角カメラ１０６の外部標定要素の関係は既知である。よって、狭角カメラ１１１が撮影した画像と広角カメラ１０６が撮影した画像の対応関係を求めることができる。また、広角カメラ１０６により撮影された追跡対象物の画像とその三次元モデルの関係は、ステップＳ１０４において判明している。よって、ステップＳ１０７で測位された点と当該三次元モデルの関係が判る。つまり、ステップＳ１０７で測位された点が、当該三次元モデル上のどの部分に対応するのかが判る。この測位点と三次元モデルの位置関係の取得がステップ３０２で行われる。

【0073】

すなわち、狭角カメラ１１１および広角カメラ１０６の外部標定要素と測位部１１８の光学系の外部標定要素との関係は既知であり、故に、広角カメラ１０６により撮影された重機の画像（要素１）における測位光の反射点の位置（要素２）が第１の関係として求まる。他方で、上記外部標定要素の関係から、広角カメラ１０６により撮影された重機の画像（要素１）に対応する三次元モデル（要素３）が第２の関係として求められる。

【0074】

すなわち、要素１と要素２の関係が判明し、要素１と要素３の関係が判明する。これにより、要素２と要素３の関係が判明する。すなわち、着目している重機における測位光の反射点の位置（要素２）と、三次元モデル（要素３）の関係が得られる。すなわち、ステップＳ１０７で測位された点（要素２）が、当該三次元モデル（要素３）上のどの部分に対応するのかが判る。

【0075】

次に、ステップＳ３０２で得た測位点と三次元モデルの位置関係に基づき、ここで着目している追跡対応物の三次元モデルの移動中心の位置を算出する（ステップＳ３０３）。

【0076】

図６を見れば明らかなように、三次元モデルでは、重機の移動ベースとなる部分を把握できる。図６の場合、無限軌道を備えた部分が移動ベース６０１となる。移動中心は、重機の移動ベースに固定された点であれば、どこでもよいが、例えば、移動ベースの重心の位置が移動中心として算出される。

【0077】

ステップＳ１０８によれば、無限軌道で移動するベースの部分（例えば、重機６００の移動ベース６０１）の位置情報が得られ、当該重機の移動（走行）の情報を正確に評価できようになる。この移動中心の位置が、追跡対象物の位置データとして取り扱われる。

【0078】

追跡対象物の移動中心の位置を求めたら、その位置を求めた時刻を取得する（ステップＳ１０９）。ここでは、ステップＳ１０７の測位処理を行った時刻を取得する。

【0079】

次に、ステップＳ１０３で取得した基準画像の中において、未測位の追跡対象物の有無を判定する（ステップＳ１１０）。未測位の追跡対象物がある場合、その時点で最新の撮影画像を取得し（ステップＳ１１１）、ステップＳ１０６以下の処理を繰り返す。

【0080】

ステップＳ１１０において、未測位の追跡対象物がない場合、次の撮影範囲に測量装置１００を向け、次の撮影範囲の基準画像の取得を行い（ステップＳ１０３）、ステップＳ１０３以下の処理を繰り返す。

【0081】

例えば、撮影範囲として、第１の撮影範囲、第２の撮影範囲、第３の撮影範囲が設定されているとする。この場合、図４のステップ１０３以下の処理が、第１の撮影範囲⇒第２の撮影範囲⇒第３の撮影範囲⇒第１の撮影範囲⇒第２の撮影範囲⇒第３の撮影範囲⇒・・・と繰り返し行われる。

【0082】

この結果、第１の撮影範囲～第３の撮影範囲にある追跡対象物のそれぞれについて、第１の時刻における移動中心の位置、第２の時刻における移動中心の位置、第３の時刻における移動中心の位置・・・というように、途切れ途切れではあるが、時間軸上における位置情報が得られる。

【0083】

図８（Ａ）には、１周目（一巡目）の処理によって得られた各追跡対象物の位置を地図上にプロットした図が示され、図８（Ｂ）には、２周目の処理によって得られた各追跡対象物の位置を地図上にプロットした図が示され、図８（Ｃ）には、３周目の処理によって得られた各追跡対象物の位置を地図上にプロットした図が示されている。

【0084】

図８（Ａ）～（Ｃ）には、重機□、重機△、重機○、重機▽、重機◇の位置が地図上にプロットされている。図８（Ａ）～（Ｃ）におけるプロット点のズレは、重機が移動したことを示している。

【0085】

図８（Ａ）における重機□と重機△の位置を取得した時刻は異なる。これは、追跡対象物に対して順に測位が行われ、移動中心の算出が行われるからである。これは、他の重機の関係においても同じである。

【0086】

図９は、図８（Ａ）～（Ｃ）を重ねたものである。図９のマップには、時系列に従う各重機の動きが判るように矢印が表示されている。図９から、各重機の動きが判る。すなわち、図９には、各追跡対象物の移動推移、つまり稼動の状況が示されている。

【0087】

２．第２の実施形態
コード表示を用いて現場資源の識別を行ってもよい。例えば、作業員は安全確保のためにヘルメットと反射チョッキ（反射材を取り付けたベスト）を着け、作業を行う。このヘルメットまたは反射チョッキに識別表示を付け、それを画像認識し、作業員の識別を行う。識別表示としては、文字、バーコード、図形、色彩による形態が挙げられる。

【0088】

重機の場合、重機の見やすい部分に識別表示を表示させる。識別表示の形態については、反射チョッキの場合と同じである。また、重機の上部に識別表示を備えたポール等を設置し、どの方向から見ても識別が可能なようにしてもよい。

【0089】

３．第３の実施形態
２周目以降の計測において、１周目で得た画像イメージを利用して追跡対象物の識別を行ってもよい。

【0090】

４．その他
図１には、工事現場の例として、土木作業の現場が示されているが、本発明は、建物、工場、各種の施設等の建設現場における現場資源の稼働状況の取得に適当できる。

【符号の説明】

【0091】

１００…測量装置、１０１…三脚、１０２…ベース部、１０３…水平回転部、１０４…鉛直回転部、１０５…望遠鏡、１０６…広角カメラ、１０７…接岸部。１０８…タッチパネルディスプレイ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】