特開 2023-163009 作業状況管理システム、作業状況管理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023163009

(43)【公開日】2023-11-09

(54)【発明の名称】作業状況管理システム、作業状況管理方法及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20231101BHJP

   E04G 21/00 20060101ALN20231101BHJP

【ＦＩ】

G06T7/70 Z

E04G21/00 ESW

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022073793

(22)【出願日】2022-04-27

(71)【出願人】

【識別番号】399105715

【氏名又は名称】株式会社インフォマティクス

(74)【代理人】

【識別番号】110001151

【氏名又は名称】あいわ弁理士法人

(72)【発明者】

【氏名】金野 幸治

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096AA09

5L096CA02

5L096DA02

5L096DA04

5L096FA66

5L096FA67

5L096FA69

5L096JA11

(57)【要約】

【課題】作業用機械器具を使用した作業を支援するための作業状況管理システム、作業状況管理方法及びプログラムを提供する。
【解決手段】作業状況管理システム１は、作業用機械器具１０、作業者端末２０を含む。作業用機械器具１０は、対象に所定の作用を与える作用体１１、３ＤＡＲマーカ１５を有する。作業者端末２０は、３ＤＡＲマーカ１５をカメラで撮影し、撮影された映像に基づいて３ＤＡＲマーカ１５の位置及び姿勢を認識し、３ＤＡＲマーカ１５の位置及び姿勢に基づいて作用体１１の位置を推定する作業用機械器具認識部２０１、作用体１１を作用させるべき位置を示すオブジェクトを、対象に重畳して視認できるよう透過型ディスプレイに表示する作業指示部２０２、作業用機械器具認識部２０１により推定された作用体１１の位置が、オブジェクトが示す範囲におさまっているか判定し、その判定結果を透過型ディスプレイに表示する作業状況表示部２０３を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業用機械器具と、作業者端末と、を含む作業状況管理システムであって、
前記作業用機械器具は、対象に所定の作用を与える作用体と、３ＤＡＲマーカと、を有し、
前記作業者端末は、
前記３ＤＡＲマーカをカメラで撮影し、前記撮影された映像に基づいて前記３ＤＡＲマーカの位置及び姿勢を認識し、前記３ＤＡＲマーカの位置及び姿勢に基づいて前記作用体の位置を推定する作業用機械器具認識部と、
前記作用体を作用させるべき位置を示すオブジェクトを、前記対象に重畳して視認できるよう透過型ディスプレイに表示する作業指示部と、
前記作業用機械器具認識部により推定された前記作用体の位置が、前記オブジェクトが示す範囲におさまっているか判定し、その判定結果を前記透過型ディスプレイに表示する作業状況表示部と、を有する
作業状況管理システム。

【請求項2】

前記作業状況表示部は、前記対象と、前記作用体の位置と、の距離を推定し、前記判定結果と共に又は前記判定結果に代えて前記距離を表示する
請求項１記載の作業状況管理システム。

【請求項3】

前記作業状況表示部は、前記対象と、前記作用体の位置と、のなす角度を推定し、前記判定結果と共に又は前記判定結果に代えて前記角度を表示する
請求項１記載の作業状況管理システム。

【請求項4】

前記作業用機械器具は、前記作用体を作動又は停止させるとともに、前記作用体が作動しているか否かを前記作業者端末に通知するスイッチをさらに有し、
前記作業用機械器具認識部は、前記スイッチからの通知に基づいて前記作用体が作動しているか否かを判定し、
前記作業状況表示部は、前記作用体が作動しているか否かの判定結果と、前記距離の推定結果と、に基づいて作業時間を推定し、前記判定結果及び前記距離の少なくとも一方と共に、又は前記判定結果及び前記距離に代えて、前記作業時間を表示する
請求項２記載の作業状況管理システム。

【請求項5】

作業用機械器具と、作業者端末と、を含む作業状況管理システムであって、
前記作業用機械器具は、対象に所定の作用を与える作用体と、自己位置推定装置と、を有し、
前記自己位置推定装置は、自己の位置及び姿勢を推定して前記作業者端末に送信し、
前記作業者端末は、
前記自己位置推定装置から受信した位置及び姿勢に基づいて、前記作用体の位置を推定する作業用機械器具認識部と、
前記作用体を作用させるべき位置を示すオブジェクトを、前記対象に重畳して視認できるよう透過型ディスプレイに表示する作業指示部と、
前記作業用機械器具認識部により推定された前記作用体の位置が、前記オブジェクトが示す範囲におさまっているか判定し、その判定結果を前記透過型ディスプレイに表示する作業状況表示部と、を有する
作業状況管理システム。

【請求項6】

作業用機械器具が備える３ＤＡＲマーカをカメラで撮影し、前記撮影された映像に基づいて前記３ＤＡＲマーカの位置及び姿勢を認識し、前記３ＤＡＲマーカの位置及び姿勢に基づいて前記作業用機械器具が対象に所定の作用を与えるために備える作用体の位置を推定する作業用機械器具認識ステップと、
前記作用体を作用させるべき位置を示すオブジェクトを、前記対象に重畳して視認できるよう透過型ディスプレイに表示する作業指示ステップと、
前記作業用機械器具認識部により推定された前記作用体の位置が、前記オブジェクトが示す範囲におさまっているか判定し、その判定結果を前記透過型ディスプレイに表示する作業状況表示ステップと、を有する
作業状況管理方法。

【請求項7】

請求項６記載の方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は作業状況管理システム、作業状況管理方法及びプログラムに関し、特に作業用機械器具を使用した作業を支援する技術に関する。

【背景技術】

【0002】

土木・建設工事現場においては、作業用機械器具を所定の位置に所定の時間にわたって作用させることにより、所定の目的を達成する作業が少なくない。例えば、転圧機械（タンピングランマー、プレートコンパクター等と称される）を使用した土壌の締め固め作業、タイタンパーを使用した鉄道軌道下にある砕石の突き固め作業、打診棒を使用した外壁の打診調査、スプレーガンを使用した壁面への断熱材又は防火材等の充填又はコーティング作業等がある。また、土木・建設工事以外においても、例えば噴霧器やドローン等を利用した田畑への農薬散布、洗浄機を使用した室内カーペットの清掃、そして杜氏の櫂入れ等の作業は、いずれも特定の作業用機械器具を所定の位置に所定の時間にわたって作用させる工程を含んでいる。

【0003】

これらの作業において、作業用機械器具を作用させる位置又は範囲、時間、角度等については事前に指示されることもあるが、実際は作業者各自の感覚や経験に依存しつつ決定されている。ゆえに、作業者によるばらつきが生じがちであるし、同じ作業者でも毎回結果がばらつくこともある。作業品質の管理という観点からすると、このようなばらつきを可能な限り抑制することが課題となる。

【0004】

関連技術として特許文献１乃至４がある。これらはいずれも、作業用機械器具の一種であるバイブレータを使用してフレッシュコンクリートを締め固める作業に関するものであり、作業状況を客観的に把握することを目指したものである。

【0005】

特許文献１乃至３には、型枠周辺にＡＲマーカーを設置すること、ＡＲマーカーと締め固め作業中のバイブレータとをカメラで撮像すること、その映像を使用してバイブレータの位置を推定し、締め固めを行った箇所を特定することを特徴とするシステムが記載されている。

【0006】

特許文献４には、バイブレータの位置をＧＰＳにより取得すること、作業員が装着したヘッドマウントディスプレイを使用して、当該位置にバイブレータの拡張現実画像を表示することを特徴するシステムが記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０２１－１６１８４５号公報

【特許文献2】特開２０２１－１６１８４６号公報

【特許文献3】特開２０２１－１６１８４７号公報

【特許文献4】特開２０１９－０３５２６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１乃至３記載の手法では、ＡＲマーカーと作業用機械器具とを同時かつ継続して撮像可能な位置に予めカメラを設置する工程が必要である。この工程には相応の時間、手間及びコストがかかる。またこの手法では、作業用機械器具の作用位置は、映像から視認できる部分（例えばバイブレータに接続されたホースの状態）に基づき、その作業用機械器具特有の構造を前提として推定される。このような特定の作業用機械器具に特化した推定手法は、他の作業用機械器具に一般的に適用することができない。加えて、このシステムは作業者に対し作業用機械器具を作用させるべき位置や範囲、時間、角度等を指示するための構成、並びに管理者に対し作業結果を報告するための構成などは備えていない。

【0009】

特許文献４記載の手法は、作業用機械器具の位置をＧＰＳユニットで取得する。しかし、作業用機械器具の種類によっては、ＧＰＳユニットが衛星からの信号を受信しずらく位置測定が難しいものがある。また、ＧＰＳによる位置検出では数メートルの誤差が生じると言われており、この手法で作業用機械器具の位置を正確に再現することには限界がある。加えて、このシステムも作業者に対し作業用機械器具を作用させるべき位置や範囲、時間、角度等を指示するための構成、並びに管理者に対し作業結果を報告するための構成などは備えていない。

【0010】

本発明はこのような問題点を解決するためになされたものであり、作業用機械器具を使用した作業を支援するための作業状況管理システム、作業状況管理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0011】

一実施の形態によれば、作業状況管理システムは、作業用機械器具と、作業者端末と、を含む作業状況管理システムであって、前記作業用機械器具は、対象に所定の作用を与える作用体と、３ＤＡＲマーカと、を有し、前記作業者端末は、前記３ＤＡＲマーカをカメラで撮影し、前記撮影された映像に基づいて前記３ＤＡＲマーカの位置及び姿勢を認識し、前記３ＤＡＲマーカの位置及び姿勢に基づいて前記作用体の位置を推定する作業用機械器具認識部と、前記作用体を作用させるべき位置を示すオブジェクトを、前記対象に重畳して視認できるよう透過型ディスプレイに表示する作業指示部と、前記作業用機械器具認識部により推定された前記作用体の位置が、前記オブジェクトが示す範囲におさまっているか判定し、その判定結果を前記透過型ディスプレイに表示する作業状況表示部と、を有する。
一実施の形態によれば、前記作業状況表示部は、前記対象と、前記作用体の位置と、の距離を推定し、前記判定結果と共に又は前記判定結果に代えて前記距離を表示する。
一実施の形態によれば、前記作業状況表示部は、前記対象と、前記作用体の位置と、のなす角度を推定し、前記判定結果と共に又は前記判定結果に代えて前記角度を表示する。
一実施の形態によれば、前記作業用機械器具は、前記作用体を作動又は停止させるとともに、前記作用体が作動しているか否かを前記作業者端末に通知するスイッチをさらに有し、前記作業用機械器具認識部は、前記スイッチからの通知に基づいて前記作用体が作動しているか否かを判定し、前記作業状況表示部は、前記作用体が作動しているか否かの判定結果と、前記距離の推定結果と、に基づいて作業時間を推定し、前記判定結果及び前記距離の少なくとも一方と共に、又は前記判定結果及び前記距離に代えて、前記作業時間を表示する。
一実施の形態によれば、作業状況管理システムは、作業用機械器具と、作業者端末と、を含む作業状況管理システムであって、前記作業用機械器具は、対象に所定の作用を与える作用体と、自己位置推定装置と、を有し、前記自己位置推定装置は、自己の位置及び姿勢を推定して前記作業者端末に送信し、前記作業者端末は、前記自己位置推定装置から受信した位置及び姿勢に基づいて、前記作用体の位置を推定する作業用機械器具認識部と、前記作用体を作用させるべき位置を示すオブジェクトを、前記対象に重畳して視認できるよう透過型ディスプレイに表示する作業指示部と、前記作業用機械器具認識部により推定された前記作用体の位置が、前記オブジェクトが示す範囲におさまっているか判定し、その判定結果を前記透過型ディスプレイに表示する作業状況表示部と、を有する。
一実施の形態によれば、作業状況管理方法は、作業用機械器具が備える３ＤＡＲマーカをカメラで撮影し、前記撮影された映像に基づいて前記３ＤＡＲマーカの位置及び姿勢を認識し、前記３ＤＡＲマーカの位置及び姿勢に基づいて前記作業用機械器具が対象に所定の作用を与えるために備える作用体の位置を推定する作業用機械器具認識ステップと、前記作用体を作用させるべき位置を示すオブジェクトを、前記対象に重畳して視認できるよう透過型ディスプレイに表示する作業指示ステップと、前記作業用機械器具認識部により推定された前記作用体の位置が、前記オブジェクトが示す範囲におさまっているか判定し、その判定結果を前記透過型ディスプレイに表示する作業状況表示ステップと、を有する。
一実施の形態によれば、プログラムは、上記方法をコンピュータに実行させる。

【発明の効果】

【0012】

本発明により、作業用機械器具を使用した作業を支援するための作業状況管理システム、作業状況管理方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】作業状況管理システム１のハードウェア構成例を示す図である。

【図2】作業用機械器具１０の一例を示す図である。

【図3】作業者端末２０の一例を示す図である。

【図4】管理者端末３０の一例を示す図である。

【図5A】作業者端末２０及び管理者端末３０の機能構成を示すブロック図である。

【図5B】作業者端末２０及び管理者端末３０の機能構成を示すブロック図である。

【図6】作業状況管理システム１の動作例を示すフローチャートである。

【図7】作業用機械器具１０の一例を示す図である。

【図8】作業状況管理システム１の動作例を示すフローチャートである。

【発明を実施するための形態】

【0014】

＜実施の形態１＞
図１は、本発明の実施の形態１にかかる作業状況管理システム１のハードウェア構成を示す図である。作業状況管理システム１は、作業用機械器具１０、作業者端末２０、管理者端末３０を含む。

【0015】

図２は、作業用機械器具１０の一例を示す図である。作業用機械器具１０は、典型的には作用体１１及びスイッチ１４を備えた筐体、並びに３ＤＡＲマーカ１５を備える。

【0016】

作用体１１は、対象に所定の作用を与えるための部位又は部材である。例えば、タンピングランマーの打撃板、プレートコンパクターの振動板、タイタンパーのビータ、打診棒の先端、スプレーガン、噴霧器又はカーペット洗浄機のノズル、櫂の先端等が作用体１１にあたる。

【0017】

スイッチ１４は、ＯＮ状態においては作業用機械器具１０を駆動して対象への作用を継続させ、ＯＦＦ状態においては作業用機械器具１０の動作を停止させて対象への作用を中断させる。加えて、スイッチ１４はいわゆるスマートスイッチ機能を有し、ＯＮ又はＯＦＦのいずれの状態であるかをＢｌｕｅｔｏｏｔｈ（登録商標）通信等により作業者端末２０に通知することができる。なお作業用機械器具１０が動力を備えない場合（例えば診断棒や櫂等であるとき）は、スイッチ１４を備えることを要しない。

【0018】

作業用機械器具１０の典型的な使用方法について説明する。
作業者は、作業用機械器具１０を把持して、作用体１１を対象に接触させ、挿入し、又は対象に向けて保持する。作業者がスイッチ１４をオンにし、図示しない動力源を駆動させると、作用体１１が対象に作用を与える。例えば、振動又は打撃を与え、あるいは充填材又は薬剤を射出する。

【0019】

３ＤＡＲマーカ１５は、例えば６面体等の立体形状をしたＡＲマーカである。３ＤＡＲマーカ１５は、例えば作業用機械器具１０の筐体の外側等、外部から容易に視認できる位置に取り付けられる。３ＤＡＲマーカ１５は、作業者端末２０により、作業用機械器具１０の位置及び向きを把握するために用いられる。

【0020】

なお３ＤＡＲマーカ１５は、以下のような形態であっても良い。３ＤＡＲマーカ１５は６面体に限らず、球体等任意の立体形状であっても良い。又は、作業用機械器具１０の周囲の何面か（例えば４面）にそれぞれＱＲコード（登録商標）等を貼り付けておき、これを３ＤＡＲマーカ１５として利用しても良い。あるいは、作業用機械器具１０の外形を３Ｄモデルとして予め作成及び記憶しておき、この３Ｄモデルと一致する物体が現実空間内に発見された場合に、その物体（すなわち作業用機械器具１０自体）を３ＤＡＲマーカ１５として使用しても良い（オブジェクトマーカ）。

【0021】

図３は、作業者端末２０の一例を示す図である。作業者端末２０は、典型的には頭部装着型の筐体にカメラ２１、デプスセンサ２２、慣性センサ２３、処理部２４、通信部２５及び透過型ディスプレイ２６等を備える。いわゆるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であり、例えばＨｏｌｏｌｅｎｓ（登録商標）等が含まれる。

【0022】

カメラ２１は、現実世界の映像を撮影する。典型的には、作業者端末２０を装着した作業者の視界に相当する範囲を、所定のフレームレートで撮影する。

【0023】

デプスセンサ２２は、現実空間に存在する物体に赤外光等を照射し、反射してくるまでの時間を計測することで物体までの距離を測定する。デプスセンサ２２は、物体上の多数の点に対して測距を行う（スキャンする）ことで３次元点群データを取得することができる。３次元点群データは、現実世界に存在する物体の形状を示す情報となる。

【0024】

慣性センサ２３は、加速度又は角速度等を計測するセンサである。加速度又は角速度等は、例えば作業者端末２０の移動量、移動方向、移動速度、姿勢（傾き、すなわち視線の向き）等を算出するために使用される。

【0025】

処理部２４は、ＣＰＵ（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）２４１、メモリ２４２等を備えた情報処理装置であり、メモリ２４２に格納されたプログラムをＣＰＵ２４１が実行することにより所定の機能を実現する。

【0026】

通信部２５は、作業用機械器具１０又は管理者端末３０等の外部機器との通信を行う。

【0027】

透過型ディスプレイ２６は、処理部２４が出力する情報を表示する。作業者端末２０を装着した作業者は、透過型ディスプレイ２６を通して現実世界を視認するのと同時に、透過型ディスプレイ２６に表示された情報を視認することができる。

【0028】

作業者端末２０の基本的な機能について説明する。
作業者端末２０は、作業者の周囲の現実空間に静止座標系を設定する機能を有する。ここでいう静止座標系とは、現実空間内に固定された原点及び座標軸を有する（作業者端末２０が動いても原点及び座標軸が変化しない）座標系のことである。静止座標系の原点及び座標軸は、例えば現実空間内にＡＲマーカなどの基準物を設置することにより定義できる。この場合、カメラ２１が現実空間内に置かれたＡＲマーカを撮影する。ＡＲマーカは、典型的には所定のパターンがプリントされた平板であり、そのパターンには原点の位置と座標軸の向きを示す情報がエンコードされている。又は、３次元の物体をＡＲマーカとして使用することもできる（３ＤＡＲマーカ）。処理部２４は、撮影画像に含まれたＡＲマーカを認識及び解析し、静止座標系の原点と座標軸を定める。又は、作業者端末２０の起動時の位置を原点とすることもできる。作業者端末２０は、典型的には起動時に静止座標系を設定する。

【0029】

また、作業者端末２０は、現実空間における自己の位置を常に認識することができる。例えばＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の公知技術により、カメラ２１又はデプスセンサ２２が取得した情報に基づいて、現実世界の地図を生成すると同時に自己位置を認識することができる。認識した自己位置は、静止座標系の座標として出力することができる。

【0030】

また、作業者端末２０は、任意のオブジェクトを現実空間に重畳させて表示する機能を有する。ここでいうオブジェクトとは、処理部２４が生成する像であって、例えば文字、２次元画像、３次元モデル等が含まれる。処理部２４は、透過型ディスプレイ２６にオブジェクトを表示させる。これにより、作業者端末２０を頭部に装着した作業者は、透過型ディスプレイ２６を通して現実世界を視認するのと同時に、透過型ディスプレイ２６に表示されたオブジェクトを視認できる。このとき処理部２４は、オブジェクトを静止座標系の所定の座標に配置する。すなわち、作業者端末２０を頭部に装着した作業者が立ち位置や姿勢を変えたとしても、処理部２４はその変化をＳＬＡＭや慣性センサ２３等で検出し、その変化に応じて透過型ディスプレイ２６上でのオブジェクトの表示位置等を変化させる。これにより、作業者にとっては、現実空間内の所定の位置にオブジェクトがずっと変わらず配置されているように見える。

【0031】

また、作業者端末２０は、現実空間内に存在する物体の形状を把握する機能を有する。具体的にはデプスセンサ２２が、現実空間をスキャンし、物体の形状を示す３次元点群データを取得する。処理部２４は、３次元点群データからポリゴンメッシュを形成することで、物体の表面を認識及び再現することができる。

【0032】

図４は、管理者端末３０の一例を示す図である。管理者端末３０は、典型的には板状の筐体に処理部３１、通信部３２及びタッチパネル方式のディスプレイ３３等を内蔵したいわゆるタブレットコンピュータである。

【0033】

処理部３１は、ＣＰＵ（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）３１１、メモリ３１２等を備えた情報処理装置であり、メモリ３１２に格納されたプログラムをＣＰＵ３１１が実行することにより所定の機能を実現する。

【0034】

通信部３２は、作業用機械器具１０又は作業者端末２０等の外部機器との通信を行う。

【0035】

ディスプレイ３３は、処理部３１が出力する情報を表示する。

【0036】

図５Ａ及び図５Ｂは、作業者端末２０及び管理者端末３０の機能構成を示すブロック図である。
作業者端末２０は、作業用機械器具認識部２０１、作業指示部２０２、作業状況表示部２０３を有する。これらの構成要素は、処理部２４のＣＰＵ２４１がメモリ２４２に格納されたプログラムを実行することにより論理的に実現される。

【0037】

作業用機械器具認識部２０１は、現実空間に存在する作業用機械器具１０の位置及び姿勢（傾き）を認識する。作業用機械器具認識部２０１は、カメラ２１の撮影画像から、作業用機械器具１０の外装に固定された３ＤＡＲマーカ１５を検出し、３ＤＡＲマーカ１５の位置及び姿勢を認識する。また作業用機械器具認識部２０１は、３ＤＡＲマーカ１５と作用体１１との相対位置を示すオフセットを予め保持している。したがって作業用機械器具認識部２０１は、３ＤＡＲマーカ１５の位置及び姿勢と、３ＤＡＲマーカ１５と作用体１１との相対位置を示すオフセットに基づき、作用体１１の座標を算出することができる。

【0038】

ここで作業用機械器具認識部２０１は、３ＤＡＲマーカ１５の形状及びサイズ（例えば１辺１０ｃｍの６面体である等）に関する情報を予め保持しているものとする。作業用機械器具認識部２０１は、カメラ２１の撮影画像内に３ＤＡＲマーカ１５を検出した場合、それを静止座標系の中で例えば１辺１０ｃｍの６面体として認識する。すなわち、１辺１０ｃｍの６面体が静止座標系のどの座標に、どれほどの傾きをもって存在しているかを認識することができる。したがって、作業用機械器具認識部２０１は、３ＤＡＲマーカ１５と作用体１１との相対位置を示すオフセットが既知であれば、静止座標系における作用体１１の座標も算出できることになる。

【0039】

また、作業用機械器具認識部２０１は、作業用機械器具１０の作動状況を認識する。作業用機械器具１０のスイッチ１４は、ＯＮ又はＯＦＦのいずれの状態であるかをＢｌｕｅｔｏｏｔｈ（登録商標）通信等により作業者端末２０に通知する。作業用機械器具認識部２０１は、通信部２５を介してこの通知を受信し、作業用機械器具１０が作動中であるか否かを判定する。

【0040】

作業指示部２０２は、作業現場のどの位置に作業用機械器具１０を作用させるべきかを指示する情報を、透過型ディスプレイ２６に表示する。作業指示部２０２は、例えば作業用機械器具１０を接触させ、挿入し、又は向けるべき位置を示す円状のオブジェクトを、対象の表面に重畳して表示する。なお作業指示部２０２は、作業用機械器具１０を作用させるべき位置を示す情報を予めメモリ２４２に格納しているものとする。また作業指示部２０２は、予めメモリ２４２に格納された図面データを現場に重畳表示しても良い。現場への図面情報や他のオブジェクトの重畳表示は、特許６４３８９９５号をはじめとする公知技術により実現可能である。

【0041】

また作業指示部２０２は、作業用機械器具１０を対象に接触させ、挿入し、又は向けるべき時間又は角度等を指示する情報を、同様に透過型ディスプレイ２６に表示しても良い。なお作業指示部２０２は、これらの情報を予めメモリ２４２に格納しているものとする。

【0042】

作業状況表示部２０３は、作業の進行状況を示す情報（以下、単に作業状況という）を生成し、透過型ディスプレイ２６に表示することができる。作業状況には、例えば作用体１１の位置を示す情報（例えば指示された位置に作用体１１が接触し、挿入され、又は向けられている否かの判定結果を示す情報、又は対象と作用体１１との距離を示す情報）、作用体１１の対象に対する角度を示す情報、作用体１１が作動し、かつ正しく接触し、挿入され、又は向けられている時間を示す情報等を含みうるがこの限りではない。これらの情報は、例えば以下に示す方法で生成できる。

【0043】

位置：作業指示部２０２は、例えば作業用機械器具１０を接触させ、挿入し、又は向けるべき位置を示す円状のオブジェクトを、対象の表面に重畳して表示する。なお、作業用機械器具１０を接触させ、挿入し、又は向けるべき位置は、例えば円以外の図形やグリッド線等によって表示されても良い。作業用機械器具認識部２０１が、３ＤＡＲマーカ１５の位置及び姿勢（傾き）ならびに予め定められたオフセットに基づき、作用体１１の座標を算出する。作業状況表示部２０３は、作用体１１の位置が、作業指示部２０２が指示する位置におさまっているか判定する。典型的には、作用体１１の座標を対象表面へ垂直投影して得られる座標が、円状のオブジェクトに包含されているかを判定する。判定結果として、円状のオブジェクトに包含されている場合は例えば「ＯＫ」を、そうでなければ「ＮＧ」を出力する。位置に関する判定結果は、典型的には文字情報として透過型ディスプレイ２６に表示される。

【0044】

距離：作業用機械器具認識部２０１は、作用体１１と対象表面との距離を算出して出力する。又は、作業用機械器具１０を接触させ、挿入し、又は向けるべき位置を示すオブジェクトからの距離や、当該オブジェクトの中心点からの距離等を算出及び出力しても良い。作業状況表示部２０３は、典型的には文字情報として透過型ディスプレイ２６に距離を表示する。

【0045】

角度：作業用機械器具認識部２０１は、作用体１１と対象表面とのなす角度を算出して出力する。作業状況表示部２０３は、典型的には文字情報として透過型ディスプレイ２６に角度を表示する。

【0046】

この計算を行うため、作業用機械器具認識部２０１は、３ＤＡＲマーカに対する作用体１１の相対的な傾きを予め保持しているものとする。例えば作用体１１が概ね棒型である場合（タイタンパーのビータ、打診棒の先端、スプレーガン、噴霧器又はカーペット洗浄機のノズル、櫂の先端等）には、その棒型形状の軸にあたる直線が、３ＤＡＲマーカに対しどの程度傾いているかを示す情報を保持しているものとする。また、例えば作用体１１が対象に対し面で作用する場合（タンピングランマーの打撃板、プレートコンパクターの振動板等）には、その面の法線にあたる直線が、３ＤＡＲマーカに対しどの程度傾いているかを示す情報を保持しているものとする。これにより、作業用機械器具認識部２０１は、静止座標系における３ＤＡＲマーカ１５の姿勢（傾き）を検出することで、間接的に、静止座標系における作用体１１の軸又は法線にあたる直線の傾きを算出することが可能となる。作業用機械器具認識部２０１は、この直線と、対象表面にあたる平面との角度を計算する。

【0047】

時間：作業状況表示部２０３が、所定の位置において作業用機械器具１０による作業が行われた時間を累積する。作業状況表示部２０３は、典型的には文字情報として透過型ディスプレイ２６に累積時間を表示する。

【0048】

作業状況表示部２０３は、例えば作用体１１が対象に接触し又は挿入されることにより作業が行われる場合（タンピングランマーの打撃板、プレートコンパクターの振動板、タイタンパーのビータ、打診棒の先端、カーペット洗浄機のノズル、櫂の先端等）には、対象表面と作用体１１との距離が所定の閾値以下となったときに、対象表面と作用体１１とが接触している、すなわち作業が実施されていると判定する。作用体１１が対象に接触することを要しない場合（スプレーガン、噴霧器のノズル等）には、作業用機械器具認識部２０１から通知された作業用機械器具１０の作動状況がＯＮ（作動中）であるときに、作業が実施されていると判定する。作業状況表示部２０３は、一定時間ごとにこれらの判定を繰り返し実施し、作業が実施されていると判定されている間の経過時間を累計して出力する。なお、上述の接触判定又は作動判定等の条件に加え、例えば位置や角度が所定の要件を満たしていることをも条件とし、全ての条件が満たされているときの経過時間を累計することとしても良い。

【0049】

作業状況表示部２０３は、作業の作業状況を色やグラフ等を用いて可視化することができる。この例では、作業状況のうち時間を色により可視化している。作業指示部２０２は、作業を行うべき位置における作業時間の規定値（例えば８秒以上など）を予め保持しているものとする。作業状況表示部２０３は、各位置における作業時間の累計が規定値以上となった場合、その位置を示す水平円オブジェクトを「合格」を示す色（例えば緑）で彩色する。その他の場合は、作業時間の累計の規定値に対する割合に応じて、その挿入位置を示すオブジェクトを異なる色で彩色する。例えば作業時間の累計が規定値未満５割以上であれば黄、５割未満であれば赤で彩色する。このとき、作業時間の累計を示す文字をオブジェクト近傍に表示しても良い。

【0050】

また作業状況表示部２０３は、距離、作業時間及び角度等に関する作業状況を、同様に色やグラフ等を用いて可視化しても良い。

【0051】

作業状況表示部２０３は、取得した作業状況をメモリ２４２内の記憶領域に格納する。必要に応じ、作業状況の統計値を計算し格納しても良い。

【0052】

また、作業状況表示部２０３は、作業中に透過型ディスプレイ２６に表示された可視化情報と、その時にカメラ２１が撮影した現実世界の映像と、を格納しても良い。例えば上述のような、作業の実施時間を色を用いて表現した情報を、その時の現実世界の映像とセットにして保存することができる。

【0053】

管理者端末３０は、作業実績表示部３０１を有する。この構成要素は、処理部３１のＣＰＵ３１１がメモリ３１２に格納されたプログラムを実行することにより論理的に実現される。

【0054】

作業実績表示部３０１は、通信部３２を介して作業者端末２０と通信を行い、メモリ２４２内の記憶領域に格納された作業状況を取得する。作業実績表示部３０１は、管理者の要求に応じ、取得した作業状況をディスプレイ３３に表示する。例えば上述のような、作業の実施時間を色を用いて表現した情報を、その時の現実世界の映像に重畳して表示することができる。また、作業すべき位置それぞれにおける各種作業状況（距離、角度及び時間等）を文字情報としてディスプレイ３３に表示しても良い。

【0055】

図６のフローチャートを用いて、作業状況管理システム１の動作について時系列で説明する。

【0056】

Ｓ１０１：起動
作業者は、作業者端末２０を頭部に装着し、プログラムを起動する。作業者端末２０は、現実空間に静止座標系を設定し、ＳＬＡＭ機能の動作を開始する。

【0057】

Ｓ１０２：図面データの読み込み及び配置
作業指示部２０２が、メモリ２４２に予め格納された図面データを読み出し、現場に重畳表示する。すなわち、静止座標系に図面データを配置する。また、作業指示部２０２は、作業用機械器具１０挿入位置を示すオブジェクトを静止座標系に配置する。配置された図面及びオブジェクトは透過型ディスプレイ２６に表示される。これにより、作業員は、現実空間に重畳表示された図面及びオブジェクトを視認できるようになる。

【0058】

Ｓ１０３：３ＤＡＲマーカ認識
作業用機械器具認識部２０１は、カメラ２１の撮影画像を取得し、その画像から、作業用機械器具１０の外装に固定された３ＤＡＲマーカ１５を検出し、３ＤＡＲマーカ１５の位置及び姿勢を認識する。

【0059】

Ｓ１０４：作用体１１の位置推定
作業用機械器具認識部２０１は、３ＤＡＲマーカ１５の位置及び姿勢と、３ＤＡＲマーカ１５と作用体１１との相対位置を示すオフセットとに基づき、作用体１１の座標を算出する。

【0060】

Ｓ１０５：作用体１１の作動開始検知
作業用機械器具認識部２０１は、例えばスイッチ１４の状態を示す信号を受信して、作業用機械器具１０の作動状況を認識する。作用体１１が作動中である場合、Ｓ１０６に遷移する。

【0061】

又は、作業用機械器具認識部２０１は、作用体１１が対象に接触しているか否かを判定する。接触している場合、作用体１１による作業が実施されているものとみなし、Ｓ１０６に遷移する。

【0062】

Ｓ１０６：作業状況表示
作業状況表示部２０３は、作業中の作用体１１の角度や、作業時間等を算出及び表示する。

【0063】

Ｓ１０７：作用体１１の作動終了検知、作業結果保存
作業用機械器具認識部２０１は、例えばスイッチ１４の状態を示す信号を受信して、作業用機械器具１０が停止したことを認識する。又は、作業用機械器具認識部２０１は、作用体１１が対象に接触しているか否かを判定し、接触していない場合、作用体１１による作業が終了したものとみなす。作業状況表示部２０３は、Ｓ１０６で取得した作業状況や、作業状況の統計値をメモリ２４２内の記憶領域に保存する。また、例えば管理者端末３０の要求に応じ、保存した作業状況等を管理者端末３０に送信する。

【0064】

Ｓ１０８：作業結果閲覧
管理者端末３０の作業実績表示部３０１は、作業者端末２０から作業状況等を取得しディスプレイ３３に表示する。

【0065】

＜効果＞
実施の形態１によれば、作業用機械器具１０には３ＤＡＲマーカ１５が取り付けられ、作用体１１の位置は３ＤＡＲマーカ１５からのオフセットとして表される。３ＤＡＲマーカ１５は、作業者端末２０によって常に視認可能な位置に設置されるから、作用体１１がいかなる位置にあったとしてその位置を継続的にトラッキングできる。また作業者端末２０は、その固有の機能により３ＤＡＲマーカ１５の位置及び姿勢を認識できるから、そこから固定的にオフセットされた作用体１１の位置も常に正確に推定できる。

【0066】

実施の形態によれば、作業者端末２０の作業指示部２０２は、作業を実施すべき位置、角度及び時間等に関する指示や作業実績を、現実空間に重畳して透過型ディスプレイ２６に表示する。これにより、作業者は指示や作業状況をリアルタイムに確認しながら、正確、均質かつ効率的に作業を実施できる。

【0067】

実施の形態によれば、管理者端末３０の作業実績表示部３０１は、作業者端末２０が蓄積した作業状況を取得し、作業実績としてディスプレイ３３に表示する。これにより、従来は管理者が手作業で作成していた品質管理の記録を、効率的かつ自動的に残すことが可能となる。

【0068】

＜実施の形態２＞
上述の実施の形態１では、作業用機械器具１０には３ＤＡＲマーカ１５が取り付けられ、作業者端末２０は３ＤＡＲマーカ１５をトラッキングすることによって作用体１１の位置を特定していた。

【0069】

これに対し、実施の形態２では、３ＤＡＲマーカ１５に代えて自己位置推定装置１７を作業用機械器具１０に取り付ける。作業者端末２０は自己位置推定装置１７の位置を認識することによって作用体１１の位置を特定する。

【0070】

実施の形態２にかかる作業状況管理システム１のハードウェア構成は、実施の形態１と同様である（図１参照）。作業状況管理システム１は、作業用機械器具１０、作業者端末２０、管理者端末３０を含む。

【0071】

図７は、実施の形態２における作業用機械器具１０の一例を示す図である。作業用機械器具１０は、典型的には作用体１１及びスイッチ１４を備えた筐体、並びに自己位置推定装置１７を備える。

【0072】

作用体１１、スイッチ１４については実施の形態１と同様であるため説明を省略する。

【0073】

自己位置推定装置１７は、プロセッサとメモリを有し、プロセッサがメモリに格納されたプログラムを読み出して実行することにより各種機能を実現する。自己位置推定装置１７はまた、作業者端末２０との間で通信を行うための通信装置、自己の移動量を検出するために使用される各種センサ（例えばカメラ、デプスセンサ、音響センサ等）、及び自己の姿勢を検出するためのチルトセンサ（例えばジャイロ等）を備えている。典型的には、スマートフォン等を自己位置推定装置１７として利用することができる。

【0074】

自己位置推定装置１７は、自己の移動量を逐次推定し、現在の自己位置を示す３次元座標を出力する。移動量の算出方式としては、典型的にはＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）方式、加速度センサ方式等がある。ＳＬＡＭ方式の場合、自己位置推定部１７は、センサ（例えばカメラ、デプスセンサ、音響センサ等）により移動中の周囲の環境をセンシングし、３次元の環境地図を作成する。同時に自己位置推定装置１７の移動量を逐次的に推定し、環境地図上での自己位置を推定する。加速度センサ方式では、自己位置推定装置１７は、加速度センサにより得られた加速度に基づいて移動距離を計算することで自己位置を推定する。いずれの場合も、チルトセンサ（例えばジャイロ等）から得られる情報を用いて推定精度を向上させることも可能である。

【0075】

また、自己位置推定装置１７は、チルトセンサ（例えばジャイロ等）により、自己の姿勢すなわち座標軸に対する傾きを計測及び出力する。

【0076】

また、自己位置推定装置１７は、自己の周囲の現実空間に静止座標系を設定する機能を有する。静止座標系の原点及び座標軸は、例えば現実空間内にＡＲマーカなどの基準物を設置することにより定義できる。ＡＲマーカは、典型的には所定のパターンがプリントされた平板であり、そのパターンには原点の位置と座標軸の向きを示す情報がエンコードされている。又は、３次元の物体をＡＲマーカとして使用することもできる（３ＤＡＲマーカ）。例えば、自己位置推定装置１７が備えるカメラが現実空間内に置かれたＡＲマーカを撮影する。そして、プロセッサが撮影画像に含まれたＡＲマーカを認識及び解析し、静止座標系の原点と座標軸を定める。

【0077】

なお、自己位置推定装置１７が静止座標系を設定する際は、作業者端末２０が静止座標系を設定する際に使用するＡＲマーカ（３ＤＡＲマーカを含む）と同じＡＲマーカを使用することができる。これにより、自己位置推定装置１７と作業者端末２０とが同じ静止座標系を使用することができる。換言すれば、空間を共有することができる。

【0078】

自己位置推定装置１７は、推定した自己位置（静止座標系における座標）及び姿勢（静止座標系における傾き）を、逐次、作業者端末２０に通知する。

【0079】

実施の形態２における作業者端末２０、管理者端末３０のハードウェア構成及び機能構成は、基本的に実施の形態１と同様である（図３、図４、図５Ａ、図５Ｂ参照）。以下、実施の形態１との相違点のみ主に説明し、その余は説明を省略する。

【0080】

作業者端末２０の作業用機械器具認識部２０１は、自己位置推定装置１７からその位置及び姿勢を受信する。また作業用機械器具認識部２０１は、自己位置推定装置１７と作用体１１との相対位置を示すオフセットを予め保持している。したがって作業用機械器具認識部２０１は、自己位置推定装置１７の位置及び姿勢と、自己位置推定装置１７と作用体１１との相対位置を示すオフセットに基づき、作用体１１の座標を算出することができる。

【0081】

図８のフローチャートを用いて、実施の形態２にかかる作業状況管理システム１の動作について時系列で説明する。

【0082】

Ｓ２０１：起動
作業者は、作業者端末２０を頭部に装着し、プログラムを起動する。また、自己位置推定装置１７を起動する。作業者端末２０及び自己位置推定装置１７は、同じＡＲマーカを使用して現実空間に静止座標系を設定し、ＳＬＡＭ機能の動作を開始する。

【0083】

Ｓ２０２：図面データの読み込み及び配置
作業指示部２０２が、メモリ２４２に予め格納された図面データを読み出し、現場に重畳表示する。すなわち、静止座標系に図面データを配置する。また、作業指示部２０２は、作業用機械器具１０挿入位置を示すオブジェクトを静止座標系に配置する。配置された図面及びオブジェクトは透過型ディスプレイ２６に表示される。これにより、作業員は、現実空間に重畳表示された図面及びオブジェクトを視認できるようになる。

【0084】

Ｓ２０３：自己位置推定装置１７の位置認識
自己位置推定装置１７が、ＳＬＡＭ機能により静止座標系における自己位置及び姿勢を推定する。作業用機械器具認識部２０１は、自己位置推定装置１７からその位置及び姿勢を受信する。

【0085】

Ｓ２０４：作用体１１の位置推定
作業用機械器具認識部２０１は、自己位置推定装置１７の位置及び姿勢と、自己位置推定装置１７と作用体１１との相対位置を示すオフセットとに基づき、作用体１１の座標を算出する。

【0086】

Ｓ２０５：作用体１１の作動開始検知
作業用機械器具認識部２０１は、例えばスイッチ１４の状態を示す信号を受信して、作業用機械器具１０の作動状況を認識する。作用体１１が作動中である場合、Ｓ２０６に遷移する。

【0087】

又は、作業用機械器具認識部２０１は、作用体１１が対象に接触しているか否かを判定する。接触している場合、作用体１１による作業が実施されているものとみなし、Ｓ２０６に遷移する。

【0088】

Ｓ２０６：作業状況表示
作業状況表示部２０３は、作業中の作用体１１の角度や、作業時間等を算出及び表示する。

【0089】

Ｓ２０７：作用体１１の作動終了検知、作業結果保存
作業用機械器具認識部２０１は、例えばスイッチ１４の状態を示す信号を受信して、作業用機械器具１０が停止したことを認識する。又は、作業用機械器具認識部２０１は、作用体１１が対象に接触しているか否かを判定し、接触していない場合、作用体１１による作業が終了したものとみなす。作業状況表示部２０３は、Ｓ２０６で取得した作業状況や、作業状況の統計値をメモリ２４２内の記憶領域に保存する。また、例えば管理者端末３０の要求に応じ、保存した作業状況等を管理者端末３０に送信する。

【0090】

Ｓ２０８：作業結果閲覧
管理者端末３０の作業実績表示部３０１は、作業者端末２０から作業状況等を取得しディスプレイ３３に表示する。

【0091】

＜効果＞
実施の形態２によれば、作業用機械器具１０には自己位置推定装置１７が取り付けられ、自己位置推定装置１７が推定した自己位置及び姿勢が作業者端末２０に随時送信される。上述の実施の形態１では、作業者端末２０のカメラ２１が常時３ＤＡＲマーカ１５をとらえている必要があった。しかしながら、実施の形態２の上記構成によれば、作業者端末２０は、カメラ２１が作業用機械器具１０をとらえていない状態であっても、自己位置推定装置１７の位置及び姿勢を把握できる。また、実施の形態１と比較して作業者端末２０の処理負荷が小さいため、より滑らかに自己位置推定装置１７及び作用体１１をトラッキングできる。

【0092】

以上、本発明の実施の形態について説明したが、本発明はこれに限定されず、本発明の趣旨を損なわない範囲において適宜構成要素や各種処理を変更、削除又は追加することが可能である。例えば、本発明を構成する各処理手段は、ハードウェアにより構成されるものであってもよく、任意の処理をＣＰＵにコンピュータプログラムを実行させることにより実現するものであってもよい。また、コンピュータプログラムは、様々なタイプの一時的又は非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。一時的なコンピュータ可読媒体は、例えば有線又は無線によりコンピュータに供給される電磁的な信号を含む。

【符号の説明】

【0093】

１ 作業状況管理システム
１０ 作業用機械器具
１１ 作用体
１４ スイッチ
１５ ３ＤＡＲマーカ
１７ 自己位置推定装置
２０ 作業者端末
２１ カメラ
２２ デプスセンサ
２３ 慣性センサ
２４ 処理部
２４１ ＣＰＵ
２４２ メモリ
２５ 通信部
２６ 透過型ディスプレイ
３０ 管理者端末
３１ 処理部
３１１ ＣＰＵ
３１２ メモリ
３２ 通信部
３３ ディスプレイ
２０１ 作業用機械器具認識部
２０２ 作業指示部
２０３ 作業状況表示部
３０１ 作業実績表示部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】