知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022178396
(43)【公開日】2022-12-02
(54)【発明の名称】誘導型遠隔操作方法及び装置
(51)【国際特許分類】
G06T 19/00 20110101AFI20221125BHJP
G05D 1/00 20060101ALI20221125BHJP
G06F 3/0481 20220101ALI20221125BHJP
G06F 3/04815 20220101ALI20221125BHJP
【ＦＩ】
G06T19/00 300Z
G05D1/00 B
G06F3/0481
G06F3/0481 150
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021085169
(22)【出願日】2021-05-20
(71)【出願人】
【識別番号】509328928
【氏名又は名称】株式会社日立プラントコンストラクション
(74)【代理人】
【識別番号】100091306
【弁理士】
【氏名又は名称】村上 友一
(74)【代理人】
【識別番号】100174609
【弁理士】
【氏名又は名称】関 博
(72)【発明者】
【氏名】横山 大
(72)【発明者】
【氏名】佐々木 祐之
(72)【発明者】
【氏名】宮崎 隆光
【テーマコード（参考）】
5B050
5E555
5H301
【Ｆターム（参考）】
5B050AA04
5B050BA09
5B050CA06
5B050CA07
5B050DA01
5B050EA07
5B050EA19
5B050FA02
5E555AA26
5E555BA02
5E555BB02
5E555BC01
5E555CA42
5E555CC22
5E555DB03
5E555DB41
5E555DC13
5E555DC84
5E555DD06
5E555DD08
5E555EA14
5E555EA22
5E555FA00
5H301AA01
5H301BB03
5H301CC04
5H301CC07
5H301CC10
5H301DD05
5H301GG09
5H301GG17
(57)【要約】
【課題】現場内の移動体の現在位置確認が容易で、移動体を作業終点位置へ効率的に誘導できる誘導型遠隔操作方法及び装置を提供する。
【解決手段】本発明の誘導型遠隔操作方法は、作業対象物を撮影しながら前記作業対象物に対して作業を行う移動体を遠隔操作する誘導型遠隔操作方法において、
あらかじめ３次元点群データ取得手段１６で前記作業対象物の３次元点群データを取得し得られた事前３次元点群データ中における前記作業対象物の特徴点を事前特徴点として抽出し、移動体に搭載した深度計測部２６で撮影した３次元点群データ中における特徴点を現在特徴点として抽出して、前記事前特徴点と前記現在特徴点を対応付けして前記事前３次元点群データ中に前記移動体の現在位置を移動体モデルとして重畳する現在位置確認工程と、
前記移動体モデルの現在位置から作業を行う目標位置までの誘導方向を表示する誘導方向表示工程と、
を有することを特徴としている。
【選択図】 図１
【解決手段】本発明の誘導型遠隔操作方法は、作業対象物を撮影しながら前記作業対象物に対して作業を行う移動体を遠隔操作する誘導型遠隔操作方法において、
あらかじめ３次元点群データ取得手段１６で前記作業対象物の３次元点群データを取得し得られた事前３次元点群データ中における前記作業対象物の特徴点を事前特徴点として抽出し、移動体に搭載した深度計測部２６で撮影した３次元点群データ中における特徴点を現在特徴点として抽出して、前記事前特徴点と前記現在特徴点を対応付けして前記事前３次元点群データ中に前記移動体の現在位置を移動体モデルとして重畳する現在位置確認工程と、
前記移動体モデルの現在位置から作業を行う目標位置までの誘導方向を表示する誘導方向表示工程と、
を有することを特徴としている。
【選択図】 図１
【特許請求の範囲】
【請求項1】
作業対象物を撮影しながら作業を行う移動体を遠隔操作する誘導型遠隔操作方法において、
あらかじめ３次元点群データ取得手段で前記作業対象物の３次元点群データを取得し得られた事前３次元点群データ中における前記作業対象物の特徴点を事前特徴点として抽出し、前記移動体に搭載した深度計測部で撮影した３次元点群データ中における特徴点を現在特徴点として抽出して、前記事前特徴点と前記現在特徴点を対応付けして前記事前３次元点群データ中に前記移動体の現在位置を移動体モデルとして重畳する現在位置確認工程と、
前記移動体モデルの現在位置から作業を行う目標位置までの誘導方向を表示する誘導方向表示工程と、
を有することを特徴とする誘導型遠隔操作方法。
あらかじめ３次元点群データ取得手段で前記作業対象物の３次元点群データを取得し得られた事前３次元点群データ中における前記作業対象物の特徴点を事前特徴点として抽出し、前記移動体に搭載した深度計測部で撮影した３次元点群データ中における特徴点を現在特徴点として抽出して、前記事前特徴点と前記現在特徴点を対応付けして前記事前３次元点群データ中に前記移動体の現在位置を移動体モデルとして重畳する現在位置確認工程と、
前記移動体モデルの現在位置から作業を行う目標位置までの誘導方向を表示する誘導方向表示工程と、
を有することを特徴とする誘導型遠隔操作方法。
【請求項2】
請求項１に記載された誘導型遠隔操作方法であって、
前記移動体モデルが作業中に既設物に干渉する可能性があるときに前記干渉のおそれを警告する干渉警告工程を有することを特徴とする誘導型遠隔操作方法。
前記移動体モデルが作業中に既設物に干渉する可能性があるときに前記干渉のおそれを警告する干渉警告工程を有することを特徴とする誘導型遠隔操作方法。
【請求項3】
請求項１又は２に記載された誘導型遠隔操作方法であって、
前記誘導方向表示工程は、前記移動体モデルが作業中に既設物と干渉する可能性があるときに、前記移動体モデルと前記既設物との干渉の可能性がなくなるまで前記既設物から離れる方向へ移動し、十分に離れてから前記目標位置への直線方向に前記移動体モデルを誘導する誘導表示及び移動距離を表示することを特徴とする誘導型遠隔操作方法。
前記誘導方向表示工程は、前記移動体モデルが作業中に既設物と干渉する可能性があるときに、前記移動体モデルと前記既設物との干渉の可能性がなくなるまで前記既設物から離れる方向へ移動し、十分に離れてから前記目標位置への直線方向に前記移動体モデルを誘導する誘導表示及び移動距離を表示することを特徴とする誘導型遠隔操作方法。
【請求項4】
作業対象物を撮影しながら作業を行う移動体を遠隔操作部により遠隔操作する誘導型遠隔操作装置において、
前記作業対象物と前記移動体の干渉が疑われる場所が監視できる前記作業対象物内の前記移動体の周辺に複数設置された作業対象物用カメラを有し、
前記作業対象物に対して作業を行う前記移動体には、前記移動体の前方を撮影して色情報を収集する移動体用カメラと、前記移動体用カメラの画角内に映る物の３次元計測を実施して奥行情報となる３次元点群データを収集する深度計側部を有すると共に、移動方向を検出する加速度センサと、現在の傾き角度を検出する角速度センサと連携することによって自己位置を検出するＭＲデバイスを有し、
前記遠隔操作部には、あらかじめ前記作業対象物を撮影して得られた事前３次元点群データ中における前記作業対象物の特徴点を事前特徴点として抽出し、前記ＭＲデバイスで取得した３次元点群データ中における特徴点を現在特徴点として抽出する特徴点抽出部と、前記事前特徴点と前記現在特徴点を対応付けして前記事前３次元点群データ中に前記移動体の現在位置を移動体モデルとして重畳する移動体モデル作成部と、
を有することを特徴とする誘導型遠隔操作装置。
前記作業対象物と前記移動体の干渉が疑われる場所が監視できる前記作業対象物内の前記移動体の周辺に複数設置された作業対象物用カメラを有し、
前記作業対象物に対して作業を行う前記移動体には、前記移動体の前方を撮影して色情報を収集する移動体用カメラと、前記移動体用カメラの画角内に映る物の３次元計測を実施して奥行情報となる３次元点群データを収集する深度計側部を有すると共に、移動方向を検出する加速度センサと、現在の傾き角度を検出する角速度センサと連携することによって自己位置を検出するＭＲデバイスを有し、
前記遠隔操作部には、あらかじめ前記作業対象物を撮影して得られた事前３次元点群データ中における前記作業対象物の特徴点を事前特徴点として抽出し、前記ＭＲデバイスで取得した３次元点群データ中における特徴点を現在特徴点として抽出する特徴点抽出部と、前記事前特徴点と前記現在特徴点を対応付けして前記事前３次元点群データ中に前記移動体の現在位置を移動体モデルとして重畳する移動体モデル作成部と、
を有することを特徴とする誘導型遠隔操作装置。
【請求項5】
請求項４に記載された誘導型遠隔操作装置であって、
前記遠隔操作部は、移動方向算出部は、前記作業対象物の現実世界のデータ内に配置された移動体モデルに対して、データ内で目標位置を設定すると、目標位置までの最短距離での移動量および移動方向を算出する移動方向算出部を有することを特徴とする誘導型遠隔操作装置。
前記遠隔操作部は、移動方向算出部は、前記作業対象物の現実世界のデータ内に配置された移動体モデルに対して、データ内で目標位置を設定すると、目標位置までの最短距離での移動量および移動方向を算出する移動方向算出部を有することを特徴とする誘導型遠隔操作装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、建設機械などの移動体をＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実（現実空間と仮想空間を混合して現実の物と仮想的な物がリアルタイムに影響しあう空間を構築する））技術を用いて遠隔地から操作する誘導型遠隔操作方法及び装置に関する。
【背景技術】
【0002】
従来、高所、狭隘、高線量など人が容易に近づくことができない現場では、現場に設置された作業用機械（例えば、解体装置等）を用いて作業員が遠隔で作業を行っている。この作業用機械は、作業用機械の周辺に複数のカメラを設置して動作の監視を行っている。しかし、カメラの撮影画像（２次元）では物の奥行き方向の位置関係がつかみ難く、作業用機械を動かすうちに周辺の既設物や障害物と干渉するおそれがあった。
【0003】
特許文献１に開示の技術は、遠隔無人操作による移動体の前方を撮影した画像と、仮想的な任意の視点、例えば上面画像と側面画像を表示してオペレータに作業対象物の奥行き感を与えることができる。
しかしながら特許文献１の技術では、移動体に取り付けたカメラで操縦者目線の前方を撮影しているため、操縦者から見たアームなどの物体間の遮蔽によって画像欠損（死角）領域が発生してしまい仮想的な画像においても欠損領域が残ったままであり、この欠損領域の見落としにより既設物と移動体が干渉するおそれがあった。
しかしながら特許文献１の技術では、移動体に取り付けたカメラで操縦者目線の前方を撮影しているため、操縦者から見たアームなどの物体間の遮蔽によって画像欠損（死角）領域が発生してしまい仮想的な画像においても欠損領域が残ったままであり、この欠損領域の見落としにより既設物と移動体が干渉するおそれがあった。
【0004】
また既に現場の３次元点群データを用いて任意の視点から現場内の画像を表示できる技術がある。３次元点群データと移動体モデルの座標合わせを行うのに必要となる座標基準（ターゲット）を設置する際に２次元画像、２次元コード、磁気センサなどを用いていた。しかし事前に座標基準を再現性良く配置できるか、もしくは座標基準が位置ズレした場合の対応策が明確でないなど、ターゲットの設置が煩雑な作業となっていた。そこで、この３次元画像を用いて現場内の作業用機械の現在位置の確認を容易に行いつつ、任意の方向から周辺の既設物や障害物との干渉の可能性を自動的に確認できる監視方法、および移動体（本願では作業用機械ということもあり）の所定場所への効率的な誘導方法などが望まれている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第６４７４９０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、上記従来技術の問題点に鑑み、現場内の移動体の現在位置確認が容易で、移動体を作業終点位置へ効率的に誘導できる誘導型遠隔操作方法及び装置を提供することにある。
【課題を解決するための手段】
【0007】
本発明は、上記課題を解決するための第１の手段として、作業対象物を撮影しながら前記作業対象物に対して作業を行う移動体を遠隔操作する誘導型遠隔操作方法において、
あらかじめ３次元点群データ取得手段で前記作業対象物の３次元点群データを取得し得られた事前３次元点群データ中における前記作業対象物の特徴点を事前特徴点として抽出し、前記移動体に搭載した深度計測部で撮影した３次元点群データ中における特徴点を現在特徴点として抽出して、前記事前特徴点と前記現在特徴点を対応付けして前記事前３次元点群データ中に前記移動体の現在位置を移動体モデルとして重畳する現在位置確認工程と、
前記移動体モデルの現在位置から作業を行う目標位置までの誘導方向を表示する誘導方向表示工程と、
を有することを特徴とする誘導型遠隔操作方法を提供することにある。
上記第１の手段によれば、移動体の自己位置を特定するための座標基準（ターゲット）として事前に収集された作業対象物の特徴点を利用することから、従来のターゲットとして主流であった２次元画像や２次元バーコード等を別途設定する必要がなく、前記自己位置を効率的に取得でき、作業効率が良い。また移動体の移動方向を直感的に把握することができるため、移動体の効率良い誘導が実現できる。
あらかじめ３次元点群データ取得手段で前記作業対象物の３次元点群データを取得し得られた事前３次元点群データ中における前記作業対象物の特徴点を事前特徴点として抽出し、前記移動体に搭載した深度計測部で撮影した３次元点群データ中における特徴点を現在特徴点として抽出して、前記事前特徴点と前記現在特徴点を対応付けして前記事前３次元点群データ中に前記移動体の現在位置を移動体モデルとして重畳する現在位置確認工程と、
前記移動体モデルの現在位置から作業を行う目標位置までの誘導方向を表示する誘導方向表示工程と、
を有することを特徴とする誘導型遠隔操作方法を提供することにある。
上記第１の手段によれば、移動体の自己位置を特定するための座標基準（ターゲット）として事前に収集された作業対象物の特徴点を利用することから、従来のターゲットとして主流であった２次元画像や２次元バーコード等を別途設定する必要がなく、前記自己位置を効率的に取得でき、作業効率が良い。また移動体の移動方向を直感的に把握することができるため、移動体の効率良い誘導が実現できる。
【0008】
本発明は、上記課題を解決するための第２の手段として、第１の手段において、前記移動体モデルが作業中に既設物に接近したときに干渉のおそれを警告する干渉警告工程を有することを特徴とする誘導型遠隔操作方法を提供することにある。
上記第２の手段によれば、オペレータに移動体操作を注意できる。
上記第２の手段によれば、オペレータに移動体操作を注意できる。
【0009】
本発明は、上記課題を解決するための第３の手段として、第１又は第２の手段において、前記誘導方向表示工程は、前記移動体モデルが作業中に既設物と干渉する可能性があるときに、前記移動体モデルと前記既設物との干渉の可能性がなくなるまで前記既設物から離れる方向へ移動し、十分に離れてから前記目標位置への直線方向に前記移動体モデルを誘導する誘導表示及び移動距離を表示することを特徴とする誘導型遠隔操作方法を提供することにある。
上記第３の手段によれば、表示画面で視覚を通じて具体的な移動体の移動方向、移動量を直感的に把握することができるため、移動体の効率良い誘導が実現できる。
上記第３の手段によれば、表示画面で視覚を通じて具体的な移動体の移動方向、移動量を直感的に把握することができるため、移動体の効率良い誘導が実現できる。
【0010】
本発明は、上記課題を解決するための第４の手段として、作業対象物を撮影しながら作業を行う移動体を遠隔操作部により遠隔操作する誘導型遠隔操作装置において、
前記作業対象物と前記移動体の干渉が疑われる場所が監視できる前記作業対象物内の前記移動体の周辺に複数設置された作業対象物用カメラを有し、
前記作業対象物に対して作業を行う前記移動体には、前記移動体の前方を撮影して色情報を収集する移動体用カメラと、前記移動体用カメラの画角内に映る物の３次元計測を実施して奥行情報となる３次元点群データを収集する深度計測部を有すると共に、移動方向を検出する加速度センサと、現在の傾き角度を検出する角速度センサと連携することによって自己位置を検出するＭＲデバイスを有し、
前記遠隔操作部には、あらかじめ前記作業対象物を撮影して得られた事前３次元点群データ中における前記作業対象物の特徴点を事前特徴点として抽出し、前記ＭＲデバイスで取得した３次元点群データ中における特徴点を現在特徴点として抽出する特徴点抽出部と、前記事前特徴点と前記現在特徴点を対応付けして前記事前３次元点群データ中に前記移動体の現在位置を移動体モデルとして重畳する移動体モデル作成部と、
を有することを特徴とする誘導型遠隔操作装置を提供することにある。
上記第４の手段によれば、移動体の形状や色情報を基にした特徴点を用いて自己位置を特定し、さらに加速度センサにより移動方向や移動距離を把握することにより、移動体の自己位置を特定するための座標基準（ターゲット）の設定が容易となり、ターゲットの設置位置を考慮しなくて済み、自己位置を効率的に取得できるため、作業効率が良い。また移動体の移動方向を直感的に把握することが可能となり、移動体の効率良い誘導が実現できる。
前記作業対象物と前記移動体の干渉が疑われる場所が監視できる前記作業対象物内の前記移動体の周辺に複数設置された作業対象物用カメラを有し、
前記作業対象物に対して作業を行う前記移動体には、前記移動体の前方を撮影して色情報を収集する移動体用カメラと、前記移動体用カメラの画角内に映る物の３次元計測を実施して奥行情報となる３次元点群データを収集する深度計測部を有すると共に、移動方向を検出する加速度センサと、現在の傾き角度を検出する角速度センサと連携することによって自己位置を検出するＭＲデバイスを有し、
前記遠隔操作部には、あらかじめ前記作業対象物を撮影して得られた事前３次元点群データ中における前記作業対象物の特徴点を事前特徴点として抽出し、前記ＭＲデバイスで取得した３次元点群データ中における特徴点を現在特徴点として抽出する特徴点抽出部と、前記事前特徴点と前記現在特徴点を対応付けして前記事前３次元点群データ中に前記移動体の現在位置を移動体モデルとして重畳する移動体モデル作成部と、
を有することを特徴とする誘導型遠隔操作装置を提供することにある。
上記第４の手段によれば、移動体の形状や色情報を基にした特徴点を用いて自己位置を特定し、さらに加速度センサにより移動方向や移動距離を把握することにより、移動体の自己位置を特定するための座標基準（ターゲット）の設定が容易となり、ターゲットの設置位置を考慮しなくて済み、自己位置を効率的に取得できるため、作業効率が良い。また移動体の移動方向を直感的に把握することが可能となり、移動体の効率良い誘導が実現できる。
【0011】
本発明は、上記課題を解決するための第５の手段として、第４の手段において、前記遠隔操作部は、前記作業対象物の現実世界のデータ内に配置された移動体モデルに対して、データ内で目標位置を設定すると、目標位置までの最短距離での移動量および移動方向を算出する移動方向算出部を有することを特徴とする誘導型遠隔操作装置を提供することにある。
上記第５の手段によれば、表示画面で視覚を通じて具体的な移動体の移動方向、移動量を直感的に把握することができるため、移動体の効率良い誘導が実現できる。
上記第５の手段によれば、表示画面で視覚を通じて具体的な移動体の移動方向、移動量を直感的に把握することができるため、移動体の効率良い誘導が実現できる。
【発明の効果】
【0012】
本発明によれば、移動体（作業用機械）の現在位置の確定（自己位置推定）に係わる労力、気遣いが低減されることで、移動体を操作する作業員の操作ミスを低減することが可能となる。
また既設物内の移動体の現在位置を表示し、周辺の既設物や障害物との干渉の可能性がある場所では、作業用機械や現場周辺に設置したカメラを用いて確認される複数の視点から干渉の可能性を監視することで、見落としなどの可能性が低減される。
さらに移動体の最終目的地となる終点方向への誘導を視覚的かつ数値で確認できる内容で表示することにより、効率の良い誘導が可能となる。
また既設物内の移動体の現在位置を表示し、周辺の既設物や障害物との干渉の可能性がある場所では、作業用機械や現場周辺に設置したカメラを用いて確認される複数の視点から干渉の可能性を監視することで、見落としなどの可能性が低減される。
さらに移動体の最終目的地となる終点方向への誘導を視覚的かつ数値で確認できる内容で表示することにより、効率の良い誘導が可能となる。
【図面の簡単な説明】
【0013】
【図1】本発明の誘導型遠隔操作装置のブロック構成図である。
【図2】本発明の誘導型遠隔操作方法を示すフロー図である。
【図3】本発明の誘導型遠隔操作方法を示すフロー図である。
【図4】特徴点抽出のフロー図である。
【図5】ターゲットデータ比較の説明図である。
【図6】自己位置の推定方法の説明図である。
【図7】作業対象物の現実世界のデータ内に移動体モデルを配置した説明図である。
【図8】ＭＲ画像中で表示された警告表示の説明図である。
【図9】ＭＲ画像中で表示された回避行動の説明図である。
【発明を実施するための形態】
【0014】
本発明の誘導型遠隔操作方法及び装置の実施形態について、図面を参照しながら、以下詳細に説明する。
本実施形態の作業対象物とは、一例として建造物の解体作業を行う場合の建造物そのものである。
本実施形態の移動体とは、各種アタッチメント（例えば、圧砕具、破砕具、切断具、つかみ具、バケットなど）を着脱可能なアームを備えた無人の作業用機械であり、遠隔地に設置した遠隔操作部（操作室）の操作者によって操作され、作業対象物に対して作業（解体、組立てなど）を行うものである。
本実施形態の作業対象物とは、一例として建造物の解体作業を行う場合の建造物そのものである。
本実施形態の移動体とは、各種アタッチメント（例えば、圧砕具、破砕具、切断具、つかみ具、バケットなど）を着脱可能なアームを備えた無人の作業用機械であり、遠隔地に設置した遠隔操作部（操作室）の操作者によって操作され、作業対象物に対して作業（解体、組立てなど）を行うものである。
【0015】
［誘導型遠隔操作装置］
図１は、本発明の誘導型遠隔操作装置のブロック構成図である。本発明の誘導型遠隔操作装置は、移動体１２のアーム１４に取り付けたＭＲデバイス２０と、作業対象物１１を撮影する作業対象物用カメラ３０と、遠隔で移動体１２を操作する遠隔操作部４０を備えた構成である。
図１は、本発明の誘導型遠隔操作装置のブロック構成図である。本発明の誘導型遠隔操作装置は、移動体１２のアーム１４に取り付けたＭＲデバイス２０と、作業対象物１１を撮影する作業対象物用カメラ３０と、遠隔で移動体１２を操作する遠隔操作部４０を備えた構成である。
【0016】
（ＭＲデバイス２０）
ＭＲデバイス２０は、移動体１２のアーム１４に取り付けて、作業対象物１１の現実世界をデジタル情報で表す３次元空間とし、その中に移動体１２又はその一部であるアーム１４の架空モデルを配置して自由に操作できる装置に用いるデータを取得するものである。以下本実施形態では、一例として移動体１２のアーム１４にＭＲデバイス２０を取り付けて、アーム１４の架空モデルを作成する形態について説明する。
本実施形態のＭＲデバイスは、慣性計測部（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）２２と、移動体用カメラ２４と、深度（Ｄｅｐｔｈ）計測部２６を備えた構成である。
ＭＲデバイス２０は、移動体１２のアーム１４に取り付けて、作業対象物１１の現実世界をデジタル情報で表す３次元空間とし、その中に移動体１２又はその一部であるアーム１４の架空モデルを配置して自由に操作できる装置に用いるデータを取得するものである。以下本実施形態では、一例として移動体１２のアーム１４にＭＲデバイス２０を取り付けて、アーム１４の架空モデルを作成する形態について説明する。
本実施形態のＭＲデバイスは、慣性計測部（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）２２と、移動体用カメラ２４と、深度（Ｄｅｐｔｈ）計測部２６を備えた構成である。
【0017】
慣性計測部２２は、移動体１２のアーム１４の移動方向を収集する加速度センサと、移動体１２のアーム１４の傾き量を収集する角速度センサとを備えた構成であり、後述するターゲットが確認できず、自己位置の推定ができない場合に、ターゲットが確認できていた位置からの移動方向（移動量）や傾きの変化を計測し、自己位置の更新を行う情報として活用している。
移動体用カメラ２４は、アーム１４の前方（移動体１２の操作者が見る方向）を撮影してターゲットのほか、作業対象物１１、換言すると現場内の既設物の形状や色情報を収集するカメラである。
深度計測部２６は、移動体用カメラ２４の画角内に映る物の３次元計測を実施して奥行き情報となる３次元点群データを収集する３次元計測装置である。
移動体用カメラ２４は、アーム１４の前方（移動体１２の操作者が見る方向）を撮影してターゲットのほか、作業対象物１１、換言すると現場内の既設物の形状や色情報を収集するカメラである。
深度計測部２６は、移動体用カメラ２４の画角内に映る物の３次元計測を実施して奥行き情報となる３次元点群データを収集する３次元計測装置である。
【0018】
（作業対象物用カメラ３０）
作業対象物用カメラ３０は、作業対象物１１の情報を画像で収集する装置であり、現場に設置した複数のカメラで視点の異なる複数の画像を収集するネットワークカメラ３２と、ネットワークカメラ３２のライン（情報）を集約して後述する遠隔操作部４０へのラインをひとつにまとめるハブ３４を備えた構成である。本実施形態の作業対象物用カメラ３０は、作業中の作業対象物のカラー画像（２次元）を取得できる機能を有するカメラである。また作業対象物用カメラ３０は、作業対象物１１と移動体の干渉が疑われる場所が監視できる作業対象物内の前記移動体の周辺に、一例として数十台設置すると良い。
作業対象物用カメラ３０は、作業対象物１１の情報を画像で収集する装置であり、現場に設置した複数のカメラで視点の異なる複数の画像を収集するネットワークカメラ３２と、ネットワークカメラ３２のライン（情報）を集約して後述する遠隔操作部４０へのラインをひとつにまとめるハブ３４を備えた構成である。本実施形態の作業対象物用カメラ３０は、作業中の作業対象物のカラー画像（２次元）を取得できる機能を有するカメラである。また作業対象物用カメラ３０は、作業対象物１１と移動体の干渉が疑われる場所が監視できる作業対象物内の前記移動体の周辺に、一例として数十台設置すると良い。
【0019】
（遠隔操作部４０）
遠隔操作部４０は、情報処理装置と記憶装置を有する汎用計算機によって構成され、記憶装置に格納されたプログラムやデータを用いて、情報処理装置で様々な処理を行っている。本実施形態の遠隔操作部４０は、データ受信部４２と、特徴点抽出部４３と、移動体モデル作成部４４と、移動方向算出部４５と、表示部４６、操作入力部４８を備えた構成である。
遠隔操作部４０は、情報処理装置と記憶装置を有する汎用計算機によって構成され、記憶装置に格納されたプログラムやデータを用いて、情報処理装置で様々な処理を行っている。本実施形態の遠隔操作部４０は、データ受信部４２と、特徴点抽出部４３と、移動体モデル作成部４４と、移動方向算出部４５と、表示部４６、操作入力部４８を備えた構成である。
【0020】
データ受信部４２は、ＭＲデバイス２０で収集したデータの受け取りを行うプログラムである。
特徴点抽出部４３は、輪郭のはっきりした絵などの２次元データ、３次元点群データを用い、作業対象物１１中で特徴的な輪郭、角点などの抽出を行うプログラムである。
特徴点抽出部４３は、輪郭のはっきりした絵などの２次元データ、３次元点群データを用い、作業対象物１１中で特徴的な輪郭、角点などの抽出を行うプログラムである。
【0021】
移動体モデル作成部４４は、移動体１２のアーム１４の移動体モデルの位置、傾きなどを解析して、作業対象物１１の現実空間に表示可能な移動体モデル、換言すると仮想的なアームを作成するプログラムである。
移動方向算出部４５は、作業対象物の現実世界のデータ内に配置された移動体モデルに対して、データ内で目標位置を設定すると、目標位置までの最短距離での移動量および移動方向を算出するプログラムである。具体的には移動体モデルの現在位置と目標位置の位置座標（ｘ、ｙ、ｚ）どうしを結ぶ線分（差分）から移動距離及び移動方向を算出する。
移動方向算出部４５は、作業対象物の現実世界のデータ内に配置された移動体モデルに対して、データ内で目標位置を設定すると、目標位置までの最短距離での移動量および移動方向を算出するプログラムである。具体的には移動体モデルの現在位置と目標位置の位置座標（ｘ、ｙ、ｚ）どうしを結ぶ線分（差分）から移動距離及び移動方向を算出する。
【0022】
表示部４６は、作業対象物の点群データによる現実世界と、架空の移動体モデルの現実世界における現在位置を反映した場所で重畳して表示するＣＡＤシステムである。
操作入力部４８は、各種プログラムを実行する操作及び、移動体１２を遠隔操作する操作コマンドを入力するキーボード、タッチパネル等である。
なお移動体と遠隔操作部、作業対象物用カメラと遠隔操作部の間では無線通信と有線通信を組み合わせた通信を行う。
３次元点群データ取得手段１６は、作業開始前の事前調査で作業対象物１１の３次元点群データを収集するレーザスキャナ、３次元カメラ、写真測量などである。
操作入力部４８は、各種プログラムを実行する操作及び、移動体１２を遠隔操作する操作コマンドを入力するキーボード、タッチパネル等である。
なお移動体と遠隔操作部、作業対象物用カメラと遠隔操作部の間では無線通信と有線通信を組み合わせた通信を行う。
３次元点群データ取得手段１６は、作業開始前の事前調査で作業対象物１１の３次元点群データを収集するレーザスキャナ、３次元カメラ、写真測量などである。
【0023】
［誘導型遠隔操作方法］
上記構成による誘導型遠隔操作装置を用いた本発明の誘導型遠隔操作方法について以下説明する。図２、３は本発明の誘導型遠隔操作方法を示すフロー図である。
上記構成による誘導型遠隔操作装置を用いた本発明の誘導型遠隔操作方法について以下説明する。図２、３は本発明の誘導型遠隔操作方法を示すフロー図である。
【0024】
（ステップ１）データ作成
あらかじめ３次元点群データ取得手段１６（レーザスキャナ、３次元カメラ、写真測量など）を用いて作業対象物１１の３次元点群データを収集する。そして作業対象物１１中に座標基準（以下、ターゲットともいう）を設ける。ターゲットデータは、輪郭のはっきりした絵などの２次元データ、３次元点群データを用い、作業対象物１１中で特徴的な輪郭、角点などの抽出を特徴点抽出部４３で行う。
あらかじめ３次元点群データ取得手段１６（レーザスキャナ、３次元カメラ、写真測量など）を用いて作業対象物１１の３次元点群データを収集する。そして作業対象物１１中に座標基準（以下、ターゲットともいう）を設ける。ターゲットデータは、輪郭のはっきりした絵などの２次元データ、３次元点群データを用い、作業対象物１１中で特徴的な輪郭、角点などの抽出を特徴点抽出部４３で行う。
【0025】
本実施形態の特徴的な輪郭、角点の抽出は以下のように行う。図４は特徴点抽出のフロー図である。
（ステップ１００）作業対象物１１の３次元点群データのＤｅｐｔｈ画像上に注目点を決定する。
（ステップ１１０）注目点から一定間隔を置いた場所の２点を決定する。縦、横、斜めの同一方向で対象位置にある２点を決定する。
（ステップ１２０）注目点を中心として、両側の点がともに手前にある、ともに向こう側にある、片方の奥行きが大きく異なる、そういった点を輪郭点として決定する。
（ステップ１００）作業対象物１１の３次元点群データのＤｅｐｔｈ画像上に注目点を決定する。
（ステップ１１０）注目点から一定間隔を置いた場所の２点を決定する。縦、横、斜めの同一方向で対象位置にある２点を決定する。
（ステップ１２０）注目点を中心として、両側の点がともに手前にある、ともに向こう側にある、片方の奥行きが大きく異なる、そういった点を輪郭点として決定する。
【0026】
（ステップ１３０）Ｄｅｐｔｈ画像上の隣接する輪郭点を結び、輪郭線とする。
（ステップ１４０）輪郭線上の点を注目点とし、前後に位置する同一輪郭線上の点を抽出する。
（ステップ１５０）Ｄｅｐｔｈ画像上での注目点を中心とした前後の点を結んだ線から算出される開角を算出し、一定角（例えば１００°）以内の場合、角点として算出する。
（ステップ１６０）角点を特徴点として採用する。
（ステップ１４０）輪郭線上の点を注目点とし、前後に位置する同一輪郭線上の点を抽出する。
（ステップ１５０）Ｄｅｐｔｈ画像上での注目点を中心とした前後の点を結んだ線から算出される開角を算出し、一定角（例えば１００°）以内の場合、角点として算出する。
（ステップ１６０）角点を特徴点として採用する。
【0027】
（ステップ２）データ読み込み
３次元点群データ取得手段１６で収集したステップ１のデータを遠隔操作部４０へ無線通信を介して送信して、データ受信部４２でデータを読み込む。
（ステップ３）移動体用カメラで撮影
移動体１２のアーム１４の移動体用カメラ２４で作業対象物１１を撮影する。
（ステップ４）現在特徴点の抽出
移動体用カメラ２４で撮影した３次元点群データを用い、作業対象物１１中で特徴的な輪郭、角点などの抽出を行う。
３次元点群データ取得手段１６で収集したステップ１のデータを遠隔操作部４０へ無線通信を介して送信して、データ受信部４２でデータを読み込む。
（ステップ３）移動体用カメラで撮影
移動体１２のアーム１４の移動体用カメラ２４で作業対象物１１を撮影する。
（ステップ４）現在特徴点の抽出
移動体用カメラ２４で撮影した３次元点群データを用い、作業対象物１１中で特徴的な輪郭、角点などの抽出を行う。
【0028】
（ステップ５）ターゲットデータと比較
図５はターゲットデータと比較の説明図である。（１）は事前に３次元点群データ取得手段１６で収集した３次元点群データから抽出した輪郭、角点などの特徴点（事前特徴点）を示す図であり、（２）は移動体用カメラ２４で収集した３次元点群データから抽出した輪郭、角点などの特徴点（現在特徴点）を示す図である。事前特徴点と現在特徴点を比較して、図中の一致する箇所を検索する。
（ステップ６）マッチング
現在特徴点を回転、拡大、縮小するなどして、事前特徴点中で一致する箇所を検索する。
図５はターゲットデータと比較の説明図である。（１）は事前に３次元点群データ取得手段１６で収集した３次元点群データから抽出した輪郭、角点などの特徴点（事前特徴点）を示す図であり、（２）は移動体用カメラ２４で収集した３次元点群データから抽出した輪郭、角点などの特徴点（現在特徴点）を示す図である。事前特徴点と現在特徴点を比較して、図中の一致する箇所を検索する。
（ステップ６）マッチング
現在特徴点を回転、拡大、縮小するなどして、事前特徴点中で一致する箇所を検索する。
【0029】
（ステップ７）ターゲット認識
マッチングの結果、ターゲットを認識したか否かの判定を行う。
（ステップ８）自己位置推定
マッチングの際、回転率、拡大または縮小率からターゲットに対するカメラの回転角度、ターゲットまでの距離を算出してアームの自己位置を推定する。図６は自己位置の推定方法の説明図である。同図（１）に示すようにターゲットまでの距離Ｈは、撮影画像上のターゲットの長さｘ、ターゲットの実寸法Ｘ、カメラの焦点距離ｆとしたとき、Ｈ＝ｆ／ｘ・Ｘの関係により算出することができる。
また同図（２）に示すように、正方形のターゲットが台形に映っているなどの撮影画像上のターゲットの映り具合（ターゲットの画像上の位置、大きさ（長さ）、形状）から撮影されたターゲットの傾斜具合を推測できる。
マッチングの結果、ターゲットを認識したか否かの判定を行う。
（ステップ８）自己位置推定
マッチングの際、回転率、拡大または縮小率からターゲットに対するカメラの回転角度、ターゲットまでの距離を算出してアームの自己位置を推定する。図６は自己位置の推定方法の説明図である。同図（１）に示すようにターゲットまでの距離Ｈは、撮影画像上のターゲットの長さｘ、ターゲットの実寸法Ｘ、カメラの焦点距離ｆとしたとき、Ｈ＝ｆ／ｘ・Ｘの関係により算出することができる。
また同図（２）に示すように、正方形のターゲットが台形に映っているなどの撮影画像上のターゲットの映り具合（ターゲットの画像上の位置、大きさ（長さ）、形状）から撮影されたターゲットの傾斜具合を推測できる。
【0030】
（ステップ９）
ステップ７で、ターゲットの特徴点が確認できない場合、慣性計測部２２でターゲットの特徴点を認識していた時から継続して収集した移動量（平行移動量、傾斜角度）を確認して、ターゲットの特徴点を認識できなくなったときからの移動量を算出、反映してターゲット認識後の最新の自己位置を推定する。
（ステップ１０）
自己位置に合わせた移動体モデルを作成する。本実施形態では、自己位置を推定した後、作業対象物の点群データによる現実世界のデータ内に位置、傾斜角度を合わせた状態で移動体モデルを配置する。
ステップ７で、ターゲットの特徴点が確認できない場合、慣性計測部２２でターゲットの特徴点を認識していた時から継続して収集した移動量（平行移動量、傾斜角度）を確認して、ターゲットの特徴点を認識できなくなったときからの移動量を算出、反映してターゲット認識後の最新の自己位置を推定する。
（ステップ１０）
自己位置に合わせた移動体モデルを作成する。本実施形態では、自己位置を推定した後、作業対象物の点群データによる現実世界のデータ内に位置、傾斜角度を合わせた状態で移動体モデルを配置する。
【0031】
（ステップ１１）
図７は作業対象物の現実世界のデータ内に移動体モデルを配置した説明図である。作業対象物１１の３次元点群データへ、移動体モデル１３を重畳したＭＲ画像が表示される。
次いでＭＲ画像中の移動体アームを操作した後の最終位置となる目標位置を設定する。移動方向算出部４５で目標位置を設定すると、目標位置までの最短距離での移動量および移動方向が算出されて表示される（例えば、図９中の「方向指示」の矢印）。
図７は作業対象物の現実世界のデータ内に移動体モデルを配置した説明図である。作業対象物１１の３次元点群データへ、移動体モデル１３を重畳したＭＲ画像が表示される。
次いでＭＲ画像中の移動体アームを操作した後の最終位置となる目標位置を設定する。移動方向算出部４５で目標位置を設定すると、目標位置までの最短距離での移動量および移動方向が算出されて表示される（例えば、図９中の「方向指示」の矢印）。
【0032】
（ステップ１２）
移動体モデル周辺にある既設物などの点群データの有無を確認する。
（ステップ１３）回避行動モード
現在位置から目標位置の間でアームと作業対象物中の既設物と干渉するおそれがあるため回避する回避行動モードに移行する。
（ステップ１４）
ＭＲ画像中に「干渉警告」を表示する（図８参照）。
移動体モデル周辺にある既設物などの点群データの有無を確認する。
（ステップ１３）回避行動モード
現在位置から目標位置の間でアームと作業対象物中の既設物と干渉するおそれがあるため回避する回避行動モードに移行する。
（ステップ１４）
ＭＲ画像中に「干渉警告」を表示する（図８参照）。
【0033】
（ステップ１５）回避行動
移動体モデルの現在位置と目標位置を把握し、移動方向算出部４５により目標位置への方向および目標位置までの距離を算出し表示して、移動体モデルの誘導方向をＭＲ画像中に示す（図９参照）。
移動体モデルと既設物との干渉の可能性がなくなるまで既設物から離れる方向（図９中では下方）へ移動し、干渉の可能性がなくなるまで十分に離れてから目標位置へ直線方向（図９中では横方向）に移動体モデルを誘導する。
（ステップ１６）
移動体を移動する。その後再度ステップ３の移動体用カメラで撮影し、以降のステップを繰り返す。
移動体モデルの現在位置と目標位置を把握し、移動方向算出部４５により目標位置への方向および目標位置までの距離を算出し表示して、移動体モデルの誘導方向をＭＲ画像中に示す（図９参照）。
移動体モデルと既設物との干渉の可能性がなくなるまで既設物から離れる方向（図９中では下方）へ移動し、干渉の可能性がなくなるまで十分に離れてから目標位置へ直線方向（図９中では横方向）に移動体モデルを誘導する。
（ステップ１６）
移動体を移動する。その後再度ステップ３の移動体用カメラで撮影し、以降のステップを繰り返す。
【0034】
（ステップ１７）
移動体モデル周辺に既設物の点群データがない場合、目標位置への方向および目標位置までの距離を表示して、移動体モデルの誘導方向を示す。
（ステップ１８）
移動体を移動する。
（ステップ１９）
移動体が目標位置に移動したか否かの判定を行う。目標位置に移動体が移動していない場合（ＮＯ）、ステップ３の移動体用カメラで撮影し、以降のステップを繰り返す。
移動体モデル周辺に既設物の点群データがない場合、目標位置への方向および目標位置までの距離を表示して、移動体モデルの誘導方向を示す。
（ステップ１８）
移動体を移動する。
（ステップ１９）
移動体が目標位置に移動したか否かの判定を行う。目標位置に移動体が移動していない場合（ＮＯ）、ステップ３の移動体用カメラで撮影し、以降のステップを繰り返す。
【0035】
（ステップ２０）
目標位置に移動体が移動した後（ステップ１９でＹＥＳ）、作業が終了する。
なお本実施形態では、移動体が既設物と干渉するおそれがある際に「干渉警告」の文字で表示する構成で説明したが、これに限らず、アナウンスなどの音声、回転灯点灯などの発光を用いて警告しても良い。
目標位置に移動体が移動した後（ステップ１９でＹＥＳ）、作業が終了する。
なお本実施形態では、移動体が既設物と干渉するおそれがある際に「干渉警告」の文字で表示する構成で説明したが、これに限らず、アナウンスなどの音声、回転灯点灯などの発光を用いて警告しても良い。
【0036】
このような本発明によれば、移動体（作業用機械）の現在位置の確定（自己位置推定）に係わる労力、気遣いが低減されることで、移動体を操作する作業員の操作ミスを低減することが可能となる。
また既設物内の移動体の現在位置を表示し、周辺の既設物や障害物との干渉の可能性がある場所では、作業用機械や現場周辺に設置したカメラを用いて確認される複数の視点から干渉の可能性を監視することで、見落としなどの可能性が低減される。
さらに移動体の最終目的地となる終点方向への誘導を視覚的かつ数値で確認できる内容で表示することにより、効率の良い誘導が可能となる。
また既設物内の移動体の現在位置を表示し、周辺の既設物や障害物との干渉の可能性がある場所では、作業用機械や現場周辺に設置したカメラを用いて確認される複数の視点から干渉の可能性を監視することで、見落としなどの可能性が低減される。
さらに移動体の最終目的地となる終点方向への誘導を視覚的かつ数値で確認できる内容で表示することにより、効率の良い誘導が可能となる。
【0037】
以上、本発明の好ましい実施形態について説明した。しかしながら、本発明は、上記実施形態に何ら制限されることなく、本発明の主旨を逸脱しない範囲において、種々の変更が可能である。
また、本発明は、実施形態において示された組み合わせに限定されることなく、種々の組み合わせによって実施可能である。
また、本発明は、実施形態において示された組み合わせに限定されることなく、種々の組み合わせによって実施可能である。
【符号の説明】
【0038】
１１ 作業対象物
１２ 移動体
１３ 移動体モデル
１４ アーム
１６ ３次元点群データ取得手段
２０ ＭＲデバイス
２２ 慣性計測部
２４ 移動体用カメラ
２６ 深度計測部
３０ 作業対象物用カメラ
３２ ネットワークカメラ
３４ ハブ
４０ 遠隔操作部
４２ データ受信部
４３ 特徴点抽出部
４４ 移動体モデル作成部
４５ 移動方向算出部
４６ 表示部
４８ 操作入力部
１２ 移動体
１３ 移動体モデル
１４ アーム
１６ ３次元点群データ取得手段
２０ ＭＲデバイス
２２ 慣性計測部
２４ 移動体用カメラ
２６ 深度計測部
３０ 作業対象物用カメラ
３２ ネットワークカメラ
３４ ハブ
４０ 遠隔操作部
４２ データ受信部
４３ 特徴点抽出部
４４ 移動体モデル作成部
４５ 移動方向算出部
４６ 表示部
４８ 操作入力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
