特開2015-202548(P2015-202548A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社IHIの特許一覧 ▶ 株式会社IHIエアロスペースの特許一覧

特開2015-202548遠隔操作支援装置と遠隔操作支援方法
<>
  • 特開2015202548-遠隔操作支援装置と遠隔操作支援方法 図000003
  • 特開2015202548-遠隔操作支援装置と遠隔操作支援方法 図000004
  • 特開2015202548-遠隔操作支援装置と遠隔操作支援方法 図000005
  • 特開2015202548-遠隔操作支援装置と遠隔操作支援方法 図000006
  • 特開2015202548-遠隔操作支援装置と遠隔操作支援方法 図000007
  • 特開2015202548-遠隔操作支援装置と遠隔操作支援方法 図000008
  • 特開2015202548-遠隔操作支援装置と遠隔操作支援方法 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2015-202548(P2015-202548A)
(43)【公開日】2015年11月16日
(54)【発明の名称】遠隔操作支援装置と遠隔操作支援方法
(51)【国際特許分類】
   B25J 3/00 20060101AFI20151020BHJP
【FI】
   B25J3/00 Z
【審査請求】未請求
【請求項の数】8
【出願形態】OL
【全頁数】32
(21)【出願番号】特願2014-84326(P2014-84326)
(22)【出願日】2014年4月16日
(71)【出願人】
【識別番号】000000099
【氏名又は名称】株式会社IHI
(71)【出願人】
【識別番号】500302552
【氏名又は名称】株式会社IHIエアロスペース
(74)【代理人】
【識別番号】100097515
【弁理士】
【氏名又は名称】堀田 実
(74)【代理人】
【識別番号】100136700
【弁理士】
【氏名又は名称】野村 俊博
(72)【発明者】
【氏名】曽根原 光治
(72)【発明者】
【氏名】坂野 肇
【テーマコード(参考)】
3C707
【Fターム(参考)】
3C707AS21
3C707JT04
3C707JU12
3C707KS03
3C707KS04
3C707KS05
3C707KS10
3C707KS17
3C707KS18
3C707KS20
3C707KS24
3C707KT02
3C707KT03
3C707KT05
3C707KV09
3C707LT12
3C707LV04
3C707LV05
3C707WA16
3C707WA17
(57)【要約】
【課題】人が、操作部の操作により作業装置を遠隔操作して、対象装置に対する作業を作業装置に行わせることを容易にする。
【解決手段】相対データ計測装置23により、作業装置7の本体と対象装置5との相対姿勢と相対位置に関するデータを、計測データとして計測する。数値データ生成部25により、作業を行うために、作業装置7のマニピュレータと対象装置5との相対姿勢と相対位置を調整することに用いられる数値データを、計測データから生成する。生成された調整量データを、遠隔操作装置の表示部9、または、マニピュレータ制御部17に対して送信する。数値データが表示部9に対して送信された場合には、表示部9は、送信されてきた数値データを表示する。調整量データがマニピュレータ制御部17に対して送信される場合には、マニピュレータ制御部17は、送信されてきた数値データに従って、マニピュレータの姿勢と位置を調整する。
【選択図】図3
【特許請求の範囲】
【請求項1】
遠隔操作システムに設けられる遠隔操作支援装置であって、
前記遠隔操作システムは、遠隔操作装置と作業装置を備え、
前記作業装置は、作業装置の本体に設置されたマニピュレータと、マニピュレータに支持され対象装置の作業対象部に対して作業を行う作業実行部と、を備え、
前記遠隔操作装置は、前記マニピュレータを遠隔操作するためのデータを表示する表示部と、人に操作され当該操作に応じた操作信号を生成する操作部と、前記操作信号に従って前記マニピュレータに対する動作指令を生成するデータ処理部と、前記動作指令を前記作業装置へ送信する第1通信部と、を備え、
前記作業装置は、その前記本体に固定されたマニピュレータ座標系におけるマニピュレータの姿勢と位置の一方または両方をマニピュレータデータとして計測するマニピュレータ計測装置と、前記第1通信部からの前記動作指令に従って前記マニピュレータの動作を制御するマニピュレータ制御部をさらに備え、
前記遠隔操作支援装置は、
前記マニピュレータの動作範囲内に前記作業対象部が位置する状態で、前記作業装置の前記本体と前記対象装置との相対姿勢と相対位置の一方または両方に関するデータを、計測データとして計測する相対データ計測装置と、
前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整することに用いられる第1および第2の数値データの一方または両方を、前記計測データから生成する数値データ生成部と、を備え、
前記第1の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢と位置の一方または両方を示す数値データであり、前記第2の数値データは、前記マニピュレータデータと前記計測データとから数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整する量を示す数値データであり、
生成された前記第1および第2の数値データの一方または両方を前記表示部に対して送信するように構成され、もしくは、生成された前記第1または第2の数値データを前記マニピュレータ制御部に対して送信するように構成されており、
前記第1および第2の数値データの一方または両方を前記表示部に対して送信するように構成されている場合には、前記表示部は、送信されてきた前記第1および第2の数値データの一方または両方を表示し、
前記第1または第2の数値データを前記マニピュレータ制御部に対して送信するように構成されている場合には、前記マニピュレータ制御部は、送信されてきた前記第1または第2の数値データに基づいて、前記マニピュレータの姿勢と位置の一方または両方を調整する、ことを特徴とする遠隔操作支援装置。
【請求項2】
生成された前記第1の数値データを前記表示部に対して送信するように構成されており、かつ、前記マニピュレータ計測装置が計測した数値の前記マニピュレータデータを、前記表示部に対して送信するように構成されており、
前記表示部は、送信されてきた前記第1の数値データと、送信されてきた前記マニピュレータデータとを表示する、ことを特徴とする請求項1に記載の遠隔操作支援装置。
【請求項3】
生成された前記第1の数値データを前記マニピュレータ制御部に対して送信するように構成されており、
前記マニピュレータ制御部は、前記第1の数値データと前記マニピュレータデータとに基づいて、前記マニピュレータの姿勢と位置の一方または両方を調整する、ことを特徴とする請求項1に記載の遠隔操作支援装置。
【請求項4】
前記計測データは、前記作業装置の前記本体と前記対象装置との相対姿勢に関する姿勢計測データを含み、
前記数値データ生成部は、前記第1の数値データに含まれる姿勢数値データΔθとして、Δθ=Δθ1−0−(Δθ+Δθ)を算出し、または、前記第2の数値データに含まれる姿勢数値データΔθとして、Δθ=Δθ1−0−(Δθ+Δθ)−θを算出し、
Δθ1−0は、前記作業装置の前記本体に固定された本体座標系に対する、前記対象装置に固定された対象装置座標系の姿勢を示すベクトルであり、前記姿勢計測データにより表され、
Δθは、前記本体座標系に対する、前記マニピュレータ座標系の姿勢を示す既知の固定ベクトルであり、予め設定されており、
Δθは、前記対象装置における作業対象部の向きに対する、前記対象装置座標系の姿勢を示す既知のベクトルであり、予め設定されており、
θは、マニピュレータ座標系に対するマニピュレータの姿勢を示すベクトルであり、前記マニピュレータ計測装置により計測される、ことを特徴とする請求項1に記載の遠隔操作支援装置。
【請求項5】
前記計測データは、前記作業装置の前記本体と前記対象装置との相対位置に関する位置計測データを含み、
前記数値データ生成部は、前記第1の数値データに含まれる位置数値データΔPとして、ΔP=ΔP1−0−(ΔP+ΔP+ΔPOFF)を算出し、または、前記第2の数値データに含まれる位置数値データΔPとして、ΔP=ΔP1−0−(ΔP+ΔP+ΔPOFF)−Pを算出し、
ΔP1−0は、前記作業装置の前記本体に固定された本体座標系の原点に対する、前記対象装置に固定された対象装置座標系の原点の相対位置を示すベクトルであり、前記位置計測データにより表され、
ΔPは、前記本体座標系の原点に対する、前記マニピュレータ座標系の原点の相対位置を示す既知の固定ベクトルであり、予め設定されており、
ΔPは、作業対象部に対する、前記対象装置座標系の原点の相対位置を示し、
ΔPOFFは、予め設定されたオフセット量とオフセット方向を示すベクトルであり、
は、マニピュレータ座標系の座標で表される、マニピュレータの位置を示すベクトルであり、前記マニピュレータ計測装置により計測される、ことを特徴とする請求項1または4に記載の遠隔操作支援装置。
【請求項6】
前記相対データ計測装置は、
前記作業装置に設けられ、前記作業装置の前記本体の位置および姿勢の一方または両方を示すデータを前記計測データの一部として取得する第1計測器と、
前記対象装置に設けられ、前記対象装置の姿勢および位置の一方または両方を示すデータを前記計測データの一部として取得する第2計測器と、を備え、
前記数値データ生成部は、
前記第1計測器と前記第2計測器が取得した前記データに基づいて、前記第1および第2の数値データの一方または両方を算出する、ことを特徴とする請求項1〜5のいずれか一項に記載の遠隔操作支援装置。
【請求項7】
前記第1計測器は、
前記作業装置における本体のロール方向の姿勢を計測する第1のジャイロセンサと、
前記作業装置における本体のピッチ方向の姿勢を計測する第2のジャイロセンサと、
前記作業装置の本体に水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する第1および第2のGPS受信機と、
第1のGPS受信機が受信したGPS信号に基づいて第1のGPS受信機の位置を示す位置情報Pg1を求め、第2のGPS受信機が受信したGPS信号に基づいて第2のGPS受信機の位置を示す位置情報Pg2を求め、これらの位置情報Pg1,Pg2に基づいて前記作業装置における本体のヨー方向の姿勢を算出する第1算出部と、を備え、
前記第2計測器は、
前記対象装置のロール方向の姿勢を計測する第3のジャイロセンサと、
前記対象装置のピッチ方向の姿勢を計測する第4のジャイロセンサと、
前記対象装置に水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する第3および第4のGPS受信機と、
第3のGPS受信機が受信したGPS信号に基づいて第3のGPS受信機の位置を示す位置情報Pg3を求め、第4のGPS受信機が受信したGPS信号に基づいて第4のGPS受信機の位置を示す位置情報Pg4を求め、これらの位置情報Pg3,Pg4に基づいて前記対象装置のヨー方向の姿勢を算出する第2算出部と、を備え、
前記計測データは、前記第1計測器が取得した前記作業装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、前記第2計測器が取得した前記対象装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、を含む、ことを特徴とする請求項6に記載の遠隔操作支援装置。
【請求項8】
遠隔操作システムに設けられる遠隔操作支援方法であって、
前記遠隔操作システムは、遠隔操作装置と作業装置を備え、
前記作業装置は、作業装置の本体に設置されたマニピュレータと、マニピュレータに支持され対象装置の作業対象部に対して作業を行う作業実行部と、を備え、
前記遠隔操作装置は、前記マニピュレータを遠隔操作するためのデータを表示する表示部と、人に操作され当該操作に応じた操作信号を生成する操作部と、前記操作信号に従って前記マニピュレータに対する動作指令を生成するデータ処理部と、前記動作指令を前記作業装置へ送信する第1通信部と、を備え、
前記作業装置は、その前記本体に固定されたマニピュレータ座標系におけるマニピュレータの姿勢と位置の一方または両方をマニピュレータデータとして計測するマニピュレータ計測装置と、前記第1通信部からの前記動作指令に従って前記マニピュレータの動作を制御するマニピュレータ制御部をさらに備え、
(A)前記マニピュレータの動作範囲内に前記作業対象部が位置する状態で、相対データ計測装置により、前記作業装置の前記本体と前記対象装置との相対姿勢と相対位置の一方または両方に関するデータを、計測データとして計測し、
(B)前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整することに用いられる第1および第2の数値データの一方または両方を、数値データ生成部により前記計測データから生成し、前記第1の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢と位置の一方または両方を示す数値データであり、前記第2の数値データは、前記マニピュレータデータと前記計測データとから数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整する量を示す数値データであり、
(C)生成された第1および第2の数値データの一方または両方を前記表示部に対して送信し、もしくは、第1または第2の数値データを前記マニピュレータ制御部に対して送信し、
第1および第2の数値データの一方または両方が前記表示部に対して送信される場合には、前記表示部は、送信されてきた第1および第2の数値データの一方または両方を表示し、
前記第1または第2の数値データが前記マニピュレータ制御部に対して送信される場合には、前記マニピュレータ制御部は、送信されてきた前記第1または第2の数値データに基づいて、マニピュレータの姿勢と位置の一方または両方を調整する、ことを特徴とする遠隔操作支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔操作システムに設けられる遠隔操作支援装置と、遠隔操作支援方法に関する。遠隔操作システムは、対象装置に対して作業を行う作業装置と、対象装置を遠隔操作する遠隔操作装置とを備える。作業装置は、例えば、給油、給電などの作業を対象装置に行う。
【背景技術】
【0002】
このような作業装置と対象装置は、例えば、無人化施工などに使用される遠隔操作型や自律制御型の建設機械(建機)や事故対応などに利用される移動ロボットなどである。対象装置が、無人化施工などに使用される遠隔操作型や自律制御型の建設機械(建機)の場合、対象装置は、主に二次災害などが懸念される危険な災害復旧工事現場などに投入され、瓦礫や岩石などの障害物撤去作業、砂防、築堤、構造物設置などの復旧作業、土砂や岩石などの積載や運搬や運送作業などの作業を行う。また、対象装置が事故対応ロボットの場合、対象装置は、人が赴くには危険な現場に投入され、情報収集や調査や復旧作業などを行う。このような対象装置は、例えば、下記の特許文献1、2に記載されている。
【0003】
対象装置は長時間の作業を行うと給油や給電が必要となるが、対象装置は危険な現場(作業エリア)で作業しているため、作業エリアに人が進入して給油や給電を行うことは困難である。このため、対象装置は、人が進入可能な安全エリアへ移動し、安全エリア内で、人の作業により、対象装置へ給油や給電を行う必要があり、作業エリアと安全エリアが離れるほど、作業効率が低下してしまう。
【0004】
そこで、遠隔操作によって、対象装置が作業エリア内にいる状態で、対象装置に対して給油、給電などを行えるようにすることが望まれる。このような遠隔操作を、例えば、以下のような遠隔操作システムにおいて行うことが考えられる。
【0005】
遠隔操作システムは、上述の作業装置と、上述の対象装置と、遠隔操作装置とを備える。遠隔操作装置は、操作部と、データ処理部と、通信部と、カメラなどのデータ取得センサと、表示部とを備える。操作部は、人に操作され、この操作に応じた操作信号を生成する。データ処理部は、この操作信号に従って動作指令を生成する。通信部は、生成された動作指令を無線または有線で作業装置へ送信する。作業装置は、通信部からの動作指令に従って動作することにより、対象装置に対して作業を行う。データ取得センサは、作業装置から見た状況を表わす画像データやその他の各種データを取得する。これらのデータは、表示部に対して無線または有線で送信される。表示部は、送信された画像データやその他の各種データを表示する。人が、表示部に表示された画像データなどを見ながら、操作部を操作する。
【0006】
このような構成により、人は、操作部の操作により作業装置を遠隔操作して、対象装置に対する作業を作業装置に行わせる。この時、作業装置(例えば、作業装置が備える作業用マニピュレータ)と対象装置の作業対象部との相対姿勢および相対位置を、表示部に表示された画像データなどから、当該作業が可能となる相対姿勢および相対位置に調整する必要がある。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2001−179668号公報
【特許文献2】特開平10−88624号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、上述の相対姿勢および相対位置の調整が困難となることがある。その理由は、次の(1)(2)通りである。
(1)配置できるカメラの数や位置には限界があるので、上述の相対姿勢および相対位置を把握しやすい画像データが得られない場合がある。
(2)通信性能(通信速度の制約)のため、上述の相対姿勢および相対位置を把握しやすい多数視点の画像データや高解像度画像が得られない場合がある。
【0009】
なお、遠隔操作では、画像データや動作指令が、無線ネットワークや有線ネットワークなどを経由して送受信されるので、人が操作部を操作してから作業装置が実際に動くまでの遅延時間が発生する。同様に、作業装置のカメラにより撮影してから、その画像データが表示部に表示されるまでの遅延時間が発生する。遅延時間は、一般的に通信距離や通信する情報量などから決定されるが、遅延時間を減らすために、画像の解像度を減らすと、上記(2)の不都合が生じる。特に無線を使用する場合、制約が高いため、この問題が顕著になる。
【0010】
このように、上記の相対姿勢および相対位置の調整が困難となることにより、作業装置を遠隔操作して、対象装置に対する作業を作業装置に行わせることが困難となる。特に、給油口などの穴に対して、給油ノズルなどの棒状体の位置や姿勢を精密に合わせて挿入または抜去する場合や、給電などの、位置や姿勢を精密に合わせた接触を行う場合などでは、接触による過負荷などにより、作業装置や対象装置が破損することも考えられ、作業はより一層困難となる。
【0011】
そこで、本発明の目的は、人が、操作部の操作により作業装置を遠隔操作して、対象装置に対する作業を作業装置のマニピュレータに行わせることを容易にすることにある。
【課題を解決するための手段】
【0012】
上述の目的を達成するため、本発明によると、遠隔操作システムに設けられる遠隔操作支援装置であって、
前記遠隔操作システムは、遠隔操作装置と作業装置を備え、
前記作業装置は、作業装置の本体に設置されたマニピュレータと、マニピュレータに支持され対象装置の作業対象部に対して作業を行う作業実行部と、を備え、
前記遠隔操作装置は、前記マニピュレータを遠隔操作するためのデータを表示する表示部と、人に操作され当該操作に応じた操作信号を生成する操作部と、前記操作信号に従って前記マニピュレータに対する動作指令を生成するデータ処理部と、前記動作指令を前記作業装置へ送信する第1通信部と、を備え、
前記作業装置は、その前記本体に固定されたマニピュレータ座標系におけるマニピュレータの姿勢と位置の一方または両方をマニピュレータデータとして計測するマニピュレータ計測装置と、前記第1通信部からの前記動作指令に従って前記マニピュレータの動作を制御するマニピュレータ制御部をさらに備え、
前記遠隔操作支援装置は、
前記マニピュレータの動作範囲内に前記作業対象部が位置する状態で、前記作業装置の前記本体と前記対象装置との相対姿勢と相対位置の一方または両方に関するデータを、計測データとして計測する相対データ計測装置と、
前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整することに用いられる第1および第2の数値データの一方または両方を、前記計測データから生成する数値データ生成部と、を備え、
前記第1の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢と位置の一方または両方を示す数値データであり、前記第2の数値データは、前記マニピュレータデータと前記計測データとから数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整する量を示す数値データであり、
生成された前記第1および第2の数値データの一方または両方を前記表示部に対して送信するように構成され、もしくは、生成された前記第1または第2の数値データを前記マニピュレータ制御部に対して送信するように構成されており、
前記第1および第2の数値データの一方または両方を前記表示部に対して送信するように構成されている場合には、前記表示部は、送信されてきた前記第1および第2の数値データの一方または両方を表示し、
前記第1または第2の数値データを前記マニピュレータ制御部に対して送信するように構成されている場合には、前記マニピュレータ制御部は、送信されてきた前記第1または第2の数値データに基づいて、前記マニピュレータの姿勢と位置の一方または両方を調整する、ことを特徴とする遠隔操作支援装置が提供される。
【0013】
また、本発明によると、遠隔操作システムに設けられる遠隔操作支援方法であって、
前記遠隔操作システムは、遠隔操作装置と作業装置を備え、
前記作業装置は、作業装置の本体に設置されたマニピュレータと、マニピュレータに支持され対象装置の作業対象部に対して作業を行う作業実行部と、を備え、
前記遠隔操作装置は、前記マニピュレータを遠隔操作するためのデータを表示する表示部と、人に操作され当該操作に応じた操作信号を生成する操作部と、前記操作信号に従って前記マニピュレータに対する動作指令を生成するデータ処理部と、前記動作指令を前記作業装置へ送信する第1通信部と、を備え、
前記作業装置は、その前記本体に固定されたマニピュレータ座標系におけるマニピュレータの姿勢と位置の一方または両方をマニピュレータデータとして計測するマニピュレータ計測装置と、前記第1通信部からの前記動作指令に従って前記マニピュレータの動作を制御するマニピュレータ制御部をさらに備え、
(A)前記マニピュレータの動作範囲内に前記作業対象部が位置する状態で、相対データ計測装置により、前記作業装置の前記本体と前記対象装置との相対姿勢と相対位置の一方または両方に関するデータを、計測データとして計測し、
(B)前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整することに用いられる第1および第2の数値データの一方または両方を、数値データ生成部により前記計測データから生成し、前記第1の数値データは、前記マニピュレータ座標系における前記作業対象部の姿勢と位置の一方または両方を示す数値データであり、前記第2の数値データは、前記マニピュレータデータと前記計測データとから数値データ生成部により生成され、前記作業を行うために、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整する量を示す数値データであり、
(C)生成された第1および第2の数値データの一方または両方を前記表示部に対して送信し、もしくは、第1または第2の数値データを前記マニピュレータ制御部に対して送信し、
第1および第2の数値データの一方または両方が前記表示部に対して送信される場合には、前記表示部は、送信されてきた第1および第2の数値データの一方または両方を表示し、
前記第1または第2の数値データが前記マニピュレータ制御部に対して送信される場合には、前記マニピュレータ制御部は、送信されてきた前記第1または第2の数値データに基づいて、マニピュレータの姿勢と位置の一方または両方を調整する、ことを特徴とする遠隔操作支援方法が提供される。
【0014】
遠隔操作支援装置の例を述べる。
【0015】
生成された前記第1の数値データを前記表示部に対して送信するように構成されており、かつ、前記マニピュレータ計測装置が計測した数値の前記マニピュレータデータを、前記表示部に対して送信するように構成されており、
前記表示部は、送信されてきた前記第1の数値データと、送信されてきた前記マニピュレータデータとを表示する。
【0016】
したがって、人は、表示部に表示された第1の数値データと数値のマニピュレータデータとを比べて、操作部を操作できる。これにより、前記作業装置と前記対象装置との姿勢合わせおよび位置合わせの一方または両方がなされる。
【0017】
生成された前記第1の数値データを前記マニピュレータ制御部に対して送信するように構成されており、
前記マニピュレータ制御部は、前記第1の数値データと前記マニピュレータデータとに基づいて、前記マニピュレータの姿勢と位置の一方または両方を調整する。
【0018】
したがって、マニピュレータ制御部により、前記作業装置と前記対象装置との姿勢合わせおよび位置合わせの一方または両方が自動的になされる。その後、人は、このような位置合わせをすることなく、操作部を操作して、作業対象部に対する作業を作業実行部に行わせることができる。
【0019】
前記計測データは、前記作業装置の前記本体と前記対象装置との相対姿勢に関する姿勢計測データを含み、
前記数値データ生成部は、前記第1の数値データに含まれる姿勢数値データΔθとして、Δθ=Δθ1−0−(Δθ+Δθ)を算出し、または、前記第2の数値データに含まれる姿勢数値データΔθとして、Δθ=Δθ1−0−(Δθ+Δθ)−θを算出し、
Δθ1−0は、前記作業装置の前記本体に固定された本体座標系に対する、前記対象装置に固定された対象装置座標系の姿勢を示すベクトルであり、前記姿勢計測データにより表され、
Δθは、前記本体座標系に対する、前記マニピュレータ座標系の姿勢を示す既知の固定ベクトルであり、予め設定されており、
Δθは、前記対象装置における作業対象部の向きに対する、前記対象装置座標系の姿勢を示す既知のベクトルであり、予め設定されており、
θは、マニピュレータ座標系に対するマニピュレータの姿勢を示すベクトルであり、前記マニピュレータ計測装置により計測される。
【0020】
このように、前記作業を行うために前記相対姿勢を調整する量を示す姿勢数値データを得る。したがって、数値を示す姿勢数値データに基づいて、前記作業装置と前記対象装置との相対姿勢を調整すれば、前記作業装置と前記対象装置との姿勢合わせがなされる。
特に、人は、表示部の表示を見て、姿勢合わせが適切になされたかどうかを判断しにくい。そこで、姿勢数値データを生成するので、作業を行うための姿勢合わせが、容易になり、または自動で行われる。
【0021】
前記計測データは、前記作業装置の前記本体と前記対象装置との相対位置に関する位置計測データを含み、
前記数値データ生成部は、前記第1の数値データに含まれる位置数値データΔPとして、ΔP=ΔP1−0−(ΔP+ΔP+ΔPOFF)を算出し、または、前記第2の数値データに含まれる位置数値データΔPとして、ΔP=ΔP1−0−(ΔP+ΔP+ΔPOFF)−Pを算出し、
ΔP1−0は、前記作業装置の前記本体に固定された本体座標系の原点に対する、前記対象装置に固定された対象装置座標系の原点の相対位置を示すベクトルであり、前記位置計測データにより表され、
ΔPは、前記本体座標系の原点に対する、前記マニピュレータ座標系の原点の相対位置を示す既知の固定ベクトルであり、予め設定されており、
ΔPOFFは、予め設定されたオフセット量とオフセット方向を示すベクトルであり、
は、マニピュレータ座標系の座標で表される、マニピュレータの位置を示すベクトルであり、前記マニピュレータ計測装置により計測される。
【0022】
このように、前記作業を行うために前記相対位置を調整する量を示す位置数値データを得る。したがって、数値を示す位置数値データに基づいて、前記作業装置と前記対象装置との相対姿勢を調整することにより、前記作業装置と前記対象装置との位置合わせがなされる。よって、作業を行うための位置合わせが、容易になり、または自動で行われる。
【0023】
前記相対データ計測装置は、
前記作業装置に設けられ、前記作業装置の前記本体の位置および姿勢の一方または両方を示すデータを前記計測データの一部として取得する第1計測器と、
前記対象装置に設けられ、前記対象装置の姿勢および位置の一方または両方を示すデータを前記計測データの一部として取得する第2計測器と、を備え、
前記数値データ生成部は、
前記第1計測器と前記第2計測器が取得した前記データに基づいて、前記第1および第2の数値データの一方または両方を算出する。
【0024】
このように、作業装置に設けた第1計測器により、作業装置の前記本体の位置および姿勢の一方または両方を示すデータを前記計測データの一部として取得し、対象装置に設けた第2計測器により、作業装置の位置および姿勢の一方または両方を示すデータを前記計測データの一部として取得するので、これらのデータから、作業装置との本体と対象装置との相対姿勢と相対位置を得ることができる。したがって、このような計測データを用いて、上述の第1または第2の数値データを生成できる。
【0025】
前記第1計測器は、
前記作業装置における本体のロール方向の姿勢を計測する第1のジャイロセンサと、
前記作業装置における本体のピッチ方向の姿勢を計測する第2のジャイロセンサと、
前記作業装置の本体に水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する第1および第2のGPS受信機と、
第1のGPS受信機が受信したGPS信号に基づいて第1のGPS受信機の位置を示す位置情報Pg1を求め、第2のGPS受信機が受信したGPS信号に基づいて第2のGPS受信機の位置を示す位置情報Pg2を求め、これらの位置情報Pg1,Pg2に基づいて前記作業装置における本体のヨー方向の姿勢を算出する第1算出部と、を備え、
前記第2計測器は、
前記対象装置のロール方向の姿勢を計測する第3のジャイロセンサと、
前記対象装置のピッチ方向の姿勢を計測する第4のジャイロセンサと、
前記対象装置に水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する第3および第4のGPS受信機と、
第3のGPS受信機が受信したGPS信号に基づいて第3のGPS受信機の位置を示す位置情報Pg3を求め、第4のGPS受信機が受信したGPS信号に基づいて第4のGPS受信機の位置を示す位置情報Pg4を求め、これらの位置情報Pg3,Pg4に基づいて前記対象装置のヨー方向の姿勢を算出する第2算出部と、を備え、
前記計測データは、前記第1計測器が取得した前記作業装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、前記第2計測器が取得した前記対象装置のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、を含む。
【0026】
ヨー方向の姿勢は、ジャイロセンサでは高精度に計測しにくく、また、高精度なヨー方向の姿勢をジャイロセンサで得るためには非常に高価なセンサが必要となる。そこで、ヨー方向の姿勢を、2つのGPS受信機で取得した位置情報から算出するので、安価な構成で、高精度なヨー方向の姿勢を得ることができる。
【発明の効果】
【0027】
上述した本発明によると、上述の数値データ生成部により、前記マニピュレータと前記対象装置との相対姿勢と相対位置の一方または両方を調整することに用いられる第1および第2の数値データの一方または両方を、前記計測データから生成し、第1および第2の数値データの一方または両方を送信する。
【0028】
第1および第2の数値データの一方または両方が表示部に対して送信される場合には、表示部は、送信されてきた第1および第2の数値データの一方または両方を表示するので、人は、表示された第1および第2の数値データの一方または両方に基づいて、操作部を操作することにより、マニピュレータの姿勢と位置の一方または両方を調整できる。したがって、マニピュレータが対象装置に対して作業を行うための両者の姿勢合わせおよび位置合わせの一方または両方が容易になる。
【0029】
第1または第2の数値データがマニピュレータ制御部に対して送信される場合には、作業装置の制御部は、第1または第2の数値データに基づいて、マニピュレータの姿勢と位置の一方または両方を調整する。したがって、マニピュレータが対象装置に対して作業を行うための両者の姿勢合わせおよび位置合わせの一方または両方が自動で行われる。
【0030】
このように、姿勢合わせおよび位置合わせの一方または両方が、容易になり、または、自動で行われるので、操作部の操作により、対象装置に対して作業をマニピュレータに行わせることが容易になる。
【図面の簡単な説明】
【0031】
図1】本発明の遠隔操作支援装置が適用可能な遠隔操作システムの一例を示すブロック図である。
図2】作業装置と対象装置の一例を示す斜視図である。
図3】本発明の実施形態による遠隔操作支援装置の構成を示すブロック図である。
図4】本発明の実施形態による遠隔操作支援方法を示すフローチャートである。
図5】対象装置に設けたマーカを示す。
図6】マーカを用いた場合における遠隔操作支援方法を示すフローチャートである。
図7】作業装置が地上を移動しない場合における作業装置と対象装置の一例を示す斜視図である。
【発明を実施するための形態】
【0032】
本発明の好ましい実施形態を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。
【0033】
図1は、本発明の遠隔操作支援装置が適用可能な遠隔操作システム20の一例を示すブロック図である。遠隔操作システム20は、遠隔操作装置3と、この遠隔操作装置3に制御されて対象装置5に対して作業を行う作業装置7とを備える。本実施形態では、遠隔操作システム20は、対象装置5をさらに含む。
【0034】
遠隔操作装置3は、表示部9と操作部11と第1データ処理部12と第1通信部13とを備える。表示部9は、作業装置7から見た状況を表わす観察データ(後述する)が作業装置7から無線または有線で送信されてきた場合に、この観察データを表示する。表示部9は、例えば、液晶ディスプレイである。操作部11は、人に操作され、この操作に応じた操作信号を生成する。操作部11は、例えば、操作レバー、ジョイスティック、ボタン、およびタッチパネルの少なくともいずれかを含む。第1データ処理部12は、操作部11により生成された操作信号に従って動作指令を生成する。第1通信部13は、第1データ処理部12により生成された動作指令を作業装置7へ無線または有線で送信する。
【0035】
また、第1データ処理部12は、上述の動作指令の調整(例えば、ゲイン調整やオフセット調整)を行ってもよい。この場合、調整された動作指令が、第1通信部13により送信される。また、第1データ処理部12は、第1通信部13が作業装置7から受けたデータ(例えば、後述の観察データ)から、表示用の画像データを生成して表示部9へ送る。
【0036】
作業装置7は、対象装置5に対して作業を行う。作業装置7と対象装置5の一例を図2に示す。作業装置7は、図2のように、地上を移動する移動手段(クローラや、回転駆動される車輪や、歩行脚など)を有する本体7aと、本体7aに設置されたマニピュレータ7bと、マニピュレータ7bと一体で動作するようにマニピュレータ7bに支持され上述の作業を行う作業実行部7cと、を備える。作業実行部7cは、マニピュレータ7bの先端部に取り付けられるハンドもしくはツール、または、マニピュレータ7bの先端部のハンドに把持されるツールである。本体7aは、操作部11の操作に応じた操作信号に従って生成された動作指令に従って地上を移動する。マニピュレータ7bは、上述の動作指令に従って、本体7a上で、本体7aに対して相対的に動作する。作業実行部7cは、上述の動作指令に従って作業を行う。
【0037】
図2では、作業装置7は、対象装置5に対する作業として対象装置5に設けた給油口内へ給油を行う。この場合、作業実行部7cは、給油ノズルであり、作業対象部5aは、給油口である。給油ノズル7cが、対象装置5の上述の給油タンクの給油口5aに挿入された状態で、給油ノズル7cから、給油口5a内へ給油が行われる。対象装置5は、制御部5b(図1を参照)を有する。対象装置5は、遠隔操作、自律制御、または両者の組み合わせにより、地上を移動し、所定の任務を行う車両や建機やロボットである。所定の任務は、例えば、作業エリア内の情報収集(例えば、状況を表わす画像の取得)や計測作業(例えば、放射線量計測)、瓦礫や岩石などの障害物撤去作業、砂防、築堤、構造物設置などの復旧作業、土砂や岩石などの積載や運搬や運送作業などである。
【0038】
作業装置7は、第2通信部15と第2データ処理部16とマニピュレータ制御部17と観察データ取得センサ21とを備える。
【0039】
第2通信部15は、遠隔操作装置3の第1通信部13から無線または有線で送信された動作指令を受信する。
【0040】
第2データ処理部16は、第2通信部15により受信した動作指令に従って制御信号を生成する。
【0041】
マニピュレータ制御部17は、第2データ処理部16が生成した制御信号(すなわち、上述の動作指令)に従って作業装置7を動作させる。図2のような構成の場合には、マニピュレータ制御部17は、動作指令に従って、本体7aに対するマニピュレータ7bの相対的な動作(移動や姿勢変化)、および、作業実行部7cによる作業を制御する。なお、好ましくは、マニピュレータ制御部17は、マニピュレータ7bまたは作業実行部7cからフィードバック信号(例えば、後述のマニピュレータデータ)を受け、このフィードバック信号にも基づいて、マニピュレータ7bまたは作業実行部7cを制御する。
【0042】
観察データ取得センサ21は、作業装置7に設けられ、作業装置7から見た状況を表わす観察データを取得する。この観察データは、作業装置7の第2通信部15により表示部9に対して無線または有線で送信される。すなわち、作業装置7の第2通信部15は、観察データを、遠隔操作装置3の第1通信部13に無線または有線で送信する。これにより、遠隔操作装置3の第1通信部13が受信した観察データが、遠隔操作装置3の表示部9に表示される。
好ましくは、観察データ取得センサ21が取得した観察データは、第2データ処理部16に入力される。第2データ処理部16は、入力された観察データに対して、適宜のデータ処理(例えば、補正処理や変換処理)を行う。この場合、このようにデータ処理された観察データが、第2通信部15から第1通信部13へ送信される。
【0043】
観察データ取得センサ21は、作業装置7から見た状況を撮像するカメラであってよい。この場合には、このカメラが撮像した画像データが観察データとなる。
代わりに、観察データ取得センサ21は、作業装置7から見た状況を、3次元的に計測する3次元形状計測センサであってもよい。この場合には、この3次元形状計測センサが計測した3次元形状データが観察データとなる。なお、3次元形状計測センサは、LRF(laser range finder)、距離画像センサ、または、ステレオカメラを有するものであってよい。また、上述の3次元形状計測センサは、さらに、画像データや形状データを取得する以外の各種環境(例えば、放射線量、温度、湿度など)を計測するセンサを含んでもよい。
【0044】
図2の例では、観察データ取得センサ21として、センサ21a(例えば、カメラ)およびセンサ21b(例えば、カメラ)が配置される。センサ21aは、マニピュレータ7bの先端部に取り付けられ、センサ21bは、本体7aに取り付けられる。センサ21aは、作業対象部5aを含む領域の状況を表わす観察データを取得する。センサ21bは、本体7aの一方側(例えば、進行方向側)の状況を表わす観察データを取得する。
【0045】
なお、対象装置5は、操作部11と同様の操作部に操作されてもよい。この場合、このような操作部を人が操作することにより操作信号が生成され、この操作信号に基づいて動作指令が生成され、この動作指令が、対象装置5の第3通信部5cに受信される。第3通信部5cに受信された動作指令は、対象装置5の第3データ処理部34により処理されることにより、この動作指令に従った制御信号が生成される。対象装置5の制御部5bは、この制御信号に従って、対象装置5の動作(例えば、対象装置5を移動させる駆動装置の動作)を制御する。
【0046】
本発明の実施形態による遠隔操作支援装置10は、上述した遠隔操作装置3と作業装置7とを備える遠隔操作システム20に設けられる。図3は、遠隔操作支援装置10の構成を示すブロック図である。
【0047】
遠隔操作支援装置10は、図3に示すように、相対データ計測装置23と数値データ生成部25を備える。
【0048】
相対データ計測装置23は、作業装置7の本体7aと対象装置5との相対姿勢と相対位置の一方または両方に関するデータを、計測データとして計測する。計測データは、本実施形態では、数値を示すデータである。
【0049】
作業装置7には、マニピュレータ計測装置24が設けられる。マニピュレータ計測装置24は、作業装置7の本体7aに固定されたマニピュレータ座標系におけるマニピュレータ7b(より具体的には、作業実行部7c)の姿勢と位置の一方または両方をマニピュレータデータとして計測する。マニピュレータデータは、数値を示すデータである。マニピュレータ7bが、複数のアームを互いに回転可能に連結されることにより構成されており、各アームが、サーボモータにより他のアームに対して回転させられる場合には、マニピュレータ計測装置24は、これらのサーボモータの回転角を検出するセンサ24aと、検出されたこれらの回転角と各アームの長さなどに基づいて、マニピュレータデータを算出する演算部24bとを有する。図3の例では、演算部24bは、マニピュレータ制御部17に組み込まれている。
【0050】
数値データ生成部25は、上述の作業を行うために、マニピュレータ7bと対象装置5との相対姿勢と相対位置の一方または両方を調整することに用いられる第1または第2の数値データを、計測データから生成する。第1の数値データは、マニピュレータ座標系における作業対象部5aの姿勢と位置の一方または両方(本実施形態では、両方)を示す数値データであり、第2の数値データは、マニピュレータデータと上述の計測データとから数値データ生成部25により生成され、上述の作業を行うために、マニピュレータ7bと対象装置5との相対姿勢と相対位置の一方または両方を調整する量を示す数値データである。なお、一例では、数値データ生成部25は、遠隔操作装置3または作業装置7に設けられる。なお、相対データ計測装置23が取得した計測データは、無線または有線により数値データ生成部25へ送信される。
【0051】
第1または第2の数値データが生成されると、数値データ伝達部(図3を参照)は、第1または第2の数値データを表示部9に対して伝える処理A、または、第1または第2の数値データを作業装置7のマニピュレータ制御部17に対して伝える処理Bを行う。
【0052】
処理Aが行われるように数値データ伝達部が構成されている場合には、表示部9は、送信されてきた第1または第2の数値データを表示する。人は、この表示を見て、上述の作業を行うために、操作部11を操作する。
【0053】
処理Bが行われるように数値データ伝達部が構成されている場合には、マニピュレータ制御部17は、送信されてきた第1または第2の数値データに基づいて、マニピュレータ7bの姿勢と位置の一方または両方(本実施形態では、両方)を調整する。
【0054】
好ましくは、計測データは、上述の相対姿勢に関する姿勢計測データを含み、第1または第2の数値データは、上述の作業を行うために上述の相対姿勢を調整することに用いられる姿勢数値データを含む。
【0055】
さらに好ましくは、計測データは、姿勢計測データに加えて、上述の相対位置に関する位置計測データを含み、第1または第2の数値データは、姿勢数値データに加えて、上述の作業を行うために上述の相対位置を調整することに用いられる位置数値データを含む。
【0056】
相対データ計測装置23は、第1計測器23aと第2計測器23bを備える。第1計測器23aは、作業装置7に設けられ、静止座標系における作業装置7の位置および姿勢の一方または両方(本実施形態では、両方)を計測データの一部として取得するものであればよく、後述の構成例に限定されない。第2計測器23bは、対象装置5に設けられ、静止座標系における対象装置5の位置および姿勢の一方または両方(本実施形態では、両方)を計測データの一部として取得するものであればよく、後述の構成例に限定されない。数値データ生成部25は、相対データ計測装置23(第1計測器23aと第2計測器23b)が取得した計測データに基づいて、第1または第2の数値データを生成する。
【0057】
数値データ生成部25が、遠隔操作装置3に設けられる場合には、数値データ生成部25は、遠隔操作装置3の第1データ処理部12に組み込まれるのがよい。この場合、第1計測器23aが取得した計測データは、第2データ処理部16と第2通信部15と第1通信部13を通して数値データ生成部25(すなわち、第1データ処理部12)へ送信され、第2計測器23bが取得した計測データは、第3データ処理部34と第3通信部5cと第1通信部13を通して数値データ生成部25(すなわち、第1データ処理部12)へ送信される。
この場合、第2データ処理部16は、第1計測器23aが取得した計測データに対して、適宜のデータ処理(例えば、補正処理や変換処理)を行う。このようにデータ処理された計測データが、第2通信部15から、第1通信部13へ送信されて数値データ生成部25に入力される。この場合、同様に、第3データ処理部34は、第2計測器23bが取得した計測データに対して、適宜のデータ処理(例えば、補正処理や変換処理)を行う。このようにデータ処理された計測データが、第3通信部5cから、第1通信部13へ送信されて数値データ生成部25に入力される。
【0058】
数値データ生成部25が、遠隔操作装置3に設けられる場合に、上述の処理Aが行われるときには、処理Aは、好ましくは、数値データ生成部25(この例では、第1データ処理部12)に設けられた数値データ伝達部により行われる。数値データ生成部25が、遠隔操作装置3に設けられる場合に、上述の処理Bが行われるときには、処理Bは、好ましくは、第1通信部13により行われる。すなわち、第1通信部13は、数値データ伝達部として機能して、第2通信部15へ第1または第2の数値データを送信し、これにより、第1または第2の数値データがマニピュレータ制御部17へ伝えられる。この場合、第1または第2の数値データは、第2データ処理部16により適宜のデータ処理(例えば、補正処理や変換処理など)がなされて、マニピュレータ制御部17へ伝えられてもよい。
【0059】
数値データ生成部25が、作業装置7に設けられる場合には、数値データ生成部25は、作業装置7の第2データ処理部16に組み込まれるのがよい。この場合、第1計測器23aが取得した計測データは、数値データ生成部25(すなわち、第2データ処理部16)に入力され、第2計測器23bが取得した計測データは、第3データ処理部34と第3通信部5cと第2通信部15を通して数値データ生成部25(すなわち、第2データ処理部16)へ送信される。
この場合、第3データ処理部34は、第2計測器23bが取得した計測データに対して、適宜のデータ処理(例えば、補正処理や変換処理)を行う。このようにデータ処理された計測データが、第3通信部5cから、第2通信部15へ送信されて数値データ生成部25(第2データ処理部16)に入力される。
【0060】
数値データ生成部25が、作業装置7に設けられる場合に、上述の処理Aが行われるときには、処理Aは、好ましくは、第2通信部15により行われる。この場合、第2通信部15は、数値データ伝達部として機能して、第1通信部13へ第1または第2の数値データを送信し、これにより、第1または第2の数値データが表示部9へ伝えられる。また、この場合、第1または第2の数値データは、第1データ処理部12により表示用の第1または第2の数値データにされて、表示部9へ伝えられてもよい。数値データ生成部25が、作業装置7に設けられる場合に、上述の処理Bが行われるときには、処理Bは、好ましくは、数値データ生成部25に設けられた数値データ伝達部により行われる。すなわち、この数値データ伝達部が、第1または第2の数値データをマニピュレータ制御部17へ送信する。この場合、数値データ生成部25は、生成した第1または第2の数値データに対して適宜のデータ処理(例えば、補正処理や変換処理など)を行い、このようにデータ処理された第1または第2の数値データを上述の数値データ伝達部がマニピュレータ制御部17へ伝えてもよい。
【0061】
なお、上述のように、処理Aまたは処理Bを行う数値データ伝達部は、遠隔操作支援装置10の構成要素となる。図3の例では、数値データ生成部25に数値データ伝達部が設けられている。
【0062】
第1計測器23aによる作業装置7の本体7aの姿勢の計測を述べる。第1計測器23aは、作業装置7の本体7aの姿勢として、ロール方向の姿勢と、ピッチ方向の姿勢とを計測し、ヨー方向の姿勢を取得するためのデータを計測する。ロール方向の姿勢は、作業装置7の本体7aに固定されたロール軸(本体7aの前後に延びる軸)回りに、本体7aが基準姿勢から回転した角度θr0で表される。ピッチ方向の姿勢は、本体7aに固定されたピッチ軸(この例では、作業装置7の左右に延びる軸)回りに、本体7aが基準姿勢から回転した角度θp0で表される。ヨー方向の姿勢は、本体7aに固定されたヨー軸(この例では、ロール軸とピッチ軸の両方に直交する軸)回りに、本体7aが基準姿勢から回転した角度θy0で表される。本体7aが基準姿勢にある状態では、ヨー軸は、鉛直方向を向いている。
【0063】
第1計測器23aは、第1および第2のジャイロセンサ29a,29bと第1および第2のGPS受信機31a,31bと第1算出部32を備える。第1のジャイロセンサ29aは、ロール方向の本体7aの姿勢を計測する。第2のジャイロセンサ29bは、ピッチ方向の本体7aの姿勢を計測する。第1および第2のGPS受信機31a,31bは、作業装置7の本体7aに水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する。第1算出部32は、第1のGPS受信機31aが受信したGPS信号に基づいて静止座標系における第1のGPS受信機31aの位置を示す位置情報Pg1を求め、第2のGPS受信機31bが受信したGPS信号に基づいて静止座標系における第2のGPS受信機31bの位置を示す位置情報Pg2を求め、これらの位置情報Pg1,Pg2に基づいて本体7aのヨー方向の姿勢を算出する。このような第1および第2のGPS受信機31a,31bと第1算出部32は、GPSコンパスを構成する。
【0064】
なお、本明細書において、静止座標系は、地上に固定された座標系である。以下において、X軸とY軸とZ軸は、静止座標系における、互いに直交する座標軸を意味し、Z軸は鉛直方向を向く。
【0065】
図1の例では、第1計測器23aが取得したロール方向の姿勢とピッチ方向の姿勢とヨー方向の姿勢とは、姿勢計測データとして、第2データ処理部16に入力される。第2データ処理部16は、入力された姿勢計測データに対して、適宜のデータ処理(例えば、補正処理や変換処理)を行う。この場合、このようにデータ処理された姿勢計測データが、数値データ生成部25に送信される。
【0066】
図3の例では、第1算出部32は、作業装置7の第2データ処理部16に組み込まれているが、第1算出部32を、他の場所に設けてもよい。例えば、数値データ生成部25が、遠隔操作装置3に設けられる場合には、第1算出部32も遠隔操作装置3に設けられてもよい。
【0067】
第2計測器23bによる対象装置5の姿勢の計測を述べる。第2計測器23bは、対象装置5の姿勢として、ロール方向の姿勢と、ピッチ方向の姿勢とを計測し、ヨー方向の姿勢を取得するためのデータを計測する。ロール方向の姿勢は、対象装置5に固定されたロール軸(対象装置5の前後に延びる軸)回りに、対象装置5が基準姿勢から回転した角度θr1で表される。ピッチ方向の姿勢は、対象装置5に固定されたピッチ軸(この例では、対象装置5の左右に延びる軸)回りに、対象装置5が基準姿勢から回転した角度θp1で表される。ヨー方向の姿勢は、対象装置5に固定されたヨー軸(この例では、ロール軸とピッチ軸の両方に直交する軸)回りに、対象装置5が基準姿勢から回転した角度θy1で表される。対象装置5が基準姿勢にある状態では、ヨー軸は、鉛直方向を向いている。
【0068】
第2計測器23bは、第3および第4のジャイロセンサ33a,33bと第3および第4のGPS受信機35a,35bと第2算出部36とを備える。
第3のジャイロセンサ33aは、ロール方向の対象装置5の姿勢を計測する。第4のジャイロセンサ33bは、ピッチ方向の対象装置5の姿勢とを計測する。第3および第4のGPS受信機35a,35bは、対象装置5に水平方向に間隔をおいて設けられ、GPS衛星からGPS信号を受信する。第2算出部36は、第3のGPS受信機35aが受信したGPS信号に基づいて静止座標系における第3のGPS受信機35aの位置を示す位置情報Pg3を求め、第4のGPS受信機35bが受信したGPS信号に基づいて静止座標系における第4のGPS受信機35bの位置を示す位置情報Pg4を求め、これらの位置情報Pg3,Pg4に基づいて対象装置5のヨー方向の姿勢を算出する。このような第3および第4のGPS受信機35a,35bと第2算出部36は、GPSコンパスを構成する。
【0069】
図1の例では、第2計測器23bが取得したロール方向の姿勢とピッチ方向の姿勢とヨー方向の姿勢とは、姿勢計測データとして、第3データ処理部34に入力される。第3データ処理部34は、入力された姿勢計測データに対して、適宜のデータ処理(例えば、補正処理や変換処理)を行う。この場合、このようにデータ処理された姿勢計測データが、数値データ生成部25に送信される。
【0070】
図3の例では、第2算出部36は、対象装置5の第3データ処理部34に組み込まれているが、第2算出部36を、他の場所に設けてもよい。例えば、数値データ生成部25が、遠隔操作装置3に設けられる場合には、第2算出部36も遠隔操作装置3に設けられてもよい。
【0071】
数値データ生成部25は、上述のように取得した本体7aのロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢と、上述のように取得した対象装置5のロール方向の姿勢、ピッチ方向の姿勢、およびヨー方向の姿勢とに基づいて、上述の作業を行うために、前記本体7aと前記マニピュレータ7bとの相対姿勢と相対位置を調整することに用いられる第1または第2の数値データを算出する。
【0072】
第1計測器23aの第1算出部32は、上述の位置情報Pg1と位置情報Pg2の一方または両方に基づいて、作業装置7の本体7aの位置を示す位置情報Pを生成する。位置情報Pは、作業装置7の本体7aに固定された本体座標系の原点の位置を示す。本体座標系は、本体7aに固定され互いに直交する上述のロール軸とピッチ軸とヨー軸を座標軸として有する。本体座標系の原点は、これらのロール軸とピッチ軸とヨー軸との交点である。また、この例では、位置情報Pは、静止座標系で表わされる。なお、本体座標系の原点と、第1および第2のGPS受信機31a,31bの一方または両方との相対位置は、既知であり、第1算出部32に記憶されている。
【0073】
第2計測器23bの第2算出部36は、上述の位置情報Pg3と位置情報Pg4の一方または両方に基づいて、対象装置5の位置を示す位置情報Pを生成する。位置情報Pは、対象装置5に固定された対象装置座標系の原点の位置を示す。対象装置座標系は、対象装置5に固定され互いに直交する上述のロール軸とピッチ軸とヨー軸を座標軸として有する。対象装置座標系の原点は、これらのロール軸とピッチ軸とヨー軸との交点である。また、この例では、位置情報Pは、静止座標系で表わされる。なお、対象装置座標系の原点と、第3および第4のGPS受信機35a,35bの一方または両方との相対位置は、既知であり、第2算出部36に記憶されている。
【0074】
上述した本発明の実施形態による遠隔操作支援装置10を用いた遠隔操作支援方法を述べる。図4は、この遠隔操作支援方法を示すフローチャートである。
【0075】
ステップS1において、作業装置7と対象装置5とを互いに近接させる。本実施形態では、上述した作業エリア内において対象装置5を停止させ、作業装置7を対象装置5の近くへ移動させる。
【0076】
ステップS1における対象装置5の停止は、例えば、対象装置5が停止指令を受信することによって対象装置5の制御部5bに行われる。この停止指令は、例えば操作部11と同様の操作部を人が操作することにより、停止指令が無線または有線で対象装置5へ送信され、対象装置5の第3通信部5cに受信される。なお、図2の例では、対象装置5の作業対象部5aの位置が、作業装置7のマニピュレータ7b(より厳密には、作業実行部7c)の動作範囲内にあると作業を効率的に行うことができるため、このような位置関係が得られるように作業装置7を移動をさせる。マニピュレータ7bの動作範囲とは、本体7aが停止した状態で、作業実行部7cが到達できる範囲を意味する。
【0077】
ステップS1における作業装置7の本体7aの移動は、操作部11、または、操作部11と同様の操作部を人が操作することにより制御されてもよい。この場合、このような操作部を人が操作することにより操作信号が生成され、この操作信号に基づいて動作指令が生成され、この動作指令が、作業装置7の第2通信部15に受信される。第2通信部15に受信された動作指令は、第2データ処理部16により処理されることにより、この動作指令に従った制御信号が生成される。作業装置7の本体制御部(図示せず)は、この制御信号に従って、作業装置7の本体7aに設けられた上述の移動手段を制御することにより、本体7aの位置や向きを変化させる。この時、作業装置7の本体7aの位置情報Pと対象装置5の位置情報Pが、表示部9に伝えられて表示部9に表示される。人は、表示部9に表示された位置情報P,Pを見て、操作部11を操作して、上述したように、作業対象部5aの位置が作業装置7のマニピュレータ7bの動作範囲内になるように、作業装置7を対象装置5の近くへ移動させる。
【0078】
なお、この時、位置情報Pの代わりに、静止座標系で表わされた作業対象部5aの位置を示す位置情報Pが表示部9に表示されてもよい。ここで、位置情報Pは、位置情報Pと、予め分かっている後述の相対位置ΔPとにより求められる。この場合、第1データ処理部12は、相対位置ΔPを記憶しており、このΔPと、第2算出部36から送られた位置情報Pとに基づいて位置情報Pを生成して表示部9に出力する。
【0079】
ステップS1が行われたら、ステップS2〜S6が行われる。すなわち、作業対象部5aが、マニピュレータ7bの動作範囲内に位置する状態で、ステップS2〜S6が行われる。ステップS2〜S6の開始は、例えば、操作部11の操作により、計測指令が、生成されて、第1計測器23aと第2計測器23bに対して無線または有線で送信されることによりなされる。
【0080】
ステップS2において、第1計測器23aは、作業装置7の本体7aの姿勢として、ロール方向の姿勢θr0と、ピッチ方向の姿勢θp0と、ヨー方向の姿勢θy0を計測する。計測されたこれらの姿勢θr0,θp0,θy0は、姿勢計測データとして数値データ生成部25に送信される。
【0081】
ステップS3において、第1計測器23aは、作業装置7の本体7aの位置を示す位置情報Pを取得し、この位置情報Pが、位置計測データとして数値データ生成部25に送信される。
【0082】
ステップS4において、第2計測器23bは、対象装置5の姿勢として、ロール方向の姿勢θr1と、ピッチ方向の姿勢θp1と、ヨー方向の姿勢θy1を計測する。計測されたこれらの姿勢θr1,θp1,θy1は、姿勢計測データとして数値データ生成部25に送信される。
【0083】
ステップS5において、第2計測器23bは、対象装置5の位置を示す位置情報Pを取得し、この位置情報Pが、位置計測データとして数値データ生成部25に送信される。
【0084】
ステップS6において、マニピュレータ計測装置24は、マニピュレータ座標系におけるマニピュレータ7b(作業実行部7c)の姿勢と位置を、それぞれマニピュレータデータθ,Pとして計測する。
【0085】
ステップS2〜S6が行われたら、ステップS7とステップS8が行われる。本実施形態では、ステップS7とステップS8において、第1の数値データの姿勢数値データと位置数値データを算出する場合と、ステップS7とステップS8において、第2の数値データの姿勢数値データと位置数値データを算出する場合とがある。
【0086】
ステップS7において、数値データ生成部25は、第1または第2の数値データに含まれる姿勢数値データを算出する。
【0087】
ステップS7において、第1の数値データに含まれる姿勢数値データを算出する場合には、数値データ生成部25は、この姿勢数値データとして、下記の式(1)で表されるΔθを算出する。
この算出は、ステップS2で計測された作業装置7のロール方向の姿勢θr0、ピッチ方向の姿勢θp0、およびヨー方向の姿勢θy0と、ステップS4で計測された対象装置5のロール方向の姿勢θr1、ピッチ方向の姿勢θp1、およびヨー方向の姿勢θy1と、後述のΔθに基づいて行われる。

Δθ=Δθ1−0−(Δθ+Δθ) ・・・(1)
【0088】
ステップS7において、第2の数値データに含まれる姿勢数値データを算出する場合には、数値データ生成部25は、この姿勢数値データとして、下記の式(2)で表されるΔθを算出する。
この算出は、ステップS2で計測された作業装置7のロール方向の姿勢θr0、ピッチ方向の姿勢θp0、およびヨー方向の姿勢θy0と、ステップS4で計測された対象装置5のロール方向の姿勢θr1、ピッチ方向の姿勢θp1、およびヨー方向の姿勢θy1と、後述のΔθと、ステップS6で計測されたマニピュレータデータθに基づいて行われる。

Δθ=Δθ1−0−(Δθ+Δθ)−θ ・・・(2)
【0089】
式(1)と式(2)における各記号について、詳しく説明する。
【0090】
Δθ1−0は、作業装置7の本体7aに固定された本体座標系(例えば、この座標系の座標軸)に対する対象装置座標系(例えば、この座標系の座標軸)の相対姿勢を示すベクトルであり、前記姿勢計測データにより表される。詳しくは、次の通りである。Δθ1−0は、ロール方向に関する角度成分Δθとピッチ方向に関する角度成分Δθとヨー方向に関する角度成分Δθからなる。したがって、Δθ1−0は、Δθ1−0=(Δθ,Δθ,Δθ)で表される。Δθ=θr1−θr0であり、Δθ=θp1−θp0であり、Δθ=θy1−θy0で表される。なお、本明細書において、Δθ1−0,Δθm,Δθの各々は、ロール方向に関する角度成分とピッチ方向に関する角度成分とヨー方向に関する角度成分を有するベクトルである。式(1)(2)において、Δθ1−0,Δθm,Δθ,θ間での記号「−」による減算や記号「+」による加算は、上述の角度成分毎に、独立して行われる。本明細書では、このような意味で、Δθ,Δθ,Δθ1−0,Δθ,Δθ,およびθをベクトルとして扱う。ただし、この減算や加算は、好ましくは、Δθ1−0,Δθm,Δθ、およびθの各角度成分をマニピュレータ座標系での角度成分(例えば、マニピュレータ座標系の各座標軸回りの方向に関する角度成分)で行う。すなわち、Δθ1−0,Δθm,Δθ、およびθの各角度成分がマニピュレータ座標系での角度成分に換算されていない場合には、この換算を行った上で、式(1)(2)における上述の減算と加算を行う。
【0091】
Δθは、本体座標系に対する、マニピュレータ座標系の姿勢を示す既知の固定ベクトルであり、予め設定されている。このベクトルの各成分は、固定値である。Δθは、本実施形態では、作業装置7の本体7aに固定されたロール軸、ピッチ軸、およびヨー軸に対応するロール方向、ピッチ方向、およびヨー方向に関する角度成分を有する。
【0092】
Δθは、対象装置5における作業対象部5aの向き(基準線)に対する、対象装置座標系(例えば、この座標系の座標軸)の姿勢を示すベクトルであり、予め設定されている。作業対象部5aの向きは、対象装置5に固定されている。例えば、作業対象部5aが後述の給油口である場合には、Δθは、給油口の向きに対する対象装置座標系の姿勢を示す。
【0093】
ΔθとΔθは、数値データ生成部25の記憶部に予め記憶されている。
【0094】
θは、マニピュレータ座標系の座標軸に対するマニピュレータ(すなわち、作業実行部7c)の姿勢を示すベクトルであり、マニピュレータ計測装置24により計測される。例えば、マニピュレータ座標系が、互いに直交する3つの座標軸を有する場合に、これらの座標軸毎に、θは角度成分を有する。すなわち、θの各角度成分は、対応する座標軸回りに、作業実行部7cが基準姿勢から回転した角度である。
【0095】
上式(1)で表されるΔθは、マニピュレータ座標系に対する作業対象部5aの向き(姿勢)を示し、上式(2)で表されるΔθは、マニピュレータ7b(より正確には、作業実行部7c)の向き(姿勢)に対する作業対象部5aの向き(姿勢)を示す。作業実行部7cの向きは、作業実行部7cに固定された基準線の向きであってよい。
【0096】
ステップS8において、数値データ生成部25は、第1または第2の数値データに含まれる位置数値データを算出する。
【0097】
ステップS8において、第1の数値データに含まれる位置数値データを算出する場合には、数値データ生成部25は、この位置数値データとして、下記の式(3)で表されるΔPを算出する。
この算出は、ステップS3で取得された作業装置7の位置情報Pと、ステップS5で取得された対象装置5の位置情報Pと、後述のΔPと、後述のΔPOFFに基づいて行われる。

ΔP=ΔP1−0−(ΔP+ΔP+ΔPOFF) ・・・(3)
【0098】
ステップS8において、第2の数値データに含まれる位置数値データを算出する場合には、数値データ生成部25は、この位置数値データとして、下記の式(4)で表されるΔPを算出する。
この算出は、ステップS3で取得された作業装置7の位置情報Pと、ステップS5で取得された対象装置5の位置情報Pと、後述のΔPと、後述のΔPOFFと、ステップS6で計測されたマニピュレータデータPに基づいて行われる。

ΔP=ΔP1−0−(ΔP+ΔP+ΔPOFF)−P ・・・(4)
【0099】
式(3)と式(4)における各記号について、詳しく説明する。
【0100】
ΔP1−0は、作業装置7の本体7aに固定された本体座標系(この座標系の原点)に対する対象装置座標系(この座標系の原点)の相対位置を示すベクトルであり、位置計測データにより表される。ΔP1−0は、ΔP1−0=P−Pで表される。P,P,ΔP1−0,ΔP,ΔP,ΔP,ΔP,ΔPOFFの各々は、例えば、静止座標系のX軸座標成分とY軸座標成分とZ軸座標成分を有する。各式において、ΔP1−0,ΔP,ΔP,ΔPOFF,P間での記号「−」による減算や記号「+」による加算は、上述の座標成分毎に、独立して行われる。ただし、この減算や加算は、好ましくは、P,P,ΔP1−0,ΔP,ΔP,ΔPOFF,およびPの間での減算や加算は、マニピュレータ座標系での座標成分で行う。すなわち、P,P,ΔP1−0,ΔP,ΔP,ΔPOFF,およびPの各座標成分がマニピュレータ座標系での座標成分に換算されていない場合には、この換算を行った上で、式(3)(4)における上述の減算と加算を行う。
【0101】
ΔPは、本体座標系の原点に対する、マニピュレータ座標系の原点の相対位置を示す既知の固定ベクトルであり、予め設定されている。ΔPは、数値データ生成部25の記憶部に予め記憶されている。
【0102】
ΔPは、作業対象部5aに対する、対象装置5に固定された対象装置座標系の原点の相対位置を示す。ΔPは、既知の値であり、数値データ生成部25の記憶部に予め記憶されている。
【0103】
ΔPOFFは、作業実行時における作業実行部7cの位置(すなわち、作業対象部5aの位置)からのオフセットを示す。ΔPOFFは、作業対象部5aから見た位置を示し、オフセット量とオフセット方向を示すベクトルである。ΔPOFFは、X軸成分とY軸成分とZ軸成分を有する。ΔPOFFは、後述するように、作業実行時の直前に作業実行部7cが作業対象部5aまで移動する距離と方向を示す。
【0104】
は、マニピュレータ座標系の座標軸の座標で表される、マニピュレータ7b(すなわち、作業実行部7c)の位置を示すベクトルであり、マニピュレータ計測装置24により計測される。例えば、マニピュレータ座標系が、互いに直交する3つの座標軸を有する場合に、Pは、これらの座標軸毎に、この座標軸の座標値を有する。
【0105】
上式(3)で表されるΔPは、マニピュレータ座標系の原点に対する作業対象部5aの相対位置を示し、上式(4)で表されるΔPは、マニピュレータ7b(より正確には、作業実行部7c)の位置に対する作業対象部5aの相対位置を示す。
【0106】
ステップS9において、上述の数値データ伝達部は、上述の処理Aまたは処理Bを行う。なお、ステップS9では、本体7aは停止している。
【0107】
最初に、ステップS9で処理Aが行われる場合について述べる。
【0108】
ステップS9において、上述の数値データ伝達部は、ステップS7で算出された姿勢数値データΔθとステップS8で算出された位置数値データΔP、または、ステップS7で算出された姿勢数値データΔθとステップS8で算出された位置数値データΔPを、遠隔操作装置3の表示部9に対して送信する。これにより、姿勢数値データΔθと位置数値データΔP、または、姿勢数値データΔθと位置数値データΔPが、表示部9に表示される。
【0109】
ここで、姿勢数値データΔθと位置数値データΔPが、表示部9に送信される場合には、表示部9は、ΔθとΔPの他に、マニピュレータデータ送信部からのマニピュレータデータθ,Pも表示する。この場合、Δθとθは、同じ座標系(好ましくは、マニピュレータ座標系)における各軸(座標軸)回りの角度成分で表現され、ΔPとPは、同じ座標系(好ましくは、マニピュレータ座標系)の各座標軸における座標成分で表現される。マニピュレータデータθ,Pは、例えば、マニピュレータ計測装置24から、第2通信部15と第1通信部13を介して、表示部9へ送られる。したがって、第2通信部15は、θ,Pを、第1通信部13を介して、表示部9へ送信するマニピュレータデータ送信部として機能する。この場合、第2通信部15は、遠隔操作支援装置10の構成要素となる。なお、表示部9は、例えば、Δθとθとを並列して表示するとともに、PとPとを並列して表示する。
【0110】
次に、第1の数値データΔθ,Pが表示部9に表示される場合と、第2の数値データΔθ,Pが表示部9に表示される場合とをより詳しく説明する。
【0111】
(第1の数値データが表示される場合)
表示部9が、ΔθとθおよびΔPとPを表示する場合には、次の操作を人が行う。人は、表示されたΔθとθを見て、Δθとθとの差が、対応する角度成分毎に、ゼロとなるように、操作部11を操作することにより、マニピュレータ7b(すなわち、作業実行部7c)の姿勢を変化させる。この時、時々刻々と、マニピュレータ計測装置24は、現在のθを計測し、このθが、表示部9へ送られ表示部9に表示される。このようにして、表示部9に表示されるθは、時々刻々とリアルタイムに更新される。同様に、人は、表示されたΔPとPを見て、ΔPとPとの差が、対応する座標成分毎に、ゼロとなるように、操作部11を操作することにより、マニピュレータ7b(すなわち、作業実行部7c)の位置を変化させる。この時、時々刻々と、マニピュレータ計測装置24は、現在のPを計測し、このPが、表示部9へ送られ表示部9に表示される。このようにして、表示部9に表示されるPは、時々刻々とリアルタイムに更新される。このようにして、表示部9に表示されるΔθとθとの差を、各角度成分についてゼロにし、表示部9に表示されるΔPとPを、各座標成分についてゼロにする。その後、人は、ΔPOFFに基づいて操作部11を操作する。これにより、ΔPOFFが示す距離だけ、ΔPOFFが示す方向に、マニピュレータ7b(作業実行部7c)を作業対象部5aに対して移動させ、この状態で、作業対象部5aに対する作業を作業実行部7cに行わせる。
【0112】
(第2の数値データが表示される場合)
表示部9が、ΔθとΔPを表示する場合には、次の操作を人が行う。人は、表示された姿勢数値データΔθと位置数値データΔPを見て、操作部11を操作することにより、作業装置7を動作させて、姿勢数値データΔθと位置数値データΔPに基づいて、Δθが示す量だけ、Δθが示す方向にマニピュレータ7bの姿勢を変化させ、ΔPが示す量だけ、ΔPが示す方向にマニピュレータ7bを移動させる。その後、人は、ΔPOFFに基づいて操作部11を操作する。これにより、ΔPOFFが示す距離だけ、ΔPOFFが示す方向に、マニピュレータ7b(作業実行部7c)を作業対象部5aに対して移動させ、この状態で、作業対象部5aに対する作業を作業実行部7cに行わせる。
【0113】
第1の数値データが表示される場合と、第2の数値データが表示される場合において、ΔPOFFに基づく操作部11の操作は、次のようにしてよい。マニピュレータ7bまたは作業装置7の本体7aに取り付けた観察データ取得センサ21(例えば、カメラ21a)により、作業実行部7cと作業対象部5aを含む領域の観察データ(例えば、画像データ)を取得し、この観察データを表示部9に表示させる。人は、このように表示された観察データを見て、相対データ計測装置23の計測誤差、作業実行部7cの位置精度による誤差などにより、作業実行部7cの位置が作業対象部5aに対してずれていると認識した場合には、このずれを修正するように、操作部11を操作して作業実行部7cの姿勢または位置を調整できる。なお、ΔPOFFは、数値データとして表示部9に表示されるのがよい。
【0114】
次に、ステップS9で処理Bが行われる場合について述べる。
【0115】
ステップS9において、数値データ伝達部は、ステップS7で算出された姿勢数値データΔθとステップS8で算出された位置数値データΔP、または、ステップS7で算出された姿勢数値データΔθとステップS8で算出された位置数値データΔPを、作業装置7のマニピュレータ制御部17に対して送信する。
【0116】
ステップS9において、ΔθとΔPが、マニピュレータ制御部17に対して送信される場合には、マニピュレータ制御部17は、このΔθとΔPに基づいて、マニピュレータ7bを制御して、マニピュレータ7b(すなわち、作業実行部7c)の姿勢と位置を調整する。この制御は、例えば、下記の方法1または方法2により行われる。
【0117】
(方法1)
マニピュレータ制御部17は、Δθを目標姿勢として、マニピュレータ7b(作業実行部7c)の姿勢θが、Δθに一致するように、マニピュレータ7b(作業実行部7c)の姿勢を調整する。また、マニピュレータ制御部17は、ΔPを目標位置として、マニピュレータ7b(作業実行部7c)の位置Pが、ΔPに一致するように、マニピュレータ7b(作業実行部7c)の位置を調整する。その後、人は、ΔPOFFに基づいて操作部11を操作する。これにより、ΔPOFFが示す距離だけ、ΔPOFFが示す方向に、作業実行部7cを作業対象部5aに対して移動させ、この状態で、作業対象部5aに対する作業を作業実行部7cに行わせる。ここで、ΔPOFFに基づく操作部11の操作は、上述と同じである。なお、ΔPOFFは、数値データとして表示部9に表示されるのがよい。
【0118】
(方法2)
マニピュレータ制御部17は、Δθからマニピュレータ7b(作業実行部7c)の姿勢θを減算したデータ(上述のΔθに相当するデータ)を求め、マニピュレータ7b(作業実行部7c)の姿勢に対する速度指令の時間積分値が、このデータに一致するように、マニピュレータ7b(作業実行部7c)の姿勢を調整する。また、マニピュレータ制御部17は、ΔPからマニピュレータ7b(作業実行部7c)の位置Pを減算したデータ(上述のΔPに相当するデータ)を求め、マニピュレータ7b(作業実行部7c)の位置に対する速度指令の時間積分値が、このデータに一致するように、マニピュレータ7b(作業実行部7c)の位置を調整する。その後、人は、ΔPOFFに基づいて操作部11を操作する。これにより、ΔPOFFが示す距離だけ、ΔPOFFが示す方向に、作業実行部7cを作業対象部5aに対して移動させ、この状態で、作業対象部5aに対する作業を作業実行部7cに行わせる。ここで、ΔPOFFに基づく操作部11の操作は、上述と同じである。なお、ΔPOFFは、数値データとして表示部9に表示されるのがよい。
【0119】
なお、方法1と方法2において、θは、マニピュレータ計測装置24により計測されて、マニピュレータ制御部17に入力され、Pは、マニピュレータ計測装置24により計測されて、マニピュレータ制御部17に入力される。また、方法1と方法2において、Δθとθは、同じ座標系(好ましくは、マニピュレータ座標系)における各軸(座標軸)回りの角度成分で表現され、ΔPとPは、同じ座標系(好ましくは、マニピュレータ座標系)の各座標軸における座標成分で表現される。
【0120】
ステップS9において、ΔθとΔPが、マニピュレータ制御部17に対して送信される場合には、マニピュレータ制御部17は、このΔθとΔPに基づいて、マニピュレータ7bを制御して、マニピュレータ7b(すなわち、作業実行部7c)の姿勢と位置を調整する。この制御は、例えば、次のように行われる。マニピュレータ制御部17は、姿勢数値データΔθと位置数値データΔPに基づいて、Δθが示す量だけ、Δθが示す方向にマニピュレータ7b(作業実行部7c)の姿勢を変化させ、ΔPが示す量だけ、ΔPが示す方向にマニピュレータ7b(作業実行部7c)を移動させる。その後、人は、ΔPOFFに基づいて操作部11を操作する。これにより、ΔPOFFが示す距離だけ、ΔPOFFが示す方向に、作業実行部7cを作業対象部5aに対して移動させ、この状態で、作業対象部5aに対する作業を作業実行部7cに行わせる。ここで、ΔPOFFに基づく操作部11の操作は、上述と同じである。なお、ΔPOFFは、数値データとして表示部9に表示されるのがよい。
【0121】
ステップS9で処理Aまたは処理Bを行う時には、作業対象部5aは、既に行ったステップS1によりマニピュレータ7bの動作範囲に入っている。
【0122】
上述の処理Bが行われている間、人は、表示部9の観察データを見て、作業装置7のマニピュレータ7bが対象装置5に干渉(接触)しないかの監視に集中できる。このような干渉が起こりそうになったら、人は操作部11を操作して作業装置7のマニピュレータ7bの動作を停止させることができる。
【0123】
上述した作業の複数の例を説明する。
【0124】
(上述の作業が給油である場合)
作業対象部5aは、上方に開口した給油口であり、作業実行部7cは給油ノズルである。ΔPOFFのX軸成分とY軸成分はゼロであり、ΔPOFFのZ軸成分は、予め定めたオフセット距離ΔZOFFである。すなわち、ΔPOFF=(0,0,ΔZOFF)である。
【0125】
したがって、操作部11の操作またはマニピュレータ制御部17により、Δθ−θとΔP−Pの各成分、または、ΔθとΔPの各成分をゼロにした状態では、給油ノズル7cは、給油口5aから鉛直上方にオフセット距離ΔZOFFだけずれた位置にある。この状態から、人が、操作部11を操作することにより、給油ノズル7cを、ΔZOFFだけ移動(すなわち、オフセット距離ΔZOFFだけ鉛直下方に下降)させることにより、給油ノズル7cを給油口5aに挿入させる。この状態で、人は、操作部11を操作することにより、給油ノズル7cから給油口5aを有する給油タンクへ給油を開始させる。
【0126】
(上述の作業が接触式給電である場合)
作業対象部5aは、電力を受けるための受電接点であり、作業実行部7cは給電接点である。操作部11の操作またはマニピュレータ制御部17により、Δθ−θとΔP−Pの各成分、または、ΔθとΔPの各成分をゼロにした状態から、人は、操作部11を操作することにより、ΔPOFFだけ給電接点を移動させることにより、給電接点を受電接点に接触させ、この状態で、作業装置7に設けられた給電装置から給電接点と受電接点を介して対象装置5のバッテリーへ給電を行わせる。
【0127】
(上述の作業が非接触式給電である場合)
作業対象部5aが、電力を受けるための受電コイルであり、作業実行部7cは給電コイルである。操作部11の操作またはマニピュレータ制御部17により、Δθ−θとΔP−Pの各成分、または、ΔθとΔPの各成分をゼロにした状態から、操作部11を操作することにより、ΔPOFFだけ給電コイルを移動させることにより、給電コイルを受電コイルに近づけ、この状態で、作業装置7に設けられた給電装置から給電コイルと受電コイルを介して対象装置5のバッテリーへ給電を行わせる。
【0128】
本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。例えば、以下の変更例1〜8のいずれかを単独で採用してもよいし、変更例1〜8を任意に組み合わせて採用してもよい。この場合、以下で述べない点は、上述と同じであってもよいし、適宜変更してもよい。
【0129】
(変更例1)
本体7aに固定されたロール軸とピッチ軸とヨー軸は、本発明における、本体7aに固定された第1軸と第2軸と第3軸として機能し、対象装置5に固定されたロール軸とピッチ軸とヨー軸は、本発明における、対象装置5に固定された第1軸と第2軸と第3軸として機能する。
【0130】
すなわち、本発明によると、本体7aに固定されたロール軸とピッチ軸とヨー軸の代わりに、互いに交差する(好ましくは、直交する)第1軸と第2軸と第3軸を用いてもよい。これらの第1軸と第2軸と第3軸は、本体7aのロール軸とピッチ軸とヨー軸に一致していなくてよいが、本体7aに固定されている。
【0131】
同様に、対象装置5に固定されたロール軸とピッチ軸とヨー軸の代わりに、互いに交差する(好ましくは、直交する)第1軸と第2軸と第3軸を用いてもよい。これらの第1軸と第2軸と第3軸は、対象装置5のロール軸とピッチ軸とヨー軸に一致していなくてよいが、対象装置5に固定されている。
【0132】
この場合、他の点は、上述と同じである。ただし、上述において、上述のロール軸とピッチ軸とヨー軸は、それぞれ、第1軸と第2軸と第3軸に読み替えられ、上述のロール方向とピッチ方向とヨー方向は、それぞれ、第1軸回りの方向と第2軸回りの方向と第3軸回りの方向に読み替えられる。
【0133】
(変更例2)
相対データ計測装置23は、上述の第1計測器23aと第2計測器23bを備える代わりに、作業装置7の本体7aに設けられた3次元形状計測器を備えていてもよい。この場合、対象装置5には、1つまたは複数のマーカが設けられる。マーカは、特定の形状を有し、複数のマーカが設けられる場合には、これらのマーカは、好ましくは対象装置5に特定のパターンで配列される。
【0134】
図5の例では、3つの球状マーカ38が、対象装置5に特定のパターンで配列されている。この配列パターンの形状は、3つのマーカ38同士を結ぶ仮想線分により形成される三角形である。なお、図5(B)は、図5(A)の5B−5B線矢視図である。
【0135】
相対データ計測装置23が、上記3次元形状計測器を備える場合には、上述の遠隔操作支援方法は、以下のようになる。なお、以下において、単にマーカという場合には、1つのマーカ、または、複数のマーカを意味する。
【0136】
図6は、マーカを用いた場合における遠隔操作支援方法を示すフローチャートである。
【0137】
ステップS11では、上述のステップS1のように、作業装置7と対象装置5とを互いに近接させる。例えば、このステップS11では、適宜の手段により、静止座標系における作業装置7の位置を示す位置情報と、静止座標系における対象装置5の位置を示す位置情報とが、表示部9に表示され、人は、表示部9に表示されたこれらの位置情報を見て、操作部11を操作してよい。ステップS11により、作業対象部5aの位置が作業装置7のマニピュレータ7bの動作範囲内になるようする。この状態で、後述のステップS12〜S18が行われる。
【0138】
ステップS12において、上述の3次元形状計測器は、作業装置7の本体7aと対象装置5との相対姿勢と相対位置に関するデータを、計測データとして計測する。この計測データは、対象装置5を含む領域の画像データまたは距離データである。なお、距離データは、この領域内の物体上の各点までの距離のデータである。
【0139】
ステップS13において、数値データ生成部25は、マーカの基準データに基づいて、ステップS12で得た計測データからマーカを抽出する。基準データは、マーカを特定の方向から、かつ、特定の距離だけマーカから離れた位置から見た場合におけるマーカの形状と寸法を示す基準データであり、数値データ生成部25に記憶されている。ここで、複数のマーカが対象装置5に設けられている場合には、マーカの形状とは、複数のマーカの配列パターンの形状(図5(A)の場合には、三角形)を意味し、マーカの寸法とは、これらの複数のマーカを合わせた寸法を意味してもよいし、各マーカの寸法を意味してもよい。
【0140】
ステップS14において、数値データ生成部25は、ステップS13で抽出したマーカと、上述の基準データに基づいて、センサ座標系における作業対象部5aの姿勢と位置を求める。ここで、数値データ生成部25は、作業対象部5aとマーカとの相対姿勢および相対位置を記憶しており、これらの相対姿勢および相対位置にも基づいて、センサ座標系における作業対象部5aの姿勢θ1−sと位置P1−sを求める。なお、センサ座標系は、例えば、上述の3次元形状計測器に固定された座標系であるとともに、作業装置7の本体7aに固定されている。センサ座標系における作業対象部5aの姿勢とは、センサ座標系の座標軸に対する姿勢であってよい。
【0141】
一方、ステップS15において、マニピュレータ計測装置24は、マニピュレータ座標系におけるマニピュレータ7b(作業実行部7c)の姿勢と位置を、それぞれマニピュレータデータθ,Pとして計測する。
【0142】
ステップS16において、数値データ生成部25は、ステップS14で求めたセンサ座標系における作業対象部5aの姿勢θ1−sと、マニピュレータ7bに固定されたマニピュレータ座標系とセンサ座標系との関係とに基づいて、第1または第2の数値データに含まれる姿勢数値データを算出する。
【0143】
ステップS16において、第1の数値データに含まれる姿勢数値データを算出する場合には、数値データ生成部25は、この姿勢数値データとして、下記の式(5)で表されるΔθを算出する。

Δθ=θ1−s−Δθm−s ・・・(5)
【0144】
ステップS16において、第2の数値データに含まれる姿勢数値データを算出する場合には、数値データ生成部25は、この姿勢数値データとして、下記の式(6)で表されるΔθを算出する。

Δθ=θ1−s−Δθm−s−θ ・・・(6)
【0145】
式(5)と式(6)における各記号について、詳しく説明する。
【0146】
θ1−sは、センサ座標系の座標軸に対する作業対象部5aの姿勢(向き)を示すベクトルであり、上述の3次元形状計測器により計測される。例えば、センサ座標系が、互いに直交する3つの座標軸を有する場合に、これらの座標軸毎に、θ1−sは角度成分を有する。すなわち、θ1−sの各角度成分は、対応する座標軸回りの回転角度である。
【0147】
Δθm−sは、センサ座標系に対する、本体7aに固定された上述のマニピュレータ座標系の姿勢を示す既知の固定ベクトルであり、予め設定されている。このベクトルの各成分は、固定値である。例えば、センサ座標系が、互いに直交する3つの座標軸を有する場合に、これらの座標軸毎に、Δθm−sは角度成分を有する。すなわち、Δθm−sの各角度成分は、対応する座標軸回りに、マニピュレータ座標系が基準姿勢から回転した角度である。ここで、基準姿勢とは、マニピュレータ座標系の3つの座標軸の向きが、それぞれ、センサ座標系の3つの座標軸の向きと一致している姿勢を意味する。Δθm−sは、数値データ生成部25の記憶部に予め記憶されている。
【0148】
θは、上述と同様に、マニピュレータ座標系の座標軸に対するマニピュレータ(すなわち、作業実行部7c)の姿勢を示すベクトルであり、ステップS15においてマニピュレータ計測装置24により計測される。
【0149】
式(5)(6)において、θ1−s,Δθm−s,θの間での記号「−」による減算は、各角度成分毎に、独立して行われる。なお、好ましくは、θ1−s,Δθm−s,θの各角度成分がマニピュレータ座標系の座標軸回りの角度成分に換算されていない場合には、この換算を行った上で、式(5)(6)における上述の減算を行う。
【0150】
上式(5)で表されるΔθは、マニピュレータ座標系に対する作業対象部5aの向き(姿勢)を示し、上式(6)で表されるΔθは、マニピュレータ7b(より正確には、作業実行部7c)の向き(姿勢)に対する作業対象部5aの向き(姿勢)を示す。
【0151】
ステップS17において、数値データ生成部25は、ステップS14で求めたセンサ座標系における作業対象部5aの位置と、マニピュレータ7bに固定されたマニピュレータ座標系とセンサ座標系との関係とに基づいて、第1または第2の数値データに含まれる位置数値データを算出する。
【0152】
ステップS17において、第1の数値データに含まれる位置数値データを算出する場合には、数値データ生成部25は、この位置数値データとして、下記の式(7)で表されるΔPを算出する。

ΔP=P1−s−(ΔPm−s+ΔPOFF) ・・・(7)
【0153】
ステップS17において、第2の数値データに含まれる位置数値データを算出する場合には、数値データ生成部25は、この位置数値データとして、下記の式(8)で表されるΔPを算出する。

ΔP=P1−s−(ΔPm−s+ΔPOFF)−P ・・・(8)
【0154】
式(7)と式(8)における各記号について、詳しく説明する。
【0155】
1−sは、センサ座標系の原点に対する作業対象部5aの相対位置を示すベクトルであり、上述の3次元形状計測器により計測される。例えば、センサ座標系が、互いに直交する3つの座標軸を有する場合に、P1−sは、これらの座標軸毎に、この座標軸の座標値を有する。
【0156】
ΔPm−sは、センサ座標系の原点に対する、本体7aに固定された上述のマニピュレータ座標系の原点の位置を示す既知の固定ベクトルであり、予め設定されている。このベクトルの各成分は、固定値である。ΔPm−sは、数値データ生成部25の記憶部に予め記憶されている。
【0157】
は、上述と同様に、マニピュレータ座標系の原点に対するマニピュレータ(すなわち、作業実行部7c)の位置を示すベクトルであり、ステップS15においてマニピュレータ計測装置24により計測される。
ΔPOFFは、上述したΔPOFFと同じである。
【0158】
式(7)(8)において、P1−s,ΔPm−s,の間での記号「−」による減算は、各成分毎に、独立して行われる。なお、好ましくは、P1−s,ΔPm−s,の各成分がマニピュレータ座標系における座標値に換算されていない場合には、この換算を行った上で、式(7)(8)における上述の減算を行う。
【0159】
上式(7)で表されるΔPは、マニピュレータ座標系の原点に対する作業対象部5aの位置を示し、上式(8)で表されるΔPは、マニピュレータ7b(より正確には、作業実行部7c)の位置に対する作業対象部5aの位置を示す。
【0160】
ステップS18において、数値データ伝達部は、上述の処理Aまたは処理Bを行う。ここで、第1の数値データに含まれる姿勢数値データが、上述のΔθからΔθに置き換えられ、第1の数値データに含まれる位置数値データが、ΔPからΔPに置き換えられ、第2の数値データに含まれる姿勢数値データが、ΔθからΔθに置き換えられ、第2の数値データに含まれる位置数値データが、ΔPからΔPに置き換えられる点以外は、ステップS18の内容は、上述のステップS9と同じである。
【0161】
(変更例3)
第1の数値データは、姿勢数値データと位置数値データの一方からなっていてもよく、第2の数値データは、姿勢数値データと位置数値データの一方からなっていてもよい。
【0162】
例えば、図4または図6に示すフローチャートの例では、第1または第2の数値データとして、姿勢数値データと位置数値データとの両方を求めたが、第1または第2の数値データとして、姿勢数値データと位置数値データの一方のみを求めてもよい。この場合、姿勢数値データと位置数値データのうち、この一方に関する上述の内容が、この変更例3で採用される。
【0163】
好ましくは、第1または第2の数値データは、姿勢数値データと位置数値データのうち、姿勢数値データのみからなる。この場合、計測データは、姿勢計測データからなる。
【0164】
(変更例4)
作業装置7の本体7aは、地上を移動する手段を有さず、地上に対し静止していてもよい。図7は、このような作業装置7と、対象装置5を示す。作業装置7の本体7aが、図7のように地上を移動しない場合、本体7aに設けられたマニピュレータ7bの動作と、作業実行部7cの動作(作業)が、操作部11の操作により制御される。この場合、上述のステップS1では、対象装置5が作業装置7の近くまで移動することにより、対象装置5の作業対象部5aが、作業装置7のマニピュレータ7bの動作範囲内に位置するようにする。また、例えば、地上に静止する作業装置7の本体7aの姿勢計測データと位置計測データの取得には、常時、第1計測器23aを配置せず、作業装置7の設置後に、一度、第1計測器23aを作業装置7の本体7aに配置し、本体7aの姿勢計測データと位置計測データを取得し、このデータを固定値として利用し、第1計測器23aを本体7aから外すなどしてもよい。なお、図7において、符号21aと21bは、上述のセンサ21a,21bを示す。
【0165】
(変更例5)
対象装置5は、地上を移動する手段を有さず、地上に対し静止していてもよい。この場合、上述のステップS1では、作業装置7が、対象装置5の近くまで移動することにより、対象装置5の作業対象部5aが、作業装置7のマニピュレータ7bの動作範囲内に位置するようにする。また、例えば、地上に静止する対象装置5の姿勢計測データと位置計測データの取得には、常時、第2計測器23bを配置せず、対象装置5の設置後に、一度、第2計測器23bを対象装置5に配置し、対象装置5の姿勢計測データと位置計測データを取得し、このデータを固定値として利用し、第2計測器23bを対象装置5から外すなどしてもよい。
【0166】
(変更例6)
上述した給油や給電以外の他の作業を行う場合に、上述のように、対象装置5の作業対象部5aに対して作業装置7のマニピュレータ7b(作業実行部7c)の相対姿勢および相対位置を調整してもよい。
【0167】
(変更例7)
Δθは、上述の場合と違って、すべての成分がゼロであってもよい。
【0168】
(変更例8)
数値データ生成部25は、上述した第1の数値データと第2の数値データの両方を生成してもよい。この場合、遠隔操作支援装置10、すなわち、上述の数値データ伝達部
は、数値データ生成部25により生成された第1および第2の数値データの両方を表示部9に対して送信するように構成される。表示部9は、送信されてきた第1および第2の数値データの両方を表示する。
【0169】
ここで、第1の数値データとして、姿勢数値データΔθと位置数値データΔPが、表示部9に送信される場合には、表示部9は、ΔθとΔPの他に、マニピュレータデータ送信部からのマニピュレータデータθ,Pも表示する。
【0170】
したがって、人は、表示部9に表示された第1の数値データΔθ、ΔPとマニピュレータデータθ,P、および、表示部9に表示された第2の数値データΔθとΔPを見て、操作部11を操作できる。または、人は、表示部9に表示された第1の数値データΔθ、ΔPとマニピュレータデータθ,P、もしくは、表示部9に表示された第2の数値データΔθとΔPを見て、操作部11を操作できる。
【符号の説明】
【0171】
3 遠隔操作装置、5 対象装置、5a 作業対象部、5b 制御部、5c 第3通信部、7 作業装置、7a 本体、7b マニピュレータ、7c 作業実行部、9 表示部、10 遠隔操作支援装置、11 操作部、12 第1データ処理部、13 第1通信部、15 第2通信部、16 第2データ処理部、17 マニピュレータ制御部、20 遠隔操作システム、21 観察データ取得センサ、21a センサ、21b センサ、23 相対データ計測装置、23a 第1計測器、23b 第2計測器、24 マニピュレータ計測装置、24a センサ、24b 演算部、25 数値データ生成部、29a 第1のジャイロセンサ、29b 第2のジャイロセンサ、31a 第1のGPS受信機、31b 第2のGPS受信機、32 第1算出部、33a 第3のジャイロセンサ、33b 第4のジャイロセンサ、34 第3データ処理部、35a 第3のGPS受信機、35b 第4のGPS受信機、36 第2算出部、38 マーカ
図1
図2
図3
図4
図5
図6
図7