特開 2024-89236 遠隔作業支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024089236

(43)【公開日】2024-07-03

(54)【発明の名称】遠隔作業支援システム

(51)【国際特許分類】

   B25J 3/00 20060101AFI20240626BHJP

【ＦＩ】

B25J3/00 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022204480

(22)【出願日】2022-12-21

(71)【出願人】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100105887

【弁理士】

【氏名又は名称】来山 幹雄

(72)【発明者】

【氏名】土屋 光樹

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS12

3C707BS12

3C707BS13

3C707BS24

3C707JT05

3C707JU02

3C707KS11

3C707KS21

3C707KS34

3C707KT01

3C707KT06

3C707KT18

3C707KW05

3C707KX06

3C707LS05

3C707MT01

(57)【要約】

【課題】スレーブロボットに保持される第１物体と環境に固定される第２物体との相対位置関係を、より正確に操作者に提示することが可能な遠隔作業支援システムを提供する。
【解決手段】マスターロボットに追従してスレーブロボットが動作する。第１物体を把持したスレーブロボットの可動範囲内に第２物体が配置されている。制御装置が、画像表示デバイスを制御して、第１物体及び第２物体をそれぞれ模した第１モデル画像及び第２モデル画像を、スレーブロボットと第１物体と第２物体との位置関係が、マスターロボットと第１モデル画像と第２モデル画像との位置関係に反映されるように実空間に投影する。マスターロボットを、第１物体が第２物体に近づく方向に操作したとき、制御装置は、第１物体と第２物体との接触を検知した時点で、第１モデル画像が第２モデル画像に接触する状態になるように、投影位置を調整する機能を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

操作者が操作するマスターロボットと、
把持部に第１物体を把持し、前記マスターロボットが操作されると、前記マスターロボットに追従して動作するスレーブロボットと、
前記スレーブロボットの可動範囲内に配置された第２物体と
を有する遠隔作業システムによる作業を支援する遠隔作業支援システムであって、
頭部搭載型の画像表示デバイスと、
前記画像表示デバイスを制御する制御装置と
を備え、
前記制御装置は、前記画像表示デバイスを制御して、前記第１物体及び前記第２物体をそれぞれ模した第１モデル画像及び第２モデル画像を、前記スレーブロボットと前記第１物体と前記第２物体との位置関係が、前記マスターロボットと前記第１モデル画像と前記第２モデル画像との位置関係に反映されるように、実空間に投影し、
前記マスターロボットを、前記第１物体が前記第２物体に近づく方向に操作したとき、
前記制御装置は、前記第１物体と前記第２物体との接触を検知した時点で、前記第１モデル画像が前記第２モデル画像に接触する状態になるように、前記第１モデル画像に対する前記第２モデル画像の位置を調整する機能を有する遠隔作業支援システム。

【請求項2】

前記制御装置は、
前記第１物体と前記第２物体との間の距離を表す距離情報、及び前記第１物体と前記第２物体との間に作用する力に関する作用力情報の少なくとも一方を前記画像表示デバイスに表示させる請求項１に記載の遠隔作業支援システム。

【請求項3】

前記制御装置は、前記第１物体と前記第２物体との接触を検知すると、前記第１物体と前記第２物体とが接触したことを知らせる情報を前記画像表示デバイスに表示する機能と、
操作者の操作に基づいて、前記第１モデル画像に対する前記第２モデル画像の位置を調整する機能と
を有する請求項２に記載の遠隔作業支援システム。

【請求項4】

操作者が操作するマスターロボットと、
把持部に第１物体を把持し、前記マスターロボットが操作されると、前記マスターロボットに追従して動作するスレーブロボットと、
前記スレーブロボットの可動範囲内に配置された第２物体と
を有する遠隔作業システムによる作業を支援する遠隔作業支援システムであって、
頭部搭載型の画像表示デバイスと、
前記画像表示デバイスを制御する制御装置と
を備え、
前記制御装置は、前記画像表示デバイスを制御して、前記スレーブロボットと前記第２物体との位置関係が、前記マスターロボットと第２モデル画像との位置関係に反映されるように、前記第２モデル画像を、実空間に投影し、
前記第１物体と前記第２物体との間の最短距離を表す最短距離情報、及び前記第１物体と前記第２物体との間に作用する力に関する作用力情報の少なくとも一方を前記画像表示デバイスに表示させる遠隔作業支援システム。

【請求項5】

前記マスターロボットの把持部に、前記第１物体を模したダミー物体を把持し、
前記マスターロボットを、前記第１物体が前記第２物体に近づく方向に操作したとき、
前記制御装置は、前記第１物体と前記第２物体との接触を検知すると、前記第１物体と前記第２物体とが接触したことを知らせる情報を前記画像表示デバイスに表示する機能と、
操作者の操作に基づいて、前記ダミー物体に対する前記第２モデル画像の位置を調整する機能と
を有する請求項４に記載の遠隔作業支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔作業支援システムに関する。

【背景技術】

【0002】

操作者がマスターロボットを操作し、遠隔のスレーブロボットをマスターロボットに追従して動作させることにより、遠隔から作業を行うマスタースレーブシステムが公知である。例えば、スレーブロボットにワークを保持させ、環境に固定されたツールにワークを接触させることにより切削、研削、研磨等を行うことができる。操作性を高めるために、作業者が操作を行う実環境に操作対象物の画像イメージ情報を重畳させて、操作者に提示する技術が公知である（特許文献１、２、３等）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表平１０－５０４７６３号公報

【特許文献2】特開２０１７－１０４９４４号公報

【特許文献3】特開２００４－２１３６７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

加工する際に、ワークをツールに近づける操作において、ワークの軌道が加工面の品質に影響するため、ワークとツールとの相対位置関係は、操作者にとって重要な情報になる。なお、スレーブロボットにツールを保持させ、ワークを環境に固定する場合もある。本発明の目的は、スレーブロボットに保持される第１物体と環境に固定される第２物体との相対位置関係を、より正確に操作者に提示することが可能な遠隔作業支援システムを提供することである。

【課題を解決するための手段】

【0005】

本発明の一観点によると、
操作者が操作するマスターロボットと、
把持部に第１物体を把持し、前記マスターロボットが操作されると、前記マスターロボットに追従して動作するスレーブロボットと、
前記スレーブロボットの可動範囲内に配置された第２物体と
を有する遠隔作業システムによる作業を支援する遠隔作業支援システムであって、
頭部搭載型の画像表示デバイスと、
前記画像表示デバイスを制御する制御装置と
を備え、
前記制御装置は、前記画像表示デバイスを制御して、前記第１物体及び前記第２物体をそれぞれ模した第１モデル画像及び第２モデル画像を、前記スレーブロボットと前記第１物体と前記第２物体との位置関係が、前記マスターロボットと前記第１モデル画像と前記第２モデル画像との位置関係に反映されるように、実空間に投影し、
前記マスターロボットを、前記第１物体が前記第２物体に近づく方向に操作したとき、
前記制御装置は、前記第１物体と前記第２物体との接触を検知した時点で、前記第１モデル画像が前記第２モデル画像に接触する状態になるように、前記第１モデル画像に対する前記第２モデル画像の位置を調整する機能を有する遠隔作業支援システムが提供される。

【0006】

本発明の他の観点によると、
操作者が操作するマスターロボットと、
把持部に第１物体を把持し、前記マスターロボットが操作されると、前記マスターロボットに追従して動作するスレーブロボットと、
前記スレーブロボットの可動範囲内に配置された第２物体と
を有する遠隔作業システムによる作業を支援する遠隔作業支援システムであって、
頭部搭載型の画像表示デバイスと、
前記画像表示デバイスを制御する制御装置と
を備え、
前記制御装置は、前記画像表示デバイスを制御して、前記スレーブロボットと前記第２物体との位置関係が、前記マスターロボットと第２モデル画像との位置関係に反映されるように、前記第２モデル画像を、実空間に投影し、
前記第１物体と前記第２物体との間の最短距離を表す最短距離情報、及び前記第１物体と前記第２物体との間に作用する力に関する作用力情報の少なくとも一方を前記画像表示デバイスに表示させる遠隔作業支援システムが提供される。

【発明の効果】

【0007】

第１物体と第２物体との接触を検知した時点で、第１モデル画像が第２モデル画像に接触する状態になるように、第１モデル画像に対する第２モデル画像の位置を調整することにより、第１モデル画像と第２モデル画像とを見ながら操作する操作者は、第１物体と第２物体との位置関係をより正確に把握することができる。

【0008】

また、第１物体と第２物体との間の距離を表す最短距離情報、及び第１物体と第２物体との間に作用する力に関する作用力情報の少なくとも一方を画像表示デバイスに表示させることにより、操作者は、第１物体と第２物体との位置関係をより正確に把握することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、一実施例による遠隔作業支援システムが搭載された遠隔作業システムの概略図である。

【図2】図２Ａは、画像表示デバイスを装着した操作者が見た実空間の景色及び第１モデル画像、第２モデル画像の一例を示す図であり、図２Ｂは、マスターロボットの把持部を含む実空間の景色及び第１モデル画像の一例を示す図である。

【図3】図３Ａは、第１モデル画像及び第２モデル画像の表示位置を微調整する前の実空間の景色、第１モデル画像及び第２モデル画像を示す図であり、図３Ｂは、第１モデル画像及び第２モデル画像の表示位置を微調整した後の実空間の景色、第１モデル画像及び第２モデル画像を示す図である。

【図4】図４は、制御装置が画像表示デバイスに表示した画像及び実空間の景色を示す図である。

【図5】図５は、他の実施例による遠隔作業支援システムの画像表示デバイスを通してみた実空間の景色、及び画像表示デバイスに表示された第１モデル画像、第２モデル画像の一例を示す図である。

【図6】図６は、第１物体が第２物体に接触したときの第１モデル画像、第２モデル画像、最短距離情報、作用力情報、及び実空間の景色を示す図である。

【図7】図７Ａは、さらに他の実施例による遠隔作業支援システムの画像表示デバイスを通して見た実空間の景色を示す図であり、図７Ｂは、画像表示デバイスを通して見た実空間の景色及び第２モデル画像を示す図である。

【図8】図８は、図７Ａ及び図７Ｂに示した実施例による遠隔作業支援システムの操作者が第２モデル画像の位置を微調整するときに、画像表示デバイスを通してみた実空間の景色、及び第２モデル画像を示す図である。

【発明を実施するための形態】

【0010】

図１～図４を参照して、一実施例による遠隔作業支援システムについて説明する。
図１は、本実施例による遠隔作業支援システムが搭載された遠隔作業システムの概略図である。本遠隔作業システムは操作者９０が操作するマスターロボット１０、及びマスターロボット１０に追従して動作することによって切削、研削、研磨等の加工を行うスレーブロボット３０を含む。マスターロボット１０及びスレーブロボット３０として、例えばシリアルリンク型の多軸ロボットが用いられる。なお、マスターロボット１０及びスレーブロボット３０として、直交軸と回転軸とをスタックしたスタック型ロボット、パラレルリンク型ロボット等を用いてもよい。これらのロボットの自由度は、加工内容に応じて選択すればよく、６以下でもよいし、７以上でもよい。

【0011】

マスターロボット１０の複数の関節のそれぞれに、アクチュエータ１２及びマスター位置検出器１３が搭載されている。マスター制御部５１がアクチュエータ１２を制御するとともに、マスター位置検出器１３の位置検出結果を受信する。スレーブロボット３０の複数の関節のそれぞれに、アクチュエータ３２及び位置検出器３３が搭載されている。スレーブ制御部５２がアクチュエータ３２を制御するとともに、位置検出器３３の位置検出結果を受信する。

【0012】

スレーブロボット３０の手先の把持部に第１物体３５が把持されている。スレーブロボット３０の可動範囲内に第２物体４０が配置されている。第２物体４０は、支柱４１によって作業環境に固定されている。例えば、第２物体４０は、切削、研削、研磨等を行うツールであり、第１物体３５はこのツールによって加工されるワークである。なお、スレーブロボット３０の手先にツールを保持し、ワークを作業環境に固定してもよい。

【0013】

マスタースレーブ制御部５０が、マスター制御部５１からマスター位置検出器１３の検出結果を受け取り、スレーブロボット３０をマスターロボット１０に追従して動作させるための指令を、スレーブ制御部５２に送出する。スレーブ制御部５２は、マスタースレーブ制御部５０からの指令に基づいて、アクチュエータ３２を制御する。アクチュエータ３２の制御には、位置検出器３３の検出結果を、マスタースレーブ制御部５０からの指令値に近づけるフィードバック制御が適用される。アクチュエータ３２は、第１物体３５を第２物体４０に押し付ける際に、加工内容に応じて十分な力を発生することができる程度の性能を有する。

【0014】

スレーブロボット３０は、マスターロボット１０の手先の位置及び姿勢に追従することができる手先の位置及び姿勢の自由度を有する。

【0015】

スレーブロボット３０に、反力検出器３１が取り付けられている。反力検出器３１は、第１物体３５が第２物体４０に接触したとき、第２物体４０から受ける反力を検出する。検出結果がマスタースレーブ制御部５０及び制御装置５３に取り込まれる。マスタースレーブ制御部５０は、第１物体３５が第２物体４０から受ける反力と同一の反力を操作者９０が感じるように、マスター制御部５１に指令を送出する。マスター制御部５１は、マスタースレーブ制御部５０からの指令に基づいて、アクチュエータ１２を制御する。これにより、操作者９０は、第１物体３５が第２物体４０から受ける反力とほぼ同一の反力を感じながら、マスターロボット１０を操作することができる。このように、マスターロボット１０及びスレーブロボット３０に対して、バイラテラル制御が行われる。

【0016】

操作者９０は、作業時に頭部搭載型の画像表示デバイス６０を頭に装着する。画像表示デバイス６０として、ＭＲグラスを用いることができる。画像表示デバイス６０は透過型グラスであり、操作者９０がＭＲグラスを通して見る実空間の景色に、モデル画像を重ねて表示する（実空間にモデル画像を投影する）ことができる。図１において、第１物体３５の第１モデル画像６５及び第２物体４０の第２モデル画像６６を破線で示している。

【0017】

画像表示デバイス６０に、加速度センサ、ジャイロセンサ、磁力計、ヘッドトラッキングセンサ等の、操作者９０の頭の動きを検出するセンサが搭載されている。画像表示デバイス６０は、カメラ６１及び入力操作部６２を含む。カメラ６１は、操作者９０が見る実空間の画像データを取得する。画像データは、制御装置５３に取り込まれる。操作者９０が入力操作部６２を操作することにより、画像表示デバイス６０に対して種々の指令を入力する。入力操作部６２として、操作者９０が画像表示デバイス６０を頭部に装着した状態で容易に操作できる形態のもの、例えば押しボタンスイッチ等が用いられる。

【0018】

加工部観察用カメラ８０が、第１物体３５及び第２物体４０を含む加工部を撮影する。作業中の操作者９０が目視できる位置に、外付け表示装置８１が配置されている。加工部観察用カメラ８０で撮影されている動画が、リアルタイムで外付け表示装置８１に表示される。操作者９０は、外付け表示装置８１に映し出されている加工部の動画により、加工面の状態を確認することで、作業状況を把握することができる。

【0019】

制御装置５３は、反力検出器３１の検出結果に基づいて、第１物体３５と第２物体４０とが接触したか否かを判定する。例えば、制御装置５３は、第１物体３５が第２物体４０から受ける反力が判定閾値以上になると、第１物体３５と第２物体４０とが接触したと判定する。

【0020】

次に、図２Ａ及び図２Ｂを参照して、第１モデル画像６５及び第２モデル画像６６を、画像表示デバイス６０を用いて実空間に投影する機能について説明する。

【0021】

図２Ａは、画像表示デバイス６０（図１）を装着した操作者９０（図１）が見た実空間の景色及び第１モデル画像６５、第２モデル画像６６の一例を示す図であり、図２Ｂは、マスターロボット１０の把持部１１を含む実空間の景色及び第１モデル画像６５の一例を示す図である。

【0022】

実空間に、マスターロボット１０及び複数の第２モデル画像用の基準マーカ１６が配置されている。複数の第２モデル画像用の基準マーカ１６は、マスターロボット１０の基準位置に対して既知の位置に配置されている。マスターロボット１０の手先に把持部１１が取り付けられている。把持部１１は、２本の爪を有しており、爪先にそれぞれ第１モデル画像用の基準マーカ１４が標記されている。

【0023】

制御装置５３（図１）は、カメラ６１（図１）で撮影された実空間の画像情報を解析して第２モデル画像用の基準マーカ１６の位置を検出する。第２物体４０の位置はスレーブロボット３０の基準位置に対して固定されているため、第２物体４０を模した第２モデル画像６６の、第２モデル画像用の基準マーカ１６に対する相対位置は予め決まっている。制御装置５３は、第２モデル画像用の基準マーカ１６の位置に対して、予め決められた相対位置に相当する位置に、第２モデル画像６６を投影する。

【0024】

第２モデル画像６６として、実際の第２物体４０の外形を模した画像を採用してもよいし、第２物体４０の外形を数式モデルで近似した単純な幾何学図形を採用してもよいし、三次元モデルで定義される画像を採用してもよい。幾何学図形として、例えば、複数の円筒面の組み合わせを用いてもよい。この場合、円筒面の半径、中心軸の位置及び姿勢、円筒面の高さ、円筒面の高さ方向の位置等により第２モデル画像６６が定義される。

【0025】

操作者９０が頭を動かして、操作者９０が見る実空間の景色が変わると、制御装置５３は、画像表示デバイス６０に搭載された頭の動きを検出するセンサの検出結果に基づいて第２モデル画像６６を投影する位置及び姿勢を更新する。なお、操作者９０の頭の移動に応じて操作者９０の視野内で第２モデル画像用の基準マーカ１６の位置が変化すると、基準マーカ１６の位置の変化に応じて、第２モデル画像６６を投影する位置及び姿勢を更新してもよい。このように、第２モデル画像６６を投影する位置及び姿勢を更新することにより、操作者９０には、第２モデル画像６６が実空間内に固定されているように見える。

【0026】

把持部１１の２本の爪の爪先に、それぞれ第１モデル画像用の基準マーカ１４が設けられている。制御装置５３は、カメラ６１で撮影された実空間の画像情報を解析して第１モデル画像用の基準マーカ１４の位置を検出する。スレーブロボット３０の把持部に把持された第１物体３５（図１）は、把持部に対して予め決められた一定の位置に、一定の姿勢で把持される。このため、第１物体３５を模した第１モデル画像６５の、第１モデル画像用の基準マーカ１４に対する相対位置は予め決まっている。

【0027】

制御装置５３は、第１モデル画像用の基準マーカ１４の位置に対して、予め決められた相対位置に相当する位置に、第１モデル画像６５を投影する。第１モデル画像６５は、三次元モデルで定義される。操作者９０がマスターロボット１０を操作することにより把持部１１が移動するとともにその姿勢が変化すると、制御装置５３は、把持部１１の位置及び姿勢の変化に応じて、第１モデル画像６５を移動させ、その姿勢を変化させる。このため、操作者９０には、第１モデル画像６５が把持部１１に把持されて移動しているように見える。

【0028】

次に、図３Ａ及び図３Ｂを参照して、第１モデル画像６５及び第２モデル画像６６を投影する位置を微調整する機能について説明する。図３Ａは、第１モデル画像６５及び第２モデル画像６６を投影する位置を微調整する前の実空間の景色、第１モデル画像６５及び第２モデル画像６６を示す図であり、図３Ｂは、第１モデル画像６５及び第２モデル画像６６を投影する位置を微調整した後の実空間の景色、第１モデル画像６５及び第２モデル画像６６を示す図である。

【0029】

まず、操作者９０がマスターロボット１０を操作して、第１物体３５（図１）を第２物体４０（図１）に近づける。反力検出器３１（図１）の検出値が判定閾値以上になると、制御装置５３は、第１物体３５が第２物体４０に接触したと判定する。制御装置５３は、第１物体３５が第２物体４０に接触した時点の第１モデル画像６５及び第２モデル画像６６の位置を記憶する。

【0030】

第１物体３５が第２物体４０に接触した時点で、図３Ａに示すように第２モデル画像６６が第１モデル画像６５に接触していない場合、制御装置５３は、第２モデル画像６６が第１モデル画像６５に接触した状態に見えるように、第２モデル画像６６を第１モデル画像６５に近づく方向に移動させる。なお、第１物体３５が第２物体４０に接触した時点で、第２モデル画像６６が第１モデル画像６５内にめり込んでいる場合は、第２モデル画像６６を第１モデル画像６５から遠ざかる方向に移動させる。

【0031】

制御装置５３は、第２モデル画像６６の位置調整後の第２モデル画像６６と第２モデル画像用の基準マーカ１６との相対位置関係を記憶する。この相対位置関係を「微調整後の相対位置関係」という。操作者９０が頭を動かすと、制御装置５３は、画像表示デバイス６０に搭載された頭の位置及び姿勢の変化を検出するセンサの検出結果に基づいて、修正後の相対位置関係が維持されるように、第２モデル画像６６の位置及び姿勢を変化させる。第２モデル画像６６の位置の微調整は、実際の作業を行う前に完了させることが好ましい。

【0032】

次に、図４を参照して、操作者９０が手動で第２モデル画像６６の位置を微調整する機能について説明する。

【0033】

図４は、制御装置５３（図１）が画像表示デバイス６０（図１）によって投影した画像及び実空間の景色を示す図である。制御装置５３は、第１物体３５と第２物体４０との接触を、画像表示デバイス６０に接触通知アイコン７５を表示することにより通知する。さらに、画像表示デバイス６０に、マスターロボット１０の基準座標系であるｘｙｚ直交座標系の各軸、１２個の矢印アイコン７６及びポインタアイコン７７を表示する。例えば、ｘｙ面が水平面に平行であり、第２モデル画像６６が第１モデル画像６５に近づく向きをｘ軸の正の向きとし、鉛直上方をｚ軸の正の向きとする。ｘ軸、ｙ軸、ｚ軸、θ_ｘ軸、θ_ｙ軸、θ_ｚ軸の各軸に対応して矢印アイコン７６が２個ずつ表示されている。各軸の２個の矢印アイコン７６は相互に反対方向を向いており、正の向き及び負の向きに対応する。

【0034】

操作者９０は、入力操作部６２（図１）を操作しながら頭の向きを変化させてポインタアイコン７７を１２個の矢印アイコン７６いずれか１つにポイントし、矢印アイコンを選択すると、制御装置５３は、第２モデル画像６６を、選択された矢印アイコン７６で示される向きに、画面内で移動させる。例えば、ｘ軸に対応する一方の矢印アイコン７６が選択されると、第２モデル画像６６が第１モデル画像６５に近づく向き（ｘ軸の正の向き）に移動し、他方の矢印アイコン７６が選択されると、第２モデル画像６６が第１モデル画像６５から遠ざかる向き（ｘ軸の負の向き）に移動する。例えば、θ_ｘ軸に対応する矢印アイコン７６が選択されると、第２モデル画像６６がｘ軸に平行な軸を回転中心とする回転方向の姿勢が、正の向きまたは負の向き変化する。このように、制御装置５３は、操作者９０の操作に基づいて、第１モデル画像６５に対する第２モデル画像６６の位置及び姿勢を微調整する機能を有する。

【0035】

操作者９０は、第１物体３５が第２物体４０に接触した状態で第２モデル画像６６を移動させ、第１モデル画像６５と第２モデル画像６６との位置関係を適切な状態に設定することができる。

【0036】

次に、本実施例の優れた効果について説明する。
本実施例では、第１物体３５が第２物体４０に接触した状態が、第１モデル画像６５と第２モデル画像６６との位置関係に正確に反映される。このため、第１モデル画像６５及び第２モデル画像６６を見ながらマスターロボット１０を操作する際に、第１物体３５と第２物体４０との距離を把握しやすい。その結果、第１物体３５を第２物体４０に、より適切な力で押し付けることが可能になり、作業品質を高めることができる。

【0037】

また、本実施例では、頭部搭載型の画像表示デバイス６０としてＭＲグラスを用いているため、第１モデル画像６５と第２モデル画像６６との三次元的な位置関係を容易に把握することができる。

【0038】

次に、上記実施例の変形例について説明する。
上記実施例では、第１物体３５が第２物体４０から受ける反力を反力検出器３１で測定するが、他の方法で反力を求めてもよい。例えば、スレーブロボット３０の関節のそれぞれにトルクセンサを搭載し、トルクセンサで取得されたトルクの測定値から、手先の座標系の各軸の成分を求めてもよい。また、各関節軸の反力推定オブザーバの情報から、手先の座標系の各軸の成分を求めてもよい。反力推定オブザーバの構成については、例えば、日本ロボット学会誌１１巻５号「反作用力推定オブザーバに基づいた多自由度ロボットの力センサレスコンプライアンス制御」に説明されている。

【0039】

次に、図５及び図６を参照して他の実施例による遠隔作業支援システムについて説明する。以下、図１～図４を参照して説明した実施例による遠隔作業支援システムと共通の構成については説明を省略する。

【0040】

図５は、本実施例による遠隔作業支援システムの画像表示デバイス６０（図１）を通してみた実空間の景色、及び画像表示デバイス６０によって投影された第１モデル画像６５、第２モデル画像６６の一例を示す図である。

【0041】

水平面内で第２モデル画像６６が第１モデル画像６５に近づく向きをｘ軸の正の向きとし、鉛直上方をｚ軸の正の向きとするｘｙｚ直交座標系を定義する。画像表示デバイス６０によって、実空間に第１モデル画像６５、第２モデル画像６６、及びｘｙｚ直交座標系の各軸が投影されている。さらに、制御装置５３は、第１物体３５と第２物体４０とを結ぶ線分のうち最短距離となる仮想的な線分のモデル画像６７を実空間に投影する。第１物体３５と第２物体４０とを結ぶ線分のうち最短距離となる仮想的な線分は、スレーブロボット３０の手先位置と姿勢から算出することができる。

【0042】

さらに、制御装置５３は、画像表示デバイス６０に、第１物体３５と第２物体４０との間の最短距離を表す最短距離情報７１、及び第１物体３５が第２物体４０から受ける反力を表す作用力情報７２を操作者９０が視認可能な位置に表形式で表示する。図５に示した例では、最短距離が２０ｍｍである。また、第１物体３５が第２物体４０に接触していないため、作用力情報７２は、空欄である。

【0043】

図６は、第１物体３５が第２物体４０に接触したときの第１モデル画像６５、第２モデル画像６６、最短距離情報７１、作用力情報７２、及び実空間の景色を示す図である。第１物体３５が第２物体４０に接触すると、制御装置５３は、最短距離情報７１に、接触したことを示す情報、例えば「接触」という文字列を表示する。

【0044】

さらに、反力検出器３１（図１）で検出された反力の大きさ及び向きを、ｘｙｚ直交座標系の各軸の大きさに変換することにより、反力のｘ成分Ｆｘ、ｙ成分Ｆｙ、ｚ成分Ｆｚを計算する。作用力情報７２として、反力のｘ成分Ｆｘ、ｙ成分Ｆｙ、ｚ成分Ｆｚのそれぞれの大きさを数値で表示するとともに、各成分の大きさに応じた長さを持つ矢印で表示する。

【0045】

次に、本実施例の優れた効果について説明する。
本実施例では、操作者９０が最短距離情報７１を確認することにより、第１物体３５と第２物体４０との距離を容易に把握することができるとともに、容易に両者の接触を確認することができる。また、第１物体３５が第２物体４０から受ける反力の大きさ及び向きを容易に把握することができる。これにより、操作者９０は、第１物体３５と第２物体４０との接触状態（接触位置と両者の間に作用する力）を、より適切な状態に保って作業を行うことが可能になる。

【0046】

次に、図７Ａ～図８を参照して、さらに他の実施例による遠隔作業支援システムについて説明する。以下、図１～図４を参照して説明した実施例による遠隔作業支援システムと共通の構成については説明を省略する。

【0047】

図７Ａは、本実施例による遠隔作業支援システムの画像表示デバイス６０（図１）を通して見た実空間の景色を示す図である。図１～図４を参照して説明した実施例（図２Ａ）では、画像表示デバイス６０（図１）によって、第１物体３５を模した第１モデル画像６５が実空間に投影されるが、本実施例では、マスターロボット１０の把持部１１に、第１物体３５を模したダミー物体１５が実際に把持されている。スレーブロボット３０がマスターロボット１０に追従して動作しているとき、マスターロボット１０の基準座標系におけるダミー物体１５の位置及び姿勢は、スレーブロボット３０の基準座標系における第１物体３５の位置及び姿勢と同一である。

【0048】

図７Ｂは、本実施例による遠隔作業支援システムの画像表示デバイス６０（図１）を通して見た実空間の景色及び第２モデル画像６６を示す図である。本実施例では、把持部１１にダミー物体１５が把持されているため、図２Ａに示した第１モデル画像６５は投影されていない。操作者９０は、実空間のダミー物体１５と画像表示デバイス６０に表示された第２モデル画像６６とから、第１物体３５と第２物体４０との位置関係を把握することができる。

【0049】

図８は、操作者９０が第２モデル画像６６の投影位置を微調整するときに、画像表示デバイス６０を通してみた実空間の景色、及び第２モデル画像６６を示す図である。図４に示した実施例と同様に、画像表示デバイス６０に、接触通知アイコン７５、１２個の矢印アイコン７６、及びポインタアイコン７７が表示されている。操作者９０が入力操作部６２（図１）を操作することにより、第２モデル画像６６とダミー物体１５との位置関係を微調整することができる。

【0050】

図３Ａ及び図３Ｂを参照して説明したように、制御装置５３（図１）が第２モデル画像６６の投影位置を自動で微調整する場合には、制御装置５３は、マスターロボット１０のマスター位置検出器１３から、ダミー物体１５の位置を計算により求める。求められたダミー物体１５の位置に対して、第２モデル画像６６の位置を微調整する。

【0051】

次に、本実施例の優れた効果について説明する。
本実施例においても、図１～図４を参照して説明した実施例と同様に、第２モデル画像６６の投影位置を微調整することができる。このため、ダミー物体１５及び第２モデル画像６６を見ながらマスターロボット１０を操作する際に、第１物体３５と第２物体４０との距離を把握しやすい。その結果、第１物体３５を第２物体４０に、より適切な力で押し付けることが可能になり、作業品質を高めることができる。

【0052】

上述の各実施例は例示であり、異なる実施例で示した構成の部分的な置換または組み合わせが可能であることは言うまでもない。複数の実施例の同様の構成による同様の作用効果については実施例ごとには逐次言及しない。さらに、本発明は上述の実施例に制限されるものではない。例えば、種々の変更、改良、組み合わせ等が可能なことは当業者に自明であろう。

【符号の説明】

【0053】

１０ マスターロボット
１１ 把持部
１２ アクチュエータ
１３ マスター位置検出器
１４ 第１モデル画像用の基準マーカ
１５ 第１物体を模したダミー物体
１６ 第２モデル画像用の基準マーカ
３０ スレーブロボット
３１ 反力検出器
３２ アクチュエータ
３３ スレーブ位置検出器
３５ 第１物体
４０ 第２物体
４１ 支柱
５０ マスタースレーブ制御部
５１ マスター制御部
５２ スレーブ制御部
５３ 制御装置
６０ 頭部搭載型の画像表示デバイス
６１ カメラ
６２ 入力操作部
６５ 第１モデル画像
６６ 第２モデル画像
６７ 最短距離となる直線
７１ 距離情報
７２ 作用力情報
７５ 接触通知アイコン
７６ 矢印アイコン
７７ ポインタアイコン
８０ 加工部観察用カメラ
８１ 外付け表示装置
９０ 操作者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】