特許 6227993 ロボットの遠隔操作システムと方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6227993

(24)【登録日】2017年10月20日

(45)【発行日】2017年11月8日

(54)【発明の名称】ロボットの遠隔操作システムと方法

(51)【国際特許分類】

   B25J 3/00 20060101AFI20171030BHJP

   B25J 19/04 20060101ALI20171030BHJP

【ＦＩ】

   B25J3/00 Z

   B25J19/04

【請求項の数】7

【全頁数】10

(21)【出願番号】特願2013-256979(P2013-256979)

(22)【出願日】2013年12月12日

(65)【公開番号】特開2015-112688(P2015-112688A)

(43)【公開日】2015年6月22日

【審査請求日】2016年9月23日

(73)【特許権者】

【識別番号】000000099

【氏名又は名称】株式会社ＩＨＩ

(73)【特許権者】

【識別番号】500302552

【氏名又は名称】株式会社ＩＨＩエアロスペース

(74)【代理人】

【識別番号】100097515

【弁理士】

【氏名又は名称】堀田 実

(74)【代理人】

【識別番号】100136700

【弁理士】

【氏名又は名称】野村 俊博

(72)【発明者】

【氏名】小椋 優

(72)【発明者】

【氏名】溝内 健太郎

(72)【発明者】

【氏名】坂野 肇

(72)【発明者】

【氏名】曽根原 光治

【審査官】 貞光 大樹

(56)【参考文献】

【文献】 特開平２−１８０５８１（ＪＰ，Ａ）

【文献】 特開平４−２６９１９４（ＪＰ，Ａ）

【文献】 特開２００９−３６５８９（ＪＰ，Ａ）

【文献】 特開平５−２５３８８９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ １／００ − ２１／０２

(57)【特許請求の範囲】

【請求項1】

対象物に対し作業を行うためのツールと、作業中にツール及び対象物を同時に撮影可能なカメラと、前記ツール及びカメラの位置と姿勢を３次元空間内で移動可能なロボットアームと、前記カメラの画像を送信しロボットアームに対する動作指令を受信する作業側無線装置と、を有するロボットと、
前記画像を表示する表示装置と、ロボットアームを操作する操作装置と、前記画像を受信しロボットアームに対する動作指令を送信する操作側無線装置と、を有する遠隔操作装置と、
前記作業中にツール及び対象物と共に前記カメラの視野内に入る位置に固定され、前記対象物に対する前記ツールの位置又は姿勢の変化により画像上の形状が変化するように設定された立体マーカと、を備え、
前記立体マーカは、対象物の設置面から一定の間隔で外周面のまわり又は内周面にリング状に設けられた目視可能な同一の大きさの複数の模様を有する、ことを特徴とするロボットの遠隔操作システム。

【請求項2】

前記立体マーカは、対象物の設置面に固定され、前記設置面に直交する高さ方向に延びる円柱、円形パイプ、矩形柱、又は矩形パイプである、ことを特徴とする請求項１に記載のロボットの遠隔操作システム。

【請求項3】

前記遠隔操作装置は、前記画像から選択した選択画像を記憶する記憶装置を有し、
前記表示装置は、作業中の前記画像に前記選択画像を重畳して表示する、ことを特徴とする請求項１に記載のロボットの遠隔操作システム。

【請求項4】

前記ロボットは、前記ツールから対象物の設置面までの距離を検出する距離センサを有し、
前記表示装置は、作業中の前記画像に検出した前記距離を重畳して表示する、ことを特徴とする請求項１に記載のロボットの遠隔操作システム。

【請求項5】

対象物に対し作業を行うためのツールと、作業中にツール及び対象物を同時に撮影可能なカメラと、前記ツール及びカメラの位置と姿勢を３次元空間内で移動可能なロボットアームと、前記カメラの画像を送信しロボットアームに対する動作指令を受信する作業側無線装置と、を有するロボットと、
前記画像を表示する表示装置と、ロボットアームを操作する操作装置と、前記画像を受信しロボットアームに対する動作指令を送信する操作側無線装置と、を有する遠隔操作装置と、を準備し、
前記作業中にツール及び対象物と共に前記カメラの視野内に入る位置に、前記対象物に対する前記ツールの位置又は姿勢の変化により画像上の形状が変化する立体マーカを固定し、前記立体マーカは、対象物の設置面から一定の間隔で外周面のまわり又は内周面にリング状に設けられた目視可能な同一の大きさの複数の模様を有しており、
前記立体マーカの形状の前記画像上の変化を視認しながら前記遠隔操作装置を操作する、ことを特徴とするロボットの遠隔操作方法。

【請求項6】

記憶装置により、前記画像から選択した選択画像を記憶し、
前記表示装置により、作業中の前記画像に前記選択画像を重畳して表示する、ことを特徴とする請求項５に記載のロボットの遠隔操作方法。

【請求項7】

距離センサにより、前記ツールから対象物の設置面までの距離を検出し、
前記表示装置により、作業中の前記画像に検出した前記距離を重畳して表示する、ことを特徴とする請求項５に記載のロボットの遠隔操作方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットの遠隔操作システムと方法に関する。

【背景技術】

【0002】

遠隔操作システムは、対象物に対し作業を行うためのロボットと遠隔操作装置を備え、ロボットを無線等で遠隔操作するシステムである。
ここで作業とは、例えば、人が近づけない環境（高温環境、低温環境、汚染環境、など）におけるワークの把持、搬送、設置などである。ロボットは、例えばロボットアーム（例えば多関節アーム又はマニピュレータ）を備えた自走式又は固定式の装置である。ロボットは、さらに、遠隔操作装置と通信する通信装置、作業を行うためのツール（例えばハンド）、及び作業状態を監視するためのカメラを有する。遠隔操作装置は、ロボットと通信する通信装置、カメラの画像を表示する表示装置（モニタ）、及び人がロボットアームを操作する操作装置（ジョイスティックなど）を有する。

【0003】

上述した遠隔操作システムは、例えば特許文献１〜３に開示されている。
特許文献１の「ロボットシステム」は、ハンドにカメラを内蔵し、ハンドの回転軸とカメラの軸をずらすことで、ハンドの回転によって、より広範囲な画像を取得するものである。
特許文献２の「レーザセンサ制御装置及びレーザセンサ制御方法」は、ハンドにレーザセンサを付加し、これを用いて３次元画像を取得するものである。
特許文献３の「マニピュレータの制御装置および操作支援装置」は、ロボットを遠隔操作するにあたって、複数台の移動可能なカメラで作業場所を撮影することで、作業効率を向上させるものである。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１‐１０１９１５号公報

【特許文献2】特開２０１１‐６２７８６号公報

【特許文献3】特開平１０‐２４９７８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

図１は上述した従来の遠隔操作システムの模式図である。この例で、ロボット１は、所定位置に固定されたロボットアーム２（この例では多関節アーム）と、ロボットアーム２の先端部に固定されたカメラ３とツール４（この例ではハンド）を有する。人５（オペレータ）は、モニタ６上のカメラ３の画像（モニタ画像）を見ながら操作装置７（ジョイスティックなど）を操作し、ハンド４で対象物８（この例では円筒形のワーク）の把持、搬送、設置などの作業を実行する。

【0006】

かかる遠隔操作システムで、ロボット１を遠隔操作してワーク８をハンド４で把持するために、人５は、ハンド４の位置と姿勢を遠隔操作して、ハンド４をワーク８の位置と姿勢に合わせる必要がある。位置は、ｘ、ｙ、ｚの３自由度、姿勢は、ｘ軸回り、ｙ軸回り、ｚ軸回りの３自由度を有する。
また先にハンド４でワーク８を把持しており、把持したワーク８を作業場所に設置する場合も、人５はワーク８を作業場所の位置と姿勢に合わせる必要がある。

【0007】

しかし、モニタ画像は２次元情報なので、モニタ６の縦横方向への位置のずれは容易に視認できるが、図２に示すように、モニタ６の奥行き方向の位置ずれは視認しづらい。また、ハンド４とワーク８の姿勢のずれも視認しづらい。

【0008】

さらに図３（Ａ）は、ワーク８の設置面に設置マーク９が設けられており、その設置マーク９の位置にワーク８を設置するような場合を示している。この場合、図３（Ｂ）に示すように設置マーク９の設置面に対してハンド４の姿勢が変化しても、モニタ画像上における設置マーク９の見え方にはほとんど差がないので、設置マーク９の設置面に対してハンド４がどの程度傾いているかわからない。特に、地面や床面など、平坦で広い作業場所にハンド４の位置と姿勢を合わせる場合は困難であった。

【0009】

本発明は、上述した問題点を解決するために創案されたものである。すなわち、本発明の目的は、ロボットに固定されたカメラの画像を見ながら、対象物に対してロボットに設けられたツールの位置と姿勢を目視で合わせることができるロボットの遠隔操作システムと方法を提供することにある。

【課題を解決するための手段】

【0010】

本発明によれば、対象物に対し作業を行うためのツールと、作業中にツール及び対象物を同時に撮影可能なカメラと、前記ツール及びカメラの位置と姿勢を３次元空間内で移動可能なロボットアームと、前記カメラの画像を送信しロボットアームに対する動作指令を受信する作業側無線装置と、を有するロボットと、
前記画像を表示する表示装置と、ロボットアームを操作する操作装置と、前記画像を受信しロボットアームに対する動作指令を送信する操作側無線装置と、を有する遠隔操作装置と、
前記作業中にツール及び対象物と共に前記カメラの視野内に入る位置に固定され、前記対象物に対する前記ツールの位置又は姿勢の変化により画像上の形状が変化するように設定された立体マーカと、を備え、
前記立体マーカは、対象物の設置面から一定の間隔で外周面のまわり又は内周面にリング状に設けられた目視可能な同一の大きさの複数の模様を有する、ことを特徴とするロボットの遠隔操作システムが提供される。

【0011】

前記立体マーカは、対象物の設置面に固定され、前記設置面に直交する高さ方向に延びる円柱、円形パイプ、矩形柱、又は矩形パイプである。

【0013】

前記遠隔操作装置は、前記画像から選択した選択画像を記憶する記憶装置を有し、
前記表示装置は、作業中の前記画像に前記選択画像を重畳して表示する。

【0014】

前記ロボットは、前記ツールから対象物の設置面までの距離を検出する距離センサを有し、
前記表示装置は、作業中の前記画像に検出した前記距離を重畳して表示する。

【0015】

また本発明によれば、対象物に対し作業を行うためのツールと、作業中にツール及び対象物を同時に撮影可能なカメラと、前記ツール及びカメラの位置と姿勢を３次元空間内で移動可能なロボットアームと、前記カメラの画像を送信しロボットアームに対する動作指令を受信する作業側無線装置と、を有するロボットと、
前記画像を表示する表示装置と、ロボットアームを操作する操作装置と、前記画像を受信しロボットアームに対する動作指令を送信する操作側無線装置と、を有する遠隔操作装置と、を準備し、
前記作業中にツール及び対象物と共に前記カメラの視野内に入る位置に、前記対象物に対する前記ツールの位置又は姿勢の変化により画像上の形状が変化する立体マーカを固定し、前記立体マーカは、対象物の設置面から一定の間隔で外周面のまわり又は内周面にリング状に設けられた目視可能な同一の大きさの複数の模様を有しており、
前記立体マーカの形状の前記画像上の変化を視認しながら前記遠隔操作装置を操作する、ことを特徴とするロボットの遠隔操作方法が提供される。

【0016】

記憶装置により、前記画像から選択した選択画像を記憶し、
前記表示装置により、作業中の前記画像に前記選択画像を重畳して表示する。

【0017】

距離センサにより、前記ツールから対象物の設置面までの距離を検出し、
前記表示装置により、作業中の前記画像に検出した前記距離を重畳して表示する。

【発明の効果】

【0018】

上記本発明の装置と方法によれば、立体マーカが、作業中にツール及び対象物と共にカメラの視野内に入る位置に固定され、対象物に対するツールの位置又は姿勢の変化によりカメラの画像（モニタ画像）上の形状が変化する。
従って、遠隔操作装置を操作する人（オペレータ）は、立体マーカの形状の画像上の変化を視認しながら遠隔操作装置を操作し、カメラの画像を見ながら、対象物に対してツールの位置と姿勢を目視で合わせることができる。

【図面の簡単な説明】

【0019】

【図1】従来の遠隔操作システムの模式図である。

【図2】従来のモニタ画像の模式図である。

【図3】従来の遠隔操作システムとモニタ画像の別の模式図である。

【図4】本発明による遠隔操作システムの全体構成図である。

【図5】本発明による作業中のモニタ画像の説明図である。

【図6】立体マーカが矩形パイプである場合の説明図である。

【図7】立体マーカが四角錐である場合の説明図である。

【発明を実施するための形態】

【0020】

以下、本発明の好ましい実施形態を添付図面に基づいて詳細に説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

【0021】

図４は、本発明による遠隔操作システムの全体構成図である。
この図において、本発明の遠隔操作システムは、ロボット１０、遠隔操作装置２０、及び立体マーカ３０を備える。

【0022】

ロボット１０は、ツール１２、カメラ１４、ロボットアーム１６、及び作業側無線装置１８を有する。

【0023】

ツール１２は、作業を行うためのハンド又は工具である。ここで作業とは、例えば、人が近づけない環境（高温環境、低温環境、汚染環境、など）におけるワークの把持、搬送、設置や、作業車両に対する給油作業などである。
カメラ１４は、作業中にツール１２及び対象物８（例えばワーク）を同時に撮影可能なデジタル式のスチールカメラ又はビデオカメラである。ツール１２及びカメラ１４は、ロボットアーム１６の先端部に固定されている。
ロボットアーム１６は、ツール１２及びカメラ１４の位置と姿勢を３次元空間内で移動可能な多関節アーム又はマニピュレータである。
作業側無線装置１８は、カメラ１４の画像を送信し、ロボットアーム１６に対する動作指令を受信する送受信装置である。

【0024】

遠隔操作装置２０は、表示装置２２、操作装置２４、及び操作側無線装置２６を有する。

【0025】

表示装置２２は、カメラ１４の画像（モニタ画像）を表示するモニタである。
操作装置２４は、例えばジョイスティックであり、ロボットアーム１６を操作する。
操作側無線装置２６は、カメラ１４の画像を受信し、ロボットアーム１６に対する動作指令を送信する送受信装置である。

【0026】

立体マーカ３０は、作業中にツール１２及び対象物８と共にカメラ１４の視野内に入る位置（例えば対象物８の設置面１１）に固定される。この立体マーカ３０は、対象物８に対するツール１２の位置又は姿勢の変化によりカメラ１４の画像（モニタ画像）上の形状が変化するように設定されている。

【0027】

立体マーカ３０は、この例では、対象物８の設置面１１に固定され、設置面１１に直交する高さ方向に延びる円柱である。しかし本発明は円柱に限定されず、円形パイプ、矩形柱、矩形パイプ、四角錐、三角錐、等であってもよい。

【0028】

また立体マーカ３０は、対象物８の設置面１１から一定の間隔で設けられた目視可能な模様３２を有する。模様３２は、この例では、円柱のまわりに描かれたリングである。
模様３２は、単なる着色でも、立体的な形状であってもよい。
立体マーカ３０が筒状（例えば、円形パイプや矩形パイプ）の場合、模様３２（例えばリング）は、外周面だけでなく内周面にも描くのがよい。これにより、立体マーカ３０の外周面が見えず内周面のみが遠近法によりすり鉢状に見える場合でも、立体マーカ３０の姿勢を視認することができる。

【0029】

図４において、ロボット１０は、さらに、ツール１２から対象物８の設置面１１までの距離を検出する距離センサ１９を有する。表示装置２２は、作業中の画像（モニタ画像）に検出した距離を重畳して表示する。
またこの例において、遠隔操作装置２０は、さらに、カメラ１４の画像（モニタ画像）から選択した選択画像２７（図５参照）を記憶する記憶装置２８を有する。表示装置２２は、作業中のカメラ１４の画像に記憶した選択画像２７を重畳して表示する。
選択画像２７は、事前に実施した作業中の画像（モニタ画像）から任意に選択した１又は複数の画像である。例えば作業中において特に位置合わせが必要なとき（組立の中間、完了時、など）のモニタ画像を選択画像２７として記憶するのがよい。
また選択画像２７は、例えばモニタ画像の一部（例えばツール１２）のみでもよい。また、選択画像２７は、作業中の画像と異なる色（例えば白色）又は半透明の画像として表示するのがよい。

【0030】

本発明の遠隔操作方法は、上述したロボット１０と遠隔操作装置２０を準備する。本発明の遠隔操作方法は、さらに、上述した立体マーカ３０を準備し、作業中にツール１２及び対象物８と共にカメラ１４の視野内に入る位置に立体マーカ３０を固定し、立体マーカ３０の形状の画像上の変化を視認しながら遠隔操作装置２０を操作する。

【0031】

また、本発明の遠隔操作方法では、記憶装置２８により画像から選択した選択画像２７を記憶し、表示装置２２により、作業中の画像に選択画像２７を重畳して表示する。
さらに、距離センサ１９によりツール１２から対象物８の設置面１１までの距離を検出し、表示装置２２により作業中の画像に検出した距離を重畳して表示する

【0032】

図５は、本発明による作業中のモニタ画像（カメラ１４の画像）の説明図である。この図において、（Ａ）は作業中のモニタ画像、（Ｂ）は立体マーカ３０の見え方を示している。
図５（Ａ）に示すように、モニタ画像上の設置マーク９は、ツール１２（この例ではハンド１２）を傾けても見え方にほとんど差がない。
これに対して、立体マーカ３０（この例では円柱）及び円柱のまわりに描かれた模様３２（この例ではリング）は、図５（Ｂ）に示すように、ハンド１２の傾きによって大きく変わるので、作業場所に対してハンド１２がどのような姿勢なのかが視認しやすい。
立体マーカ３０が円形パイプの場合、模様３２（例えばリング）は、外周面だけでなく内周面にも描くのがよい。これにより、円形パイプの外周面が見えず内周面のみが遠近法によりすり鉢状に見える場合でも、円形パイプ（すなわちハンド１２）の姿勢を視認することができる。
また、作業中の画像（モニタ画像）に距離センサ１９で検出した距離を重畳して表示することで、設置面１１までの距離を容易に把握できる。
さらに、作業中のモニタ画像に記憶した選択画像２７を重畳して表示することにより、ツール１２を選択画像２７に重ねることで、ツール１２を例えば組立完了時のツール１２の位置に容易に移動することができる。

【0033】

図６は、立体マーカ３０が矩形パイプである場合の説明図である。

【0034】

図６（Ａ）に示すように、この例では、立体マーカ３０は断面が正方形の矩形パイプであり、正方形の一辺に相当する間隔で矩形リングの模様３２が矩形パイプのまわりに描かれている。
立体マーカ３０の高さは、この例では正方形の一辺の長さの３倍であるが、本発明はこれに限定されず、短くても長くてもよい。矩形リングの模様３２は、この例では、高さ方向の中間に２本設けているが、上端及び下端にも設けてもよい。
立体マーカ３０が矩形パイプの場合、模様３２（例えばリング）は、外周面だけでなく内周面にも描くのがよい。これにより、矩形パイプの外周面が見えず内周面のみが遠近法によりすり鉢状に見える場合でも、矩形パイプ（すなわちハンド１２）の姿勢を視認することができる。

【0035】

図６（Ｂ）は、立体マーカ３０とハンド１２が正対している場合のモニタ画像上の立体マーカ３０を示している。このモニタ画像から立体マーカ３０がハンド１２にほぼ正対していることがわかる。

【0036】

図６（Ｃ）は、（Ｂ）からｙ軸（図４参照）まわりにハンド１２の姿勢がずれている場合のモニタ画像上の立体マーカ３０を示している。このモニタ画像から、左右の側面ｂと、縁ａの位置から、（Ｂ）とのずれがわかる。また、ｃ部とｄ部の比率からも、（Ｂ）とのずれがわかる。

【0037】

図６（Ｄ）は、（Ｂ）からｘ軸（図４参照）まわりにハンド１２の姿勢がずれている場合のモニタ画像上の立体マーカ３０を示している。このモニタ画像から、幅ｅと幅ｆの差で（Ｂ）とのずれがわかる。図６（Ｅ）も同様である。

【0038】

図６（Ｆ）は、（Ｂ）からｚ軸（図４参照）まわりにハンド１２の姿勢がずれている場合のモニタ画像上の立体マーカ３０を示している。このモニタ画像から、モニタの縁との傾きから（Ｂ）とのずれがわかる。

【0039】

図７は、立体マーカ３０が四角錐である場合の説明図である。

【0040】

図７（Ａ）に示すように、この例では、立体マーカ３０は底面が正方形の四角錐（ピラミッド形状）であり、底面に近い正方形の各辺に、円形の模様３２が複数（この例で５つずつ）に描かれている。また、四角錐の頂点に球体３３が固定されている。
立体マーカ３０の高さは、この例では正方形の一辺の長さの約２倍であるが、本発明はこれに限定されず、短くても長くてもよい。

【0041】

図７（Ｂ）は、立体マーカ３０とハンド１２が正対している場合のモニタ画像上の立体マーカ３０を示している。このモニタ画像から頂点の球体３３の位置から立体マーカ３０がハンド１２にほぼ正対していることがわかる。

【0042】

図７（Ｃ）（Ｄ）は、（Ｂ）からｙ軸（図４参照）まわりにハンド１２の姿勢がずれている場合のモニタ画像上の立体マーカ３０を示している。このモニタ画像の球体３３の位置からｙ軸まわりのハンド１２のずれがわかる。

【0043】

図７（Ｅ）は、（Ｂ）からｘ軸（図４参照）まわりにハンド１２の姿勢がずれている場合のモニタ画像上の立体マーカ３０を示している。このモニタ画像の球体３３の位置からｘ軸まわりのハンド１２のずれがわかる。

【0044】

図７（Ｆ）は、（Ｂ）からｚ軸（図４参照）まわりにハンド１２の姿勢がずれている場合のモニタ画像上の立体マーカ３０を示している。このモニタ画像から、モニタの縁との傾きから（Ｂ）とのずれがわかる。

【0045】

上述した本発明の装置と方法によれば、立体マーカ３０が、作業中にツール１２及び対象物８と共にカメラ１４の視野内に入る位置に固定され、対象物８に対するツール１２の位置又は姿勢の変化によりカメラ１４の画像（モニタ画像）上の形状が変化する。
従って、遠隔操作装置２０を操作する人５（オペレータ）は、立体マーカ３０の形状の画像上の変化を視認しながら遠隔操作装置２０を操作し、カメラ１４の画像（モニタ画像）を見ながら、対象物８に対してツール１２の位置と姿勢を目視で合わせることができる。

【0046】

なお、本発明は上述した実施形態に限定されず、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味および範囲内でのすべての変更を含むものである。

【符号の説明】

【0047】

１ ロボット、２ ロボットアーム（多関節アーム）、３ カメラ、
４ ツール（ハンド）、５ 人、６ モニタ、
７ 操作装置（ジョイスティック）、８ 対象物（ワーク）、
９ 設置マーク、１０ ロボット、１１ 設置面、
１２ ツール（ハンド又は工具）、１４ カメラ、
１６ ロボットアーム、１８ 作業側無線装置、１９ 距離センサ、
２０ 遠隔操作装置、２２ 表示装置（モニタ）、
２４ 操作装置（ジョイスティック）、２６ 操作側無線装置、
２７ 選択画像、２８ 記憶装置、３０ 立体マーカ、
３２ 模様、３３ 球体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】