(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024070336
(43)【公開日】2024-05-23
(54)【発明の名称】ロボット操作システムの動作方法
(51)【国際特許分類】
B25J 9/22 20060101AFI20240516BHJP
【FI】
B25J9/22 A
【審査請求】有
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2022180752
(22)【出願日】2022-11-11
(11)【特許番号】
(45)【特許公報発行日】2023-10-18
(71)【出願人】
【識別番号】595048337
【氏名又は名称】高丸工業株式会社
(74)【代理人】
【識別番号】100154014
【弁理士】
【氏名又は名称】正木 裕士
(74)【代理人】
【識別番号】100154520
【弁理士】
【氏名又は名称】三上 祐子
(72)【発明者】
【氏名】▲高▼丸 正
(72)【発明者】
【氏名】▲高▼丸 泰幸
【テーマコード(参考)】
3C707
【Fターム(参考)】
3C707BS10
3C707JS01
3C707JU02
3C707JU03
3C707KT03
3C707KT17
3C707KT18
3C707LS04
3C707LS05
3C707LS09
3C707LS20
(57)【要約】
【課題】ロボット操作に発生する手間や工数を低減させることができるロボット操作システムの動作方法を提供することを目的としている。
【解決手段】表示部(8)に表示された3次元モデル(9)を、操作手段(61)を用いて所定位置に移動させると、それに応じて該3次元モデル(9)が所定位置に移動するステップと、
3次元モデル(9)が所定位置に移動したとしても、操作手段(61)を用いて、許可動作を行わない限り、制御手段(60)にてロボット(2)を所定位置に移動させず、操作手段(61)を用いて、許可動作が行われると、制御手段(60)にてロボット(2)を所定位置に移動させるステップと、を含んでなることを特徴とする。
【選択図】
図2
【特許請求の範囲】
【請求項1】
ワークに対して所定の加工作業を行うロボットと、
前記ロボットおよび前記ワークを撮像可能な第1カメラと、
前記ロボットの3次元モデルを格納する3次元モデル格納部と、
前記第1カメラが撮像する前記ロボットの画像と3次元モデルとを重ね合わせて表示させる表示部と、
前記3次元モデルを操作する操作手段と、
前記ロボットを制御する制御手段と、
を備えたロボット操作システムの動作方法であって、
前記表示部に表示された前記3次元モデルを、前記操作手段を用いて所定位置に移動させると、それに応じて該3次元モデルが所定位置に移動するステップと、
前記3次元モデルが所定位置に移動したとしても、前記操作手段を用いて、許可動作を行わない限り、前記制御手段にて前記ロボットを前記所定位置に移動させず、前記操作手段を用いて、前記許可動作が行われると、前記制御手段にて前記ロボットを前記所定位置に移動させるステップと、を含んでなるロボット操作システムの動作方法。
【請求項2】
前記ロボットのアームに設けられた作業ツールの先端部を撮像可能な第2カメラと、
前記ロボットが前記ワークに対して前記所定の加工作業を行っている際、前記第2カメラを保護する保護部材と、をさらに備えてなる、請求項1に記載のロボット操作システムの動作方法。
【請求項3】
前記表示部に表示させる画像を制御する表示制御手段をさらに備え、
前記第1カメラは複数の第1カメラであって、
前記表示部に表示される前記3次元モデルの位置情報に基づき、前記表示制御手段にて、前記複数の第1カメラから1つを選択するステップと、
前記選択された第1カメラによって撮像された画像を、前記表示制御手段にて、前記表示部に表示させるステップと、をさらに備えてなる、請求項1に記載のロボット操作システムの動作方法。
【請求項4】
前記3次元モデルは、前記ロボットのアームに対応する部分を透過させて、前記表示部に表示されてなる、請求項1に記載のロボット操作システムの動作方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボット操作システムの動作方法に関する。
【背景技術】
【0002】
従来から、ワークに対して溶接等の作業を行う産業用ロボットを使用するにあたっては、前準備として、目的地へ移動するための動作をロボットに予め記憶させるティーチングが行われる。
【0003】
ティーチング方法は、一般に、ティーチペンダント(特許文献1の
図1参照)を用いたオンラインティーチング方法と、オフラインティーチング方法(特許文献2)という2つの方法が知られている。
【0004】
オンラインティーチング方法とは、作業現場でワークを直接見ながら、ティーチペンダントを用いてロボットに動作を教示する方法である。
【0005】
一方、オフラインティーチング方法とは、コンピュータにインストールされているオフラインティーチングソフトを使用して、ワーク、ロボット、周辺の設備のCAD(computer-aided design)データを作成し、画面上に疑似的なワーク、ロボット、周辺の設備の画像を描画した上で、キーボードやマウス等によって作業者に座標位置等のデータを入力させることで、上記ロボットに動作を教示する方法である。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2013-132728号公報
【特許文献2】特開平9-179624号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、前準備としてのティーチングを行うことなく、直接ロボットを動作させたい要請がある(例えば、形状の異なる製品を少数ずつ製造する場合)。しかし、ロボットを直接動作させるにあたり、オンラインティーチング方法のように作業現場でワークを直接見ながら、ティーチペンダントを用いてロボットを動作させることにも、オフラインティーチング方法のようにオフラインティーチングソフトを使用することにも、各々に欠点がある。
【0008】
まず、オンラインティーチング方法は、難易度の高い作業をおこないつつ、同時に、安全性に配慮する必要があるという欠点がある。
【0009】
すなわち、まず、ティーチペンダントには、非常に多くのボタンが設けられており、ロボットを移動させたい方向が、所定の3次元座標上のどの方向であるか、また、ロボットをどの速さで移動させるか、等に注意しながら、この複数のボタンを使い分ける必要がある。そのため、ティーチペンダントの操作は、熟練の技術を要する難易度の高い作業である。しかも、このようなティーチペンダントの操作と同時に、ロボットが周辺の設備と干渉しないかについても注意する必要がある。このように、ティーチペンダントを用いたオンラインティーチングは、難易度が高いティーチペンダントの操作と、安全にロボットを移動させるための干渉の有無の確認、という作業を同時にこなす必要がある、という欠点がある。
【0010】
一方、オフラインティーチング方法は、ティーチペンダントは使用しないものの、コンピュータ上のロボットのCADデータを動かすだけであるから、ロボットを動作させるためのプログラムを生成することはできるが、直接にロボットを動作させることができない。また、当該方法は、ワークや設備のレイアウトに変更があった場合、その変更をオフラインティーチングソフトのCADデータに反映する必要がある、という欠点がある。
【0011】
そこで、本発明は、上記の問題に鑑み、容易な操作により、ロボットを動作させることができるロボット操作システムの動作方法を提供することを目的としている。
【課題を解決するための手段】
【0012】
上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。
【0013】
請求項1に記載のロボット操作システムの動作方法は、
ワーク(例えば
図2に示すワークW)に対して所定の加工作業を行うロボット(例えば
図2に示すロボット2)と、
前記ロボット(例えば
図2に示すロボット2)および前記ワーク(例えば
図2に示すワークW)を撮像可能な第1カメラ(例えば
図2に示す第1カメラ31~39)と、
前記ロボット(例えば
図2に示すロボット2)の3次元モデル(例えば
図4に示す3次元モデル9、
図5~6に示す移動後の3次元モデル9A)を格納する3次元モデル格納部(例えば
図2に示すROM62)と、
前記第1カメラ(例えば
図2に示す第1カメラ31~39)が撮像する前記ロボット(例えば
図2に示すロボット2)の画像(例えば
図4~6に示す作業現場の画像P1~P3)と3次元モデル(例えば
図4に示す3次元モデル9、
図5~6に示す移動後の3次元モデル9A)とを重ね合わせて表示させる表示部(例えば
図2に示す表示部8)と、
前記3次元モデル(例えば
図4に示す3次元モデル9、
図5~6に示す移動後の3次元モデル9A)を操作する操作手段(例えば
図2に示す操作端末6の入力部61)と、
前記ロボット(例えば
図2に示すロボット2)を制御する制御手段(例えば
図2に示すCPU60)と、
を備えたロボット操作システムの動作方法であって、
前記表示部(例えば
図2に示す表示部8)に表示された前記3次元モデル(例えば
図4に示す3次元モデル9、
図5~6に示す移動後の3次元モデル9A)を、前記操作手段(例えば
図2に示す操作端末6の入力部61)を用いて所定位置に移動させると、それに応じて該3次元モデル(例えば
図4に示す3次元モデル9、
図5~6に示す移動後の3次元モデル9A)が所定位置に移動するステップ(例えば
図3に示すステップS4)と、
前記3次元モデル(例えば
図4に示す3次元モデル9、
図5~6に示す移動後の3次元モデル9A)が所定位置に移動したとしても、前記操作手段(例えば
図2に示す操作端末6の入力部61)を用いて、許可動作(例えば
図3に示すステップS6:Y)を行わない限り、前記制御手段(例えば
図2に示すCPU60)にて前記ロボット(例えば
図2に示すロボット2)を前記所定位置に移動させず、前記操作手段(例えば
図2に示す操作端末6の入力部61)を用いて、前記許可動作(例えば
図3に示すステップS6:Y)が行われると、前記制御手段(例えば
図2に示すCPU60)にて前記ロボット(例えば
図2に示すロボット2)を前記所定位置に移動させるステップ(例えば
図3に示すステップS7)と、を含んでなることを特徴とする。
【0014】
請求項2に記載のロボット操作システムの動作方法は、
前記ロボット(例えば
図2に示すロボット2)のアーム(例えば
図2に示すアーム22)に設けられた作業ツール(例えば
図7に示す作業ツール24)の先端部を撮像可能な第2カメラ(例えば
図8に示す第2カメラ28)と、
前記ロボット(例えば
図2に示すロボット2)が前記ワーク(例えば
図2に示すワークW)に対して前記所定の加工作業を行っている際、前記第2カメラ(例えば
図8に示す第2カメラ28)を保護する保護部材(例えば
図8に示すカメラ筐体28a、遮蔽板28d)と、をさらに備えてなることを特徴とする。
【0015】
請求項3に記載のロボット操作システムの動作方法は、
前記表示部(例えば
図2に示す表示部8)に表示させる画像(例えば
図4~6に示す作業現場の画像P1~P3)を制御する表示制御手段(例えば
図2に示す撮像処理端末5のCPU50)をさらに備え、
前記第1カメラ(例えば
図2に示す第1カメラ31~39)は複数の第1カメラ(例えば
図2に示す第1カメラ31~39)であって、
前記表示部(例えば
図2に示す表示部8)に表示される前記3次元モデル(例えば
図5に示す移動後の3次元モデル9A)の位置情報に基づき、前記表示制御手段(例えば
図2に示す撮像処理端末5のCPU50)にて、前記複数の第1カメラ(例えば
図2に示す第1カメラ31~39)から1つを選択するステップ(例えば
図3に示すステップS103)と、
前記選択された第1カメラ(例えば
図2に示す第1カメラ31)によって撮像された画像(例えば
図5に示す作業現場の画像P2)を、前記表示制御手段(例えば
図2に示す撮像処理端末5のCPU50)にて、前記表示部(例えば
図2に示す表示部8)に表示させるステップ(例えば
図3に示すステップS104)と、をさらに備えてなることを特徴とする。
【0016】
請求項4に記載のロボット操作システムの動作方法は、
前記3次元モデル(例えば
図4に示す3次元モデル9、
図5~6に示す移動後の3次元モデル9A)は、前記ロボットのアームに対応する部分(例えば
図6に示すロボット2のアーム22に相当する部分の3次元モデル9b)を透過させて、前記表示部(例えば
図2に示す表示部8)に表示されてなることを特徴とする。
【発明の効果】
【0017】
次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。
【0018】
請求項1に係る発明によれば、作業者は、ロボット(例えば
図2に示すロボット2)を所定位置に移動させるに先立ち、表示部(例えば
図2に示す表示部8)に表示される3次元モデル(例えば
図4に示す3次元モデル9)を所定位置に移動させる。これにより、作業者は、ロボット(例えば
図2に示すロボット2)を所定位置に移動させるには3次元モデル(例えば
図4に示す3次元モデル9)を所定位置に移動させればよく、難易度が高いティーチペンダントを使用することなく、ロボットを動作することができる。
【0019】
また、請求項1に係る発明によれば、上記のように移動された、移動後の3次元モデル(例えば
図5に示す移動後の3次元モデル9A)は、第1カメラ(例えば
図2に示す第1カメラ31~39)が撮像するロボット(例えば
図2に示すロボット2)やワーク(例えば
図2に示すワークW)、およびその周辺の設備の画像(例えば
図5に示す作業現場の画像P2)と重ね合わせて表示される。よって、作業者は、上記のように、3次元モデル(例えば
図4に示す3次元モデル9)を所定位置に移動させる操作を完了させてから、移動後の3次元モデル(例えば
図5に示す移動後の3次元モデル9A)と重ね合わせで表示される実際のワーク(例えば
図2に示すワークW)や周辺の設備を目視確認しながら、周辺の設備と干渉を生じさせないか等を確認することができる。すなわち、移動の操作と確認作業を同時に行う必要がなく、これら作業を分けて行うことができるから、操作の難易度を下げつつ、安全性を強化することができる。
【0020】
また、重ね合わせで表示されるのは第1カメラ(例えば
図2に示す第1カメラ31~39)が撮像する実際のワーク(例えば
図2に示すワークW)や周辺の設備であるから、ワークや周辺の設備のレイアウトに変更があった場合も、従来のオフラインティーチングソフトでは必要であったCADデータの修正等の特別な対応が不要である。
【0021】
さらに、請求項1に係る発明によれば、作業者が所定位置への移動に問題がないと判断し許可動作(例えば
図3に示すステップS6:Y)を行わない限り、制御手段(例えば
図2に示すCPU60)は、ロボット(例えば
図5に示すロボット2)を移動させない。このため、作業者は、ロボット(例えば
図5に示すロボット2)は移動させないまま、3次元モデル(例えば
図5に示す移動後の3次元モデル9A)だけを移動する操作をやり直しながら、最適な移動方法を見つけることができる。このとき、ロボット(例えば
図5に示すロボット2)は移動させていないから、ロボット(例えば
図5に示すロボット2)を一旦元の位置に戻し、移動をやり直す、という手間や工数が発生しない。
【0022】
もって、請求項1に係る発明によれば、容易な操作により、ロボットを動作させることができるロボット操作システムの動作方法を提供することができる。
【0023】
請求項2にかかる発明によれば、作業者は、作業ツールの先端部(例えば
図7に示す先端部24a)および先端部付近の画像を確認しながら、作業ツールの先端部(例えば
図7に示す先端部24a)が、ワーク(例えば
図2に示すワークW)を加工作業するのに最適な位置にくるように、アーム(例えば
図2に示すアーム22)を移動させることができる。さらに、保護部材(例えば
図8に示すカメラ筐体28a、遮蔽板28d)により、溶接のスパッタやアーク光、ドリルの切粉、その他の加工作業の飛散物等から第2カメラ(例えば
図8に示す第2カメラ28)を保護することができる。
【0024】
請求項3にかかる発明によれば、3次元モデル(例えば
図5に示す移動後の3次元モデル9A)の位置情報に基づき、第1カメラ(例えば
図2に示す第1カメラ31)が選択され、画像(例えば
図5に示す作業現場の画像P2)が表示部(例えば
図2に示す表示部8)に表示されるから、3次元モデル(例えば
図5に示す移動後の3次元モデル9A)の位置情報に対応した作業現場の画像(例えば
図5に示す作業現場の画像P2)が表示される。
【0025】
請求項4にかかる発明によれば、表示部(例えば
図2に示す表示部8)に表示される3次元モデル(例えば
図4に示す3次元モデル9、
図5~6に示す移動後の3次元モデル9A)を所定位置に移動させるにあたり、作業ツールの先端部に相当する部分の3次元モデル(例えば
図6に示す先端部24aに相当する部分の3次元モデル9a)が、ロボットのアームに対応する部分の3次元モデル(例えば
図6に示すアーム22に相当する部分の3次元モデル9b)に隠れてしまい、表示部(例えば
図2に示す表示部8)で確認できない、ということが起きない。
【図面の簡単な説明】
【0026】
【
図1】本発明の一実施形態に係るロボット操作システムの全体図である。
【
図2】同実施形態に係るロボット操作システムの全体概略図である。
【
図3】同実施形態に係るロボット操作システムの動作内容を示すフローチャート図である。
【
図4】3次元モデルとロボットとが重ね合わさった状態を表示する表示部を示す図である。
【
図5】3次元モデルを所定位置に移動した状態を表示する表示部を示す図である。
【
図6】3次元モデルを所定位置に移動した後、作業者が許可動作を行ったことに伴い、ロボットが所定位置に移動した状態を表示する表示部を示す図である。
【
図7】ロボットアームの先端部にカメラ筐体が取り付けられた状態を示す斜視図である。
【
図8】(a)はカメラ筐体の縦断面図、(b)はカメラ筐体の遮蔽板が上方に回動した状態を示す縦断面図である。
【発明を実施するための形態】
【0027】
以下、本発明に係るロボット操作システムの動作方法によるロボット操作システムの一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。
【0028】
<ロボット操作システムの概要説明>
まず、本実施形態におけるロボット操作システム1の概要を説明する。本実施形態におけるロボット操作システム1は、
図1に示すように、ワークW(
図2参照)が載置されるターンテーブルTと、溶接や研磨等の所定の加工作業をワークWに行うロボット2が、複数の第1カメラ31~39により撮像される。そして、作業者が、操作端末6(
図2参照)を用いて、第1カメラ31~39により撮像されるロボット2やワークW及び周囲の状況を見ながら、ロボット2を操作するものである。
【0029】
図2を用いて、より具体的に、本実施形態におけるロボット操作システム1の構成について説明する。まず、
図2に示すように、ロボット2は、ネットワークNにより、プログラマブルロジックコントローラ(以下、PLC29と呼ぶ)を介して操作端末6と接続されている。一方、第1カメラ31~39は、ネットワークNにより、撮像処理端末5と接続されている。さらに、撮像処理端末5と操作端末6も、ネットワークNにより接続されている。
【0030】
さらに、撮像処理端末5は投影装置70と、操作端末6は投影装置71と、各々ネットワークNにより接続されている。また、投影装置70からの画像(第1カメラ31~39の撮像画像)と、投影装置71からの画像(操作端末6の表示部64の表示)とが、重ね合わせて表示される表示部8を備える。
【0031】
ここで、上記のような構成のロボット操作システム1によりロボット2を移動する方法を簡単に説明する。作業者は、まず操作端末6を用いて、操作端末6の表示部64に表示されるロボット2の3次元モデル9(
図4参照)を、ドラッグ等の操作により移動させる。これにより、ロボット2やワークW及び周囲の状況と移動後の3次元モデル9Aが表示部8に重ね合わせて表示される(
図5参照)。作業者は、表示部8の表示を確認し、ロボット2を移動後の3次元モデル9Aの位置姿勢に移動すると干渉等の問題が生じると判断したら、図示しないキャンセルボタンを押下する。そうすると、ロボット2を移動させないまま、作業者は3次元モデル9の移動をやり直すことができる。一方、ロボット2を移動後の3次元モデル9Aの位置姿勢に移動して問題ないと判断したら、作業者は図示しないOKボタンを押下する。これにより、ロボット2が移動後の3次元モデル9Aの位置まで移動する(
図6参照)。
【0032】
本実施形態におけるロボット操作システムの概要は以上のとおりである。次に、
図2の各部について詳細に説明する。
【0033】
<ロボットの説明>
ロボット2は、6自由度の多関節汎用ロボットである。より詳しく説明すると、このロボット2は、作業場の床等に固定される基台20と、基台20に対して基端が回転可能に連結されているアーム22と、アーム22の先端部22aに取り付けられ、ターンテーブルT上に載置されたワークWに対し、溶接やシーリング、あるいは塗装、切断、研磨、ハンドリング等の作業を行う作業ツール24を備える。なお、本実施形態において、ロボット1は、6軸の多関節汎用ロボットを例示したが、これに限らずどのようなロボットを用いてもよい。
【0034】
<第1カメラの説明>
第1カメラ31~39は、色彩画像とともに視差画像を撮ることのできるデジタルカメラである。第1カメラ31~39を作業現場に設置するにあたって、本実施形態では、
図1に示すように、ロボット2やターンテーブルTが設置される安全柵D内に、カメラ設置枠30を設置している。カメラ設置枠30は、図示右側から第1枠30b、第2枠30c、第3枠30dと、第1枠30b、第2枠30c、第3枠30dを連結する共通横材30aとからなる。第1枠30b、第2枠30c、第3枠30dは、各々、左右1対の縦材と、両縦材の上端間を連結する横材とからなる。共通横材30aは、第1枠30b、第2枠30c、第3枠30dの各横材の中央を連結するように設けられている。
【0035】
そして、第1枠30bの図示左側の縦材に、第1カメラ31、32が上下に間隔を隔てて設置され、図示右側の縦材に、第1カメラ33、34が上下に間隔を隔てて設置されている。また、第2枠30cの図示左側の縦材に、第1カメラ36が設置され、図示右側の縦材に、第1カメラ37が設置されている。さらに、第2枠30cの左右1対の縦材には、図示左側に向かって延びる部材30c1、30c2が設けられており、その先端部分に第1カメラ38、39が設置されている。
【0036】
<第2カメラの説明>
アーム22の先端部22aには、
図2には表れていないが、
図8に示す第2カメラ28が設けられる。より詳しくは、
図7に示すように、アーム22の先端部22aに、作業ツール24を取り付けるための取付ブラケット26が設けられる。この取付ブラケット26を横方向に延長させた部分に、カメラ筐体28aがビスなどで取り付け固定されている。このカメラ筐体28aは、
図8(a)に示すように、中空状に形成されると共に、断面視弾頭状に形成されている。そして、このようなカメラ筐体28aの前部(図示左部)には、
図8(b)に示すように、開口部28bが形成されている。この開口部28bは、
図8に示すように、カメラ筐体28aの前部(図示左部)に設けられている回転軸28cを基点として回転可能に取り付けられている遮蔽板28dにて、開閉できるようになっている。なお、この回転軸28cは、図示はしないが、ソレノイドなどで駆動できるようなっている。
【0037】
かくして、このようなカメラ筐体28a内には、
図8に示すように第2カメラ28が設置固定されており、作業ツール24の先端部24aを撮像できるようになっている。
【0038】
なお、図示しないが、この第2カメラ28は操作端末6(
図2参照)と通信可能に接続されている。
【0039】
<撮像処理端末の説明>
撮像処理端末5は、例えばPC(Personal Computer)で構成される、情報処理装置である。具体的には、
図2に示すように、CPU50と、マウスやキーボード、タッチパネル、或いは、USBコネクタ、Lightningコネクタ等を用いて外部から所定データを撮像処理端末5に入力することができる入力部51と、所定のアプリケーションプログラム等を格納した書込み可能なフラッシュROM等からなるROM52と、作業領域やバッファメモリ等として機能するRAM53と、種々の画像を表示可能な表示部54と、無線LAN,有線LAN,ダイヤルアップ等の通信手段でネットワークNに接続が可能な通信部55と、で構成されている。
【0040】
<操作端末の説明>
操作端末6は、例えばPC(Personal Computer)で構成される、情報処理装置である。具体的には、撮像処理端末5と同様の構成を備え、
図2に示すように、CPU60、入力部61、ROM62と、RAM63、表示部64、通信部65と、で構成されている。なお、ROM62には、本実施形態により作業者がロボット2を移動するのに使用するロボット操作用プログラム、及び、そのプログラムにおいて使用される3次元モデル9(
図4参照)が格納される。
【0041】
<表示部の説明>
表示部8は、一つのスクリーンからなる。表示部8には、撮像処理端末5が第1カメラ31~39のうち選択した1つの第1カメラ31~39から受信した画像と、操作端末6において作業者により起動されたロボット操作用プログラムが表示部64に表示された画面とが、投影装置70と投影装置71とにより、各々表示部8上に投影され、重ね合わせて表示される。
【0042】
<ロボット操作システムの使用例の説明>
上記のように構成される、ロボット操作システム1の動作方法の使用例について、
図3を参照して具体的に説明する。なお、以下の内容はあくまで一例であり、これに限定されるものではない。
【0043】
図2に示す撮像処理端末5のCPU50(以下、撮像処理端末5と省略することがある)は、入力部51を介して作業者から指示を受け、
図2に示す第1カメラ31~39の画像の受信を開始する(ステップS101)。
【0044】
次に、撮像処理端末5は、
図2に示す第1カメラ31~39から受信した画像のうち、所定の1つの第1カメラの画像を投影装置70に送信し、
図2に示す表示部8に表示させる(ステップS102)。なお、最初にいずれの第1カメラの画像を表示部8に表示させるかは、撮像処理端末5のROM52に予め記憶しておけばよい。ここでは、第1カメラ31が撮像する画像P1(
図4参照)を表示部8に表示させるものとする。
【0045】
一方、
図2に示す操作端末6のCPU60(以下、操作端末6と省略することがある)は、ROM62に格納されるロボット操作用プログラムを起動する(ステップS1)。
【0046】
次に、操作端末6は、操作端末6のROM62に格納される3次元モデル9(
図4参照)を読み出す(ステップS2)。
【0047】
次に、操作端末6は、
図4に示すように、ROM62から読みだした3次元モデル9を、表示部8に表示し、撮像処理端末5により表示部8に表示される画像P1のロボット2に重ね合わせる(ステップS3)。具体的には、操作端末6は、ロボット2やワークWが配置される作業現場に対応する仮想空間を、3次元座標空間として生成し、ステップS2にて読みだした3次元モデル9を、仮想空間内に配置する。そして、操作端末6は、仮想空間内の、第1カメラ31に対応する位置から見た3次元モデル9を描写し、表示部8(あるいは操作端末6の表示部64)に表示させる。
【0048】
次に、操作端末6は、作業者の操作に従い、3次元モデル9(
図4参照)を移動させる(ステップS4)。具体的には、作業者は、表示部8を見ながら、ロボット2と重ね合わされた状態の3次元モデル9(
図4参照)を、入力部61を用いた所定の操作(例えばマウスによるドラッグ・アンド・ドロップ)により、3次元モデル9を所望の位置姿勢になるよう、移動する操作を行う。操作端末6は、この作業者の操作に従い、3次元モデル9を移動させる。その結果、3次元モデル9は、
図5に示す移動後の3次元モデル9Aのように、作業現場の画像P2のロボット2とは異なる位置姿勢を取った状態が、表示部8に表示される。
【0049】
次に、操作端末6は、表示部8に表示される3次元モデル9の位置情報(仮想空間内のどの位置から見た3次元モデル9を描写し、表示部8(あるいは操作端末6の表示部64)に表示させているか)を、撮像処理端末5に送信する(ステップS5)。
【0050】
この点について詳しく説明すると、操作端末6は、仮想空間内の任意の位置からから見た3次元モデル9を描写し、表示部8(あるいは操作端末6の表示部64)に表示させることができる。このため、作業者は、ステップS4において3次元モデル9を移動させるにあたり、側面側から見た3次元モデル9(
図4参照)だけでなく、上や斜め下から見た3次元モデル9(図示せず)を表示部8(あるいは操作端末6の表示部64)に表示させ、確認することができる。
【0051】
ステップS5では、この、仮想空間内のどの位置から見た3次元モデル9を描写し、表示部8(あるいは操作端末6の表示部64)に表示させているかの位置情報(例えば3次元座標)を、操作端末6が撮像処理端末5に送信するものである。
【0052】
次に、撮像処理端末5(
図2参照)は、受信した位置情報に基づき、表示部8(
図2参照)に表示させる画像の受信元となる第1カメラを、第1カメラ31~39(
図2参照)から1つ選択する(ステップS103)。具体的には、操作端末6は、例えば、位置情報がしきい値A以上B未満の場合は第1カメラ31、しきい値B以上C未満の場合は第1カメラ32、・・・というように、予め、操作端末6から受信する位置情報と、第1カメラ31~39を対応付けて記憶する。そして、受信した位置情報に対応する第1カメラを第1カメラ31~39から選択する。ここでは、第1カメラ31が選択されたものとする。
【0053】
撮像処理端末5は、上記のようにして選択した第1カメラ31の画像を受信し、投影装置70を介して表示部8に表示する。
【0054】
次に、操作端末6は、OKボタン(図示せず)が押下されるかどうかを検出する(ステップS6)。具体的には、作業者は、
図5に示すように、表示部8に表示される移動後の3次元モデル9A、および、作業現場の画像P2のロボット2、ワークW、及び周囲の状況を確認する。そして、作業者は、移動後の3次元モデル9Aの通りロボット2を移動させたときに、作業現場の周辺の設備との干渉を生じさせないかを確認する。
【0055】
さらに、作業者は、ロボット2が取ることができる位置姿勢となっているかも確認する。なお、操作端末6は、ロボット2の取ることができる位置姿勢の範囲を予めROM62に記憶しておいてもよい。そして、作業者がこの範囲を越える位置姿勢を取るよう3次元モデル9を移動させた場合、ロボット2が取ることができない位置姿勢となっていると判断し、操作端末6は3次元モデル9の色を所定の色(例えば赤色)に変色させ、作業者への注意喚起や操作の取り消し等を行ってもよい。
【0056】
次に、操作端末6は、作業者がキャンセルボタン(図示せず)を押下した場合(ステップS6:N)、ステップS4に戻る。具体的には、作業者は、ロボット2を移動後の
図5に示す3次元モデル9Aの位置姿勢に移動させないと判断したため、キャンセルボタン(図示せず)を押下する。これを受け、操作端末6は、ロボット2は移動後の3次元モデル9Aの位置に移動させずステップS4に戻り、再度、作業者の操作に従い3次元モデル9を移動させる。
【0057】
一方、操作端末6は、作業者によりOKボタン(図示せず)が押下されたことを検出した場合(ステップS6:Y)、ロボット2を移動させる(ステップS7)。具体的には、操作端末6は、
図5に示す移動後の3次元モデル9Aの位置姿勢を示すパラメータをPLC29に送信し、OKボタン(図示せず)の押下が続いている間(長押しされている間)、ロボット2を移動後の3次元モデル9Aの位置姿勢に移動するよう制御する。その結果、
図6に示すように、ロボット2が移動後の3次元モデル9Aに重なる位置姿勢となる。
【0058】
なお、作業者は、ロボット2が移動中に周囲の装置等と干渉しそうになったら、長押ししているOKボタン(図示せず)を離すことで、干渉を回避することができる。
【0059】
次に、操作端末6は、
図7に示す第2カメラ28の画像を受信し、表示させる(ステップS8)。すなわち、作業者は、第1カメラ31の画像(
図6参照)では、作業ツール24の先端部24aとワークWとの位置関係が詳細に確認できない場合がある。そのため、操作端末6は、第2カメラ28に作業ツール24の先端部24aやワークWを撮像させ、撮像した画像を第2カメラ28から受信し、表示部8(あるいは操作端末6の表示部64)に表示させる(図示せず)。これにより、作業者は、作業ツール24の先端部24aとワークWの位置をより詳細に確認し、より正確に、先端部24aをワークWの所定位置に移動させることができる。なお、この際、PLC29は、
図8に示す回転軸28cを回転させて、カメラ筐体28aの遮蔽板28dを回動させ、
図8(b)に示すように、開口部28bを開放するようにしている。
【0060】
次に、操作端末6は、ロボット2に対し溶接等の加工作業を指示する(ステップS9)。具体的には、操作端末6は、ロボット操作プログラムあるいはその他の所定のプログラムにより、ロボット2に溶接等の加工作業を指示する。この際、PLC29は、
図8に示す回転軸28cを回転させて、カメラ筐体28aの遮蔽板28dを回動させ、
図8(a)に示すように、開口部28bを閉止するようにしている。これにより、加工作業の間、溶接のスパッタやアーク光、ドリルの切粉、その他の加工作業の飛散物等から第2カメラ28を保護することができる。
【0061】
所定の加工作業が終了したら、撮像処理端末5および操作端末6は処理を終了する。
【0062】
なお、この後、異なる形状のワークWに対し処理を行う場合、作業者は、その異なる形状のワークWをターンテーブルTに載置すればよい。
図2に示す第1カメラ31~39がそのワークWを撮像するから、作業者は表示部8にてそのワークWを確認しながら、上述の動作方法にてロボット2を動作させることができる。
【0063】
したがって、以上説明してきた本実施形態によれば、容易な操作により、ロボットを動作させることができるロボット操作システムの動作方法を提供することができる。
【0064】
すなわち、従来から、作業現場でワークを直接見ながら、ティーチペンダントを用いてロボットを動作させることは可能であったが、難易度が高いティーチペンダントの操作と、安全にロボットを移動させるための干渉の有無の確認、という作業を同時にこなす必要がある。一方、オフラインティーチングソフトはティーチペンダントを使用しないものの、コンピュータ上のロボットのCADデータを動かすだけであるから、実際にロボットを移動させることができない。また、ワークや設備のレイアウトに変更があった場合、その変更をオフラインティーチングソフトのCADデータに反映する必要がある。
【0065】
しかし、本実施形態によれば、表示部8に表示される3次元モデル9を、マウスなどの入力部61で操作することによりロボットを所定位置に移動させる事ができるから、ティーチペンダントを操作することなく、オフラインティーチングソフトのような容易な操作により、ロボットを動作させることができる。
【0066】
また、本実施形態によれば、3次元モデル9と、第1カメラ31~39が撮像する作業現場の画像P2と重ね合わせて表示される。このため、3次元モデル9を移動させてから、その3次元モデル9と、実際のワークWや周辺の設備を目視確認しながら、周辺の設備と干渉を生じさせないか等を確認することができる。すなわち、移動の操作と確認作業を同時に行う必要がなく、これら作業を分けて行うことができる。なお、ワークWや周辺の設備のレイアウトに変更があった場合、作業現場の画像P2にて即時にその変更が確認でき、アプリケーションにてCADデータを修正する等の必要はない。
【0067】
さらに、本実施形態によれば、移動した3次元モデル9と、実際のワークWや周辺の設備を目視確認した結果、周辺の設備と干渉しそう等の好ましくない状態になることがわかった場合、キャンセルボタンを押下し、3次元モデル9の移動をやり直す事ができる。このように、ロボット2は移動させないまま、3次元モデル9Aだけを移動する操作をやり直しながら、最適な移動方法を見つけることができる。このとき、ロボット2は移動させていないから、ロボット2を一旦元の位置に戻し、移動をやり直す、という手間や工数が発生しない。
【0068】
以上のことより、本実施形態によれば、オンラインティーチング方法、オフラインティーチング方法それぞれの欠点を克服し、なおかつ利点を利用し、容易な操作によりロボットを動作させることができるロボット操作システムの動作方法とすることができる。
【0069】
<変形例の説明>
なお、本実施形態において示したロボット操作システム1の動作方法はあくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。例えば、本実施形態においては、遮蔽板28dを例示したが、それに限らず、遮光板を用いても良い。このようにすれば、溶接のスパッタやアーク光、ドリルの切粉、その他の加工作業の飛散物等からカメラ28を保護しつつ、カメラ28にて、その加工作業を撮像することもできる。
【0070】
また、本実施形態において例示したカメラ筐体28aは、あくまで一例であり、どのような形状でも良く。要は、溶接のスパッタやアーク光、ドリルの切粉、その他の加工作業の際に生じる飛散物等からカメラ28を保護できれば良い。
【0071】
また、本実施形態においては、3次元モデル9は全体が単色にて表されるが、操作端末6は、
図6に示すロボット2のアーム22に対応する部分の3次元モデル9bを透過させて、表示部8(あるいは操作端末6の表示部64)に表示させても良い。このようにすれば、
図6に示す作業ツール24の先端部24aに相当する部分の3次元モデル9aが、ロボット2のアーム22に相当する部分の3次元モデル9bに隠れて見えない、ということがない。
【0072】
また、本実施形態においては、撮像処理端末5と操作端末6は2台の情報処理装置である。このように2台に分けた場合、処理速度が速いという利点がある。しかし、撮像処理端末5と操作端末6の両方の処理を1台の情報処理装置で行っても良い。
【0073】
上記のように撮像処理端末5と操作端末6の両方の処理を1台の情報処理装置で行うにあたっては、第1カメラ31~39が撮像した画像をその情報処理装置に受信させ、受信した画像に3次元モデル9をその情報処理装置内で重ね合わせたものを、操作端末6の表示部64あるいは表示部8に表示させても良い。
【0074】
また、本実施形態においては、表示部8は、一つのスクリーンとしたが、一つのモニターとしても良い。その場合、撮像処理端末5とモニターをモニターケーブル(図示せず)で接続し、撮像処理端末5の画像をモニターに表示させても良い。そして、操作端末6において作業者により起動されたロボット操作用プログラムが表示部64に表示された画面を、投影装置71により表示部8上に投影し、モニターに表示される画像に重ね合わせてもよい。
【0075】
また、本実施形態においては、ステップS103において、撮像処理端末5が表示部8に表示する画像の受信元となる第1カメラを、第1カメラ31~39から1つ選択したが、自由視点画像を生成し、表示部8に表示させても良い。
【0076】
撮像処理端末5が自由視点画像を生成するには、例えば次のように行う。
【0077】
まず、撮像処理端末5は、仮想空間内のどの位置から見た3次元モデル9を描写し、表示部8(あるいは操作端末6の表示部64)に表示させているかの位置情報(例えば3次元座標)を操作端末6から受信する(ステップS5参照)。
【0078】
次に、撮像処理端末5は、受信した位置情報が、作業現場のどの位置に相当するかを算出し、この算出した位置から見た画像となるよう、第1カメラ31~39から受信する画像をキャリブレーションする。なお、仮想空間内の位置を示す位置情報を、作業現場の位置に変換するにあたっては、例えば透視投影行列を利用した方法など、公知の変換方法を利用して算出すれば良い。
【0079】
最後に、撮像処理端末5は、上記のようにして得られた各画像を合成した画像(自由視点画像)を、表示部8に表示させる。
【0080】
上記のようにして、自由視点画像を生成し、表示部8に表示させても良い。
【0081】
さらに、自由視点画像を生成するのではなく、第1カメラ31~39を移動させるようにしてもよい。
【0082】
具体的には、ステップS5において撮像処理端末5が操作端末6から受信した位置情報が、作業現場のどの位置に相当するかを算出し、この算出した位置に移動できる第1カメラを第1カメラ31~39から選択し、選択した第1カメラ31~39を算出した位置に移動させ、画像を表示部8に表示させる。
【0083】
上記のようにして、第1カメラ31~39のうち任意の1つの第1カメラを移動させて、表示部8に表示させても良い。なお、本実施形態においては、ターンテーブルTを例示したが、それに限らず、2軸ポジショナなど、どのようなものにも適用可能である。
【符号の説明】
【0084】
2 ロボット
22 アーム
24 作業ツール
28 第2カメラ
28a カメラ筐体28(保護部材)
28d 遮蔽板(保護部材)
31~39 第1カメラ
50 撮像処理端末5のCPU(表示制御手段)
60 操作端末6のCPU(制御手段)
61 操作端末6の入力部(操作手段)
62 操作端末6のROM(3次元モデル格納部)
8 表示部
9、9A 3次元モデル
9b アーム22に相当する部分の3次元モデル
W ワーク
P1~P3 作業現場の画像
【手続補正書】
【提出日】2023-08-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ワークに対して所定の加工作業を行うロボットと、
前記ロボットおよび前記ワークを撮像可能な第1カメラと、
前記ロボットの3次元モデルを格納する3次元モデル格納部と、
前記第1カメラが撮像する前記ロボットの画像と3次元モデルとを重ね合わせて表示させる表示部と、
前記3次元モデルを操作する操作手段と、
前記ロボットを制御する制御手段と、
を備えたロボット操作システムの動作方法であって、
前記表示部に前記ロボットと前記3次元モデルとが重ね合わさった状態で表示されている該3次元モデルを、前記操作手段を用いて所定位置に移動させると、それに応じて該3次元モデルが所定位置に移動するステップと、
前記表示部に表示された前記3次元モデルを、前記操作手段を用いて所定位置に移動させると、それに応じて該3次元モデルを所定位置に移動させるものの、前記ロボットは移動せず、その移動していない前記ロボットと、前記所定位置に移動させた3次元モデルとを前記表示部に重ね合わせて表示するステップと、
前記ロボットを前記所定位置に移動してよいか判断させるために、作業者に、前記表示部の表示を確認させるステップと、
前記3次元モデルが所定位置に移動したとしても、前記操作手段を用いて、許可動作を行わない限り、前記制御手段にて前記ロボットを前記所定位置に移動させず、前記操作手段を用いて、前記許可動作が行われると、前記制御手段にて前記ロボットを前記所定位置に移動させるステップと、を含んでなるロボット操作システムの動作方法。
【請求項2】
前記ロボットのアームに設けられた作業ツールの先端部を撮像可能な第2カメラと、
前記ロボットが前記ワークに対して前記所定の加工作業を行っている際、前記第2カメラを保護する保護部材と、をさらに備えてなる、請求項1に記載のロボット操作システムの動作方法。
【請求項3】
前記表示部に表示させる画像を制御する表示制御手段をさらに備え、
前記第1カメラは複数の第1カメラであって、
前記表示部に表示される前記3次元モデルの位置情報に基づき、前記表示制御手段にて、前記複数の第1カメラから1つを選択するステップと、
前記選択された第1カメラによって撮像された画像を、前記表示制御手段にて、前記表示部に表示させるステップと、をさらに備えてなる、請求項1に記載のロボット操作システムの動作方法。
【請求項4】
前記3次元モデルは、前記ロボットのアームに対応する部分を透過させて、前記表示部に表示されてなる、請求項1に記載のロボット操作システムの動作方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0013
【補正方法】変更
【補正の内容】
【0013】
請求項1に記載のロボット操作システムの動作方法は、
ワーク(例えば
図2に示すワークW)に対して所定の加工作業を行うロボット(例えば
図2に示すロボット2)と、
前記ロボット(例えば
図2に示すロボット2)および前記ワーク(例えば
図2に示すワークW)を撮像可能な第1カメラ(例えば
図2に示す第1カメラ31~39)と、
前記ロボット(例えば
図2に示すロボット2)の3次元モデル(例えば
図4に示す3次元モデル9、
図5~6に示す移動後の3次元モデル9A)を格納する3次元モデル格納部(例えば
図2に示すROM62)と、
前記第1カメラ(例えば
図2に示す第1カメラ31~39)が撮像する前記ロボット(例えば
図2に示すロボット2)の画像(例えば
図4~6に示す作業現場の画像P1~P3)と3次元モデル(例えば
図4に示す3次元モデル9、
図5~6に示す移動後の3次元モデル9A)とを重ね合わせて表示させる表示部(例えば
図2に示す表示部8)と、
前記3次元モデル(例えば
図4に示す3次元モデル9、
図5~6に示す移動後の3次元モデル9A)を操作する操作手段(例えば
図2に示す操作端末6の入力部61)と、
前記ロボット(例えば
図2に示すロボット2)を制御する制御手段(例えば
図2に示すCPU60)と、
を備えたロボット操作システムの動作方法であって、
前記表示部(例えば
図2に示す表示部8)に
前記ロボット(例えば図4に示すロボット2)と前記3次元モデル(例えば図4に示す3次元モデル9)とが重ね合わさった状態で表示され
ている該3次元モデル(例えば
図4に示す3次元モデル
9)を、前記操作手段(例えば
図2に示す操作端末6の入力部61)を用いて所定位置に移動させると、それに応じて該3次元モデル(例えば
図4に示す3次元モデル
9)を所定位置に移動
させるものの、前記ロボットは移動せず(例えば図5に示すロボット2)、その移動していない前記ロボット(例えば図5に示すロボット2)と、前記所定位置に移動させた3次元モデル(例えば図5に示す3次元モデル9A)とを前記表示部(例えば図2に示す表示部8)に重ね合わせて表示するステップ(例えば
図3に示すステップS4)と、
前記ロボット(例えば図5に示すロボット2)を前記所定位置に移動してよいか判断させるために、作業者に、前記表示部(例えば図2に示す表示部8)の表示を確認させるステップと、
前記3次元モデル(例えば
図4に示す3次元モデル9、
図5~6に示す移動後の3次元モデル9A)が所定位置に移動したとしても、前記操作手段(例えば
図2に示す操作端末6の入力部61)を用いて、許可動作(例えば
図3に示すステップS6:Y)を行わない限り、前記制御手段(例えば
図2に示すCPU60)にて前記ロボット(例えば
図2に示すロボット2)を前記所定位置に移動させず、前記操作手段(例えば
図2に示す操作端末6の入力部61)を用いて、前記許可動作(例えば
図3に示すステップS6:Y)が行われると、前記制御手段(例えば
図2に示すCPU60)にて前記ロボット(例えば
図2に示すロボット2)を前記所定位置に移動させるステップ(例えば
図3に示すステップS7)と、を含んでなることを特徴とする。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0018
【補正方法】変更
【補正の内容】
【0018】
請求項1に係る発明によれば、作業者は、ロボット(例えば
図2に示すロボット2)を所定位置に移動させるに先立ち、表示部(例えば
図2に示す表示部8)に
ロボット(例えば図2に示すロボット2)と重ね合わさった状態で表示されている3次元モデル(例えば
図4に示す3次元モデル9)を所定位置に移動させる。これにより、作業者は、ロボット(例えば
図2に示すロボット2)を所定位置に移動させるには3次元モデル(例えば
図4に示す3次元モデル9)を所定位置に移動させればよく、難易度が高いティーチペンダントを使用することなく、ロボットを動作することができる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0019
【補正方法】変更
【補正の内容】
【0019】
また、請求項1に係る発明によれば、上記のように移動された、移動後の3次元モデル(例えば
図5に示す移動後の3次元モデル9A)は、第1カメラ(例えば
図2に示す第1カメラ31~39)が撮像する
移動前のロボット(例えば図
5に示すロボット2)やワーク(例えば
図2に示すワークW)、およびその周辺の設備の画像(例えば
図5に示す作業現場の画像P2)と重ね合わせて表示される。よって、作業者は、上記のように、3次元モデル(例えば
図4に示す3次元モデル9)を所定位置に移動させる操作を完了させてから、移動後の3次元モデル(例えば
図5に示す移動後の3次元モデル9A)と重ね合わせで表示される実際のワーク(例えば
図2に示すワークW)や周辺の設備を
表示部8で目視確認しながら、
移動前のロボット(例えば図5に示すロボット2)を移動後の3次元モデル(例えば図5に示す移動後の3次元モデル9A)のように移動させたときに周辺の設備と干渉を生じさせないか等を確認することができる。すなわち、移動の操作と確認作業を同時に行う必要がなく、これら作業を分けて行うことができるから、操作の難易度を下げつつ、安全性を強化することができる。