(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024006557
(43)【公開日】2024-01-17
(54)【発明の名称】表示システムおよび教示システム
(51)【国際特許分類】
B25J 9/22 20060101AFI20240110BHJP
B25J 13/08 20060101ALI20240110BHJP
【FI】
B25J9/22 A
B25J13/08 A
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022107569
(22)【出願日】2022-07-04
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】100179475
【弁理士】
【氏名又は名称】仲井 智至
(74)【代理人】
【識別番号】100216253
【弁理士】
【氏名又は名称】松岡 宏紀
(74)【代理人】
【識別番号】100225901
【弁理士】
【氏名又は名称】今村 真之
(72)【発明者】
【氏名】松浦 佑一郎
(72)【発明者】
【氏名】関 竜太郎
(72)【発明者】
【氏名】冨樫 大生
【テーマコード(参考)】
3C707
【Fターム(参考)】
3C707AS01
3C707AS06
3C707AS12
3C707BS12
3C707BS15
3C707HS27
3C707JU03
3C707KS12
3C707KS16
3C707KS20
3C707KS21
3C707KS24
3C707KS25
3C707KS34
3C707KS35
3C707KS38
3C707KT02
3C707KT06
3C707KV01
3C707KW03
3C707KW05
3C707KX06
3C707LS05
3C707LS20
3C707MS29
(57)【要約】
【課題】ロボットアームの実際の動きを視認させつつ、ロボットアームの動作に関する情報を効率よく視認させることを可能にする表示システム、および、かかる表示システムを備え、ロボットの動作を効率よく教示することを可能にする教示システムを提供すること。
【解決手段】ジョイントを備えるロボットアームが動作しているとき、前記ロボットアームに情報を表示するシステムであって、前記ロボットアームに設けられているマーカーを撮像する複数の撮像装置と、前記ロボットアームに情報を投影する複数の投影装置と、前記撮像装置で撮像された前記マーカーの画像に基づいて、動作中の前記ロボットアームに追従して前記情報を投影するように前記投影装置の動作を制御する制御装置と、を備えることを特徴とする表示システム。
【選択図】
図3
【特許請求の範囲】
【請求項1】
ジョイントを備えるロボットアームが動作しているとき、前記ロボットアームに情報を表示するシステムであって、
前記ロボットアームに設けられているマーカーを撮像する複数の撮像装置と、
前記ロボットアームに前記情報を投影する複数の投影装置と、
前記撮像装置で撮像された前記マーカーの画像に基づいて、動作中の前記ロボットアームに追従して前記情報を投影するように前記投影装置の動作を制御する制御装置と、
を備えることを特徴とする表示システム。
【請求項2】
前記情報は、前記ジョイントの移動方向、前記ジョイントのパルス数、前記ジョイントのトルク、前記ジョイントの制御フラグ、または、前記ジョイントと干渉物との距離、を含む請求項1に記載の表示システム。
【請求項3】
前記ロボットアームは、複数の前記ジョイントを備えており、
前記投影装置は、複数の前記ジョイントに対応した複数の領域に、前記情報を投影する請求項1または2に記載の表示システム。
【請求項4】
前記投影装置は、前記ジョイントに関する固有の前記情報を、前記ジョイントに対応した前記領域に投影する請求項3に記載の表示システム。
【請求項5】
前記情報は、文字または図形を含む請求項1または2に記載の表示システム。
【請求項6】
前記情報は、複数の色を含む請求項1または2に記載の表示システム。
【請求項7】
請求項1または2に記載の表示システムと、
前記ロボットアームを備えるロボットの動作を教示する教示装置と、
を備えることを特徴とする教示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示システムおよび教示システムに関するものである。
【背景技術】
【0002】
特許文献1には、ロボットに対して通信可能に接続され、ロボットの作業領域内でロボットの教示に用いる機械教示端末が開示されている。この機械教示端末は、作業者による入力を受け付けるタッチパネルディスプレイと、教示領域をタッチパネルディスプレイに出力する教示領域出力部と、タッチパネルディスプレイに対する入力を検出する入力検出部と、入力に応じた教示を行う教示部と、を備える。
ロボットに対して教示を行う場合、作業者は、この機械教示端末を手に持ち、タッチパネルディスプレイに対するタッチ操作を繰り返す。これにより、タッチ位置に応じた教示信号がロボットの制御装置に送信され、教示が行われる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
教示が完了すると、作業者は、教示された動作を再生し、ロボットアームの動きを確認する。このとき、作業者は、ロボットアームの実際の動きと、機械教示端末のタッチパネルディスプレイに出力された情報と、を見比べる必要がある。つまり、作業者には、ロボットアームとタッチパネルディスプレイとの間で視点を頻繁に移動させることが求められる。そうすると、教示された動作を確認する作業において、作業効率を十分に高められないという課題が生じる。
【課題を解決するための手段】
【0005】
本発明の適用例に係る表示システムは、
ジョイントを備えるロボットアームが動作しているとき、前記ロボットアームに情報を表示するシステムであって、
前記ロボットアームに設けられているマーカーを撮像する複数の撮像装置と、
前記ロボットアームに情報を投影する複数の投影装置と、
前記撮像装置で撮像された前記マーカーの画像に基づいて、動作中の前記ロボットアームに追従して前記情報を投影するように前記投影装置の動作を制御する制御装置と、
を備える。
【0006】
本発明の適用例に係る教示システムは、
本発明の適用例に係る表示システムと、
前記ロボットアームを備えるロボットの動作を教示する教示装置と、
を備える。
【図面の簡単な説明】
【0007】
【
図1】本発明に係る表示システムおよび教示システムが適用されるロボットシステムの一例を示す斜視図である。
【
図2】
図1に示すロボットシステムの基本的な構成を説明するためのブロック図である。
【
図3】実施形態に係る教示システムの構成および機能を示すブロック図である。
【
図4】
図3に示す教示システムおよびロボットシステムの配置例を示す斜視図である。
【
図5】ロボットの外表面に取り付けられたマーカーおよびキャンバスの一例を示す側面図である。
【
図7】実施形態に係る教示システムを用いた教示方法の一例を説明するためのフローチャートである。
【
図8】実施形態に係る表示システムが表示する情報の種類の一例を示す表である。
【発明を実施するための形態】
【0008】
以下、本発明に係る表示システムおよび教示システムを添付図面に示す実施形態に基づいて詳細に説明する。
【0009】
1.ロボット
まず、本発明に係る表示システムおよび教示システムが適用されるロボットシステムの一例について説明する。
【0010】
図1は、本発明に係る表示システムおよび教示システムが適用されるロボットシステム100の一例を示す斜視図である。
図2は、
図1に示すロボットシステム100の基本的な構成を説明するためのブロック図である。なお、
図1および後述する各図では、互いに直交する3つの軸として、x軸、y軸およびz軸を設定している。
図1に示すロボットシステム100は、ロボット2と、コントローラー3と、を備える。
【0011】
1.1.ロボット
ロボット2は、例えば、複数のアームと複数のジョイントJ1~J6を有するロボットアーム10と、ロボットアーム10を支持するベース11と、エンドエフェクター20と、力センサー22と、を備える。
【0012】
ロボットアーム10は、例えば、6つのジョイントJ1~J6により相互連結された7つのリンクを有し、6自由度で運動するマニピュレーターである。
図1に示す例において、ロボットアーム10は、それぞれ回転ジョイントである6つのジョイントJ1~J6を備える。なお、ロボットアーム10が備えるジョイントの数は、特に限定されず、6つ未満であっても、7つ以上であってもよい。ベース11は、ロボットアーム10のうち最もベース11側のリンクを、ジョイントJ1を介して支持する。
【0013】
エンドエフェクター20は、例えば、ねじ締め、把持、研磨等の種々の作業を行うツールである。エンドエフェクター20としては、例えば、スクリュードライバー、グリッパー、グラインダー等が挙げられる。エンドエフェクター20は、力センサー22を介して、ロボットアーム10の先端のメカニカルインターフェイスに取り付けられる。ロボットアーム10は、コントローラー3に駆動を制御されることにより、エンドエフェクター20の位置および姿勢を決定する。
【0014】
なお、本明細書では、ロボットアーム10を基準にしてベース11側を「基端側」といい、エンドエフェクター20側を「先端側」という。
【0015】
力センサー22は、例えばエンドエフェクター20を介して、エンドエフェクター20の位置の基準であるツールセンターポイント(TCP)に作用する外力を検出する。力センサー22が外力を受けると、外力に対応した信号をコントローラー3に出力する。これにより、コントローラー3は、TCPに作用する3つの検出軸の力および3つの検出軸まわりのトルクを外力として検出する。3つの検出軸は、例えば、x軸、y軸およびz軸により定義されるワールド座標系である。
【0016】
図2に示すように、複数のジョイントJ1~J6は、複数のモーターM1~M6と、複数のエンコーダーE1~E6と、を有する。モーターM1~M6は、コントローラー3の制御によりそれぞれ駆動され、ジョイントJ1~J6をそれぞれ駆動する。エンコーダーE1~E6は、モーターM1~M6の回転角を検出し、コントローラー3に出力する。
【0017】
ジョイントJ1は、ジョイントJ1~J6のうち最も基端側に配置され、モーターM1およびエンコーダーE1を有する。ジョイントJ1の回転軸は、z軸に沿う。
ジョイントJ2は、ジョイントJ1の先端側に配置され、モーターM2およびエンコーダーE2を有する。ジョイントJ2の回転軸は、x-y平面に沿う。
ジョイントJ3は、ジョイントJ2の先端側に配置され、モーターM3およびエンコーダーE3を有する。ジョイントJ3の回転軸は、x-y平面に沿う。
ジョイントJ4は、ジョイントJ3の先端側に配置され、モーターM4およびエンコーダーE4を有する。ジョイントJ4の回転軸は、ジョイントJ3の回転軸と直交する。
ジョイントJ5は、ジョイントJ4の先端側に配置され、モーターM5およびエンコーダーE5を有する。ジョイントJ5の回転軸は、ジョイントJ4の回転軸と直交する。
ジョイントJ6は、ジョイントJ1~J6のうち最も先端側に配置され、モーターM6およびエンコーダーE6を有する。ジョイントJ6の回転軸は、ジョイントJ5の回転軸と直交する。
【0018】
なお、
図1に示すロボットアーム10は、垂直多関節型のロボットアームであるが、これに限定されず、水平多関節型のロボットアームであってもよい。
【0019】
1.2.コントローラー
コントローラー3は、コンピューターシステムを構成する処理回路32および記憶回路34を備える。処理回路32は、例えば記憶回路34に記憶される制御プログラムを実行することにより、各機能を実現する。処理回路32の少なくとも一部を構成する回路として、例えば、中央演算処理装置(CPU)、デジタルシグナルプロセッサー(DSP)、プログラマブルロジックデバイス(PLD)、特定用途向け集積回路(ASIC)等の種々の論理演算回路を採用可能である。
【0020】
記憶回路34は、コンピューターにより読み取り可能な記憶媒体であって、ロボットシステム100の動作に必要な制御プログラムや各種データを記憶する。記憶回路34として、例えば半導体メモリーを採用可能である。処理回路32および記憶回路34は、一体のハードウェアで構成されていてもよいし、別個の複数のハードウェアで構成されていてもよい。コントローラー3の構成要素の一部または全部は、ロボット2の筐体の内側に配置されてもよい。
【0021】
コントローラー3は、制御プログラムにしたがってモーターM1~M6を駆動する。コントローラー3は、各エンコーダーE1~E6で取得される回転角を検出し、検出結果に基づいてモーターM1~M6の駆動を制御する。
【0022】
2.教示システムの構成
次に、実施形態に係る表示システムおよび教示システムの構成について説明する。
図3は、実施形態に係る教示システム1の構成および機能を示すブロック図である。
【0023】
図3に示す教示システム1は、情報処理装置4(教示装置)と、表示システム5と、入力部402と、表示部404と、を備える。
【0024】
情報処理装置4は、所定の動作をロボット2に教示するとともに、教示された動作をシミュレーションする機能を有する。表示システム5は、ロボット2の外表面に対して文字や図形等の情報を投影する。投影する情報には、例えば、ロボット2の教示を支援する情報等が含まれていてもよい。入力部402は、教示作業者による入力操作を受け付ける。表示部404は、表示システム5がロボット2の外表面に投影する情報とは別に、任意の情報を表示する。
【0025】
教示作業者は、表示システム5がロボット2の外表面に投影した情報を視認しながら、教示された動作を再生中のロボットアーム10を直接視認することができる。つまり、教示作業者は、例えば表示部404のようなロボット2から離れた位置に設けられる表示画面を視認しなくても、または、視認する回数を減らしたとしても、ロボット2の外表面を視認することによって教示に関する情報を取得することができる。これにより、教示作業者は、視点の移動を最小限に抑えつつ、ロボットアーム10の実際の動きと教示に関する情報の双方を把握することができる。その結果、教示作業の効率を高めることができる。
【0026】
入力部402は、教示作業者による入力操作を受け付ける。入力部402としては、例えば、キーボード、マウス、タッチパネル、ティーチングペンダント等が挙げられる。表示部404は、表示システム5がロボット2の外表面に投射する情報とは別に、任意の情報を表示する。表示部404としては、例えば、液晶表示装置等が挙げられる。
【0027】
情報処理装置4の各機能は、例えば、プロセッサー、メモリーおよび外部インターフェースを備えるハードウェアによって実現される。プロセッサーとしては、例えば、CPU(Central Processing Unit)等が挙げられる。メモリーとしては、RAM(Random Access Memory)のような揮発性メモリー、および、ROM(Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、PROM(Programmable ROM)のような不揮発性メモリーのいずれか一方または双方の半導体メモリーが挙げられる。外部インターフェースには、例えば、USB(Universal Serial Bus)等のデジタル入出力ポート、イーサネット(登録商標)ポート等が挙げられる。そして、メモリーに格納されているプログラムをプロセッサーに実行させることにより、各機能が実現される。
【0028】
なお、プロセッサーには、CPUに代えて、または、CPUに加えて、FPGA(field-programmable gate array)等のプログラマブルロジックデバイスを用いるようにしてもよい。
【0029】
このようなハードウェアとしては、例えば、
図3に示すパーソナルコンピューター(PC400)の他、タブレット端末、スマートフォン等が挙げられる。
【0030】
表示システム5は、ロボット2が動作しているとき、ロボット2に情報を投影し、表示するシステムである。表示システム5は、3つの制御装置71、72、73と、3つの撮像装置81、82、83と、3つの投影装置91、92、93と、を備える。
【0031】
制御装置71~73は、それぞれ、情報処理装置4から出力された情報処理結果、および、撮像装置81~83で撮像された画像に基づいて、投影装置91~93に映像信号を出力する機能を有する。
【0032】
撮像装置81~83は、それぞれ、ロボット2を撮像し、画像を情報処理装置4に出力する機能を有する。
【0033】
投影装置91~93は、それぞれ、制御装置71~73から出力された映像信号に基づいて、ロボット2に情報を投影する機能を有する。
【0034】
制御装置71~73、撮像装置81~83および投影装置91~93の各機能は、例えば、
図3に示すカメラ付きプロジェクター501~503により実現される。制御装置71~73の各機能は、例えば、プロセッサー、メモリーおよび外部インターフェースを備えるハードウェアによって実現される。
【0035】
図4は、
図3に示す教示システム1およびロボットシステム100の配置例を示す斜視図である。
【0036】
図4に示すように、撮像装置81~83および投影装置91~93は、ロボットシステム100の周りを囲むように配置されている。また、
図4では、PC400は、ロボットシステム100の近傍に配置されているが、遠隔地に配置されていてもよい。
【0037】
図5は、ロボット2の外表面に取り付けられたマーカーMR1~MR5およびキャンバスCV1~CV5の一例を示す側面図である。
【0038】
図5に示すように、ロボット2の外表面には、ジョイントJ1~J5の近傍にマーカーMR1~MR5が取り付けられている。また、
図5には、図示しないが、ジョイントJ6の近傍にもマーカーMR6が取り付けられていてもよい。マーカーMR1~MR6は、それぞれ固有の模様を有している。これらのマーカーMR1~MR6を撮像装置81~83で撮像することにより、ジョイントJ1~J6の各回動角、つまりロボット2の姿勢を検出することができる。
【0039】
また、
図5に示すように、ロボット2の外表面には、マーカーMR1に対応してキャンバスCV1が設定され、マーカーMR2に対応してキャンバスCV2が設定され、マーカーMR3に対応してキャンバスCV3が設定され、マーカーMR4に対応してキャンバスCV4が設定され、マーカーMR5に対応してキャンバスCV5が設定されている。さらに、
図5には図示しないが、マーカーMR6に対応してキャンバスCV6が設定されていてもよい。これらのキャンバスCV1~CV6には、投影装置91~93から情報が投影される。これにより、この情報を視認することで、教示作業者は、キャンバスCV1~CV6に投影された情報と、それに対応するジョイントJ1~J6と、を容易に紐づけることができる。キャンバスCV1~CV6は、ロボット2の外表面のうち、曲面や凹凸面のような非平坦面に設定されていてもよいが、平坦面に設定されているのが好ましい。これにより、投影された情報が歪むのを抑制することができる。
【0040】
図6は、マーカーMR1~MR6の一例を示す表である。
図6には、マーカーMR1~MR6がタイプA、タイプBおよびタイプCの3種類ずつ例示されている。
【0041】
タイプAは、三角形と棒の組み合わせからなるマーカーである。三角形は、鈍角の位置がキャンバスCV1~CV6の方向を表している。また、棒の数がジョイントの位置を表している。例えば棒の数が1であれば、ジョイントJ1を表している。これにより、表示システム5では、マーカーMR1~MR6を画像認識技術によって識別することにより、ジョイントJ1~J6の特定が可能になる。
【0042】
タイプBは、白抜きの三角形と塗りつぶされた多角形との組み合わせからなるマーカーである。白抜きの三角形は、キャンバスCV1~CV6の方向を表している。また、塗りつぶされた多角形は、その形状がジョイントの位置を表している。
【0043】
タイプCは、弧と多角形との組み合わせからなるマーカーである。弧は、その位置がキャンバスCV1~CV6の方向を表している。また、多角形が持つ意味は、タイプBと同様である。
【0044】
このようにマーカーMR1~MR6は、ジョイントJ1~J6を特定する機能と、キャンバスCV1~CV6の方向を特定する機能と、を有していればよい。このような機能を有するマーカーMR1~MR6を撮像装置81~83に撮像させることで、ジョイントJ1~J6の位置や回動状態を制御装置71~73に取得させることができる。
【0045】
なお、マーカーMR1~MR6は、画像認識技術によって互いに識別可能なものであれば、図示したものに限定されない。例えば、マーカーMR1~MR6は、一次元バーコードや二次元バーコードであってもよい。
【0046】
2.1.情報処理装置(教示装置)
情報処理装置4は、所定の動作をロボット2に教示するとともに、教示された動作をシミュレートする機能を有する。情報処理装置4は、記録部42と、処理部44と、シミュレーション部46と、を有する。
【0047】
2.1.1.記録部
記録部42は、シミュレーションに必要な情報を取得し、記録する機能、および、記録した情報を教示情報として処理部44に出力する機能を有する。記録部42は、CADデータ読込部422と、ポイント教示部424と、初期パラメーター記憶部426と、を有する。
【0048】
CADデータ読込部422は、ロボット2およびその周辺機器等のCAD(Computer Aided Design)データを読み込む。読み込んだCADデータは、処理部44での情報処理、および、シミュレーション部46でのシミュレーションに供される。
【0049】
ポイント教示部424は、ロボット2の教示に必要なポイントデータを読み込む。ポイントデータは、例えばエンドエフェクター20の位置や姿勢等を指定することにより、ロボット2の動作を教示するためのデータである。ポイントデータは、図示しない外部記憶装置やネットワークを介して読み込まれてもよいし、入力部402を介して入力されてもよい。
【0050】
初期パラメーター記憶部426は、動作パラメーターの初期値を記憶する。動作パラメーターは、シミュレーション部46がロボット2の動作をシミュレーションするために必要なパラメーターの初期値である。この他、初期パラメーター記憶部426は、表示システム5に表示させる情報の種類をあらかじめ記憶しておいてもよい。
【0051】
2.1.2.処理部
処理部44は、記録部42から出力された教示情報やシミュレーション部46から出力されたシミュレーションの結果に基づいて、ロボット2を動作させる制御信号および表示システム5の動作を制御する制御信号を出力する機能を有する。処理部44は、ロボット制御部442と、情報処理部444と、チャート作成部446と、を有する。
【0052】
ロボット制御部442は、ロボット2のロボットアーム10の位置および姿勢に関する制御信号を、コントローラー3に向けて出力する。コントローラー3は、入力された制御信号に基づいて、ロボットアーム10の駆動を制御する。また、ロボット制御部442は、ロボット2の動作情報、例えば、エンドエフェクター20の速度や加速度、ジョイントJ1~J6の角速度や角加速度、ジョイントJ1~J6のトルク、基準時刻からの経過時間等をコントローラー3から取得する。
【0053】
情報処理部444は、シミュレーション部46によるシミュレーションの結果に基づいて、表示システム5に表示させる情報を作成する。
【0054】
チャート作成部446は、シミュレーション部46によるシミュレーションの結果または情報処理部444から出力された情報に基づいて、チャートを作成する。なお、本明細書において「チャート」とは、数値データを図形で表現したものを指す。チャートには、グラフも含まれる。作成されたチャートは、表示システム5に出力される。
【0055】
シミュレーション部46は、ロボット2の動きやロボット2と周辺機器等との干渉をシミュレーションする。そして、シミュレーション部46は、シミュレーションの結果を情報処理部444またはチャート作成部446に出力する。
【0056】
なお、以下の説明では、情報処理装置4による情報処理の結果を「情報処理結果」という。
【0057】
また、情報処理装置4の機能の一部は、カメラ付きプロジェクター501~503またはその他の外部装置により実現されていてもよい。
【0058】
2.2.表示システム
表示システム5は、
図3に示すように、3つの制御装置71、72、73と、3つの撮像装置81、82、83と、3つの投影装置91、92、93と、を備える。
【0059】
2.2.1.制御装置
制御装置71~73は、それぞれ、投影装置91~93に映像信号を出力する機能を有する。制御装置71~73は、それぞれ、情報取得部742と、映像処理部744と、を有する。
【0060】
情報取得部742は、情報処理装置4から情報処理結果を取得するとともに、撮像装置81~83から画像を取得する機能を有する。情報処理装置4から取得する情報処理結果は、例えば、文字の他、チャート等を含む図形であってもよい。また、情報取得部742は、取得した画像に対して画像認識処理を行い、マーカーMR1~MR6の位置、大きさ、形状、向き等を検出する。情報取得部742は、あらかじめマーカーMR1~MR6に対するキャンバスCV1~CV6の相対的な位置や大きさ等の情報を有している。これらの情報と、検出されたマーカーMR1~MR6と、に基づき、情報取得部742は、空間上におけるキャンバスCV1~CV6の位置や大きさ等を特定する。そして、情報取得部742は、投影装置91~93の投影可能範囲におけるキャンバスCV1~CV6の位置や大きさに変換する。
【0061】
なお、本実施形態に係る表示システム5は、複数の撮像装置81~83を備えている。撮像装置81~83から取得された複数の画像に同一のマーカーが写っていた場合、情報取得部742は、いずれかの画像を選択し、マーカーMR1~MR6を検出する。この場合、最も正面側から各マーカーを撮像できている画像を選択するのが好ましい。これにより、マーカーの検出精度が高くなるため、映像処理部744において、キャンバスCV1~CV6の位置や大きさに合わせた映像の加工をより高精度に行うことができる。
【0062】
映像処理部744は、情報取得部742による取得結果に基づいて、投影装置91~93に投影させる映像信号を作成し、出力する機能を有する。具体的には、情報処理装置4から出力された情報処理結果を示す映像を、キャンバスCV1~CV6の位置や大きさ等に合わせて加工した映像信号を作成する。この映像信号を投影装置91~93に出力することにより、キャンバスCV1~CV6においてそれぞれ個別の情報を表示させることができる。加工の例としては、例えば、キャンバスCV1~CV6の位置や大きさに合わせて、例えば、映像を拡大、縮小、変形、回転等することが挙げられる。なお、1つの画像の中にマーカーMR1~MR6が全て写っていれば、その画像を選択すればよいが、ロボットアーム10の構造上、複数の画像に分かれてマーカーMR1~MR6が写り込む。したがって、情報取得部742は、複数の画像からマーカーMR1~MR6を検出する。これにより、ロボット2の姿勢によらず、マーカーMR1~MR6を的確に検出できる画像を取得することができる。
【0063】
また、本実施形態に係る表示システム5は、複数の投影装置91~93を備えている。映像処理部744は、ロボット2に対する投影装置91~93の相対位置をあらかじめ記憶している。このため、映像処理部744は、情報取得部742によるマーカーMR1~MR6の検出結果に基づいて、複数の投影装置91~93から1つを選択し、情報を投影させる。この場合、キャンバスCV1~CV6に対して最も正面側から情報を投影できる投影装置91~93を選択するのが好ましい。これにより、投影される情報の画質が高くなるため、教示作業者による視認性を高められる。なお、複数の投影装置91~93から複数を選択して、情報を投影させるようにしてもよい。
【0064】
また、制御装置71~73は、互いに通信可能になっている。これにより、制御装置71~73は、投影装置91~93を協調して制御することができる。その結果、制御装置71~73は、例えば、ロボット2と投影装置91~93との位置関係に基づいて、投影装置91~93のいずれか1つまたは2つ以上を選択し、ロボット2に情報を投影する制御が可能になる。これにより、キャンバスCV1~CV6の向きに応じて適切な投影装置91~93から情報を投影することができ、視認性の高い情報を投影させることができる。このように、複数の投影装置を協調して制御する技術には、例えば既存のマルチプロジェクションの技術を用いることができる。
【0065】
さらに、表示システム5および情報処理装置4は、互いに通信可能になっている。これにより、情報処理装置4から出力された情報処理結果は、制御装置71~73にそれぞれ入力される。
【0066】
なお、制御装置71~73は1つに集約されていてもよいし、制御装置71~73の機能をPC400で実現するように構成されていてもよい。また、制御装置71~73は、互いに通信可能になっていなくてもよい。
【0067】
2.2.2.撮像装置
撮像装置81~83は、それぞれロボット2を撮像し、画像を制御装置71~73に出力する機能を有する。撮像装置81~83の各撮像可能範囲(画角)は、ロボット2の一部に設定されていてもよいが、ロボット2の全体に設定されているのが好ましい。これにより、ロボット2の姿勢次第で、1つの撮像装置がマーカーMR1~MR6の全てを撮像できる可能性がある。その結果、必要な撮像装置の数を少なくすることができる。
【0068】
また、表示システム5は、複数の撮像装置81~83を備えることで、ロボット2を多方向から撮像することができる。これにより、撮像装置81~83のうちのいずれかで、マーカーMR1~MR6を撮像できる確率が高くなる。特に撮像装置の数を3つ以上にすれば、この確率を特に高めることができる。本実施形態では、撮像装置の数が3つである場合を例に説明する。
【0069】
撮像装置81~83としては、例えば、CCD(Charge Coupled Device)カメラ、CMOS(Complementary Metal Oxide Semiconductor)カメラ等が挙げられる。
【0070】
2.2.3.投影装置
投影装置91~93は、それぞれロボット2に情報を投影する機能を有する。投影装置91~93の各投影可能範囲(画角)は、ロボット2の一部に設定されていてもよいが、ロボット2の全体に設定されるのが好ましい。これにより、ロボット2の姿勢次第で、1つの投影装置がキャンバスCV1~CV6の全てに投影できる可能性がある。その結果、必要な投影装置の数を少なくすることができる。
【0071】
また、表示システム5は、複数の投影装置91~93を備えることで、ロボット2に対して多方向から情報を表示することができる。これにより、投影装置91~93のうちのいずれかで、キャンバスCV1~CV6に情報を投影できる確率が高くなる。特に投影装置の数を3つ以上にすれば、この確率を特に高めることができる。本実施形態では、投影装置の数が3つである場合を例に説明する。
【0072】
投影装置91~93が投影する情報は、教示されたロボット2の動作を、例えば、数値やテキストのような文字、模様やチャートのような図形で表したものである。このような情報が投影されることにより、例えば、ロボット2の動作を教示する教示作業者は、ロボットアーム10の実際の動きと教示に関する情報の双方を、視点の移動を最小限に抑えつつ把握することができる。これにより、教示作業の効率化を図ることができる。
【0073】
また、例えばロボット2のロボットアーム10やベース11にモニター等を設置して情報を表示させる場合、モニターとロボットアーム10が干渉するおそれがある。また、モニターによって死角になる部分が生まれるため、教示の作業性が低下するおそれもある。これに対し、表示システム5によれば、このような課題を解消することができる。さらに、モニターを設置する必要がないため、教示作業者が作業できるスペースを確保しやすく、かつ、ロボット2の重量や配線長の増大を抑制することができる。また、モニターを備えたティーチングペンダントを用いなくても、教示に関する情報を視認しながら、ロボットアーム10の実際の動きを視認できるため、教示作業者は、その最中に両手を自由に使えるという利点もある。
【0074】
投影装置91~93は、それぞれ、図示しない投影部を有する。投影部は、例えば、光源、光変調素子、投射光学系等を有する。光変調素子としては、例えば、液晶ライトバルブ等が挙げられる。液晶ライトバルブは、マトリクス状に配列された複数の画素からなる矩形の画素領域を有する。液晶ライトバルブでは、映像信号に基づいて画素ごとの光透過率を変更できる。光源から射出された光は、画素領域を透過することで変調され、映像信号に応じた映像がロボット2の外表面に投影される。また、液晶ライトバルブが光の三原色の色ごとに分けられている場合、映像信号に含まれる色情報に応じて、カラーの映像を投影することができる。
【0075】
また、
図4に示す配置例では、撮像装置81と投影装置91、撮像装置82と投影装置92、および、撮像装置83と投影装置93を、それぞれ互いに近接して配置している。これにより、例えば撮像装置81でマーカーMR1が撮像できた場合、投影装置91でキャンバスCV1に情報を投影できる確率が高いと判断できる。このように1つの撮像装置と1つの投影装置をセットにして配置することで、投影装置91~93での映像処理の負荷を下げることができる。なお、撮像装置81~83および投影装置91~93の配置は、
図4に示す配置に限定されない。例えば、撮像装置81と投影装置91とが互いに離れていてもよい。また、撮像装置と投影装置の数が互いに異なっていてもよい。
【0076】
以上のような表示システム5は、好ましくはリアルタイムに作動するようになっている。つまり、ロボット2の姿勢が変化した場合、撮像装置81~83が取得した画像から姿勢の変化を検出することができる。これにより、キャンバスCV1~CV6の位置や大きさの変化に合わせて、表示システム5が表示する情報を変化させることができる。その結果、表示システム5は、ロボット2の姿勢の変化に追従して、表示する情報をリアルタイムに変化させることができる。
【0077】
また、表示システム5は、ロボット2に動作を教示すること以外の用途、例えば、動作を教示済みのロボット2について動作を確認する用途に用いられてもよい。
【0078】
3.教示方法
次に、実施形態に係る教示システムを用いた教示方法の一例について説明する。
図7は、実施形態に係る教示システムを用いた教示方法の一例を説明するためのフローチャートである。
【0079】
ステップS102では、まず、
図4に示すように、ロボットシステム100の周りに、カメラ付きプロジェクター501~503を配置する。
【0080】
次に、ロボット2に対するカメラ付きプロジェクター501~503の相対的な位置を、制御装置71~73に登録する。この登録には、例えば、ロボット2のベース11に置いた校正用のマーカーを用いる。このマーカーを撮像装置81~83で撮像し、マーカーの位置や大きさ等を検出する。これにより、ロボット2に対する撮像装置81~83の相対的な位置を登録できる。また、撮像装置81~83に対する投影装置91~93の相対的な位置に基づいて、ロボット2に対する投影装置91~93の相対的な位置を登録できる。
【0081】
次に、ロボット2の動作の教示を行う。例えば、情報処理装置4にポイントデータを読み込ませて、エンドエフェクター20の経路を作成する。また、ロボット2の動作の設定を行う。例えば、情報処理装置4に動作パラメーターを読み込ませて軌道を作成する。
【0082】
ステップS104では、シミュレーション部46により、作成した軌道でロボットアーム10を動かすシミュレーションを行う。そして、シミュレーションの結果に基づいて、情報処理部444が表示システム5に表示させる情報を作成する。
【0083】
ステップS106では、ロボット2に投影する情報の種類を教示作業者に選択させるため、表示部404に情報の種類を表示する。そして、入力部402で入力を受け付けることにより、選択された情報を記録する。
【0084】
ステップS108では、制御装置71~73により、情報処理装置4からの情報処理結果を取得するとともに、撮像装置81~83から画像を取得する。また、マーカーMR1~MR6を検出する。そして、投影装置91~93に投影させる映像信号を作成する。
【0085】
ステップS110では、表示システム5により、ロボット2に対して情報を投影する。これにより、ロボット2に情報を表示する。
【0086】
ステップS112では、ロボット制御部442により、教示された動作を再生する。これにより、ロボット2が実際に動作する。
ステップS114では、表示システム5により、ロボット2の動作に合わせて、ロボットアーム10に投影する情報を変更する。これにより、投影する情報をリアルタイムに変化させることができる。具体的には、ロボット2の動作に合わせて、情報を表す文字、図形、色、明滅等をリアルタイムに変化させる。これにより、教示作業者は、情報の意味を直感的に把握しやすくなる。
【0087】
図8は、実施形態に係る表示システム5が表示する情報の種類の一例を示す表である。
図8に示すように、表示システム5が表示する情報としては、例えば、
(A-1)ジョイントJ1~J6の移動方向、
(A-2)ジョイントJ1~J6のパルス数、
(A-3)ジョイントJ1~J6のトルク、
(A-4)ジョイントJ1~J6の制御フラグ、
(A-5)ジョイントJ1~J6と干渉物との距離、
(A-6)力センサー22のセンサー値や波形、
等が挙げられる。なお、
図8には、表示する情報のイメージも併せて示している。
【0088】
情報(A-1)の一例として、
図5に示すキャンバスCV1には、ジョイントJ1の移動方向が矢印で表示されている。キャンバスCV1は、ジョイントJ1の近傍に設定されている。このため、教示作業者は、同一視野内で、キャンバスCV1に表示されているジョイントJ1の移動方向と、ジョイントJ1の実際の動きと、を視認することができるので、少ない負担で直感的に教示の状態を確認することができる。
【0089】
情報(A-2)および情報(A-3)は、例えば、
図8に示すように、数値やテキストで表示される。このように文字を含む情報を表示することで、誤解の少ない情報を教示作業者に伝えることができる。なお、制御フラグとしては、例えば、ジョイントJ1~J6の基準角度からの回動角がしきい値以上であるか否かを示す値、ロボットアーム10の特定の姿勢をハンド(Hand)、肘(Elbow)、手首(Wrist)等の用語で表現した値等が挙げられる。
【0090】
情報(A-2)および情報(A-3)の別の例として、
図5に示すキャンバスCV4、CV5にも、数値やテキスト等の文字を含む情報が表示されている。
【0091】
情報(A-4)は、例えば、
図8に示すように、矢印で表示される。この矢印は、例えば、該当するジョイントから最も近い位置にあって干渉するおそれのある物体(干渉物)の方向を、図形の特性を活かして直感的に示している。また、干渉物までの距離を数値で表示してもよい。この場合、干渉物までの距離が特に短くなった場合、表示されている情報の色を変更する等してもよい。つまり、表示システム5が表示する色は、単色であってもよいが、多色であることが好ましい。これにより、情報の変化を教示作業者の色覚に訴えかけることができ、例えば緊急度等の状況の変化をよりわかりやすく伝えることができる。
【0092】
情報(A-5)は、例えば、
図8に示すように、数値やテキストで表示される。情報(A-5)の別の例として、
図5に示すキャンバスCV2、CV3には、干渉物の距離等を色や模様の変化で表す図形が表示されている。
情報(A-6)は、例えば、
図8に示すように、力センサー22のセンサー値や波形を示すグラフ(チャート)等で表示される。
【0093】
上述した情報の他に、表示システム5が表示する情報の例としては、図示しないが、
(B-1)ロボットアーム10の現在位置、
(B-2)ロボットアーム10の加減速度の実際値またはシミュレーションにおける想定値、
(B-3)ロボットアーム10の目的地までの距離、
(B-4)ロボットアーム10の累積移動距離、
(B-5)TCP座標系における干渉物との最近接距離、
(B-6)ロボット2の動作時間またはシミュレーションにおける動作時間、
(C-1)ロボット2に対するI/O(入出力)の状況、
(C-2)ロボット2に対する動作命令の状況、
(C-3)教示作業者が任意に定義した変数の値、
等が挙げられる。これらの情報も、例えば数値やテキスト等の文字、チャートを含む図形等で表示される。
【0094】
このように、ロボット2に投影されている情報と、ロボット2の実際の動きと、を見比べることができれば、例えば、教示された動作に無駄があるか否かを確認すること、動作に伴うロボットの実際の動きの傾向を把握すること、過負荷等のリスクを事前に把握すること等がより容易になる。このため、教示内容を効率よく改善することができるとともに、不具合を早期に予測することができる。
【0095】
また、表示内容は、固定であってもよいが、教示された動作の進捗に応じてリアルタイムに変化することが好ましい。これにより、教示作業者は、教示された動作と、ロボット2の動きと、の関係を、より的確に把握することができる。
【0096】
特に、情報(A-1)~(A-6)は、いずれも各ジョイントに固有の情報である。このため、ジョイントに固有の情報を、そのジョイントに対応するキャンバスに投影することで、教示作業者は、情報とジョイントとの関係をより直感的に把握することができる。その結果、教示作業者は、教示内容の改善、不具合の予測を、より効率よく行うことができる。
【0097】
ステップS116では、教示された動作の再生を終了するか否か、判断する。例えば、ロボット2に投影されている情報と、ロボット2の実際の動きと、を見比べた結果、不具合等が認められず、教示内容を改善する必要がないと判断できた場合等には、動作の再生を終了させる。動作の再生を終了する場合、つまり、判断の結果がYESの場合、教示作業者は、終了を指示する操作を入力部402から入力する。これにより、ステップS118に移行する。ステップS118では、表示システム5による情報の表示を終了する。これにより、教示した動作が良好であるとみなすことができる。
【0098】
一方、動作の再生を終了しない場合、つまり、判断の結果がNOの場合、ステップS120に移行する。例えば、動作の再生においてロボット2の実際の動きに不具合が認められた場合等は、動作の再生を終了しないで、動作の確認を継続する必要がある。そこで、ステップS120では、動作の設定を変更する。例えば、ステップS102で読み込ませた動作パラメーターの初期値とは異なる動作パラメーターを情報処理装置4に読み込ませ、新たな軌道を作成する。そして、ステップS106に移行する。ステップS106では、新たな軌道について、再び、表示させる情報の選択を行わせる。
【0099】
以上のようにして、ロボット2の動作に不具合等が認められなくなるまで、動作パラメーターの変更を繰り返す。これにより、ロボット2の教示が完了する。
【0100】
4.実施形態が奏する効果
以上のように、実施形態に係る表示システム5は、ジョイントJ1~J6を備えるロボットアーム10が動作しているとき、ロボットアーム10に情報を表示するシステムである。このような表示システム5は、複数の撮像装置81~83と、複数の投影装置91~93と、制御装置71~73と、を備える。撮像装置81~83は、ロボットアーム10に設けられているマーカーMR1~MR6を撮像する。投影装置91~93は、ロボットアーム10に情報を投影する。制御装置71~73は、撮像装置81~83で撮像されたマーカーMR1~MR6の画像に基づいて、動作中のロボットアーム10に追従して情報を投影する。
【0101】
このような表示システム5によれば、作業者に、ロボットアーム10の実際の動きを視認させつつ、ロボットアーム10の動作に関する情報を効率よく視認させることができる。これにより、表示システム5をロボット2の動作の教示に用いた場合、教示作業者は、ロボットアーム10の実際の動きと教示に関する情報の双方を、視点の移動を最小限に抑えつつ把握することができる。これにより、教示作業の効率化を図ることができる。
【0102】
また、ロボット2にモニター等を設置する必要がないため、作業者が作業できるスペースを確保しやすい、ロボット2の重量や配線長の増大を抑制できる、という利点もある。さらに、モニターを用いたティーチングペンダントを用いなくても、教示に関する情報を視認しながら、ロボットアーム10の実際の動きを視認することができるため、教示作業者は、その最中に両手を自由に使えるという利点もある。
【0103】
また、実施形態に係る表示システム5では、投影装置91~93が投影する情報が、ジョイントJ1~J6の移動方向、ジョイントJ1~J6のパルス数、ジョイントJ1~J6のトルク、ジョイントJ1~J6の制御フラグ、または、ジョイントJ1~J6と干渉物との距離、を含む。
【0104】
このような構成によれば、作業者は、同一視野内で、キャンバスCV1に表示されているジョイントJ1の移動方向と、ジョイントJ1の実際の動きと、を視認することができる。このため、表示システム5をロボット2の動作の教示に用いた場合、教示作業者は、少ない負担で直感的に教示の状態を確認することができる。
【0105】
また、実施形態に係る表示システム5では、ロボットアーム10が、複数のジョイントJ1~J6を備えている。そして、投影装置91~93は、複数のジョイントJ1~J6に対応した複数の領域であるキャンバスCV1~CV6に、情報を投影する。
【0106】
このような構成によれば、ジョイントJ1~J6とキャンバスCV1~CV6とが対応しているため、作業者は、各キャンバスに投影された情報と、それに対応するジョイントと、を容易に紐づけることができる。
【0107】
また、実施形態に係る表示システム5では、投影装置91~93が、ジョイントJ1~J6に関する固有の情報を、ジョイントJ1~J6に対応した領域であるキャンバスCV1~CV6に投影する。
【0108】
このような構成によれば、ジョイントJ1~J6に固有の情報を、そのジョイントJ1~J6に対応するキャンバスCV1~CV6に投影するため、作業者は、情報とジョイントJ1~J6との関係をより直感的に把握することができる。
【0109】
また、実施形態に係る表示システム5では、投影装置91~93が投影する情報が、文字または図形を含んでいる。
【0110】
投影される情報が文字を含んでいる場合、誤解の少ない情報を作業者に伝えることができる。また、投影される情報が図形を含んでいる場合、図形の特性を活かして情報を作業者に直感的に伝えることができる。
【0111】
また、実施形態に係る表示システム5では、投影装置91~93が投影する情報が、複数の色を含んでいる。
【0112】
このような構成によれば、表示されている情報の色を変更することができるので、情報の変化を作業者の色覚に訴えかけることができ、例えば緊急度等の状況の変化をわかりやすく伝えることができる。
【0113】
また、実施形態に係る教示システム1は、表示システム5と、情報処理装置4(教示装置)と、を備える。情報処理装置4は、ロボットアーム10を備えるロボット2の動作を教示する。
【0114】
このような教示システム1によれば、教示作業者は、ロボットアーム10の実際の動きと教示に関する情報の双方を、視点の移動を最小限に抑えつつ把握することができる。これにより、教示作業の効率化を図ることができる。
【0115】
また、ロボット2にモニター等を設置する必要がないため、教示作業者が教示作業できるスペースを確保しやすい、ロボット2の重量や配線長の増大を抑制できる、という利点もある。さらに、モニターを用いたティーチングペンダントを用いなくても、教示に関する情報を視認しながら、ロボットアーム10の実際の動きを視認することができるため、教示作業者は、その最中に両手を自由に使えるという利点もある。
【0116】
以上、本発明に係る表示システムおよび教示システムを図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではない。
【0117】
例えば、本発明に係る表示システムおよび教示システムは、それぞれ前記実施形態の各部が同様の機能を有する任意の構成物に置換されたものであってもよく、前記実施形態に任意の構成物が付加されたものであってもよい。
【符号の説明】
【0118】
1…教示システム、2…ロボット、3…コントローラー、4…情報処理装置、5…表示システム、10…ロボットアーム、11…ベース、20…エンドエフェクター、22…力センサー、32…処理回路、34…記憶回路、42…記録部、44…処理部、46…シミュレーション部、71…制御装置、72…制御装置、73…制御装置、81…撮像装置、82…撮像装置、83…撮像装置、91…投影装置、92…投影装置、93…投影装置、100…ロボットシステム、400…PC、402…入力部、404…表示部、422…CADデータ読込部、424…ポイント教示部、426…初期パラメーター記憶部、442…ロボット制御部、444…情報処理部、446…チャート作成部、501…カメラ付きプロジェクター、502…カメラ付きプロジェクター、503…カメラ付きプロジェクター、742…情報取得部、744…映像処理部、CV1…キャンバス、CV2…キャンバス、CV3…キャンバス、CV4…キャンバス、CV5…キャンバス、CV6…キャンバス、E1…エンコーダー、E2…エンコーダー、E3…エンコーダー、E4…エンコーダー、E5…エンコーダー、E6…エンコーダー、J1…ジョイント、J2…ジョイント、J3…ジョイント、J4…ジョイント、J5…ジョイント、J6…ジョイント、M1…モーター、M2…モーター、M3…モーター、M4…モーター、M5…モーター、M6…モーター、MR1…マーカー、MR2…マーカー、MR3…マーカー、MR4…マーカー、MR5…マーカー、MR6…マーカー、S102…ステップ、S104…ステップ、S106…ステップ、S108…ステップ、S110…ステップ、S112…ステップ、S114…ステップ、S116…ステップ、S118…ステップ、S120…ステップ