特許 7477633 ロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-22

(45)【発行日】2024-05-01

(54)【発明の名称】ロボットシステム

(51)【国際特許分類】

   B25J 9/10 20060101AFI20240423BHJP

   B25J 5/00 20060101ALI20240423BHJP

   B25J 13/08 20060101ALI20240423BHJP

【ＦＩ】

B25J9/10 A

B25J5/00 A

B25J13/08 A

【請求項の数】 6

(21)【出願番号】P 2022555495

(86)(22)【出願日】2021-10-05

(86)【国際出願番号】 JP2021036767

(87)【国際公開番号】W WO2022075303

(87)【国際公開日】2022-04-14

【審査請求日】2023-05-12

(31)【優先権主張番号】P 2020170372

(32)【優先日】2020-10-08

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100160794

【弁理士】

【氏名又は名称】星野 寛明

(72)【発明者】

【氏名】高橋 悠太郎

(72)【発明者】

【氏名】藁科 文和

(72)【発明者】

【氏名】吉田 順一郎

【審査官】仁木 学

(56)【参考文献】

【文献】特開２０１８－０５８１４２（ＪＰ，Ａ）

【文献】特開平０４－０４８３０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ ー ２１／０２

(57)【特許請求の範囲】

【請求項1】

ロボットと、
前記ロボットを搭載して所定の作業スペースに移動するためのロボット搬送装置と、
前記作業スペースに設置された少なくとも２つのターゲットマークと、
前記少なくとも２つのターゲットマークを前記ロボットに設けた視覚センサでステレオ計測して３次元位置を求めるターゲットマーク位置取得部と、
取得した前記３次元位置から前記ロボットと前記作業スペースの所期の相対位置からのずれ量を求めるずれ量取得部と、
取得した前記ずれ量を用いて前記ロボットを規定の動作量から補正した値で動作させるロボット制御部と、を備え、
作業を行う直前あるいは途中に１つのターゲットマークを計測してその位置を求め、得られた前記ずれ量が予め設定した閾値を超えている場合に、現時点の作業スペースの全てのターゲットマークを計測して前記ずれ量を取得し直す、ロボットシステム。

【請求項2】

ロボットと、
前記ロボットを搭載して所定の作業スペースに移動するためのロボット搬送装置と、
前記作業スペースに設置された少なくとも２つのターゲットマークと、
前記少なくとも２つのターゲットマークを前記ロボットに設けた視覚センサでステレオ計測して３次元位置を求めるターゲットマーク位置取得部と、
取得した前記３次元位置から前記ロボットと前記作業スペースの所期の相対位置からのずれ量を求めるずれ量取得部と、
取得した前記ずれ量を用いて前記ロボットを規定の動作量から補正した値で動作させるロボット制御部と、を備え、
前記作業スペースである工作機械に侵入する途中あるいは侵入直前に、前記工作機械に設けられたターゲットマークで位置決めした後、前記作業スペースである工作機械の中に入り、前記工作機械の内部に設けられたターゲットマークを用いて前記工作機械における前記ずれ量を求める、ロボットシステム。

【請求項3】

前記工作機械に侵入前に、前記ロボットと前記工作機械との間隔が予め設定した閾値以下となったときにアラームを発する、請求項２に記載のロボットシステム。

【請求項4】

前記視覚センサは、前記ロボットの可動部に設けられる、請求項１から３いずれかに記載のロボットシステム。

【請求項5】

前記ターゲットマークは、前記作業スペースに少なくとも３つ設置され、
前記視覚センサは、前記ロボットの手先部に設けられ、
前記ロボット制御部は、３次元的に前記ロボットを動作させる、請求項１から４いずれかに記載のロボットシステム。

【請求項6】

前記ロボットの動作プログラムと、前記視覚センサの計測設定と前記ずれ量の算出プログラムを含む画像処理プログラムと、前記視覚センサのカメラキャリブレーションデータが予め設定されるとともにパッケージされている、請求項１から５いずれかに記載のロボットシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットシステムに関する。

【背景技術】

【0002】

近年、例えば、台車やＡＧＶ（Automated Guided Vehicle：無人搬送車）にロボットを載せて移動させ、工作機械などの産業用機械の作業スペースの側近に配置したロボットによって各種作業を自動化する技術手法が多数提案されている。

【0003】

ここで、例えば工作機械と台車やＡＧＶなどを用いて所定の位置に配置されるロボットを備えたシステムにおいては、ロボットが工作機械に対して加工対象物のロード／アンロードといった様々な作業を行う場合に、ロボットを搭載した台車やＡＧＶの停止位置が変わるため、ロボットは毎回同じ動作をしているだけでは十分に必要作業に対応することができない。
このため、工作機械に対する台車やＡＧＶの停止位置のずれを計測し、作業スペースに対して正しく作業を行うことができるように、ロボットの動作に補正をかけることが必要になる。

【0004】

ロボットの動作に補正をかける手法としては、例えば、ロボットの手先にカメラを取り付け、このカメラを用いて作業スペースに設けたターゲットマークを検出することによって、ロボットと工作機械などの作業スペースの相対位置関係を求め、位置ずれ分を補正する手法が提案されている。

【0005】

例えば、特許文献１には、「アームに視覚センサを取著したプレイバック方式作業ロボットを備え、該作業ロボットの作業ステーションへの進入停止時、作業プログラムの開始に先立って、上記作業ステーションにおける所定個所表面に設けた２個のマークを上記視覚センサを鉛直姿勢にして撮像して画僅処理装置により上記マークの水平座梗を求め、該水平座橿と教示水平座標とのずれを演算し、教示した作業プログラムの水平座種を上記ずれで補正して該作業プログラムを実行する移動ロボットにおいて、上記作業プログラムの開始に先立って上記視覚センサを所定角度θだけ傾斜して上記マークを撮像するステップを有し、その画像から該マークの水平座標を演算し、この水平座標と、同一傾斜姿勢における教示水平座標とのずれから垂直方向のずれ分σを取り出して、式：△ｈ＝σ／ｓｉｎθに基づく演算を実行し、この△ｈの値を用いて、教示した上記作業プログラムの垂直座標を補正することを特徴とする移動ロボットの座標補正方法。」が開示されている。

【0006】

特許文献２には、「自立走行する走行部と,該走行部上に搭載された教示再生型ロボットのアーム部とを備え、上記走行部によりロボット作業の目的地点に向けて走行し目的地点で停止したとき、上記アーム部に設けられた視覚センサにより上記目的地点の所定位置に取り付けられた較正マークを撮像し、該撮像画像に基づいて上記目的地点での停止位置の教示位置からの誤差を較正する自立走行ロボットの三次元位置姿勢較正方法において、上記撮像画像の所定位置に上記較正マークの画像が所定形状、所定サイズで撮像されるように上記アーム部の各動作軸を駆動させ、該各動作軸の駆動量から三次元位置・姿勢の較正量を求め、該較正量に基づいて上記アーム部の教示データを三次元的に較正することを特徴とする自立走行ロボットの三次元位置姿勢較正方法。」が開示されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開平０３－２８１１８２号公報

【文献】特開平０９－０７０７８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、台車やＡＧＶ上にロボットを載せ、毎回ロボットの位置がずれてしまう場合には、カメラなどを用いて容易に３次元的に補正をかけて作業ができるようにすることが強く望まれている。
すなわち、単に作業ができるというだけではなく、ユーザにその難しさを特に意識させることなく、簡単に素早く作業可能にすることが強く望まれている。

【課題を解決するための手段】

【0009】

本開示のロボットシステムの一態様は、ロボットと、前記ロボットを搭載して所定の作業スペースに移動するためのロボット搬送装置と、前記作業スペースに設置された少なくとも２つのターゲットマークと、前記少なくとも２つのターゲットマークを前記ロボットに設けた視覚センサでステレオ計測して３次元位置を求めるターゲットマーク位置取得部と、取得した前記３次元位置から前記ロボットと前記作業スペースの所期の相対位置からのずれ量を求めるずれ量取得部と、取得した前記ずれ量を用いて前記ロボットを規定の動作量から補正した値で動作させるロボット制御部と、を備える構成とする。

【発明の効果】

【0010】

本開示のロボットシステムの一態様によれば、台車やＡＧＶなどのロボット搬送装置の移動でロボットの位置がずれてしまう場合でも、３次元的に補正をかけて正確な相対位置でロボットが作業できるようになる。

【0011】

２点以上のターゲットマークをそれぞれステレオ計測することで、例えば、安価な２次元カメラを用いて３次元的に補正をかけることが可能になる。

【0012】

ユーザが座標系の概念やビジョンの設定などを意識せずとも、自動的に補正がかけられ、ロボットを精度よく好適に動作させて作業を実施することが可能になる。

【図面の簡単な説明】

【0013】

【図1】本開示のロボットシステムの一態様を示す図である。

【図2】本開示のロボットシステムの一態様を示すブロック図である。

【図3】ターゲットマークをロボットに設けた視覚センサでステレオ計測して３次元位置を求める方法、手順の説明で用いた図である。

【図4】ターゲットマークをロボットに設けた視覚センサでステレオ計測して３次元位置を求める方法、手順の説明で用いた図である。

【図5】ターゲットマークをロボットに設けた視覚センサでステレオ計測して３次元位置を求める方法、手順の説明で用いた図である。

【図6】取得した３次元位置からロボットと作業スペースの所期の相対位置からのずれ量を求め、取得したずれ量を用いて補正を行う方法、手順の説明で用いた図である。

【発明を実施するための形態】

【0014】

以下、図１から図６を参照し、本発明の一実施形態に係るロボットシステムについて説明する。

【0015】

本実施形態のロボットシステム１は、図１及び図２に示すように、ロボット２と、ロボット２を搭載して所定の作業スペース（作業領域）に移動し、ロボット２を所定位置で作業を行うためのロボット搬送装置３と、作業スペースに設置された少なくとも２つのターゲットマーク４と、少なくとも２つのターゲットマーク４をロボット２に設けた視覚センサ５１でステレオ計測して３次元位置を求めるターゲットマーク位置取得部５と、取得した３次元位置からロボット２と作業スペースの所期の相対位置からのずれ量を求めるずれ量取得部６と、取得したずれ量を用いてロボット２が規定の動作量から補正した値で動作させるロボット制御部７と、を備えている。

【0016】

ターゲットマーク位置取得部５が備える視覚センサ５１は、ロボット２の可動部に設けられる。具体的には、視覚センサ５１は、ロボット２の手先部、手首部、腕部などの可動部に設けられる。本実施形態ではステレオ計測するため、視覚センサ５１としては、安価な２次元カメラを用いることができる。

【0017】

図１に示すロボット２は、６軸構成のロボットである。本実施形態においてターゲットマーク４は、作業スペースに少なくとも３つ設置されることが好ましい。この場合、図１に示すように視覚センサ５１をロボット２の手先部２１に設けることにより、ロボット制御部７は、３次元的に６自由度の補正を行ってロボット２を動作させるように構成されている。

【0018】

本実施形態のロボットシステム１においては、例えば、ロボット２の動作プログラムと、視覚センサ５１の計測設定とずれ量の算出プログラムを含む画像処理プログラムと、視覚センサ５１のカメラキャリブレーションデータが予め設定されるとともにパッケージされて、記憶部８に記憶されている。これについては後段で詳しく説明する。

【0019】

また、本実施形態のロボットシステム１においては、ロボット２の動作プログラムと、視覚センサ５１の計測作業を行う直前あるいは途中に１つのターゲットマーク４を計測してその位置を求め、判定部９によって、得られたずれ量が予め設定した閾値を超えているか否かが判定される。そして、判定の結果、閾値を超えている場合に、現時点の作業スペースの全てのターゲットマーク４を計測してずれ量を取得し直すように構成されている。

【0020】

また、本実施形態のロボットシステム１においては、作業スペースである工作機械１０に侵入する途中あるいは侵入直前に、工作機械１０に設けられたターゲットマーク４でおおまかに位置決めした後、作業スペースである工作機械１０の中に入り、工作機械１０内部に設けられたターゲットマーク４を用いて工作機械１０における正確なずれ量を求めるように構成されている。

【0021】

さらに、本実施形態のロボットシステム１においては、警告部１１を備え、工作機械１０に侵入する前に、ロボット２と工作機械１０との間隔が予め設定した閾値以下となったときに警告部１１がアラームを発するように構成されている。

【0022】

上記構成からなる本実施形態のロボットシステム１においては、作業スペースに２点以上のターゲットマーク４を貼り付けるなどして設置し、それぞれのターゲットマーク４をステレオ計測して３次元位置を求める。好ましくは、ターゲットマークは３つ設定され、この場合、作業スペースの内部に少なくとも２つ、外部に少なくとも１つのターゲットマーク４を設置する。

【0023】

例えば、図３から図５に示すように、カメラからなる視覚センサ５１（ターゲットマーク位置取得部５）の位置を変えて同一のターゲットマーク４を２回検出することにより、そのターゲットマーク４の３次元位置（Ｘ，Ｙ，Ｚ）を計測する。

【0024】

このとき、２台のカメラ（ターゲットマーク位置取得部５、視覚センサ５１）位置で１つのターゲットマーク４を検出し、その２つの検出結果に基づいてステレオ計算でターゲットマーク４の３次元位置を計算する。例えば、カメラからターゲットマーク４に向かう視線を検出（Ｘ，Ｙ，Ｗ’，Ｐ’，Ｒ’）し、２つの視線データを使ってステレオ計算によってワークの３次元位置を算出する。なお、Ｗ’，Ｐ’は視線を表す方向ベクトル、Ｒ’はターゲット周りの角度である。

【0025】

また、本実施形態の好ましい態様では、工作機械１０の表面に設置した３個のターゲットマーク４をそれぞれステレオ計測して各ターゲットマーク４の３次元位置（Ｘ，Ｙ，Ｚ）を計測する。３個のターゲットマーク４をそれぞれステレオ計測によって、合計で６回の検出を行うことになる。

【0026】

次に、得られた３個のターゲットマーク４の３次元位置を合成することによって、ロボット２に対する工作機械１０の３次元的な位置と姿勢を求める。すなわち、１つの対象物上の３カ所を３次元計測し、それらの計測結果を合成して対象物全体の位置と姿勢を求める。本実施形態では、工作機械１０の表面上の３カ所を計測し、工作機械１０全体の位置と姿勢を算出する。

【0027】

例えば、３つのターゲットマーク４の３次元位置（Ｘ，Ｙ，Ｚ）から工作機械全体の３次元位置（Ｘ，Ｙ，Ｚ，Ｗ，Ｐ，Ｒ）を計算する。このとき、１点目のターゲットマーク４の位置を原点、２点目のターゲットマーク４の位置をＸ軸方向点、３点目のターゲットマーク４の位置をＸＹ平面上の点として決まる座標系を計算することで、工作機械全体の３次元位置（Ｘ，Ｙ，Ｚ，Ｗ，Ｐ，Ｒ）を計算する。

【0028】

次に、図６に示すように、計算した工作機械の３次元位置からロボット２と工作機械上の作業スペースの３次元６自由度的な位置のずれを求め、ロボット２の動作を補正する。

【0029】

本実施形態では、実際の３次元の検出位置及び姿勢と、元々の基準位置及び姿勢とからずれ量を計算する。実際の検出位置にある工作機械が基準位置にあるそれと重なるように座標系自体を移動・回転し、ここで求めた座標系の移動量をずれ量（補正量）とすることによって、ロボット２の所定の動作に補正をかける。なお、図３から図５は２次元で示しているが、３次元でも基本的に変わらない。

【0030】

そして、本実施形態では、上記のロボット２の補正方法を基本としてすべての設定項目を最初から設定済みにしておき、パッケージとして使用可能にする。パッケージの具体的な構成要素としては、ロボット２の動作プログラム、画像処理プログラム、カメラキャリブレーションデータである。これらは、予め記憶部８に記憶されている。

【0031】

記憶部８には、ロボット２の手先部２１に設定される座標系（メカニカルインターフェース座標系）を基準としたカメラ（視覚センサ５１）のキャリブレーションデータ、すなわちメカニカルインターフェース座標系におけるキャリブレーションデータが記憶されている。一方、ロボット制御部７は、ロボット座標系におけるカメラ（視覚センサ５１）の撮像時のロボット２の手先部２１の位置を把握することができる。そのため、記憶部８に記憶されたキャリブレーションデータにより、センサ座標系の２次元点とメカニカルインターフェース座標系の３次元点とを対応付けて、さらにロボット制御部７により把握されるロボット２の手先部２１の位置に応じて、メカニカルインターフェース座標系をロボット座標系に座標変換することで、カメラ（視覚センサ５１）の撮像時のセンサ座標系の２次元点とロボット座標系の３次元点とを対応付けることができる。すなわち、ロボット座標系から見たセンサ座標系の位置姿勢を求めることができ、これにより３次元位置の計測が可能となっている。

【0032】

また本実施形態では、ロボット２が作業スペースに対して作業を行う途中あるいは直前に、まずはターゲットマーク１点だけをビジョンで計測し、その計測結果が上記操作を実施した時と同じであれば、上記操作を実施して以降ロボットと作業スペースの位置関係は変わっていないと判断してそのまま作業を継続し、違っているようであれば、作業を中断して再度上記操作を行う。

【0033】

毎回必ずすべてのターゲットマーク４の計測を行うのでは時間がかかるが、本実施形態の手法であれば短縮可能である。また、同じ位置と判断する閾値は、システムのトータルの要求精度に応じて設定可能である。

【0034】

なお、本実施形態のように作業スペースが工作機械１０である場合（工作機械１０の内部（内側）に設定されている場合）には、ロボット２が工作機械１０に侵入する途中あるいは侵入直前に、工作機械１０の外側に設けられたターゲットマーク４でラフに位置決めした後、工作機械１０の中に入り、その後、工作機械１０内部に設けられたターゲットマーク４で正確に位置決め（２段階位置決め）をする。

【0035】

また、精度が必要な場合は、工作機械１０の内部のテーブルなどに対して位置決めしたいが、工作機械１０の間口が狭い時には、計測なしではロボット２が工作機械１０の入口に接触する可能性がある。この場合には、接触しないようにロボット２を動かすことができ、接触しそうなときはアラームを上げるようにすればよい。

【0036】

したがって、本実施形態のロボットシステム１によれば、台車やＡＧＶなどのロボット搬送装置３の移動でロボット２の位置がずれてしまう場合でも、３次元６自由度的に補正をかけてロボット２が作業できるようになる。そのため、３次元６自由度での補正により、単純なＸＹＺだけの３次元の補正では不可能な補正、例えば床が平坦でない場合や歪んでいる場合にも補正が可能である。

【0037】

また、２点以上のターゲットマークをそれぞれステレオ計測することで、例えば、安価な２次元カメラを用いて３次元的に補正をかけることが可能になる。特に、３点以上のターゲットマーク４をそれぞれステレオ計測することで、安価な２次元カメラでも６自由度の補正をかけることができる。２点の場合は、その２点を結ぶ線分を軸とする回転量は同定することができない。しかし、この回転量がシステム構成上変化しにくい場合には、十分に実用的な構成となる。

【0038】

さらに、ユーザが座標系の概念やビジョンの設定などを意識せずとも、自動的に補正がかけられ、ロボット２が作業可能になる。

【0039】

以上、ロボットシステムの一実施形態について説明したが、上記の一実施形態に限定されるものではなく、その趣旨を逸脱しない範囲で適宜変更可能である。

【符号の説明】

【0040】

１ ロボットシステム
２ ロボット
３ ロボット搬送装置
４ ターゲットマーク
５ ターゲットマーク位置取得部
６ ずれ量取得部
７ ロボット制御部
８ 記憶部
９ 判定部
１０ 工作機械（産業用機械）
１１ 警告部
２１ 手先部
５１ 視覚センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】