特開 2017-80873 画像取込機能を備えるロボットアーム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-80873(P2017-80873A)

(43)【公開日】2017年5月18日

(54)【発明の名称】画像取込機能を備えるロボットアーム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20170414BHJP

【ＦＩ】

   B25J13/08 A

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

【全頁数】10

(21)【出願番号】特願2016-204817(P2016-204817)

(22)【出願日】2016年10月19日

(31)【優先権主張番号】201510700701.0

(32)【優先日】2015年10月26日

(33)【優先権主張国】CN

(71)【出願人】

【識別番号】505390314

【氏名又は名称】廣明光電股▲ふん▼有限公司

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】▲黄▼ 識忠

(72)【発明者】

【氏名】王 思▲ふん▼

(72)【発明者】

【氏名】王 培睿

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS01

3C707BS09

3C707DS01

3C707ES03

3C707KS08

3C707KT01

3C707KT05

3C707KT11

3C707KT15

(57)【要約】

【課題】 本発明は、画像取込機能を備えるロボットアームと、ロボットアームを使用して画像を取り込むための方法とを提供する。
【解決手段】 画像取込機能を備えるロボットアームは、本体、取込制御装置、コントローラ及びディスプレイを含む。ロボットアームが操作モードのとき、コントローラは、本体を自動的に制御して本体の１つの末端部における可動部を動かし、可動部に配置されているアイインハンド装置を動かして画像を取り込み、かつ、物体を探す。ロボットアームが手動モードのとき、可動部は、手動で動かされ、アイインハンド装置の隣の取込制御装置は、コントローラであり、アイインハンド装置を手動で起動させて画像を取り込み、かつ、所定の物体の画像ファイルを生成し、それによって、ロボットアームの操作プロセスを簡略化させる。
【選択図】 図１

【特許請求の範囲】

【請求項1】

画像取込機能を備えるロボットアームであって、
ベースに固定される第１末端部と、可動部である第２末端部とを有する本体であり、前記可動部は、それに配置されるアイインハンド装置を有する、本体と、
前記アイインハンド装置の隣に配置され、かつ、前記アイインハンド装置を起動させて画像を取り込むように構成されている、取込制御装置と、
前記本体に連結され、かつ、前記本体を制御して前記可動部を動かすように構成されている、コントローラと、
前記コントローラによって制御され、かつ、前記アイインハンド装置によって取り込まれる画像を表示するように構成されている、ディスプレイと、
を含み、
前記ロボットアームが操作モードのとき、前記コントローラは、前記アイインハンド装置を制御して画像を取り込み、
前記ロボットアームが手動モードのとき、前記取込制御装置は、前記アイインハンド装置を起動させて画像を取り込む、
ロボットアーム。

【請求項2】

前記取込制御装置は、プッシュボタン又はスイッチである、請求項１に記載のロボットアーム。

【請求項3】

前記取込制御装置は、前記可動部に配置されている、請求項１に記載のロボットアーム。

【請求項4】

前記取込制御装置は、前記本体に配置されている、請求項１に記載のロボットアーム。

【請求項5】

前記取込制御装置は、前記アイインハンド装置に配置されている、請求項１に記載のロボットアーム。

【請求項6】

前記ディスプレイは、前記アイインハンド装置に配置されている、請求項１に記載のロボットアーム。

【請求項7】

前記ロボットアームが前記操作モードのとき、前記コントローラは、前記本体を制御して前記可動部を動かし、
前記ロボットアームが前記手動モードのとき、前記可動部は手で動かされる、請求項１に記載のロボットアーム。

【請求項8】

前記コントローラは、メモリ及び画像処理装置を含み、前記コントローラは、予め、前記メモリを制御して、所定の物体の画像ファイルを保存し、かつ、前記アイインハンド装置によって取り込まれる画像を一時的に保存し、前記画像処理装置を制御して前記メモリに一時的に保存される前記画像を処理する、請求項１に記載のロボットアーム。

【請求項9】

前記取込制御装置は、前記アイインハンド装置を起動させて対象物体の画像を取り込み、前記画像処理装置は、前記対象物体の前記画像を処理して所定の物体の画像ファイルを生成し、かつ、前記メモリに前記画像ファイルを保存する、請求項８に記載のロボットアーム。

【請求項10】

ロボットアームを使用して画像を取り込むための方法であって、
前記ロボットアームを手動モードに切り替える工程と、
前記ロボットアームを手動で動かして、アイインハンド装置を対象物体に近づける工程と、
前記アイインハンド装置によって取り込まれる画像を表示するディスプレイと、
前記対象物体が前記ディスプレイに現れるとき、前記アイインハンド装置を起動させて、前記対象物体の画像を取り込む取込制御装置と、
前記対象物体の前記画像を一時的に保存する工程と、
前記対象物体の前記画像を処理して、所定の物体の画像ファイルを生成する工程と、
メモリに前記画像ファイルを保存する工程と、
前記ロボットアームを操作モードに切り替える工程であり、前記ロボットアームは、前記アイインハンド装置を制御して物体の画像を取り込む、工程と、
前記所定の物体の前記画像ファイルに従って、前記物体を識別する工程と、
を含む、
方法。

【請求項11】

前記対象物体が前記ディスプレイに現れる前に、前記ロボットアームを動かし続けて、前記アイインハンド装置を前記対象物体に近づける工程を更に含む、請求項１０に記載の方法。

【請求項12】

前記対象物体の前記画像を一時的に保存する工程は、前記ロボットアームの前記メモリに前記対象物体の前記画像を一時的に保存する工程である、請求項１０に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットアームに関し、特に、画像取込機能（ｉｍａｇｅ ｃａｐｔｕｒｉｎｇ ｆｕｎｃｔｉｏｎ）を備えるロボットアームに関する。

【背景技術】

【0002】

工場では、ロボットアームが、通常、生産効率を高めるために使用されている。スマートロボットアーム（ｓｍａｒｔ ｒｏｂｏｔ ａｒｍｓ）は、視覚装置を搭載して、自動的に移動経路を計画するためか、あるいは、障害物を回避するために、物体の特徴又は外部環境を検出することができ、それにより、自動製造プロセスの生産効率を向上させる。

【0003】

図８は、従来技術のロボットアーム１を図示する。自動操作中、コントローラ２が、ロボットアーム１を制御してアイインハンド（ＥＩＨ：ｅｙｅ ｉｎ ｈａｎｄ）装置３を動かし、外部環境の画像を取り込み、かつ、その画像をメモリ４に一時的に保存する。次いで、コントローラ２は、画像処理装置５を制御して、メモリ４に保存された画像を処理する。処理された画像は、識別のために、メモリ４に以前保存された対象物体６の画像ファイルと比較される。対象物体６が処理された画像で識別されれば、コントローラ２は、ロボットアーム１を制御して、対象物体６を自動的に拾い上げるか、あるいは、置く。

【0004】

メモリ４に保存される物体６の画像ファイルに関し、従来技術では、外部カメラ７を使用して物体６の画像を取り込み、外部画像処理装置８によってその画像を処理して、物体６の形状及び大きさに関する特徴的情報を含むその画像ファイルを生成する。外部画像処理装置８は、ロボットアーム１のインターフェース９に接続され、それにより、画像ファイルを外部画像処理装置８からロボットアーム１へと転送する。コントローラ２が画像ファイルを受信した後、そのファイルは、メモリ４に一時的に保存され、かつ、ディスプレイ１０に表示される。物体６の画像ファイルは、手動で分類されて、将来的な識別で使用するため、メモリ４に保存される。

【0005】

従来技術では、ロボットアーム１は、外部カメラ７及び外部画像処理装置８を使用して物体６の画像ファイルを生成及び処理する。しかし、外部画像処理装置は、より高い処理能力を要求する可能性がある。また、物体６の画像ファイルを転送し、かつ、その画像ファイルをロボットアーム１に保存することは、専門的な技術が必要になる。複雑なプロセスは、一般ユーザーにとって障害となり、生産効率を低下させてしまう。従って、ロボットアームにおける画像の取り込み及び処理に関して解決すべき課題がまだある。

【発明の概要】

【0006】

本発明の一実施形態が開示するのは、画像取込機能を有するロボットアームである。当該ロボットアームは、本体、取込制御装置（ｃａｐｔｕｒｅ ｃｏｎｔｒｏｌ ｄｅｖｉｃｅ）、コントローラ及びディスプレイを含む。

【0007】

本体は、ベースに固定される第１末端部と、可動部である第２末端部とを有する。可動部は、それに配置されているアイインハンド装置を有する。取込制御装置は、アイインハンド装置の隣に配置され、アイインハンド装置を起動させて画像を取り込む。コントローラは、本体に連結され、かつ、本体を制御して可動部を動かす。ディスプレイは、コントローラによって制御され、かつ、アイインハンド装置によって取り込まれる画像を表示するために使用される。

【0008】

ロボットアームが操作モードであるとき、コントローラは、アイインハンド装置を制御して画像を取り込む。ロボットアームが手動モードであるとき、取込制御装置は、アイインハンド装置を起動させて画像を取り込む。

【0009】

本発明の別の実施形態が開示するのは、ロボットアームを使用して画像を取り込むための方法である。当該方法は、ロボットアームを手動モードに切り替える工程と、ロボットアームを手動で動かして、アイインハンド装置を対象物体に近づける工程と、アイインハンド装置によって取り込まれる画像を表示するディスプレイと、対象物体がディスプレイに現れるとき、アイインハンド装置を起動させて、対象物体の画像を取り込む取込制御装置と、対象物体の画像を一時的に保存する工程と、対象物体の画像を処理して、所定の物体の画像ファイルを生成する工程と、メモリにその画像ファイルを保存する工程と、ロボットアームを操作モードに切り替える工程であり、ロボットアームはアイインハンド装置を制御して物体の画像を取り込む、工程と、所定の物体の画像ファイルに従って、物体を識別する工程と、を含む。

【0010】

本発明の上記及びその他の目的が、種々の図形及び図面に図示される好ましい実施形態の以下の詳細な説明を読むと、当業者に明白なであることは言うまでもない。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の一実施形態に従ったロボットアームを図示する。

【図2】図２は、図１のロボットアームの機能ブロックを図示する。

【図3】図３は、機械における対象物体を図示する。

【図4】図４は、図１のロボットアームのディスプレイに表示される図３の対象物体の画像を図示する。

【図5】図５は、本発明の一実施形態に従った、ロボットアームを使用して画像を取り込むための方法のフローチャートを図示する。

【図6】図６は、本発明の別の実施形態に従ったロボットアームを図示する。

【図7】図７は、図６のロボットアームの可動部の上方部を図示する。

【図8】図８は、従来技術のロボットアームを図示する。

【発明を実施するための形態】

【0012】

図１は、本発明の一実施形態に従ったロボットアーム２０を図示する。図２は、ロボットアーム２０の機能ブロックを図示する。ロボットアーム２０は、本体２１、コントローラ２２及びディスプレイ２３を含む。本体２１は、ベース２４に固定される末端部と、可動部２５である末端部とを有する。可動部２５は、それに配置されているアイインハンド装置２６と、物体をクランプするためのクランプ爪（ｃｌａｍｐ ｃｌａｗ）２７とを有する。取込制御装置２８が可動部２５におけるアイインハンド装置２６の隣に配置されている。取込制御装置２８は、プッシュボタン又はスイッチでよい。取込制御装置２８は、アイインハンド装置２６を手動で起動させて画像を取り込むためにある。

【0013】

ロボットアーム２０のコントローラ２２は、本体２１に接続される。コントローラ２２は、メモリ２９及び画像処理装置３０を含む。メモリ２９は、予め、所定の物体の画像ファイルを保存し、かつ、アイインハンド装置２６によって取り込まれる画像を一時的に保存するために、コントローラ２２によって制御される。画像処理装置３０は、メモリ２９に一時的に保存される画像を処理するために、コントローラ２２によって制御される。また、ディスプレイ２３は、ロボットアーム２０におけるアイインハンド装置２６及びユーザーインターフェースによって取り込まれる画像を表示するために、コントローラ２２によって制御される。

【0014】

ロボットアーム２０が操作モードであるとき、コントローラ２２は、本体２１を制御してアイインハンド装置２６と、可動部２５におけるクランプ爪２７とを動かす。コントローラ２２は、アイインハンド装置２６を制御してロボットアーム２０を取り囲む作業環境の画像を取り込み、かつ、作業環境での機械３１における対象物体３２を探すために、ディスプレイ２３を制御して取り込まれた画像を表示する。物体３２がアイインハンド装置２６によって取り込まれるとき、アイインハンド装置２６によって取り込まれた、物体３２を含む画像は、メモリ２９に一時的に保存される。コントローラ２２は、画像処理装置３０を制御してメモリ２９に一時的に保存される画像を処理し、かつ、その画像をメモリ２９に以前保存された所定の物体の画像ファイルと比較して、物体３２が対象物体であるかどうかを識別する。物体３２が対象物体である場合、次いで、コントローラ２２は、ロボットアーム２０の可動部２５を駆動して物体３２に接近し、次の組立又は移動プロセスを処理するために、クランプ爪２７によって物体３２をクランプする。

【0015】

図３は、機械３１における対象物体を図示し、図４は、ディスプレイ２３に表示される対象物体の画像を図示する。ロボットアーム２０が手動モードに切り替えられるとき、アイインハンド装置２６は、取込制御装置２８によって制御されて画像を取り込む。可動部２５を手動で動かすことによって、可動部２５におけるアイインハンド装置２６は、物体３２に近づくことができ、かつ、図３に示される点線のように、物体３２をアイインハンド装置２６のビューウィンドウ（ｖｉｅｗ ｗｉｎｄｏｗ）に出現させることができる。従って、物体３２は、ディスプレイ２３に表示されるだろう。オペレーターは、ディスプレイ２３に表示される物体３２を見て、物体３２が対象物体かどうかを確認することができる。オペレーターは、アイインハンド装置２６のビューウィンドウから、関係ない物体を更に取り除き、対象物体３２がビューウィンドウに完全にとどまることを確実にすることができる。この場合、オペレーターは、固定位置にアイインハンド装置２６を保持して、ディスプレイ２３に表示される対象物体３２の画像を取り込むことができ、かつ、他の装置を操作するためにロボットアーム２０を残さずに、取込制御装置２８を制御することができる。また、オペレーターは、対象物体３２の画像を複数の角度から取り込むことができる。アイインハンド装置２６が対象物体３２の画像を取り込んだ後、画像は、メモリ２９に一時的に保存され、かつ、コントローラ２２の制御の下、画像処理装置３０によって処理される。画像処理装置３０は、対象物体３２の画像を処理して、所定の物体の画像ファイルを生成し、所定の物体の画像ファイルは、将来的な識別のために、メモリ２９に保存される。

【0016】

図５は、本発明の一実施形態に従って、ロボットアームを使用して、画像を取り込むための方法のフローチャートを図示する。ロボットアームを使用して画像を取り込むための方法は、Ｓ１〜Ｓ７のステップを含む。ステップＳ１では、ロボットアームは手動モードに切り替えられる。ステップＳ２では、ロボットアームは手動で動かされて、アイインハンド装置を対象物体に近づける。ステップＳ３では、ディスプレイがアイインハンド装置によって取り込まれる画像を表示する。ステップＳ４は、ディスプレイに対象物体が現れるかどうかをチェックするだろう。対象物体がディスプレイに現れない場合、ステップＳ２に戻り、ロボットアームを動かし続けて、アイインハンド装置を対象物体に近づける。そうでなく、対象物体がディスプレイに現れれば、ステップＳ５に進み、取込制御装置を制御してアイインハンド装置を起動させ、対象物体の画像を取り込む。ステップＳ６では、対象物体の取り込まれた画像は、ロボットアームのメモリに一時的に保存され、かつ、所定の物体の画像ファイルを生成するように処理される。ステップＳ７では、所定の物体の画像ファイルはメモリに保存される。ステップＳ８では、ロボットアームは操作モードに切り替えられ、ロボットアームは、アイインハンド装置を制御して物体の画像を自動的に取り込み、以前に保存された所定の物体の画像ファイルに従って、物体を識別する。

【0017】

図６は、本発明の別の実施形態に従ったロボットアーム３３を図示し、図７は、図６のロボットアーム３３の可動部の上方部を図示する。ロボットアーム３３及びロボットアーム２０は、同様の構造を有するが、ロボットアーム３３及びロボットアーム２０の取込制御装置及びディスプレイは、異なる位置に配置されている。ロボットアーム２０では、取込制御装置は、可動部２５の隣に配置されている。例えば、可動部２５を手動で動かすとき、オペレーターは、一方の手を使用して固定位置におけるアイインハンド装置２６を保持し、アイインハンド装置２６の位置に影響を及ぼすことなく、画像を取り込むために、他方の手を使用して取込制御装置２８を制御し、アイインハンド装置２６を起動させることができる。しかし、本発明は、図１に図示したようなロボットアーム２０に限定されない。図６において、取込制御装置２８は、ロボットアーム３３のアイインハンド装置２６の隣の本体２１に配置されている。従って、オペレーターは、更に、一方の手を使用して固定位置のアイインハンド装置２６を保持し、かつ、アイインハンド装置２６の位置に影響を及ぼすことなく、画像を取り込むために、他方の手を使用して取込制御装置２８を制御し、アイインハンド装置２６を起動させることができ、それにより、画像を取り込むために、取込制御装置２８を制御して、アイインハンド装置２６を起動させ易くすることができる。更に、図７において、ディスプレイ３４は、アイインハンド装置２６に直接配置されている。従って、可動部２５を動かすとき、オペレーターは、ディスプレイを見ることができ、かつ、同時にアイインハンド装置２６を調整することに集中することができる。更に、ディスプレイ３４は、アイインハンド装置２６の表示と平行に配置されることができ、それで、ディスプレイに表示される物体の移動方向は、アイインハンド装置２６の移動方向に直感的に対応しており、それによって、アイインハンド装置で物体を探すとき、スペースの変更に起因してオペレーターが方向感覚の喪失することを防ぐ。

【0018】

取込制御装置がロボットアームに直接配置されているので、ユーザーは、ロボットアームを動かすとき、取込制御装置を使用してアイインハンド装置を起動させ、画像を取り込むことができる。従って、本発明の実施形態によって提供される、ロボットアームを使用して画像を取り込むための方法と、画像取込機能を備えるロボットアームとは、ユーザーがより容易な方法でロボットアームを操作するのを助けることができる。更に、操作モードでは、ロボットアームは、アイインハンド装置を制御して、画像を自動的に取り込むことができる。手動モードでは、オペレーターは、ロボットアームに配置されている取込制御装置を制御して、アイインハンド装置を起動させ、所定の物体の画像を取り込むことができ、取り込まれた画像は、所定の物体の画像ファイルを生成するように処理され得る。所定の物体の画像ファイルは、将来的な識別のために、比較ベース（ｃｏｍｐａｒｉｎｇ ｂａｓｉｓ）で直接保存され、それで、外部画像処理操作を減らすことができ、それによって、ロボットアームを操作するプロセスが簡略化され、かつ、アイインハンド装置の汎用性が増す。

【0019】

当業者であれば、本発明の教示を維持しながら、装置及び方法の多くの変更及び代替が行われ得ることを容易に気付くだろう。従って、上記の開示は、添付した請求項の境界及び範囲（ｍｅｔｅｓ ａｎｄ ｂｏｕｎｄｓ）によってのみ限定されるものとして理解されるべきである。

【符号の説明】

【0020】

１ ロボットアーム
２ コントローラ
３ アイインハンド装置
４ メモリ
５ 画像処理装置
６ 物体
７ 外部カメラ
８ 外部画像処理装置
９ インターフェース
１０ ディスプレイ
２０ ロボットアーム
２１ 本体
２２ コントローラ
２３ ディスプレイ
２４ ベース
２５ 可動部
２６ アイインハンド装置
２７ クランプ爪
２８ 取込制御装置
２９ メモリ
３０ 画像処理装置
３１ 機械
３２ 物体
３３ ロボットアーム
３４ ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】