特開 2022-147630 投光装置、投光方法およびロボットハンドシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022147630

(43)【公開日】2022-10-06

(54)【発明の名称】投光装置、投光方法およびロボットハンドシステム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20220929BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021048961

(22)【出願日】2021-03-23

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(71)【出願人】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】池田 亮介

(72)【発明者】

【氏名】菅野 優太

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS10

3C707KS03

3C707KS04

3C707KS06

3C707KS10

3C707KS36

3C707KT01

3C707KT11

3C707KT15

3C707KX06

3C707LV04

3C707LV05

3C707MT11

3C707NS06

(57)【要約】

【課題】安価な構成で、ロボットハンドから把持対象物までの距離に関する情報と、ロボットハンドから見た把持対象物の姿勢に関する情報とを提示できる投光装置を提供する。
【解決手段】投光装置は、ロボットアームに取り付けられたロボットハンドに対して第１の位置に固定された第１の投光手段と、前記ロボットハンドに対して前記第１の位置とは異なる第２の位置に固定された第２の投光手段とを有し、前記第１の投光手段は、前記ロボットハンドの把持対象物の表面に第１の所定の図形の像を形成する第１の光線を出射し、前記第２の投光手段は、前記第１の光線と異なる方向に、前記ロボットハンドの把持対象物の表面に第２の所定の図形の像を形成する第２の光線を出射する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

ロボットアームに取り付けられたロボットハンドに対して第１の位置に固定された第１の投光手段と、前記ロボットハンドに対して前記第１の位置とは異なる第２の位置に固定された第２の投光手段とを有し、
前記第１の投光手段は、前記ロボットハンドの把持対象物の表面に第１の所定の図形の像を形成する第１の光線を出射し、
前記第２の投光手段は、前記第１の光線と異なる方向に、前記ロボットハンドの把持対象物の表面に第２の所定の図形の像を形成する第２の光線を出射する、
ことを特徴とする投光装置。

【請求項2】

前記第１の光線と前記第２の光線とが、互いに異なる色である、
ことを特徴とする請求項１に記載の投光装置。

【請求項3】

前記第１の所定の図形と前記第２の所定の図形が異なる形状である
ことを特徴とする請求項１または２に記載の投光装置。

【請求項4】

前記第１の投光手段と前記第２の投光手段のうちの少なくとも一方が、
放射状に光を発する光源とスリットの組み合わせを有する
ことを特徴とする請求項１乃至３のいずれか一項に記載の投光装置。

【請求項5】

前記第１の投光手段と前記第２の投光手段のうちの少なくとも一方が、
レーザと前記レーザをスキャンするレーザスキャン手段の組み合わせを有する
ことを特徴とする請求項１乃至４のいずれか一項に記載の投光装置。

【請求項6】

ロボットアームに取り付けられたロボットハンドに対して第１の位置に固定された第１の投光手段から、前記ロボットハンドの把持対象物の表面に第１の所定の図形の像を形成する第１の光線を出射し、
前記ロボットハンドに対して前記第１の位置とは異なる第２の位置に固定された第２の投光手段から、前記第１の光線の方向と交点を持つ方向に、前記ロボットハンドの把持対象物の表面に第２の所定の図形の像を形成する第２の光線を出射する、
ことを特徴とする投光方法。

【請求項7】

請求項１乃至５のいずれか一項に記載の投光装置と、
前記第１の所定の図形の像と前記第２の所定の図形の像とを含む画像を撮影するカメラと、
前記カメラが撮影した前記画像を表示するディスプレイと、
前記ロボットハンドを駆動するロボットと
前記ロボットを駆動するロボット駆動部と
前記ロボット駆動部を操作するロボット操作部と、
を有することを特徴とするロボットハンドシステム。

【請求項8】

請求項１乃至５のいずれか一項に記載の投光装置と、
前記第１の所定の図形の像と前記第２の所定の図形の像とを含む画像を撮影するカメラと、
前記カメラが撮影した前記画像を表示するディスプレイと、
前記ロボットハンドを駆動するロボットと
前記ロボットを駆動するロボット駆動部と
前記画像に基づいて前記ロボット駆動部を自動制御するロボット自動制御部と、
を有することを特徴とするロボットハンドシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、投光装置、投光方法およびロボットハンドシステムに関する。

【背景技術】

【0002】

工業製品の生産現場では、把持対象物を把持するための、ロボットハンドを持つ産業用ロボットが多用されている。ロボットハンドで把持対象物の把持や吸着を行うためには、ロボットハンドと把持対象物の距離に関する情報と、把持対象物の姿勢（傾き）に関する情報が必要になる。

【0003】

ロボットハンドと把持対象物の距離に関する情報を得るための技術が、例えば、特許文献１に開示されている。この技術では、把持対象物を把持するための複数の指を持つロボットハンドで、２つの異なる指から、色の異なるコリメート光を把持対象物の近傍で交差するように照射する。コリメート光によって形成されたスポットの色に基づいて、スポットがどちらの光源によって形成されたものであるかを識別し、その位置関係とスポット間の距離に基づいて、ロボットハンドから把持対象物までの距離に関する情報を得ることができる。

【0004】

また、把持対象物の姿勢を把握するための技術が、例えば、特許文献２に開示されている。この技術では、３次元画像撮像装置を用いて、把持対象物の３次元画像を撮像し、この３次元画像に基づいて把持対象物に該当する３次元点群を取得し、この３次元点群に基づいて把持対象物の姿勢を算出する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００５－２９７１００号公報

【特許文献2】特開２０２１－０１６９１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１の技術では、距離に関する情報は得られるが、把持対象物の姿勢に関する情報が得られないという問題があった。

【0007】

また、特許文献２の技術では、３次元画像を撮像する３次元画像撮像装置を用いており、装置が高価になるという問題があった。

【0008】

本発明は、上記の問題に鑑みてなされたものであり、安価な構成で、ロボットハンドから把持対象物までの距離に関する情報と、ロボットハンドから見た把持対象物の姿勢に関する情報とを提示できる投光装置を提供することを目的としている。

【課題を解決するための手段】

【0009】

上記の課題を解決するため、本発明の投光装置は、投光装置は、ロボットアームに取り付けられたロボットハンドに対して第１の位置に固定された第１の投光手段と、前記ロボットハンドに対して前記第１の位置とは異なる第２の位置に固定された第２の投光手段とを有し、前記第１の投光手段は、前記ロボットハンドの把持対象物の表面に第１の所定の図形の像を形成する第１の光線を出射し、前記第２の投光手段は、前記第１の光線の方向と異なる方向に、前記ロボットハンドの把持対象物の表面に第２の所定の図形の像を形成する第２の光線を出射する。

【0010】

また、本発明の投光方法は、ロボットアームに取り付けられたロボットハンドに対して第１の位置に固定された第１の投光手段から、前記ロボットハンドの把持対象物の表面に第１の所定の図形の像を形成する第１の光線を出射し、前記ロボットハンドに対して前記第１の位置とは異なる第２の位置に固定された第２の投光手段から、前記第１の光線と異なる方向に、前記ロボットハンドの把持対象物の表面に第２の所定の図形の像を形成する第２の光線を出射する。

【0011】

また、本発明のロボットハンドシステムは、上記の投光装置と、前記第１の所定の図形の像と前記第２の所定の図形の像とを含む画像を撮影するカメラと、前記カメラが撮影した前記画像を表示するディスプレイと、前記ロボットハンドを駆動するロボットと
前記ロボットを駆動するロボット駆動部と、前記ロボット駆動部を操作するロボット操作部と、を有する。

【発明の効果】

【0012】

本発明の効果は、安価な構成で、ロボットハンドから把持対象物までの距離に関する情報と、ロボットハンドから見た把持対象物の姿勢に関する情報とを提示できる投光装置を提供できることである。

【図面の簡単な説明】

【0013】

【図1】第１の実施形態の投光装置の構成を示す側面模式図である。

【図2】第１の実施形態の投光装置の第１の動作状態を示す側面模式図である。

【図3】第１の実施形態の投光装置の第２の動作状態を示す側面模式図である。

【図4】第１の実施形態の投光装置の第３の動作状態を示す側面模式図である。

【図5】第２の実施形態の投光装置の構成を示す側面模式図である。

【図6】第２の実施形態の投光装置の第１の動作状態を示す側面模式図である。

【図7】第２の実施形態の投光装置の第２の動作状態を示す側面模式図である。

【図8】第３の実施形態のロボットハンドシステムを示すブロック図である。

【図9】第４の実施形態のロボットハンドシステムを示すブロック図である。

【図10】第４の実施形態のロボットハンドシステムの動作を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、図面を参照しながら、本発明の実施形態を詳細に説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお各図面の同様の構成要素には同じ番号を付し、説明を省略する場合がある。

【0015】

（第１の実施形態）
図１は、本実施形態の投光装置１０の構成を示す側面模式図である。投光装置１０は、ロボットハンド１と、第１の投光手段２と、第２の投光手段３とを有する。

【0016】

ロボットハンド１は、ロボットアームに取り付けられ、把持対象物２０を把持する。

【0017】

第１の投光手段２は、ロボットハンド１に対して第１の位置に固定されている。第１の投光手段２は、把持対象物２０の表面に第１の所定の図形の像を形成する第１の光線２ａを出射する。

【0018】

第２の投光手段３は、第１の光線２ａとは異なる方向に、把持対象物２０の表面に第２の所定の図形の像を形成する第２の光線３ａを出射する。

【0019】

図２（ａ）は、投光装置１０の第１の動作状態を示す側面模式図である。図２（ｂ）は、この状態での把持対象物２０の表面における第１の所定の図形の像２ｂと第２の所定の図形の像３ｂを示す平面図である。図２の例では、第２の光線３ａの方向を、第１の光線２ａと交点を持つ方向にしている。ただし、この方向は一例であり、第２の光線３ａが、把持対象物２０に第２の所定の図形の像３ｂを形成でき、第１の光線２ａの方向と異なっていれば、どこの方向でも良い。また交点を持たなくても良い。

【0020】

図２の例では、第１の投光手段２は略円形の第１の所定の図形の像を形成する第１の光線２ａを出射し、第２の投光手段３は略円形の第２の所定の図形の像を形成する第２の光線３ａを出射するものとしている。ここで、図２の、ロボットハンド１と把持対象物２０が正対した状態は、本実施形態とは別の方法で予め作ったものであるとする。本実施形態では、図２の状態を、他の状態との比較の基準となる基準状態とする。なお図示はしていないが、第１の光線２ａと第２の光線３ａを異なる色としておくことで、第１の所定の図形の像２ｂと第２の所定の図形の像３ｂとを識別することができる。また、後述するが、第１の所定の図形の像２ｂと第２の所定の図形の像３ｂとを異なる形状としておくことでも、像がどちらの光線によって形成されたかを識別することができる。本実施形態では、第１の光線２ａと第２の光線３ａの出射方向が決まっていて、その出射方向が交差するようにしている。このため、第１の所定の図形の像２ｂと第２の所定の図形の像３ｂの位置関係と、その距離から、ロボットハンド１と把持対象物２０の距離を類推するための情報を提示することができる。

【0021】

また、例えば、図２のように、ロボットハンド１と把持対象物２０表面とが正対している時の、第１の所定の図形の像２ｂと、第２の所定の図形の像３ｂの形状を、それぞれの基準形状とすると、把持対象物２０が傾いたときに図形が歪む。これらの像の変化から、把持対象物２０の傾きの類推に資する情報を提示できる。

【0022】

図３（ａ）は、投光装置１０の第２の動作状態を示す側面模式図である。図３（ｂ）は、この状態での把持対象物２０の表面における第１の所定の図形の像２ｂと第２の所定の図形の像３ｂを示す平面図である。

【0023】

図３の例では、把持対象物２０の表面は、ロボットハンド１と把持対象物２０の表面を結ぶ線分に対して傾いている。この場合は、第１の所定の図形の像２ｂと第２の所定の図形の像３ｂは、基準状態の形から歪んだ形状となる。この形状の歪みは、把持対象物２０がロボットハンド１に対して傾いた姿勢にあるとの情報を示している。つまり、図３に示すように、本実施形態の投光装置１０によれば、把持対象物２０の表面がロボットハンド１に対する姿勢に関する情報を提示することができる。

【0024】

図４（ａ）は、投光装置１０の第３の動作状態を示す側面模式図である。図４（ｂ）は、この状態での把持対象物２０の表面における第１の所定の図形の像２ｂと第２の所定の図形の像３ｂを示す平面図である。

【0025】

図４の第１の所定の図形の像２ｂと第２の所定の図形の像３ｂは、図２のこれらの像と相似形になっている。このことから、把持対象物２０の表面はロボットハンド１に正対していることを把握することができる。さらに、第１の所定の図形の像２ｂと第２の所定の図形の像３ｂとが重なっている。図４（ｂ）の状態が観察される場合は、ロボットハンド１が把持対象物２０の表面に正対し、ロボットハンド１と把持対象物２０の表面とが、第１の投光手段２と第２の投光手段３の配置から決まる特別な距離にある状態である。そこで、例えば、この状態を基準状態とすることができる。

【0026】

以上説明したように、本実施形態によれば、安価な構成で、ロボットハンドから把持対象物までの距離に関する情報と、ロボットハンドから見た把持対象物の姿勢に関する情報とを提示できる投光装置を提供することができる。

【0027】

（第２の実施形態）
図５は第２の実施形態の投光装置１０００の構成を示す側面模式図である。投光装置１０００は、ロボットハンド１１０と、第１の投光手段１２０と、第２の投光手段１３０とを有する。ロボットハンド１１０は第１の実施形態のロボットハンド１の一例、第１の投光手段１２０は第１の投光手段２の一例、第２の投光手段１３０は第２の投光手段３の一例である。本実施形態の第１の投光手段１２０は略円形の第１の所定の図形の像１２２を形成する第１の光線１２１を出射する。また、第２の投光手段１３０は、十字型の第２の所定の図形の像１３２を形成する第２の光線１３１を出射する。第１の投光手段１２０、第２の投光手段１３０は、例えば、放射状に光を出射する光源とスリットの組み合わせによって、第１の光線１２１、第２の光線１３１を出射することができる。あるいは、レーザをスキャンする方式であっても良い。

【0028】

図５の例では、把持対象物２００の表面はロボットハンド１に正対している。そして、第１の所定の図形の像１２２と第２の所定の図形の像１３２とは、ある距離だけ離れている。

【0029】

図６（ａ）は、投光装置１０００の第１の動作状態を示す側面模式図である。図６（ｂ）は、この状態での把持対象物２００の表面における第１の所定の図形の像１２２と第２の所定の図形の像１３２を示す平面図である。

【0030】

図６の例では、把持対象物２００の表面は、ロボットハンド１１０と把持対象物２００の表面を結ぶ線分に対して傾いている。この場合は、第１の所定の図形の像１２２と第２の所定の図形の像１３２は、図６（ｂ）のように、基準状態の形から歪んだ形状となる。つまり、第１の実施形態と同様に、把持対象物２００の表面がロボットハンド１１０に対して傾いていることの情報を提示することができる。

【0031】

図７（ａ）は、投光装置１０００の第２の動作状態を示す側面模式図である。図７（ｂ）は、この状態での把持対象物２００の表面における第１の所定の図形の像１２２と第２の所定の図形の像１３２を示す平面図である。

【0032】

図７の例では、把持対象物２００の表面はロボットハンド１１０に正対している。さらに、第１の所定の図形の像１２２と第２の所定の図形の像１３２とが重なっている。図７（ｂ）の状態が観察される場合は、ロボットハンド１１０が把持対象物２００の表面に正対し、ロボットハンド１１０と把持対象物２００の表面とが、第１の投光手段１２０と第２の投光手段１３０の配置から決まる特別な距離にある状態である。そこで、例えば、この状態を基準状態とすることができる。

【0033】

なお、上記の説明では、第１の所定の図形の像と第２の所定の図形の像とが、円形と十字線である例を用いたが、これらの像は、上記の例に限られず、任意の所定の形状を用いることができる。

【0034】

以上説明したように本実施形態によれば、第１の実施形態と同様に、安価な構成で、ロボットハンドから把持対象物までの距離に関する情報と、ロボットハンドから見た把持対象物の姿勢に関する情報とを提示できる投光装置を提供することができる。

【0035】

なお上記の説明では、投光手段を２つとして説明したが、３つ以上であっても良い。

【0036】

（第３の実施形態）
本実施形態では、第１または第２の投光装置を用いたロボットハンドシステムについて説明する。図８は、このロボットハンドシステムの一例を示すブロック図である。

【0037】

ロボットハンドシステム１００００は、第２の実施形態のロボットハンド１０００と、ディスプレイ２０００と、ロボット３０００と、ロボット駆動部４０００と、ロボット操作部５０００とを有する。またロボットハンド１０００には、第１の所定の図形の像と第２の所定の図形の像とを含む画像を撮影するカメラ１４００が配置されている。ディスプレイ２０００は、カメラ１４００が撮影した画像を表示する。ロボット３０００は、多関節のアーム３１００を備え、アーム３１００の先にはロボットハンド１０００が固定されている。ロボット駆動部４０００は、ロボット操作部５０００から出力された制御信号にしたがって、ロボット３０００、アーム３１００、ロボットハンド１０００を駆動させる。ロボット操作部５０００は、ヒューマンインターフェースを備え、オペレータによるロボットの操作入力を受け付ける。

【0038】

本実施形態のロボットハンドシステム１００００は、オペレータの操作によって制御される。ディスプレイ２０００とロボット操作部５０００は、例えば、ロボット３０００とは離れた場所に配置されている。オペレータは、ディスプレイ２０００の画像から、ロボットハンド１０００と把持対象物２００の傾きに関する情報と、距離に関する情報を得ることができる。そして、その画像に基づいて、ロボット操作部５０００を操作し、ロボットハンド１０００を、把持対象物２０００を把持しやすい角度に調整する。さらに、その角度で、ロボットハンド１０００に把持動作を行わせることで、容易に把持対象物２００を把持させることができる。

【0039】

以上説明したように、本実施形態のロボットハンドシステムによれば、ロボットハンドの把持対象物に対する角度を遠隔操作し、スムーズに把持動作を行わせることができる。

【0040】

（第４の実施形態）
第３の実施形態では、ロボットハンド１０００とロボット３０００の操作をオペレータが行うロボットハンドシステムについて説明したが、この操作を自動で行うロボットハンドシステムを構築することも可能である。

【0041】

図９は、ロボットの操作を自動で行うロボットハンドシステム１１０００を示すブロック図である。ロボットハンドシステム１１０００は、第３の実施形態のロボットハンドシステム１００００のロボット操作部５０００の代わりに、ロボット自動制御部６０００を備えている。なお、図示はしていないが、第３の実施形態と同様のロボット操作部５０００が有っても良い。その他の構成に関しては、第３の実施形態と同様である。

【0042】

本実施形態のロボットハンドシステム１１０００では、ロボットハンド１０００の把持対象物２００に対する角度の調整を自動で行う。

【0043】

図１０は、ロボットハンドシステム１１０００の動作の一例を示すフローチャートである。まず、本実施形態とは別の方法で、予め、ロボットハンド１０００の把持対象物２００に対する角度の基準状態を作る。基準状態の定め方は任意であるが、例えば、第１の実施形態と同様に、ロボットハンド１０００と把持対象物２００が正対し、両者の間隔が所定の基準値である状態とすることができる。そして、その時の第１の所定の図形の像と第２の所定の図形をテンプレートとして記憶する（Ｓ１）。次に、把持しようとする把持対象物２００の表面の、第１の所定の図形の像と第２の所定の図形の像とをモニタする（Ｓ２）。次に、モニタの画像とテンプレートとを比較し、モニタ画像がテンプレートに近づくようにロボットハンドの角度を調整する（Ｓ３）。この調整は、任意の周知技術を用いて行うことができるが、例えばモニタ画像の形状とテンプレートとの差分が小さくなるように角度の微調整を繰り返すことで行うことができる。

【0044】

以上説明したように、本実施形態によれば、ロボットハンドの角度を把持対象物が把持しやすい角度に自動的に調整することができる。

【0045】

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上記実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

【符号の説明】

【0046】

１、１１０ ロボットハンド
２、１２０ 第１の投光手段
３、１３０ 第２の投光手段
１０、１０００ 投光装置
２０、２００ 把持対象物
１４００ カメラ
２０００ ディスプレイ
３０００ ロボット
３１００ アーム
４０００ ロボット駆動部
５０００ ロボット操作部
６０００ ロボット自動制御部
１００００、１１０００ ロボットハンドシステム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】