特許 7275688 ロボットの部品ピッキングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-10

(45)【発行日】2023-05-18

(54)【発明の名称】ロボットの部品ピッキングシステム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20230511BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 6

(21)【出願番号】P 2019048440

(22)【出願日】2019-03-15

(65)【公開番号】P2020146823

(43)【公開日】2020-09-17

【審査請求日】2022-02-16

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】110000567

【氏名又は名称】弁理士法人サトー

(72)【発明者】

【氏名】丸谷 太一

(72)【発明者】

【氏名】松田 直丈

【審査官】臼井 卓巳

(56)【参考文献】

【文献】特開２０１０－１６２６３８（ＪＰ，Ａ）

【文献】米国特許第０４９８５８４６（ＵＳ，Ａ）

【文献】特開２０１６－０９９２５７（ＪＰ，Ａ）

【文献】特開２０１１－００７６３２（ＪＰ，Ａ）

【文献】特開平１０－０６８６１３（ＪＰ，Ａ）

【文献】特開２００２－１７２５７５（ＪＰ，Ａ）

【文献】特開２０１１－１８６９２８（ＪＰ，Ａ）

【文献】特開２０１３－２５７１８２（ＪＰ，Ａ）

【文献】特開２０１７－０４２８５９（ＪＰ，Ａ）

【文献】国際公開第２００５／０１５４６６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １３／０８－１９／０４

Ｇ０１Ｂ １１／００－１１／２４

(57)【特許請求の範囲】

【請求項1】

部品箱の中にランダムに配置されている複数の部品を、ロボットアームの先端にあるツールにより順次ピックアップさせて、それぞれを予め決定された位置に配置するランダムピッキングシステムにおいて、
ロボットアームと、
このロボットアームの動作を制御する制御部と、
前記複数の部品の画像データを、ロボットアームの動きに伴い複数取得する画像データ取得部と、
この画像データ取得部により取得された画像データを処理して、前記部品の姿勢を判定
して把持点を決定する画像処理部とを備え、
前記制御部は、前記ロボットアームが停止している状態で取得された画像データから前記画像処理部が姿勢を判定できた部品の１つを前記ロボットアームにピックアップさせるために移動させる初期ピックアップ処理を実行し、
前記画像処理部は、前記初期ピックアップ処理の実行中に取得された１つ以上の画像データを既に得られている画像データと積算処理し、
前記制御部は、前記積算処理の結果より前記画像処理部が姿勢を判定できた部品の１つを次に前記ロボットアームにピックアップさせるために移動させる継続ピックアップ処理を実行し、
前記画像処理部は、前記継続ピックアップ処理の実行中に取得された１つ以上の画像データを既に得られている画像データと積算処理し、以降は、前記継続ピックアップ処理を繰り返すことで部品をピックアップさせ、
前記制御部は、前記初期ピックアップ処理の対象とした部品が配置されていた位置を基点として、最も離れた位置にあり且つ姿勢が判定できた部品を前記継続ピックアップ処理の対象とし、
以降の継続ピックアップ処理の対象とする部品も、前回の処理の対象とした部品が配置されていた位置を基点として、最も離れた位置にあり且つ姿勢が判定できた部品とすることを繰り返すロボットの部品ピッキングシステム。

【請求項2】

前記画像データ取得部は、前記ロボットアームに搭載された光信号投影部及び撮像部で構成される請求項１記載のロボットの部品ピッキングシステム。

【請求項3】

前記画像データ取得部は、前記ロボットアームに搭載された光信号投影部と、固定配置された撮像部とで構成される請求項１記載のロボットの部品ピッキングシステム。

【請求項4】

前記画像データ取得部は、前記ロボットアームに搭載された撮像部と、固定配置された光信号投影部とで構成される請求項１記載のロボットの部品ピッキングシステム。

【請求項5】

前記画像データ取得部は、前記ロボットアームに搭載された撮像部で構成される請求項１記載のロボットの部品ピッキングシステム。

【請求項6】

前記制御部は、前記画像処理部による姿勢の認識率が最も高い部品を前記初期ピックアップ処理の対象とする請求項１から５の何れか一項に記載のロボットの部品ピッキングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、部品箱の中にランダムに配置されている複数の部品を、ロボットアームの先端にあるツールにより順次ピックアップさせて、それぞれを予め決定された位置に配置するランダムピッキングシステムに関する。

【背景技術】

【0002】

従来、バラ積みされた部品の立体形状を認識する技術をロボットに搭載して、ロボットに部品をピッキングさせる、いわゆるランダムピッキングと称す技術がある。バラ積みされた部品は、それぞれ異なる姿勢で配置された状態となっている。各部品の立体形状をロボットに認識させる方法としては、例えば所定幅で構成された格子模様のレーザ光を部品に照射し、そのレーザ光の反射光の格子模様による変化具合から部品の立体形状を測定する方法が考えられる。

【0003】

また、光照射部で照射した光が部品に反射して受光されるまでの時間を距離に換算することで部品の形状を計測する方法や、光出射部と受光部の間隔と光照射部で照射した光の出射角度と部品からの反射光の入射角度を計算することで部品の姿勢や位置を取得する方法等もある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－１８７６４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した方法のように、バラ積みされた部品に光を照射しその反射光を受光する方法では、照射部，部品，受光部間の測定環境によっては、反射光が鏡面反射を起こす可能性がある。受光部が鏡面反射の反射光を受光すると、鏡面反射された箇所においては受光部の受光量が飽和した白とび状態となってしまい、反射した光の光量が正しく計測できず、部品の姿勢や位置の測定精度が低下するという問題があった。

【0006】

本発明は、上記実情に鑑みてなされたものであり、その目的は、部品の鏡面反射特性の影響を受け難いロボットの部品ピッキングシステムを提供することにある。

【課題を解決するための手段】

【0007】

請求項１記載のロボットの部品ピッキングシステムによれば、画像データ取得部は、部品箱の中にランダムに配置されている複数の部品の画像データを、ロボットアームの動きに伴い複数取得する。画像処理部は、画像データ取得部により取得された画像データを処理し、各部品の姿勢を判定して把持点を決定する。制御部は、ロボットアームが停止している状態で取得された画像データから、画像処理部が姿勢を判定できた部品の１つをロボットアームにピックアップさせるために移動させる初期ピックアップ処理を実行する。

【0008】

すると、画像処理部は、初期ピックアップ処理の実行中に取得された１つ以上の画像データを既に得られている画像データと積算処理し、制御部は、その積算処理の結果より画像処理部が姿勢を判定できた部品の１つを、次にロボットアームにピックアップさせるために移動させる継続ピックアップ処理を実行する。そして、画像処理部は、継続ピックアップ処理の実行中に取得された１つ以上の画像データを既に得られている画像データと積算処理し、以降は、継続ピックアップ処理を繰り返すことで順次部品をピックアップさせる。ここで、「積算処理」とは、ある画像データで得られなかった部品の画像の一部又は全てが他の画像データで得られていた場合に、得られなかった画像の一部又は全てを他の画像データにより補完することを意味する。

【0009】

すなわち、画像データ取得部がロボットアームの動きに伴い複数取得する、部品箱中の複数の部品の画像データはそれぞれ異なる画像として得られる。したがって、何れかの画像で複数の部品の一部に鏡面反射による白とびや黒つぶれが生じていたとしても、別の画像では鏡面反射が生じていない状態や黒つぶれがない状態で撮影されている可能性が高くなる。そこで、画像処理部が複数の画像データを積算処理すれば、各部品の姿勢の認識率を向上させることができ、部品のランダムピッキングを確実に行うことが可能になる。
また、制御部は、初期ピックアップ処理の対象とした部品が配置されていた位置を基点として、最も離れた位置にあり且つ姿勢が判定できた部品を継続ピックアップ処理の対象とする。そして、以降の継続ピックアップ処理の対象とする部品も、前回の処理の対象とした部品が配置されていた位置を基点として、最も離れた位置にあり且つ姿勢が判定できた部品とすることを繰り返す。
このように構成すれば、ロボットアームが次の部品をピックアップするために移動する距離が長くなり、その移動中に得られる画像データと移動前に得られていた画像データとの差分がより大きくなる。したがって、各部品の姿勢の認識率をより大きく向上させることができる。

【0010】

請求項２記載のロボットの部品ピッキングシステムによれば、画像データ取得部を、ロボットアームに搭載された光信号投影部及び撮像部で構成する。このように構成すれば、光信号投影部より複数の部品に投影される光信号は、ロボットアームが移動することに伴い投影状態が変化する。そのように変化する光信号の状態を撮像部により撮像すれば、投影状態の変化に応じて異なる画像データを得ることができる。また、光信号投影部及び撮像部の座標系とロボットアームの相対位置関係が一意に決まることになり、座標変換処理が不要となるので演算処理が簡単になる。

【0011】

請求項３記載のロボットの部品ピッキングシステムによれば、画像データ取得部を、ロボットアームに搭載された光信号投影部と、固定配置された撮像部とで構成する。このように構成すれば、光信号投影部より複数の部品に投影された光信号は、請求項２と同様にロボットアームが移動することに伴い投影状態が変化する。そのように変化する光信号を固定された撮像部により撮像すれば、投影状態の変化に応じて異なる画像データを得ることができる。

【0012】

請求項４記載のロボットの部品ピッキングシステムによれば、画像データ取得部を、ロボットアームに搭載された撮像部と、固定配置された光信号投影部とで構成する。この場合、配置関係が請求項３と逆の状態で、投影状態の変化に応じて異なる画像データを得ることができる。

【0013】

請求項５記載のロボットの部品ピッキングシステムによれば、画像データ取得部をロボットアームに搭載された撮像部で構成する。すなわち、請求項２から４のように光信号投影部が無くても、ロボットアームが移動することに伴い撮像部は異なる視点からの画像データを得ることができる。

【0016】

請求項６記載のロボットの部品ピッキングシステムによれば、制御部は、画像処理部による姿勢の認識率が最も高い部品を初期ピックアップ処理の対象とする。このように構成すれば、最初の部品のピックアップをより確実に行うことができる。

【図面の簡単な説明】

【0017】

【図1】第１実施形態であり、部品ピッキングシステムの構成を示す機能ブロック図

【図2】画像処理部及びロボット制御部による処理を中心に示すフローチャート

【図3】図２のステップＳ１に対応する処理を説明する図

【図4】同ステップＳ３に対応する処理を説明する図

【図5】同ステップＳ３～Ｓ５に対応する処理を説明する図

【図6】同ステップＳ６に対応する処理を説明する図

【図7】同ステップＳ８，Ｓ６に対応する処理を説明する図

【図8】第２実施形態であり、部品ピッキングシステムの構成を示す機能ブロック図

【図9】画像処理部及びロボット制御部による処理を中心に示すフローチャート

【図10】第３実施形態であり、部品ピッキングシステムの構成を示す機能ブロック図

【図11】画像処理部及びロボット制御部による処理を中心に示すフローチャート

【発明を実施するための形態】

【0018】

（第１実施形態）
図１に示すように、本実施形態の部品ピッキングシステム１は、例えば垂直６軸型のアームを有するロボット２，ロボット制御部３，画像処理部４及び形状計測部５を備えている。形状計測部５は、光信号投影部６及び撮像部７を備えており、ロボット２のアームの先端側に搭載されている。光信号投影部６は、光信号を投影するプロジェクタであり、撮像部７は、例えばＣＣＤ（Charge Coupled Device）カメラ等である。

【0019】

部品箱８の中には、複数の部品９がランダムに入れられている。部品ピッキングシステム１は、ロボット２のアーム先端に取り付けられたツールである例えばハンドＨにより、部品箱８の中から部品９を１個ずつピックアップして、それぞれを予め決定されている所定の位置に順次配置する、所謂ランダムピッキング動作を行う。

【0020】

画像処理部４は、撮像部７が撮像した部品箱８の中にある部品９の画像データを撮影データ取得部１０により取得する。撮影データ積算部１１は、撮影データ取得部１０が取得した複数の画像データを積算処理する。部品姿勢判定部１２は、撮影データ積算部１１が積算処理した画像データに基づいて、部品箱８の中にある各部品９の姿勢を判定する。部品把持点決定部１３は、部品姿勢判定部１２が判定した部品９の姿勢に基づいて、部品９をハンドＨにより把持する位置である把持点を決定する。形状計測部５及び撮影データ取得部１０は、画像データ取得部に相当する。

【0021】

ロボット制御部３のロボット作業指示部１４は、部品把持点決定部１３が決定した部品９の把持点が入力されると、対象とする部品９をその把持点においてハンドＨにより把持する指示をロボット駆動制御部１５に入力する。ロボット駆動制御部１５は、入力された指示に応じて対象となる部品９のピッキング作業をロボット２に実行させる。

【0022】

次に、本実施形態の作用について説明する。図２は、部品ピッキングシステム１による処理内容を示すフローチャートである。先ず、形状計測部５は、少なくともロボット２のアームの姿勢により部品箱８の内部に向いた状態を初期位置とする。その初期位置より、形状計測部５による部品９の撮影を開始する（Ｓ１）。具体的には、光信号投影部６より部品９に向けて投射された画像パターンを撮像部７により撮影する。画像処理部４は、画像の積算処理データから撮影した範囲内にある部品９の姿勢を判定する（Ｓ３）。但し、撮影及びピッキング作業が１回目であれば画像データは積算処理できないので、単一の画像データを用いて各部品９の姿勢を判定することになる。ステップＳ３において、画像処理部４の部品姿勢判定部１２が部品９の姿勢を判定するに当たっては、例えばＴＯＦ（Time Of Flight）方式やストラクチャードライト方式等を用いる。尚、ステップＳ２の処理については後述する。

【0023】

撮影が１回目であればステップＳ４からＳ５に移行し、姿勢を判定した任意の部品について、ロボット２がハンドＨにより把持するための把持点を決定する。図３から図７は、図２に示す処理のイメージを示すものである。尚、図示の都合上、光信号投影部６と撮像部７とは個別に示している。ステップＳ３，Ｓ５の処理では、例えば図４に示すように、例えば認識率が高い部品９から順に付けを行う。ここで、「認識率」とは、部品９の画像データについて「白とび」や「黒つぶれ」が発生している割合であり、その割合が低いものほど認識率が高いとする。

【0024】

そして、例えば図５に示すように、認識率が１位の部品９について位置及び姿勢を判定し、その部品９の把持点を決定すると、ロボット２のハンドＨにより前記部品９を把持して１回目のピッキング作業を行い、所定の位置に載置する（Ｓ６）。このピッキング作業を行う際にロボット２のアームは位置及び姿勢を変化させるので、それに伴い、形状計測部５と部品箱８内部の各部品９との位置関係も変化する。その間に、形状計測部５は部品９の撮影を行い、取得した画像データを積算処理する（Ｓ２）。

【0025】

ここで、「積算処理」とは、ある画像データで得られなかった部品９の画像の一部又は全てが他の画像データで得られていた場合に、得られなかった画像の一部又は全てを他の画像データにより補完することを示す。それから、ステップＳ３に戻る。ステップＳ４における「ｎ回目」とは２回目以降のピッキング作業を示すので、ステップＳ８に移行する。１回目のピッキング作業は初期ピックアップ処理に相当し、２回目以降のピッキング作業は継続ピックアップ処理に相当する。

【0026】

ステップＳ８では、次のピッキング対象とする部品９の決定を行うが、それは例えば、認識率が１位の部品９より最も離れた位置にある部品９とする。図５では、認識率が２位の部品９となる。それから、ステップＳ６に移行して、前記部品９のピッキング作業を行う。形状計測部５は、その間にも部品９の撮影を行い、取得した画像データを積算処理する（Ｓ２）。尚、図２においてステップＳ２の処理は、ステップＳ３～Ｓ６の処理と並列的に実行されるイメージで示している。

【0027】

また、ステップＳ８において、前回ピッキングの対象とした部品９から最も離れた位置にある部品９を次のピッキング対象とするのは、ロボット２のアーム，すなわち形状計測部５の位置が大きく変化するため、異なる状態の画像データが得られる確率が高くなるからである。

【0028】

そして、３回目以降のピッキング作業についても同様にステップＳ８において、前回ピッキングの対象とする部品９より最も離れた位置にある部品９を次のピッキング対象として決定する。以上の処理を繰り返し、部品箱８内にある全ての部品９をピッキングすれば（Ｓ７；ＹＥＳ）処理は終了となる。

【0029】

以上のように本実施形態によれば、部品ピッキングシステム１において、形状計測部５及び画像処理部４の撮影データ取得部１０は、部品箱８の中にランダムに配置されている複数の部品９の画像データを、ロボット２のアームの動きに伴い複数取得する。部品姿勢判定部１２は、取得された画像データを処理して各部品９の姿勢を判定して把持点を決定する。ロボット作業指示部１４は、ロボット２のアームが停止している状態で取得された画像データから姿勢を判定できた部品９の１つを、ロボット２にピックアップさせるために移動させる。

【0030】

撮影データ積算部１２は、１回目のピックアップ作業の実行中に取得された複数の画像データを既に得られている画像データと積算処理し、ロボット作業指示部１４は、その積算処理の結果より画像処理部４が姿勢を判定できた部品の１つを、次にロボット２にピックアップさせるために移動させる。そして、撮影データ積算部１２は、２回目以降のピックアップ作業の実行中に取得された複数の画像データを既に得られている画像データと積算処理し、以降は上記の処理を繰り返すことで全ての部品９をロボット２にピックアップさせる。

【0031】

このように処理すれば、何れかの画像で複数の部品９の一部に、鏡面反射による白とびや黒つぶれが生じていたとしても、別の画像では鏡面反射が生じていない状態や黒つぶれが無い状態で撮影されている可能性が高くなる。したがって、画像処理部４が複数の画像データを積算処理すれば、各部品９の姿勢の認識率を向上させることができ、部品９のランダムピッキングを確実に行うことが可能になる。また、形状計測部５を光信号投影部６及び撮像部７により構成したので、高価なセンサを用いることなくシステム１を構成できる。

【0032】

そして、形状計測部５をロボット２のアームに搭載したので、光信号投影部６より複数の部品９に投影される光信号は、ロボット２のアームが移動することに伴い投影状態が変化する。そのように変化する光信号の状態を撮像部７により撮像すれば、投影状態の変化に応じて異なる画像データを得ることができる。また、光信号投影部６及び撮像部７の座標系はロボット２のアームの座標系との相対位置関係が一意に決まることになり、座標変換処理が不要となるので演算処理が簡単になる。

【0033】

また、ロボット作業指示部１４は、１回目のピックアップ作業の対象とした部品９が配置されていた位置を基点として、最も離れた位置にあり且つ姿勢が判定できた部品９を次のピックアップ作業の対象とする。そして、以降のピックアップ作業の対象とする部品９も、前回の処理の対象とした部品９が配置されていた位置を基点として、最も離れた位置にあり且つ姿勢が判定できた部品９とすることを繰り返す。これにより、ロボット２のアームが次の部品９をピックアップするために移動する距離が長くなり、その移動中に得られる画像データと移動前に得られていた画像データとの差分がより大きくなる。したがって、各部品９の姿勢の認識率をより大きく向上させることができる。

【0034】

またロボット作業指示部１４は、は、画像処理部４による姿勢の認識率が最も高い部品を１回目のピックアップ作業の対象とするので、最初の部品のピックアップをより確実に行うことができる。

【0035】

（第２実施形態）
以下、第１実施形態と同一部分には同一符号を付して説明を省略し、異なる部分について説明する。図８に示すように、第２実施形態の部品ピッキングシステム２１では、ロボット２のアームには光信号投影部６のみが搭載されている。一方、撮像部７は、支持部材２２によって固定的に支持されており、部品箱８の中央部上方から部品箱８の内部を撮像するように配置されている。

【0036】

これに伴い、画像処理部４に替わる画像処理部２３は、投影部座標位置補正部２４を備えている。すなわち、ロボット２のアームが位置・姿勢を変化させることに伴い光信号投影部６の位置・姿勢も変化するので、投影部座標位置補正部２４は、撮像部７が撮像した画像データについて、光信号投影部６の座標位置が変化することに伴い補正を行う。図９に示すフローチャートではステップＳ１の実行後に、ロボット２のアーム位置から光信号投影部６の位置座標を補正する処理（Ｓ９）が追加されている。

【0037】

以上のように第２実施形態によれば、部品ピッキングシステム２１では、ロボット２のアームに搭載された光信号投影部６と、固定配置された撮像部７とで画像データ取得部を構成する。これにより、光信号投影部６より複数の部品９に投影された光信号は、第１実施形態と同様にロボット２のアームが移動することに伴い投影状態が変化する。そのように変化する光信号を固定された撮像部７により撮像すれば、投影状態の変化に応じて異なる画像データを得ることができる。

【0038】

（第３実施形態）
図１０に示すように、第３実施形態の部品ピッキングシステム３１では、第２実施形態とは逆に、ロボット２のアームには撮像部７が搭載されており、光信号投影部６は支持部材２２によって固定的に支持されている。光信号投影部６は、部品箱８の中央部上方から部品箱８の内部に光信号を投影するように配置されている。

【0039】

これに伴い、画像処理部２３に替わる画像処理部３２は、投影部座標位置補正部２４に替えて撮像部座標位置補正部３３を備えている。すなわち、ロボット２のアームが位置・姿勢を変化させることに伴い撮像部７の位置・姿勢も変化するので、撮像部座標位置補正部３３は、撮像部７が撮像した画像データについて、撮像部７の座標位置が変化することに伴い補正を行う。図１１に示すフローチャートでは、ステップＳ９に替えて、ロボット２のアーム位置から撮像部７の位置座標を補正する処理（Ｓ１０）を行う。

【0040】

以上のように第３実施形態によれば、ロボット２のアームに搭載された撮像部７と、固定配置された光信号投影部６とで画像データ取得部を構成するので、両者の配置関係が第２実施形態と逆の状態で、投影状態の変化に応じた異なる画像データを得ることができる。

【0041】

本発明は上記した、又は図面に記載した実施形態にのみ限定されるものではなく、以下のような変形又は拡張が可能である。
部品をピックアップするツールは、ハンドに限らない。
第３実施形態の構成において、光信号投影部６を削除して、撮像部７のみを画像データ取得部としても良い。このように構成しても、ロボット２アームが移動することに伴い撮像部７は異なる視点からの画像データを得ることができる。したがって、部品姿勢判定部１２がステレオカメラ方式を用いることで、各部品の姿勢を判定できる。
ロボットは、垂直６軸型のアームを有するものに限らない。

【符号の説明】

【0042】

図面中、１は部品ピッキングシステム、２はロボット、３はロボット制御部、４は画像処理部、５は形状計測部、６は光信号投影部、７は撮像部、８は部品箱、９は部品、１０は撮影データ取得部、１１は撮影データ積算部、１２は部品姿勢判定部、１３は部品把持点決定部、２１は部品ピッキングシステム、２３は画像処理部、３１は部品ピッキングシステム、３２は画像処理部を示す。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】