特開 2024-66837 ロボットビジョンシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024066837

(43)【公開日】2024-05-16

(54)【発明の名称】ロボットビジョンシステム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240509BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2022176575

(22)【出願日】2022-11-02

(71)【出願人】

【識別番号】000005197

【氏名又は名称】株式会社不二越

(74)【代理人】

【識別番号】100120400

【弁理士】

【氏名又は名称】飛田 高介

(74)【代理人】

【識別番号】100124110

【弁理士】

【氏名又は名称】鈴木 大介

(72)【発明者】

【氏名】矢野 誠人

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS07

3C707AS08

3C707BS12

3C707KT02

3C707KT05

3C707NS17

(57)【要約】

【課題】画像に複数の物体が含まれている場合であっても対象の物体を正確に検出することができ、且つ画像処理の負荷を軽減することによりビジュアルフィードバック制御の高速処理を実現することを可能とする。
【解決手段】ケーブルの先端とレセプタクルとが両方入った状態の画像を取得し、ケーブルの先端が含まれる第１領域と、レセプタクルが含まれる第２領域を設定し、ケーブルの先端とレセプタクルとをそれぞれ検出し、第１領域をケーブルの先端の輪郭が含まれる範囲で縮小して第１縮小領域を設定し、第２領域をレセプタクルの輪郭が含まれる範囲で縮小して第２縮小領域を設定し、アームの移動に応じて第１縮小領域または第２縮小領域も移動させつつケーブルの先端およびレセプタクルを検出するビジュアルフィードバック制御を行い、ケーブルの先端とレセプタクルの位置合わせを行う。
【選択図】図４

【特許請求の範囲】

【請求項1】

ロボットと、
ロボットのアームの先端に取り付けられたマニピュレータと、
前記マニピュレータで把持したケーブルの先端および基板上のレセプタクルを撮影する視覚装置と、
前記視覚装置の映像に基づいて前記アームの動作を制御する制御部を備え、
前記制御部は、
前記レセプタクルが前記視覚装置の撮像範囲に入る位置まで前記アームを移動させ、
前記ケーブルの先端と前記レセプタクルとが両方入った状態の画像を取得し、
前記ケーブルの先端が含まれる第１領域と、前記レセプタクルが含まれる第２領域を設定し、
前記ケーブルの先端と前記レセプタクルとをそれぞれ検出し、
前記第１領域を前記ケーブルの先端の輪郭が含まれる範囲で縮小して第１縮小領域を設定し、
前記第２領域を前記レセプタクルの輪郭が含まれる範囲で縮小して第２縮小領域を設定し、
前記アームの移動に応じて前記第１縮小領域または前記第２縮小領域も移動させつつ前記ケーブルの先端および前記レセプタクルを検出するビジュアルフィードバック制御を行い、
前記ケーブルの先端と前記レセプタクルの位置合わせを行うことを特徴とするロボットビジョンシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットのアームの先端に取り付けられたマニピュレータ、および視覚装置を備えるロボットビジョンシステムに関する。

【背景技術】

【0002】

近年、工場等の生産現場において、ロボットアームやマニピュレータ等の産業用機械が用いられている。例えば特許文献１に、「対象物を視認可能な視覚装置が取り付けられたマニュピュレータを、前記対象物まで移動させる移動制御を行う情報処理装置が実行する情報処理方法」が開示されている。

【0003】

特許文献１には、視覚装置が取り付けられたマニュピュレータを用いて、対象物となる複数のボルト穴の内、所定のボルト穴にボルトを捻じ込む際の情報処理方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許５３１８７２７号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、マニュピュレータを対象物まで移動させる手法として、上記説明した特許文献１にも開示されているようにカメラ等の視覚装置を用いて対象物を含む視覚情報を取得し、取得した視覚情報に基づいてアームひいてはマニピュレータの動作を制御するビジュアルフィードバック制御を用いる手法が周知である。

【0006】

しかしながら、ビジュアルフィードバック制御は、視覚装置によって取得した画像全体の視覚情報を用いるため、対象物の周囲に他の物体が存在する場合、他の物体を対象物と誤認識してしまう可能性がある。例えば特許文献１のように対象物として複数のボルト穴が存在し、そのうちの所定のボルト穴にボルトを捻じ込む場合、ボルトを捻じ込むボルト穴と、それ以外のボルト穴とを誤認識してしまうことが起こりうる。

【0007】

また従来のビジュアルフィードバック制御では、視覚装置によって取得した視覚情報の画像全体を処理し、マニピュレータの制御にフィードバックする。しかしながら、視覚情報の画像全体を処理する場合、処理量（処理負荷）が大きいため処理速度が低下してしまうという課題もある。

【0008】

本発明は、このような課題に鑑み、視覚装置によって取得した画像に複数の物体が含まれている場合であっても対象の物体を正確に検出することができ、且つ画像処理の負荷を軽減することによりビジュアルフィードバック制御の高速処理を実現することが可能なロボットビジョンシステムを提供することを目的としている。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明にかかるロボットビジョンシステムの代表的な構成は、ロボットと、ロボットのアームの先端に取り付けられたマニピュレータと、マニピュレータで把持したケーブルの先端および基板上のレセプタクルを撮影する視覚装置と、視覚装置の映像に基づいてアームの動作を制御する制御部を備え、制御部は、レセプタクルが視覚装置の撮像範囲に入る位置までアームを移動させ、ケーブルの先端とレセプタクルとが両方入った状態の画像を取得し、ケーブルの先端が含まれる第１領域と、レセプタクルが含まれる第２領域を設定し、ケーブルの先端とレセプタクルとをそれぞれ検出し、第１領域をケーブルの先端の輪郭が含まれる範囲で縮小して第１縮小領域を設定し、第２領域をレセプタクルの輪郭が含まれる範囲で縮小して第２縮小領域を設定し、アームの移動に応じて第１縮小領域または第２縮小領域も移動させつつケーブルの先端およびレセプタクルを検出するビジュアルフィードバック制御を行い、ケーブルの先端とレセプタクルの位置合わせを行う。

【発明の効果】

【0010】

本発明によれば、視覚装置によって取得した画像に複数の物体が含まれている場合であっても対象の物体を正確に検出することができ、且つ画像処理の負荷を軽減することによりビジュアルフィードバック制御の高速処理を実現することが可能なロボットビジョンシステムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態にかかるロボットビジョンシステムの全体の構成を説明する図である。

【図2】図１のマニピュレータの近傍の拡大図である。

【図3】図１のロボットビジョンシステムの機能及び構成を説明するブロック図である。

【図4】図１のロボットビジョンシステムを用いたビジュアルフィードバック制御の動作を説明するフローチャートである。

【図5】図１の視覚装置によって撮影された画像を例示する図である。

【図6】図１の視覚装置によって撮影された画像の他の例を例示する図である。

【発明を実施するための形態】

【0012】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0013】

図１は、本実施形態にかかるロボットビジョンシステム１００の全体の構成を説明する図である。図２は、図１のマニピュレータ１１６の近傍の拡大図である。図１に示すロボット１１０は、図２に示すケーブル１０４の先端１０６を、接続先となる回路基板１０８のレセプタクル１０２（コネクタ）に電気的に接続（挿入）する接続作業を行う。ケーブル１０４としては、例えばＦＰＣやＦＦＣなどの平坦かつ柔軟性がある長尺状のものが挙げられる。

【0014】

図１に示すように、ロボットビジョンシステム１００は、ロボット１１０、およびロボット１１０に接続された制御部１２０を含んで構成される。また制御部１２０に、ティーチングペンダント１４０が接続されている。ティーチングペンダント１４０は、ユーザがロボットアーム１１４に動作をティーチングしたり、ロボットアーム１１４を手動操作したりするための装置である。

【0015】

ロボット１１０はロボットアーム１１４（アーム）を支持する本体部１１２を有し、ロボットアーム１１４の先端に、ケーブル１０４の先端を把持するマニピュレータ１１６が取り付けられている。なお図１ではロボット１１０として６軸垂直多関節型を例示しているが、これに限定されるものではなく、６軸以外の垂直多関節型ロボットや水平多関節型ロボットなどであってもよい。

【0016】

図２に示すように、マニピュレータ１１６に、一対の視覚装置が取り付けられている。尚、視覚装置としては、カメラが挙げられる。よって、以下、カメラ１１８と称す。カメラ１１８は、マニピュレータ１１６で把持したケーブル１０４の先端１０６および回路基板１０８上のレセプタクル１０２を撮影する。本実施形態では、カメラ１１８はロボットアーム１１４に取り付けられているが、これに限らず、接続作業の作業領域を俯瞰可能であれば、ロボット１１０とは別の位置に配置されていてもよい。またカメラ１１８は少なくとも１台以上必要だが、２台以上であるとさらに撮像精度が向上するため好ましい。さらにカメラ１１８は、カラー画像またはモノクロ画像を取得するものであってもよい。

【0017】

図３は、図１のロボットビジョンシステム１００の機能及び構成を説明するブロック図である。なお図３では、既に説明したロボット１１０については説明を省略する。図３に示すように制御部１２０は、アーム移動部１２２、撮像部１２４、画像処理部１２６、領域設定部１２８、対象物検出部１３０および補正量算出部１３２を含んで構成される。

【0018】

制御部１２０は、例えばＣＰＵ（演算処理装置）であり、演算処理装置として機能し、メモリのＲＡＭやＲＯＭ、外部記憶装置等（不図示）に格納された各種プログラムを読み出して実行する。このように制御部１２０は、各種プログラムを実行することによって、ロボット１１０を動作制御し、各種機能をロボット１１０に実行させる。特に本実施形態では制御部１２０は、カメラ１１８の映像に基づいてロボットアーム１１４の動作を制御するビジュアルフィードバック制御を実行する。なお本実施形態では、制御部１２０をロボット１１０の外部に設けているが、これに限らず、ロボット１１０の内部に設けてもよい。

【0019】

図４は、図１のロボットビジョンシステム１００を用いたビジュアルフィードバック制御の動作を説明するフローチャートであり、図５は、図１の視覚装置によって撮影された画像を例示する図である。図４に示すように本実施形態のロボットビジョンシステム１００では、まず制御部１２０のアーム移動部１２２は、レセプタクル１０２がカメラ１１８の撮像範囲に入る位置までロボットアーム１１４をティーチング制御で移動させる（Ｓ２０２）。

【0020】

ティーチング制御でロボットアーム１１４を移動させたら、制御部１２０の撮像部１２４は、カメラ１１８によって画像を撮像する（Ｓ２０４）。画像処理部１２６は、カメラ１１８が撮像した図５（ａ）に示す「ケーブルの先端１０６とレセプタクル１０２とが両方入った状態の画像３０２」を取得する（Ｓ２０６）。

【0021】

領域設定部１２８は、図５（ａ）に示す「ケーブルの先端１０６とレセプタクル１０２とが両方入った状態の画像３０２」に対して、ケーブルの先端１０６が含まれる第１領域３０２ａと、レセプタクル１０２が含まれる第２領域３０２ｂを設定する（Ｓ２０８）。第１領域３０２ａおよび第２領域３０２ｂは、ケーブルの先端１０６またはレセプタクル１０２が確実に含まれるように、ティーチング制御の精度に応じた大きな面積とする。本実施形態では、幅については画像３０２の幅とほぼ等しい幅（最大の幅）としている。高さについては、ケーブルの先端１０６が含まれる第１領域３０２ａは画像３０２の下半分、レセプタクル１０２が含まれる第２領域３０２ｂは画像３０２の上半分に設定している。

【0022】

続いて対象物検出部１３０は、対象物であるケーブルの先端１０６を第１領域３０２ａから検出し、対象物であるレセプタクル１０２を第２領域３０２ｂから検出する（Ｓ２１０）。対象物であるケーブルの先端１０６およびレセプタクル１０２を検出したら、領域設定部１２８は、図５（ｂ）の画像３０４に示すように、第１領域３０２ａをケーブルの先端１０６の輪郭が含まれる範囲で最小限に縮小して第１縮小領域３０４ａを設定し、第２領域３０２ｂをレセプタクル１０２の輪郭が含まれる範囲で最小限に縮小して第２縮小領域３０４ｂを設定する（Ｓ２１２）。なお第１縮小領域３０４ａおよび第２縮小領域３０４ｂは狭い方が好ましいが、あまりに狭くすると、ロボットアーム１１４の移動速度と撮像（Ｓ２２０）の頻度との関係によっては、レセプタクル１０２が第２縮小領域３０４ｂから逸脱してしまう。そこで第２縮小領域３０４ｂからレセプタクル１０２が逸脱しないように、第２縮小領域３０４ｂをレセプタクル１０２の輪郭から所定量シフトさせた領域に設定する。

【0023】

補正量算出部１３２は、第１領域３０２ａの位置と第２領域３０２ｂとの位置との差分に基づいて補正量（画像中のケーブルの先端１０６およびレセプタクル１０２の位置のずれを、ロボット座標上のアーム移動量に変換した量）を算出する（Ｓ２１４）。制御部１２０は、補正量が所定の範囲内（誤差範囲内）であれば、図５（ｃ）の画像３０６に示すようにケーブルの先端１０６およびレセプタクル１０２の位置合わせが完了したと判断し（Ｓ２１６のＹＥＳ）、処理を終了する。補正量が所定の範囲内でなかった場合、制御部１２０は、ケーブルの先端１０６およびレセプタクル１０２の位置合わせが完了していないと判断する（Ｓ２１６のＮＯ）。

【0024】

位置合わせが完了していない場合（Ｓ２１６のＮＯ）、制御部１２０はロボットアーム１１４を移動する。詳細にはアーム移動部１２２は、Ｓ２１４において算出した補正量に基づいてロボットアーム１１４を移動させる（Ｓ２１８）。ロボットアーム１１４を移動している間、撮像部１２４はカメラ１１８によって画像を撮像する（Ｓ２２０）。この撮像（Ｓ２２０）、補正量算出（Ｓ２１４）、移動（Ｓ２１８）の繰り返しがビジュアルフィードバック制御である。

【0025】

ここで、図５（ｂ）から図５（ｃ）への遷移からわかるように、画像処理部１２６は、ロボットアーム１１４の移動に応じて画像内における第２縮小領域３０４ｂを移動させる（Ｓ２２２）。具体的には、ロボットアーム１１４のロボット座標上の移動量を画像中の座標に変換し、ロボットアーム１１４の移動方向の「逆方向」に第２縮小領域３０４ｂを移動させる。これにより、ロボットアーム１１４を移動させても第２縮小領域３０４ｂの中にレセプタクル１０２を収めることができる。

【0026】

なお、図１に示したロボットビジョンシステム１００ではカメラ１１８をマニピュレータ１１６に取り付けるように説明したので、図５（ｃ）では画像３０６内のケーブルの先端１０６は動かず、レセプタクル１０２のみが移動している。しかし、視覚装置（カメラ）をロボット１１０に取り付けず、固定設置にした場合には、画像３０６内ではケーブルの先端１０６が移動し、レセプタクル１０２は移動しない。その場合には、画像処理部１２６は、ロボットアーム１１４の移動に応じて画像内における第１縮小領域３０４ａを移動させる（Ｓ２２２）。

【0027】

対象物検出部１３０は、移動させた第２縮小領域３０４ｂにおいてレセプタクル１０２を検出する（Ｓ２２４）。そして制御部１２０は、ケーブルの先端１０６およびレセプタクル１０２の位置合わせが完了（Ｓ２１６のｙｅｓ）するまで、補正量の算出（Ｓ２１４）からレセプタクルの検出（Ｓ２２４）までのビジュアルフィードバック制御を繰り返す。

【0028】

上記説明したように本実施形態のロボットビジョンシステム１００によれば、面積を最小限に縮小した第１縮小領域３０４ａおよび第２縮小領域３０４ｂからケーブルの先端１０６およびレセプタクル１０２を検出してビジュアルフィードバック制御を行う。したがって、従来のようにカメラで撮像した画像全体からケーブルの先端１０６およびレセプタクル１０２を検出する場合に比して、画像処理の負荷を軽減することができ、高速処理を実現することが可能となる。

【0029】

図６は、図１の視覚装置によって撮影された画像の他の例を例示する図である。なお、図４において説明した処理、図５において説明した画像については、同一の符号を付すことにより説明を省略する。

【0030】

Ｓ２０４において制御部１２０の撮像部１２４がカメラ１１８によって撮像した図６（ａ）の画像３０２には、対象物であるレセプタクル１０２およびケーブルの先端１０６の他に、対象物ではないレセプタクル（以下、非対象物１０２ａと称する）が含まれている。そして第１領域にはレセプタクル１０２および非対象物１０２ａが含まれていて、第２領域にはケーブルの先端１０６のみが含まれている。なお非対象物１０２ａには、レセプタクルではないが形状が似ている他の素子や、回路パターン、基板上の印刷なども含まれる。

【0031】

このような場合、対象物検出部１３０は、対象物であるケーブルの先端１０６を第１領域３０２ａから検出し、対象物であるレセプタクル１０２を第２領域３０２ｂから検出する（Ｓ２１０）。そして領域設定部１２８は、図６（ｂ）の画像３０４に示すように、第１領域３０２ａをケーブルの先端１０６の輪郭が含まれる範囲で縮小して第１縮小領域３０４ａを設定し、第２領域３０２ｂをレセプタクル１０２の輪郭が含まれる範囲で縮小して第２縮小領域３０４ｂを設定する（Ｓ２１２）。

【0032】

上記構成によれば、対象物以外の物体（非対象物１０２ａ）が画像に含まれている場合であっても、非対象物１０２ａを除外して第１縮小領域３０４ａと第２縮小領域３０４ｂとを参照してビジュアルフィードバック制御が行われる。これにより、カメラ１１８の画像に非対象物１０２ａが含まれている場合であっても、画像における処理対象から非対象物１０２ａを除外することで誤認識を防止することができる。したがって、対象物を正確に検出することができ、位置合わせの精度を高めることが可能となる。

【0033】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【産業上の利用可能性】

【0034】

本発明は、ロボットのアームの先端に取り付けられたマニピュレータ、および視覚装置を備えるロボットビジョンシステムとして利用することができる。

【符号の説明】

【0035】

１００…ロボットビジョンシステム、１０２…レセプタクル、１０２ａ…非対象物、１０４…ケーブル、１０６…ケーブルの先端、１０８…回路基板、１１０…ロボット、１１２…本体部、１１４…ロボットアーム、１１６…マニピュレータ、１１８…カメラ（視覚装置）、１２０…制御部、１２２…アーム移動部、１２４…撮像部、１２６…画像処理部、１２８…領域設定部、１３０…対象物検出部、１３２…補正量算出部、３０２…画像、３０２ａ…第１領域、３０２ｂ…第２領域、３０４…画像、３０４ａ…第１縮小領域、３０４ｂ…第２縮小領域、３０６…画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】