特開 2022-184270 ロボットビジョンシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022184270

(43)【公開日】2022-12-13

(54)【発明の名称】ロボットビジョンシステム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20221206BHJP

   B25J 9/10 20060101ALI20221206BHJP

   H04N 5/232 20060101ALI20221206BHJP

【ＦＩ】

B25J13/08 A

B25J9/10 A

H04N5/232 290

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2021092022

(22)【出願日】2021-06-01

(71)【出願人】

【識別番号】000005197

【氏名又は名称】株式会社不二越

(74)【代理人】

【識別番号】100120400

【弁理士】

【氏名又は名称】飛田 高介

(74)【代理人】

【識別番号】100124110

【弁理士】

【氏名又は名称】鈴木 大介

(72)【発明者】

【氏名】三本木 將夫

【テーマコード（参考）】

3C707

5C122

【Ｆターム（参考）】

3C707AS01

3C707BS10

3C707CY37

3C707KS03

3C707KS04

3C707KS38

3C707KT01

3C707KX06

3C707LW14

3C707MS05

3C707MT04

3C707MT11

5C122DA27

5C122EA61

5C122FA10

5C122FH11

5C122FH18

5C122HB01

5C122HB02

(57)【要約】

【課題】撮像装置へのトリガ信号の送信を行うことなく撮像画像を取得することができ、制御装置と撮像装置との間の配線が不要とすることが可能なロボットビジョンシステムを提供する。
【解決手段】本発明のロボットビジョンシステムの構成は、カメラ１０６を有するロボットビジョンシステム１００において、カメラ１０６を用いて任意の時間間隔で時系列画像を撮像する撮像部１１２と、複数の時系列画像から３次元情報を生成する３次元生成部１１６と、ロボット（ロボットアーム１０２）の位置情報を任意のタイミングで取得する位置情報取得部１１８と、位置情報を取得したタイミングの画像を推定する画像推定部１２０と、推定した画像を用いて位置情報を取得したタイミングの３次元情報を補正する３次元補正部１２２と、を備えたことを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラを有するロボットビジョンシステムにおいて、
前記カメラを用いて任意の時間間隔で時系列画像を撮像する撮像部と、
複数の前記時系列画像から３次元情報を生成する３次元生成部と、
ロボットの位置情報を任意のタイミングで取得する位置情報取得部と、
前記位置情報を取得したタイミングの画像を推定する画像推定部と、
前記推定した画像を用いて前記位置情報を取得したタイミングの３次元情報を補正する３次元補正部と、
を備えたことを特徴とするロボットビジョンシステム。

【請求項2】

前記３次元生成部は、
位置情報が与えられた前記推定した画像を複数用いて、
距離の単位を持った３次元情報を生成することを特徴とする請求項１に記載のロボットビジョンシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラを有するロボットビジョンシステムに関する。

【背景技術】

【0002】

近年、工場等の生産現場において、ロボットアーム等の産業用機械が用いられている。例えば特許文献１には、撮像装置が取り付けられた可動アームを有するロボットの制御方法が開示されている。特許文献１のロボットの制御方法では、第１の画像、第２の画像、第３の画像および第４の画像を取得している。そして、第１の画像および第２の画像を用いて第３の画像を推定し、推定した第３の画像と推定した第３の画像との誤差を算出し、算出した誤差を用いて第４の画像を推定している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－１３９５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、上述した第１の画像－第４の画像を、第１の時刻－第４の時刻において撮像装置によって撮像している。このような構成であると、画像を撮像する時刻に撮像装置にトリガ信号を送信する必要がある。このトリガ信号を送信するためにはロボットの制御装置から撮像装置の間に配線を設けなくてはいけない。しかしながら、産業用機械は、複数の関節を有し、高速に動作するものであるため配線を収容する空間は限られている。

【0005】

本発明は、このような課題に鑑み、撮像装置へのトリガ信号の送信を行うことなく撮像画像を取得することができ、制御装置と撮像装置との間の配線を不要とすることが可能なロボットビジョンシステムを提供することを目的としている。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のロボットビジョンシステムの代表的な構成は、カメラを有するロボットビジョンシステムにおいて、カメラを用いて任意の時間間隔で時系列画像を撮像する撮像部と、複数の時系列画像から３次元情報を生成する３次元生成部と、ロボットの位置情報を任意のタイミングで取得する位置情報取得部と、位置情報を取得したタイミングの画像を推定する画像推定部と、推定した画像を用いて位置情報を取得したタイミングの３次元情報を補正する３次元補正部と、を備えたことを特徴とする。

【0007】

上記３次元生成部は、位置情報が与えられた推定した画像を複数用いて、距離の単位を持った３次元情報を生成するとよい。

【発明の効果】

【0008】

本発明によれば、撮像装置へのトリガ信号の送信を行うことなく撮像画像を取得することができ、制御装置と撮像装置との間の配線が不要とすることが可能なロボットビジョンシステムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態にかかるロボットビジョンシステムを説明する概略図である。

【図2】本実施形態のロボットビジョンシステムの動作を説明するフローチャートである。

【図3】本実施形態のロボットビジョンシステムの動作を説明するタイミングチャートである。

【発明を実施するための形態】

【0010】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0011】

図１は、本実施形態にかかるロボットビジョンシステム１００を説明する概略図である。本実施形態のロボットビジョンシステム１００では、産業用機械としてロボットアーム１０２を例示している。ロボットアーム１０２は、ワーク１０４を把持し、かかるワーク１０４を所定の位置まで移動する。

【0012】

図１に示すように、本実施形態のロボットビジョンシステム１００は、ワーク１０４を撮影するカメラ１０６、ならびにロボットアーム１０２およびカメラ１０６を制御するロボット制御装置１１０を含んで構成される。ロボット制御装置１１０は、撮像部１１２と、時刻取得部１１４と、３次元生成部１１６と、位置情報取得部１１８と、画像推定部１２０と、３次元補正部１２２とを含んで構成される。

【0013】

図２は、本実施形態のロボットビジョンシステム１００の動作を説明するフローチャートである。図２（ａ）はロボット制御装置１１０によるカメラ１０６の制御を説明するフローチャートであり、図２（ｂ）は１１０によるロボットアーム１０２の制御を説明するフローチャートである。また図３は本実施形態のロボットビジョンシステムの動作を説明するタイミングチャートである。

【0014】

本実施形態のロボットビジョンシステム１００では、ロボット制御装置１１０は、図２（ａ）に示すように、撮像部１１２によってカメラ１０６を用いて任意の時間間隔で時系列画像を撮像する（Ｓ２０２）。任意の時間間隔とは、例えば３０ｆｐｓや６０ｆｐｓなど、市販のカメラが備えているフレームレートのモードを利用することができる。時刻取得部１１４は、システムのクロックから時系列画像が撮像された時刻を取得する（Ｓ２０４）。これにより、撮像された時系列画像Ｐ１，Ｐ２，Ｐ３に時刻情報ｔ１，ｔ２，ｔ３が紐づけされる。

【0015】

次に３次元生成部１１６は、複数の時系列画像から、撮像した時刻における３次元情報を生成する（Ｓ２０６）。３次元情報を生成する手段としては既知の技術を利用することができ、例えばＳＬＡＭ（Simultaneous Localization and Mapping）やＳＦＭ（Structure From Motion）を好適に用いることができる。

【0016】

また本実施形態の１００では、図２（ｂ）に示すようにロボットアーム１０２が移動を開始したら（Ｓ２２２）、ロボット制御装置１１０の位置情報取得部１１８は、ロボットアーム１０２の位置情報である座標Ｍ１を任意のタイミングで取得する（Ｓ２２４）。時刻取得部１１４は、取得されたロボットアーム１０２の位置情報に対応する時刻ｔ’を取得する（Ｓ２２６）。これにより、ロボットアーム１０２の位置情報Ｍ１に時刻情報ｔ’が紐づけされる。

【0017】

次に画像推定部１２０は、Ｓ２２６において位置情報を取得したタイミングの画像Ｐ’を推定する（Ｓ２２８）。画像の推定は、前後の時刻ｔ１，ｔ２の画像Ｐ１，Ｐ２を用いて行うことができる。そして３次元補正部１２２は、推定画像Ｐ’を用いて位置情報を取得したタイミングの３次元情報を補正する（Ｓ２３０）。その後、ロボットアーム１０２が移動した場合（Ｓ２３２のＹＥＳ）には、ロボット制御装置１１０は、Ｓ２２４以降の処理を繰り返す。これ以上ロボットアーム１０２が移動しない場合（Ｓ２３２のＮＯ）には、ロボット制御装置１１０は処理を終了する。

【0018】

本実施形態のロボットビジョンシステム１００によれば、カメラ１０６では任意の時間間隔で時系列画像が継続的に撮像され、この時系列画像には時刻情報が付与される。そしてロボットアーム１０２が移動している際の位置情報にも時刻情報が付与されているため、所望のタイミングを指定することで、その位置情報に対応する時間の推定画像、ひいてはかかる推定画像から生成された３次元情報を取得することができる。

【0019】

このとき本実施形態のロボットビジョンシステム１００では、カメラ１０６では任意の時間間隔で継続的に時系列画像が撮像されるため、撮影タイミングを指示するトリガをカメラ１０６に送信する必要がない。したがって、ロボット制御装置１１０とカメラ１０６との配線を不要とすることが可能である。

【0020】

また上述した３次元生成部１１６は、位置情報が与えられた推定後の画像を複数用いて、距離の単位を持った３次元情報を生成してもよい。距離の単位を持った３次元情報を生成することにより、ロボットアーム１０２のエンドエフェクタ（ハンドなど）とワーク１０４や周辺設備との距離や寸法の絶対値が取得できることができる。したがって、したがって、ワーク１０４を高い精度で把持したり、周辺設備との干渉を回避したりすることを高精度に行うことができる。

【0021】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【産業上の利用可能性】

【0022】

本発明は、カメラを有するロボットビジョンシステムとして利用することができる。

【符号の説明】

【0023】

１００…ロボットビジョンシステム、１０２…ロボットアーム、１０４…ワーク、１０６…カメラ、１１０…ロボット制御装置、１１２…撮像部、１１４…時刻取得部、１１６…３次元生成部、１１８…位置情報取得部、１２０…画像推定部、１２２…３次元補正部

【図1】

【図2】

【図3】