特開 2023-10173 ロボットビジョンシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023010173

(43)【公開日】2023-01-20

(54)【発明の名称】ロボットビジョンシステム

(51)【国際特許分類】

   B25J 9/10 20060101AFI20230113BHJP

   G01B 11/00 20060101ALI20230113BHJP

【ＦＩ】

B25J9/10 A

G01B11/00 H

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2021114117

(22)【出願日】2021-07-09

(71)【出願人】

【識別番号】000005197

【氏名又は名称】株式会社不二越

(74)【代理人】

【識別番号】100120400

【弁理士】

【氏名又は名称】飛田 高介

(74)【代理人】

【識別番号】100124110

【弁理士】

【氏名又は名称】鈴木 大介

(72)【発明者】

【氏名】三本木 將夫

【テーマコード（参考）】

2F065

3C707

【Ｆターム（参考）】

2F065AA04

2F065FF04

2F065FF61

2F065FF67

2F065MM06

2F065PP25

2F065QQ31

2F065SS13

3C707BS10

3C707JU02

3C707KS03

3C707KS36

3C707KT01

3C707KT05

3C707KT09

3C707KT11

(57)【要約】

【課題】レンズによる像の歪みに起因する誤差を考慮することができ、ワークを載置する位置を好適に決定することが可能なロボットビジョンシステムを提供することを目的とする。
【解決手段】本発明のロボットビジョンシステム１００の代表的な構成は、撮像部１３２により撮像された画像を用いてカメラ１１０およびロボット（ロボット本体１００ａ）の位置関係のキャリブレーションに必要なパラメータを算出するパラメータ算出部１３４と、パラメータを用いてカメラで撮像された画像の校正を行う画像校正部１３６と、パラメータを用いてカメラおよびロボットの位置関係の校正を行うロボット位置校正部１３８と、画像を所定の領域に分割し、領域ごとに校正後の誤差の値を算出する誤差算出部１４２と、領域ごとの誤差の値を表示する誤差表示部１４４と、を有することを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

カメラを有するロボットビジョンシステムにおいて、
前記カメラを用いて対象物の画像を撮像する撮像部と、
前記撮像部により撮像された前記画像を用いて前記カメラおよびロボットの位置関係のキャリブレーションに必要なパラメータを算出するパラメータ算出部と、
前記パラメータを用いて前記カメラで撮像された前記画像の校正を行う画像校正部と、
前記パラメータを用いて前記カメラおよびロボットの位置関係の校正を行うロボット位置校正部と、
前記画像を所定の領域に分割し、領域ごとに校正後の誤差の値を算出する誤差算出部と、
前記領域ごとの誤差の値を表示する誤差表示部と、
を有することを特徴とするロボットビジョンシステム。

【請求項2】

前記所定の領域は、前記カメラの光軸を中心とする同心円状の領域であることを特徴とする請求項１に記載のロボットビジョンシステム。

【請求項3】

前記誤差表示部は、前記画像に前記領域の境界線、および該領域ごとの前記誤差の値を重畳して表示することを特徴とする請求項１または２に記載のロボットビジョンシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラを有するロボットビジョンシステムに関する。

【背景技術】

【0002】

近年、工場等の生産現場において、画像を用いてロボットアームやマニピュレータ等の動作を制御する産業用機械が用いられている。画像を用いて制御をする場合、世界座標系と画像座標系との変換を行うためにキャリブレーション（校正）を行う必要がある。

【0003】

例えば特許文献１には、ロボットが有するアームに配置された撮像装置をキャリブレーションするキャリブレーション装置が開示されている。特許文献１のキャリブレーション装置では、類似度算出部において、特徴点を有するキャリブレーションボードを撮像装置が撮像することにより得られた複数の撮像画像のそれぞれについて類似度を算出する。そして分類部は、算出された類似度に基づき、複数の撮像画像を複数のグループに分類する。

【0004】

特許文献１のキャリブレーション装置では更に、キャリブレーション処理部において、類似度が所定値以上の代表画像を１つ抽出し、抽出された複数の代表画像からなる代表画像群に基づき、特徴点のキャリブレーションボードにおける物理的な位置と特徴点の撮像画像における位置とを変換するための補正値を決定する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第５９６２３９４号

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで一般に、レンズを用いて撮像する場合は、レンズ周縁部に行くほど歪みが大きくなる。すなわち画像の周縁部においては、画像上において物体の位置がずれている（位置の信頼性が低い）ことになる。するとキャリブレーションを行ったときに、画像中央部と周縁部とでは誤差の程度が異なるはずである。しかしながら、特許文献１では、レンズによる像の歪みについては何ら考慮されていない。したがって、特許文献１の技術には更なる改善の余地がある。

【0007】

本発明は、このような課題に鑑み、レンズによる像の歪みに起因する誤差を考慮することができ、ワークを載置する位置を好適に決定することが可能なロボットビジョンシステムを提供することを目的としている。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明のロボットビジョンシステムの代表的な構成は、カメラを有するロボットビジョンシステムにおいて、カメラを用いて対象物の画像を撮像する撮像部と、撮像部により撮像された画像を用いてカメラおよびロボットの位置関係の校正に必要なパラメータを算出するパラメータ算出部と、パラメータを用いてカメラで撮像された画像の校正を行う画像校正部と、パラメータを用いてカメラおよびロボットの位置関係の校正を行うロボット位置校正部と、画像を所定の領域に分割し、領域ごとに校正後の誤差の値を算出する誤差算出部と、領域ごとの誤差の値を表示する誤差表示部と、を有することを特徴とするロボットビジョンシステム。

【0009】

上記所定の領域は、カメラの光軸を中心とする同心円状の領域であるとよい。また上記誤差表示部は、画像に領域の境界線、および領域ごとの誤差の値を重畳して表示するとよい。

【発明の効果】

【0010】

本発明によれば、レンズによる像の歪みに起因する誤差を考慮することができ、ワークを載置する位置を好適に決定することが可能なロボットビジョンシステムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態にかかるロボットビジョンシステムを説明する概略図である。

【図2】本実施形態のロボットビジョンシステムの機能構成を説明する機能ブロック図である。

【図3】本実施形態のロボットビジョンシステムの動作を説明するフローチャートである。

【図4】表示装置における表示例を示す図である。

【発明を実施するための形態】

【0012】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0013】

図１は、本実施形態にかかるロボットビジョンシステム１００を説明する概略図である。本実施形態のロボットビジョンシステム１００では、産業用機械としてロボットアーム１０２を例示している。ロボットアーム１０２は、ワークテーブル１０６の上に載置されたワーク（不図示）を把持し、かかるワークを所定の位置まで移動する。

【0014】

本実施形態においてロボットビジョンシステム１００は撮像装置のキャリブレーションを行う。そのため、ワークテーブル１０６には撮影の対象物としてキャリブレーションボード１０４が載置されている。

【0015】

図２は、本実施形態のロボットビジョンシステム１００の機能構成を説明する機能ブロック図である。図２に示すように本実施形態のロボットビジョンシステム１００は、ワーク（キャリブレーションするときはキャリブレーションボード１０４）を撮像するカメラ１１０、モニター等の表示装置１２０および制御部１３０を含んで構成される。制御部１３０は、撮像部１３２、パラメータ算出部１３４、画像校正部１３６、ロボット位置校正部１３８、誤差算出部１４２、誤差表示部１４４およびロボット座標取得部１４６を有する。

【0016】

図３は、本実施形態のロボットビジョンシステム１００の動作を説明するフローチャートである。図３に示すように、本実施形態のロボットビジョンシステム１００ではまず、制御部１３０の撮像部１３２は、カメラ１１０を用いて対象物であるキャリブレーションボード１０４の画像を撮像する（Ｓ２０２）。

【0017】

次にパラメータ算出部１３４は、撮像部１３２により撮像された画像を用いてカメラ１１０およびロボット本体１００ａの位置関係の校正に必要なパラメータを算出する（Ｓ２０４）。キャリブレーションボード１０４は白黒の市松模様であり、ボード全体の寸法も既知であるし、白黒のマスの寸法も既知である。パラメータ算出部１３４は、キャリブレーションボード１０４のマスの交点（特徴点）について、世界座標系（ロボット座標系）における位置と、画像座標系における位置を特定する。そして、これらを変換する行列式をパラメータとして算出する。

【0018】

画像校正部１３６は、パラメータ算出部１３４において算出されたパラメータを用いて、カメラ１１０で撮像された画像の校正を行う（Ｓ２０６）。またロボット位置校正部１３８は、パラメータを用いてカメラ１１０およびロボット本体１００ａの位置関係の校正を行う（Ｓ２０８）。ここまでは、従来のキャリブレーションと同じ処理である。

【0019】

ここで従来の処理だけでは、キャリブレーションを行った画像において、カメラ１１０のレンズによる像の歪みに起因する誤差については何ら考慮されていない。すなわちカメラ１１０のレンズは光軸から離れるにしたがって画像が歪んでしまうため、誤差が大きくなってしまう。

【0020】

そこで本実施形態のロボットビジョンシステム１００では、画像の校正、カメラ１１０およびロボット本体１００ａの校正を行ったら、誤差算出部１４２は、校正された画像を所定の領域に分割し、領域ごとに校正後の誤差（変換誤差）を算出する（Ｓ２１０）。誤差とは、世界座標系と画像座標系との間の変換を行った場合の誤差である。具体的には、画像上の特徴点の位置をパラメータの逆変換によって世界座標系に変換し、その特徴点の世界座標系における位置と比較して、これらの位置の誤差（距離）を求める。

【0021】

図４は、表示装置１２０における表示例を示す図である。図４に示すように、表示装置１２０には、撮像した画像３０２を表示すると共に、この画像３０２を所定の領域に分割して表示される（Ｓ２１２）。本実施形態において所定の領域は、カメラ１１０の光軸を中心とする同心円状の領域Ａ・Ｂ・Ｃであり、これらの境界線Ａ´・Ｂ´・Ｃ´を表示する。なお領域の区分けを表す方法として、境界線を表示することに代えて、色分けや網掛けで表現してもよい。

【0022】

また本実施形態のロボットビジョンシステム１００では、画像３０２に重畳して、領域Ａ・Ｂ・Ｃごとの誤差の値を重畳して表示装置１２０に表示している。かかる構成によれば、使用者は表示装置１２０を視認するだけで、画像上の領域ごとの誤差の大小を視覚的かつ直感的に把握することが可能となる。なお、誤差の値を表す方法として、数字や文字で表示することに代えて、色分けや網掛けで表現してもよい。

【0023】

上記説明したように本実施形態のロボットビジョンシステム１００によれば、レンズによる像の歪みに起因する誤差を表示する。したがって例えば、ロボットをワークに遠距離から近づける場合は画像の周縁部（誤差が大きい領域）にワークが映っている状態でも良いが、ワークに接近した後は画像の中央部（誤差が小さい領域）にワークが映るようにロボットアーム１０２を制御することができる。すなわち、遠距離では自由度と速度を優先させ、近距離では精度を優先させるようなティーチングを行うことができるようになる。

【0024】

再度図３を参照する。上述したように所定の領域、その誤差の値を表示装置１２０に表示したら、それを確認した操作者はロボット本体１００ａを移動するかの入力を制御部１３０に対して行う。制御部１３０では、使用者からの移動入力を受け付けたら（Ｓ２１４のＹＥＳ）、ロボット本体１００ａを移動させる（Ｓ２１６）。

【0025】

ロボット本体１００ａを移動させたら、ロボット座標取得部１４６はロボット本体１００ａの座標を取得する（Ｓ２１８）。そして、Ｓ２０２以降の処理を繰り返す。ロボット本体１００ａを移動させない旨の入力を受けたら（Ｓ２１４のＮＯ）、制御部１３０は処理を終了する。このように複数の姿勢においてキャリブレーションボード１０４を撮影し、複数の画像に基づいてパラメータを算出することにより、変換の精度を向上させることができる。

【0026】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【産業上の利用可能性】

【0027】

本発明は、カメラを有するロボットビジョンシステムとして利用することができる。

【符号の説明】

【0028】

１００…ロボットビジョンシステム、１０２…ロボットアーム、１０４…ワーク、１０６…偏光カメラ、１０８…ワークテーブル、１１０…ロボット制御装置、１１２…アーム移動部、１１４…焦点位置変更部、１１６…位置情報取得部、１１８…距離情報算出部

【図1】

【図2】

【図3】

【図4】