特開 2022-164981 ロボットビジョンシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022164981

(43)【公開日】2022-10-31

(54)【発明の名称】ロボットビジョンシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221024BHJP

   B25J 19/04 20060101ALI20221024BHJP

【ＦＩ】

G06T7/00 300F

B25J19/04

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2021070113

(22)【出願日】2021-04-19

(71)【出願人】

【識別番号】000005197

【氏名又は名称】株式会社不二越

(74)【代理人】

【識別番号】100120400

【弁理士】

【氏名又は名称】飛田 高介

(74)【代理人】

【識別番号】100124110

【弁理士】

【氏名又は名称】鈴木 大介

(72)【発明者】

【氏名】三本木 將夫

【テーマコード（参考）】

3C707

5L096

【Ｆターム（参考）】

3C707BS10

3C707KS06

3C707KT01

3C707KT05

3C707KT11

5L096BA05

5L096EA39

5L096FA69

5L096GA51

5L096JA11

(57)【要約】

【課題】ワークの周辺環境に変化が生じた場合であっても、ワークの特徴量を正確に抽出することが可能なロボットビジョンシステムを提供する。
【解決手段】本発明のロボットビジョンシステムは、カメラを用いて画像を撮像する撮像部と、画像からワークの特徴量を抽出する特徴量抽出部と、特徴量と画像中の座標を対応付ける座標取得部と、ワーク中心部の特徴量とワーク周辺部の特徴量に分類する領域設定部と、中心部の特徴量を用いて画像からワーク中心部の認識スコアを算出する中心部認識スコア算出部と、周辺部の特徴量を用いて画像からワーク周辺部の認識スコアを算出する周辺部認識スコア算出部と、２つの認識スコアを比較する比較部と、２つの認識スコアの差が所定値以上であった場合には、認識スコアが高かった方の特徴量をワークの認識に用いる特徴量として選択する特徴量決定部と、を有することを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

カメラを有するロボットビジョンシステムにおいて、
前記カメラを用いて画像を撮像する撮像部と、
前記画像からワークの特徴量を抽出する特徴量抽出部と、
前記特徴量と前記画像中の座標を対応付ける座標取得部と、
前記座標から前記特徴量の中心位置を算出し、ワーク中心部の特徴量とワーク周辺部の特徴量に分類する領域設定部と、
前記中心部の特徴量を用いて前記画像からワーク中心部の認識スコアを算出する中心部認識スコア算出部と、
前記周辺部の特徴量を用いて前記画像からワーク周辺部の認識スコアを算出する周辺部認識スコア算出部と、
前記２つの認識スコアを比較する比較部と、
前記比較部における比較結果において、前記２つの認識スコアの差が所定値以上であった場合には、認識スコアが高かった方の特徴量を前記ワークの認識に用いる特徴量として選択する特徴量決定部と、
を有することを特徴とするロボットビジョンシステム。

【請求項2】

前記特徴量決定部は、前記２つの認識スコアの差が所定値以上であった場合には、認識スコアが高かった方の特徴量に、認識スコアが低かった方の特徴量に低い重み付けをして加えて、前記ワークの認識に用いる特徴量を決定することを特徴とする請求項１に記載のロボットビジョンシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラを有するロボットビジョンシステムに関する。

【背景技術】

【0002】

近年、工場等の生産現場において、ロボットアーム等の産業用機械が用いられている。産業用機械によって把持するワークを識別する方法としては、例えば特許文献１にはロボット装置および物体の位置姿勢推定方法が開示されている。

【0003】

特許文献１の位置姿勢推定方法では、距離センサによって作業環境内に存在する物体との距離を計測してレンジデータを生成し、生成したレンジデータを形状データと照合することによって、物体の初期形状と初期位置姿勢を推定する。そして、カメラによって撮像した物体の画像データを生成し、生成した画像データの特徴を抽出する。その後、推定した物体の初期形状と初期位置姿勢を初期値として、抽出した画像データの特徴と、物体の形状と位置姿勢との誤差を評価関数とした最小化問題を解くことで、物体の位置姿勢を推定している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５２９７７２７号

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで特許文献１の物体の位置姿勢推定方法では、カメラによって撮像した物体の画像データをエッジ処理することにより線分を抽出している。しかしながら、画像データのエッジ等の特徴量を抽出する際には、ワークの周辺環境、特に昼夜等による光の当たり方によって画像におけるワークの明暗情報が変化する。すると画像におけるワークの特徴量も当然に変化する。このため、特許文献１の技術ではワークの特徴量を正確に抽出することができず、さらなる改善の余地がある。

【0006】

本発明は、上記問題点に鑑みてなされたものであり、ワークの周辺環境に変化が生じた場合であっても、ワークの特徴量を正確に抽出することが可能なロボットビジョンシステムを提供することを目的としている。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のロボットビジョンシステムの代表的な構成は、カメラを有するロボットビジョンシステムにおいて、カメラを用いて画像を撮像する撮像部と、画像からワークの特徴量を抽出する特徴量抽出部と、特徴量と画像中の座標を対応付ける座標取得部と、座標から特徴量の中心位置を算出し、ワーク中心部の特徴量とワーク周辺部の特徴量に分類する領域設定部と、中心部の特徴量を用いて画像からワーク中心部の認識スコアを算出する中心部認識スコア算出部と、周辺部の特徴量を用いて画像からワーク周辺部の認識スコアを算出する周辺部認識スコア算出部と、２つの認識スコアを比較する比較部と、比較部における比較結果において、２つの認識スコアの差が所定値以上であった場合には、認識スコアが高かった方の特徴量をワークの認識に用いる特徴量として選択する特徴量決定部と、を有することを特徴とする。

【0008】

例えば、ワークの周囲が明るい場合には、画像から抽出されるワークの中心部の特徴量およびワークの周辺部の特徴量はともに明確であり、それらから算出される認識スコアもともに高くなる。ただしワークが光沢を持っていて光ってしまう場合や、背景との色の差が少ない場合などには、明るくても周辺部の特徴量が不明確になることもある。これに対し、例えばワークの周囲が暗い場合には、画像から抽出されるワークの周辺部の特徴量は大きく変化し（ぼやけた状態になり）、そこから算出される認識スコアは低くなる。

【0009】

そこで上記構成では、ワークの中心部の認識スコアとワークの周辺部の認識スコアとを比較し、それらの差が所定値以上であった場合、すなわち一方の認識スコアが低かった場合、認識スコアが高かった方の特徴量をワークの認識に用いる特徴量として選択する。これにより、ワークの周辺環境に変化が生じた場合であっても、その影響を除外してワークの特徴量を正確に算出し、ワークを安定して認識することが可能となる。

【0010】

上記特徴量決定部は、２つの認識スコアの差が所定値以上であった場合には、認識スコアが高かった方の特徴量に、認識スコアが低かった方の特徴量に低い重み付けをして加えて、ワークの認識に用いる特徴量を決定するとよい。かかる構成によれば、２つの認識スコアを用いて、ワークの認識に用いる特徴量を決定する。したがって、ワークの認識に用いる特徴量の精度を高め、ワークをより確実に認識することができる。

【発明の効果】

【0011】

本発明によれば、ワークの周辺環境に変化が生じた場合であっても、ワークの特徴量を正確に抽出することが可能なロボットビジョンシステムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】本実施形態にかかるロボットビジョンシステムを説明する概略図である。

【図2】本実施形態のロボットビジョンシステムの機能ブロック図である。

【図3】本実施形態のロボットビジョンシステムの動作を説明するフローチャートである。

【図4】領域と特徴量の選択を説明する図である。

【発明を実施するための形態】

【0013】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0014】

図１は、本実施形態にかかるロボットビジョンシステム１００を説明する概略図である。本実施形態のロボットビジョンシステム１００では、産業用機械としてロボットアーム１０２を例示している。図１に示すように、本実施形態のロボットビジョンシステム１００は、ロボットアーム１０２と、ワーク１０４を撮影するカメラ１０６を含んで構成される。ロボットアーム１０２は、ワーク１０４を把持し、かかるワーク１０４を所定の位置まで移動する。

【0015】

図２は本実施形態のロボットビジョンシステム１００の機能ブロック図である。図３は本実施形態のロボットビジョンシステム１００の動作を説明するフローチャートである。

【0016】

図２に示すように、本実施形態のロボットビジョンシステム１００は、カメラ１０６、ロボット制御装置１１０およびカメラ制御装置１２０を含んで構成される。ロボット制御装置１１０は、アーム移動部１１２を有する。アーム移動部１１２は、ロボットアーム１０２に対して所定の位置への移動を指示する。

【0017】

カメラ制御装置１２０は、撮像部１２２、特徴量抽出部１２４、座標取得部１２６、領域設定部１２８、中心部認識スコア算出部１３０、周辺部認識スコア算出部１３２、比較部１３４および特徴量決定部１３６を有する。

【0018】

図３に示すように、まずカメラ制御装置１２０は撮像部１２２を介してカメラ１０６によってワーク１０４を撮像する（Ｓ２０２）。ワーク１０４の画像を取得したら、特徴量算出部１２４は、撮像された画像からワーク１０４の特徴量を抽出する（Ｓ２０４）。特徴量としては、ワーク１０４のエッジ特徴量やコーナー特徴量等を例示することができる。

【0019】

次に座標取得部１２６は、特徴量抽出部１２４において抽出されたワーク１０４の特徴量と、それに用いられた画像中の座標とを対応付ける（Ｓ２０６）。そして領域設定部１２８は、座標から特徴量の中心位置（すなわちワークの中心位置）を算出し、ワーク中心部の特徴量とワーク周辺部の特徴量に分類する（Ｓ２０８）。なお、ワーク中心部とは、ワーク１０４の中央に位置する領域のことであり、ワーク周辺部とは、ワーク１０４の輪郭に相当する領域のことである。

【0020】

ワーク１０４の特徴量が分類されたら、中心部認識スコア算出部１３０は、中心部の特徴量を用いて画像からワーク中心部の認識スコアを算出し、周辺部認識スコア算出部１３２は、周辺部の特徴量を用いて画像からワーク周辺部の認識スコアを算出する（Ｓ２１０）。認識スコアを算出する方法としては、撮像画像から抽出されたワーク１０４の特徴量と、撮影画像の特徴量のマッチング処理（正規化相互相関等）を用いることができる。以下、中央部認識スコアと周辺部認識スコアを特に区別しない場合には、２つの認識スコアと称する。

【0021】

２つの認識スコアが算出されたら、比較部１３４はそれらを比較する（Ｓ２１２）。そして特徴量決定部１３６は、比較部１３４における比較結果において２つの認識スコアの差が所定値以上であるかを判断する（Ｓ２１４）。

【0022】

図４は領域と特徴量の選択を説明する図である。画像Ｐにおいて、ワーク１０４を中心に、中央部領域Ｒ１と周辺部領域Ｒ２が設定されている。２つの認識スコアの差が所定値未満であった場合（Ｓ２１４のＮＯ）には、いずれの認識スコアも信頼性が高いと判断することができる。そこで特徴量決定部１３６は、図４（ａ）に示すように、全ての特徴量（中心部および周辺部の両方の特徴量）をワーク１０４に認識に用いる特徴量として選択する（Ｓ２１６）。

【0023】

一方、比較部１３４における比較結果において、２つの認識スコアの差が所定値以上であった場合（Ｓ２１４のＹＥＳ）には、認識スコアが高かった方の特徴量をワーク１０４の認識に用いる特徴量として選択する（Ｓ２１８）。

【0024】

例えば中心部領域Ｒ１の認識スコアが高い場合には、図４（ｂ）に示すように、中心部の特徴量１０４ａを、ワーク１０４の認識に用いる特徴量として選択する。また、周辺部領域Ｒ２の認識スコアが高い場合には、図４（ｃ）に示すように、周辺部の特徴量１０４ｂを、ワーク１０４の認識に用いる特徴量として選択する。

【0025】

すなわち本実施形態のロボットビジョンシステム１００によれば、一方の認識スコアが低かった場合、認識スコアが高かった方の特徴量をワーク１０４の認識に用いる特徴量として選択する。これにより、ワーク１０４の周辺環境に変化が生じた場合であっても、その影響を除外してワーク１０４の特徴量を正確に算出し、ワーク１０４を安定して認識することが可能となる。

【0026】

なお、上記説明したＳ２１８では、「認識スコアが高かった方の特徴量をワーク１０４の認識に用いる特徴量として選択する」構成を例示した。ただし、これに限定するものではなく、２つの認識スコアの差が所定値以上であった場合に、認識スコアが高かった方の特徴量に、認識スコアが低かった方の特徴量に低い重み付けをして加えて、ワーク１０４の認識に用いる特徴量を決定することとしてもよい。かかる構成によれば、２つの認識スコアを用いて、ワーク１０４の認識に用いる特徴量を決定する。したがって、ワーク１０４の認識に用いる特徴量の精度を高め、ワーク１０４をより確実に認識することができる。

【0027】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【産業上の利用可能性】

【0028】

本発明は、カメラを有するロボットビジョンシステムとして利用することができる。

【符号の説明】

【0029】

１００…ロボットビジョンシステム、１０２…ロボットアーム、１０４…ワーク、１０４ａ…中心部の特徴量、１０４ｂ…周辺部の特徴量、１０６…カメラ、１１０…ロボット制御装置、１１２…アーム移動部、１２０…カメラ制御装置、１２２…撮像部、１２４…特徴量抽出部、１２６…座標取得部、１２８…領域設定部、１３０…中心部認識スコア算出部、１３２…周辺部認識スコア算出部、１３４…比較部、１３６…特徴量決定部、Ｒ１…中心部領域、Ｒ２…周辺部領域、Ｐ…画像

【図1】

【図2】

【図3】

【図4】