特許 7481468 ロボットシステム及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-30

(45)【発行日】2024-05-10

(54)【発明の名称】ロボットシステム及び制御方法

(51)【国際特許分類】

   G01B 11/02 20060101AFI20240501BHJP

   B25J 13/08 20060101ALI20240501BHJP

【ＦＩ】

G01B11/02 H

B25J13/08 A

【請求項の数】 5

(21)【出願番号】P 2022546279

(86)(22)【出願日】2021-08-26

(86)【国際出願番号】 JP2021031375

(87)【国際公開番号】W WO2022050169

(87)【国際公開日】2022-03-10

【審査請求日】2023-04-05

(31)【優先権主張番号】P 2020147223

(32)【優先日】2020-09-02

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100160794

【弁理士】

【氏名又は名称】星野 寛明

(72)【発明者】

【氏名】井 航太

(72)【発明者】

【氏名】太田 悠介

【審査官】續山 浩二

(56)【参考文献】

【文献】米国特許第０９６３０３２０（ＵＳ，Ｂ１）

【文献】特開２０１０－２４７９５９（ＪＰ，Ａ）

【文献】特開２０１０－２６６２０２（ＪＰ，Ａ）

【文献】米国特許第１０４５５２１２（ＵＳ，Ｂ１）

【文献】国際公開第２０２０／００８５３８（ＷＯ，Ａ１）

【文献】特開２０１０－０４８５７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／０２

Ｂ２５Ｊ １３／０８

(57)【特許請求の範囲】

【請求項1】

対象物の二次元画像を撮像する撮像部と、
前記二次元画像に基づいて前記対象物の距離情報を取得する画像処理部と、
前記距離情報に基づいて距離画像を生成する距離画像生成部と、
前記距離画像に基づいて前記対象物を認識する画像認識部と、
前記距離画像に基づいて、前記画像認識部により認識された前記対象物の鉛直方向の寸法を示す厚みを算出する厚み算出部と、
を備え、
前記画像認識部は、教示者による操作に基づいて、前記対象物を検出するように１以上の特徴量を選択し、前記１以上の特徴量を検索するための検索範囲を設定し、前記対象物の検出を繰り返すことによって、前記特徴量を検索するための検索範囲を調整する、
ロボットシステム。

【請求項2】

前記厚み算出部は、前記距離画像に基づいて複数の前記対象物の厚みの平均値を算出することによって前記対象物の厚みを算出する、
請求項１に記載のロボットシステム。

【請求項3】

前記厚み算出部は、前記距離画像において、近接した三次元の点を連結させ、前記三次元の点の集合を特徴付け、前記三次元の点の集合を検出することによって前記対象物を検出し、検出した前記対象物の厚みを算出する請求項１又は２に記載のロボットシステム。

【請求項4】

二次元画像に関する情報に基づいて対象物の距離情報を取得する画像処理部と、
前記距離情報に基づいて距離画像を生成する距離画像生成部と、
前記距離画像に基づいて前記対象物を認識する画像認識部と、
前記距離画像に基づいて、前記画像認識部により認識された前記対象物の鉛直方向の寸法を示す厚みを算出する厚み算出部と、を備え、
前記画像認識部は、教示者による操作を受け付けた情報に基づいて、前記対象物を検出するように１以上の特徴量を選択し、前記１以上の特徴量を検索するための検索範囲を設定し、前記対象物の検出を実行することによって、前記特徴量を検索するための検索範囲を調整する、
制御装置。

【請求項5】

対象物の二次元画像を撮像するステップと、
前記二次元画像に基づいて前記対象物の距離情報を取得するステップと、
前記距離情報に基づいて距離画像を生成するステップと、
前記距離画像に基づいて前記対象物を認識するステップと、
前記距離画像に基づいて前記対象物の厚みを算出し、前記対象物の厚みは、前記対象物における鉛直方向の寸法を示す、ステップと、を備え、
前記対象物の前記二次元画像を撮像する撮像部は、前記対象物の側面と前記撮像部との位置関係にかかわらず、前記対象物の前記二次元画像を撮像し、
前記対象物を認識するステップは、教示者による操作に従って、全ての前記対象物を検出するように１以上の特徴量を選択し、前記１以上の特徴量を検索するための検索範囲を設定し、前記教示者による操作に従って、前記対象物の検出を繰り返すことによって、前記特徴量を検索するための検索範囲を調整することを含む、
ロボットシステムの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットシステム及び制御方法に関する。

【背景技術】

【0002】

従来、三次元形状を有する対象物との距離を測定するために、様々な技術が提案されている（例えば、特許文献１参照）。特許文献１に記載の三次元計測装置は、撮像視野に存在する被写体表面上の各点について距離情報を取得する形状測定部と、形状測定部により取得される距離情報に基づいて算出される、被写体表面と三次元計測装置における基準点との間の位置関係を示す、センサ筐体に露出して配置されたインジケータとを備える。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－２０７１５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ダンボール等のような積層された対象物をロボットによって取り出し、別の場所（パレット等）へ積載する場合、ロボットを有するロボットシステムは、対象物の厚みを正確に取得する必要がある。したがって、対象物の厚みを高い精度で取得することが望まれている。

【課題を解決するための手段】

【0005】

本開示に係るロボットシステムは、対象物の二次元画像を撮像する撮像部と、前記二次元画像に基づいて前記対象物の距離情報を取得する画像処理部と、前記距離情報に基づいて距離画像を生成する距離画像生成部と、前記距離画像に基づいて前記対象物の厚みを算出する厚み算出部と、を備え、前記撮像部は、前記対象物の側面と前記撮像部との位置関係にかかわらず、前記対象物の前記二次元画像を撮像する。

【0006】

本開示に係るロボットシステムの制御方法は、対象物の二次元画像を撮像するステップと、前記二次元画像に基づいて前記対象物の距離情報を取得するステップと、前記距離情報に基づいて距離画像を生成するステップと、前記距離画像に基づいて前記対象物の厚みを算出するステップと、を備え、前記対象物の前記二次元画像を撮像する撮像部は、前記対象物の側面と前記撮像部との位置関係にかかわらず、前記対象物の前記二次元画像を撮像する。

【発明の効果】

【0007】

本発明によれば、対象物の厚みを高い精度で取得することができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係るロボットシステムの概要を示す図である。

【図2】撮像部の構成を示す図である。

【図3】視差を求める処理について説明するための図である。

【図4】距離画像に対する処理を示す図である。

【図5】距離画像及び対象物の厚みの例を示す図である。

【図6】積載された５つの対象物を含む距離画像を示す。

【図7】対象物のブロブの面積を特徴量として設定し、設定された特徴量を検出する例を示す。

【図8】対象物のブロブの短軸長さを特徴量として設定し、設定された特徴量を検出する例を示す。

【図9】ロボットシステムの処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態の一例について説明する。
図１は、本実施形態に係るロボットシステム１００の概要を示す図である。図１に示すように、ロボットシステム１００は、ロボット１０と、撮像部１１と、ロボット制御装置２０と、画像制御装置３０と、を備える。ロボットシステム１００は、撮像部１１によって撮像された画像に基づいて、ロボット１０により対象物Ｗのハンドリング等の作業を行う。

【0010】

ロボット１０のアームの先端部には、ハンド又はツールが取り付けられている。ロボット１０は、ロボット制御装置２０の制御により、対象物Ｗのハンドリング等の作業を行う。また、ロボット１０のアームの先端部には、撮像部１１が搭載されている。なお、撮像部１１は、ロボット１０に取り付けられていなくてもよく、例えば、所定の位置に設置されてもよい。

【0011】

撮像部１１は、ロボット１０のアームの先端部に搭載される。撮像部１１は、対象物Ｗの距離画像及び二次元画像を撮像する。

【0012】

図２は、撮像部１１の構成を示す図である。
図２に示すように、撮像部１１は、内部カメラ１１１と、プロジェクタ１１２と、を備える。撮像部１１は、対象物Ｗの二次元画像を撮像する。二次元画像は、グレースケールで構成される画像である。
内部カメラ１１１は、２つのカメラを有する。内部カメラ１１１は、プロジェクタ１１２によって縞模様等のパターン光を照射された対象物Ｗ（被写体）を撮像する。また、２つのカメラの相対的な位置は、予め定められており、２つのカメラの光軸は、互いに平行になるように配置される。
プロジェクタ１１２は、光源として機能し、対象物Ｗへ縞模様等のパターン光を照射する。

【0013】

図１に戻り、ロボット制御装置２０は、ロボット１０と接続され、ロボット１０の動作を制御する。

【0014】

画像制御装置３０は、撮像部１１と接続され、撮像部１１を制御する。また、画像制御装置３０は、撮像部１１によって撮像された画像に所定の処理を実行する。
また、画像制御装置３０は、画像処理部３０１と、距離画像生成部３０２と、画像認識部３０３と、厚み算出部３０４と、を備える。

【0015】

画像処理部３０１は、撮像部１１によって撮像された対象物Ｗの二次元画像に基づいて、対象物Ｗの距離情報を取得する。
距離画像生成部３０２は、画像処理部３０１により取得された距離情報に基づいて距離画像を生成する。
厚み算出部３０４は、生成された距離画像に基づいて対象物Ｗの厚みを算出する。

【0016】

図３は、視差を求める処理について説明するための図である。図３において、画像１及び２は、２つの内部カメラ１１１によって撮像された二次元画像である。

【0017】

画像処理部３０１は、画像１における小領域（画像範囲）と同じ像を画像２から探索し、画像１と画像２との間の視差を算出する。

【0018】

このような２つの画像１と画像２との画素の位置の差は、視差と呼ばれる。内部カメラ１１１から対象物Ｗまでの距離が離れるほど視差は小さくなり、逆に内部カメラ１１１から対象物Ｗまでの距離が近づくほど視差は大きくなる。

【0019】

例えば、図３では、画像１における小領域の位置は、（Ｘ＝２００、Ｙ＝１５０）であり、画像２における画像１の小領域に対応する位置は、（Ｘ＝２００、Ｙ＝３００）であるため、視差は、Ｙについて、３００－１５０＝１５０となる。なお、図３におけるＸ及びＹは、内部カメラ１１１の画素を示す。

【0020】

画像処理部３０１は、２つの二次元画像における視差を距離に変換することによって距離情報を取得する。
視差から距離への変換は、三角以下の式（１）を用いて行われる。
Ｚ＝Ｂ＊Ｆ／Ｓ （１）
ここで、Ｚは距離（ｍｍ）であり、Ｂは２つのカメラ間の距離（ｍｍ）であり、Ｆは焦点距離（ｍｍ）であり、Ｓは視差（ｍｍ）である。

【0021】

そして、距離画像生成部３０２は、取得された距離情報を用いて距離画像を生成する。
すなわち、距離画像は、撮像部１１（内部カメラ１１１）から対象物Ｗまでの距離情報を画像化することによって得られる。したがって、距離画像において、撮像部１１から近い場所は、画像上で明るくなり、逆に遠い場所は、画像上で暗くなる。

【0022】

図４は、距離画像に対する処理を示す図である。図５は、距離画像及び対象物の厚みの例を示す図である。

【0023】

画像認識部３０３は、距離画像において、近接した三次元の点を連結させ、三次元の点の集合を面積及び角度等によって特徴付ける。画像認識部３０３は、特徴付けられた三次元の点の集合（ブロブ）を検出することによって対象物Ｗを検出する。そして、厚み算出部３０４は、検出した対象物Ｗの厚みを算出する。

【0024】

図４に示す例では、距離画像Ｍ１において、ブロブ長軸長さ及びブロブ短軸長さを特徴量として検索範囲を設定することで、１１個の対象物が検出される。

【0025】

図６から図８は、ブロブから対象物を検出する処理について説明するための図である。図６から図８に示す例では、積載された５つの対象物Ｂ１～Ｂ５を検出する処理について説明する。

【0026】

図６は、積載された５つの対象物Ｂ１～Ｂ５を含む距離画像を示す。まず、対象物の検出を教示するときには、画像認識部３０３は、教示者による操作部（図示せず）操作に従って、全ての対象物を検出するように１以上の特徴量（例えば、長軸長さ、短軸長さ等）を選択し、１以上の特徴量を検索するための検索範囲を設定する。

【0027】

画像認識部３０３は、設定された検索範囲内に存在するブロブを対象物として検出する。誤検出及び未検出を低減するために、画像認識部３０３は、教示者による操作部の操作に従って、検出を繰り返すことによって、特徴量を検索するための検索範囲を調整する。

【0028】

図７は、対象物のブロブの面積を特徴量として設定し、設定された特徴量を検出する例を示す。図７に示す例では、対象物の検出を実行する例として画像Ｍ４及びＭ５を示す。画像Ｍ４及びＭ５において、全ての対象物のブロブの面積は、設定された検索範囲内に収まっているため、画像認識部３０３は、対象物Ｂ１～Ｂ５を全て検出することができる。

【0029】

図８は、対象物のブロブの短軸長さを特徴量として設定し、設定された特徴量を検出する例を示す。図８に示す例では、対象物の検出を実行する例として画像Ｍ６及びＭ７を示す。

【0030】

画像Ｍ６において、全ての対象物のブロブの短軸長さは、設定された検索範囲内に収まっているため、画像認識部３０３は、対象物Ｂ１～Ｂ５を全て検出することができる。一方、画像Ｍ７において、対象物Ｂ２のブロブの短軸長さが、設定された検索範囲内に収まっていないため、画像認識部３０３は、対象物Ｂ２を検出することができない。

【0031】

このように検索範囲が適切でない場合、画像認識部３０３は、対象物の誤検出及び未検出を発生する。上述した例では、調整する特徴量の検索範囲として対象物の面積及び短軸長さを用いたが、特徴量はこれに限定されない。特徴量は、例えば、長軸長さ、角度等であってもよい。

【0032】

厚み算出部３０４は、対象物Ｗをロボット１０によって取り出す前に、画像認識部３０３によって認識された対象物Ｗの厚みを算出してもよい。また、厚み算出部３０４は、荷物を乗せるためのパレットに複数の対象物Ｗが載せられている場合、パレットごとに複数の対象物Ｗの厚みを算出し、複数の対象物Ｗの厚みの平均値を算出することによって、対象物Ｗの厚みを算出してもよい。

【0033】

また、厚み算出部３０４は、例えば、以下（１）から（４）の方法を用いて、画像認識部３０３によって認識された対象物Ｗの厚みを算出することができる。
（１）対象物Ｗのブロブの長軸／短軸の長さを用いる。
（２）複数のブロブの長軸／短軸の長さの平均値を用いる。
（３）高さ方向に隣接したブロブの重心間の長さを用いる。
（４）高さ方向に隣接した複数のブロブの重心間の長さの平均値を用いる。

【0034】

このような処理を行うことによって、厚み算出部３０４は、図５に示すように、対象物Ｗとして複数のダンボール箱等が積載されている場合であっても、対象物Ｗの厚みを算出することができる。図５では、特に図１に示した４箇所の対象物Ｗの厚みが算出されている。

【0035】

図９は、ロボットシステム１の処理を示すフローチャートである。
ステップＳ１において、撮像部１１は、対象物Ｗの二次元画像を撮像する。ここで、撮像部１１は、ロボット１０の動作に従って移動され、対象物Ｗの側面と撮像部１１との位置関係にかかわらず、対象物の二次元画像を撮像する。すなわち、撮像部１１は、対象物Ｗの側面が撮像部１１と正対する場合であっても、正対しない場合であっても、対象物の二次元画像を撮像する。

【0036】

ステップＳ２において、画像処理部３０１は、二次元画像に基づいて対象物Ｗの距離情報を取得する。
ステップＳ３において、距離画像生成部３０２は、距離情報に基づいて距離画像を生成する。
ステップＳ４において、画像認識部３０３は、距離画像に基づいて対象物Ｗを認識する。
ステップＳ５において、厚み算出部３０４は、対象物Ｗが認識された距離画像に基づいて対象物Ｗの厚みを算出する。

【0037】

以上説明したように、本実施形態に係るロボットシステム１００は、対象物Ｗの二次元画像を撮像する撮像部１１と、二次元画像に基づいて対象物Ｗの距離情報を取得する画像処理部３０１と、距離情報に基づいて距離画像を生成する距離画像生成部３０２と、距離画像に基づいて対象物Ｗの厚みを算出する厚み算出部３０４と、を備える。撮像部１１は、ロボット１０の動作に従って移動され、対象物Ｗの側面と撮像部１１との位置関係にかかわらず、対象物Ｗの二次元画像を撮像する。

【0038】

従来の技術は、三次元センサ等を用いて基準となる台や床の三次元情報（例えば、高さ、形状等）と、対象物（例えば積載された荷物）の三次元情報との差から対象物の厚みを測定していた。そのため、従来の技術は、対象物が積み重なっていない場合にのみ対象物の厚みを測定することが可能であった。また、従来の技術は、三次元センサが対象物の上面と正対している必要があった。

【0039】

一方、本実施形態に係るロボットシステム１００は、距離画像に基づいて対象物Ｗの厚みを算出するため、対象物Ｗの側面が撮像部１１と正対する場合であっても、正対しない場合であっても、対象物Ｗの厚みを高い精度で取得することができる。また、ロボットシステム１００は、従来の技術とは異なり、対象物Ｗが積み重なっている場合であっても対象物Ｗの厚みを取得することができる。また、ロボットシステム１００は、距離画像に基づいて対象物Ｗの厚みを算出するため、従来の技術のように基準位置を計測する必要がない。

【0040】

また、厚み算出部３０４は、距離画像に基づいて複数の対象物Ｗの厚みの平均値を算出することによって対象物Ｗの厚みを算出する。これにより、ロボットシステム１００は、ほぼ同等の形状を有する対象物Ｗ（例えばダンボール箱等）が積載されている場合であっても、対象物Ｗの厚みを高い精度で取得することができる。

【0041】

また、厚み算出部３０４は、距離画像において、近接した三次元の点を連結させ、三次元の点の集合を特徴付け、三次元の点の集合（ブロブ）を検出することによって対象物Ｗを検出し、検出した対象物Ｗの厚みを算出する。これにより、ロボットシステム１００は、対象物Ｗの側面が撮像部１１と正対する場合であっても、正対しない場合であっても、対象物Ｗの厚みを高い精度で取得することができる。

【0042】

以上、本発明の実施形態について説明したが、上記のロボットシステム１００は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記のロボットシステム１００により行なわれる制御方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

【0043】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ））を含む。

【0044】

また、上述した各実施形態は、本発明の好適な実施形態ではあるが、上記各実施形態のみに本発明の範囲を限定するものではない。本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

【符号の説明】

【0045】

１ ロボットシステム
１０ ロボット
１１ 撮像部
２０ ロボット制御装置
３０ 画像制御部
３０１ 画像処理部
３０２ 距離画像生成部
３０３ 画像認識部
３０４ 厚み算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】