特許 7364778 学習用データセット生成装置および学習用データセット生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-10

(45)【発行日】2023-10-18

(54)【発明の名称】学習用データセット生成装置および学習用データセット生成方法

(51)【国際特許分類】

   B25J 9/22 20060101AFI20231011BHJP

   B25J 13/08 20060101ALI20231011BHJP

   G05B 19/42 20060101ALI20231011BHJP

   G05B 19/4155 20060101ALI20231011BHJP

【ＦＩ】

B25J9/22 A

B25J13/08 A

G05B19/42 J

G05B19/4155 V

【請求項の数】 4

(21)【出願番号】P 2022501926

(86)(22)【出願日】2021-02-17

(86)【国際出願番号】 JP2021005864

(87)【国際公開番号】W WO2021166939

(87)【国際公開日】2021-08-26

【審査請求日】2022-09-14

(31)【優先権主張番号】P 2020026277

(32)【優先日】2020-02-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】安藤 俊之

【審査官】樋口 幸太郎

(56)【参考文献】

【文献】特開２０１９－０５８９６０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００８４１５１（ＵＳ，Ａ１）

【文献】特開２０１９－１５３２４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ ９／２２

Ｂ２５Ｊ １３／０８

Ｇ０５Ｂ １９／４２

Ｇ０５Ｂ １９／４１５５

(57)【特許請求の範囲】

【請求項1】

ワークおよびコンテナの３次元ＣＡＤデータと、３次元実空間内のコンテナを撮像した距離画像とを記憶するメモリと、
ハードウェアを含む１つ以上のプロセッサとを備え、
該プロセッサが、
前記メモリに記憶されている前記ワークおよび前記コンテナの３次元ＣＡＤデータを用いて、前記コンテナ内に複数の前記ワークが異なる形態でバラ積みされた複数の被写体を仮想３次元空間内に生成し、
前記距離画像に基づいて、前記コンテナと仮想３次元計測機の配置を設定し、
生成された各前記被写体を前記仮想３次元計測機により計測して複数の仮想距離画像を取得し、
取得された各前記仮想距離画像に対して少なくとも１つのワークの重心位置に対応する教示位置を受け付け、
受け付けた前記教示位置を各前記仮想距離画像に対応付けることにより学習用データセットを生成する学習用データセット生成装置。

【請求項2】

前記プロセッサが、３次元実空間内に設置された３次元計測機により取得された前記距離画像を用いて、前記コンテナに対する前記３次元計測機の配置に一致する位置に、前記仮想３次元空間内の前記コンテナに対する前記仮想３次元計測機の位置を設定する請求項１に記載の学習用データセット生成装置。

【請求項3】

ワークおよびコンテナの３次元ＣＡＤデータを用いて、前記コンテナ内に複数の前記ワークが異なる形態でバラ積みされた複数の被写体を仮想３次元空間内に生成し、
３次元実空間内のコンテナを撮像した距離画像に基づいて、前記コンテナと仮想３次元計測機の配置を設定し、
生成された各前記被写体を前記仮想３次元計測機により計測して複数の仮想距離画像を取得し、
取得された各前記仮想距離画像に対して少なくとも１つのワークの重心位置に対応する教示位置を受け付け、
受け付けた前記教示位置を各前記仮想距離画像に対応付けることにより学習用データセットを生成する学習用データセット生成方法。

【請求項4】

３次元実空間内に設置された３次元計測機により取得された前記距離画像を用いて、前記コンテナに対する前記３次元計測機の配置に一致する位置に、前記仮想３次元空間内の前記コンテナに対する前記仮想３次元計測機の位置を設定する請求項３に記載の学習用データセット生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習用データセット生成装置および学習用データセット生成方法に関するものである。

【背景技術】

【0002】

複数のワークの距離画像を３次元計測機により取得し、取得された距離画像からなる教示データに、教示位置を示すラベルマップを対応付けて記憶することにより、機械学習に用いるデータセットを生成する方法が知られている（例えば、特許文献１参照。）。

【0003】

特許文献１の方法は、例えば、コンテナ内にバラ積みされた複数のワークをロボットに装着されたハンドによって１つずつ取り出す際の取り出し位置を推定する学習済みモデルの生成に用いられる。精度の高い学習済みモデルを生成するには、膨大な数のデータセットを用意する必要がある。すなわち、データセットの生成毎に複数のワークを異なる形態にバラ積みして３次元計測機により距離画像を取得する必要がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－５８９６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ロボットによりハンドリングされるワークは、１つ１つの重量が大きいので、各データセットの生成毎に、複数のワークを異なる形態にバラ積みし直す作業を実施する場合には、多大な時間と労力が必要となる。したがって、実際のワークをバラ積みし直す作業を実施することなく学習用データセットを生成することが望まれている。

【課題を解決するための手段】

【0006】

本開示の一態様は、ワークおよびコンテナの３次元ＣＡＤデータと、３次元実空間内のコンテナを撮像した距離画像とを記憶するメモリと、ハードウェアを含む１つ以上のプロセッサとを備え、該プロセッサが、前記メモリに記憶されている前記ワークおよび前記コンテナの３次元ＣＡＤデータを用いて、前記コンテナ内に複数の前記ワークが異なる形態でバラ積みされた複数の被写体を仮想３次元空間内に生成し、前記距離画像に基づいて、前記コンテナと仮想３次元計測機の配置を設定し、生成された各前記被写体を前記仮想３次元計測機により計測して複数の仮想距離画像を取得し、取得された各前記仮想距離画像に対して少なくとも１つのワークの重心位置に対応する教示位置を受け付け、受け付けた前記教示位置を各前記仮想距離画像に対応付けることにより学習用データセットを生成する学習用データセット生成装置である。

【図面の簡単な説明】

【0007】

【図1】本開示の一実施形態に係る学習用データセット生成装置および学習用データセット生成方法を適用するロボットシステムを示す全体構成図である。

【図2】図１の学習用データセット生成装置を示すブロック図である。

【図3】図２の学習用データセット生成装置を用いた学習用データセット生成方法を説明するフローチャートである。

【図4】図３の学習用データセット生成方法の変形例を説明するフローチャートである。

【発明を実施するための形態】

【0008】

本開示の一実施形態に係る学習用データセット生成装置１および学習用データセット生成方法について、図面を参照して以下に説明する。
本実施形態に係る学習用データセット生成装置１は、図１に示されるように、先端にハンド１１１を有するロボット１１０と、ロボット１１０に対して精度よく位置決めされ、鉛直下方に計測範囲を有する３次元計測機１２０とを備えるロボットシステム１００に適用される。

【0009】

このロボットシステム１００においては、３次元計測機１２０の計測範囲内に、多数のワークＷがバラ積み状態に収容されたコンテナＸから、ロボット１１０がワークＷを１つ１つ取り出すための取り出し位置を推定する学習済みモデルが使用される。
本実施形態に係る学習用データセット生成装置１は、この学習済みモデルを生成するために用いる膨大な数の学習用データセットを生成する装置である。

【0010】

学習用データセット生成装置１は、図２に示されるように、コンピュータであって、メモリ２と、プロセッサ３と、モニタ４と、入力装置５としてキーボードおよびマウスとを備えている。メモリ２には、実際に取り扱うワークＷの３次元ＣＡＤデータおよび実際に使用されるコンテナＸの３次元ＣＡＤデータが記憶されている。

【0011】

プロセッサ３は、メモリ２に記憶されている３次元ＣＡＤデータのコンテナＸ内に、３次元ＣＡＤデータの複数のワークＷを異なる形態でバラ積みした複数の仮想的な被写体を生成する。３次元ＣＡＤデータのワークＷの位置および姿勢をランダムに切り替えることにより、異なる形態でバラ積みされた複数の仮想的な被写体を、短時間で簡易に生成することができる。

【0012】

プロセッサ３は、仮想３次元空間内に、生成された３次元ＣＡＤデータの各被写体を配置し、同じ仮想３次元空間内に設置された仮想３次元計測機により各被写体の距離画像を公知の方法により取得する。
プロセッサ３は、距離画像が取得される都度に、取得された距離画像をモニタ４に表示して、ロボット１１０による取り出し可能なワークＷをユーザに選択させる。

【0013】

すなわち、モニタ４に表示された距離画像を目視したユーザが、取り出し可能と考えるワークＷを入力装置５であるマウスまたはキーボードによって指定する。これにより、プロセッサ３は、ユーザによって指定された１以上のワークＷの位置（例えば、重心位置）を、それらのワークＷを取り出すためのロボット１１０の１以上の教示位置として受け付ける。

【0014】

そして、プロセッサ３は、受け付けた教示位置を左記に取得した距離画像に対応付けることにより学習用データセットを生成し、メモリ２に記憶する。各被写体に対して同じ処理を繰り返すことにより、膨大な数の学習用データセットを短時間で簡易に生成することができる。

【0015】

このように構成された本実施形態に係る学習用データセット生成装置１を用いた学習用データセット生成方法について以下に説明する。
まず、プロセッサ３により定義される仮想３次元空間内に、仮想ロボットの３次元モデルおよび仮想３次元計測機を、３次元実空間に設置されているロボット１１０および３次元計測機１２０の位置関係に一致する位置関係で設置する。

【0016】

また、実際に取り扱うワークＷの３次元ＣＡＤデータおよびワークＷをバラ積み状態に収容するコンテナＸの３次元ＣＡＤデータをメモリ２に記憶しておく。
次に、図３に示されるように、バラ積みのパラメータを設定する（ステップＳ１）。パラメータは、例えば、コンテナＸ内に収容するワークＷの数、コンテナＸの底面に配置する複数個のワークＷの位置および姿勢である。

【0017】

そして、３次元ＣＡＤデータのコンテナＸ内に、３次元ＣＡＤデータの複数のワークＷを、設定されたパラメータを用いてバラ積み状態に収容していく。これにより、コンテナＸ内に複数のワークＷがバラ積み状態に収容された３次元ＣＡＤデータからなる仮想的な被写体（仮想被写体）が生成される（ステップＳ２）。

【0018】

生成された３次元ＣＡＤデータからなる仮想的な被写体を、仮想３次元空間内に設定された仮想３次元計測機により計測し、仮想的な被写体の距離画像（仮想距離画像）を取得する（ステップＳ３）。
そして、取得された距離画像をモニタ４に表示し（ステップＳ４）、表示された距離画像に対して、ユーザに、取り出し可能なワークＷを指定させる（ステップＳ５）。これにより、指定されたワークＷの重心位置が教示位置として受け付けられる。

【0019】

取出し可能なワークＷの指定が終了したか否かを判定し（ステップＳ６）、終了していない場合には、ステップＳ５によるワークＷの指定を繰り返す。終了した場合には、受け付けられた１以上の教示位置を距離画像に対応付けることにより、学習用データセットを生成する（ステップＳ７）。１の被写体に対して学習用データセットが生成された場合には、生成を終了するか否かをユーザに入力させ（ステップＳ８）、終了しない場合には、パラメータを変更し（ステップＳ９）、ステップＳ２からの工程を繰り返す。

【0020】

これにより、コンテナＸ内に複数のワークＷが異なる形態にバラ積み状態に収容された多数の被写体について学習用データセットを短時間で簡易に生成することができるという利点がある。すなわち、ユーザが、学習用データセットの生成毎に、実際の大重量のワークＷを取り扱って異なる形態にバラ積みする必要がなく、ユーザにかかる負担を軽減できるとともに、学習用データセットの生成に要する時間を短縮することができる。

【0021】

そして、生成された多数の学習用データセットを用いて機械学習を行うことにより、精度の高い学習済みモデルを生成することができる。
ロボット１１０によりコンテナＸ内からワークＷを取り出す場合には、３次元実空間内に配置されている３次元計測機１２０により、その３次元計測機１２０の計測範囲に配置された、実際のワークＷをバラ積み状態に収容したコンテナＸの距離画像を取得する。そして、取得された距離画像を学習済みモデルに入力することにより、ロボット１１０により取り出し可能な少なくとも１つのワークＷの取り出し位置を推定することができる。

【0022】

なお、本実施形態においては、仮想３次元空間に配置された仮想３次元計測機とコンテナＸとの位置関係が、３次元実空間内に配置されている３次元計測機１２０とコンテナＸとの位置関係と精度よく一致していることを前提とした。しかしながら、３次元実空間においてコンテナＸを３次元計測機１２０に精度よく位置決めすることは困難である。

【0023】

そこで、図４に示されるように、学習用データセットの生成に先立って、３次元実空間に３次元計測機１２０を固定しておき、３次元計測機１２０の計測範囲内にコンテナＸを配置してコンテナＸの実際の距離画像（実距離画像）を取得する（ステップＳ１０）。取得されたコンテナＸの実際の距離画像から、３次元計測機１２０とコンテナＸとの相対位置（実相対位置）を算出する（ステップＳ１１）。

【0024】

そして、仮想３次元空間内において、仮想３次元計測機およびコンテナＸの少なくとも一方を移動させる。これにより、仮想３次元計測機とコンテナＸとの相対位置（仮想相対位置）を３次元実空間内の３次元計測機１２０とコンテナＸとの実相対位置に一致させ（ステップＳ１２）、ステップＳ１の工程に移行する。

【0025】

このような処理を学習用データセットの生成に先立って行っておくことにより、取り出し可能なワークＷをユーザに指定させるためにモニタ４に表示する仮想距離画像を、実際の３次元計測機１２０により取得した実距離画像に近づけることができる。したがって、仮想距離画像に対応付ける教示位置の精度を向上することができ、実距離画像に基づく取り出し位置の推定精度を向上可能な学習用データセットを生成することができるという利点がある。

【符号の説明】

【0026】

１ 学習用データセット生成装置
２ メモリ
３ プロセッサ
１２０ ３次元計測機
Ｘ コンテナ
Ｗ ワーク

【図1】

【図2】

【図3】

【図4】