知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024085080
(43)【公開日】2024-06-26
(54)【発明の名称】シミュレーションシステムおよびシミュレーション方法
(51)【国際特許分類】
B25J 9/22 20060101AFI20240619BHJP
【ＦＩ】
B25J9/22 A
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022199417
(22)【出願日】2022-12-14
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】岩村 慎太郎
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707BS24
3C707FS01
3C707FT11
3C707HS27
3C707KT01
3C707KT06
3C707LS09
3C707LS20
3C707NS02
(57)【要約】
【課題】ロボットに対する柔軟物のピッキング作業のティーチング作業を容易にする。
【解決手段】シミュレーションシステム２０は、カメラ２３０と、装置２００とを備える。装置２００は、ワークに対するピッキングツール１００の接触率の入力を受け付け、シミュレーション内で、接触率および予め設定されているワークの硬さに基づいて、ピッキング位置を決定し、実世界においてピッキング位置でピッキング動作を行うように、ロボットの制御装置２２０にプログラムを送信し、カメラ２３０から、ロボットのピッキング動作の画像または映像を複数回取得し、複数の画像または映像の解析結果からピッキングの成功率を算出し、成功率に基づいてシミュレーション内のワークの硬さを変更し、シミュレーション内で、接触率および変更後のワークの硬さに基づいてピッキング位置を変更し、ピッキング位置の変更結果を制御装置２２０にフィードバックする。
【選択図】図２
【解決手段】シミュレーションシステム２０は、カメラ２３０と、装置２００とを備える。装置２００は、ワークに対するピッキングツール１００の接触率の入力を受け付け、シミュレーション内で、接触率および予め設定されているワークの硬さに基づいて、ピッキング位置を決定し、実世界においてピッキング位置でピッキング動作を行うように、ロボットの制御装置２２０にプログラムを送信し、カメラ２３０から、ロボットのピッキング動作の画像または映像を複数回取得し、複数の画像または映像の解析結果からピッキングの成功率を算出し、成功率に基づいてシミュレーション内のワークの硬さを変更し、シミュレーション内で、接触率および変更後のワークの硬さに基づいてピッキング位置を変更し、ピッキング位置の変更結果を制御装置２２０にフィードバックする。
【選択図】図２
【特許請求の範囲】
【請求項1】
ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーションシステムであって、
前記ピッキングツールによる前記ワークのピッキング動作を撮影するカメラと、
シミュレーションを実行する装置とを備え、
前記装置は、
前記ワークに対する前記ピッキングツールの接触率の入力を受け付け、
前記シミュレーション内で、前記接触率および予め設定されている前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を決定し、
実世界において前記ピッキング位置でピッキング動作を行うように、前記ロボットの制御装置にプログラムを送信し、
前記カメラから、前記ロボットのピッキング動作の画像または映像を複数回取得し、
複数の前記画像または映像の解析結果からピッキングの成功率を算出し、
前記成功率に基づいて、前記シミュレーション内の前記ワークの硬さを変更し、
前記シミュレーション内で、前記接触率および変更後の前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を変更し、
前記ピッキング位置の変更結果を前記制御装置にフィードバックする、シミュレーションシステム。
前記ピッキングツールによる前記ワークのピッキング動作を撮影するカメラと、
シミュレーションを実行する装置とを備え、
前記装置は、
前記ワークに対する前記ピッキングツールの接触率の入力を受け付け、
前記シミュレーション内で、前記接触率および予め設定されている前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を決定し、
実世界において前記ピッキング位置でピッキング動作を行うように、前記ロボットの制御装置にプログラムを送信し、
前記カメラから、前記ロボットのピッキング動作の画像または映像を複数回取得し、
複数の前記画像または映像の解析結果からピッキングの成功率を算出し、
前記成功率に基づいて、前記シミュレーション内の前記ワークの硬さを変更し、
前記シミュレーション内で、前記接触率および変更後の前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を変更し、
前記ピッキング位置の変更結果を前記制御装置にフィードバックする、シミュレーションシステム。
【請求項2】
前記シミュレーション内で、前記接触率および前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を決定することは、
前記ワークを変形可能なメッシュにより再現することと、
前記ピッキングツールを前記ワークに押し当てることと、
前記ワークの硬さに基づいて、前記ワークを変形させることと、
前記ピッキングツールと変形した前記ワークとの接触率が、入力された前記接触率となるように、前記ピッキングツールの前記ピッキング位置を決定することとを含む、請求項１に記載のシミュレーションシステム。
前記ワークを変形可能なメッシュにより再現することと、
前記ピッキングツールを前記ワークに押し当てることと、
前記ワークの硬さに基づいて、前記ワークを変形させることと、
前記ピッキングツールと変形した前記ワークとの接触率が、入力された前記接触率となるように、前記ピッキングツールの前記ピッキング位置を決定することとを含む、請求項１に記載のシミュレーションシステム。
【請求項3】
ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーションシステムであって、
前記ピッキングツールによる前記ワークのピッキング動作を撮影するカメラと、
シミュレーションを実行する装置とを備え、
前記ピッキングツールは、真空エジェクタに接続されており、
前記装置は、
実世界において、制御装置を介して、前記ピッキングツールを移動させ、
前記真空エジェクタの真空圧力が予め定められた値となる前記ピッキングツールのピッキング位置を前記制御装置から受信し、
前記シミュレーション内で、前記ワークに対する前記ピッキングツールの前記ピッキング位置を前記制御装置から受信したピッキング位置に合わせ、
実世界において前記ピッキング位置でピッキング動作を行うように、前記ロボットの制御装置にプログラムを送信し、
前記カメラから、前記ロボットのピッキング動作の画像または映像を複数回取得し、
複数の前記画像または映像の解析結果からピッキングの成功率を算出し、
前記成功率に基づいて、シミュレーション内の前記ワークの硬さを変更し、
前記シミュレーション内で、変更後の前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を変更し、
前記ピッキング位置の変更結果を前記制御装置にフィードバックする、シミュレーションシステム。
前記ピッキングツールによる前記ワークのピッキング動作を撮影するカメラと、
シミュレーションを実行する装置とを備え、
前記ピッキングツールは、真空エジェクタに接続されており、
前記装置は、
実世界において、制御装置を介して、前記ピッキングツールを移動させ、
前記真空エジェクタの真空圧力が予め定められた値となる前記ピッキングツールのピッキング位置を前記制御装置から受信し、
前記シミュレーション内で、前記ワークに対する前記ピッキングツールの前記ピッキング位置を前記制御装置から受信したピッキング位置に合わせ、
実世界において前記ピッキング位置でピッキング動作を行うように、前記ロボットの制御装置にプログラムを送信し、
前記カメラから、前記ロボットのピッキング動作の画像または映像を複数回取得し、
複数の前記画像または映像の解析結果からピッキングの成功率を算出し、
前記成功率に基づいて、シミュレーション内の前記ワークの硬さを変更し、
前記シミュレーション内で、変更後の前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を変更し、
前記ピッキング位置の変更結果を前記制御装置にフィードバックする、シミュレーションシステム。
【請求項4】
前記装置は、前記真空エジェクタの真空圧力が前記予め定められた値であるとき前記ワークに対する前記ピッキングツールの接触率は１００％であると判定し、
前記シミュレーション内で、前記接触率および前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を決定することは、
前記ワークを変形可能なメッシュにより再現することと、
前記ピッキングツールを前記ワークに押し当てることと、
前記ワークの硬さに基づいて、前記ワークを変形させることと、
前記ピッキングツールと変形した前記ワークとの接触率が１００％となるように、前記ピッキングツールの前記ピッキング位置を決定することとを含む、請求項３に記載のシミュレーションシステム。
前記シミュレーション内で、前記接触率および前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を決定することは、
前記ワークを変形可能なメッシュにより再現することと、
前記ピッキングツールを前記ワークに押し当てることと、
前記ワークの硬さに基づいて、前記ワークを変形させることと、
前記ピッキングツールと変形した前記ワークとの接触率が１００％となるように、前記ピッキングツールの前記ピッキング位置を決定することとを含む、請求項３に記載のシミュレーションシステム。
【請求項5】
前記装置は、前記ピッキングの成功率が１００％になるまで、前記ワークに対する前記ピッキングツールの前記ピッキング位置の変更と、前記ピッキング位置の変更結果の前記制御装置へのフィードバックとを繰り返す、請求項１～４のいずれかに記載のシミュレーションシステム。
【請求項6】
前記装置は、前記ピッキングツールのピッキング位置の変更入力を受け付ける、請求項１～４のいずれかに記載のシミュレーションシステム。
【請求項7】
ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーション方法であって、
前記ワークに対する前記ピッキングツールの接触率の入力を受け付けることと、
シミュレーション内で、前記接触率および予め設定されている前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を決定することと、
実世界において前記ピッキング位置でピッキング動作を行うように、前記ロボットの制御装置にプログラムを送信することと、
カメラから、前記ロボットのピッキング動作の画像または映像を複数回取得することと、
複数の前記画像または映像の解析結果からピッキングの成功率を算出することと、
前記成功率に基づいて、前記シミュレーション内の前記ワークの硬さを変更することと、
前記シミュレーション内で、前記接触率および変更後の前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を変更することと、
前記ピッキング位置の変更結果を前記制御装置にフィードバックすることとを含む、シミュレーション方法。
前記ワークに対する前記ピッキングツールの接触率の入力を受け付けることと、
シミュレーション内で、前記接触率および予め設定されている前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を決定することと、
実世界において前記ピッキング位置でピッキング動作を行うように、前記ロボットの制御装置にプログラムを送信することと、
カメラから、前記ロボットのピッキング動作の画像または映像を複数回取得することと、
複数の前記画像または映像の解析結果からピッキングの成功率を算出することと、
前記成功率に基づいて、前記シミュレーション内の前記ワークの硬さを変更することと、
前記シミュレーション内で、前記接触率および変更後の前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を変更することと、
前記ピッキング位置の変更結果を前記制御装置にフィードバックすることとを含む、シミュレーション方法。
【請求項8】
ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーション方法であって、
実世界において、制御装置を介して、前記ピッキングツールを移動させることと、
前記ピッキングツールに接続された真空エジェクタの真空圧力が予め定められた値となる前記ピッキングツールのピッキング位置を前記制御装置から受信することと、
シミュレーション内で、前記ワークに対する前記ピッキングツールの前記ピッキング位置を前記制御装置から受信したピッキング位置に合わせることと、
実世界において前記ピッキング位置でピッキング動作を行うように、前記ロボットの制御装置にプログラムを送信することと、
カメラから、前記ロボットのピッキング動作の画像または映像を複数回取得することと、
複数の前記画像または映像の解析結果からピッキングの成功率を算出することと、
前記成功率に基づいて、シミュレーション内の前記ワークの硬さを変更することと、
前記シミュレーション内で、変更後の前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を変更することと、
前記ピッキング位置の変更結果を前記制御装置にフィードバックすることとを含む、シミュレーション方法。
実世界において、制御装置を介して、前記ピッキングツールを移動させることと、
前記ピッキングツールに接続された真空エジェクタの真空圧力が予め定められた値となる前記ピッキングツールのピッキング位置を前記制御装置から受信することと、
シミュレーション内で、前記ワークに対する前記ピッキングツールの前記ピッキング位置を前記制御装置から受信したピッキング位置に合わせることと、
実世界において前記ピッキング位置でピッキング動作を行うように、前記ロボットの制御装置にプログラムを送信することと、
カメラから、前記ロボットのピッキング動作の画像または映像を複数回取得することと、
複数の前記画像または映像の解析結果からピッキングの成功率を算出することと、
前記成功率に基づいて、シミュレーション内の前記ワークの硬さを変更することと、
前記シミュレーション内で、変更後の前記ワークの硬さに基づいて、前記ワークに対する前記ピッキングツールの前記ピッキング位置を変更することと、
前記ピッキング位置の変更結果を前記制御装置にフィードバックすることとを含む、シミュレーション方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、シミュレーションシステムに関し、より特定的には、ワークに対するピッキングツールのピッキング位置を調整する技術に関する。
【背景技術】
【0002】
工場等のラインにおいて、ロボットは、柔軟物をピックアンドプレースすることがある。柔軟物は変形するため、ロボットに対する柔軟物のピッキング作業のティーチング作業は困難である。そのため、ラインの設計担当者は、ロボットに柔軟物をピッキングさせるために、ロボットのティーチング作業を何度も繰り返す必要があった。よって、ロボットに対する柔軟物のピッキング作業のティーチング作業を容易にするための技術が必要とされている。
【0003】
ピッキングのティーチング技術に関し、例えば、特開２０２１－０３７５９４号公報（特許文献１）は、「ハンドモデル及びワークモデルを記憶するモデルデータ記憶部と、ワークモデルの把持形態、ワークモデルに対するハンドモデルの接近方向、及び、把持部位に関する入力を受け付ける把持条件入力部と、仮想空間において、ハンドモデルがワークモデルに接近を開始するための第１位置から、ハンドモデルがワークモデルの把持部位を把持可能な第２位置まで、ハンドモデルが接近方向に沿ってワークモデルと干渉することなく移動できるように第１位置及び第２位置を決定するハンド位置姿勢決定部と、第１位置と第２位置とをロボット動作プログラムに教示点として追加する教示点追加部と、を備える」ロボットシミュレーション装置を開示している（［要約］参照）。また、特許文献１は、吸着式のハンドモデルのシミュレーションについても開示している（段落［００１７］参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－０３７５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に開示された技術によると、ピッキングのシミュレーションを行うことはできるかもしれない。しかしながら、特許文献１は、ロボットに対する柔軟物のピッキング作業のティーチング作業についての課題および当該ティーチング作業を容易にする手段については何ら開示していない。したがって、ロボットに対する柔軟物のピッキング作業のティーチング作業を容易にするための技術が必要とされている。
【0006】
本開示は、上記のような背景に鑑みてなされたものであって、ある局面における目的は、ロボットに対する柔軟物のピッキング作業のティーチング作業を容易にする技術を提供することにある。
【課題を解決するための手段】
【0007】
ある実施の形態に従うと、ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーションシステムが提供される。シミュレーションシステムは、ピッキングツールによるワークのピッキング動作を撮影するカメラと、シミュレーションを実行する装置とを備える。装置は、ワークに対するピッキングツールの接触率の入力を受け付け、シミュレーション内で、接触率および予め設定されているワークの硬さに基づいて、ワークに対するピッキングツールのピッキング位置を決定し、実世界においてピッキング位置でピッキング動作を行うように、ロボットの制御装置にプログラムを送信し、カメラから、ロボットのピッキング動作の画像または映像を複数回取得し、複数の画像または映像の解析結果からピッキングの成功率を算出し、成功率に基づいて、シミュレーション内のワークの硬さを変更し、シミュレーション内で、接触率および変更後のワークの硬さに基づいて、ワークに対するピッキングツールのピッキング位置を変更し、ピッキング位置の変更結果を制御装置にフィードバックする。
【0008】
この開示によれば、シミュレーションシステムは、ユーザが指定した接触率となるようにピッキングの初期位置を決定し、さらに、実機でのピッキングの成功率に基づいて、シミュレーション内のワークの硬さおよびピッキング位置を調整し得る。
【0009】
上記の開示において、シミュレーション内で、接触率およびワークの硬さに基づいて、ワークに対するピッキングツールのピッキング位置を決定することは、ワークを変形可能なメッシュにより再現することと、ピッキングツールをワークに押し当てることと、ワークの硬さに基づいて、ワークを変形させることと、ピッキングツールと変形したワークとの接触率が、入力された接触率となるように、ピッキングツールのピッキング位置を決定することとを含む。
【0010】
この開示によれば、シミュレーションシステムは、ワークをメッシュで表現することで、接触率およびワークの硬さに基づいてワークを変形させ、ピッキングツールと変形したワークとの接触率が入力された接触率となるように、ピッキングツールのピッキング位置を決定し得る。
【0011】
他の実施の形態に従うと、ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するための別のシミュレーションシステムが提供される。シミュレーションシステムは、ピッキングツールによるワークのピッキング動作を撮影するカメラと、シミュレーションを実行する装置とを備える。ピッキングツールは、真空エジェクタに接続されている。装置は、実世界において、制御装置を介して、ピッキングツールを移動させ、真空エジェクタの真空圧力が予め定められた値となるピッキングツールのピッキング位置を制御装置から受信し、シミュレーション内で、ワークに対するピッキングツールのピッキング位置を制御装置から受信したピッキング位置に合わせ、実世界においてピッキング位置でピッキング動作を行うように、ロボットの制御装置にプログラムを送信し、カメラから、ロボットのピッキング動作の画像または映像を複数回取得し、複数の画像または映像の解析結果からピッキングの成功率を算出し、成功率に基づいて、シミュレーション内のワークの硬さを変更し、シミュレーション内で、変更後のワークの硬さに基づいて、ワークに対するピッキングツールのピッキング位置を変更し、ピッキング位置の変更結果を制御装置にフィードバックする。
【0012】
この開示によれば、シミュレーションシステムは、真空エジェクタの真空圧力が予め定められた値となるようにピッキングの初期位置を決定し、さらに、実機でのピッキングの成功率に基づいて、シミュレーション内のワークの硬さおよびピッキング位置を調整し得る。
【0013】
上記の開示において、装置は、真空エジェクタの真空圧力が予め定められた値であるときワークに対するピッキングツールの接触率は１００％であると判定する。シミュレーション内で、接触率およびワークの硬さに基づいて、ワークに対するピッキングツールのピッキング位置を決定することは、ワークを変形可能なメッシュにより再現することと、ピッキングツールをワークに押し当てることと、ワークの硬さに基づいて、ワークを変形させることと、ピッキングツールと変形したワークとの接触率が１００％となるように、ピッキングツールのピッキング位置を決定することとを含む。
【0014】
この開示によれば、シミュレーションシステムは、ワークをメッシュで表現することで、接触率およびワークの硬さに基づいてワークを変形させ、ピッキングツールと変形したワークとの接触率が１００％となるように、ピッキングツールのピッキング位置を決定し得る。
【0015】
上記の開示において、装置は、ピッキングの成功率が１００％になるまで、ワークに対するピッキングツールのピッキング位置の変更と、ピッキング位置の変更結果の制御装置へのフィードバックとを繰り返す。
【0016】
この開示によれば、シミュレーションシステムは、ピッキングの成功率が１００％になるように、ピック位置を繰り返し調整し得る。
【0017】
上記の開示において、装置は、ピッキングツールのピッキング位置の変更入力を受け付ける。
【0018】
この開示によれば、シミュレーションシステムは、ユーザから、ピッキング位置の変更入力を受け付け得る。これにより、ユーザはピッキング位置を微調整し得る。
【0019】
他の実施の形態に従うと、ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーション方法が提供される。シミュレーション方法は、ワークに対するピッキングツールの接触率の入力を受け付けることと、シミュレーション内で、接触率および予め設定されているワークの硬さに基づいて、ワークに対するピッキングツールのピッキング位置を決定することと、実世界においてピッキング位置でピッキング動作を行うように、ロボットの制御装置にプログラムを送信することと、カメラから、ロボットのピッキング動作の画像または映像を複数回取得することと、複数の画像または映像の解析結果からピッキングの成功率を算出することと、成功率に基づいて、シミュレーション内のワークの硬さを変更することと、シミュレーション内で、接触率および変更後のワークの硬さに基づいて、ワークに対するピッキングツールのピッキング位置を変更することと、ピッキング位置の変更結果を制御装置にフィードバックすることとを含む。
【0020】
この開示によれば、シミュレーション方法は、ユーザが指定した接触率となるようにピッキングの初期位置を決定し、さらに、実機でのピッキングの成功率に基づいて、シミュレーション内のワークの硬さおよびピッキング位置を調整し得る。
【0021】
他の実施の形態に従うと、ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するための他のシミュレーション方法が提供される。シミュレーション方位法は、実世界において、制御装置を介して、ピッキングツールを移動させることと、ピッキングツールに接続された真空エジェクタの真空圧力が予め定められた値となるピッキングツールのピッキング位置を制御装置から受信することと、シミュレーション内で、ワークに対するピッキングツールのピッキング位置を制御装置から受信したピッキング位置に合わせることと、実世界においてピッキング位置でピッキング動作を行うように、ロボットの制御装置にプログラムを送信することと、カメラから、ロボットのピッキング動作の画像または映像を複数回取得することと、複数の画像または映像の解析結果からピッキングの成功率を算出することと、成功率に基づいて、シミュレーション内のワークの硬さを変更することと、シミュレーション内で、変更後のワークの硬さに基づいて、ワークに対するピッキングツールのピッキング位置を変更することと、ピッキング位置の変更結果を制御装置にフィードバックすることとを含む。
【0022】
この開示によれば、シミュレーション方法は、真空エジェクタの真空圧力が予め定められた値となるようにピッキングの初期位置を決定し、さらに、実機でのピッキングの成功率に基づいて、シミュレーション内のワークの硬さおよびピッキング位置を調整し得る。
【発明の効果】
【0023】
ある実施の形態に従うと、ロボットに対する柔軟物のピッキング作業のティーチング作業を容易にできる。
【0024】
この開示内容の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本開示に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【0025】
【図1】本開示の技術の適用例を示す図である。
【図2】シミュレーションシステム２０の構成の一例を示す図である。
【図3】ピッキングのシミュレーションの画面の一例を示す図である。
【図4】シミュレーション内でのワークの変形の一例を示す図である。
【図5】実機でのテスト結果をシミュレーションに反映する手順の一例を示す図である。
【図6】実機でのテスト結果をシミュレーションに反映する手順の他の例を示す図である。
【図7】ユーザによるシミュレータ２１０への各種パラメータの入力の一例を示す図である。
【図8】シミュレーションシステム２０の内部処理の手順の一例を示す図である。
【発明を実施するための形態】
【0026】
以下、図面を参照しつつ、本開示に係る技術思想の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0027】
＜Ａ．適用例＞
図１は、本開示の技術の適用例を示す図である。図１を参照して、本開示の技術が適用可能なラインの構成および動作の例について説明する。併せて、当該ラインにおいて、柔軟物のピッキングを行った場合の課題および当該課題の解決方法の概要について説明する。
図１は、本開示の技術の適用例を示す図である。図１を参照して、本開示の技術が適用可能なラインの構成および動作の例について説明する。併せて、当該ラインにおいて、柔軟物のピッキングを行った場合の課題および当該課題の解決方法の概要について説明する。
【0028】
（ａ．ラインの構成および動作の例）
まず、本開示の技術が適用可能なライン１０の構成について説明する。ライン１０は、一例として、ロボット（図示せず）と、ロボットに備え付けられたピッキングツール１００と、ベルトコンベア１１０と、センサーの信号を取得し、かつ、製造ラインの各種アクチュエータを制御する制御装置（図２参照）とを備える。
まず、本開示の技術が適用可能なライン１０の構成について説明する。ライン１０は、一例として、ロボット（図示せず）と、ロボットに備え付けられたピッキングツール１００と、ベルトコンベア１１０と、センサーの信号を取得し、かつ、製造ラインの各種アクチュエータを制御する制御装置（図２参照）とを備える。
【0029】
本明細書において、「ライン」は、任意の製品の製造、搬送、または、検査のために、ロボットおよびベルトコンベア等を組み合わせて構築されたものである。ライン１０は、一例として、ある製品を製造するための製造ラインと、在庫品等を搬送するための搬送ラインと、ある製品を検査するための検査ラインと、これらの組み合わせラインとを包含する。
【0030】
本明細書において、「ワーク」は、加工またはピッキング等の対象となる任意の物体である。ワーク１２０は、一例として、フィルム、プラスチック容器、フレキシブル基板、布および樹脂部品等の任意の物体を含む。
【0031】
本明細書において、「ピッキングツール」は、ワークをピックアンドプレース可能なツールである。ピッキングツール１００は、一例として、吸着ツール、ソフトグリッパ、電動チャック等を含む。ある実施の形態に従うと、ピッキングツールは、エンドエフェクタとして多関節ロボットの先端に設けられる。なお、ピッキングツール１００の位置および姿勢を調整することは、ピッキングツール１００を取り付けられたロボットの位置および姿勢を調整することでもある。
【0032】
本明細書において、「制御装置」は、ライン１０上の多関節ロボット、ベルトコンベアのモータ、ピッキングツール等を制御し、ライン１０上のセンサーの信号を受信する。ある実施の形態について、制御装置は、ＰＬＣ（Programmable Logic Controller）である。他の実施の形態に従うと、制御装置は、ＰＬＣおよびロボットの制御装置を含む統合コントローラである。
【0033】
ピッキングツール１００は、予め定められた位置で、ベルトコンベア１１０上を搬送されてくるワーク１２０をピッキングする（把持する）。また、ピッキングツール１００は、ピッキングしたワーク１２０を予め定められた位置にプレース（置く）する。
【0034】
図１の例では、ワーク１２０は、柔軟性のあるソフトドリンクのプラスチック容器である。ピッキングツール１００は、吸着ツールであり、真空エジェクタ（図示せず）に接続されている。また、ピッキングツール１００の先端には、１つ以上の吸盤が備え付けられている。ピッキングツール１００の先端の吸盤がワーク１２０に触れると、真空エジェクタが空気の吸引を行う。真空エジェクタが空気を吸引すると、吸盤およびワーク１２０の間に真空ができる。これにより、ワーク１２０は、ピッキングツール１００に引き寄せされる。ピッキングツール１００は、吸盤およびワーク１２０の間の真空状態を保ったまま、ワーク１２０をピッキングし、予め定められた位置にプレースする。
【0035】
ある実施の形態に従うと、ピッキングツール１００は、ソフトグリッパであってもよい。または、ピッキングツール１００は、先端にクッション材を設けられたハードグリッパであってもよい。この場合、ピッキングツール１００は、ワーク１２０を壊さない程度の力でピッキングする。
【0036】
ベルトコンベア１１０は、モータ等によりベルトを駆動させる。これにより、ベルト上のワーク１２０は搬送される。ある実施の形態に従うと、ライン１０は、ベルトコンベア１１０を備えない。この場合、ライン１０は、例えば、ピッキングロボットとＡＧＶ（Automatic Guided Vehicle）により、ワーク１２０を搬送してもよい。他の実施の形態に従うと、ライン１０は、ベルトコンベア１１０、ピッキングロボットおよびＡＧＶを備える。
【0037】
（ｂ．柔軟物のピッキング時の課題）
次に柔軟物のピッキングにおける課題について説明する。柔軟物は、外力または自重等によって変形してしまう。そのため、柔軟物のピッキングは、硬い物体のピッキングと比較して困難である。
次に柔軟物のピッキングにおける課題について説明する。柔軟物は、外力または自重等によって変形してしまう。そのため、柔軟物のピッキングは、硬い物体のピッキングと比較して困難である。
【0038】
例えば、ピッキングツール１００は、吸着ツールであるとする。吸着ツールは、真空を作るために、吸盤およびワーク１２０の間に隙間があってはいけない。しかしながら、ピッキングツール１００が、ワーク１２０に触れる位置に移動した場合でも、ワーク１２０は、吸盤と触れたことにより変形し、吸盤およびワーク１２０の間に隙間ができることがある。
【0039】
他の例として、ピッキングツール１００は、ソフトグリッパであるとする。ピッキング時に、ソフトグリッパはワーク１２０をしっかりと把持していたとしても、持ち上げたときに、ワーク１２０は自重で変形することがある。その結果、ソフトグリッパは、ワーク１２０を落とすことがある。
【0040】
このように、柔軟性のある物体のピッキングは、硬い物体のピッキングと比較して困難である。そのため、ラインの設計担当者は、ピッキングツール１００に安定してワーク１２０をピッキングさせるために、ピッキングツール１００を備えるロボットに対するティーチングを何度も繰り返す必要がある。
【0041】
（ｃ．課題の解決方法）
本実施の形態に従うシミュレーションシステム２０（図２参照）は、上記の課題を解決するために、柔軟性のあるワーク１２０の硬さをシミュレーション内で再現する機能を提供する。シミュレーションシステム２０は、柔軟性のあるワーク１２０の硬さをシミュレーション内で再現するための２通りの方法を実行する機能を備える。以下の第１の方法と、第２の方法とについて説明する。
本実施の形態に従うシミュレーションシステム２０（図２参照）は、上記の課題を解決するために、柔軟性のあるワーク１２０の硬さをシミュレーション内で再現する機能を提供する。シミュレーションシステム２０は、柔軟性のあるワーク１２０の硬さをシミュレーション内で再現するための２通りの方法を実行する機能を備える。以下の第１の方法と、第２の方法とについて説明する。
【0042】
（ｃ－１．第１の方法）
第１の方法は、ユーザがシミュレータ２１０に接触率を入力する方法である。第１の方法では、ユーザは、シミュレーションシステム２０（シミュレータ２１０）に、ワーク１２０に対するピッキングツール１００の接触率（例えば、１００％）を入力する。シミュレーションシステム２０は、ユーザが入力した接触率を再現するように、ワーク１２０のピッキングの初期位置を決定する。次に、シミュレーションシステム２０は、シミュレーションを繰り返して、当該初期位置を調整する。
第１の方法は、ユーザがシミュレータ２１０に接触率を入力する方法である。第１の方法では、ユーザは、シミュレーションシステム２０（シミュレータ２１０）に、ワーク１２０に対するピッキングツール１００の接触率（例えば、１００％）を入力する。シミュレーションシステム２０は、ユーザが入力した接触率を再現するように、ワーク１２０のピッキングの初期位置を決定する。次に、シミュレーションシステム２０は、シミュレーションを繰り返して、当該初期位置を調整する。
【0043】
より具体的には、シミュレーションシステム２０は、ピッキングツール１００によるワーク１２０のピッキング動作を撮影するカメラ２３０（図２参照）と、シミュレーションを実行する装置２００とを備える。
【0044】
装置２００は、ワーク１２０に対するピッキングツール１００の接触率の入力を受け付ける。一例として、装置２００は、シミュレータ２１０のユーザインターフェイス（ＵＩ：User Interface）を介して、ユーザからワーク１２０に対するピッキングツール１００の接触率の入力を受け付ける。
【0045】
装置２００は、シミュレーション内で、接触率および予め設定されているワークの硬さに基づいて、ワーク１２０に対するピッキングツール１００のピッキング位置を決定する。ある実施の形態に従うと、ワーク１２０は、シミュレーション内でメッシュによって表現される。装置２００は、ピッキングツール１００がワーク１２０に触れると、メッシュを変形させる。装置２００は、変形したワーク１２０およびピッキングツール１００の接触率を算出する。一例として、装置２００は、ワーク１２０を構成する各ポリゴンと、ピッキングツール１００を構成する各ポリゴンとの接触判定により、変形したワーク１２０およびピッキングツール１００の接触率を算出する。
【0046】
次に、装置２００は、上記のピッキング位置のフィードバックを含むプログラムを制御装置２２０に送信する。当該プログラムにより、実世界において、ピッキングツール１００を備えたロボットは、シミュレーション中で決定されたピッキング位置でピッキング動作を行う。
【0047】
次に、装置２００は、カメラ２３０から、ロボット（ピッキングツール１００）のピッキング動作の画像または映像を複数回取得する。ある実施の形態に従うと、カメラ２３０は、画像または映像を制御装置２２０に送信する。この場合、制御装置２２０は、画像または映像を装置２００に転送する。他の実施の形態に従うと、カメラ２３０は、画像または映像を装置２００に直接転送する。
【0048】
装置２００は、ロボットのピッキング動作の画像または映像の解析結果からピッキングの成功率を算出する。例えば、ピッキングが１００回中２回失敗していれば、成功率は、９８％である。
【0049】
次に、装置２００は、ピッキングの成功率に基づいて、シミュレーション内のワークの硬さを変更する。また、装置２００は、シミュレーション内で、接触率および変更後のワークの硬さに基づいて、ワークに対するピッキングツールのピッキング位置を変更する。次に、装置２００は、ピッキング位置の変更結果を制御装置にフィードバックする。当該処理は、シミュレーション内のワークの硬さを現実のワークの硬さに近づける処理である。
【0050】
例えば、装置２００は、シミュレーション中で接触率１００％になるピッキング位置を決定する。そして、装置２００は、制御装置２２０にプログラムを送信する。ロボットは、シミュレーション中で決定されたピッキング位置で、ワーク１２０をピッキングする。このとき、シミュレーション内のワークの硬さが、現実のワークの硬さと一致していれば、ピッキングの成功率は１００％となる可能性が高い。しかしながら、実世界でのピッキングの成功率が１００％にならないことがある。これは、シミュレーション内のワークの硬さが、現実のワークの硬さと一致していないことが原因である。
【0051】
そこで、装置２００は、実世界でのピッキングの成功率に基づいて、シミュレーション内のワーク１２０の硬さを変化させていき、シミュレーション内のワークの硬さと、現実のワークの硬さとを一致させる。装置２００が上記の処理を繰り返し、シミュレーション内のワークの硬さと現実のワークの硬さとが一致したとする。この場合、シミュレーション中のピッキング位置と、実世界におけるピッキング位置とが同じであれば、シミュレーション中におけるワーク１２０に対するピッキングツール１００の接触率は、実世界におけるワーク１２０に対するピッキングツール１００の接触率と等しくなる。
【0052】
このように、シミュレーション中でワーク１２０の硬さが再現できれば、シミュレーション中でワーク１２０に対するピッキングツール１００の接触率が１００％になるようにピッキング位置を決めることで、実世界におけるピッキングは成功率が１００％になる可能性が高い。その結果、ラインの設計担当者は、ロボットのティーチングを従来よりも簡単に行い得る。さらに、ユーザは、あるワークの調整後の硬さの情報を、同一素材の他のワークのピッキングのティーチング作業に流用することができる。
【0053】
（ｃ－２．第２の方法）
第２の方法は、図５のようにピッキングツール１００が吸着ツールであり、かつ、ピッキングツール１００が真空エジェクタに接続されている場合に、真空エジェクタの真空圧力からシミュレータ２１０に入力する接触率を決定する方法である。第２の方法では、シミュレーションシステム２０は、実機のピッキングツール１００に接続された真空エジェクタの真空圧力に基づいて、シミュレーション中のピッキングの初期値を決定する。
第２の方法は、図５のようにピッキングツール１００が吸着ツールであり、かつ、ピッキングツール１００が真空エジェクタに接続されている場合に、真空エジェクタの真空圧力からシミュレータ２１０に入力する接触率を決定する方法である。第２の方法では、シミュレーションシステム２０は、実機のピッキングツール１００に接続された真空エジェクタの真空圧力に基づいて、シミュレーション中のピッキングの初期値を決定する。
【0054】
より具体的には、シミュレーションシステム２０は、ピッキングツール１００によるワーク１２０のピッキング動作を撮影するカメラ２３０（図２参照）と、シミュレーションを実行する装置２００とを備える。また、ピッキングツール１００（吸着ツール）は、真空エジェクタと接続されている。
【0055】
装置２００は、実世界において、制御装置２２０を介して、ピッキングツール１００（吸着ツール）を動作させる。制御装置２２０は、真空エジェクタの真空圧力が予め定められた圧力となるように、ピッキングツール１００（吸着ツール）をワーク１２０に接触させる。装置２００は、真空エジェクタの真空圧力が予め定められた値となるピッキングツール１００のピッキング位置を制御装置２２０から受信する。
【0056】
次に、装置２００は、上記のピッキング位置のフィードバックを含むプログラムを制御装置２２０に送信する。当該プログラムにより、実世界において、ピッキングツール１００を備えたロボットは、シミュレーション中で決定されたピッキング位置でピッキング動作を行う。
【0057】
次に、装置２００は、カメラ２３０から、ロボット（ピッキングツール１００）のピッキング動作の画像または映像を複数回取得する。ある実施の形態に従うと、カメラ２３０は、画像または映像を制御装置２２０に送信する。この場合、制御装置２２０は、画像または映像を装置２００に転送する。他の実施の形態に従うと、カメラ２３０は、画像または映像を装置２００に直接転送する。
【0058】
装置２００は、ロボットのピッキング動作の画像または映像の解析結果からピッキングの成功率を算出する。例えば、ピッキングが１００回中２回失敗していれば、成功率は、９８％である。
【0059】
次に、装置２００は、ピッキングの成功率に基づいて、シミュレーション内のワークの硬さを変更する。また、装置２００は、シミュレーション内で、接触率および変更後のワークの硬さに基づいて、ワークに対するピッキングツールのピッキング位置を変更する。次に、装置２００は、ピッキング位置の変更結果を制御装置にフィードバックする。当該処理は、シミュレーション内のワークの硬さを現実のワークの硬さに近づける処理である。
【0060】
第２の方法は、第１の方法と異なり、実世界のライン１０における真空エジェクタの真空圧力に基づいて、シミュレーション内のピッキングの初期位置を決定する。こうすることで、シミュレーションシステム２０は、ピッキングの成功率が１００％に近い状態からシミュレーションを開始し得る。
【0061】
＜Ｂ．ハードウェア構成＞
図２は、シミュレーションシステム２０の構成の一例を示す図である。シミュレーションシステム２０は、構成として、装置２００と、制御装置２２０と、カメラ２３０とを備える。ある実施の形態に従うと、シミュレーションシステム２０は、装置２００とカメラ２３０とを備え、制御装置２２０を備えない。他の実施の形態に従うと、装置２００および制御装置２２０は、一体型の装置として実現される。
図２は、シミュレーションシステム２０の構成の一例を示す図である。シミュレーションシステム２０は、構成として、装置２００と、制御装置２２０と、カメラ２３０とを備える。ある実施の形態に従うと、シミュレーションシステム２０は、装置２００とカメラ２３０とを備え、制御装置２２０を備えない。他の実施の形態に従うと、装置２００および制御装置２２０は、一体型の装置として実現される。
【0062】
装置２００は、ハードウェアとして、図２に示される各構成を備える。装置２００は、プロセッサ２０１と、メモリ２０２と、ストレージ２０３と、外部機器ＩＦ（Interface）２０４と、入力ＩＦ２０５と、出力ＩＦ２０６と、通信ＩＦ２０７とを含む。これらの各構成は、バス２０８を介して、相互に通信可能に接続される。
【0063】
プロセッサ２０１は、装置２００の各種機能を実現するためのプログラムを実行し得る。プロセッサ２０１は、例えば、少なくとも１つの集積回路によって構成される。ある実施の形態に従うと、装置２００は、例えば、少なくとも１つのＣＰＵ（Central Processing Unit）と、少なくとも１つのＧＰＵ（Graphics Processing Unit）、少なくとも１つのＦＰＧＡ（Field Programmable Gate Array）、少なくとも１つのＡＳＩＣ（Application Specific Integrated Circuit）またはこれらの組み合わせ等を包含する。
【0064】
メモリ２０２は、プロセッサ２０１によって実行されるプログラムと、プロセッサ２０１によって参照されるデータとを格納する。ある局面において、メモリ２０２は、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）等によって実現され得る。
【0065】
ストレージ２０３は、不揮発性メモリであり、プロセッサ２０１によって実行されるプログラムおよびプロセッサ２０１によって参照されるデータを格納している。その場合、プロセッサ２０１は、ストレージ２０３からメモリ２０２に読み出されたプログラムを実行し、ストレージ２０３からメモリ２０２に読み出されたデータを参照する。ある局面において、ストレージ２０３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）またはフラッシュメモリー等によって実現され得る。
【0066】
外部機器ＩＦ２０４は、プリンター、スキャナーおよび外付けＨＤＤ等の任意の外部機器に接続され得る。ある局面において、外部機器ＩＦ２０４は、ＵＳＢ（Universal Serial Bus）端子等によって実現され得る。
【0067】
入力ＩＦ２０５は、キーボード、マウス、タッチパッドまたはゲームパッド等の任意の入力装置に接続され得る。ある局面において、入力ＩＦ２０５は、ＵＳＢ端子、ＰＳ／２端子およびＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等によって実現され得る。
【0068】
出力ＩＦ２０６は、ブラウン管ディスプレイ、液晶ディスプレイまたは有機ＥＬ（Electro-Luminescence）ディスプレイ等の任意の出力装置に接続され得る。ある局面において、出力ＩＦ２０６は、ＵＳＢ端子、Ｄ－ｓｕｂ端子、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）端子およびディスプレイポート端子等によって実現され得る。
【0069】
通信ＩＦ２０７は、有線ネットワークまたは無線ネットワークを介して他の機器と接続される。ある局面において、通信ＩＦ２０７は、有線ＬＡＮ（Local Area Network）ポートおよびＷｉ-Ｆｉ（登録商標）（Wireless Fidelity）モジュール等によって実現され得る。他の局面において、通信ＩＦ２０７は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）、ＵＤＰ（User Datagram Protocol）等の通信プロトコルを用いてデータを送受信し得る。
【0070】
シミュレータ２１０は、図１を参照して説明された処理を実行する。ある実施の形態に従うと、シミュレータ２１０は、ソフトウェアとして実現される。他の実施の形態に従うと、シミュレータ２１０の一部または全ては、ハードウェアとして実現される。シミュレータ２１０がソフトウェアである場合、プロセッサ２０１は、シミュレータ２１０をストレージ２０３からメモリ２０２に読み出して、当該シミュレータ２１０を実行する。
【0071】
制御装置２２０は、装置２００から、シミュレーションの結果を反映されたラダープログラムを受信し、当該ラダープログラムに従い、ライン１０上のロボット、ピッキングツール１００およびその他の装置を制御する。ある実施の形態に従うと、制御装置２２０は、カメラ２３０から画像または映像を取得し、当該画像または映像を装置２００に転送する。他の実施の形態に従うと、制御装置２２０は、画像または映像を解析し、ピッキングが成功したか否かを判定する。この場合、制御装置２２０は、ピッキングが成功したか否かの判定情報を装置２００に送信する。
【0072】
カメラ２３０は、ピッキングツール１００がワーク１２０をピッキングする様子を撮影する。カメラ２３０は、ピッキングの画像または映像を制御装置２２０または装置２００に送信する。ある実施の形態に従うと、カメラ２３０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラもしくはＣＣＤ（Charge Coupled Device）カメラである。
【0073】
【0074】
図３は、ピッキングのシミュレーションの画面の一例を示す図である。画面３００は、パラメータ画面３１０と、シミュレーション画面３２０とを含む。ある実施の形態に従うと、画面３００は、出力ＩＦ２０６に接続されるディスプレイに表示される。他の実施の形態に従うと、画面３００は、ウェブアプリケーションの画面として実現される。この場合、装置２００は、ユーザの端末に画面３００を送信する。
【0075】
パラメータ画面３１０は、シミュレーションに関する任意の情報を表示する。また、パラメータ画面３１０の一部または全ての項目は、ユーザによって編集可能に構成される。一例として、ユーザは、パラメータ画面３１０を編集することで、ロボットを動作させたり、ロボットの先端のツールを変更したり、ワーク１２０の硬さを変更したり、予め登録されたロボットの動作を再生したりし得る。シミュレーション画面３２０は、シミュレーションの実行結果を表示する。一例として、ユーザが、パラメータ画面３１０において、予め登録されたロボットの動作を再生する操作を行うと、シミュレーション画面３２０内でロボットの動きが再現される。ユーザは、画面３００を参照および操作しながら、シミュレーション内におけるロボットのティーチングを行い、かつ、ロボットの動作を確認し得る。
【0076】
図４は、シミュレーション内でのワークの変形の一例を示す図である。図４を参照して、シミュレーション内でのワーク１２０の形状変化の表現方法について説明する。併せて、シミュレーション内でのワーク１２０およびピッキングツール１００の接触率の算出方法についても説明する。
【0077】
画面４００は、シミュレーション内の物体をメッシュに変換して表示する画面である。ある実施の形態に従うと、画面３００および画面４００は、相互に遷移可能に構成される。画面４００は、画面３００と同様に、パラメータ画面４１０と、シミュレーション画面４２０とを含む。
【0078】
図４の例では、シミュレーション内におけるピッキングツールの先端部品４５０は、ワーク１２０に接触している。この場合、シミュレータ２１０は、先端部品４５０およびワーク１２０の位置と、ワーク１２０の硬さ情報とに基づいて、ワーク１２０を変形させる。ある実施の形態に従うと、材質毎のワーク１２０の硬さ情報は、予め設定される。また、シミュレータ２１０は、図１を参照して説明された処理を実行することで、ワーク１２０の硬さ情報を更新する。
【0079】
メッシュは、ポリゴンの集合として表現される。シミュレータ２１０は、先端部品４５０の下面を構成する複数のポリゴンの各々について、ワーク１２０に接触しているか否かを判定する。次に、シミュレータ２１０は、先端部品４５０の下面を構成する複数のポリゴンのうち、ワーク１２０に接触しているポリゴンの割合を算出する。当該割合が、ワーク１２０に対するピッキングツール１００の接触率となる。
【0080】
図５は、実機でのテスト結果をシミュレーションに反映する手順の一例を示す図である。図５を参照して、装置２００（シミュレータ２１０）が、シミュレーション内で、接触率およびワークの硬さに基づいて、ワークに対するピッキングツールのピッキング位置（ピッキングの初期位置）を決定する手順について説明する。図５に示される手順は、図１を参照して説明された第１の方法に対応する。
【0081】
シミュレータ２１０は、ユーザからシミュレーションの設定情報の入力を受け付けるための画面５００を備える。画面５００は、一例として、ワーク１２０に対するピッキングツール１００の接触率の入力項目を有する。また、画面５００は、ピッキング位置（ピッキングツール１００を備えるロボットの位置および姿勢）の設定項目を有する。
【0082】
装置２００（シミュレータ２１０）は、画面５００を介して、ユーザからシミュレーション開始時におけるピッキングツール１００およびワーク１２０の接触率の入力を受け付けたとする。この場合、装置２００は、ピッキングツール１００と変形したワーク１２０との接触率が、入力された接触率となるように、ピッキングツール１００のピッキング位置を決定する。
【0083】
より具体的には、装置２００は、画面４００に示されるように、ワークを変形可能なメッシュにより再現する。装置２００は、ピッキングツール１００をワーク１２０に押し当てる。装置２００は、ワーク１２０の硬さに基づいて、ワーク１２０を変形させる。このとき、装置２００は、先端部品４５０の下面を構成する複数のポリゴンのうち、ワーク１２０に接触しているポリゴンの割合から、ワーク１２０に対するピッキングツール１００の接触率を算出する。そして、装置２００は、ピッキングツール１００と変形したワーク１２０との接触率が、入力された接触率となるように、ピッキングツール１００のピッキング位置を決定する。
【0084】
次に、装置２００は、実世界において、決定されたピッキング位置でピッキング動作を行うように、制御装置２２０にプログラムを送信する。制御装置２２０から信号を受信したピッキングツール１００は、決定されたピッキング位置でワーク１２０のピッキングを行う。
【0085】
装置２００は、カメラ２３０から得られた画像を解析して、実世界でのピッキングの成功率を算出する。例えば、ユーザがシミュレータ２１０に接触率１００％を設定したにもかかわらず、ピッキングの成功率が１００％ではないとする。この場合、装置２００は、シミュレーション内のワーク１２０の硬さが間違っていると判定して、ワーク１２０の硬さの設定を変更する。このように、装置２００は、シミュレーションの設定に基づいて、実世界のピッキングツール１００を動作させる。そして、装置２００は、実世界のピッキングツール１００のピッキングの成功率に基づいて、シミュレーションの設定（ワーク１２０の硬さ）を更新する。
【0086】
ある実施の形態に従うと、装置２００（シミュレータ２１０）は、シミュレーション内のワーク１２０の硬さを変更した場合、ピッキング位置も自動的に更新する。例えば、シミュレータ２１０において、接触率１００％が予め設定されているとする。そして、ワーク１２０の硬さが更新されたとする。この場合、ピッキングの初期位置における接触率は１００％ではなくなる可能性がある。よって、装置２００（シミュレータ２１０）は、予め設定された接触率（例えば、１００％）を維持するために、ピッキングの位置を自動的に更新する。
【0087】
他の実施の形態に従うと、装置２００（シミュレータ２１０）は、ワーク１２０の硬さが更新された場合に、ピッキング位置を更新しない。この場合、装置２００（シミュレータ２１０）は、ユーザからピッキング位置の更新入力を受け付け得る。
【0088】
【0089】
装置２００は、制御装置２２０を介して、ピッキングツール１００（吸着ツール）をワーク１２０に吸着させる。そして、装置２００は、真空エジェクタの真空圧力を取得する。ある実施の形態に従うと、装置２００は、制御装置２２０を介して、真空エジェクタの真空圧力を取得する。他の実施の形態に従うと、装置２００は、真空エジェクタの真空圧力を直接取得する。装置２００は、真空エジェクタの真空圧力が予め定められた値になるまで、ピッキングツール１００（吸着ツール）をワーク１２０に近づける。
【0090】
次に、装置２００は、真空エジェクタの真空圧力が予め定められた値であるときのピッキングツール１００のピッキング位置を制御装置２２０から取得する。装置２００は、真空エジェクタの真空圧力が予め定められた値であるときワーク１２０に対するピッキングツール１００の接触率は１００％であると判定する。装置２００は、決定した接触率（１００％）およびピッキング位置に基づいて、実機を用いたテストを実行する。シミュレーション内のワーク１２０の硬さの更新手順およびピッキング位置の更新手順については、図５を参照して説明された手段と同一である。
【0091】
装置２００（シミュレータ２１０）は、最終的に、ワーク１２０の硬さおよびピッキング位置を決定してユーザに提示する。画面６００は、ユーザに提示される画面の一例である。画面６００は、ワークの硬さ情報の項目６１０を含む。画面６００は、画面５００と相互に遷移可能に構成される。ある実施の形態に従うと、ワークの硬さ情報の項目６１０は、編集可能に構成される。
【0092】
図７は、ユーザによるシミュレータ２１０への各種パラメータの入力の一例を示す図である。装置２００（シミュレータ２１０）は、ユーザから、ワーク１２０およびピッキングツール１００の接触率、ピッキングツール１００（ロボット）の位置および姿勢の情報をユーザに提示する。また、装置２００（シミュレータ２１０）は、ユーザから、ワーク１２０およびピッキングツール１００の接触率の変更入力、ピッキングツール１００（ロボット）の位置および姿勢の変更入力をユーザから受け付ける。ある実施の形態に従うと、装置２００は、ユーザから、ワーク１２０の硬さの変更入力を受け付けてもよい。
【0093】
装置２００は、画面５００において、一例として、ワーク１２０およびピッキングツール１００の接触率、ピッキングツール１００（ロボット）の位置および姿勢の変更入力をユーザから受け付ける。装置２００（シミュレータ２１０）は、入力情報をシミュレーションに反映させる。
【0094】
画面７００は、ピッキングのモーションの各時点でのピッキングツール１００（ロボット）の位置および姿勢の項目７１０を有する。ユーザは、項目７１０を参照することで、ピッキングツール１００（ロボット）の動作を確認し得る。ある実施の形態に従うと、項目７１０は、ピッキングのモーションの各時点でのピッキングツール１００（ロボット）の位置および姿勢の変更入力を受け付け可能に構成される。装置２００（シミュレータ２１０）は、入力情報をシミュレーションに反映させる。ユーザは、画面５００，画面７００を介して、手動で接触率およびワーク１２０のピッキング位置を微調整し得る。
【0095】
＜Ｄ．フローチャート＞
図８は、シミュレーションシステム２０の内部処理の手順の一例を示す図である。ある実施の形態に従うと、プロセッサ２０１は、図８の処理を行うためのプログラムをストレージ２０３からメモリ２０２に読み込んで、当該プログラムを実行し得る。他の局面において、当該処理の一部または全部は、当該処理を実行するように構成された回路素子の組み合わせとしても実現され得る。
図８は、シミュレーションシステム２０の内部処理の手順の一例を示す図である。ある実施の形態に従うと、プロセッサ２０１は、図８の処理を行うためのプログラムをストレージ２０３からメモリ２０２に読み込んで、当該プログラムを実行し得る。他の局面において、当該処理の一部または全部は、当該処理を実行するように構成された回路素子の組み合わせとしても実現され得る。
【0096】
なお、図８に示されるフローチャートは、図１を参照して説明された第２の方法に対応する。シミュレーションシステム２０は、第１の方法を実行する場合、ステップＳ８１０の処理において、真空エジェクタの真空圧力を取得する代わりに、ワーク１２０およびピッキングツール１００の接触率の入力を取得する。また、シミュレーションシステム２０は、ステップＳ８２０の処理において、入力された接触率となるように、シミュレーション上でのワーク１２０のピッキング位置を決定する。
【0097】
ステップＳ８１０において、シミュレーションシステム２０は、真空エジェクタの真空圧力が目標値になるまで、実世界においてピッキングツール１００をワーク１２０に近づける。シミュレーションシステム２０は、真空エジェクタの真空圧力が目標値であることに基づいて、ワーク１２０に対するピッキングツール１００の接触率は１００％であると判定する。制御装置２２０は、真空エジェクタの真空圧力が目標値であるときのピッキングツール１００の位置情報を装置２００に送信する。
【0098】
ステップＳ８２０において、シミュレーションシステム２０は、シミュレーション上でピッキングツール１００を実機（実世界のピッキングツール１００）と同じ位置まで移動させる。
【0099】
ステップＳ８３０において、シミュレーションシステム２０は、接触率が１００％になるようにワーク１２０の硬さを調整する。シミュレーションシステム２０は、シミュレーション内でワーク１２０の硬さを調整すると共に、ワーク１２０のメッシュを変形させる。シミュレーションシステム２０は、ピッキングツール１００の先端部品４５０の下面がワーク１２０に接触する割合が１００％になるまで、ワーク１２０の硬さを調整する。
【0100】
ステップＳ８４０において、シミュレーションシステム２０は、シミュレーションでユーザ指定の接触率となる位置を把持位置（変数）に設定する。ある実施の形態に従うと、シミュレーションシステム２０は、ユーザから接触率の入力を受け付けなくてもよい。この場合、シミュレーションシステム２０は、接触率１００％として、これ以降の処理を実行する。
【0101】
ステップＳ８５０において、シミュレーションシステム２０は、カメラ２３０で実機（実世界のピッキングツール１００）のテストの成功率を確認する。より具体的には、シミュレーションシステム２０は、テストを実行するためのプログラムを制御装置２２０に送信する。制御装置２２０は、プログラムに従い、ピッキングテストを実行する。カメラ２３０は、ピッキング処理を撮影して、その画像または映像を装置２００に送信する。装置２００は、画像または映像を解析して、テストの成功率を算出する。
【0102】
ステップＳ８６０において、シミュレーションシステム２０は、テストの成功率が１００％になるまでテストを繰り返すことで、ピッキング位置およびワーク１２０の硬さを変更する。すなわち、装置２００は、ピッキングの成功率が１００％になるまで、シミュレーション内のワーク１２０の硬さの変更と、ワーク１２０に対するピッキングツール１００のピッキング位置の変更と、ピッキング位置の変更結果の制御装置へのフィードバックとを繰り返す。
【0103】
以上説明した通り、本実施の形態に従うシミュレーションシステム２０は、実機でのピッキングテストの結果に基づいて、シミュレーション内でのワーク１２０の硬さを調整する。これにより、シミュレーション内でのワーク１２０の硬さは現実のワーク１２０の硬さと一致する。シミュレーションシステム２０は、例えば、シミュレーション内で、調整後のワーク１２０に対してピッキングツール１００の接触率が１００％またはユーザ指定の値になるようにピッキング位置を変更することで、最適なピッキング位置を求めることができる。
【0104】
＜Ｅ．付記＞
以上のように、本実施の形態は以下のような開示を含む。
［構成１］
ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーションシステムであって、
上記ピッキングツールによる上記ワークのピッキング動作を撮影するカメラと、
シミュレーションを実行する装置とを備え、
上記装置は、
上記ワークに対する上記ピッキングツールの接触率の入力を受け付け、
上記シミュレーション内で、上記接触率および予め設定されている上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を決定し、
実世界において上記ピッキング位置でピッキング動作を行うように、上記ロボットの制御装置にプログラムを送信し、
上記カメラから、上記ロボットのピッキング動作の画像または映像を複数回取得し、
複数の上記画像または映像の解析結果からピッキングの成功率を算出し、
上記成功率に基づいて、上記シミュレーション内の上記ワークの硬さを変更し、
上記シミュレーション内で、上記接触率および変更後の上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を変更し、
上記ピッキング位置の変更結果を上記制御装置にフィードバックする、シミュレーションシステム。
［構成２］
上記シミュレーション内で、上記接触率および上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を決定することは、
上記ワークを変形可能なメッシュにより再現することと、
上記ピッキングツールを上記ワークに押し当てることと、
上記ワークの硬さに基づいて、上記ワークを変形させることと、
上記ピッキングツールと変形した上記ワークとの接触率が、入力された上記接触率となるように、上記ピッキングツールの上記ピッキング位置を決定することとを含む、構成１に記載のシミュレーションシステム。
［構成３］
ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーションシステムであって、
上記ピッキングツールによる上記ワークのピッキング動作を撮影するカメラと、
シミュレーションを実行する装置とを備え、
上記ピッキングツールは、真空エジェクタに接続されており、
上記装置は、
実世界において、制御装置を介して、上記ピッキングツールを移動させ、
上記真空エジェクタの真空圧力が予め定められた値となる上記ピッキングツールのピッキング位置を上記制御装置から受信し、
上記シミュレーション内で、上記ワークに対する上記ピッキングツールの上記ピッキング位置を上記制御装置から受信したピッキング位置に合わせ、
実世界において上記ピッキング位置でピッキング動作を行うように、上記ロボットの制御装置にプログラムを送信し、
上記カメラから、上記ロボットのピッキング動作の画像または映像を複数回取得し、
複数の上記画像または映像の解析結果からピッキングの成功率を算出し、
上記成功率に基づいて、シミュレーション内の上記ワークの硬さを変更し、
上記シミュレーション内で、変更後の上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を変更し、
上記ピッキング位置の変更結果を上記制御装置にフィードバックする、シミュレーションシステム。
［構成４］
上記装置は、上記真空エジェクタの真空圧力が上記予め定められた値であるとき上記ワークに対する上記ピッキングツールの接触率は１００％であると判定し、
上記シミュレーション内で、上記接触率および上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を決定することは、
上記ワークを変形可能なメッシュにより再現することと、
上記ピッキングツールを上記ワークに押し当てることと、
上記ワークの硬さに基づいて、上記ワークを変形させることと、
上記ピッキングツールと変形した上記ワークとの接触率が１００％となるように、上記ピッキングツールの上記ピッキング位置を決定することとを含む、構成３に記載のシミュレーションシステム。
［構成５］
上記装置は、上記ピッキングの成功率が１００％になるまで、上記ワークに対する上記ピッキングツールの上記ピッキング位置の変更と、上記ピッキング位置の変更結果の上記制御装置へのフィードバックとを繰り返す、構成１～４のいずれかに記載のシミュレーションシステム。
［構成６］
上記装置は、上記ピッキングツールのピッキング位置の変更入力を受け付ける、構成１～４のいずれかに記載のシミュレーションシステム。
［構成７］
ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーション方法であって、
上記ワークに対する上記ピッキングツールの接触率の入力を受け付けることと、
シミュレーション内で、上記接触率および予め設定されている上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を決定することと、
実世界において上記ピッキング位置でピッキング動作を行うように、上記ロボットの制御装置にプログラムを送信することと、
カメラから、上記ロボットのピッキング動作の画像または映像を複数回取得することと、
複数の上記画像または映像の解析結果からピッキングの成功率を算出することと、
上記成功率に基づいて、上記シミュレーション内の上記ワークの硬さを変更することと、
上記シミュレーション内で、上記接触率および変更後の上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を変更することと、
上記ピッキング位置の変更結果を上記制御装置にフィードバックすることとを含む、シミュレーション方法。
［構成８］
ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーション方法であって、
実世界において、制御装置を介して、上記ピッキングツールを移動させることと、
上記ピッキングツールに接続された真空エジェクタの真空圧力が予め定められた値となる上記ピッキングツールのピッキング位置を上記制御装置から受信することと、
シミュレーション内で、上記ワークに対する上記ピッキングツールの上記ピッキング位置を上記制御装置から受信したピッキング位置に合わせることと、
実世界において上記ピッキング位置でピッキング動作を行うように、上記ロボットの制御装置にプログラムを送信することと、
カメラから、上記ロボットのピッキング動作の画像または映像を複数回取得することと、
複数の上記画像または映像の解析結果からピッキングの成功率を算出することと、
上記成功率に基づいて、シミュレーション内の上記ワークの硬さを変更することと、
上記シミュレーション内で、変更後の上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を変更することと、
上記ピッキング位置の変更結果を上記制御装置にフィードバックすることとを含む、シミュレーション方法。
以上のように、本実施の形態は以下のような開示を含む。
［構成１］
ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーションシステムであって、
上記ピッキングツールによる上記ワークのピッキング動作を撮影するカメラと、
シミュレーションを実行する装置とを備え、
上記装置は、
上記ワークに対する上記ピッキングツールの接触率の入力を受け付け、
上記シミュレーション内で、上記接触率および予め設定されている上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を決定し、
実世界において上記ピッキング位置でピッキング動作を行うように、上記ロボットの制御装置にプログラムを送信し、
上記カメラから、上記ロボットのピッキング動作の画像または映像を複数回取得し、
複数の上記画像または映像の解析結果からピッキングの成功率を算出し、
上記成功率に基づいて、上記シミュレーション内の上記ワークの硬さを変更し、
上記シミュレーション内で、上記接触率および変更後の上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を変更し、
上記ピッキング位置の変更結果を上記制御装置にフィードバックする、シミュレーションシステム。
［構成２］
上記シミュレーション内で、上記接触率および上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を決定することは、
上記ワークを変形可能なメッシュにより再現することと、
上記ピッキングツールを上記ワークに押し当てることと、
上記ワークの硬さに基づいて、上記ワークを変形させることと、
上記ピッキングツールと変形した上記ワークとの接触率が、入力された上記接触率となるように、上記ピッキングツールの上記ピッキング位置を決定することとを含む、構成１に記載のシミュレーションシステム。
［構成３］
ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーションシステムであって、
上記ピッキングツールによる上記ワークのピッキング動作を撮影するカメラと、
シミュレーションを実行する装置とを備え、
上記ピッキングツールは、真空エジェクタに接続されており、
上記装置は、
実世界において、制御装置を介して、上記ピッキングツールを移動させ、
上記真空エジェクタの真空圧力が予め定められた値となる上記ピッキングツールのピッキング位置を上記制御装置から受信し、
上記シミュレーション内で、上記ワークに対する上記ピッキングツールの上記ピッキング位置を上記制御装置から受信したピッキング位置に合わせ、
実世界において上記ピッキング位置でピッキング動作を行うように、上記ロボットの制御装置にプログラムを送信し、
上記カメラから、上記ロボットのピッキング動作の画像または映像を複数回取得し、
複数の上記画像または映像の解析結果からピッキングの成功率を算出し、
上記成功率に基づいて、シミュレーション内の上記ワークの硬さを変更し、
上記シミュレーション内で、変更後の上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を変更し、
上記ピッキング位置の変更結果を上記制御装置にフィードバックする、シミュレーションシステム。
［構成４］
上記装置は、上記真空エジェクタの真空圧力が上記予め定められた値であるとき上記ワークに対する上記ピッキングツールの接触率は１００％であると判定し、
上記シミュレーション内で、上記接触率および上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を決定することは、
上記ワークを変形可能なメッシュにより再現することと、
上記ピッキングツールを上記ワークに押し当てることと、
上記ワークの硬さに基づいて、上記ワークを変形させることと、
上記ピッキングツールと変形した上記ワークとの接触率が１００％となるように、上記ピッキングツールの上記ピッキング位置を決定することとを含む、構成３に記載のシミュレーションシステム。
［構成５］
上記装置は、上記ピッキングの成功率が１００％になるまで、上記ワークに対する上記ピッキングツールの上記ピッキング位置の変更と、上記ピッキング位置の変更結果の上記制御装置へのフィードバックとを繰り返す、構成１～４のいずれかに記載のシミュレーションシステム。
［構成６］
上記装置は、上記ピッキングツールのピッキング位置の変更入力を受け付ける、構成１～４のいずれかに記載のシミュレーションシステム。
［構成７］
ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーション方法であって、
上記ワークに対する上記ピッキングツールの接触率の入力を受け付けることと、
シミュレーション内で、上記接触率および予め設定されている上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を決定することと、
実世界において上記ピッキング位置でピッキング動作を行うように、上記ロボットの制御装置にプログラムを送信することと、
カメラから、上記ロボットのピッキング動作の画像または映像を複数回取得することと、
複数の上記画像または映像の解析結果からピッキングの成功率を算出することと、
上記成功率に基づいて、上記シミュレーション内の上記ワークの硬さを変更することと、
上記シミュレーション内で、上記接触率および変更後の上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を変更することと、
上記ピッキング位置の変更結果を上記制御装置にフィードバックすることとを含む、シミュレーション方法。
［構成８］
ロボットに装着されたピッキングツールのワークに対するピッキング位置を調整するためのシミュレーション方法であって、
実世界において、制御装置を介して、上記ピッキングツールを移動させることと、
上記ピッキングツールに接続された真空エジェクタの真空圧力が予め定められた値となる上記ピッキングツールのピッキング位置を上記制御装置から受信することと、
シミュレーション内で、上記ワークに対する上記ピッキングツールの上記ピッキング位置を上記制御装置から受信したピッキング位置に合わせることと、
実世界において上記ピッキング位置でピッキング動作を行うように、上記ロボットの制御装置にプログラムを送信することと、
カメラから、上記ロボットのピッキング動作の画像または映像を複数回取得することと、
複数の上記画像または映像の解析結果からピッキングの成功率を算出することと、
上記成功率に基づいて、シミュレーション内の上記ワークの硬さを変更することと、
上記シミュレーション内で、変更後の上記ワークの硬さに基づいて、上記ワークに対する上記ピッキングツールの上記ピッキング位置を変更することと、
上記ピッキング位置の変更結果を上記制御装置にフィードバックすることとを含む、シミュレーション方法。
【0105】
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内で全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された開示内容は、可能な限り、単独でも、組合わせても、実施することが意図される。
【符号の説明】
【0106】
１０ ライン、２０ シミュレーションシステム、１００ ピッキングツール、１１０ ベルトコンベア、１２０ ワーク、２００ 装置、２０１ プロセッサ、２０２ メモリ、２０３ ストレージ、２０４ 外部機器ＩＦ、２０５ 入力ＩＦ、２０６ 出力ＩＦ、２０７ 通信ＩＦ、２０８ バス、２１０ シミュレータ、２２０ 制御装置、２３０ カメラ、３００，４００，５００，６００，７００ 画面、３１０，４１０ パラメータ画面、３２０，４２０ シミュレーション画面、４５０ 先端部品、６１０，７１０ 項目。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】