特許 7450857 計測パラメータの最適化方法及び装置、並びに、コンピュータ制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-08

(45)【発行日】2024-03-18

(54)【発明の名称】計測パラメータの最適化方法及び装置、並びに、コンピュータ制御プログラム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20240311BHJP

   B25J 13/08 20060101ALI20240311BHJP

   G06T 7/70 20170101ALI20240311BHJP

【ＦＩ】

G01B11/00 H

B25J13/08 A

G06T7/70 Z

【請求項の数】 10

(21)【出願番号】P 2020097760

(22)【出願日】2020-06-04

(65)【公開番号】P2021148763

(43)【公開日】2021-09-27

【審査請求日】2023-04-07

(31)【優先権主張番号】P 2020044682

(32)【優先日】2020-03-13

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100139066

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】苗 林

(72)【発明者】

【氏名】付 星斗

【審査官】國田 正久

(56)【参考文献】

【文献】特開２０１８－１６１７００（ＪＰ，Ａ）

【文献】特開２０１９－１５８４９９（ＪＰ，Ａ）

【文献】特開２０１６－０４５０１９（ＪＰ，Ａ）

【文献】特開２０１７－０５６５４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００ － １１／３０

Ｂ２５Ｊ １３／０８

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

ロボットに設けられた計測装置により一つ以上の対象物を計測するときの計測パラメータの最適化方法であって、
第１計測パラメータとしての速度Ｖ、時間間隔Ｔ、及び合計移動角度θで前記計測装置を移動させながら、前記一つ以上の対象物を撮影して複数枚数Ｎの撮影画像を取得する第１ステップと、
第２計測パラメータとしての速度Ｖ、時間間隔Ｔ×ｊ（ｊ：２以上の整数）、及び合計移動角度θで前記計測装置を移動させながら、前記一つ以上の対象物を撮影して複数枚数Ｎ／ｊの撮影画像を取得し、且つ、前記一つ以上の対象物の位置姿勢を認識する画像処理を行ったと仮定した場合の、枚数ｉ（ここではｉ＝１，２，…，Ｎ／ｊ－１，Ｎ／ｊ）における前記対象物の認識の正確さを示す評価値Ｚiを推定し、前記第２計測パラメータに関連付けた評価値Ｚiを第１データとして記憶する第２ステップと、
前記第１データに基づいて、第３計測パラメータとして、速度Ｖ×ｋ（ｋ：２以上の整数）、時間間隔Ｔ×ｊ／ｋ、及び合計移動角度θで前記計測装置を移動させながら、前記一つ以上の対象物を撮影して複数枚数Ｎ／ｊ／ｋの撮影画像を取得し、且つ、前記画像処理と同等の処理を行ったと仮定した場合の、枚数ｉ（ここではｉ＝１，２，…，Ｎ／ｊ／ｋ－１，Ｎ／ｊ／ｋ）における前記対象物の認識の正確さを示す評価値Ｚiを推定し、前記第３計測パラメータに関連付けた評価値Ｚiを第２データとして記憶する第３ステップと、
前記第２データのなかから、所定の判定基準を満たすデータの計測パラメータを選定し、前記ロボットによる前記一つ以上の対象物の操作時における最適化計測パラメータとして決定する第４ステップと、
を含む計測パラメータの最適化方法。

【請求項2】

前記所定の判定基準は、前記対象物の評価値Ｚiが予め設定された評価値以上であることを含む、請求項１記載の方法。

【請求項3】

前記所定の判定基準は、少なくとも計測に掛かる所要時間がより短いことを含む、請求項２記載の方法。

【請求項4】

前記所定の判定基準は、前記計測装置の移動の速度Ｖがより速いことを含む、請求項２又は３記載の方法。

【請求項5】

前記所定の判定基準は、前記一つ以上の対象物の撮影枚数ｉがより少ないことを含む、請求項２乃至４の何れか記載の方法。

【請求項6】

前記第１計測パラメータによる前記一つ以上の対象物の撮影を、複数回実施し、各撮影について取得した前記評価値Ｚiの平均値を、前記第１データとして記憶する、請求項１乃至５の何れか記載の方法。

【請求項7】

前記ロボットと異なるロボットの特性に応じた速度Ｖ及び時間間隔Ｔに対応する計測パラメータに対応するデータが、前記第１データ乃至第２データに含まれている場合、該第１データ乃至第２データのなかから、所定の判定基準を満たすデータの計測パラメータを選定し、前記異なるロボットによる前記複数の対象物の操作時における最適化計測パラメータとして決定する、請求項１乃至６の何れか記載の方法。

【請求項8】

前記ロボットと異なるロボットの特性に応じた速度Ｖ及び時間間隔Ｔに対応する計測パラメータに対応するデータが、前記第１データ乃至第２データに含まれている場合、該対応するデータの計測パラメータに関連付けられたデータを新たな第１データとして、前記第２ステップ乃至第４ステップを実施することにより新たな第２データを取得及び記憶し、前記新たな第２データのなかから、所定の判定基準を満たすデータの計測パラメータを選定し、前記異なるロボットによる前記複数の対象物の操作時における最適化計測パラメータとして決定する、請求項１乃至６の何れか記載の方法。

【請求項9】

ロボットに設けられた計測装置により一つ以上の対象物を計測するときの計測パラメータの最適化装置であって、
当該装置は、少なくとも１つのプロセッサを有しており、該少なくとも１つのプロセッサが、
第１計測パラメータとしての速度Ｖ、時間間隔Ｔ、及び合計移動角度θで前記計測装置を移動させながら、前記一つ以上の対象物を撮影して複数枚数Ｎの撮影画像を取得する第１ステップと、
第２計測パラメータとしての速度Ｖ、時間間隔Ｔ×ｊ（ｊ：２以上の整数）、及び合計移動角度θで前記計測装置を移動させながら、前記一つ以上の対象物を撮影して複数枚数Ｎ／ｊの撮影画像を取得し、且つ、前記一つ以上の対象物の位置姿勢を認識する画像処理を行ったと仮定した場合の、枚数ｉ（ここではｉ＝１，２，…，Ｎ／ｊ－１，Ｎ／ｊ）における前記対象物の認識の正確さを示す評価値Ｚiを推定し、前記第２計測パラメータに関連付けた評価値Ｚiを第１データとして記憶する第２ステップと、
前記第１データに基づいて、第３計測パラメータとして、速度Ｖ×ｋ（ｋ：２以上の整数）、時間間隔Ｔ×ｊ／ｋ、及び合計移動角度θで前記計測装置を移動させながら、前記一つ以上の対象物を撮影して複数枚数Ｎ／ｊ／ｋの撮影画像を取得し、且つ、前記画像処理と同等の処理を行ったと仮定した場合の、枚数ｉ（ここではｉ＝１，２，…，Ｎ／ｊ／ｋ－１，Ｎ／ｊ／ｋ）における前記対象物の認識の正確さを示す評価値Ｚiを推定し、前記第３計測パラメータに関連付けた評価値Ｚiを第２データとして記憶する第３ステップと、
前記第２データのなかから、所定の判定基準を満たすデータの計測パラメータを選定し、前記ロボットによる前記一つ以上の対象物の操作時における最適化計測パラメータとして決定する第４ステップと、
を実行する、計測パラメータの最適化装置。

【請求項10】

ロボットに設けられた計測装置により一つ以上の対象物を計測するときの計測パラメータの最適化を行うために、少なくとも１つのプロセッサを有するコンピュータに、
第１計測パラメータとしての速度Ｖ、時間間隔Ｔ、及び合計移動角度θで前記計測装置を移動させながら、前記一つ以上の対象物を撮影して複数枚数Ｎの撮影画像を取得する第１ステップと、
第２計測パラメータとしての速度Ｖ、時間間隔Ｔ×ｊ（ｊ：２以上の整数）、及び合計移動角度θで前記計測装置を移動させながら、前記一つ以上の対象物を撮影して複数枚数Ｎ／ｊの撮影画像を取得し、且つ、前記一つ以上の対象物の位置姿勢を認識する画像処理を行ったと仮定した場合の、枚数ｉ（ここではｉ＝１，２，…，Ｎ／ｊ－１，Ｎ／ｊ）における前記対象物の認識の正確さを示す評価値Ｚiを推定し、前記第２計測パラメータに関連付けた評価値Ｚiを第１データとして記憶する第２ステップと、
前記第１データに基づいて、第３計測パラメータとして、速度Ｖ×ｋ（ｋ：２以上の整数）、時間間隔Ｔ×ｊ／ｋ、及び合計移動角度θで前記計測装置を移動させながら、前記一つ以上の対象物を撮影して複数枚数Ｎ／ｊ／ｋの撮影画像を取得し、且つ、前記画像処理と同等の処理を行ったと仮定した場合の、枚数ｉ（ここではｉ＝１，２，…，Ｎ／ｊ／ｋ－１，Ｎ／ｊ／ｋ）における前記対象物の認識の正確さを示す評価値Ｚiを推定し、前記第３計測パラメータに関連付けた評価値Ｚiを第２データとして記憶する第３ステップと、
前記第２データのなかから、所定の判定基準を満たすデータの計測パラメータを選定し、前記ロボットによる前記一つ以上の対象物の操作時における最適化計測パラメータとして決定する第４ステップと、
を実行させるコンピュータ制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物を操作するロボットシステムにおける対象物の計測パラメータ最適化方法等に関する。

【背景技術】

【0002】

ファクトリーオートメーション（ＦＡ：Factory Automation）における検査や生産ラインにおいて、ばら積みされたワーク（部品等）等の対象物の位置姿勢を計測し、認識した対象物をロボットによって別の場所や容器に移載したり、その対象物を加工したりする装置が知られている。かかる装置では、ロボットや計測装置の動作を最適に制御するためのパラメータが設定され、その制御パラメータに基づいて、ロボットや計測装置による種々のタスクが実行される。

【0003】

例えば、特許文献１には、ロボット及び工作機械を備えており、複数の対象物に対して複数回の計測（マルチビュー計測）を行う計測装置において、計測パラメータとして複数の計測位置姿勢を順次決定する方法が記載されている。この方法では、ロボットの複数の移動終点位置を記憶し、それらに基づいて、ロボットの機構パラメータの誤差、及び、ロボットの座標系と工作機械の座標系との間の相対関係を同時に求めるキャリブレーションが行われる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－５６５４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、特許文献１等における従来の計測パラメータ設定においては、計測パラメータの最適化を行う際に、例えば、対象物の撮影速度、撮影枚数、及び撮影時間間隔といった複数パラメータの組み合わせの適否を評価する必要があるため、計測パラメータの調整及び最適化設定には多くの手間と長時間を要していた。また、計測装置がロボットに搭載されている場合、計測パラメータがロボットの機構特性に依存するため、ロボット毎に計測パラメータを調整する必要があった。さらに、対象物の認識における評価目標を変更する場合には、更に多くの手間と時間が掛かってしまうため、計測パラメータの調整及び最適化設定は更なる困難を極めることとなる。

【0006】

そこで、本発明は、一側面では、かかる事情に鑑みてなされたものであり、ロボットに搭載された計測装置によって対象物を計測する際の計測パラメータを、従来に比して格段に簡略（手間の軽減、時間短縮、ロボット非依存）に調整及び最適化することができる方法等を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、上述した課題を解決するために、以下の構成を採用する。

【0008】

〔１〕すなわち、本開示に係る計測パラメータの最適化方法の一例は、ロボットに設けられた計測装置（センサ）により一つ以上の対象物を計測するときの計測パラメータを最適化するための方法であって、以下の（１）乃至（４）に示す第１ステップ乃至第４ステップを含む。なお、「ロボット」の構成は特に限定されず、例えば、ロボットアーム、及び、そのロボットアームの先端部に設けられ且つ対象物を操作するハンドを有する構成が挙げられる。また、「計測装置」の構成も特に制限されず、例えば、ロボットアームに設けられており、対象物の位置情報（例えば、２次元又は３次元位置情報）を計測することができるものが挙げられる。これらの「ロボット」及び「計測装置」のより具体的な例については、後述する。

【0009】

（１）第１計測パラメータとしての速度Ｖ、時間間隔Ｔ、及び合計移動角度θで計測装置を移動させながら、一つ以上の対象物を撮影して複数枚数Ｎの撮影画像を取得する第１ステップ。
（２）第２計測パラメータとしての速度Ｖ、時間間隔Ｔ×ｊ（ｊ：２以上の整数）、及び合計移動角度θで計測装置を移動させながら、一つ以上の対象物を撮影して複数枚数Ｎ／ｊの撮影画像を取得し、且つ、一つ以上の対象物の位置姿勢を認識する画像処理を行ったと仮定した場合の、枚数ｉ（ここではｉ＝１，２，…，Ｎ／ｊ－１，Ｎ／ｊ）における対象物の認識の正確さを示す評価値Ｚiを推定し、第２計測パラメータに関連付けた評価値Ｚiを第１データとして記憶する第２ステップ。
（３）第１データに基づいて、第３計測パラメータとして、速度Ｖ×ｋ（ｋ：２以上の整数）、時間間隔Ｔ×ｊ／ｋ、及び合計移動角度θで前記計測装置を移動させながら、一つ以上の対象物を撮影して複数枚数Ｎ／ｊ／ｋの撮影画像を取得し、且つ、上述の画像処理と同等の処理を行ったと仮定した場合の、枚数ｉ（ここではｉ＝１，２，…，Ｎ／ｊ／ｋ－１，Ｎ／ｊ／ｋ）における対象物の認識の正確さを示す評価値Ｚiを推定し、第３計測パラメータに関連付けた評価値Ｚiを第２データとして記憶する第３ステップ。
（４）第２データのなかから、所定の判定基準を満たすデータの計測パラメータを選定し、ロボットによる一つ以上の対象物の操作時における最適化計測パラメータとして決定する第４ステップ。

【0010】

当該構成では、ロボットシステムの実稼働前に予め取得した基本データである第１データに基づいて、計測パラメータを異なる条件（第２計測パラメータ、第３計測パラメータ）へ変更した場合に、その変更後のパラメータによる実際の計測を行うことなく、一つ以上の対象物の認識結果を推定することができる。よって、計測パラメータとして想定され得る条件の全ての組み合わせについて事前計測を行う必要がなく、想定されるワーク５の種類毎に、実稼働前に一度だけ詳細な事前計測を行うだけで、センサ１による計測パラメータの最適化を行うことができる。従って、ロボットに搭載された計測装置によって対象物を計測する際の計測パラメータを、従来に比して格段に簡略（手間の軽減、時間短縮、ロボット非依存等）に調整及び最適化することができる。これにより、対象物の計測時におけるロバスト性、対象物の操作の作業効率、及び、全体のスループットを向上させることができ、その結果、ユーザの利便性、及び、汎用性も格段に向上させることが可能となる。

【0011】

〔２〕上記構成において、より具体的には、所定の判定基準は、対象物の評価値Ｚiが、予め設定された対象物の評価値以上であることを含んでもよい。当該構成では、判定基準における所定の評価値をより大きく設定することにより、ロバスト性を更に向上させることができ、計測精度の向上を優先する場合に有利となる。

【0012】

〔３〕また、所定の判定基準が、予め設定された対象物の評価値以上であることに加え、さらに、少なくとも計測に掛かる所要時間がより短いことを含んでもよい。当該構成では、所望の評価値を満たしつつ、計測に掛かる所要時間を最小化することができ、計測処理時間の低減を優先する場合に有利となる。

【0013】

〔４〕また、所定の判定基準が、予め設定された対象物の評価値以上であることに加え、さらに、計測装置の移動の速度Ｖがより速いことを含んでもよい、当該構成では、所望の評価値を満たしつつ、計測装置の移動時の速度Ｖを優先する場合に有利となる。

【0014】

〔５〕また、所定の判定基準が、予め設定された対象物の評価値以上であることに加え、さらに、一つ以上の対象物の撮影枚数ｉがより少ないことを含んでもよい、当該構成では、所望の評価値を満たしつつ、撮影枚数ｉの低減を優先する場合に有利となる。

【0015】

〔６〕さらに、上記各構成においては、第１計測パラメータによる一つ以上の対象物の撮影を、少なくとも１回、好ましくは複数回実施し、複数回の撮影を実施した場合、各撮影について取得した評価値Ｚiの平均値を、第１データとして記憶するように構成してもよい。当該構成では、実験的に求める第１データの精度及び信頼性を高めることができ、その結果、一つ以上の対象物の計測時におけるロバスト性、一つ以上の対象物の操作における作業効率、及び、全体のスループットをより一層向上させることができる。

【0016】

〔７〕またさらに、前述の如くロボットが変更されたようなときに、ロボットと異なるロボットの特性に応じた速度Ｖ及び時間間隔Ｔに対応する計測パラメータに対応するデータが、第１データ乃至第３データに含まれている場合、該第１データ乃至第３データのなかから、所定の判定基準を満たすデータの計測パラメータを選定し、前記異なるロボットによる前記複数の対象物の操作時における最適化計測パラメータとして決定するように構成してもよい。当該構成では、前述のとおり、ロボットに依存することなく、計測パラメータの最適化を実現することができる簡略な手法を提供することが可能となる。

【0017】

〔８〕或いは、同様に、前記ロボットと異なるロボットの特性に応じた速度Ｖ及び時間間隔Ｔに対応する計測パラメータに対応するデータが、前記第１データ乃至第２データに含まれている場合、対応するデータの計測パラメータに関連付けられたデータを新たな第１データとして、第２ステップ乃至第４ステップを実施することにより新たな第２データを取得及び記憶し、新たな第２データのなかから、所定の判定基準を満たすデータの計測パラメータを選定し、異なるロボットによる一つ以上の対象物の操作時における最適化計測パラメータとして決定するように構成してもよい。当該構成でも、前述のとおり、ロボットに依存することなく、計測パラメータの最適化を実現することができる簡略な手法を提供することが可能となる。

【0018】

〔９〕また、本開示に係る計測パラメータの最適化装置の一例は、ロボットに設けられた計測装置により複数の対象物を計測するときの計測パラメータを最適化するための装置であって、当該装置は、少なくとも１つのプロセッサを有しており、該少なくとも１つのプロセッサが、本開示の計測パラメータの最適化方法における各ステップを実行する。

【0019】

〔１０〕また、本開示に係るコンピュータ制御プログラムの一例は、ロボットに設けられた計測装置により複数の対象物を計測するときの計測パラメータの最適化を行うために、少なくとも１つのプロセッサを有するコンピュータに、本開示の計測パラメータの最適化方法における各ステップを実行させるプログラムであり、換言すれば、コンピュータを、上記の本開示に係る計測パラメータの最適化装置として有効に機能させるためのプログラムである。

【0020】

〔１１〕また、本開示に係るロボットシステムの一例は、ロボットと、ロボットに設けられた計測装置と、ロボット及び計測装置に接続された制御装置とを備え、制御装置は、少なくとも１つのプロセッサを有しており、少なくとも１つのプロセッサが、本開示の計測パラメータの最適化方法における各ステップを実行するシステムである。換言すれば、ロボットシステムにおいては、本開示に係る計測パラメータの最適化装置が制御装置として機能する。

【0021】

なお、本開示において、「部」及び「装置」とは、単に物理的手段を意味するものではなく、その「部」及び「装置」が有する機能をソフトウェアによって実現する構成も含む。また、１つの「部」及び「装置」が有する機能が２つ以上の物理的手段や装置によって実現されてもよく、或いは、２つ以上の「部」及び「装置」の機能が１つの物理的手段や装置によって実現されてもよい。さらに、「部」及び「装置」とは、例えば「手段」及び「システム」と言い換えることも可能な概念である。

【発明の効果】

【0022】

本発明によれば、ロボットに搭載された計測装置によって対象物を計測する際の計測パラメータを、従来に比して格段に簡略（手間の軽減、時間短縮、ロボット非依存等）に調整及び最適化することができる。これにより、対象物の計測時におけるロバスト性、対象物の操作の作業効率、及び、全体のスループットを向上させることができ、その結果、ユーザの利便性、及び、汎用性も格段に向上する。

【図面の簡単な説明】

【0023】

【図1】本実施形態に係る制御装置を備えるロボットシステムの適用場面の一例を模式的に示す平面図である。

【図2】本実施形態に係る制御装置を備えるロボットシステムの適用場面の一例を模式的に示す平面図である。

【図3】本実施形態に係る制御装置を備えるロボットシステムのハードウェアの構成の一例を模式的に示す平面図である。

【図4】本実施形態に係る制御装置を備えるロボットシステムの機能構成の一例を模式的に示す平面図である。

【図5】動作例に係る制御装置を備えるロボットシステムにおける処理手順の一例を示すフローチャートである。

【図6】動作例のステップＳ５０１におけるセンサ１の移動状態の概念を模式的に示す平面図である。

【図7】動作例のステップＳ５０２における第１データ、及び、ステップＳ５０３における第１データの一例を表形式で示す図である。

【図8】動作例のステップＳ５０４における第２データの一例を表形式で示す図である。

【図9】動作例のステップＳ５０４における第２データの一例を表形式で示す図である。

【図10】動作例のステップＳ５０４における第２データの一例を表形式で示す図である。

【図11】複数のワーク５（六角ボルト）について、センサ１を用いて実験的にステップＳ５０１乃至Ｓ５０４を実行して得た第２データの具体的な一例を表形式で示す図である。

【図12】図１１に示すデータセットの一例について、センサ１による複数のワーク５の撮影画像に、認識結果（輪郭線）を重ねて表示した平面図である。

【図13】図１１に例示した第２データを、認識数Ｚiが大きい順にデータをソートし、且つ、同じ認識数Ｚiのデータを、速度Ｖが大きい順にソートした図である。

【図14】図１１に例示した第２データを、認識数Ｚiが大きい順にデータをソートし、且つ、同じ認識数Ｚiのデータを、撮影枚数ｉが小さい順にソートした図である。

【図15】第４変形例における処理手順の一例を示すフローチャートである。

【図16】異なる形状の複数のワーク５を計測し、それらの撮像画像に、画像処理によるワーク５の位置姿勢の認識結果（輪郭線）を重ねて表示した平面図である。

【発明を実施するための形態】

【0024】

以下、本開示の一例に係る実施の形態（以下「実施形態」と表記する。）について、図面を参照して説明する。但し、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図ではない。すなわち、本開示の一例は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付しており、図面は模式的なものであって、必ずしも実際の寸法や比率等とは一致しない。さらに、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

【0025】

§１ 適用例
まず、図１及び図２を用いて、本開示の一例が適用される場面の一例について説明する。図１及び図２は、それぞれ、本実施形態に係る制御装置を備えるロボットシステムの適用場面の一例を模式的に示す平面図である。本実施形態に係るロボットシステム１００は、例えばビン等の収納容器６内にばら積みされた複数のワーク５を、ロボット１０により、収納容器６から取り出して他の収納容器７等へ移載し、整列させて配置する操作（図２の移動経路Ｐ１）、及び／又は、あるワーク５を移載し終えたロボット１０を、次のワーク５を取り出すために、収納容器６側へ復帰させる操作（図２の移動経路Ｐ２）を行うことができる。なお、ワーク５は、収納容器６内ではなく、例えば、テーブルや台等に平積みされていてもよい。また、ワーク５の種類は、特に制限されず、例えば、自動車のパワートレイン系（例えば、エンジン、又はトランスミッション等）の機械部品、又は電装系の電子部品等を挙げることができる。また、かかるロボットシステム１００は、ロボット１０の他、そのロボット１０に設けられたセンサ１（本開示における「計測装置」の一例）と、センサ１及びロボット１０に接続された制御装置４（本開示における「計測パラメータの最適化っ装置」の一例）を備える。

【0026】

センサ１は、ワーク５の位置情報（例えば３次元位置情報）を含む計測データを取得する３Ｄセンサであり、ロボット１０のロボットアーム３の先端部に設置されていて、図１（Ａ）及び（Ｂ）に示すように、ワーク５を所定の視野（角）で且つ所定の計測パラメータで撮像する。かかるセンサ１は、例えば、点群を計測する距離センサであり、或いは、距離センサと２次元センサとを組み合わせて距離画像を取得する距離画像センサでもよい。距離センサは、奥行情報としての距離ｄを計測するセンサである。２次元センサは、２次元の画像を撮影するイメージセンサであり、２次元の画像は、距離ｄを画素値としない点において距離画像とは異なる。距離画像センサは、例えば、２次元センサの撮影位置を変えながらワーク５の複数の２次元の画像を撮影し、ステレオ立体視の画像処理により、距離ｄを画素値とする距離画像を取得するカメラでもよい。または、距離画像センサは、ワーク５を複数の異なる方向から同時に撮影することにより、距離ｄを画素値とする距離画像を取得するステレオカメラでもよい。

【0027】

また、センサ１は、必須ではないが、必要に応じて、適宜の計測光（例えば、アクティブ方式で用いられるパターン光やスキャン光等）を含むいわゆる３Ｄ用照明や、通常の照明であるいわゆる２Ｄ用照明をワーク５へ投射するプロジェクタ（図示せず）を有していてもよい。かかるプロジェクタの構成も特に制限されず、例えば、パターン光を投射するものの場合、レーザ光源、パターンマスク、及びレンズを備える構成を例示することができる。レーザ光源から出射された光は、所定のパターンが形成されたパターンマスクによって所定のパターンを有する計測光（パターン光）に変換され、レンズを介してワーク５へ投射される。

【0028】

この「所定のパターン」としては、特に制限されず、例えばアクティブワンショット方式で用いられる種々のパターンを例示することができる。より具体的には、例えば、複数のラインが所定の間隔で２次元に配置されたいわゆるラインベースのパターン、互いに区別可能な複数種類の単位画像、単位図形、幾何学形状等が２次元に配置（規則的でもランダムでもよく、規則的な部分とランダムな部分が混合又は重畳されていてもよい。）されたいわゆるエリアベースのパターン、縦横ラインのグリッドにグラフシンボル等が配置されたいわゆるグリッドグラフベースのパターン等が挙げられる。なお、各所定のパターンは、エンコード用に、例えばラインや単位図形を区別するためのＩＤ情報を含んでいてもよい。

【0029】

また、ワーク５の計測方式としては、特に制限されず、例えば、光の直進性を用いる種々のアクティブ計測方式（例えば、三角測距を基本原理とする空間コード化パターン投影方式、時間コード化パターン投影方式、モアレトポグラフィ方式等）、光の直進性を用いる種々のパッシブ計測方式（例えば、三角測距を基本原理とするステレオカメラ方式、視体積交差方式、因子分解方式等、同軸測距を基本原理とするDepth from focusing方式等）、及び、光の速度を用いる種々のアクティブ計測方式（例えば、同時測距を基本原理とする飛行時間方式（Time of Flight）、レーザースキャン方式等）を適宜選択して用いる
ことができる。

【0030】

ワーク５の計測データとしては、それらの種々の計測方式で取得される画像データ（例えば３次元点群データや距離画像等）、また、ワーク５の３次元モデルデータと照合することが可能な適宜のデータ等を例示できる。ここで、ワーク５の３次元モデルデータとしては、例えば、３次元座標データ、その３次元座標データをワーク５の種々の異なる位置姿勢に対応して２次元投影した２次元座標データ、その他適宜のテンプレートやパターンに対応するデータ等が挙げられる。なお、ワーク５の認識において、３次元モデルデータとの照合は必須ではなく、モデルデータを用いない（いわゆるモデルレス）認識も適用可能である。

【0031】

ロボット１０は、例えば、ワーク５を操作（例えば、把持、吸着、移動、組み立て、又は挿入等）するためのハンド２と、そのハンド２が先端部に設けられたロボットアーム３を備える多関節ロボット（例えば、垂直多関節ロボット、水平多関節ロボット）である。ロボット１０の各関節には、関節を駆動するためのサーボモータ等の駆動装置と、関節の変位（角度変位）を検出するためのエンコーダ等の変位検出装置が組み込まれている。また、ロボット１０は、自律的に動作するマニピュレータとして動作し、例えば、ワーク５のピッキング、組み立て、搬送、塗装、検査、研磨、又は洗浄等の様々な用途に用いることができる。

【0032】

ハンド２は、エンドエフェクタの一例であり、個々のワーク５を把持し且つ解放（掴み且つ離す）動作が可能な把持機構を有する。ロボットアーム３は、ハンド２を収納容器６内のワーク５の把持位置（ピックアップ位置）へ移動し、且つ、ワーク５を把持したハンド２をその把持位置から他の収納容器７における解放位置（ドロップ位置）へと移動するための駆動機構を有する。

【0033】

制御装置４は、センサ１及びロボット１０のそれぞれに接続されており、センサ１によるワーク５の計測処理、ハンド２によるワーク５の操作処理、ロボット１０（ハンド２及びロボットアーム３等）の駆動処理の他、ロボットシステム１００において必要とされる種々の動作や演算に関する処理を制御する。また、制御装置４は、ロボットシステム１００の実稼働に先立って、センサ１により複数のワーク５を計測するときの計測パラメータの最適化を実行する。

【0034】

この最適化処理では、まず、（１）複数のワーク５の位置姿勢をより詳細に計測評価することが可能な第１計測パラメータを設定し、その条件でセンサ１を移動させながら、想定される複数のワーク５（例えば、収納容器６内にばら積みされた複数のワーク５）を複数回撮影する。次に、（２）得られた複数枚数Ｎの撮影画像から選択された異なる枚数ｉの撮影画像を用いた画像処理を行って、ワーク５の認識の正確さを示す評価値Ｚi（例えば、認識されたワーク５の数）を取得し、その評価値Ｚiを第１計測パラメータとともに第１データとして記憶する。次に、（３）センサ１の移動速度以外の条件が第１計測パラメータと異なる第２計測パラメータで複数のワーク５を撮影し、且つ、上記の画像処理と同等の処理を行ったと仮定した場合のワーク５の認識の正確さを示す評価値Ｚi（例えば、認識されたワーク５の数）を推定し、その評価値Ｚiを第２計測パラメータとともに第１データとして記憶する。

【0035】

さらに、（４）上述のステップ（２）及び（３）のうち何れか一方又は両方で得られた第１データを用いて、第１計測パラメータ及び第２計測パラメータとは異なる第３計測パラメータで、複数のワーク５を撮影し、且つ、上記の画像処理と同等の処理を行ったと仮定した場合のワーク５の認識の正確さを示す評価値Ｚi（例えば、認識されたワーク５の数）を推定し、その評価値Ｚiを第３計測パラメータとともに第２データとして記憶する。そして、（５）得られた第２データのなかから、所定の判定基準（例えば、所定の評価値以上であり、且つ、計測時間、移動速度、及び撮影枚数のうちの少なくとも何れかの基準）を満たすデータの計測パラメータを少なくとも１つ選定し、それらのなかから、例えばユーザが所望の計測パラメータを、ロボットシステム１００の実稼働時における最適化計測パラメータとして決定する。

【0036】

かかる本適用例の制御装置４、及び、それを備えるロボットシステム１００、並びに、それらにおいて実施される計測パラメータの最適化方法によれば、基本となる第１計測パラメータを用いて、ロボットシステム１００の実稼働前に実施した複数のワーク５の撮影及び画像処理結果に基づいて、計測パラメータを異なる条件へ変更した場合の複数のワーク５の認識結果を推定することができる。よって、計測パラメータとして想定され得る条件の全ての組み合わせについて事前計測を行うことなく、想定されるワーク５の種類毎に、実稼働前に一度だけ詳細な事前計測を行うだけで、センサ１による計測パラメータの最適化を行うことができる。また、ロボット１０が変更になった場合でも、センサ１を搭載したあるロボット１０について予め取得しておいた第１データ乃至第２データのパラメータセットを活用することにより、変更後の異なるロボットによる複数のワーク５の操作時における計測パラメータを、新たな事前計測を行うことなく最適化することができる。

【0037】

以上のことから、本開示によれば、種々のロボット１０を備えるロボットシステム１００により種々の複数のワーク５を操作するタスクにおけるセンサ１による計測パラメータの最適化を、従来に比して格段に簡略化（手間の軽減、時間短縮、ロボット非依存等）することができる。これにより、複数のワーク５の計測時におけるロバスト性、複数のワーク５の操作における作業効率、及び、全体のスループットを向上させることが可能となり、その結果、ユーザの利便性、及び、汎用性も格段に向上する。

【0038】

§２ 構成例
［ハードウェア構成］
次に、図３を用いて、本実施形態に係るロボットシステム１００のハードウェア構成の一例について説明する。図３は、本実施形態に係る制御装置４を備えるロボットシステム１００のハードウェアの構成の一例を模式的に示す平面図である。図３の例でも、ロボットシステム１００は、図１及び図２に例示したセンサ１、ハンド２及びロボットアーム３を有するロボット１０、並びに、制御装置４を備える。ここで、制御装置４は、制御演算部４１、通信インタフェース（Ｉ／Ｆ）部４２、記憶部４３、入力部４４、及び出力部４５を含み、各部はバスライン４６を介して相互に通信可能に接続され得る。

【0039】

制御演算部４１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御及び各種演算を行う。

【0040】

通信Ｉ／Ｆ部４２は、例えば、有線又は無線により他の構成要素である「部」及び「装置」と通信するための通信モジュールである。通信Ｉ／Ｆ部４２が通信に用いる通信方式は任意であり、例えば、ＬＡＮ（Local Area Network）やＵＳＢ（Universal Serial Bus）等が挙げられ、バスライン４６と同等の適宜の通信線を適用することもできる。センサ１、ハンド２、及びロボットアーム３ともに、通信Ｉ／Ｆ部４２を介して、制御演算部４１等と通信可能に設けることが可能である。

【0041】

記憶部４３は、例えばハード・ディスク・ドライブ（ＨＤＤ）、ソリッド・ステート・ドライブ（ＳＳＤ）等の補助記憶装置であり、制御演算部４１で実行される各種プログラム（前記（１）乃至（７）に示す処理を含む各種処理を実行するための演算プログラム、並びに、センサ１、ハンド２、及びロボットアーム３のそれぞれの動作の制御処理を行うための制御プログラム等）、センサ１から出力される計測データ、計測パラメータ、認識パラメータ、及び種々の算出パラメータを含むデータベース、各種演算結果及び算出結果のデータ、複数のワーク５の各々の位置姿勢認識結果に関するデータ、各ワーク５のピッキング状況やピッキング記録に関するデータ、ワーク５の３次元モデルデータ、複数のワーク５を含み得る計測エリアに関するデータ、その計測エリアを計測するセンサ１の位置姿勢の設定データ等を記憶する。このとおり、記憶部４３に記憶された演算プログラム及び制御プログラムが制御演算部４１で実行されることにより、後述する機能構成例における各種処理機能が実現される。

【0042】

入力部４４は、ロボットシステム１００を利用するユーザからの各種入力操作を受け付けるためのインタフェースデバイスであり、例えば、マウス、キーボード、タッチパネル、音声マイク等で実現し得る。出力部４５は、ロボットシステム１００を利用するユーザ等へ、各種情報を、その表示、音声出力、印刷出力等により報知するためのインタフェースデバイスであり、例えば、ディスプレイ、スピーカ、プリンタ等で実現し得る。

【0043】

［機能構成］
次に、図４を用いて、本実施形態に係る物体認識処理装置を備えるロボットシステム１００の機能構成の一例を説明する。図４は、本実施形態に係る制御装置４を備えるロボットシステム１００の機能構成の一例を模式的に示す平面図である。

【0044】

図４に示すロボットシステム１００の制御演算部４１は、記憶部４３に記憶された各種プログラム（制御プログラム及び演算プログラム等）をＲＡＭに展開する。そして、制御演算部４１は、ＲＡＭに展開された各種プログラムをＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、本実施形態に係るロボットシステム１００は、前述の如く、収納容器６内にばら積みされた複数のワーク５を取り出して他の収納容器７等へ移載し、整列させて配置する操作（図２の移動経路Ｐ１）、及び／又は、あるワーク５を移載し終えたロボット１０を、次のワーク５を取り出すために、収納容器６側へ復帰させる操作（図２の移動経路Ｐ２）を行うことができる。また、そのようなロボットシステム１００の実稼働に先立って、センサ１により複数のワーク５を計測するときの計測パラメータの最適化を実行するために、以下に示す各ステップの処理を実行可能な機能部として、センサ制御部４０１、ロボット制御部４０２、撮像画像取得部４１０、第１データ取得部４１１、第２データ取得部４１２、第３データ取得部４１３、最適化パラメータ決定部４１４を備える構成を、制御演算部４１によって実現し得る。

【0045】

なお、本実施形態では、ロボットシステム１００に備わる制御装置４で実現される各機能が汎用のＣＰＵによって実現される例について説明したが、以上の機能の一部又は全部が、１つ又は複数の専用のプロセッサによって実現されてもよい。また、ロボットシステム１００に備わる制御装置４の機能構成は、実施形態や構成例に応じて、適宜、機能の省略、置換、及び追加が行われてももちろんよい。また、「制御装置」とは、一般的な情報処理装置（例えば、コンピュータ、ワークステーション等）と解することができる。

【0046】

§３ 動作例
次に、図５を用いて、ロボットシステム１００の動作の一例として、ロボットシステム１００の実稼働に先立って、センサ１により複数のワーク５を計測するときの計測パラメータの最適化を実行する手順の一例について説明する。すなわち、図５は、本動作例に係る制御装置４を備えるロボットシステム１００における処理手順の一例を示すフローチャートであり、ロボットシステム１００の計測パラメータの最適化方法における処理手順の一例を示すフローチャートでもある。なお、以下で説明する処理手順は例示に過ぎず、各処理は、本開示の技術思想の範囲内において可能な限り変更されてよい。また、以下で説明する処理手順は、実施形態や各構成例に応じて、適宜、ステップの省略、置換、及び追加が可能である。

【0047】

まず、ロボットシステム１００のユーザは、ロボットシステム１００を起動し、各種プログラム（演算プログラム、制御プログラム、計測パラメータの最適化等）を実行可能な状態とする。それから、制御装置４における制御演算部４１（少なくとも１つのプロセッサ）は、以下の処理手順に従って、センサ１及びロボット１０のそれぞれの動作を制御し、且つ、制御装置４における各機能部による演算処理を行う。

【0048】

（ステップＳ５０１：第１ステップ）
ステップＳ５０１では、まず、第１計測パラメータとして、ロボット１０（のロボットアーム３）によるセンサ１の移動経路Ｐ０、並びに、移動の速度Ｖ、時間間隔Ｔ、及び合計移動角度θを設定する。ここで、図６は、ステップＳ５０１におけるセンサ１の移動状態の概念を模式的に示す平面図である。同図に示す如く、移動経路Ｐ０は、例えば、容器６内にばら積みされた複数のワーク５のほぼ体積中心である座標Ｇ0を中心とする弧状を成すように設定され得る。なお、センサ１の移動の軌跡は、弧状（一定の曲率を有する形状）に限定されず、例えば、直線状、非直線状、曲率が変化する形状等であってもよく、また、座標Ｇ0を変動させてもよい。さらに、ここで実験的に用いる複数のワーク５は、ロボットシステム１００の実稼働時の操作対象と同じ種類のものを選択する。

【0049】

速度Ｖは、特に制限されず、例えば、センサ１の移動速度として実現し得る速度範囲における任意の値を設定することができ、より遅い速度であると、より多くの詳細な撮影画像を取得することができる観点から好適である。さらに、時間間隔Ｔは、特に制限されず、例えば、センサ１の撮影間隔として実現し得る間隔範囲における任意の値を設定することができ、特に最小時間間隔であると、より多くの詳細な撮影画像を取得することができる観点から好適である。また、合計移動角度θは、特に制限されず、例えば、センサ１の可動範囲の最大距離に対応する角度を設定することができる。

【0050】

これらの速度Ｖ、時間間隔Ｔ、及び合計移動角度θから、第１計測パラメータによる複数のワーク５の撮影における撮影枚数Ｎ＝θ／Ｖ／Ｔ、及び、毎回移動角度（時間間隔Ｔ毎の移動角度）μ＝Ｖ×Ｔが求まり、ロボット制御部４０２の指令により、この条件でセンサ１を弧状に移動経路Ｐ０に沿って移動させながら、センサ制御部４０１の指令により、容器６内の複数のワーク５を複数回撮影し、複数枚数Ｎの撮影画像を取得する。すなわち、本ステップでは、図６に示すように、ばら積みされた複数のワーク５に対して異なる仰角で対向したセンサ１（センサ１の位置Ｐ1，Ｐ2，…，ＰN-1，ＰN、隣り合うセンサ位置の角度が毎回移動角度μとなる。）によって、Ｎ回の撮影が行われ、複数枚数Ｎの撮影画像が取得される。

【0051】

（ステップＳ５０２：第２ステップ（１））
ステップＳ５０２では、第１データ取得部４１１により、得られた複数枚数Ｎの撮影画像から、順次、異なる枚数ｉの撮影画像を抽出して画像処理を行い、ワーク５の認識の正確さを示す評価値Ｚi（例えば、認識されたワーク５の数）を順次取得する。ここで、枚数ｉ＝１，２，…，Ｎ－１，Ｎ（すなわち、ｉは１～Ｎの整数）であり、具体的には、例えば、１枚目の撮影画像（センサ１の初期の位置Ｇ1）で画像処理を行い（ｉ＝１）、次に、センサ位置が互いに隣接する１枚目と２枚目の撮影画像（センサ１の初期の位置Ｇ1及び次の位置Ｇ2）を用いて画像処理を行う（ｉ＝２）。そして、このような処理をｉ＝Ｎまで順次繰り返し実行し（センサ１の位置Ｇi乃至位置ＧN）、各撮影枚数ｉについて得られた評価値Ｚiを、第１計測パラメータに関連付け、第１データとして記憶部４３に記憶する。

【0052】

（ステップＳ５０３：第２ステップ（２））
ステップＳ５０３では、第１データ取得部４１２により、まず、第２計測パラメータとして、ロボット１０（のロボットアーム３）によるセンサ１の移動経路Ｐ０、並びに、移動の速度Ｖ、時間間隔Ｔ×ｊ（ｊ：２以上の整数）、及び合計移動角度θを設定する。すなわち、第２計測パラメータでは、センサ１による計測の時間間隔を、第１計測パラメータにおける時間間隔の整数倍となるように種々変化させる。但し、ステップＳ５０３では、その第２計測パラメータで実際の計測を行うのではなく、ステップＳ５０１で得られた複数枚数Ｎの撮影画像を用いて、その第２計測パラメータで複数のワーク５を撮影し、且つ、ステップＳ５０２における画像処理と同等の処理を行ったと仮定した場合の、各撮影枚数ｉにおけるワーク５の認識の正確さを示す評価値Ｚi（例えば、認識されたワーク５の数）を推定する。そして、各ｊのときの各撮影枚数ｉについて得られた評価値Ｚiを、第２計測パラメータに関連付け、これを第１データとして記憶部４３に記憶する。

【0053】

なお、ステップＳ５０２の処理は、ステップＳ５０３において、ｊ＝１としたときの処理と同じであるから、説明の便宜上、ステップＳ５０２，５０３で得られるデータを「第１のデータ」と呼ぶ。但し、第１のデータを取得する上で、ステップＳ５０２，５０３の両方のステップは、必ずしも実行する必要はなく、何れか一方のステップを実行すればよい。また、ステップＳ５０２，５０３の両方のステップが実行される場合は、何れか一方のステップを先に実行し、他方のステップを後に実行すればよく、その実行順は特定に限定されない。

【0054】

また、上述の説明では、ステップＳ５０３において、速度Ｖを一定値に固定し、時間間隔Ｔを変えることで、撮影画像が均等に間引かれた画像セットの様々なバリエーションを生成する例を示したが、時間間隔Ｔを一定値に固定し、速度Ｖを変えることで、撮影画像が均等に間引かれた画像セットの様々なバリエーションを生成してもよい。

【0055】

ここで、図７は、ステップＳ５０２（第２ステップ（１））における第１データ、及び、ステップＳ５０３（第２ステップ（２））における第１データの一例を表形式で示す図である。図７（Ａ）に示すデータセットは、ステップＳ５０２で取得された第１データに相当し、この第１データは、計測時の時間間隔Ｔ＝０．０１（ｓｅｃ）、撮影枚数Ｎ＝１２０、及び、毎回移動角度μ（＝θ／（１２０－１））の例であり、評価値Ｚi（ｉ＝１～１２１）のデータが取得される。すなわち、ここでは、合計移動角度θが１１９分割され、１２０回の撮影が行われる。

【0056】

また、図７（Ｂ）乃至（Ｄ）に示すデータセットは、ステップＳ５０３で取得された第１データに相当する。図７（Ｂ）に示すデータセットは、ｊ＝２の例であり、計測時の時間間隔Ｔ×２＝０．０２（ｓｅｃ）、撮影枚数Ｎ＝６０、及び、毎回移動角度μ×２となる。よって、ステップＳ５０２で取得された第１データにおける撮影枚数ｉ＝１，３，５，…，１１７，１１９のときの評価値Ｚiのデータを、ｊ＝２のときの各撮影枚数ｉの評価値Ｚi（ｉ＝１～６０）のデータとして、それぞれ割り当てることができる。

【0057】

また、図７（Ｃ）に示すデータセットは、ｊ＝４の例であり、計測時の時間間隔Ｔ×４＝０．０４（ｓｅｃ）、撮影枚数Ｎ＝３１、及び、毎回移動角度μ×４となる。よって、ステップＳ５０２で取得された第１データにおける撮影枚数ｉ＝１，５，９，…，１１３，１１７のときの評価値Ｚiのデータを、ｊ＝４のときの各撮影枚数ｉの評価値Ｚi（ｉ＝１～３０）のデータとして割り当てることができる。そして、図７（Ｄ）は、「ｊ」について、一般化した場合のデータセットを示す。

【0058】

（ステップＳ５０４：第３ステップ）
ステップＳ５０４では、第２データ取得部４１３により、まず、第３計測パラメータとして、ロボット１０（のロボットアーム３）によるセンサ１の移動経路Ｐ０、並びに、移動の速度Ｖ×ｋ（ｋ：２以上の整数）、時間間隔Ｔ×ｊ／ｋ、及び合計移動角度θを設定する。すなわち、第３計測パラメータにおけるセンサ１の速度を、第１計測パラメータにおけるセンサ１の速度のｋ倍に設定し、第３計測パラメータにおけるセンサ１による計測の時間間隔を、第１計測パラメータにおけるセンサ１による計測の時間間隔の（１／ｋ）倍に設定する。但し、ステップＳ５０４でも、その第３計測パラメータで実際の計測を行うのではなく、基本データである第１データを用いて、その第２計測パラメータで複数のワーク５を撮影し、且つ、ステップＳ５０２における画像処理と同等の処理を行ったと仮定した場合の、各撮影枚数ｉにおけるワーク５の認識の正確さを示す評価値Ｚi（例えば、認識されたワーク５の数）を推定する。そして、各ｊ及び各ｋのときの各撮影枚数ｉについて得られた評価値Ｚiを、第３計測パラメータに関連付け、第２データとして記憶部４３に記憶する。

【0059】

ここで、図８乃至図１０は、ステップＳ５０４（第３ステップ）における第２データの一例を表形式で示す図である。

【0060】

図８（Ａ）乃至（Ｄ）に示すデータセットは、センサ１の速度Ｖをｋ＝２倍した場合の図７（Ａ）乃至（Ｄ）に相当するものである。図８（Ａ）に示すデータセットは、ｋ＝２及びｊ＝１の例であり、計測時の時間間隔Ｔ×１＝０．０１（ｓｅｃ）、撮影枚数Ｎ＝６０、及び、毎回移動角度μ×１×２となる。よって、第１データにおける撮影枚数ｉ＝１，３，５，…，１１７，１１９のときの評価値Ｚiのデータを、ｋ＝２及びｊ＝１のときの各撮影枚数ｉの評価値Ｚi（ｉ＝１～６０）のデータとして、それぞれ割り当てることができる。

【0061】

図８（Ｂ）に示すデータセットは、ｋ＝２及びｊ＝２の例であり、計測時の時間間隔Ｔ×２＝０．０２（ｓｅｃ）、撮影枚数Ｎ＝３０、及び、毎回移動角度μ×２×２となる。よって、第１データにおける撮影枚数ｉ＝１，５，９，…，１１３，１１７のときの評価値Ｚiのデータを、ｋ＝２及びｊ＝２のときの各撮影枚数ｉの評価値Ｚi（ｉ＝１～３０）のデータとして、それぞれ割り当てることができる。

【0062】

図８（Ｃ）に示すデータセットは、ｋ＝２及びｊ＝４の例であり、計測時の時間間隔Ｔ×４＝０．０４（ｓｅｃ）、撮影枚数Ｎ＝１５、及び、毎回移動角度μ×４×２となる。よって、第１データにおける撮影枚数ｉ＝１，９，１７，…，１０５，１１３のときの評価値Ｚiのデータを、ｋ＝２及びｊ＝４のときの各撮影枚数ｉの評価値Ｚi（ｉ＝１～１５）のデータとして、それぞれ割り当てることができる。そして、図８（Ｄ）は、「ｋ＝２」及び「ｊ」について、一般化した場合のデータセットを示す。

【0063】

また、図９（Ａ）乃至（Ｄ）に示すデータセットは、センサ１の速度Ｖをｋ＝３倍した場合の図７（Ａ）乃至（Ｄ）に相当するものである。図９（Ａ）に示すデータセットは、ｋ＝３及びｊ＝１の例であり、計測時の時間間隔Ｔ×１＝０．０１（ｓｅｃ）、撮影枚数Ｎ＝４０、及び、毎回移動角度μ×１×３となる。よって、第１データにおける撮影枚数ｉ＝１，４，７，…，１１５，１１８のときの評価値Ｚiのデータを、ｋ＝３及びｊ＝１のときの各撮影枚数ｉの評価値Ｚi（ｉ＝１～４０）のデータとして、それぞれ割り当てることができる。

【0064】

図９（Ｂ）に示すデータセットは、ｋ＝３及びｊ＝２の例であり、計測時の時間間隔Ｔ×２＝０．０２（ｓｅｃ）、撮影枚数Ｎ＝２０、及び、毎回移動角度μ×２×３となる。よって、第１データにおける撮影枚数ｉ＝１，７，１３，…，１１５，１２１のときの評価値Ｚiのデータを、ｋ＝３及びｊ＝２のときの各撮影枚数ｉの評価値Ｚi（ｉ＝１～２０）のデータとして、それぞれ割り当てることができる。

【0065】

図９（Ｃ）に示すデータセットは、ｋ＝３及びｊ＝４の例であり、計測時の時間間隔Ｔ×４＝０．０４（ｓｅｃ）、撮影枚数Ｎ＝１０、及び、毎回移動角度μ×４×３となる。よって、第１データにおける撮影枚数ｉ＝１，１３，２５，…，９７，１０９のときの評価値Ｚiのデータを、ｋ＝３及びｊ＝４のときの各撮影枚数ｉの評価値Ｚi（ｉ＝１～１０）のデータとして、それぞれ割り当てることができる。そして、図９（Ｄ）は、「ｋ＝３」及び「ｊ」について、一般化した場合のデータセットを示す。さらに、図１０（Ａ）乃至（Ｄ）に示すデータセットは、「ｋ」について、一般化した場合のデータセットを示し、特に、図１０（Ｄ）は、「ｋ」及び「ｊ」の両方について、一般化した場合のデータセットを示す。

【0066】

（ステップＳ５０５：第４ステップ）
ステップＳ５０５では、最適化パラメータ決定部４１４により、得られた第２データのなかから、所定の判定基準を満たすデータの計測パラメータを少なくとも１つ選定し、それらのなかから、例えばユーザが所望の計測パラメータを、ロボットシステム１００の実稼働時における最適化計測パラメータとして決定する。ここで、図１１は、あるロボットシステム１００を用い、ばら積みした２０個のワーク５としての六角ボルトについて、センサ１を用いて実験的にステップＳ５０１乃至Ｓ５０４を実行して得た第２データの具体的な一例を表形式で示す図である。なお、図示においては、センサ１の移動の速度Ｖを、そのロボットシステム１００で実現し得る最大速度に対する割合（％）で表示する。なお、同図における「所要時間Ｈ」は、厳密には、時間間隔Ｔと撮影枚数Ｎのみに依存するのではなく、センサ１で撮影した画像の制御演算部４１（コンピュータ）への転送時間、及び、複数枚の３Ｄ点群データの合成時間等を含めた合計時間で表されるが、ここでは、説明の便宜のため、所要時間Ｈ＝時間間隔Ｔ×撮影枚数ｉとして計算した。さらに、同図には、評価値Ｚiとしてのワーク５の認識数が１７個以上のもののみを図示した。

【0067】

また、図１２は、図１１に示すデータセットの一例について、センサ１による２０個のワーク５の撮影画像に、認識結果（輪郭線）を重ねて表示した平面図である。例えば、図１２（Ａ）は、速度Ｖ＝７０％、間間間隔Ｔ＝０．０５（ｓｅｃ）、撮影枚数ｉ＝５、及び、評価値Ｚiとしてのワーク５の認識数＝１９個の結果を示し、図の下方に記載した「７０％＿０．０５＿５＿１９」が、それらの条件と結果を示す。なお、図１２（Ｂ）乃至（Ｄ）についても同様である。また、図１２（Ｃ）では、図示において輪郭線が認識されたワーク５の数が１７個であるが、認識結果の信頼度を調整することにより、１８個の認識が可能と判断されたので、最終的な評価値Ｚiとしてのワーク５の認識数＝１８個とした。逆に、図１２（Ｄ）では、図示において輪郭線が認識されたワーク５の数が１９個であるが、認識結果の信頼度を調整した結果、１８個の認識が可能と判断されたので、最終的な評価値Ｚiとしてのワーク５の認識数＝１８個とした。

【0068】

ステップＳ５０５では、所定の判定基準を、例えば、ワーク５の評価値Ｚiが所定の評価値ＺB以上であることとし、図１１では、評価値Ｚiが大きい順にデータをソートし、且つ、同じ評価値Ｚiのデータは、所要時間Ｈが小さい順にソートした。例えば、判定用の所定の評価値ＺBとしての認識数＝１９個（認識率＝１９個／２０個＝９５％）と設定した場合には、図１１において評価値Ｚi＝１９個の複数のデータセットに対応する計測パラメータのなかから、例えばユーザが所望のものを適宜選択して、ロボットシステム１００の実稼働時の最適化計測パラメータとして決定することができる。これは、判定用の所定の評価値ＺBとしての認識数＝１７個や１８個の場合も同様である。

【0069】

（ステップＳ５０６）
ステップＳ５０６では、ステップＳ５０５で決定した最適化計測パラメータを用いて、ロボットシステム１００を実稼働させ、複数のワーク５の操作処理を実施する。

【0070】

§４ 作用・効果
以上のとおり、本実施形態に係るロボットシステム１００の制御装置４、及び、それを用いた計測パラメータの最適化方法の一例によれば、ロボットシステム１００の実稼働前に予め取得した基本データである第１データに基づいて、計測パラメータを異なる条件（第２計測パラメータ、第３計測パラメータ）へ変更した場合に、その変更後のパラメータによる実際の計測を行うことなく、複数のワーク５の認識結果を推定することができる。よって、計測パラメータとして想定され得る条件の全ての組み合わせについて事前計測を行う必要がなくなり、想定されるワーク５の種類毎に、実稼働前に一度だけ詳細な事前計測を行うだけで、センサ１による計測パラメータの最適化を行うことができる。

【0071】

また、ロボット１０が変更になった場合でも、センサ１を搭載したあるロボット１０について予め取得しておいた第１データ乃至第２データのパラメータセット中に、変更後のロボット１０の特性（機構パラメータ）に応じた条件（具体的には、センサ１の移動速度Ｖと時間間隔Ｔ）が含まれていれば、その条件に対応する第１データ乃至第２データのなかから、所定の判定基準を満たすデータの計測パラメータを選定し、変更後の異なるロボットによる複数のワーク５の操作時における最適化計測パラメータとして決定することができる。

【0072】

或いは、第１データ乃至第２データのパラメータセット中に、変更後のロボット１０の特性に応じた条件が含まれていれば、その条件における結果を、変更後のロボット１０についての基本データ（第１データ）として用いることができる。そして、その基本データを使用して、上記の第２ステップ乃至第４ステップと同様の処理を実行することにより、変更後のロボット１０を含むロボットシステム１００について、新たな事前計測を行うことなく、計測パラメータの最適化を行うことができる。

【0073】

以上のことから、本開示によれば、種々のロボット１０を備えるロボットシステム１００により種々の複数のワーク５を操作するタスクにおけるセンサ１による計測パラメータの最適化を、従来に比して格段に簡略化（手間の軽減、時間短縮、ロボット非依存等）することができる。これにより、複数のワーク５の計測時におけるロバスト性、複数のワーク５の操作における作業効率、及び、全体のスループットを向上させることが可能となり、その結果、ユーザの利便性、及び、汎用性も格段に向上させることができる。また、上記ステップＳ５０５のとおり、所定の認識数ＺBをより大きく設定することにより、ロバスト性を更に向上させることができ、計測精度の向上を優先する場合に有利となる。

【0074】

§５ 変形例
以上、本開示の一例としての実施形態について詳細に説明してきたが、前述した説明はあらゆる点において本開示の一例を示すに過ぎず、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもなく、例えば、以下に示すような変更が可能である。なお、以下の説明においては、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、説明を適宜省略した。また、上記実施形態及び以下の各変形例は、適宜組み合わせて構成することが可能である。

【0075】

上述の実施形態では、ワーク５の認識の正確さを示す評価値Ｚiとして、ワーク５の認識数を例示したが、これに限られるものではない。例えば、ワーク５の認識処理の結果得られた３次元の点群データの有効数を評価値Ｚiとしてもよい。或いは、ワーク５の既知の３次元情報（例えば、３次元ＣＡＤ（Computer Aided Design）データ）と、ワーク５の認識処理の結果得られた形状情報との一致の度合いを評価値Ｚiとしてもよい。

【0076】

上述の実施形態では、第３計測パラメータにおけるセンサ１の速度を、第１計測パラメータにおけるセンサ１の速度のｋ倍に設定し、第３計測パラメータにおけるセンサ１による計測の時間間隔を、第１計測パラメータにおけるセンサ１による計測の時間間隔の（１／ｋ）倍に設定する例を示したが、これに限られるものではない。例えば、第１計測パラメータにおけるセンサ１の速度をＶ１とし、第３計測パラメータにおけるセンサ１の速度をＶ２とし、第１計測パラメータにおけるセンサ１による計測の時間間隔をＴ１とし、第３計測パラメータにおけるセンサ１による計測の時間間隔をＴ２とする。この場合、（Ｖ２×Ｔ２）が（Ｖ１×Ｔ１）の整数倍であれば、第１データの検証結果は、第２データの検証結果を含むため、本実施形態に関わる計測パラメータの最適化方法を適用することができる。

【0077】

上述の実施形態では、Ｖ２及びＴ２は、センサ１の移動経路において常に一定であることを前提としているが、これに限られるものではない。例えば、センサ１の移動経路を複数の区間に分割し、それぞれの区間においてＶ２及びＴ２が一定であればよく、異なる区間の間でＶ２及びＴ２は必ずしも同じである必要はない。

【0078】

＜５．１：第１変形例＞
第１変形例では、所定の判断基準を、ワーク５の認識の正確さを示す評価値Ｚiとしての認識数が所定の認識数ＺB以上であり、且つ、センサ１の移動の速度Ｖがより速いこととする。ここで、図１３は、図１１に例示した第２データを、評価値Ｚiが大きい順にデータをソートし、且つ、同じ評価値Ｚiのデータを、速度Ｖが大きい順にソートしなおした図である。同図によれば、認識数ＺB＝１９個、及び、速度Ｖが最大（８０％）となる計測パラメータは、４セット存在し、認識数ＺB＝１８個、及び、速度Ｖが最大（９０％）となる計測パラメータは、６セット存在し、認識数ＺB＝１７個、及び、速度Ｖが最大（９０％）となる計測パラメータは、１セット存在することが確認された。最適化計測パラメータは、所望の認識数ＺBに応じて、これらの中から、適宜選択することができる。このとおり、所定の判断基準として、ワーク５の所定の認識数ＺBに加えて、センサ１の速度Ｖがより速いことを加えることにより、所望の認識数ＺBを満たしつつ、センサ１の移動時の速度Ｖを優先する場合に有利となる。

【0079】

＜５．２：第２変形例＞
第２変形例では、所定の判断基準を、ワーク５の認識の正確さを示す評価値Ｚiとしての認識数が所定の認識数ＺB以上であり、且つ、複数のワーク５の撮影枚数ｉがより少ないこととする。ここで、図１４は、図１１に例示した第２データを、認識数Ｚiが大きい順にデータをソートし、且つ、同じ認識数Ｚiのデータを、撮影枚数ｉが小さい順にソートしなおした図である。同図によれば、認識数ＺB＝１９個、及び、撮影枚数ｉが最小（４枚）となる計測パラメータは、センサ１の速度Ｖ＝７０％、時間間隔Ｔ＝０．０６ｓｅｃ、及び、撮影枚数ｉ＝４であり、これを最適化パラメータとして決定することができる。また、図１４において、認識数ＺB＝１８個、及び、撮影枚数ｉが最小（４枚）となる計測パラメータは、６セット存在し、認識数ＺB＝１７個、及び、撮影枚数ｉが最小（３枚）となる計測パラメータは、４セット存在することが確認された。このとおり、所定の判断基準として、ワーク５の所定の認識数ＺBに加えて、撮影枚数ｉがより少ないことを加えることにより、所望の認識数ＺBを満たしつつ、撮影枚数ｉの低減を優先する場合に有利となる。

【0080】

＜５．３：第３変形例＞
第３変形例では、第１計測パラメータによる複数のワーク５のセンサ１による撮影を、複数回実施し、各撮影について取得した各撮影枚数ｉの認識数Ｚiの平均値を、第１計測パラメータに関連付けて第１データとして記憶する。この場合、センサ１の位置姿勢、センサ１の移動経路Ｐ０、複数のワーク５のばら積み状態等を不作為（ランダム）に変更するようにしてもよい。ここで、図１５は、第４変形例における処理手順の一例を示すフローチャートである。

【0081】

すなわち、第３変形例における処理は、図１５に示す如く、ステップＳ５０２に代えて、ステップＳ１５０１乃至Ｓ１５０３を実施すること以外は、図５に示す動作例における処理手順の一例と同様である。ステップＳ１５０１では、ステップＳ５０２（第２ステップ（１））と同様に、得られた複数枚数Ｎの撮影画像を用いた画像処理を行い、各撮影枚数ｉについてワーク５の認識数Ｚiを取得するが、それらの認識数Ｚiを第１計測パラメータに関連付けて記憶する処理は、未だ実施しない。次に、ステップＳ１５０２において、予め設定したステップＳ５０１の繰り返し数Ｑに達していない場合（ステップＳ１５０２が「いいえ」）には、ステップＳ５０１を繰り返し、Ｑ回の撮影処理における各撮影枚数ｉについて、ワーク５の認識数Ｚiを取得する。つまり、各撮影枚数について、Ｑ個の認識数Ｚiのデータを取得する。ステップＳ５０１の繰り返し数がＱ回に達した場合（ステップＳ１５０２が「はい」）、ステップＳ１５０３に移行して、Ｑ個の認識数Ｚiのデータの平均値を算出し、その平均値を第１計測パラメータに関連付けて第１データとして記憶部４３に記憶する。

【0082】

かかる第４変形例によれば、実験的に求める第１データの精度及び信頼性を高めることができ、その結果、複数のワーク５の計測時におけるロバスト性、複数のワーク５の操作における作業効率、及び、全体のスループットをより一層向上させることができる。

【0083】

＜５．４：第４変形例＞
第４変形例は、動作例の「§４ 作用・効果」で言及したように、ロボットシステム１００のロボット１０が変更になったときに、センサ１を搭載したあるロボット１０について予め取得しておいた第１データ乃至第２データを活用して、ロボット１０変更後のロボットシステム１００における最適化計測パラメータを求める方法の一例である。すなわち、例えば、前記動作例における第１データ乃至第２データのパラメータセット中に、変更後のロボット１０の特性（機構パラメータ）に応じた条件（具体的には、センサ１の移動速度Ｖと時間間隔Ｔ）が含まれている場合、その条件に対応する第１データ乃至第２データのなかから、所定の判定基準を満たすデータの計測パラメータを選定し、変更後の異なるロボットによる複数のワーク５の操作時における最適化計測パラメータとして決定する。これにより、ロボット１０に依存することなく、計測パラメータの最適化を実現することができる簡略な手法を提供することが可能となる。。

【0084】

＜５．５：第５変形例＞
第５変形例も、動作例の「§４ 作用・効果」で言及したように、ロボットシステム１００のロボット１０が変更になったときに、センサ１を搭載したあるロボット１０について予め取得しておいた第１データ乃至第２データを活用して、ロボット１０変更後のロボットシステム１００における最適化計測パラメータを求める方法の一例である。すなわち、例えば、前記動作例における第１データ乃至第２データのパラメータセット中に、変更後のロボット１０の特性に応じた条件が含まれていれば、その条件における結果を、変更後のロボット１０についての基本データ（第１データ）として用いることができる。そして、その基本データを使用して、上記の第２ステップ乃至第４ステップと同様の処理を実行することにより、変更後のロボット１０を含むロボットシステム１００について、新たな事前計測を行うことなく、計測パラメータの最適化を行うことができる。このようにしても、ロボット１０に依存することなく、計測パラメータの最適化を実現することができる簡略な手法を提供することが可能となる。

【0085】

＜５．６：第６変形例＞
さらに、第６変形例として、図１６に、六角ボルトとは異なる形状の複数のワーク５を計測し、それらの撮像画像に、画像処理によるワーク５の位置姿勢の認識結果（輪郭線）を重ねて表示した平面図を示す。このような種々のワーク５についても、本開示による計測パラメータの最適化方法を適用することにより、種々のワーク５に対する計測パラメータの最適化における汎用性を向上させることができる。

【0086】

§６ 付記
以上説明した実施形態及び変形例は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態及び変形例が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態及び変形例で示した構成同士を部分的に置換し又は組み合わせることも可能である。

【符号の説明】

【0087】

１…センサ（計測装置）、２…ハンド、３…ロボットアーム、４…制御装置、５…ワー
ク（対象物）、６，７…収納容器、１０…ロボット、４１…制御演算部、４２…通信イン
タフェース（Ｉ／Ｆ）部、４３…記憶部、４４…入力部、４５…出力部、４６…バスライ
ン、１００…ロボットシステム、４０１…センサ制御部、４０２…ロボット制御部、４１
０…撮像画像取得部、４１１…第１データ取得部、４１２…第２データ取得部、４１３…
第３データ取得部、４１４…最適化パラメータ決定部、Ｇi…センサの位置、Ｐ０，Ｐ１
，Ｐ２…移動経路。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】