特許 7423387 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-19

(45)【発行日】2024-01-29

(54)【発明の名称】較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置

(51)【国際特許分類】

   B25J 19/04 20060101AFI20240122BHJP

   B25J 13/08 20060101ALI20240122BHJP

   G06T 7/80 20170101ALI20240122BHJP

【ＦＩ】

B25J19/04

B25J13/08 A

G06T7/80

【請求項の数】 14

(21)【出願番号】P 2020064455

(22)【出願日】2020-03-31

(65)【公開番号】P2021160037

(43)【公開日】2021-10-11

【審査請求日】2023-03-07

(73)【特許権者】

【識別番号】000114215

【氏名又は名称】ミネベアミツミ株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】弁理士法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】中野 芳宏

【審査官】松浦 陽

(56)【参考文献】

【文献】特許第６６７１６９４（ＪＰ，Ｂ２）

【文献】特開２０１７－１０２７５５（ＪＰ，Ａ）

【文献】特開２０１９－１５０９１１（ＪＰ，Ａ）

【文献】特開２０１４－１９９５８４（ＪＰ，Ａ）

【文献】特開２０１２－２１８１１９（ＪＰ，Ａ）

【文献】特開２０１５－０２４４８０（ＪＰ，Ａ）

【文献】特開平０６－２０３１６６（ＪＰ，Ａ）

【文献】特開２０１８－００１３９３（ＪＰ，Ａ）

【文献】特開２０１５－１００８６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

Ｇ０６Ｔ ７／８０

(57)【特許請求の範囲】

【請求項1】

ロボットアームと、撮像装置と、較正装置と、を備える較正システムであって、
前記ロボットアームは、
把持対象物を把持する把持部を先端に備え、
前記撮像装置は、
前記ロボットアームを所定の方向及び所定の位置から撮像することで少なくとも１つの撮像画像を生成し、
前記較正装置は、
前記ロボットアームに関する３次元モデルを含む仮想空間をキャプチャした画像とＸ’軸、Ｙ’軸及びＺ’軸により規定される前記撮像装置を基準としたカメラ座標系における前記仮想空間に含まれるロボットアームの把持部の位置を示す情報とを有する複数の教師データを機械学習することで生成される学習モデルと、ロボットアームを所定の方向及び所定の位置から撮像した撮像画像と、に基づいて、前記カメラ座標系における前記把持部の位置を示す第１座標情報を生成する第１座標生成部と、
前記第１座標情報を前記ロボットアームを基準とするロボット座標系における前記把持部の位置を示す第２座標情報に座標変換する座標変換処理に用いられる座標変換情報に基づいて、前記第１座標情報を第２座標情報に座標変換する変換部と、
を備える、較正システム。

【請求項2】

前記所定の方向及び所定の位置からの撮像に応じて前記ロボットアームを所定量だけ駆動させるロボット制御部と、
前記撮像に関する所定のタイミングにおける前記第２座標情報を前記ロボットアームの関節角に基づいて生成する第２座標生成部と、
１つ以上の前記第１座標情報と、前記第１座標情報と同じ数の前記ロボットアームの関節角に基づいて生成された前記第２座標情報とに基づいて、前記第１座標情報を前記第２座標情報に座標変換する前記座標変換情報を生成する座標変換情報生成部と、
をさらに備える、請求項１に記載の較正システム。

【請求項3】

前記座標変換情報生成部は、前記第１座標情報と前記第２座標情報との差分が所定の条件を満たすように前記座標変換情報を生成する、請求項２に記載の較正システム。

【請求項4】

前記第２座標生成部は、前記関節角の回転方向及び並進位置における誤差に関する情報を含む誤差第２座標情報を生成し、
前記座標変換情報生成部は、前記第１座標情報と前記誤差第２座標情報とに基づいて前記座標変換情報を生成する、請求項２又は３に記載の較正システム。

【請求項5】

ロボットアームと、撮像装置と、較正装置と、を備える情報処理システムであって、
前記ロボットアームは、
把持対象物を把持する把持部を先端に備え、
前記撮像装置は、
前記ロボットアームを所定の方向及び所定の位置から撮像することで少なくとも１つの撮像画像を生成し、
前記較正装置は、
前記ロボットアームに関する３次元モデルを含む仮想空間をキャプチャした画像とＸ’軸、Ｙ’軸及びＺ’軸により規定される前記撮像装置を基準としたカメラ座標系における前記仮想空間に含まれるロボットアームの把持部の位置を示す情報とを有する複数の教師データを機械学習することで生成される学習モデルと、ロボットアームを所定の方向及び所定の位置から撮像した撮像画像と、に基づいて、前記カメラ座標系における前記把持部の位置を示す第１座標情報を生成する第１座標生成部と、
前記撮像に関する所定のタイミングにおける第２座標情報を前記ロボットアームの関節角に基づいて生成する第２座標生成部と、
１つ以上の前記第１座標情報と、前記第１座標情報と同じ数の前記ロボットアームの関節角に基づいて生成された前記第２座標情報とに基づいて、前記第１座標情報を前記第２座標情報に座標変換する座標変換情報を生成する座標変換情報生成部と、
を備える、情報処理システム。

【請求項6】

ロボットアームと、撮像装置と、較正装置と、を備えるロボット制御システムであって、
前記ロボットアームは、
把持対象物を把持する把持部を先端に備え、
前記撮像装置は、
前記ロボットアームを所定の方向及び所定の位置から撮像することで少なくとも１つの撮像画像を生成し、
前記較正装置は、
前記ロボットアームに関する３次元モデルを含む仮想空間をキャプチャした画像とＸ’軸、Ｙ’軸及びＺ’軸により規定される前記撮像装置を基準としたカメラ座標系における前記仮想空間に含まれるロボットアームの把持部の位置を示す情報とを有する複数の教師データを機械学習することで生成される学習モデルと、ロボットアームを所定の方向及び所定の位置から撮像した撮像画像と、に基づいて、前記カメラ座標系における前記把持部の位置を示す第１座標情報を生成する第１座標生成部と、
前記第１座標情報を前記ロボットアームを基準とするロボット座標系における前記把持部の位置を示す第２座標情報に座標変換する座標変換処理に用いられる座標変換情報に基づいて、前記第１座標情報を第２座標情報に座標変換する変換部と、
前記所定の方向及び所定の位置からの撮像に応じて前記ロボットアームを所定量だけ駆動させるロボット制御部と、
を備える、ロボット制御システム。

【請求項7】

把持対象物を把持する把持部を先端に備えたロボットアームと、前記ロボットアームを所定の方向及び所定の位置から撮像することで少なくとも１つの撮像画像を生成する撮像装置と、較正装置と、を備える較正システムが実行する較正方法であって、
前記ロボットアームに関する３次元モデルを含む仮想空間をキャプチャした画像とＸ’軸、Ｙ’軸及びＺ’軸により規定される前記撮像装置を基準としたカメラ座標系における前記仮想空間に含まれるロボットアームの把持部の位置を示す情報とを有する複数の教師データを機械学習することで生成される学習モデルと、ロボットアームを所定の方向及び所定の位置から撮像した撮像画像と、に基づいて、前記カメラ座標系における前記把持部の位置を示す第１座標情報を生成し、
前記第１座標情報を前記ロボットアームを基準とするロボット座標系における前記把持部の位置を示す第２座標情報に座標変換する座標変換処理に用いられる座標変換情報に基づいて、前記第１座標情報を第２座標情報に座標変換する、
較正方法。

【請求項8】

把持対象物を把持する把持部を先端に備えたロボットアームと、前記ロボットアームを所定の方向及び所定の位置から撮像することで少なくとも１つの撮像画像を生成する撮像装置と、較正装置と、を備える情報処理システムが実行する情報処理方法であって、
前記ロボットアームに関する３次元モデルを含む仮想空間をキャプチャした画像とＸ’軸、Ｙ’軸及びＺ’軸により規定される前記撮像装置を基準としたカメラ座標系における前記仮想空間に含まれるロボットアームの把持部の位置を示す情報とを有する複数の教師データを機械学習することで生成される学習モデルと、ロボットアームを所定の方向及び所定の位置から撮像した撮像画像と、に基づいて、前記カメラ座標系における前記把持部の位置を示す第１座標情報を生成し、
前記撮像に関する所定のタイミングにおける第２座標情報を前記ロボットアームの関節角に基づいて生成し、
１つ以上の前記第１座標情報と、前記第１座標情報と同じ数の前記ロボットアームの関節角に基づいて生成された前記第２座標情報とに基づいて、前記第１座標情報を前記第２座標情報に座標変換する座標変換情報を生成する、
情報処理方法。

【請求項9】

把持対象物を把持する把持部を先端に備えたロボットアームと、前記ロボットアームを所定の方向及び所定の位置から撮像することで少なくとも１つの撮像画像を生成する撮像装置と、較正装置と、を備えるロボット制御システムが実行するロボット制御方法であって、
前記ロボットアームに関する３次元モデルを含む仮想空間をキャプチャした画像とＸ’軸、Ｙ’軸及びＺ’軸により規定される前記撮像装置を基準としたカメラ座標系における前記仮想空間に含まれるロボットアームの把持部の位置を示す情報とを有する複数の教師データを機械学習することで生成される学習モデルと、ロボットアームを所定の方向及び所定の位置から撮像した撮像画像と、に基づいて、前記カメラ座標系における前記把持部の位置を示す第１座標情報を生成する第１座標生成部と、
前記第１座標情報を前記ロボットアームを基準とするロボット座標系における前記把持部の位置を示す第２座標情報に座標変換する座標変換処理に用いられる座標変換情報に基づいて、前記第１座標情報を第２座標情報に座標変換する変換部と、
前記所定の方向及び所定の位置からの撮像に応じて前記ロボットアームを所定量だけ駆動させるロボット制御部と、
を備える、ロボット制御方法。

【請求項10】

把持対象物を把持する把持部を先端に備えたロボットアームと、前記ロボットアームを所定の方向及び所定の位置から撮像することで少なくとも１つの撮像画像を生成する撮像装置と接続される較正装置により実行される較正プログラムであって、
前記ロボットアームに関する３次元モデルを含む仮想空間をキャプチャした画像とＸ’軸、Ｙ’軸及びＺ’軸により規定される前記撮像装置を基準としたカメラ座標系における前記仮想空間に含まれるロボットアームの把持部の位置を示す情報とを有する複数の教師データを機械学習することで生成される学習モデルと、ロボットアームを所定の方向及び所定の位置から撮像した撮像画像と、に基づいて、前記カメラ座標系における前記把持部の位置を示す第１座標情報を生成し、
前記第１座標情報を前記ロボットアームを基準とするロボット座標系における前記把持部の位置を示す第２座標情報に座標変換する座標変換処理に用いられる座標変換情報に基づいて、前記第１座標情報を第２座標情報に座標変換する、
較正プログラム。

【請求項11】

把持対象物を把持する把持部を先端に備えたロボットアームと、前記ロボットアームを所定の方向及び所定の位置から撮像することで少なくとも１つの撮像画像を生成する撮像装置と接続される情報処理装置により実行される情報処理プログラムであって、
前記ロボットアームに関する３次元モデルを含む仮想空間をキャプチャした画像とＸ’軸、Ｙ’軸及びＺ’軸により規定される前記撮像装置を基準としたカメラ座標系における前記仮想空間に含まれるロボットアームの把持部の位置を示す情報とを有する複数の教師データを機械学習することで生成される学習モデルと、ロボットアームを所定の方向及び所定の位置から撮像した撮像画像と、に基づいて、前記カメラ座標系における前記把持部の位置を示す第１座標情報を生成し、
前記撮像に関する所定のタイミングにおける第２座標情報を前記ロボットアームの関節角に基づいて生成し、
１つ以上の前記第１座標情報と、前記第１座標情報と同じ数の前記ロボットアームの関節角に基づいて生成された前記第２座標情報とに基づいて、前記第１座標情報を前記第２座標情報に座標変換する座標変換情報を生成する、
情報処理プログラム。

【請求項12】

把持対象物を把持する把持部を先端に備えたロボットアームに関する３次元モデルを含む仮想空間をキャプチャした画像とＸ’軸、Ｙ’軸及びＺ’軸により規定される、前記ロボットアームを撮像する撮像装置を基準としたカメラ座標系における前記仮想空間に含まれるロボットアームの把持部の位置を示す情報とを有する複数の教師データを機械学習することで生成される学習モデルと、ロボットアームを所定の方向及び所定の位置から撮像した撮像画像と、に基づいて、前記カメラ座標系における前記把持部の位置を示す第１座標情報を生成する第１座標生成部と、
前記第１座標情報を前記ロボットアームを基準とするロボット座標系における前記把持部の位置を示す第２座標情報に座標変換する座標変換処理に用いられる座標変換情報に基づいて、前記第１座標情報を第２座標情報に座標変換する第２座標生成部と、
を備える較正装置。

【請求項13】

把持対象物を把持する把持部を先端に備えたロボットアームに関する３次元モデルを含む仮想空間をキャプチャした画像とＸ’軸、Ｙ’軸及びＺ’軸により規定される、前記ロボットアームを撮像する撮像装置を基準としたカメラ座標系における前記仮想空間に含まれるロボットアームの把持部の位置を示す情報とを有する複数の教師データを機械学習することで生成される学習モデルと、ロボットアームを所定の方向及び所定の位置から撮像した撮像画像と、に基づいて、前記カメラ座標系における前記把持部の位置を示す第１座標情報を生成する第１座標生成部と、
前記撮像に関する所定のタイミングにおける第２座標情報を前記ロボットアームの関節角に基づいて生成する第２座標生成部と、
１つ以上の前記第１座標情報と、前記第１座標情報と同じ数の前記ロボットアームの関節角に基づいて生成された前記第２座標情報とに基づいて、前記第１座標情報を前記第２座標情報に座標変換する座標変換情報を生成する座標変換情報生成部と、
を備えた情報処理装置。

【請求項14】

把持対象物を把持する把持部を先端に備えたロボットアームに関する３次元モデルを含む仮想空間をキャプチャした画像とＸ’軸、Ｙ’軸及びＺ’軸により規定される、前記ロボットアームを撮像する撮像装置を基準としたカメラ座標系における前記仮想空間に含まれるロボットアームの把持部の位置を示す情報とを有する複数の教師データを機械学習することで生成される学習モデルと、ロボットアームを所定の方向及び所定の位置から撮像した撮像画像と、に基づいて、前記カメラ座標系における前記把持部の位置を示す第１座標情報を生成する第１座標生成部と、
前記第１座標情報を前記ロボットアームを基準とするロボット座標系における前記把持部の位置を示す第２座標情報に座標変換する座標変換処理に用いられる座標変換情報に基づいて、前記第１座標情報を第２座標情報に座標変換する変換部と、
前記所定の方向及び所定の位置からの撮像に応じて前記ロボットアームを所定量だけ駆動させるロボット制御部と、
を備える、ロボット制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置に関する。

【背景技術】

【0002】

バラ積みされた複数の対象物（ワーク）をロボットアーム等により把持するために、ロボットアームの３次元位置を認識する技術が知られている。その際、ロボットアームを撮像した画像を含む教師データを用いて、ロボットアームの位置を画像から推定するための学習モデルを生成する技術が知られている。ロボットアームとカメラとの位置関係を調整する際に、カメラによる認識対象となる二次元コードやカラーパターン等のマーカをロボットアームに付して、マーカをカメラで検出する場合がある。この場合において、カメラで撮像することにより検出されたマーカの位置が、学習処理における教師データとして用いられる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１４４１５２号公報

【文献】特開２０１９－１７１５４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、検出対象となるロボットアームの指先である把持部の位置にマーカを付することは難しいため、位置関係の調整を正確に行えない場合がある。正確に位置関係の調整を行うには、例えば、ロボットアームの把持部を専用の治具に取り換える等の作業が必要となる。

【0005】

本発明は、上記課題を一例とするものであり、ロボットアームとカメラとの位置関係を容易に調整できる較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る画像処理装置は、ロボットアームと、撮像装置と、較正装置とを備える。ロボットアームは、把持対象物を把持する把持部を先端に備える。撮像装置は、ロボットアームを所定の方向及び所定の位置から撮像することで少なくとも１つの撮像画像を生成する。較正装置は、第１座標生成部と、変換部とを備える。第１座標生成部は、ロボットアームに関する３次元モデルを含む仮想空間をキャプチャした画像とＸ’軸、Ｙ’軸及びＺ’軸により規定される前記撮像装置を基準としたカメラ座標系における前記仮想空間に含まれるロボットアームの把持部の位置を示す情報とを有する複数の教師データを機械学習することで生成される学習モデルと、ロボットアームを所定の方向及び所定の位置から撮像した撮像画像と、に基づいて、カメラ座標系における把持部の位置を示す第１座標情報を生成する。変換部は、前記第１座標情報をロボットアームを基準とするロボット座標系における把持部の位置を示す第２座標情報に座標変換する座標変換処理に用いられる座標変換情報に基づいて、第１座標情報を第２座標情報に座標変換する。

【発明の効果】

【0007】

本発明の一態様によれば、ロボットアームとカメラとの位置関係を容易に調整できる。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態に係る較正システムの一例を示す図である。

【図2】図２は、ロボット座標系とカメラ座標系との関係の一例を示す図である。

【図3】図３は、第１の実施形態に係る較正システムの構成の一例を示すブロック図である。

【図4】図４は、把持部の３次元モデルの一例を示す図である。

【図5】図５は、把持部の３次元モデルが配置された仮想空間のキャプチャ画像の一例を示す図である。

【図6】図６は、第１の実施形態に係る学習処理の一例を示すフローチャートである。

【図7】図７は、第１の実施形態に係る較正処理の一例を示すフローチャートである。

【図8】図８は、第２の実施形態に係る較正システムの構成の一例を示すブロック図である。

【図9】図９は、第２の実施形態に係る較正処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、実施形態に係る較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置について図面を参照して説明する。なお、この実施形態によりこの発明が限定されるものではない。また、図面における各要素の寸法の関係、各要素の比率などは、現実と異なる場合がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。また、１つの実施形態や変形例に記載された内容は、原則として他の実施形態や変形例にも同様に適用される。

【0010】

（第１の実施形態）
図１は、第１の実施形態に係る較正システムの一例を示す図である。図１に示す較正システム１は、撮像装置２０と、ロボットアーム３０と、後に説明する、図示しない較正装置１０とを備える。較正処理は、例えば、撮像装置２０を設置するタイミングや、ロボットアーム３０を起動するタイミングで実行される。

【0011】

撮像装置２０は、ロボットアーム３０の把持部３１を含む画像を撮像し、較正装置１０に出力する。第１の実施形態における撮像装置２０には、例えば公知のステレオカメラ等、複数の画像を撮像できるカメラが用いられる。撮像装置２０は、ロボットアーム３０の把持部３１及びワーク４１、４２等の両方を撮像可能な位置に設置される。撮像装置２０は、後に説明するように、較正処理が実行される際に、ロボットアーム３０の把持部３１を含む作業領域を所定の回数（ｎ回）撮像する。なお、第１の実施形態においては、撮像装置２０の個別のレンズの歪みや、輝度の正規化、撮像装置２０に含まれる複数のレンズ（ステレオセット）間での平行化等については、それぞれ既に較正済みであるものとする。

【0012】

較正装置１０は、撮像装置２０から出力された画像を用いて、ロボットアーム３０等の位置を推定する。較正装置１０は、例えば、較正処理において、撮像装置２０から出力されたｎ枚の画像における座標系と、ロボットアーム３０の関節角を基準とする座標系とに基づいて、後に説明する座標変換行列Ｄを生成する。較正装置１０は、例えば、生成された座標変換行列Ｄを用いて、撮像装置２０から出力された画像における座標系を、ロボットアーム３０の関節角を基準とする座標系に座標変換する。また、較正装置１０は、座標変換されたロボットアーム３０の把持部３１の位置やワーク４１、４２等の位置に基づいて、ロボットアーム３０の動作を制御する信号を出力する。

【0013】

ロボットアーム３０は、対象物を把持する把持部（グリッパ）３１と、把持部３１の位置を変化させる複数の関節３２ａ乃至３２ｆとを備える。ロボットアーム３０は、例えば、較正装置１０から出力された信号に基づいて、公知の制御手段により、複数の関節３２ａ乃至３２ｆの関節角を変化させる。これにより、ロボットアーム３０は、把持部３１を移動させ、ワーク４１、４２等を把持する動作を行う。ロボットアーム３０は、例えば、後に説明するように、較正処理の際に撮像装置２０が作業領域を撮像する前に、把持部３１を移動させる。なお、ワーク４１、４２は、対象物の一例である。

【0014】

較正装置１０により制御されたロボットアーム３０及び把持部３１の位置、すなわち実際にロボットアーム３０及び把持部３１が存在する位置は、図１に示すＸ軸、Ｙ軸及びＺ軸により規定される座標系（以下において「ロボット座標系Ｖ」と表記する場合がある）により示される。また、撮像装置２０により撮像されたロボットアーム３０及び把持部３１の位置、すなわち撮像された画像上におけるロボットアーム３０及び把持部３１の位置は、図１に示すＸ’軸、Ｙ’軸及びＺ’軸により規定される座標系（以下において「カメラ座標系Ｖ’」と表記する場合がある。）により示される。カメラ座標系Ｖ’、及びロボット座標系Ｖは、例えば、それぞれ、以下の式（１）により示される。

【0015】

【数1】

【0016】

較正装置１０により制御されたロボットアーム３０の把持部３１の位置と、撮像装置２０により撮像された把持部３１の位置３１’の、設計上の位置関係と実際に設置した際の位置関係との間には、ずれが生じる場合がある。この位置のずれは、例えば、撮像装置２０に含まれるステレオセットの設計値と現物の機械的な誤差や、撮像装置２０とロボットアーム３０を設置した際の距離等の設計値との誤差に応じて生じる。図２は、ロボット座標系とカメラ座標系との関係の一例を示す図である。図２に示すように、実線で示すカメラ座標系Ｖ’におけるロボットアーム３０の位置３０’及び把持部３１の位置３１’と、破線で示すロボット座標系Ｖにおけるロボットアーム３０及び把持部３１の位置との間に、ずれが生じる。

【0017】

そこで、以下に示す式（２）により、カメラ座標系Ｖ’がロボット座標系Ｖに変換される。式（２）に示す座標変換行列Ｄは、例えば式（３）に示されるような、座標を変換するための回転並進行列である。なお、以下において、カメラ座標系Ｖ’とロボット座標系Ｖとのずれを調整するための座標の変換を、「較正」と表記する場合がある。
Ｖ ＝ ＤＶ’ ・・・（２）

【0018】

【数2】

【0019】

なお、式（３）において、例えば、ｔは３行１列の並進ベクトルである。また、例えば、Ｒは式（４）に示すような３行３列の回転行列である。すなわち、座標変換行列Ｄは、４行４列の行列で示される。なお、式（４）に示す回転行列は、カメラ座標系Ｖ’をＸ軸周りに回転させる行列の一例である。

【0020】

【数3】

【0021】

座標変換行列Ｄを算出するには、まず、カメラ座標系Ｖ’における把持部３１の位置３１’と、ロボット座標系Ｖにおける把持部３１の位置とを特定する必要がある。ロボット座標系Ｖにおける把持部３１の位置は、例えば、各関節の座標系から見た、他の関節の座標系の回転及び並進により特定される。一方、上で述べたように、カメラ座標系Ｖ’における把持部３１の位置３１’を正確に特定するには、専用の治具等を用いる必要がある。

【0022】

そこで、第１の実施形態において、較正システム１は、学習モデルを用いて、カメラ座標系Ｖ’における把持部３１の位置３１’を推定する。その際、第１の実施形態においては、仮想空間上にロボットアーム３０の把持部３１の３次元モデルを配置し、仮想空間上でのロボットアーム３０の把持部３１の３次元モデルの位置の情報を画像から特定することにより、学習モデルの作成に用いられる教師データを取得する。第１の実施形態においては、把持部３１の３次元モデルが配置された仮想空間をキャプチャしたキャプチャ画像と、キャプチャ画像における３次元モデルの位置情報（座標）との組み合わせが、教師データとして用いられる。

【0023】

また、第１の実施形態において、較正システム１は、ｉ回目に撮像された画像から、学習モデルを用いて推定されたカメラ座標系Ｖ’における把持部３１の位置３１’を示す座標Ｖ’ｉを、ロボット座標系における把持部３１のｉ回目の撮像時の位置３１’を示す座標Ｖｉに変換する。その際、例えば、較正システム１は、座標Ｖ’ｉに対応する画像が撮像された際の把持部３１のロボット座標系における位置を示す座標Ｖｉを算出する。座標Ｖｉは、例えば、ロボットアーム３０の各関節の座標系から見た、他の関節の座標系の回転及び並進等に基づいて算出される。そして、較正システム１は、例えば、カメラ座標系Ｖ’における座標Ｖ’ｉと、ロボット座標系Ｖにおける座標Ｖｉとの誤差を用いて、座標変換行列Ｄを推定する。なお、以下において、各関節の座標系から見た、他の関節の座標系の回転及び並進を、「関節角の変位」と表記する場合がある。また、以下において、カメラ座標系Ｖ’における把持部３１の位置３１’に関する座標を「第１座標情報」と表記し、ロボット座標系Ｖにおける把持部３１の位置に関する座標を「第２座標情報」と表記する場合がある。

【0024】

図３は、第１の実施形態に係る較正システムの構成の一例を示すブロック図である。図３に示すように、較正装置１０は、撮像装置２０及びロボットアーム３０と、ネットワークＮＷを通じて通信可能に接続されている。また、図３に示すように、較正装置１０は、通信部１１と、入力部１２と、表示部１３と、記憶部１４と、処理部１５とを備える。

【0025】

通信部１１は、ネットワークＮＷを通じた外部装置とのデータ入出力の通信を制御する。例えば、通信部１１は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現され、撮像装置２０から出力される画像のデータを受信するとともに、ロボットアーム３０に出力する信号を送信する。

【0026】

入力部１２は、処理部１５に接続され、較正装置１０の管理者（不図示）から受け付けた入力操作を電気信号に変換して処理部１５に出力する。例えば、入力部１２は、スイッチ、ボタン、マウス、キーボード、タッチパネル等である。また、入力部１２は、外部の入力装置を較正装置１０に接続するためのインターフェース等であってもよい。

【0027】

表示部１３は、処理部１５に接続され、処理部１５から出力される各種情報及び各種画像データを表示する。例えば、表示部１３は、液晶モニタ、ＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル又は有機ＥＬ（Electro Luminescence）等によって実現される。

【0028】

記憶部１４は、例えば、ＲＡＭ（Random Access Memory）又は磁気記憶装置等の記憶装置により実現される。記憶部１４には、処理部１５により実行される各種のプログラムが記憶されている。また、記憶部１４には、処理部１５により各種のプログラムが実行される際に用いられる各種の数式や、撮像装置２０から出力された画像等の各種のデータが一時的に記憶される。記憶部１４は、学習モデル１４１と、座標変換情報１４２とを記憶する。

【0029】

学習モデル１４１は、撮像装置２０から出力された画像から、ロボットアーム３０の把持部３１のカメラ座標系Ｖ’上の位置３１’を推定する処理に用いられる。学習モデル１４１は、例えば、ニューラルネットワーク構造１４１ａと学習パラメータ１４１ｂを備えている。ニューラルネットワーク構造１４１ａは、例えば、畳み込みニューラルネットワークのような公知のネットワークを応用したネットワーク構造である。学習パラメータ１４１ｂは、例えば、畳み込みニューラルネットワークの畳み込みフィルタの重みであり、ロボットアームの把持部３１のカメラ座標系Ｖ’における位置３１’を推定するために学習され、最適化されるパラメータである。

【0030】

学習モデル１４１は、例えば、上で述べたような把持部３１の３次元モデルが配置された仮想空間をキャプチャしたキャプチャ画像と、キャプチャ画像における３次元モデルの位置情報（座標）との組み合わせを教師データとして学習することにより生成される。学習モデル１４１は、例えば、後に説明する学習部１５２により生成され、又は更新される。

【0031】

座標変換情報１４２は、例えば、上で述べた、カメラ座標系Ｖ’をロボット座標系Ｖに変換するために用いられる座標変換行列Ｄである。座標変換情報１４２は、例えば、後に説明する変換情報生成部１５６により生成される。

【0032】

処理部１５は、ＣＰＵ（Central Processing Unit）等のプロセッサにより実現される。処理部１５は、較正装置１０全体を制御する。処理部１５は、記憶部１４に記憶された各種のプログラムを読み取り、読み取ったプログラムを実行することで、各種の処理を実行する。例えば、処理部１５は、空間生成部１５１と、学習部１５２と、ロボット制御部１５３と、第１座標生成部１５４と、第２座標生成部１５５と、変換情報生成部１５６と、変換部１５７とを有することとなる。

【0033】

空間生成部１５１は、ロボットアーム３０の把持部３１の３次元モデルを含む仮想空間を生成する。空間生成部１５１は、ロボットアーム３０の把持部３１の３次元モデルを取得する。３次元モデルは、例えば公知の３Ｄスキャン等の手法により取得することができる。

【0034】

図４は、把持部の３次元モデルの一例を示す図である。図４に示すように、ロボットアーム３０の把持部３１の３次元モデルにおいては、例えば、一対の把持部３１ａ及び３１ｂが示される。なお、図４において破線で示されたマーカ３３ａ及び３３ｂは、把持部３１ａ及び３１ｂの位置を示すもので、後に説明する仮想空間においては図示されない。マーカ３３ａ及び３３ｂの位置情報は、例えば、生成された仮想空間に付加されるメタデータとして示される。

【0035】

次に、空間生成部１５１は、把持部３１の３次元モデルを仮想空間上に配置する際の各種条件を設定する。配置する３次元モデルの数、位置、姿勢などの条件は、画像生成ソフトウェアがランダムに対象物を生成するように設定することも可能だが、これに限らず、較正装置１０の管理者が任意に設定してもよい。

【0036】

次に、空間生成部１５１は、設定された条件に従い、仮想空間上に３次元モデルを配置する。仮想空間への３次元モデルの配置は、例えば公知の画像生成ソフトウェア等を用いて行うことができる。３次元モデルが配置された仮想空間については、後に詳しく説明する。

【0037】

空間生成部１５１は、学習処理を行うために必要な数の教師データを確保するために、後に説明する学習部１５２におけるキャプチャが行われた後に、３次元モデルを配置する条件の設定と、仮想空間への３次元モデルの配置とを繰り返す。このように、３次元モデルを取得し、仮想空間上に配置することにより、仮想空間上において、任意のロボット座標系Ｖ上の位置に配置されるロボットアーム３０の把持部３１のカメラ座標系Ｖ’における位置をより正確に特定することができる。

【0038】

図３に戻って、学習部１５２は、ロボットアーム３０の把持部３１の３次元モデルが配置された仮想空間のデータを用いて、学習モデル１４１を生成又は更新するための学習処理を行う。学習部１５２は、例えば、ロボットアーム３０の把持部３１の３次元モデルが配置された仮想空間をキャプチャすることにより、配置されたロボットアーム３０の把持部３１の３次元モデルの位置を示す画像を取得する。

【0039】

図５は、把持部の３次元モデルが配置された仮想空間のキャプチャ画像の一例を示す図である。図５に示すように、ロボットアーム３０の把持部３１の３次元モデルは、仮想空間上の設定された条件に従う位置に配置される。また、上で述べたように、仮想空間上に配置される３次元モデルが配置された仮想空間をキャプチャしたキャプチャ画像と、キャプチャ画像における３次元モデルの位置情報（座標）との組み合わせが、学習処理における教師データとして用いられる。

【0040】

なお、図５に示すように、仮想空間上には、ワーク４１、４２等や、ワーク４１、４２が配置されるトレイ等のその他の物体の３次元モデルがさらに配置されていてもよい。また、図５の把持部３１ａ及び把持部９１ａに示すように、仮想空間上には、複数の把持部の３次元モデルがさらに配置されていてもよい。この場合、把持部３１ａの位置情報に加えて、把持部９１ａの位置情報や、ワーク４１、４２、トレイ等の位置情報も、教師データの一部として用いられる。

【0041】

なお、仮想空間において、複数の把持部の３次元モデルは、例えば図４に示す把持部３１ａ及び３１ｂの３次元モデルと同様に、左右一対で配置されるが、これに限られない。例えば、把持部の３次元モデルは、１本（把持部３１ａのみ）ずつ配置されてもよい。例えば、把持部の３次元モデルは、３本１組で配置されてもよいし、４本以上１組で配置されてもよい。例えば、仮想空間には、複数の把持部３１ａ及び９１ａの３次元モデルが、図５に示すようにランダムな位置に配置されていてもよい。また、仮想空間上に配置される把持部の３次元モデルの数は１つ又は２つに限られず、３つ以上であってもよい。

【0042】

第１の実施形態において、ロボットアーム３０の把持部３１の３次元モデルの位置は、例えば３次元座標（ｘ，ｙ，ｚ）により示される。また、学習部１５２は、取得した画像と、配置するロボットアーム３０の把持部３１の３次元モデルの位置、姿勢などの条件とを対応付けて、記憶部１４に格納する。

【0043】

学習部１５２は、学習処理に必要な数の教師データを確保するために、対応付けられた画像と条件との格納を所定の回数繰り返す。そして、学習部１５２は、生成された教師データを用いて所定の回数学習処理を行うことにより、ニューラルネットワーク構造１４１ａにおいて重み付けとして用いられる学習パラメータ１４１ｂを生成し、又は更新する。

【0044】

ロボット制御部１５３は、ロボットアーム３０及び把持部３１の動作を制御する。ロボット制御部１５３は、例えば、ロボットアーム３０の各関節３２ａ乃至３２ｆの回転量や、把持部３１の開閉角度を示す情報を出力することにより、ロボットアーム３０の動作を制御する。

【0045】

ロボット制御部１５３は、例えば、較正処理を行う際に、撮像装置２０が画像を撮像する前に、ロボットアーム３０の各関節３２ａ乃至３２ｆを所定量ずつ回転させる。これにより、ロボット制御部１５３は、把持部３１の位置を移動させる。そして、移動後の把持部３１が撮像装置２０により撮像される。この把持部３１の移動と撮像とをｎ回繰り返すことにより、位置が異なるｎ枚のロボットアーム３０の把持部３１の画像と、ロボット座標系Ｖにおけるロボットアーム３０の把持部３１の位置に関するｎ個の情報とが得られる。

【0046】

また、ロボット制御部１５３は、把持部３１がワーク４１、４２等を把持する動作を行う際に、ロボットアーム３０を制御する情報を生成し、ロボットアーム３０に出力する。その際、ロボット制御部１５３は、変換部１５７により変換されたロボット座標系Ｖにおける、ワーク４１、４２等、ロボットアーム３０の把持部３１の位置を示す座標に基づいて、ロボットアーム３０を制御する情報を生成する。なお、ロボット制御部１５３は、例えば、複数（ｐ個）の把持部３１の位置を移動させるような構成であってもよい。

【0047】

第１座標生成部１５４は、撮像装置２０により撮像された把持部３１を含む画像と、学習モデルとを用いて、カメラ座標系Ｖ’における座標情報である第１座標情報を生成する。第１座標生成部１５４は、例えば、撮像装置２０が撮像したｎ枚の画像を、通信部１１を介して取得する。第１座標生成部１５４は、取得したｎ枚の画像から、ｎ個の第１座標情報Ｖ’_１、Ｖ’_２・・・Ｖ’_ｎを生成する。その際、第１座標生成部１５４は、例えば、撮像装置２０により撮像された左右の画像の視差に基づいて、カメラ座標系Ｖ’における撮像装置２０からの距離を測定してもよい。なお、例えばロボット制御部１５３が複数の把持部３１の位置を移動させる場合など、撮像装置２０により撮像された画像に、複数の把持部３１が含まれる場合、第１座標生成部１５４は、１つの画像に対し、複数の第１座標情報Ｖ’_ｎを生成する。例えば、第１座標生成部１５４は、ｐ個の把持部３１を含むｎ枚の画像から、ｎ×ｐ個の第１座標情報Ｖ’_ｎｐを生成する。

【0048】

第２座標生成部１５５は、例えば、式（５）に示すロボット関節角を合成することにより、第２座標情報を生成する。式（５）の^０Ｑ_ｍが第２座標情報Ｖとなる。式（５）において、ｊは関節３２ａから把持部３１までの関節の順番を示す。したがって、式（５）において、ｍはロボットアーム３０が有する関節の数に１（求めたい位置）を加えた数を示す。求めたい位置とは、例えば把持部３１の先端の位置である。式（５）において、０はロボット座標系における原点をあらわす。例えば、^０Ｑ_１は、ロボット座標系の原点からみた１番目の関節（関節３２ａ）の変位を示す。例えば、^ｊ－１Ｑ_ｊは、ｊ－１番目の関節のロボット座標系からみたｊ番目の関節の変位を示す。例えば、^ｍ－１Ｑ_ｍは、ｍ－１番目の関節のロボット座標系からみた把持部３１の先端までの変位を示す。例えば、図１に示すような６個の関節３２ａ乃至３２ｆとｐ本の把持部３１とを備えるロボットアーム３０の第２座標情報Ｖ_ｎ１、Ｖ_ｎ２・・・Ｖ_ｎｐを生成する際においては、それぞれｍ＝７（関節の数＋１（各把持部））となり、ｊは０＜ｊ≦ｍの範囲の整数となる。

【0049】

【数4】

【0050】

式（６）において、個別の関節の変位を示す座標変換行列^ｊ－１Ｑ_ｊは、例えば以下のような式（６）により示される。式（６）においても式（３）と同様に、例えば、ｔは３行１列の並進ベクトルであり、Ｒは３行３列の回転行列である。すなわち、個別の関節の変位を示す座標変換行列^ｊ－１Ｑ_ｊも、４行４列の行列で示される。なお、式（６）において、ｔは関節の位置、Ｒは関節の回転を示す。

【0051】

【数5】

【0052】

第２座標生成部１５５は、例えば、ｎ個の第１座標情報Ｖ’_１、Ｖ’_２・・・Ｖ’_ｎの生成に用いられたｎ枚の各画像が撮像された時点における、ロボットアーム３０の把持部３１のロボット座標系Ｖにおけるｎ個の第２座標情報Ｖ_１、Ｖ_２・・・Ｖ_ｎを生成する。なお、例えばロボット制御部１５３が複数の把持部３１の位置を移動させる場合、第２座標生成部１５５は、複数の第２座標情報Ｖ_ｎを生成する。例えば、第２座標生成部１５５は、ｐ個の把持部３１を含むｎ枚の画像から、ｎ×ｐ個の第２座標情報Ｖ_ｎｐを生成する。

【0053】

変換情報生成部１５６は、例えば、式（７）において、誤差Ｅが最小となるような座標変換行列Ｄを、近似手段等を用いて推定し、又は更新する。式（７）において、Ｘ_ｉは、第２座標情報のＸ成分を示し、Ｘ（Ｄ，Ｘ’_ｉ）は、座標変換行列Ｄと第１座標情報との乗算結果のＸ成分を示す。同様に、Ｙ_ｉは、第２座標情報のＹ成分を示し、Ｙ（Ｄ，Ｙ’_ｉ）は、座標変換行列Ｄと第１座標情報との乗算結果のＹ成分を示す。また、Ｚ_ｉは、第２座標情報のＺ成分を示し、Ｚ（Ｄ，Ｚ’_ｉ）は、座標変換行列Ｄと第１座標情報との乗算結果のＺ成分を示す。すなわち、変換情報生成部１５６は、式（７）により、ｎ個の第１座標情報Ｖ’_ｎとｎ個の第２座標情報Ｖ_ｎとの間の誤差Ｅが最小になるような座標変換行列Ｄを推定する。近似手段としては、例えば、ニュートン法や勾配効果法、ＬＭ法、最小二乗法などの公知の数値解析手法が用いられる。なお、座標変換行列Ｄを推定する際には、座標変換行列Ｄの初期値をできるだけ小さい値とすることが望ましい。

【0054】

【数6】

【0055】

変換部１５７は、第１座標情報を第２座標情報に変換する。変換部１５７は、例えば、変換情報生成部１５６により生成された座標変換行列Ｄを用いて、式（２）により、第１座標情報Ｖ’を第２座標情報Ｖに変換する。

【0056】

（処理の流れ）
次に、第１の実施形態における学習処理及び較正処理について、図６及び図７を用いて説明する。図６は、第１の実施形態に係る学習処理の一例を示すフローチャートである。図６に示すように、まず、空間生成部１５１は、ロボットアーム３０の把持部３１の３次元モデルを取得する（ステップＳ１０１）。次に、空間生成部１５１は、３次元モデルを取得したロボットアーム３０の把持部３１を配置する条件である、３次元モデルの位置及び姿勢等を設定する（ステップＳ１０２）。そして、空間生成部１５１は、仮想空間上に、位置及び姿勢が決定されたロボットアーム３０の把持部３１を少なくとも１以上配置する（ステップＳ１０３）。

【0057】

次に、学習部１５２は、例えば、ロボットアーム３０の把持部３１の３次元モデルが配置された仮想空間をキャプチャすることにより、ロボットアーム３０の把持部３１のキャプチャ画像、位置、姿勢を取得する（ステップＳ１０４）。そして、学習部１５２は、取得された画像と、配置された把持部３１の位置及び姿勢との組み合わせを、教師データとして記憶部１４に保存する（ステップＳ１０５）。さらに、学習部１５２は、ステップＳ１０２からステップＳ１０５を所定の回数繰り返す（ステップＳ１０６：Ｎｏ）。ステップＳ１０２からステップＳ１０５までの処理を所定の回数繰り返すことにより、学習処理を繰り返し行うために十分な数の教師データが生成される。

【0058】

学習部１５２は、ステップＳ１０２からステップＳ１０５を繰り返した回数が所定の回数に到達したと判定した場合（ステップＳ１０６：Ｙｅｓ）、生成された教師データを用いて、学習処理を行う（ステップＳ１０７）。これにより、学習モデル１４１が生成され、又は更新される。

【0059】

次に、較正システム１における較正処理について説明する。図７は、第１の実施形態に係る較正処理の一例を示すフローチャートである。図７に示すように、まず、ロボット制御部１５３は、ロボットアーム３０の把持部３１を、所定の位置に移動させる（ステップＳ２０１）。次に、撮像装置２０は、把持部３１を含む作業領域を撮像し、較正装置１０に出力する（ステップＳ２０２）。

【0060】

次に、第１座標生成部１５４は、撮像装置２０から取得した、把持部３１を含む画像から、学習モデルを用いて、カメラ座標系Ｖ’上の把持部３１の位置３１’及び姿勢を示す第１座標情報Ｖ’_ｎを生成する（ステップＳ２０３）。また、第２座標生成部１５５は、ロボットアーム３０の把持部３１のロボット座標系Ｖにおける位置及び姿勢を示す第２座標情報Ｖ１_ｎを、ロボットアーム３０の各関節角の変位に基づいて算出する（ステップＳ２０４）。

【0061】

変換情報生成部１５６は、ステップＳ２０１からステップＳ２０４を所定の回数繰り返したか否かを判定する（ステップＳ２１０）。所定の回数に到達していないと判定された場合（ステップＳ２１０：Ｎｏ）。ステップＳ２０１に戻って処理を繰り返す。

【0062】

変換情報生成部１５６は、ステップＳ２０１からステップＳ２０４を繰り返した回数が所定の回数に到達したと判定した場合（ステップＳ２１０：Ｙｅｓ）、第１変換情報と第２変換情報とを用いて、座標変換行列Ｄを生成し、又は更新する（ステップＳ２２０）。

【0063】

以上述べたように、第１の実施形態における較正装置１０は、ロボットアームと、撮像装置と、較正装置とを備える。ロボットアームは、把持対象物を把持する把持部を先端に備える。撮像装置は、ロボットアームを所定の方向から撮像することで少なくとも１つの撮像画像を生成する。較正装置は、第１座標生成部と、変換部とを備える。第１座標生成部は、ロボットアームに関する３次元モデルを含む仮想空間をキャプチャした画像と仮想空間に含まれるロボットアームの把持部の位置を示す情報とを有する複数の教師データを機械学習することで生成される学習モデルと、ロボットアームを所定の方向から撮像した撮像画像と、に基づいて、撮像画像を基準とした撮像画像座標系における把持部の位置を示す第１座標情報を生成する。変換部は、ロボットアームを基準とするロボット座標系における把持部の位置を示す第２座標情報に第１座標情報を座標変換する座標変換処理に用いられる座標変換情報と第１座標情報とに基づいて、第１座標情報を第２座標情報に座標変換する。これにより、ロボットアームとカメラとの位置関係を容易に調整できる。また、第１の実施形態における較正システム１による較正処理は、同等の構成を有する他の較正システムにおいても応用することができる。

【0064】

（第２の実施形態）
第１の実施形態では、較正システム１が、ロボットアーム３０の各関節角の変位を合成することで、ロボットアーム３０のロボット座標系Ｖにおける位置を算出する構成について説明した。しかし、ロボットアーム３０の製造上の誤差や電源投入時の初期化のずれ等により、ロボットアーム３０を動作した際のロボット座標系Ｖにおける位置が、ロボットアーム３０の設計値に基づく位置からずれる場合がある。第２の実施形態では、ロボットアーム３０の回転角度や並進位置の誤差も考慮して、座標変換情報を算出する構成について説明する。なお、以下において、先に説明した図面に示す部位と同一の部位には同一の符号を付し、重複する説明は省略する。

【0065】

図８は、第２の実施形態に係る較正システムの構成の一例を示すブロック図である。図８に示すように、第２の実施形態における較正システム１ａは、第１の実施形態における較正装置１０に代えて、較正装置１０ａを備える。較正装置１０ａの処理部１５ａは、第１の実施形態における変換情報生成部１５６に代えて、変換情報生成部１５６ａを備える。また、処理部１５ａは、誤差付与部１５８ａをさらに備える。

【0066】

誤差付与部１５８ａは、第２座標生成部１５５により生成された第２座標情報Ｖ_ｎに誤差を付与して、誤差第２座標情報Ｖ”_ｎを生成する。誤差付与部１５８ａは、第２座標情報Ｖ_ｎを、式（５）に示すような各関節の座標変換行列に分解する。誤差付与部１５８ａは、分解された個別の座標変換行列^ｊ－１Ｑ_ｊの回転行列^ｊ－１Ｒ_ｊに、誤差を示すオフセットΔ^ｊ－１Ｒ_ｊを追加する。同様に、誤差付与部１５８ａは、個別の座標変換行列^ｊ－１Ｑ_ｊの並進ベクトルｔにも、誤差を示すオフセットΔ^ｊ－１ｔ_ｊを追加する。オフセットが追加された個別の座標変換行列^ｊ－１Ｑ”_ｊを、式（８）に示す。なお、以下において、オフセットΔ^ｊ－１Ｒ_ｊ及びΔ^ｊ－１ｔ_ｊを、単にオフセットΔＲ、Δｔと表記する場合がある。

【0067】

【数7】

【0068】

誤差付与部１５８ａは、式（８）に示すような座標変換行列を合成することで、式（９）に示すような誤差第２座標情報Ｑ”を生成する。

【0069】

【数8】

【0070】

変換情報生成部１５６ａは、第１座標情報と誤差第２座標情報とに基づいて、変換情報を生成する。変換情報生成部１５６ａは、例えば、式（１０）において、誤差Ｅが最小となるような座標変換行列Ｄ”、オフセットΔＲ、及びオフセットΔｔを、近似手段等を用いて推定し、又は更新する。式（１０）において、Ｘ”_ｉは、誤差第２座標情報のＸ成分を示し、Ｘ（Ｄ”，Ｘ’_ｉ）は、座標変換行列Ｄ”と第１座標情報の乗算結果のＸ成分を示す。同様に、Ｙ”_ｉは、誤差第２座標情報のＹ成分を示し、Ｙ（Ｄ”，Ｙ’_ｉ）は、座標変換行列Ｄ”と第１座標情報との乗算結果のＹ成分を示す。また、Ｚ”_ｉは、誤差第２座標情報のＺ成分を示し、Ｚ（Ｄ”，Ｚ’_ｉ）は、座標変換行列Ｄ”と第１座標情報との乗算結果のＺ成分を示す。なお、座標変換行列Ｄを単独で推定する場合と同様に、座標変換行列Ｄ”、オフセットΔＲ及びΔｔの初期値もできるだけ小さい値とすることが望ましい。

【0071】

【数9】

【0072】

図９は、第２の実施形態に係る較正処理の一例を示すフローチャートである。なお、ステップＳ２０１乃至Ｓ２１０における処理については、第１の実施形態に係る較正処理と同様であるため、詳細な説明は省略する。図９に示すように、まず、誤差付与部１５８ａは、ステップＳ２０１からステップＳ２０４を繰り返した回数が所定の回数に到達したと判定した場合（ステップＳ２１０：Ｙｅｓ）、第２座標情報を関節ごとの座標変換行列に分解する（ステップＳ３０１）。次に、誤差付与部１５８ａは、分解された各座標変換行列の回転行列と並進ベクトルのそれぞれに、オフセットΔＲ及びΔｔを追加する（ステップＳ３０２）。そして、誤差付与部１５８ａは、オフセットΔＲ及びΔｔが付加された座標変換行列を乗算して、誤差第２座標情報Ｖ”を算出する（ステップＳ３０３）。

【0073】

そして、変換情報生成部１５６ａは、第１座標情報Ｖ’と、誤差第２座標情報Ｖ”とに基づいて、座標変換情報として、座標変換行列Ｄ”を生成する（ステップＳ３２０）。

【0074】

このように、第２の実施形態において、第２座標生成部は、前記関節角の回転方向、角度及び並進位置における誤差に関する情報を含む誤差第２座標情報を生成し、座標変換情報生成部は、前記第１座標情報と前記誤差第２座標情報とに基づいて前記座標変換情報を生成するする。これにより、座標変換行列Ｄ”を生成する際に、カメラ座標系Ｖ’とロボット座標系Ｖとの誤差に加えて、ロボットアーム３０に由来する回転方向、角度や並進位置の誤差も反映できる。

【0075】

（変形例）
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、図６に示すような学習処理を、他の装置が行うような構成であってもよい。すなわち、図３に示す空間生成部１５１及び学習部１５２が、図３に示す較正装置１０ではなく他の装置に備えられていてもよい。この場合において、較正装置１０は、外部の装置から学習モデル１４１を取得して記憶部１４に格納するような構成であってもよい。

【0076】

また、ロボット制御処理についても、他の装置が行うような構成であってもよい。すなわち、図３に示すロボット制御部１５３も、較正装置１０ではなく他の装置に備えられていてもよい。さらに、較正システム１が撮像装置２０を有さず、外部のカメラ等から取得した画像を用いても較正処理を行ってもよい。

【0077】

なお、例えばロボット制御部１５３が複数（ｐ個）の把持部３１の位置を移動させる場合において、第１座標生成部１５４は、１つの画像に対して検出された把持部３１のうち、中心の値に該当するものだけを第１座標情報Ｖ’_ｎとして採用するような構成であってもよい。この場合、例えば、第１座標生成部１５４は、ｐ個の把持部３１を含むｎ枚の画像から、ｎ×１個の第１座標情報Ｖ’_ｎを生成する。

【0078】

また、上で述べた、仮想空間上に３次元モデルを配置する際の各種条件は、把持部３１及びワーク４１、４２の３次元モデルの位置や姿勢に限られず、例えば、カメラの画角、ピクセル数、ステレオセットのベースライン（基線）の距離等の設定であってもよい。また、各種条件は、カメラの位置や回転のランダム化の範囲、仮想空間におけるライトの輝度と角度と位置のランダム化の範囲、仮想空間上に配置される把持部３１及びワーク４１、４２の３次元モデルの位置、角度や数等であってもよい。さらに、各種条件は、ワーク４１、４２が配置されるトレイ等のその他障害物の有無及び障害物の数、クラス等であってもよい。クラスは、仮想空間に配置された配置物を一意に識別する情報である。なお、各種条件におけるクラスは、例えば、文字、数字及び記号等の組み合わせである。クラスは、他のクラスと重複しない情報であればどのような情報であってもよい。配置物は、例えば、３次元モデル、ワーク又は障害物である。

【0079】

なお、図１においては、複数の異なる種類のワーク４１、４２等が開示されているが、ワークの種類は１種類であってもよい。また、ワーク４１、４２等は、位置及び姿勢が不規則であるように配置されているが、規則的に配置されていてもよい。また、図１に示すように、例えば、複数のワークが上面視において重なるように配置されていてもよい。

【0080】

また、学習モデル１４１は、グリッパの位置を示す座標に加えて、グリッパの傾きを示す角度情報を出力してもよい。なお、較正処理において、ロボット制御部１５３がロボットアーム３０の各関節３２ａ乃至３２ｆを動作させる回転量は、毎回異なる量であってもよい。また、学習モデル１４１を生成又は最適化する際の機械学習処理に畳み込みニューラルネットワークを用いる例について説明したが、これに限られず、深層学習などの上述の出力が可能な学習アルゴリズムであればどのようなアルゴリズムを用いてもよい。

【0081】

なお、学習処理及び較正処理において、ロボットアーム３０の把持部３１の位置や３次元モデルを用いる構成について説明したが、これに加えて、ロボットアーム３０の把持部３１以外の部分の位置や３次元モデルをさらに用いるような構成であってもよい。例えば、仮想空間上に３次元モデルを配置する際の各種条件として、把持部３１をキャプチャする際にロボットアーム３０が障害物となるような条件が設けられてもよい。

【0082】

また、フローチャートに示す処理の順番は前後してもよく、同時に実行してもよい。例えば、図７及び図９に示すような較正処理において、較正装置１０が、第１座標情報よりも先に第２座標情報を生成してもよく、第１座標情報と第２座標情報とを同時並行で生成してもよい。また、較正処理の際に、撮像装置２０による撮像が行われる前にロボットアーム３０が把持部３１を移動させる構成について説明したが、実施の形態はこれに限られない。例えば、撮像装置２０による撮像が行われ、第１座標情報と第２座標情報とを生成した後に、ロボットアーム３０が把持部３１を移動させるような構成であってもよい。

【0083】

また、上記実施の形態により本発明が限定されるものではない。上述した各構成要素を適宜組み合わせて構成したものも本発明に含まれる。また、さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、上記の実施の形態に限定されるものではなく、様々な変更が可能である。

【符号の説明】

【0084】

１ 較正システム，１０ 較正装置，２０ 撮像装置，３０ ロボットアーム，４１、４２ ワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】