特開 2024-102425 補正方法、補正システム、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024102425

(43)【公開日】2024-07-31

(54)【発明の名称】補正方法、補正システム、および、プログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240724BHJP

   B25J 9/10 20060101ALI20240724BHJP

【ＦＩ】

B25J13/08 A

B25J9/10 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023006295

(22)【出願日】2023-01-19

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】溝口 安志

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS12

3C707KS03

3C707KS04

3C707KS05

3C707KT03

3C707KT05

3C707LS15

3C707LT12

(57)【要約】

【課題】システムの立ち上げにかかる時間を短縮する。
【解決手段】ロボットアームの動作経路を補正する補正方法は、（ａ）画像センサーを用いて、ロボットアームの作業の対象である対象物の位置および姿勢を表す画像を取得するステップと、（ｂ）画像センサーにより取得された画像と、画像を用いて生成された点群データと、を含第１情報、および、対象物が配置されるべき基準位置および基準姿勢を表す基準情報、を用いて、対象物の現在の位置および姿勢と、基準位置および基準姿勢と、のズレ量を算出するステップと、（ｃ）基準位置に基準姿勢で配置されている対象物に対して作業を行うためにロボットアームについてあらかじめ計画された動作経路を表す経路情報を、ズレ量を用いて補正するステップと、を含む。
【選択図】図６

【特許請求の範囲】

【請求項1】

ロボットアームの動作経路を補正する補正方法であって、
（ａ）画像センサーを用いて、前記ロボットアームの作業の対象である対象物の位置および姿勢を表す画像を取得するステップと、
（ｂ）前記画像センサーにより取得された前記画像と、前記画像を用いて生成された点群データと、を含む第１情報、および、前記対象物が配置されるべき基準位置および基準姿勢を表す基準情報、を用いて、前記対象物の現在の位置および姿勢と、前記基準位置および前記基準姿勢と、のズレ量を算出するステップと、
（ｃ）前記基準位置に前記基準姿勢で配置されている前記対象物に対して作業を行うために前記ロボットアームについてあらかじめ計画された動作経路を表す経路情報を、前記ズレ量を用いて補正するステップと、
を含む補正方法。

【請求項2】

請求項１に記載の補正方法であって、
（ｄ）前記ステップ（ａ）が実行されるより前に実行されるステップであって、前記画像センサーが取り付けられた前記ロボットアームがあらかじめ決められた移動経路を辿る間に、前記画像センサーを用いて、前記基準位置に前記基準姿勢で配置された前記対象物の少なくとも一部および前記対象物の決められた位置に付されたマークについての前記位置および前記姿勢を表す基準画像を取得し、前記基準画像を用いて前記基準情報を生成するステップ、
をさらに含み、
前記ステップ（ａ）において、前記ロボットアームが前記移動経路と同一の経路を辿る間に、前記ステップ（ｄ）における取得条件と同じ条件で、前記画像センサーを用いて、前記対象物の少なくとも一部および前記対象物の決められた位置に付された前記マークについての前記位置および前記姿勢を表す前記画像である対象画像を取得する、
補正方法。

【請求項3】

請求項２に記載の補正方法であって、
前記ステップ（ｄ）において、前記対象物の表面の前記決められた位置に形成された３次元形状を有する前記マークについての前記基準画像を取得し、
前記ステップ（ａ）において、前記対象物の表面の前記決められた位置に形成された３次元形状を有する前記マークについての前記対象画像を取得する、
補正方法。

【請求項4】

請求項２に記載の補正方法であって、
前記ステップ（ｄ）において、前記対象物の表面の前記決められた位置に取り付けられた左右非対称の形状を有する前記マークについての前記基準画像を取得し、
前記ステップ（ａ）において、記対象物の表面の前記決められた位置に取り付けられた左右非対称の形状を有する前記マークについての前記対象画像を取得する、
補正方法。

【請求項5】

請求項３または４に記載の補正方法であって、
前記ステップ（ｃ）において、さらに、前記ロボットアームと前記対象物との相対的な位置関係を表す情報を、前記ズレ量を用いて補正する、
補正方法。

【請求項6】

請求項５に記載の補正方法であって、
前記画像センサーは、ネットワークを介して遠隔地にあるコンピューターと通信可能であり、
前記ステップ（ｂ）において、前記コンピューターは、前記画像センサーから供給された前記画像と前記画像を用いて生成された前記点群データとを含む前記第１情報、および、前記基準情報、を用いて前記ズレ量を算出し、
前記ステップ（ｃ）において、前記コンピューターは、前記ズレ量を用いて前記経路情報を補正する、
補正方法。

【請求項7】

請求項６に記載の補正方法であって、
前記ズレ量を示す情報と、補正後の前記経路情報をユーザーに提示するステップ、
をさらに含む、
補正方法。

【請求項8】

ロボットアームの動作経路を補正する補正システムであって、
画像センサーを用いて、前記ロボットアームの作業の対象である対象物の位置および姿勢を表す画像を取得する取得部と、
前記画像センサーにより取得された前記画像と、前記画像を用いて生成された点群データと、を含む第１情報、および、前記対象物が配置されるべき基準位置および基準姿勢を表す基準情報、を用いて、前記対象物の現在の位置および姿勢と、前記基準位置および前記基準姿勢との、ズレ量を算出する算出部と、
前記基準位置に前記基準姿勢で配置されている前記対象物に対して作業を行うために前記ロボットアームについてあらかじめ計画された動作経路を表す経路情報を、前記ズレ量を用いて補正する補正部と、
を備える補正システム。

【請求項9】

ロボットアームの動作経路を補正するためのプログラムであって、
コンピューターに、
前記ロボットアームの作業の対象である対象物の位置および姿勢を表す画像を、画像センサーを用いて取得する機能と、
前記画像センサーにより取得された前記画像と、前記画像を用いて生成された点群データと、を含む第１情報、および、前記対象物が配置されるべき基準位置および基準姿勢を表す基準情報、を用いて、前記対象物の現在の前記位置および前記姿勢と、前記基準位置および前記基準姿勢と、のズレ量を算出する機能と、
前記基準位置に前記基準姿勢で配置されている前記対象物に対して作業を行うために前記ロボットアームについてあらかじめ計画された動作経路を表す経路情報を、前記ズレ量を用いて補正する機能と、
を実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、補正方法、補正システム、および、プログラムに関する。

【背景技術】

【0002】

ロボットは、作業空間内に存在する障害物との衝突を回避しながら動作する必要がある。このため、特許文献１に記載されているように、ロボットの作業空間内に存在する障害物を特定するため、ロボットの周囲の障害物の形状および位置についての３次元情報を表すＣＡＤデータが用いられることがある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２０／１８８６３０号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載されているように、ロボットの周囲の障害物の形状および位置についての３次元情報を表すＣＡＤデータを用いる方法を用いる場合、ロボットシステムを新たな作業環境に移設するときには、移設先の作業環境に関するＣＡＤデータを新たに登録し、ＣＡＤデータを用いてロボットの動作経路を新たに生成する必要がある。このため、ロボットシステムの立ち上げに時間がかかる。よって、ロボットシステムの移設時におけるシステムの立ち上げにかかる時間を短縮できる技術が望まれていた。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

本開示の第１形態によれば、ロボットアームの動作経路を補正する補正方法が提供される。この補正方法は、（ａ）画像センサーを用いて、ロボットアームの作業の対象である対象物の位置および姿勢を表す画像を取得するステップと、（ｂ）前記画像センサーにより取得された前記画像と、前記画像を用いて生成された点群データと、を含む第１情報、および、前記対象物が配置されるべき基準位置および基準姿勢を表す基準情報、を用いて、前記対象物の現在の位置および姿勢と、前記基準位置および前記基準姿勢と、のズレ量を算出するステップと、（ｃ）前記基準位置に前記基準姿勢で配置されている前記対象物に対して作業を行うために前記ロボットアームについてあらかじめ計画された動作経路を表す経路情報を、前記ズレ量を用いて補正するステップと、を含む。

【0007】

本開示の第２形態によれば、ロボットアームの動作経路を補正する補正システムが提供される。この補正システムは、画像センサーを用いて、前記ロボットアームの作業の対象である対象物の位置および姿勢を表す画像を取得する取得部と、前記画像センサーにより取得された前記画像と、前記画像を用いて生成された点群データと、を含む第１情報、および、前記対象物が配置されるべき基準位置および基準姿勢を表す基準情報、を用いて、前記対象物の現在の位置および姿勢と、前記基準位置および前記基準姿勢との、ズレ量を算出する算出部と、前記基準位置に前記基準姿勢で配置されている前記対象物に対して作業を行うために前記ロボットアームについてあらかじめ計画された動作経路を表す経路情報を、前記ズレ量を用いて補正する補正部と、を備える。

【0008】

本開示の第３形態によれば、ロボットアームの動作経路を補正するためのプログラムが提供される。このプログラムは、コンピューターに、ロボットアームの作業の対象である対象物の位置および姿勢を表す画像を、画像センサーを用いて取得する機能と、前記画像センサーにより取得された前記画像と、前記画像を用いて生成された点群データと、を含む第１情報、および、前記対象物が配置されるべき基準位置および基準姿勢を表す基準情報、を用いて、前記対象物の現在の前記位置および前記姿勢と、前記基準位置および前記基準姿勢と、のズレ量を算出する機能と、前記基準位置に前記基準姿勢で配置されている前記対象物に対して作業を行うために前記ロボットアームについてあらかじめ計画された動作経路を表す経路情報を、前記ズレ量を用いて補正する機能と、を実現させる。

【図面の簡単な説明】

【0009】

【図1】位置補正システムの全体構成を示す概略図である。

【図2】マークＭ１についての説明図である。

【図3】情報処理装置の概略構成を示すブロック図である。

【図4】基準情報を取得する処理を表したフローチャートである。

【図5】３Ｄセンサーと治具との位置関係の一例を表す図である。

【図6】ズレを検出する処理を表したフローチャートである。

【図7】マークを撮像した第２撮像画像の一例である。

【図8】マークを撮像した第２撮像画像の他の例である。

【図9】マークの姿勢を表した一例である。

【図10】マークの他の例を示す図である。

【発明を実施するための形態】

【0010】

Ａ．実施形態：
図１は、本実施形態にかかる位置補正システム１０の全体構成を示す概略図である。位置補正システム１０は、ロボットシステムにおいて、ロボットの動作経路を補正する。より具体的には、位置補正システム１０は、ロボットの作業対象である治具の位置ズレを検出し、検出した位置ズレを用いてロボットの動作経路を補正する。位置補正システムを補正システムともよぶ。

【0011】

位置補正システム１０は、ロボット１００と、ロボットコントローラー２００と、３Ｄセンサー３００と、作業台６００と、治具７００と、情報処理装置８００と、を備える。ロボット１００と、ロボットコントローラー２００と、３Ｄセンサー３００と、作業台６００と、治具７００と、をひとまとめにして、ロボットシステムとよぶことがある。

【0012】

ロボット１００は、基台１１０と、アーム１２０と、エンドエフェクター１５０とを備える。基台１１０は、ロボット１００を構成する部材を支持している。基台１１０は、作業台６００に固定されている。

【0013】

アーム１２０は、６つの関節Ｊ１～Ｊ６を含む。関節Ｊ１、Ｊ４、Ｊ６はねじり関節である。関節Ｊ２、Ｊ３、Ｊ５は曲げ関節である。各関節には、サーボモーターと、減速機と、角度センサーとがそれぞれ設けられている。なお、図１において、サーボモーターと、減速機と、角度センサーとは図示していない。サーボモーターは、ロボットコントローラー２００から電流を供給され、各関節を駆動するための回転出力を生成する。減速機は、サーボモーターから与えられた回転入力を、回転速度が低い回転出力に変換、すなわち、減速する。ロボット１００は、関節Ｊ１～Ｊ６それぞれをサーボモーターで回転させることにより、３次元空間中の指定された位置に指定された姿勢で、エンドエフェクター１５０および３Ｄセンサー３００を配することができる。ロボット１００をロボットアームともよぶ。

【0014】

角度センサーは、例えば、エンコーダー、ポテンションメーター、レゾルバーである。角度センサーは、サーボモーターの出力軸の回転角度（軸の位置）を、その関節の回転角度として検出する。検出された回転角度は、ロボットコントローラー２００に出力される。

【0015】

エンドエフェクター１５０は、アームエンド１２０ｅに装着されている。実施形態では、エンドエフェクター１５０は、ワークＷＫに微細な穴を開けるドリルである。ワークＷＫは、回路基板である。なお、図１においては、技術の理解の容易のために、エンドエフェクター１５０を単なる円筒として図示している。

【0016】

ロボットコントローラー２００は、ロボット１００を駆動することによって、ロボット座標系ＲＣにおいてロボット１００の制御点の位置を制御する。ロボット１００の制御点は、例えば、関節Ｊ６の回転軸上のあらかじめ決められた位置に設定される。制御点は、３次元空間におけるエンドエフェクター１５０の位置を代表する地点である。制御点を、ＴＣＰ（Tool Center Point）とよぶことがある。ロボットコントローラー２００は、プロセッサー、メモリー等を備えたコンピューターである。ロボットコントローラー２００は、撮像装置３１０は、有線通信または無線通信により情報処理装置８００と通信できる。

【0017】

ロボット座標系ＲＣは、基台１１０の位置に対して固定されている座標系である。ロボット座標系ＲＣは、水平面上において、互いに直交するＸ軸およびＹ軸と、鉛直上向きを正方向とするＺ軸と、によって規定される三次元直交座標系である。ロボット座標系ＲＣにおける位置は、Ｘ軸方向の位置と、Ｙ軸方向の位置と、Ｚ軸方向の位置とにより表すことができる。また、ロボット座標系ＲＣにおける姿勢は、Ｘ軸回りの回転の角度位置と、Ｙ軸回りの回転の角度位置と、Ｚ軸回りの回転の角度位置とにより表すことができる。対象座標系ＷＣは、配置される基準位置に取るべき基準姿勢で配置されている治具７００に対して固定されている三次元直交座標系である。技術の理解の容易のため、実施形態においては、対象座標系ＷＣにおけるＸＹ平面は水平面に平行であるものとする。

【0018】

３Ｄセンサー３００は、対象物を撮像した画像を取得する。３Ｄセンサー３００は、対象物の位置および姿勢を検出するために用いられる。３Ｄセンサー３００は、アーム１２０の先端近傍に取り付けられている。ロボット１００の先端部の位置および姿勢を変更することにより、３Ｄセンサー３００の位置および姿勢を変えることができる。３Ｄセンサー３００は、撮像装置３１０と、プロジェクター３２０とを有する。３Ｄセンサー３００を画像センサーともよぶ。

【0019】

撮像装置３１０は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えるカメラである。実施形態において、技術の理解の容易のために、撮像装置３１０は、モノクロの静止画像を撮像するものとする。撮像装置３１０は、有線通信または無線通信により情報処理装置８００と通信できる。撮像装置３１０は、撮像した画像を表す画像データを情報処理装置８００へ送信する。

【0020】

プロジェクター３２０は、投影画像を被写体に投写する。実施形態において、後述する治具７００に付されたマークＭ１が被写体である。プロジェクター３２０は、有線通信または無線通信により情報処理装置８００と通信できる。プロジェクター３２０は、情報処理装置８００から供給された画像データが示す投影画像を被写体に投写する。

【0021】

作業台６００は、ロボット１００および治具７００を支持する台である。治具７００は、ワークＷＫの位置決めのために用いられる。治具７００を、ロボット１００の作業の対象である対象物ともよぶ。治具７００は、作業台６００上にネジで固定されている。治具７００は、ワークＷＫを収容するための凹部を有する。例えば、不図示のロボット１００とは異なる他のロボットがワークＷＫを治具７００の凹部に収納する。その後、ロボット１００は、治具７００の凹部に収容されたワークＷＫにドリルで微細な穴を開ける。図１においては、ワークＷＫを図示しているが、ロボットの動作経路を補正する際には、治具７００にはワークＷＫが収容されていないものとする。

【0022】

図２は、マークＭ１についての説明図である。図２においては、治具７００を単純な板状部材として表している。実施形態においては、治具７００の決められた位置に、マークＭ１が付されている。マークＭ１は、樹脂製の方形の板状の部材の中央部に、十字形の凹部が形成されたものである。マークＭ１は、治具７００の片隅に固定されている。マークＭ１は、ロボット１００の動作経路の補正に用いられる。マークＭ１の用途の詳細については後述する。

【0023】

図３は、情報処理装置８００の概略構成を示すブロック図である。情報処理装置８００は、メモリー８２０と、インターフェイス部８３０と、入力装置８４０と、表示装置８５０と、プロセッサー８６０と、を備えるコンピューターである。

【0024】

メモリー８２０は、情報処理装置８００が実行する各種処理に使用される各種のプログラムおよびデータを記憶する。インターフェイス部８３０には、入力装置８４０と、表示装置８５０と、ロボットコントローラー２００と、３Ｄセンサー３００とが接続されている。入力装置８４０は、例えば、キーボード、マウスである。表示装置８５０は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイである。

【0025】

プロセッサー８６０は、メモリー８２０に記憶されているプログラムを実行することにより様々な機能を実現する。プロセッサー８６０は、メモリー８２０に格納されているプログラムを実行することで、取得部９１０と、算出部９２０と、補正部９３０として機能する。

【0026】

取得部９１０は、３Ｄセンサー３００を用いて、ロボット１００の治具７００の位置および姿勢を表す画像を取得する。

【0027】

実施形態において、三次元計測として、ストラクチャードライト方式を用いた位相シフト法が用いられる。このため、取得部９１０は、まず、プロジェクター３２０により、被写体にパターン光を投影する。撮像装置３１０は、プロジェクター３２０が投影画像を被写体に投影しているときに被写体を撮像する。取得部９１０は、撮像した画像を表す画像データを撮像装置３１０から取得する。被写体に投影画像が投影されているときに撮像された画像を第１撮像画像ＩＭ１という。取得部９１０は、第１撮像画像ＩＭ１を撮像装置３１０から受け付ける。

【0028】

さらに、撮像装置３１０は、投影画像が被写体に投影されていないときに被写体を撮像する。被写体に投影画像が投影されていないとき撮像された画像を第２撮像画像ＩＭ２という。取得部９１０は、第２撮像画像ＩＭ２を撮像装置３１０から受け付ける。マークＭ１を撮像することにより取得された第１撮像画像ＩＭ１および第２撮像画像ＩＭ２は、治具７００の位置および姿勢を表す情報として扱われる。

【0029】

算出部９２０は、治具７００が配置されるべき基準位置および基準姿勢と、第１撮像画像ＩＭ１および第２撮像画像ＩＭ２とを用いて、治具７００の現在の位置および姿勢と、基準位置および基準姿勢とのズレ量を算出する。実施形態においては、基準位置とは、ＸＹＺ空間内において、治具７００が配置されるべき位置のことをいい、基準姿勢とは、Ｘ軸、Ｙ軸、Ｚ軸の各軸まわりの回転を含む、治具７００が取るべき姿勢のことをいう。基準姿勢を取っている状態において、治具７００に付されたマークＭ１は、対象座標系ＷＣにおけるＸＹ平面に平行な面に沿って配置されている。

【0030】

まず、算出部９２０は、第１撮像画像ＩＭ１と、第２撮像画像ＩＭ２とを用いて、マークＭ１の位置および姿勢を算出する。そして、算出部９２０は、マークＭ１の現在の位置および姿勢と、マークＭ１についてあらかじめ決められた位置および姿勢とのズレ量を算出する。マークＭ１の位置および姿勢の算出の方法の詳細と、ズレ量の算出の方法の詳細とについては後述する。

【0031】

補正部９３０は、ロボット１００についてあらかじめ計画された動作経路を表す経路情報を、算出部９２０により算出されたズレ量を用いて補正する。あらかじめ計画された動作経路は、基準位置に基準姿勢で配置されている治具７００に対して、ロボット１００が作業を行うことを前提として計画されている。

【0032】

経路情報を補正する理由は以下の通りである。ロボットシステムを、例えば、海外の工場に導入することがある。ここで、現地の工場にいる作業者が、ロボット１００に作業用の動作経路を覚えさせるための十分なスキルを有していないことがある。このため、ロボットシステムを海外の工場に輸送する前に、ロボットシステムの製造元において十分なスキルを有する作業者が、ロボット１００に作業用の動作経路を覚えさせる。この際、ロボット１００の作業対象の治具７００を作業台６００に固定した状態で、ロボット１００と治具７００との相対的な位置関係が決定される。これにより、ロボット１００は、導入先の海外の工場において、覚えた作業用の動作経路どおりに動作する。

【0033】

ここで、問題となるのが、輸送中における振動等により、作業台６００に治具７００を固定するネジの締め付けに緩みが生じることがある。また、ロボットシステムの製造元における温度環境と導入先の海外の工場における温度環境との差により、作業台６００に治具７００を固定するネジが膨張し、ネジの締め付けに緩みが生じることがある。この結果、ロボット１００と治具７００との相対的な位置関係にズレが生じる。

【0034】

ロボット１００により精密な加工作業を行うことが予定されている場合、わずかな位置ズレであっても、位置ズレに対応して経路情報を補正する必要がある。例えば、ワークＷＫへの加工について、５０ミクロンオーダーの精度が要求されている場合には、治具７００の位置が１ミリずれていることは大きな問題となる。このため、経路情報を補正する必要があった。

【0035】

従来は、熟練した技術者が導入先の海外の工場に派遣され、位置ズレに対応するため、ロボット１００の動作経路を補正する作業を行うことが必要であった。このため、技術者が現地に移動して、動作経路の補正に関する作業を完了するまでは、ロボットシステムを稼働することができなかった。さらに、技術者の移動および現地での滞在のため、コストもかさむ傾向にあった。よって、位置ズレに対応させるためロボット１００の動作経路を容易に補正できる技術が望まれていた。

【0036】

図４は、基準情報を取得する処理を表したフローチャートである。図４に示す処理は、取得部９１０として機能する、情報処理装置８００のプロセッサー８６０により実行される。基準情報は、ロボット１００が作業用の動作経路ＰＷに沿って動作するときに、治具７００が配置されるべき基準位置および基準姿勢を表す情報である。作業用の動作経路ＰＷは、ロボット１００が、初期位置から加工作業を行う位置への移動動作および治具７００に収容されているワークＷＫへの作業動作のため、辿るべき経路である。作業用の動作経路ＰＷをあらかじめ計画された動作経路ともよぶ。基準情報を取得する処理は、ロボットシステムが移設される前に実行される。例えば、作業者が入力装置８４０を介して処理の開始を指示すると、プロセッサー８６０は図４に示す処理を開始する。

【0037】

ステップＳ１０１において、プロセッサー８６０は、ロボットコントローラー２００を介して、ロボット１００に画像撮像用の動作経路ＰＩに沿った移動を開始させる。なお、図４に示す処理が実行されるに先立って、画像撮像用の動作経路ＰＩをロボット１００に覚えさせていることを前提とする。ロボット１００は、画像撮影用の動作経路ＰＩにおいて設定されたポイントＰ１、および、終点に到達すると、停止するようにプログラムされている。画像撮影用の動作経路ＰＩをあらかじめ決められた移動経路ともよぶ。

【0038】

図５は、ポイントＰ１に配された３Ｄセンサー３００と、治具７００との位置関係の一例を表す図である。図５においては、治具７００を単純な板状部材として表している。図５においては、ロボット１００の図示を省略している。ポイントＰ１は、ポイントＰ１に配置された撮像装置３１０の視野範囲およびプロジェクター３２０の投写範囲それぞれに、治具７００に付されたマークＭ１が含まれる位置である。図５に示す例では、開始点Ｐ０と終点とは同じ位置に設定されている。

【0039】

ステップＳ１０２において、プロセッサー８６０は、ロボット１００がポイントＰ１に到達したか否かを判定する。ロボット１００がポイントＰ１に到達したと判定した場合（ステップＳ１０２；ＹＥＳ）、プロセッサー８６０はステップＳ１０３を実行する。ロボット１００が次のポイントに到達していない場合（ステップＳ１０２；ＮＯ）、プロセッサー８６０は待機する。

【0040】

ステップＳ１０３において、プロセッサー８６０は、ロボットコントローラー２００を介して、ロボット１００の関節Ｊ１～Ｊ６それぞれに設けられた角度センサーの検出値をセンサー情報として取得する。

【0041】

ステップＳ１０４において、プロセッサー８６０は、第１基準画像ＩＭ１０を取得する。具体的には、プロセッサー８６０は、プロジェクター３２０により被写体に対してパターン光を投影させる。前述のように治具７００に付されたマークＭ１が被写体である。実施形態においては、π／２ずつ位相をずらしながら、正弦波パターン光が４回被写体に投影される。正弦波パターン光は、輝度が正弦波関数に従って変化する縞模様のパターン光である。プロセッサー８６０は、パターン光の４回の投影それぞれに合わせて、撮像装置３１０により被写体を撮像させる。４つの第１基準画像ＩＭ１０それぞれは、マークＭ１と、マークＭ１が付された治具７００の少なくとも一部と、が撮像された画像である。プロセッサー８６０は、４つの第１基準画像ＩＭ１０をメモリー８２０に格納する。

【0042】

ステップＳ１０５において、プロセッサー８６０は、パターン光の投影が行われていない状態で撮像装置３１０により被写体を撮像させることにより、第２基準画像ＩＭ２０を取得する。第２基準画像ＩＭ２０は、マークＭ１と、マークＭ１が付された治具７００の少なくとも一部と、が撮像された画像である。プロセッサー８６０は、第２基準画像ＩＭ２０をメモリー８２０に格納する。第１基準画像ＩＭ１０および第２基準画像ＩＭ２０を基準画像ともよぶ。

【0043】

ステップＳ１０６において、プロセッサー８６０は、以下の処理を行うことにより、治具７００が配置されるべき基準位置および基準姿勢を表す基準情報を生成する。

【0044】

プロセッサー８６０は、第２基準画像ＩＭ２０と、マークＭ１の形状を表した３次元ＣＡＤデータとを用いたマッチング処理により、マークＭ１の輪郭を抽出する。マークＭ１の形状を表した３次元ＣＡＤデータは、あらかじめメモリー８２０に格納されている。マークＭ１の輪郭として、少なくとも、マークＭ１の十字形の凹部の輪郭が抽出される。マークＭ１の輪郭として、マークＭ１の十字形の凹部の輪郭と、板状部材の外形の輪郭とが抽出されてもよい。プロセッサー８６０は、第２基準画像ＩＭ２０におけるマークＭ１の輪郭を構成する画素の座標値のデータを２次元データＤ２１としてメモリー８２０に格納する。

【0045】

プロセッサー８６０は、４つの第１基準画像ＩＭ１０を用いてマークＭ１の立体的な形状を表す点群データを位相シフト法により生成する。被写体に投影されたパターン光は被写体で反射するが、被写体の表面の形状に依存して反射光に歪みが生じ、これが位相ずれとなって表れる。位相シフト法では、この位相ずれを解析することにより、被写体の立体的な形状を検出する。なお、撮像装置３１０とプロジェクター３２０とのそれぞれの位置関係を表す情報（外部パラメーター）、プロジェクター３２０の投写レンズの焦点およびレンズ歪みを示す情報（内部パラメーター）等、距離の算出に必要なパラメーターは、あらかじめメモリー８２０に格納されている。点群データは、マークＭ１の立体的な形状を、点群のデータとして取得したデータである。点群データには、点群の一点一点の３次元空間における位置をそれぞれ表す座標の情報が含まれる。

【0046】

プロセッサー８６０は、生成した点群データと、マークＭ１の形状を表した３次元ＣＡＤデータと用いたマッチング処理により、マークＭ１の３次元空間における位置および姿勢を検出する。プロセッサー８６０は、マークＭ１の立体的な形状を表す点群の座標値のデータを３次元データＤ３１としてメモリー８２０に格納する。その後、図４に示す処理が終了される。

【0047】

実施形態においては、２次元データＤ２１と、３次元データＤ３１とを合わせて、基準情報ＤＳとよぶ。上記の処理により基準情報ＤＳが生成される。

【0048】

さらに、プロセッサー８６０は、ポイントＰ１において取得されたセンサー情報を用いて、各関節の変位量を求める。プロセッサー８６０は、各関節の変位量を用いて、順運動学に基づいて、ポイントＰ１におけるロボット１００の手先の位置および姿勢を表すロボット座標系ＲＣにおける座標値を算出する。なお、関節を結ぶリンクの長さ等、算出に必要な情報はメモリー８２０にあらかじめ格納されている。プロセッサー８６０は、算出した座標値をポイントＰ１における位置情報Ｃ１としてメモリー８２０に格納する。その後、図４に示す処理が終了される。以上が、ステップＳ１０７にかかる処理である。

【0049】

図６は、ズレを検出する処理を表したフローチャートである。図６に示す処理は、取得部９１０、算出部９２０、および、補正部９３０として機能する、プロセッサー８６０により実行される。図６に示す処理が実行される前に、基準情報ＤＳがメモリー８２０に格納されていることを前提とする。ズレを検出する処理は、ロボットシステムが移設後に実行される。例えば、作業者が入力装置８４０を介して処理の開始を指示すると、プロセッサー８６０は図６に示す処理を開始する。

【0050】

ステップＳ２０１において、プロセッサー８６０は、ロボットコントローラー２００を介して、ロボット１００に画像撮像用の動作経路ＰＩに沿った移動を開始させる。ロボット１００は、画像撮影用の動作経路ＰＩにおいて設定されたポイントＰ１、および、終点に到達すると、停止するようにプログラムされている。ステップＳ２０１において、ロボット１００は、基準情報を取得した際と同じ画像撮影用の動作経路ＰＩに沿って移動する。また、図４に示す処理で取得されたポイントＰ１における位置情報Ｃ１を用いたフィードバック制御により、ロボット１００の手先の位置および姿勢を、基準情報を取得したときのポイントの位置に一致させる制御が行われてもよい。

【0051】

ステップＳ２０２において、プロセッサー８６０は、ロボット１００がポイントＰ１に到達したか否かを判定する。ロボット１００がポイントＰ１に到達したと判定した場合、（ステップＳ２０２；ＹＥＳ）、プロセッサー８６０はステップＳ２０４を実行する。ロボット１００が次のポイントに到達していない場合（ステップＳ２０２；ＮＯ）、プロセッサー８６０は待機する。

【0052】

ステップＳ２０４において、プロセッサー８６０は、現在のポイントにおける第１撮像画像ＩＭ１を取得する。第１撮像画像ＩＭ１の取得方法は、図４に示すステップＳ１０４の第１基準画像ＩＭ１０の取得方法と同様である。ステップＳ２０４においては、図４に示すステップＳ１０４における撮像条件と同じ条件で、第１撮像画像ＩＭ１が取得されることを前提とする。撮像条件には、３Ｄセンサー３００の位置および姿勢についての条件も含まれる。プロセッサー８６０は、４つの第１撮像画像ＩＭ１をメモリー８２０に格納する。

【0053】

ステップＳ２０５において、プロセッサー８６０は、第２撮像画像ＩＭ２を取得する。第２撮像画像ＩＭ２の取得方法は、図４に示すステップＳ１０５の第２基準画像ＩＭ２０の取得方法と同様である。ステップＳ２０５においては、図４に示すステップＳ１０５における撮像条件と同じ条件で、第２撮像画像ＩＭ２が取得されることを前提とする。プロセッサー８６０は、第２撮像画像ＩＭ２をメモリー８２０に格納する。取得された第１撮像画像ＩＭ１および第２撮像画像ＩＭ２を対象画像ともよぶ。

【0054】

ステップＳ２０７において、プロセッサー８６０は、現在のマークＭ１の位置および姿勢と、基準位置および基準姿勢と、のズレの大きさを表すズレ量を算出する。

【0055】

まず、プロセッサー８６０は、第２撮像画像ＩＭ２と、マークＭ１の形状を表した３次元ＣＡＤデータとを用いたマッチング処理により、マークＭ１の輪郭を抽出する。マークＭ１の輪郭として、少なくとも、マークＭ１の十字形の凹部の輪郭が抽出される。マークＭ１の輪郭として、マークＭ１の十字形の凹部の輪郭と、板状部材の外形の輪郭とが抽出されてもよい。プロセッサー８６０は、第２撮像画像ＩＭ２におけるマークＭ１の輪郭を構成する画素の座標値のデータを２次元データＤ２２としてメモリー８２０に格納する。プロセッサー８６０は、２次元データＤ２２と、図４に示す処理で取得された２次元データＤ２１とを用いて、対象座標系ＷＣにおけるＸ軸およびＹ軸がなす平面内における、マークＭ１の現在の位置と基準位置とのズレ量を算出する。２次元データＤ２１の取得に用いられた第２基準画像ＩＭ２０と、２次元データＤ２２の取得に用いられた第２撮像画像ＩＭ２とは、同じ取得条件での撮像により取得されたものである。マークＭ１についての位置を表す第２基準画像ＩＭ２０と、同じ取得条件で取得された、マークＭ１についての位置を表す第２撮像画像ＩＭ２と、を用いるので、２次元空間におけるマークＭ１の現在の位置と基準位置とのズレ量を容易に算出できる。

【0056】

図６は、マークＭ１のズレについての説明図である。図７は、基準位置に配置されている治具７００のマークＭ１が撮像された画像と、基準位置からずれて配置されている治具のマークＭ１が撮像された第２撮像画像ＩＭ２とを重ね合わせた様子を表す。図７において、基準位置に基準姿勢で配置されているマークＭ１を一点鎖線で表している。図７においては、マークＭ１がＸＹ平面内において、－Ｙ軸方向および＋Ｘ軸方向に移動した例を示す。この場合、プロセッサー８６０は、画像の左右方向に沿ったＸ軸上におけるズレの大きさを表しズレ量ｇ１、画像の上下方向に沿ったＹ軸上におけるズレの大きさを表すズレ量ｇ２を算出できる。

【0057】

図８は、マークＭ１のズレについての説明図である。図８では、基準位置に配置されている治具７００のマークＭ１が撮像された画像と、基準位置からずれて配置されている治具のマークＭ１が撮像された第２撮像画像ＩＭ２とを重ね合わせた様子を表す。図８において、基準位置に基準姿勢で配置されているマークＭ１を一点鎖線で表している。図８においては、マークＭ１がＸＹ平面内において回転移動した例を示す。この場合、プロセッサー８６０は、回転の中心と、回転角度とをズレ量として算出できる。

【0058】

さらに、プロセッサー８６０は、４つの第１撮像画像ＩＭ１を用いてマークＭ１の立体的な形状を表す点群データを位相シフト法により生成する。プロセッサー８６０は、生成した点群データと、マークＭ１の形状を表した３次元ＣＡＤデータと用いたマッチング処理により、マークＭ１の３次元空間における位置および姿勢を検出する。プロセッサー８６０は、マークＭ１の立体的な形状を表す点群の座標値のデータを３次元データＤ３２としてメモリー８２０に格納する。プロセッサー８６０は、３次元データＤ３２と、図４に示す処理で取得された３次元データＤ３１とを用いて、対象座標系ＷＣにおけるマークＭ１の現在の位置と基準位置とのズレ量と、マークＭ１の現在の姿勢と基準姿勢とのズレ量とを算出する。３次元データＤ３１の取得に用いられた第１基準画像ＩＭ１０と、３次元データＤ３２の取得に用いられ得た第１撮像画像ＩＭ１とは、同じ取得条件での撮像により取得されたものである。マークＭ１についての位置および姿勢を表す第１基準画像ＩＭ１０と、同じ取得条件で取得された、マークＭ１についての位置および姿勢を表す第１撮像画像ＩＭ１と、を用いるので、３次元空間におけるマークＭ１の現在の位置および姿勢と、基準位置および基準姿勢とのズレ量を容易に算出できる。

【0059】

プロセッサー８６０は、第２撮像画像ＩＭ２を用いて算出したズレ量と、第１撮像画像ＩＭ１を用いて算出したズレ量と、を表すデータＤ１０をメモリー８２０に格納する。

【0060】

図９は、マークＭ１の姿勢を表した一例である。図９においては、ＸＹ平面に対して傾いているマークＭ１を示す。なお、基準位置および基準姿勢において、マークＭ１は、ＸＹ平面に平行な面に沿って配置されていることを前提とする。図９において、基準位置に基準姿勢で配置されているマークＭ１を一点鎖線で表している。図９に示すような場合、ＸＹ平面に対する傾き角度がズレ量として算出される。

【0061】

図６に示す、ステップＳ２０８において、プロセッサー８６０は、ロボット１００の作業用の動作経路ＰＷを表す経路情報を、算出したズレ量を表すデータＤ１０を用いて補正する。例えば、動作経路ＰＷを表すデータと、ズレ量を表すデータＤ１０とを、入力することにより、動作経路ＰＷを補正する既存のアプリケーションプログラムを用いて動作経路ＰＷが補正される。例えば、図７に示すように、マークＭ１がＸＹ平面において基準位置からズレており、図９に示すように、ＸＹ平面に対して傾いているとする。この場合、ＸＹ平面内における基準位置に対するズレと、ＸＹ平面に対する傾きが表す基準姿勢に対するズレと、を用いて、動作経路ＰＷが補正される。その後、図６に示す処理が終了される。

【0062】

以上説明したように、実施形態によれば、３Ｄセンサー３００を用いてマークＭ１を撮像することにより取得された第１撮像画像ＩＭ１と第２撮像画像ＩＭ２を用いて生成された点群データ、および、あらかじめ生成された基準情報を用いてズレ量が算出される。第１撮像画像ＩＭ１と第２撮像画像ＩＭ２を用いて生成された点群データとを第１情報ともよぶ。さらに、ズレ量を用いて、あらかじめ計画された動作経路ＰＷが補正される。これにより、補正後の動作経路ＰＷは、治具７００が配置されるべき基準位置および基準姿勢に対して生じたズレが考慮されたものとなる。よって、ロボット１００が対象物に精密な作業を行う場合であっても、ロボット１００の作業の精度を十分に確保することができる。

【0063】

実施形態においては、情報処理装置８００が上述の処理を行うことにより、移設先のロボットシステムについてあらかじめ計画された動作経路ＰＷを容易に補正できる。従来のように、熟練した技術者がロボットシステムの導入先の工場に派遣され、ロボット１００の動作経路を補正する作業を行う必要がない。ロボットシステムを稼働させるまでの立ち上げ期間の短縮およびコストの削減することができる。また、ロボット１００と治具７００との相対的な位置関係のズレを定期的に確認することが必要な場合がある。このような場合であっても、情報処理装置８００が、ロボットシステムにおける治具７００とロボット１００との相対的な位置関係に生じたズレを容易に検出できる。

【0064】

また、実施形態においては、同じ取得条件で、基準情報を生成するのに用いられる第１基準画像ＩＭ１０および第２基準画像ＩＭ２０、第１撮像画像ＩＭ１および第２撮像画像が取得される。取得条件が同じであるとは、撮像条件が同様であること、同じ画像撮像用の動作経路ＰＩを用いることを含む。前述のように、撮像条件には、３Ｄセンサー３００の位置および姿勢についての条件も含まれる。これにより、例えば、２次元におけるズレを検出する場合には、撮像画像におけるマークＭ１の位置および姿勢の変化量を検出するだけでよい。治具７００にマークＭ１が付されていない場合、治具７００の特徴点を撮像画像から抽出する必要がある。治具７００にマークＭ１が付されていない態様に比べて、ズレを検出する処理の負荷を低減できる。

【0065】

実施形態においては、情報処理装置８００は、ロボット１００の作業用の動作経路ＰＷを表す経路情報を補正するため、立体的に形成されているマークＭ１を撮像した画像から生成された点群データを用いたマッチング処理と、マークＭ１を撮像した２次元画像を用いたマッチング処理と、を行う。点群データを用いたマッチング処理と２次元画像を用いたマッチング処理とを組み合わせることにより、ズレ量の算出の精度を向上させることができる。また、実施形態においては、３Ｄセンサー３００が、１つの地点から、１つの姿勢で、マークＭ１を撮像するだけで、ロボット１００の経路情報の補正をすることができる。３Ｄセンサー３００により複数の地点からマークＭ１を撮像すること、あるいは、異なる複数の姿勢で３Ｄセンサー３００がマークＭ１を撮像することは不要であるので、手間がかからない。

【0066】

Ｂ.他の実施形態：
Ｂ１.他の実施形態１
情報処理装置８００は、さらに、算出したズレ量を用いて動作経路ＰＷを補正した後、算出したズレ量を用いて、メモリー８２０に格納されているロボット１００と治具７００との相対的な位置関係を表す情報を補正できる。この情報は、例えば、基準情報が生成されたときにメモリー８２０に格納されたものである。これにより、ロボット１００と治具７００との相対的な位置関係の最新の状態を、情報処理装置８００が有するロボット１００と治具７００との相対的な位置関係を表す情報に反映させることができる。

【0067】

Ｂ２.他の実施形態２
また、情報処理装置８００は、算出したズレ量を用いて動作経路ＰＷを補正した後、算出しズレ量を示す情報と、補正後の動作経路ＰＷを表す情報を、情報処理装置８００を操作するユーザーに提示してもよい。ユーザーは、算出されたズレ量と、ズレ量を用いて補正された補正後の経路情報とについて把握できる。これにより、ユーザーは、必要に応じて補正後の経路を修正することができる。

【0068】

あるいは、情報処理装置８００は、算出されたズレ量だけをユーザーに提示してもよい。この場合、ユーザーは、算出されたズレ量を用いて動作経路ＰＷを補正できる。

【0069】

Ｂ３.他の実施形態３
図１０は、マークＭ１の形状の他の例を示す図である。実施形態においては、樹脂製の方形の板状の部材に、十字形の凹部が形成された例を説明したが、これに限られない。（ａ１）は、マークＭ１の他の例を上から見たときの図である。（ａ１）に示すように、樹脂製の方形の板状の部材に、円形の凹部が形成されてもよい。（ａ２）は、（ａ１）におけるＡ２－Ａ２切断線で切ったときの断面を示す図である。（ａ１）に示す円形の凹部は、円の中心を通る１本の直線で分割された２つの半円の領域を含む。一方の半円の領域の深さは、他方の半円の領域の深さと、異なるように設定されている。

【0070】

（ｂ１）は、マークＭ１のさらに他の例を上から見たときの図である。（ｂ１）に示すように、樹脂製の方形の板状の部材に、円形の凹部が形成されている。（ｂ２）は、（ｂ１）におけるＢ２－Ｂ２切断線で切ったときの断面を示す図である。（ｂ３）は、（ｂ１）におけるＢ３－Ｂ３切断線で切ったときの断面を示す図である。（ｂ１）に示す円形の凹部は、円の中心を通り、互いに直交する２本の直線で分割された４つの扇形の領域を含む。図示する例では、４つの扇形の領域それぞれの深さは、隣り合う２つの扇形の領域の深さと異なり、４つの扇形の領域のうち互いに隣り合わない２つの扇形の領域の深さは、同じとなるように設定されている。このように、凹部の形状が左右対称の形状を有する場合、垂直方向に沿った回転軸まわりにマークが９０度回転した場合に、回転によるズレを検出できない可能性がある。しかし、凹部の形状を左右非対称にすることにより、ズレを検出できないという問題を回避できる。

【0071】

マークの形状を変更した場合も、実施形態と同様に、基準画像の取得条件と同じ条件で第１撮像画像ＩＭ１および第２撮像画像ＩＭ２を取得する。よって、実施形態と同様に、ズレ量の算出が容易である。

【0072】

Ｂ４.他の実施形態４
実施形態においては、樹脂製のマークＭ１が治具７００に固定される例を説明した。あるいは、治具７００の表面にマークＭ１が直接形成されていてもよい。この場合、マークＭ１は、治具７００の表面において３Ｄセンサー３００の視野に入る位置に形成された３次元形状を有するものである。この場合、治具７００に対してマークＭ１の位置がずれること、マークＭ１が治具７００から分離することを防止できる。

【0073】

Ｂ５.他の実施形態５
実施形態においては、情報処理装置８００が、撮像装置３１０から供給された画像を用いて点群データを生成する例を説明した。しかしながら、撮像装置３１０が、撮像した画像を用いて点群データを生成し、点群データを情報処理装置８００に送信してもよい。この場合、情報処理装置８００は点群データの生成を行う必要がない。

【0074】

Ｂ６.他の実施形態６
実施形態においては、プロジェクター３２０に、情報処理装置８００から投影画像を示す画像データが供給される例を説明した。しかしながら、プロジェクター３２０の内部のメモリーにあらかじめ投影画像を示す画像データが格納されていてもよい。この場合、情報処理装置８００は、投影画像を示す画像データをプロジェクター３２０に供給する必要がない。

【0075】

Ｂ７.他の実施形態７
また、図６に示す処理は、情報処理装置８００とは異なるコンピューターが遠隔地から実行してもよい。このコンピューターは、情報処理装置８００と同様の機能を備え、ネットワークを介した通信により、ロボット１００、ロボットコントローラー２００、および、３Ｄセンサー３００を、遠隔地から制御できるものとする。よって、遠隔地からあらかじめ計画された動作経路ＰＷを容易に補正できる。

【0076】

Ｂ８.他の実施形態８
実施形態においては、１つの治具７００がロボット１００の作業の対象である例を説明した。例えば、作業台６００に２つの治具７００が固定されているとする。この場合、それぞれの治具７００にマークＭ１が設けられる。ロボット１００は、画像撮像用の動作経路ＰＩに沿って移動する際に、２つの治具７００それぞれ設けられているマークＭ１を撮像するため、２地点で停止する。３Ｄセンサー３００は、一方の地点で、一方の治具７００のマークＭ１を撮像し、他方の地点で、他方の治具７００のマークＭ１を撮像する。情報処理装置８００は、それぞれのマークＭ１を撮像した画像を用いて、それぞれの治具７００についての基準情報を取得する。情報処理装置８００は、それぞれの治具７００のズレ量を、対応する基準情報を用いて算出する。治具７００が３つ以上の場合も同様である。

【0077】

Ｂ９.他の実施形態９
実施形態においては、三次元計測の方法として、ストラクチャードライト方式を用いた位相シフト法を用いる例を説明した。しかしながら、三次元計測の方法はこれに限られない。例えば、ＴｏＦ（Time Of Flight）方式により三次元計測が行われてもよい。この場合、３Ｄセンサー３００として、ＴｏＦカメラが用いられる。あるいは、ステレオヴビジョン方式により三次元計測が行われてもよい。この場合、３Ｄセンサー３００として、２眼のカメラが用いられる。あるいは、３Ｄセンサー３００として、１眼のカメラを用いて、ロボット１００により、カメラの位置を移動するようにしてもよい。

【0078】

実施形態においては、関節Ｊ１～Ｊ６を有する６軸ロボットの例を説明したが、ロボット１００が有する関節の数は６つに限られない。また、実施形態のロボット１００は垂直多関節ロボットであったが、ロボット１００は水平多関節ロボットであってもよい。

【0079】

また、情報処理装置８００の機能を実現する手段は、ソフトウェアに限られず、その一部または全部を、専用のハードウェアによって実現してもよい。例えば、専用のハードウェアとして、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）に代表される回路を使用してもよい。

【0080】

Ｃ．他の形態：
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替え、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0081】

（１）本開示の第１形態によれば、ロボットアームの動作経路を補正する補正方法が提供される。この補正方法は、（ａ）画像センサーを用いて、前記ロボットアームの作業の対象である対象物の位置および姿勢を表す画像を取得するステップと、（ｂ）前記画像センサーにより取得された前記画像と、前記画像を用いて生成された点群データと、を含む第１情報、および、前記対象物が配置されるべき基準位置および基準姿勢を表す基準情報、を用いて、前記対象物の現在の位置および姿勢と、前記基準位置および前記基準姿勢と、のズレ量を算出するステップと、（ｃ）前記基準位置に前記基準姿勢で配置されている前記対象物に対して作業を行うために前記ロボットアームについてあらかじめ計画された動作経路を表す経路情報を、前記ズレ量を用いて補正するステップと、を含む。
上記形態によれば、画像センサーを用いて取得された画像および点群データと基準情報とから算出したズレ量を用いて、あらかじめ計画された動作経路を補正することができる。

【0082】

（２）上記形態において、（ｄ）前記ステップ（ａ）が実行されるより前に実行されるステップであって、前記画像センサーが取り付けられた前記ロボットアームがあらかじめ決められた移動経路を辿る間に、前記画像センサーを用いて、前記基準位置に前記基準姿勢で配置された前記対象物の少なくとも一部および前記対象物の決められた位置に付されたマークについての前記位置および前記姿勢を表す基準画像を取得し、前記基準画像を用いて前記基準情報を生成するステップ、をさらに含み、前記ステップ（ａ）において、前記ロボットアームが前記移動経路と同一の経路を辿る間に、前記ステップ（ｄ）における取得条件と同じ条件で、前記画像センサーを用いて、前記対象物の少なくとも一部および前記対象物の決められた位置に付された前記マークについての前記位置および前記姿勢を表す前記画像である対象画像を取得してもよい。
この形態によれば、対象物に付されたマークについての位置および姿勢を表す基準画像と、同じ取得条件で取得された、対象物に付されたマークについての位置および姿勢を表す対象画像と、を用いるので、ズレ量を容易に算出できる。

【0083】

（３）上記形態において、前記ステップ（ｄ）において、前記対象物の表面の前記決められた位置に形成された３次元形状を有する前記マークについての前記基準画像を取得し、前記ステップ（ａ）において、前記対象物の表面の前記決められた位置に形成された３次元形状を有する前記マークについての前記対象画像を取得してもよい。
この形態によれば、対象物の表面に３次元形状を有するマークが形成されているので、マークの位置ズレ、対象物からのマークが分離することを防止できる。

【0084】

（４）上記形態において、前記ステップ（ｄ）において、前記対象物の表面の前記決められた位置に取り付けられた左右非対称の形状を有する前記マークについての前記基準画像を取得し、前記ステップ（ａ）において、記対象物の表面の前記決められた位置に取り付けられた左右非対称の形状を有する前記マークについての前記基準画像を取得してもよい。
この形態によれば、回転による位置ズレを検出できないという問題を回避できる。

【0085】

（５）上記形態において、前記ステップ（ｃ）において、さらに、前記ロボットアームと前記対象物との相対的な位置関係を表す情報を、前記ズレ量を用いて補正してもよい。
この形態によれば、ロボットアームと対象物との相対的な位置関係の最新の状態を、相対的な位置関係を表す情報に反映させることができる。

【0086】

（６）上記形態において、前記画像センサーは、ネットワークを介して遠隔地にあるコンピューターと通信可能であり、前記ステップ（ｂ）において、前記コンピューターは、前記画像センサーから供給された前記画像と前記画像を用いて生成された前記点群データとを含む前記第１情報、および、前記基準情報、を用いて前記ズレ量を算出し、前記ステップ（ｃ）において、前記コンピューターは、前記ズレ量を用いて前記経路情報を補正してもよい。
この形態によれば、遠隔地からあらかじめ計画された動作経路を容易に補正できる。

【0087】

（７）上記形態において、前記ズレ量を示す情報と、補正後の前記経路情報をユーザーに提示するステップ、をさらに含んでもよい。
この形態によれば、ユーザーは、算出されたズレ量と、ズレ量を用いて補正された補正後の経路情報とについて把握できる。

【0088】

（８）本開示の第２形態によれば、ロボットアームの動作経路を補正する補正システムが提供される。この補正システムは、画像センサーを用いて、前記ロボットアームの作業の対象である対象物の位置および姿勢を表す画像を取得する取得部と、前記画像センサーにより取得された前記画像と、前記画像を用いて生成された点群データと、を含む第１情報、および、前記対象物が配置されるべき基準位置および基準姿勢を表す基準情報、を用いて、前記対象物の現在の位置および姿勢と、前記基準位置および前記基準姿勢との、ズレ量を算出する算出部と、前記基準位置に前記基準姿勢で配置されている前記対象物に対して作業を行うために前記ロボットアームについてあらかじめ計画された動作経路を表す経路情報を、前記ズレ量を用いて補正する補正部と、を備える。
上記形態によれば、画像センサーを用いて取得された画像および点群データと基準情報とから算出したズレ量を用いて、あらかじめ計画された動作経路を補正することができる。

【0089】

（９）本開示の第３形態によれば、ロボットアームの動作経路を補正するためのプログラムが提供される。このプログラムは、コンピューターに、前記ロボットアームの作業の対象である対象物の位置および姿勢を表す画像を、画像センサーを用いて取得する機能と、前記画像センサーにより取得された前記画像と、前記画像を用いて生成された点群データと、を含む第１情報、および、前記対象物が配置されるべき基準位置および基準姿勢を表す基準情報、を用いて、前記対象物の現在の前記位置および前記姿勢と、前記基準位置および前記基準姿勢と、のズレ量を算出する機能と、前記基準位置に前記基準姿勢で配置されている前記対象物に対して作業を行うために前記ロボットアームについてあらかじめ計画された動作経路を表す経路情報を、前記ズレ量を用いて補正する機能と、を実現させる。
上記形態によれば、画像センサーを用いて取得された画像および点群データと基準情報とから算出したズレ量を用いて、あらかじめ計画された動作経路を補正することができる。

【0090】

本開示は、上記以外の種々の形態で実現することも可能である。例えば、コンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）の形態で実現することができる。

【符号の説明】

【0091】

１０…位置補正システム、１００…ロボット、１１０…基台、１２０…アーム、１２０ｅ…アームエンド、１５０…エンドエフェクター、２００…ロボットコントローラー、３００…３Ｄセンサー、３１０…撮像装置、３２０…プロジェクター、６００…作業台、７００…治具、８００…情報処理装置、８２０…メモリー、８３０…インターフェイス部、８４０…入力装置、８５０…表示装置、８６０…プロセッサー、９１０…取得部、９２０…算出部、９３０…補正部、Ｃ１…位置情報、Ｄ１０…データ、Ｄ２１，Ｄ２２…２次元データ、Ｄ３１，Ｄ３２…３次元データ、ＤＳ…基準情報、ｇ１,ｇ２…ズレ量、ＩＭ１…第１撮像画像、ＩＭ２…第２撮像画像、ＩＭ１０…第１基準画像、ＩＭ２０…第２基準画像、Ｊ１～Ｊ６…関節、Ｍ１…マーク、Ｐ０…開始点、Ｐ１…ポイント、ＰＩ…動作経路、ＰＷ…動作経路、ＲＣ…ロボット座標系、ＷＣ…対象座標系、ＷＫ…ワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】