特許 7674501 制御装置及びロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-28

(45)【発行日】2025-05-09

(54)【発明の名称】制御装置及びロボットシステム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20250430BHJP

   B25J 5/00 20060101ALI20250430BHJP

   B25J 9/10 20060101ALI20250430BHJP

【ＦＩ】

B25J13/08 A

B25J5/00 E

B25J9/10 A

【請求項の数】 8

(21)【出願番号】P 2023550935

(86)(22)【出願日】2021-09-30

(86)【国際出願番号】 JP2021036217

(87)【国際公開番号】W WO2023053374

(87)【国際公開日】2023-04-06

【審査請求日】2024-04-05

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100130133

【弁理士】

【氏名又は名称】曽根 太樹

(72)【発明者】

【氏名】高橋 悠太郎

(72)【発明者】

【氏名】並木 勇太

【審査官】臼井 卓巳

(56)【参考文献】

【文献】特開２０１０－１６２６３５（ＪＰ，Ａ）

【文献】特開平０７－１１６９７２（ＪＰ，Ａ）

【文献】特開２０２１－０３０３７１（ＪＰ，Ａ）

【文献】特開２０１８－１０７３１５（ＪＰ，Ａ）

【文献】特開２００４－３０１７９６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２８４８０２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ ５／００－１９／０４

Ｇ０５Ｄ １／４３

(57)【特許請求の範囲】

【請求項1】

搬送装置およびロボットを含む移動型ロボットに搭載した視覚センサの情報から作業空間に対する前記ロボットの動作の補正量を算出する補正量算出部と、
前記ロボットの動作の補正量に基づいて前記視覚センサの撮像位置及び撮像姿勢の少なくとも一方を変更し、変更後の前記視覚センサの情報に基づいて前記ロボットの動作に補正をかける制御部と、を備え、
前記補正量算出部は、前記ロボットが作業を行う位置に搬送装置が到達したときに、移動型ロボットの周りに予め配置されている複数の基準点を撮像した前記視覚センサの情報に基づいて、前記ロボットの動作の補正量を算出し、
前記補正量算出部は、前記基準点が前記視覚センサから取得した検出画像に写っていない場合に、前記基準点が前記視覚センサの視野内に配置されるように、前記視覚センサの撮像位置および撮像姿勢のうち少なくとも一方を変更するための前記ロボットの動作の補正量を設定する、制御装置。

【請求項2】

前記制御部は、過去の補正量に基づいて前記視覚センサの前記撮像位置及び前記撮像姿勢の少なくとも一方を変更する、請求項１に記載の制御装置。

【請求項3】

前記補正量算出部は、前記視覚センサの情報に基づいて検出された検出三次元情報と基準三次元情報とに基づき、前記作業空間に対する前記ロボットの基準位置及び基準姿勢の少なくとも一方からのずれ量を補正量として算出し、前記制御部は、前記ずれ量に基づいて前記視覚センサの前記撮像位置及び前記撮像姿勢の少なくとも一方を変更する、請求項１または２に記載の制御装置。

【請求項4】

前記補正量算出部は、前記作業空間の前記基準点が前記視覚センサから取得した検出画像に写っている場合には、前記検出画像を基準画像に近づけるように前記ロボットの移動量を補正量として算出し、前記制御部は、前記移動量に基づいて前記視覚センサの前記撮像位置及び前記撮像姿勢の少なくとも一方を変更する、請求項１または２に記載の制御装置。

【請求項5】

前記補正量算出部は機械学習を使用して補正量を算出し、前記制御部は補正量に基づいて前記視覚センサの移動と撮像を繰り返す、請求項１から４のいずれか一項に記載の制御装置。

【請求項6】

前記基準点は、前記ロボットが作業を行う機械に配置されている、請求項１から５のいずれか一項に記載の制御装置。

【請求項7】

搬送装置およびロボットを含む移動型ロボットに搭載した視覚センサの情報から作業空間に対する前記ロボットの動作の補正量を算出する補正量算出部と、
前記ロボットの動作の補正量に基づいて前記視覚センサの撮像位置及び撮像姿勢の少なくとも一方を変更し、変更後の前記視覚センサの情報に基づいて前記ロボットの動作に補正をかける制御部と、を備え、
前記補正量算出部は、前記ロボットが作業を行う位置に搬送装置が到達したときに、移動型ロボットの周りに予め配置されている複数の基準点を撮像した前記視覚センサの情報に基づいて、前記ロボットの動作の補正量を算出し、
前記補正量算出部は、ステレオ法によって複数の前記基準点の位置を検出するように形成されており、複数の前記基準点のうち少なくとも一つが前記視覚センサの視野の端の領域に配置されるように、前記視覚センサの撮像位置および撮像姿勢のうち少なくとも一方を変更する補正量を設定する、制御装置。

【請求項8】

請求項１または７に記載の制御装置と、
移動型ロボットと、
前記移動型ロボットに搭載した視覚センサと、を備える、ロボットシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットの制御技術に関し、特にロボットの動作に補正をかける制御装置及びロボットシステムに関する。

【背景技術】

【0002】

昨今、台車、ＡＧＶ（automated guided vehicle：無人搬送車）、搬送レールシステム等の搬送装置に載せたロボットや、搬送装置と一体化したロボット等の移動型ロボットにおいて、移動型ロボットを、工作機械、建設機械等の機械の近傍や、車両、航空機、建築物、これら部品等のワークの近傍に移動させ、ロボットによって種々の作業を行うロボットシステムが多数提案されている。

【0003】

斯かる移動型ロボットが、ワークのロード／アンロード、ツールの交換、ワークの加工（例えば切削、研磨、溶接、嵌合、締結、シーリング等）等の種々の作業を行う場合に、移動型ロボットの停止位置や停止姿勢が変わると、又は作業空間における作業対象である機械やワークの位置や姿勢が変化すると、作業空間に対するロボットの位置や姿勢も変化するため、ロボットは毎回同じ動作をしているだけでは適切に作業できないことがある。このため、作業空間に対するロボットの位置や姿勢のずれを計測し、ロボットの動作に補正をかける技術が提案されている。

【0004】

ロボットの動作に補正をかける手法としては、例えばロボットの手先等に視覚センサを取付け、視覚センサを用いて作業空間に設置した複数の基準点の三次元位置を検出し、作業空間に対するロボットの基準位置や基準姿勢からのずれ量（補正量）を算出してロボットの動作に補正をかける技術がある（例えば特許文献１、２等）。しかしながら、例えば移動型ロボットが他の機械や他のワークの近傍へ移動し、移動型ロボットの停止位置や停止姿勢が変化すると、又は作業空間における作業対象である機械やワークの位置や姿勢が変化すると、作業空間にある基準点が視覚センサの視野から外れてしまうことがある。このため、基準点が視覚センサの視野に入るように、移動型ロボットの停止位置や停止姿勢を手動で変更したり、又は作業対象である機械やワークの位置や姿勢を手動で変更したり、又は撮像位置又は撮像姿勢を教示し直したりといった手間や試行錯誤が発生する。従って、ロボットの補正処理に時間を要することになる。

【0005】

特許文献１には、ロボットが搭載された無人搬送車上に視覚センサを固定し、作業台上にマークを設け、無人搬送車が教示位置に停止した状態で視覚センサにより検出したマークの位置ずれ量に基づいてロボットによるワークに対するハンドリング位置を補正することが記載されています。

【0006】

特許文献２には、ロボットを搭載した無人搬送車が停止した状態で撮像手段により基準点位置の検出を行い、当該停止した状態でロボットがワークに対して所定の作業を行うと、作業に要する時間が長くなり高タクト化が難しくなるため、ロボットを搭載した第１の移動体が移動している状態で第１の移動体に取付けたカメラが異なるタイミングで撮像した基準物の２以上の画像を取得し、第１の移動体が移動している状態で２以上の画像に基づいて所定の作業を行うことが記載されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開平１１－１５６７６４号公報

【文献】特開２０１９－０９３４８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、従来の問題点に鑑み、ロボットの補正処理を自動化する技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示の第１の態様は、搬送装置およびロボットを含む移動型ロボットに搭載した視覚センサの情報から作業空間に対するロボットの動作の補正量を算出する補正量算出部と、ロボットの動作の補正量に基づいて視覚センサの撮像位置及び撮像姿勢の少なくとも一方を変更し、変更後の視覚センサの情報に基づいてロボットの動作に補正をかける制御部と、を備える、制御装置を提供する。補正量算出部は、ロボットが作業を行う位置に搬送装置が到達したときに、移動型ロボットの周りに予め配置されている複数の基準点を撮像した視覚センサの情報に基づいて、ロボットの動作の補正量を算出する。補正量算出部は、基準点が視覚センサから取得した検出画像に写っていない場合に、基準点が視覚センサの視野内に配置されるように、視覚センサの撮像位置および撮像姿勢のうち少なくとも一方を変更するためのロボットの動作の補正量を設定する。
本開示の第２の態様は、搬送装置およびロボットを含む移動型ロボットに搭載した視覚センサの情報から作業空間に対するロボットの動作の補正量を算出する補正量算出部と、ロボットの動作の補正量に基づいて視覚センサの撮像位置及び撮像姿勢の少なくとも一方を変更し、変更後の視覚センサの情報に基づいてロボットの動作に補正をかける制御部と、を備える、制御装置を提供する。補正量算出部は、ロボットが作業を行う位置に搬送装置が到達したときに、移動型ロボットの周りに予め配置されている複数の基準点を撮像した視覚センサの情報に基づいて、ロボットの動作の補正量を算出する。補正量算出部は、ステレオ法によって複数の基準点の位置を検出するように形成されており、複数の基準点のうち少なくとも一つが視覚センサの視野の端の領域に配置されるように、視覚センサの撮像位置および撮像姿勢のうち少なくとも一方を変更する補正量を設定する。
本開示の第３の態様は、前述の制御装置と、移動型ロボットと、ロボットに搭載した視覚センサと、を備える、ロボットシステムを提供する。

【発明の効果】

【0010】

本開示の一態様によれば、移動型ロボットの停止位置又は停止姿勢が変化する場合であっても、又は作業対象である機械やワークの位置や姿勢が変化する場合であっても、補正量に基づいて視覚センサの撮像位置及び撮像姿勢の少なくとも一方を自動的に変更するため、基準点が視覚センサの視野に入るように、移動型ロボットの停止位置又は停止姿勢を手動で変更したり、又は作業対象である機械やワークの位置や姿勢を手動で変更したり、又は撮像位置や撮像姿勢を教示し直したりといった手間や試行錯誤がなくなり、ロボットの補正処理を自動化できる。

【図面の簡単な説明】

【0011】

【図1】第一実施形態のロボットシステムの構成図である。

【図2】第一実施形態のロボットシステムの機能ブロック図である。

【図3】第一実施形態のロボットシステムの初回の補正フローチャートである。

【図4】第一実施形態のロボットシステムの次回以降の補正ローチャートである。

【図5】視覚センサの撮像位置姿勢と基準点の検出三次元位置の一例の説明図である。

【図6】移動型ロボットのずれ量（補正量）の算出例の説明図である。

【図7】第二実施形態のロボットシステムの補正フローチャートである。

【図8】第二実施形態のロボットの移動量（補正量）の算出原理の説明図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。

【0013】

以下、第一実施形態のロボットシステム１について説明する。図１は第一実施形態のロボットシステム１の構成図である。ロボットシステム１は、移動型ロボット１０と、視覚センサ１１と、移動型ロボット１０を制御する制御装置１２と、を備えている。また、ロボットシステム１は、必須ではないが、移動型ロボット１０に対する教示や状態の確認を行う教示装置１３をさらに備えている。

【0014】

移動型ロボット１０は、ロボット１０ａと、搬送装置１０ｂと、ツール１０ｃと、を備えている。移動型ロボット１０はロボット１０ａと搬送装置１０ｂが着脱可能に連結されて構成されるが、これに限定されず、他の実施形態では、ロボット１０ａと搬送装置１０ｂが一体化されて構成されてもよい。

【0015】

ロボット１０ａは、多関節ロボットで構成されるが、これに限定されず、他の実施形態では、単関節ロボット、双腕ロボット、パラレルリンク型ロボット等の他の産業用ロボット（ロボットアーム）で構成されてもよいし、又はヒューマノイド等の他の形態のロボットで構成されてもよい。ロボット１０ａは、搬送装置１０ｂに搭載され、制御装置１２によって制御される。

【0016】

搬送装置１０ｂは、台車等の手動搬送装置で構成されるが、これに限定されず、他の実施形態では、ＡＧＶ（automated guided vehicle：無人搬送車）、搬送レールシステム等の自動搬送装置で構成されてもよい。自動搬送装置の場合、搬送装置１０ｂは、制御装置１２によって制御されてもよい。

【0017】

ツール１０ｃは、多指把持式ハンド、吸着式ハンド等のハンドで構成されるが、これに限定されず、他の実施形態では、切削ツール、溶接ツール、シーリングツール等の加工ツールで構成されてもよい。ツール１０ｃは、ロボット１０ａの手先に着脱可能に連結される。

【0018】

視覚センサ１１は、輝度情報を出力する二次元センサを備えているが、これに限定されず、他の実施形態では、距離情報を出力する三次元センサを備えていてもよい。また、視覚センサ１１は、一台のカメラで構成されるが、これに限定されず、他の実施形態では、二台のステレオカメラで構成されてもよい。視覚センサ１１は、移動型ロボット１０に搭載される。視覚センサ１１は、ロボット１０ａの手首部に搭載されるが、これに限定されず、他の実施形態では、ロボット１０ａの腕部、ツール１０ｃ、搬送装置１０ｂ等の他の可動部に搭載されてもよい。

【0019】

制御装置１２は、公知のＰＬＣ（programmable logic controller）で構成されるが、他の実施形態では、他のコンピュータで構成されてもよい。制御装置１２は、互いにバスで接続されたプロセッサ、メモリ、入出力インタフェース等（図示せず）を備えている。制御装置１２は、教示装置１３で教示された動作プログラムに従って移動型ロボット１０の動作を制御する。制御装置１２は、ロボット１０ａの動作を制御するが、これに限定されず、他の実施形態では、搬送装置１０ｂの動作を制御してもよい。

【0020】

制御装置１２は、世界座標系、機械座標系、フランジ座標系、ツール座標系、カメラ座標系、ユーザ座標系等の種々の座標系を設定する。これら座標系は、例えば直交座標系でよい。説明を容易にするため、本実施形態では、制御装置１２は、機械座標系Ｍとカメラ座標系Ｃを設定しているものとする。機械座標系Ｍは、ロボット１０ａの基準位置（例えばベース）に固定される。カメラ座標系Ｃは、視覚センサ１１の基準位置（例えば焦点位置）に固定される。

【0021】

教示装置１３は、ティーチペンダント等で構成されるが、これに限定されず、他の実施形態では、教示操作盤、他のコンピュータ等で構成されてもよい。教示装置１３は、移動型ロボット１０の動作プログラムを編集し又は作成する。教示装置１３は、編集又は作成した動作プログラムを制御装置１２へ送出する。

【0022】

以上の構成のロボットシステム１において、移動型ロボット１０は、作業対象である機械２０の近傍に移動され、ワークＷのロード／アンロード、機械２０のツール交換等を行うが、これに限定されず、他の実施形態では、ワークＷの加工（例えば切削、研磨、溶接、嵌合、締結、シーリング等）等の他の作業を行うこともある。

【0023】

機械２０は、フライス盤等の公知の工作機械で構成されるが、これに限定されず、他の実施形態では、建設機械、農業機械等の他の産業機械で構成されてもよい。例えば機械２０は、ワークＷを加工するツール２１と、ツール２１の動作を制御する制御装置２２と、を備えている。制御装置２２は、公知のＣＮＣ（computerized numerical control：コンピュータ数値制御）装置で構成される。

【0024】

移動型ロボット１０は、作業空間Ｓにおいて、ワークＷを機械２０にロード／アンロードしたり、又は機械２０のツール２１を交換したりといった作業を行う。移動型ロボット１０が他の機械２０や他のワークＷの近傍へ移動し、移動型ロボット１０（搬送装置１０ｂ）の停止位置や停止姿勢が変化すると、又は作業空間Ｓにおける作業対象である機械２０やワークＷの位置や姿勢が変化すると、作業空間Ｓに対する移動型ロボット１０の位置及び姿勢の少なくとも一方も変化するため、ロボット１０ａは毎回同じ動作をしているだけでは適切に作業を実行できない。

【0025】

そこで、制御装置１２は、視覚センサ１１の情報から作業空間Ｓに対する移動型ロボット１０の位置及び姿勢の少なくとも一方のずれ量を補正量として算出し、ずれ量（補正量）に基づいて移動型ロボット１０（ロボット１０ａ）の動作に補正をかける。制御装置１２は、ずれ量（補正量）に基づいてロボット１０ａの動作に補正をかけるが、搬送装置１０ｂが自動搬送装置の場合は、ずれ量（補正量）に基づいて搬送装置１０ｂの動作に補正をかけることもある。

【0026】

作業空間Ｓに対する移動型ロボット１０の位置及び姿勢の少なくとも一方のずれ量を算出するため、制御装置１２は、視覚センサ１１の情報から作業空間Ｓの基準点Ｔａ、Ｔｂ、Ｔｃの三次元位置を検出する。基準点Ｔａ、Ｔｂ、Ｔｃの三次元位置の検出には、ステレオ法を用いるが、他の実施形態では、ＴＯＦ（time of flight）法、光投影法（光切断法、位相シフト法、空間コード法等）、焦点法等の他の三次元計測法を用いてもよい。

【0027】

作業空間Ｓに対する移動型ロボット１０の位置及び姿勢の少なくとも一方を算出するため、基準点Ｔａ、Ｔｂ、Ｔｃは、複数（少なくとも二個以上）なければならない。例えば基準点Ｔａ、Ｔｂ、Ｔｃは、作業空間Ｓに設置された三個のターゲットマークであるが、これに限定されず、他の実施形態では、作業空間Ｓに存在する既知の特徴点、例えば機械２０の角部等でもよい。

【0028】

作業空間Ｓに対する移動型ロボット１０の位置及び姿勢の少なくとも一方を精度良く算出するため、複数の基準点Ｔａ、Ｔｂ、Ｔｃは、互いに極力離して設置されるとよい。例えば二個の基準点Ｔａ、Ｔｂは機械２０の外部（例えば機械２０の右外部と左外部）にそれぞれ設置し、一個の基準点Ｔｃは機械２０の内部（例えばワークＷの上部）に設置されるが、これに限定されず、他の実施形態では、一個の基準点が機械２０の外部に設置され、二個の基準点が機械２０の内部に設置されてもよい。

【0029】

制御装置１２は、ロボット１０ａを動作させて視覚センサ１１を撮像位置及び撮像姿勢の少なくとも一方へ順次移動させ、視覚センサ１１は、基準点Ｔａ、Ｔｂ、Ｔｃを順次撮像していく。制御装置１２は、視覚センサ１１の情報に基づいて基準点Ｔａ、Ｔｂ、Ｔｃの検出三次元位置を含む検出三次元情報を検出し、検出三次元情報と、基準点Ｔａ、Ｔｂ、Ｔｃの基準三次元位置を含む基準三次元情報とに基づき、作業空間Ｓに対する移動型ロボット１０の基準位置及び基準姿勢の少なくとも一方からのずれ量を補正量として算出し、ずれ量（補正量）に基づいて移動型ロボット１０の動作に補正をかける。

【0030】

図２は第一実施形態のロボットシステム１の機能ブロック図である。制御装置１２は、記憶部３３、三次元情報検出部３２、補正量算出部３０、及び制御部３１を備えている。記憶部３３は、ＲＡＭ、ＲＯＭ等のメモリで構成される。記憶部３３以外の構成要素は、コンピュータプログラムの一部又は全部で構成されるが、これに限定されず、他の実施形態では、半導体集積回路の一部又は全部で構成されてもよい。また、他の実施形態において、制御部３１以外の構成要素は、有線又は無線で制御装置１２に接続可能な外部コンピュータ装置に配置されてもよい。

【0031】

記憶部３３は、移動型ロボット１０の動作プログラム、視覚センサ１１のキャリブレーションデータ（いわゆる内部パラメータ及び外部パラメータ）、基準点Ｔの基準三次元位置を含む基準三次元情報、過去のずれ量（補正量）等の種々の情報を記憶している。なお、基準点Ｔは、複数の基準点Ｔａ、Ｔｂ、Ｔｃを省略表記したものである。

【0032】

三次元情報検出部３２は、視覚センサ１１の情報に基づいて基準点Ｔの検出三次元位置を含む検出三次元情報を検出する。前述の通り、三次元情報検出部３２は、ステレオ法を用いて基準点Ｔの検出三次元位置を検出するが、これに限定されず、他の実施形態では、ＴＯＦ法、光投影法、焦点法等の他の三次元計測法を用いてもよい。三次元情報検出部３２は、検出三次元情報を補正量算出部３０へ送出する。

【0033】

補正量算出部３０は、ずれ量算出部３０ａを備えている。ずれ量算出部３０ａは、コンピュータプログラムの一部又は全部で構成されるが、これに限定されず、他の実施形態では、半導体集積回路の一部又は全部で構成されてもよい。ずれ量算出部３０ａは、検出三次元情報と、予め記憶された基準三次元情報とに基づき、作業空間Ｓに対する移動型ロボット１０の基準位置及び基準姿勢の少なくとも一方からずれ量（補正量）を算出する。ずれ量算出部３０ａは、算出したずれ量（補正量）を制御部３１へ送出すると共に、ずれ量（補正量）を過去の補正量として記憶部３３に記憶しておく。

【0034】

制御部３１は、ずれ量（補正量）に基づいて移動型ロボット１０の動作に補正をかける。制御部３１は、ずれ量（補正量）に基づいてロボット１０ａの動作に補正をかけるが、他の実施形態では、ずれ量（補正量）に基づいて搬送装置１０ｂの動作に補正をかけてもよい。

【0035】

移動型ロボット１０が他の機械２０や他のワークＷの近傍へ移動し、移動型ロボット１０（搬送装置１０ｂ）の停止位置又は停止姿勢が変化した場合や、作業対象である機械２０やワークＷの位置や姿勢が変化した場合は、基準点Ｔが視覚センサ１１の視野から外れてしまう可能性がある。従って、過去のずれ量（補正量）が記憶部３３に既に記憶されている場合は、先ず、制御部３１が過去のずれ量（補正量）に基づいて視覚センサ１１の撮像位置及び撮像姿勢の少なくとも一方を自動的に変更して移動型ロボット１０を動作させる。制御部３１は、変更後に撮像指令を視覚センサ１１へ送出し、視覚センサ１１は、撮像指令に応じて基準点Ｔを撮像する。

【0036】

これにより、基準点Ｔが視覚センサ１１の視野に入る可能性が高くなるため、基準点Ｔが視覚センサ１１の視野に入るように、移動型ロボット１０（搬送装置１０ｂ）の停止位置又は停止姿勢を手動で変更する手間や、作業対象である機械２０やワークＷの位置や姿勢を手動で変更する手間や、撮像位置や撮像姿勢を教示し直す試行錯誤等がなくなり、移動型ロボット１０の補正処理を自動化できることになる。

【0037】

基準点Ｔが視覚センサ１１の視野に入った後、三次元情報検出部３２は、視覚センサ１１の情報に基づいて基準点Ｔの検出三次元位置を含む検出三次元情報を検出し、補正量算出部３０は、検出三次元情報と、基準点Ｔの基準三次元位置を含む基準三次元情報とに基づき、作業空間Ｓに対する移動型ロボット１０の基準位置及び基準姿勢の少なくとも一方からのずれ量（補正量）を算出し、制御部３１は、ずれ量（補正量）に基づいて移動型ロボット１０の動作を補正する。

【0038】

以下、図３－図６を参照して第一実施形態のロボットシステム１の詳細な動作について説明する。図３は第一実施形態のロボットシステム１の初回の補正フローチャートである。初回の補正とは、過去のずれ量（補正量）が記憶部３３に記憶されていないときのロボットの動作に補正をかける処理である。

【0039】

初回の補正では、先ず、ステップＳ１において、移動型ロボット１０（搬送装置１０ｂ）を手動で又は自動で基準位置又は基準姿勢に移動させる。ステップＳ２では、制御部３１が移動型ロボット１０を動作させて視覚センサ１１を予め教示した撮像位置及び撮像姿勢の少なくとも一方へ移動させる。

【0040】

図５は、視覚センサ１１の撮像位置姿勢Ｃ１～Ｃ６と基準点Ｔａ、Ｔｂ、Ｔｃの検出三次元位置の一例の説明図である。撮像位置姿勢Ｃ１～Ｃ６は、撮像位置及び撮像姿勢の少なくとも一方を含む。ステレオ法を用いる場合、一個の基準点につき異なる位置で二回撮像するため、三個の基準点Ｔａ、Ｔｂ、Ｔｃがある場合、撮像位置姿勢Ｃ１～Ｃ６は六箇所になる。但し、ＴＯＦ法、光切断法を用いる他の実施形態では、撮像位置姿勢が三箇所になることに留意されたい。撮像位置姿勢Ｃ１～Ｃ６は予め教示されているものとする。

【0041】

図３を再び参照すると、ステップＳ３では、視覚センサ１１が基準点Ｔａ、Ｔｂ、Ｔｃを撮像位置姿勢Ｃ１～Ｃ６で撮像する。基準点Ｔａ、Ｔｂ、Ｔｃが視覚センサ１１の視野に入っていない場合、初回の補正では、基準点Ｔａ、Ｔｂ、Ｔｃが視覚センサ１１の視野に入るように移動型ロボット１０（搬送装置１０ｂ）の停止位置又は停止姿勢を手動で変更し、又は作業対象である機械２０やワークＷの位置や姿勢を手動で変更し、又は視覚センサ１１の撮像位置又は撮像姿勢を教示し直す。

【0042】

図５に示すように、特にステレオ法を用いる場合、基準点Ｔａ、Ｔｂ、Ｔｃが視覚センサ１１の視野の端にくると、二枚の撮像画像に写る基準点Ｔの距離（つまり視差）を長くとれるため、基準点Ｔａ、Ｔｂ、Ｔｃの三次元位置の精度が向上する。従って、ステレオ法を用いる場合は、基準点Ｔが視覚センサ１１の視野の端にくるように移動型ロボット１０（搬送装置１０ｂ）の停止位置又は停止姿勢を手動で変更し、又は作業対象である機械２０やワークＷの位置や姿勢を手動で変更し、又は視覚センサ１１の撮像位置又は撮像姿勢を教示し直す。

【0043】

図３を再び参照すると、ステップＳ４では、三次元情報検出部３２が視覚センサ１１の情報に基づいて基準点Ｔａ、Ｔｂ、Ｔｃの検出三次元位置を含む検出三次元情報を検出する。

【0044】

以下、図５を参照して基準点Ｔａ、Ｔｂ、Ｔｃの検出三次元位置の検出例について説明する。説明を容易にするため、撮像位置姿勢Ｃ１とＣ２、撮像位置姿勢Ｃ３とＣ４、及び撮像位置姿勢Ｃ５とＣ６において、視覚センサ１１は等位平行化して配置されるものとする。つまり撮像位置姿勢Ｃ１とＣ２、撮像位置姿勢Ｃ３とＣ４、及び撮像位置姿勢Ｃ５とＣ６において、視覚センサ１１は基線長Ｂだけ離れ、視覚センサ１１の光軸Ｏが平行に配置され、光軸Ｏに直交する面内に視覚センサ１１のイメージセンサが配置され、イメージセンサのｘ方向及びｙ方向が同一方向に配向されるものとする。

【0045】

例えば撮像位置姿勢Ｃ１とＣ２において、二箇所の撮像位置姿勢Ｃ１とＣ２のうちの撮像位置姿勢Ｃ１をカメラ座標系Ｃの原点とし、撮像位置姿勢Ｃ１、Ｃ２のそれぞれを視覚センサ１１の焦点位置とし、視覚センサ１１の焦点距離をｆとし、２枚の撮像画像に写る基準点Ｔａの視差をＤとし、視覚センサ１１の画素間ピッチを１ｍｍ（＝１画素）とすると、カメラ座標系Ｃの原点から基準点Ｔａまでの距離、つまりカメラ座標系Ｃにおける基準点ＴａのＺ座標^c1ｚ_aは、ステレオ法により、下記式から求められる。

【0046】

【数1】

【0047】

なお、^c1ｚ_aにおいて、左上添え字は座標系の原点を表し、右下添え字はその座標系における座標点を表す。つまり^c1ｚ_aは、カメラ座標系Ｃの原点が撮像位置姿勢Ｃ１にあり、カメラ座標系Ｃにおける基準点ＴａのＺ座標を表す。

【0048】

基線長Ｂと焦点距離ｆは、二箇所の撮像位置姿勢と視覚センサ１１の設計で定まる定数であるため、三次元情報検出部３２は、基準点Ｔａの検出処理、マッチング処理等の画像処理に基づいて２枚の撮像画像に写る基準点Ｔａの視差Ｄを算出すれば、基準点Ｔａのｚ座標^c1ｚ_aを検出できることになる。

【0049】

また、撮像画像の左上端を原点とした画像座標系において、撮像画像に写る基準点Ｔの画像座標を（ｘ，ｙ）とし、画像座標系の画像中心を（ｃ_x，ｃ_y）とすると、三次元情報検出部３２は、カメラ座標系Ｃにおける基準点Ｔａのｘ座標^c1ｘ_aとｙ座標^c1ｙ_aは、例えば下記式から算出される。

【0050】

【数2】

【0051】

【数3】

【0052】

なお、^c1ｘ_a、^c1ｙ_aにおいて、左上添え字は座標系の原点を表し、右下添え字はその座標系における座標点を表す（以下同）。つまり^c1ｘ_a、^c1ｙ_aはそれぞれ、カメラ座標系Ｃの原点が撮像位置姿勢Ｃ１にあるときの、カメラ座標系Ｃにおける基準点ＴａのＸ座標、Ｙ座標を表す。

【0053】

また、三次元情報検出部３２は、必要に応じて収差補正を行うこともある。収差補正の補正係数、焦点距離ｆ、画像中心（ｃ_x，ｃ_y）、画素間ピッチ等の視覚センサ１１の内部パラメータは、記憶部３３に予め記憶されているものとする。

【0054】

以上から、カメラ座標系Ｃにおける基準点Ｔａの検出三次元位置（^c1ｘ_a，^c1ｙ_a，^c1ｚ_a）が求められる。同様に、カメラ座標系Ｃにおける基準点Ｔｂ、Ｔｃの検出三次元位置（^c3ｘ_b，^c3ｙ_b，^c3ｚ_b）、（^c5ｘ_c，^c5ｙ_c，^c5ｚ_c）も求められる。

【0055】

次に、三次元情報検出部３２は、基準点Ｔａ、Ｔｂ、Ｔｃの検出三次元位置をカメラ座標系Ｃから機械座標系Ｍへ変換する。撮像位置姿勢Ｃ１、Ｃ３、Ｃ５において、機械座標系Ｍにおける視覚センサ１１の位置及び姿勢（つまりカメラ座標系Ｃの位置及び姿勢）が、Ｃ１（^mｘ_c1，^mｙ_c1，^mｚ_c1，^mｗ_c1，^mｐ_c1，^mｒ_c1）、Ｃ３（^mｘ_c3，^mｙ_c3，^mｚ_c3，^mｗ_c3，^mｐ_c3，^mｒ_c3）、及びＣ５（^mｘ_c5，^mｙ_c5，^mｚ_c5，^mｗ_c5，^mｐ_c5，^mｒ_c5）、）であるとすると、機械座標系Ｍの三次元位置をカメラ座標系Ｃの三次元位置に座標変換するための視覚センサ１１の外部パラメータ（Ｒ，ｔ）_c1、（Ｒ，ｔ）_c3、（Ｒ，ｔ）_c5は、例えば同次変換行列で、下記式のように表される。なお、視覚センサ１１の外部パラメータは、記憶部３３に予め記憶されているものとする。

【0056】

【数4】

【0057】

上記式において、Ｒは回転行列（同次変換行列の第一行第一列から第三行第三列まで）を表し、ｔは平行移動量、つまり並進ベクトル（同次変換行列の第一行第四列から第三行第四列まで）を表す。また、^mｘ_c1、^mｙ_c1、^mｚ_c1はそれぞれ、機械座標系Ｍにおける視覚センサ１１の撮像位置姿勢Ｃ１のＸ座標、Ｙ座標、Ｚ座標（カメラ座標系Ｃの位置）であり、^mｗ_c1、^mｐ_c1、^mｒ_c1はそれぞれ、機械座標系Ｍにおける視覚センサ１１の撮像位置姿勢Ｃ１のＸ軸回りの回転量、Ｙ軸回りの回転量、Ｚ軸回りの回転量（カメラ座標系の姿勢）である。撮像位置姿勢Ｃ３、Ｃ５についても同様である。

【0058】

従って、カメラ座標系Ｃにおける基準点Ｔａ、Ｔｂ、Ｔｃの検出三次元位置（^c1ｘ_a，^c1ｙ_a，^c1ｚ_a）、（^c3ｘ_b，^c3ｙ_b，^c3ｚ_b）、（^c5ｘ_c，^c5ｙ_c，^c5ｚ_c）はそれぞれ、下記式により、機械座標系Ｍにおける基準点Ｔａ、Ｔｂ、Ｔｃのそれぞれの三次元位置（^mｘ_a，^mｙ_a，^mｚ_a）、（^mｘ_b，^mｙ_b，^mｚ_b）、（^mｘ_c，^mｙ_c，^mｚ_c）に変換される。

【0059】

【数5】

【0060】

上記式において、Ｒ^Tは、回転行列Ｒの転置行列を表す。以上により、三次元情報検出部３２は、機械座標系Ｍにおける基準点Ｔａ、Ｔｂ、Ｔｃの検出三次元位置を検出する。

【0061】

図３を再び参照すると、ステップＳ５では、ずれ量算出部３０ａが、基準点Ｔａ、Ｔｂ、Ｔｃの検出三次元位置を含む検出三次元情報と、基準点Ｔａ、Ｔｂ、Ｔｃの基準三次元位置を含む基準三次元情報とに基づき、作業空間Ｓに対する移動型ロボット１０の基準位置及び基準姿勢の少なくとも一方からのずれ量（補正量）を算出する。また、ずれ量算出部３０ａは、算出したずれ量（補正量）を過去の補正量として記憶部３３に記憶しておく。

【0062】

以下、作業空間Ｓに対する移動型ロボット１０の基準位置及び基準姿勢の少なくとも一方からのずれ量の算出例について説明する。図６は、移動型ロボット１０のずれ量（補正量）の算出例の説明図である。図６には、基準三次元情報と検出三次元情報が示されている。基準三次元情報は、機械座標系Ｍ（０，０，０，０，０，０）における基準点Ｔａ、Ｔｂ、Ｔｃの基準三次元位置Ｔａ（^mｘ_ra，^mｙ_ra，^mｚ_ra）、Ｔｂ（^mｘ_rb，^mｙ_rb，^mｚ_rb）、Ｔｃ（^mｘ_rc，^mｙ_rc，^mｚ_rc）を含んでいる。一方、検出三次元情報は、移動型ロボット１０（搬送装置１０ｂ）の停止位置又は停止姿勢のずれ、又は作業対象である機械２０やワークＷの位置や姿勢のずれにより、基準三次元情報の機械座標系Ｍからずれた機械座標系Ｍ’（０，０，０，０，０，０）における基準点Ｔａ、Ｔｂ、Ｔｃの検出三次元位置Ｔａ（^m’ｘ_a，^m’ｙ_a，^mｚ_a）、Ｔｂ（^m’ｘ_b，^m’ｙ_b，^m’ｚ_b）、Ｔｃ（^m’ｘ_c，^m’ｙ_c，^m’ｚ_c）を含んでいる。

【0063】

基準三次元情報において、基準点Ｔａ、Ｔｂ、Ｔｃを底面とし、機械座標系Ｍの原点を頂点とする三角錐が、検出三次元情報における機械座標系Ｍ’上で回転及び平行移動したと考えると、作業空間Ｓに対する移動型ロボット１０の基準位置及び基準姿勢の少なくとも一方からのずれ量（補正量）は、検出三次元情報の機械座標系Ｍ’における基準三次元情報の機械座標系Ｍの位置及び姿勢に相当することになる。つまり、作業空間Ｓに対する移動型ロボット１０の基準位置及び基準姿勢の少なくとも一方からのずれ量（補正量）は、Ｍ（^m’ｘ_m，^m’ｙ_m，^m’ｚ_m，^m’ｗ_m，^m’ｐ_m，^m’ｒ_m）と表現できる。なお、^m’ｘ_m、^m’ｙ_m、^m’ｚ_mはそれぞれ、検出三次元情報の機械座標系Ｍ’における基準三次元情報の機械座標系Ｍの位置のＸ座標、Ｙ座標、Ｚ座標であり、^m’ｗ_m，^m’ｐ_m，^m’ｒ_mはそれぞれ、検出三次元情報の機械座標系Ｍ’における基準三次元情報の機械座標系Ｍの姿勢（Ｘ軸回りの回転量、Ｙ軸回りの回転量、Ｚ軸回りの回転量）である。

【0064】

このとき、基準三次元情報における三角錐の各点、つまりＭ（０，０，０）、Ｔａ（^mｘ_ra，^mｙ_ra，^mｚ_ra）、Ｔｂ（^mｘ_rb，^mｙ_rb，^mｚ_rb）、Ｔｃ（^mｘ_rc，^mｙ_rc，^mｚ_rc）が、検出三次元情報の機械座標系Ｍ’において回転及び平行移動した後に、Ｍ（^m’ｘ_m，^m’ｙ_m，^m’ｚ_m）、Ｔａ（^m’ｘ_a，^m’ｙ_a，^m’ｚ_a）、Ｔｂ（^m’ｘ_b，^m’ｙ_b，^m’ｚ_b）、Ｔｃ（^m’ｘ_c，^m’ｙ_c，^m’ｚ_c）へ移動したと考えると、基準点Ｔａ、Ｔｂ、Ｔｃの基準三次元位置と、基準点Ｔａ、Ｔｂ、Ｔｃの検出三次元位置との間には、下記の関係式が成り立つ。

【0065】

【数6】

【0066】

上記式において、ｒ１１～ｒ３３は回転行列の各要素（同次変換行列の第一行第一列から第三行第三列まで）を表し、^m’ｘ_m，^m’ｙ_m，^m’ｚ_mは平行移動量、つまり並進ベクトルの各要素（同次変換行列の第一行第四列から第三行第四列まで）を表す。

【0067】

上記式をＸ’＝Ｔ・Ｘと表し、この両辺にＸの逆行列Ｘ^-1を掛けると、Ｔ＝Ｘ’・Ｘ^-1となる。Ｘの逆行列Ｘ^-1は、余因子行列又は掃出し法で求められる。同次変換行列Ｔ＝Ｘ’・Ｘ^-1において、不明な変数は、ずれ量（補正量）であるＭ（^m’ｘ_m，^m’ｙ_m，^m’ｚ_m，^m’ｗ_m，^m’ｐ_m，^m’ｒ_m）の六個であるため、少なくとも６つの連立方程式を立てて解くことにより、作業空間Ｓに対する移動型ロボット１０の基準位置及び基準姿勢の少なくとも一方からのずれ量（補正量）が算出される。

【0068】

上記ずれ量（補正量）の算出方法は、あくまで一例であり、いわゆる線形代数学に基づく手法であるが、これに限定されず、他の実施形態では、幾何学等の他の手法を用いてもよいことに留意されたい。例えば基準三次元情報における三角錐の辺の成す角度や体積は不変であるため、ＴａＴｂ・ＴａＭ、ＴａＴｃ・ＴａＭ、ＴｂＴａ・ＴｂＭ、ＴｂＴｃ・ＴｂＭ、ＴｃＴａ・ＴｃＭ、ＴｃＴｂ・ＴｃＭ等のような内積や、１／６×（ＴａＴｂ×ＴａＴｃ）・ＴａＭで求められる三角錐の体積は不変である。そこで、基準三次元情報の機械座標系Ｍで計算した値＝検出三次元情報の機械座標系Ｍ’で計算した値という等式を少なくとも６つ立てて６個の連立方程式を解くことにより、ずれ量（補正量）^m’ｘ_m，^m’ｙ_m，^m’ｚ_m，^m’ｗ_m，^m’ｐ_m，^m’ｒ_mを求めてもよい。

【0069】

図３を再び参照すると、ステップＳ６では、制御部３１がずれ量（補正量）に基づいて移動型ロボット１０の動作に補正をかける。つまり制御部３１は、ずれ量（補正量）であるＭ（^m’ｘ_m，^m’ｙ_m，^m’ｚ_m，^m’ｗ_m，^m’ｐ_m，^m’ｒ_m）に基づいてロボット１０ａの動作軌道を構成する各教示点を補正する。例えば下記式に基づき、ロボット１０ａの動作軌道を構成する各教示点は、教示したときの機械座標系Ｍから、作業空間Ｓに対して移動型ロボット１０の位置及び姿勢の少なくとも一方がずれた後の機械座標系Ｍ’へ補正（座標変換）される。

【0070】

【数7】

【0071】

以上により、初回の補正が終了する。初回の補正が終了した後、移動型ロボット１０が他の機械２０や他のワークＷの近傍へ移動し、移動型ロボット１０（搬送装置１０ｂ）の停止位置又は停止姿勢がさらに変化した場合、又は作業空間Ｓにおける作業対象である機械２０やワークＷの位置や姿勢がさらに変化した場合、ロボットシステム１は、次回以降の補正フローチャートに従って移動型ロボット１０の動作を補正する。

【0072】

図４は第一実施形態のロボットシステム１の次回以降の補正フローチャートである。次回以降の補正とは、過去のずれ量（補正量）が記憶部３３に記憶されているときのロボットの動作に補正をかける処理である。先ず、ステップＳ７において、移動型ロボット１０（搬送装置１０ｂ）を他の機械２０や他のワークＷの近傍へ手動で又は自動で移動させる。ステップＳ８では、制御部３１が過去のずれ量（補正量）に基づいて視覚センサ１１の撮像位置姿勢Ｃ１～Ｃ６を自動的に変更して移動型ロボット１０を動作させる。つまり撮像位置姿勢Ｃ１～Ｃ６は、例えば下記式により、過去のずれ量（補正量）であるＭ（^m’ｘ_m，^m’ｙ_m，^m’ｚ_m，^m’ｗ_m，^m’ｐ_m，^m’ｒ_m）に基づいて撮像位置姿勢Ｃ１’～Ｃ６’へ補正（変換）される。

【0073】

【数8】

【0074】

ステップＳ９では、視覚センサ１１が基準点Ｔａ、Ｔｂ、Ｔｃを変更後の撮像位置姿勢Ｃ１’～Ｃ６’で撮像する。このとき、過去のずれ量（補正量）に基づいて撮像位置姿勢Ｃ１～Ｃ６が撮像位置姿勢Ｃ１’～Ｃ６’へ補正されているため、基準点Ｔａ～Ｔｃが視覚センサ１１の視野に入る可能性が高くなる。つまり次回以降の補正では、初回の補正の場合と比べ、基準点Ｔａ～Ｔｃが視覚センサ１１の視野に入るように、移動型ロボット１０（搬送装置１０ｂ）の停止位置又は停止姿勢を手動で変更する手間や、作業対象である機械２０やワークＷの位置や姿勢を手動で変更する手間や、撮像位置又は撮像姿勢を教示し直す試行錯誤等がなくなり、移動型ロボット１０の補正処理を自動化できることになる。

【0075】

特にステレオ法を用いる場合、図５に示すように基準点Ｔａ、Ｔｂ、Ｔｃが二枚の撮像画像の端にくるように（つまり視差Ｄを長くとるように）撮像位置姿勢Ｃ１～Ｃ６を教示することで基準点Ｔａ、Ｔｂ、Ｔｃの三次元位置の精度が向上するが、移動型ロボット１０（搬送装置１０ｂ）の停止位置又は停止姿勢が変化すると、又は作業対象である機械２０やワークＷの位置や姿勢が変化すると、基準点Ｔａ、Ｔｂ、Ｔｃが視覚センサ１１の視野から外れてしまうことがある。従って、過去のずれ量（補正量）を用いて撮像位置姿勢Ｃ１’～Ｃ６’へ自動的に補正することにより、基準点Ｔａ～Ｔｃが視覚センサ１１の視野から外れず、さらに、視覚センサ１１の視野の端にくるように撮像できる可能性が高くなる。従って、ステレオ法を用いる場合であっても、ユーザは特別難しい教示をせずに、移動型ロボット１０の動作に自動的に補正がかかることになる。また、ロボット１０ａの動作プログラムの作成の難易度を下げることができ、動作プログラムの作成時間を短縮できるといった副次的効果も得られる。

【0076】

なお、図４のステップＳ１０からステップＳ１２までの処理は、図３のステップＳ４からステップＳ６までの処理と同一であるため、説明を省略する。

【0077】

以上のように第一実施形態のロボットシステム１によれば、移動型ロボット１０（搬送装置１０ｂ）の停止位置又は停止姿勢が変化する場合であっても、又は作業対象である機械２０やワークＷの位置や姿勢が変化する場合であっても、過去のずれ量（補正量）に基づいて視覚センサ１１の撮像位置及び撮像姿勢の少なくとも一方を自動的に変更するため、基準点Ｔａ、Ｔｂ、Ｔｃが視覚センサ１１の視野に入るように、移動型ロボット（搬送装置１０ｂ）の停止位置又は停止姿勢を手動で変更したり、又は作業対象である機械２０やワークＷの位置や姿勢を手動で変更したり、又は撮像位置又は撮像姿勢を教示し直したりといった手間や試行錯誤がなくなり、ロボットの補正処理を自動化できる。

【0078】

以下、第二実施形態のロボットシステム１について説明する。図１を再び参照すると、第二実施形態のロボットシステム１は、視覚センサ１１から取得した検出画像を基準画像に近づけるように移動型ロボット１０の移動量を補正量として算出し、移動量（補正量）に基づいて視覚センサ１１の撮像位置及び撮像姿勢の少なくとも一方を変更し、変更後の視覚センサ１１の情報に基づいて移動型ロボット１０の動作に補正をかける。

【0079】

説明を容易にするため、移動型ロボット１０の移動量（補正量）は、視覚センサ１１の撮像位置及び撮像姿勢の少なくとも一方の移動量（カメラ座標系Ｃの移動量）とする。移動量（補正量）は、例えば移動前のカメラ座標系Ｃにおける移動後のカメラ座標系Ｃ’の位置姿勢Ｃ（^cｘ_c’，^cｙ_c’，^cｚ_c’，^cｗ_c’，^cｐ_c’，^cｒ_c’）と表すことができる。

【0080】

他の実施形態において、移動型ロボット１０の移動量（補正量）は、ロボット１０ａの先端（例えばフランジ中心）の位置及び姿勢の少なくとも一方の移動量（フランジ座標系の移動量）でもよいし、又はＴＣＰ（tool center point：ツール中心点）におけるツール１０ｃの位置及び姿勢の少なくとも一方の移動量（ツール座標系の移動量）でもよい。

【0081】

図２を再び参照すると、第二実施形態のロボットシステム１では、補正量算出部３０が移動量算出部３０ｂを備えている点で、第一実施形態のロボットシステム１とは異なる。移動量算出部３０ｂは、コンピュータプログラムの一部又は全部で構成されるが、これに限定されず、他の実施形態では、半導体集積回路の一部又は全部で構成されてもよい。

【0082】

移動型ロボット１０（搬送装置１０ｂ）を手動で又は自動で他の停止位置又は停止姿勢に移動させた後、又は作業対象である機械２０やワークＷを手動で又は自動で他の位置又は姿勢に移動させた後、制御部３１は、移動型ロボット１０を動作させて視覚センサを予め教示した撮像位置姿勢Ｃ１～Ｃ６へ視覚センサ１１を移動する。制御部３１は、移動後に撮像指令を視覚センサ１１に送出し、視覚センサ１１は、撮像指令に応じて撮像位置姿勢Ｃ１～Ｃ６で基準点Ｔを撮像する。

【0083】

移動量算出部３０ｂは、視覚センサ１１から取得した検出画像に基準点Ｔが写っているか否かを判定する。検出画像に基準点Ｔが写っていない場合、移動量算出部３０ｂは、任意の移動量（補正量）を制御部３１へ送出し、制御部３１は、任意の移動量（補正量）に基づいて視覚センサ１１の撮像位置及び撮像姿勢の少なくとも一方を変更して移動型ロボット１０を動作させる。任意の移動量（補正量）は、予め指定された移動量（補正量）でよく、例えばＣ（^cｘ_sc’，^cｙ_sc’，^cｚ_sc’，^cｗ_sc’，^cｐ_sc’，^cｒ_sc’）と表される。例えば任意の移動量（補正量）は、変更前の撮像位置を所定量だけ順次上下左右へ平行移動する４個の移動量（補正量）や、変更前の撮像姿勢を所定量だけ順次上下左右へ回転する４個の移動量（補正量）や、これらを組み合わせた４個の移動量（補正量）を含む。また、他の実施形態では、任意の補正量は第一実施形態におけるずれ量でもよい。制御部３１は、変更後に撮像指令を視覚センサ１１へ送出し、視覚センサ１１は、撮像指令に応じて基準点Ｔを撮像する。

【0084】

一方、検出画像に基準点Ｔが写っている場合、移動量算出部３０ｂは、視覚センサ１１から取得した検出画像が記憶部３３に予め記憶した基準画像に近づくように移動量（補正量）を算出する。移動量（補正量）の算出には、後述の機械学習を用いる。

【0085】

次に、移動量算出部３０ｂは、算出した移動量（補正量）が閾値以下か否かを判定する。移動量（補正量）が閾値を超えている場合、基準点Ｔが視覚センサ１１の視野の端にない可能性が高いため、移動量算出部３０ｂは、算出した移動量（補正量）を制御部３１へ送出し、制御部３１は、算出された移動量（補正量）に基づいて視覚センサ１１の撮像位置及び撮像姿勢の少なくとも一方を変更して移動型ロボット１０を動作させる。制御部３１は、変更後に撮像指令を視覚センサ１１へ送出し、視覚センサ１１は、撮像指令に応じて基準点Ｔを撮像する。

【0086】

一方、移動量（補正量）が閾値以下である場合、基準点Ｔが視覚センサ１１の視野の端にある可能性が高いため、移動量算出部３０ｂは、ずれ量（補正量）の算出指令をずれ量算出部３０ａへ送出し、ずれ量算出部３０ａは、第一実施形態で説明したように作業空間Ｓに対する移動型ロボット１０の基準位置及び基準姿勢の少なくとも一方からのずれ量（補正量）を算出する。

【0087】

ずれ量算出部３０ａは、算出したずれ量（補正量）を制御部３１へ送出し、制御部３１は、ずれ量（補正量）に基づいて移動型ロボット１０の動作に補正をかける。制御部３１は、ずれ量（補正量）に基づいてロボット１０ａの動作に補正をかけるが、搬送装置１０ｂが自動搬送装置である他の実施形態では、ずれ量（補正量）に基づいて搬送装置１０ｂの動作に補正をかけてもよい。

【0088】

以下、図７－図８を参照して第二実施形態のロボットシステム１の詳細な動作について説明する。図７は第二実施形態のロボットシステム１の補正フローチャートである。先ず、ステップＳ１において、移動型ロボット１０（搬送装置１０ｂ）を他の機械２０や他のワークＷの近傍へ手動で又は自動で移動させる。ステップＳ２では、制御部３１が移動型ロボット１０を動作させて視覚センサ１１を予め教示した撮像位置姿勢Ｃ１～Ｃ６（図５を参照）へ移動させる。

【0089】

ステップＳ３では、視覚センサ１１が基準点Ｔａ、Ｔｂ、Ｔｃを撮像位置姿勢Ｃ１～Ｃ６で撮像する。ステップＳ４では、移動量算出部３０ｂが視覚センサ１１からの検出画像に基準点Ｔａ、Ｔｂ、Ｔｃが写っているか否かを判定する。基準点Ｔａ、Ｔｂ、Ｔｃの検出には、マッチング処理等の画像処理を用いるとよい。検出画像に基準点Ｔａ、Ｔｂ、Ｔｃが写っていない場合（ステップＳ４のＮＯ）、制御部３１は、任意の移動量（補正量）に基づいて視覚センサ１１の撮像位置姿勢Ｃ１～Ｃ６を自動的に変更して移動型ロボット１０を動作させる。つまり撮像位置姿勢Ｃ１～Ｃ６は、例えば下記式により、任意の移動量（補正量）であるＣ（^cｘ_sc’，^cｙ_sc’，^cｚ_sc’，^cｗ_sc’，^cｐ_sc’，^cｒ_sc’）に基づいて撮像位置姿勢Ｃ１’～Ｃ６’へ補正（変換）される。

【0090】

【数9】

【0091】

そして、ステップＳ３に戻り、視覚センサ１１が基準点Ｔａ、Ｔｂ、Ｔｃを変更後の撮像位置姿勢Ｃ１’～Ｃ６’で再び撮像し、ステップＳ４において、移動量算出部３０ｂが視覚センサ１１からの検出画像に基準点Ｔａ、Ｔｂ、Ｔｃが写っているか否かを再び判定する。検出画像に基準点Ｔａ、Ｔｂ、Ｔｃが写っている場合（ステップＳ４のＹＥＳ）、移動量算出部３０ｂは、視覚センサ１１から取得した検出画像が記憶部３３に予め記憶した基準画像に近づくように移動量（補正量）を算出する。

【0092】

以下、図８を参照して移動量（補正量）の算出に用いる機械学習について説明する。第二実施形態のロボットの移動量（補正量）の算出原理の説明図である。移動量算出部３０ｂは、視覚センサ１１から取得した検出画像と、検出画像を基準画像に近づけるように算出した移動型ロボット１０の移動量（補正量）を状態変数として観測する。また、移動量算出部３０ｂは、記憶部３３から基準画像を判定データとして取得する。

【0093】

次に、移動量算出部３０ｂは、状態変数及び判定データの組み合せによって構成される訓練データセットに従って、移動型ロボット１０を任意の位置及び姿勢の少なくとも一方から基準位置及び基準姿勢の少なくとも一方に移動させる移動量（補正量）を学習する。

【0094】

移動量算出部３０ｂは、移動後の視覚センサ１１の撮像位置及び撮像姿勢の少なくとも一方と、基準点Ｔの基準位置に基づいて報酬を計算し、報酬に基づいて現在の状態変数から視覚センサ１１の移動量（補正量）を推測するための関数を更新するとよい。つまり、移動量算出部３０ｂは、いわゆるＱ学習を用いて強化学習を行うとよい。

【0095】

或いは、移動量算出部３０ｂは、所定の位置及び姿勢の少なくとも一方に移動した視覚センサ１１から取得した検出画像と、所定の位置及び姿勢の少なくとも一方から基準点Ｔの基準位置への視覚センサ１１の移動量（補正量）のデータ集合とをラベルとして教師あり学習を行ってもよい。教師あり学習を行うことにより、基準位置及び基準姿勢の少なくとも一方で撮像した基準画像と、基準位置及び基準姿勢の少なくとも一方を記憶した後、適当な位置に移動して、その移動量（補正量）とその位置及び姿勢の少なくとも一方で撮像した検出画像を取得し、そのセットを複数用意することで画像の変化と移動量（補正量）の関係を学習でき、大量の学習データセットを自動的に取得できる。

【0096】

制御部３１は、視覚センサ１１から取得した検出画像を基準画像に近づけるように算出した移動量（補正量）に基づいて視覚センサ１１を移動させ、移動後の視覚センサ１１の位置及び姿勢の少なくとも一方が、基準位置及び基準姿勢に近いほど高い報酬を与えるようにしてもよい。

【0097】

移動量算出部３０ｂは、状態変数及び報酬に基づいて視覚センサ１１の移動量（補正量）に対応する行動価値テーブルを更新することが好ましい。移動量算出部３０ｂは、観測した状態変数を多層構造で演算し、行動価値を判断するための行動価値テーブルをリアルタイムで更新することが好ましい。ここで、状態変数を多層構造で演算する方法として、いわゆる多層ニューラルネットワークを用いることができる。

【0098】

移動量算出部３０ｂは、移動型ロボット１０と同一構成の他の移動型ロボットの状態変数と報酬に基づいて他の移動型ロボットの視覚センサの移動量（補正量）に対応する価値関数を更新するようにしてもよい。つまり、移動量算出部３０ｂが学習して更新した価値関数を用いて自己の価値関数を更新するのではなく、他の機械学習装置で更新された価値関数を用いて自己の価値関数を更新するようにしてもよい。例えば、複数の制御装置１２間でデータを送受信し、他の制御装置１２の学習内容を自身の学習に活用するようにしてもよい。

【0099】

移動量算出部３０ｂは、現在の状態変数及び判定データの組み合せによって構成される追加の訓練データセットに従って、移動型ロボット１０の移動量（補正量）を再学習して更新するように構成されてもよい。

【0100】

移動量算出部３０ｂは、訓練データセットに従って学習した結果に基づいて、移動型ロボット１０に対する動作指令を意思決定することが好ましい。移動量算出部３０ｂは、視覚センサ１１の移動後の撮像位置及び撮像姿勢の少なくとも一方で撮像した検出画像を状態変数とし、基準画像を判定データとして、視覚センサ１１に写る基準点Ｔを基準画像の基準点Ｔに近づける移動型ロボット１０の移動量（行動データ）を算出する。例えば、移動量算出部３０ｂは、任意の位置に移動した視覚センサ１１から取得した検出画像を基準画像に近づけるように視覚センサ１１の移動量（補正量）を計算する。

【0101】

図７を再び参照すると、ステップＳ７において、移動量算出部３０ｂは、算出した移動量（補正量）が閾値以下か否かを判定する。移動量（補正量）が閾値を超えている場合（ステップＳ７のＮＯ）、基準点Ｔａ、Ｔｂ、Ｔｃが視覚センサ１１の視野の端にない可能性が高いため、ステップＳ８において、制御部３１は、算出された移動量（補正量）に基づいて視覚センサ１１の撮像位置姿勢Ｃ１～Ｃ６を変更して移動型ロボット１０を動作させる。そして、ステップＳ３に戻り、視覚センサ１１が基準点Ｔａ、Ｔｂ、Ｔｃを変更後の撮像位置姿勢Ｃ１’～Ｃ６’で再び撮像し、ステップＳ４において、移動量算出部３０ｂが視覚センサ１１からの検出画像に基準点Ｔａ、Ｔｂ、Ｔｃが写っているか否かを再び判定する。検出画像に基準点Ｔａ、Ｔｂ、Ｔｃが写っている場合（ステップＳ４のＹＥＳ）、移動量算出部３０ｂは、視覚センサ１１から取得した検出画像を基準画像に近づけるように移動量（補正量）を再び算出する。

【0102】

一方、移動量（補正量）が閾値以下である場合（ステップＳ７のＹＥＳ）、基準点Ｔａ、Ｔｂ、Ｔｃが視覚センサ１１の視野の端にある可能性が高いため、ステップＳ９において、ずれ量算出部３０ａが、第一実施形態で説明したように作業空間Ｓに対する移動型ロボット１０の基準位置及び基準姿勢の少なくとも一方からのずれ量（補正量）を算出する。そして、ステップＳ１０において、制御部３１は、ずれ量（補正量）に基づいて移動型ロボット１０の動作に補正をかける。制御部３１は、ずれ量（補正量）に基づいてロボット１０ａの動作に補正をかけるが、搬送装置１０ｂが自動搬送装置である他の実施形態では、ずれ量（補正量）に基づいて搬送装置１０ｂの動作に補正をかけてもよい。

【0103】

以上のように第二実施形態のロボットシステム１によれば、移動型ロボット１０（搬送装置１０ｂ）の停止位置又は停止姿勢が変化する場合であっても、又は作業対象である機械２０やワークＷの位置や姿勢が変化する場合であっても、機械学習を使用して移動量（補正量）を算出し、移動量（補正量）に基づいて移動型ロボット１０を動作させて視覚センサ１１の移動と撮像を繰り返すため、基準点Ｔａ、Ｔｂ、Ｔｃが視覚センサ１１の視野の端にくるように、移動型ロボット（搬送装置１０ｂ）の停止位置又は停止姿勢を手動で変更したり、又は作業対象である機械２０やワークＷの位置や姿勢を手動で変更したり、又は撮像位置又は撮像姿勢を教示し直したりといった手間や試行錯誤がなくなり、ロボットの補正処理を自動化できる。

【0104】

また、第二実施形態のロボットシステム１によれば、検出画像に基準点Ｔａ、Ｔｂ、Ｔｃが写っているか否かを判定し、検出画像に基準点Ｔａ、Ｔｂ、Ｔｃが写っていない場合は、任意の移動量（補正量）に基づいて視覚センサ１１の撮像位置姿勢Ｃ１～Ｃ６を自動的に変更するため、基準点Ｔａ、Ｔｂ、Ｔｃが視覚センサ１１の視野に入るように、移動型ロボット（搬送装置１０ｂ）の停止位置又は停止姿勢を手動で変更したり、又は作業対象である機械２０やワークＷの位置や姿勢を手動で変更したり、又は撮像位置又は撮像姿勢を教示し直したりといった手間や試行錯誤がなくなり、ロボットの補正処理を自動化できる。

【0105】

前述のコンピュータプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ－ＲＯＭ等に記録して提供してもよいし、或いは有線又は無線を介してＷＡＮ（wide area network）又はＬＡＮ（local area network）上のサーバ装置から配信して提供してもよい。

【0106】

本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

【符号の説明】

【0107】

１ ロボットシステム
１０ 移動型ロボット
１０ａ ロボット
１０ｂ 搬送装置
１０ｃ ツール
１１ 視覚センサ
１２ 制御装置
１３ 教示装置
２０ 機械
２１ ツール
２２ 制御装置
３０ 補正量算出部
３０ａ ずれ量算出部
３０ｂ 移動量算出部
３１ 制御部
３２ 三次元情報検出部
３３ 記憶部
Ｃ カメラ座標系
Ｃ１～Ｃ６ 撮像位置
Ｍ、Ｍ’ 機械座標系
Ｓ 作業空間
Ｔ、Ｔａ、Ｔｂ、Ｔｃ 基準点
Ｗ ワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】