特許 7568721 ワークの表面の３次元情報およびワークの２次元画像を取得する撮像装置および制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】ワークの表面の３次元情報およびワークの２次元画像を取得する撮像装置および制御装置

(51)【国際特許分類】

   G01B 11/25 20060101AFI20241008BHJP

   B25J 19/04 20060101ALI20241008BHJP

【ＦＩ】

G01B11/25 H

B25J19/04

【請求項の数】 4

(21)【出願番号】P 2022531816

(86)(22)【出願日】2021-06-14

(86)【国際出願番号】 JP2021022570

(87)【国際公開番号】W WO2021256437

(87)【国際公開日】2021-12-23

【審査請求日】2023-01-19

(31)【優先権主張番号】P 2020105456

(32)【優先日】2020-06-18

(33)【優先権主張国・地域又は機関】JP

【前置審査】

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100130133

【弁理士】

【氏名又は名称】曽根 太樹

(72)【発明者】

【氏名】孫 澤源

(72)【発明者】

【氏名】古賀 健太郎

【審査官】國田 正久

(56)【参考文献】

【文献】特開２０１８－１８５２１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００ － １１／３０

Ｂ２５Ｊ １９／０４

Ｂ２５Ｊ １３／０８

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

モータにより駆動する搬送機にて予め定められた一つの経路に沿って搬送されるワークを撮像する撮像装置であって、
ワークの表面の３次元情報を検出するための３次元センサおよびワークの表面の２次元画像を取得するための２次元センサを含む視覚センサと、
前記３次元センサの出力および前記２次元センサの出力を処理する処理部と、を備え、
前記処理部は、前記３次元センサの出力に基づいて３次元情報を生成する３次元情報生成部と、前記２次元センサから２次元画像を取得する２次元画像取得部と、原点が前記視覚センサに固定されたセンサ座標系において２次元画像に対する３次元情報の相対位置を変更する移動制御部とを含み、
前記搬送機は、前記モータにて移動する移動部材の位置を検出するための位置検出器を含み、
前記視覚センサは、位置が固定されており、
前記視覚センサは、ワークが前記視覚センサの撮像範囲内に配置され、更にワークが移動している期間中にワークを撮像し、
３次元情報を取得する時期は、２次元画像を取得する時期と異なっており、
ワークが搬送される一つの経路に対応するように、前記センサ座標系における３次元情報の移動方向が予め定められており、
前記移動制御部は、３次元情報を取得する時の前記移動部材の第１の位置と２次元画像を取得する時の前記移動部材の第２の位置との差に対応したワークの実際の移動量を算出し、前記センサ座標系においてワークの実際の移動量に対応するように３次元情報に含まれる複数の測定点の位置を前記移動方向に平行に移動して、２次元画像が撮像されたワークの領域内にワークの３次元情報を移動する制御を実施する、撮像装置。

【請求項2】

前記３次元センサは、２次元画像を撮像する、請求項１に記載の撮像装置。

【請求項3】

前記搬送機は、ワークを移動するコンベヤであり、
前記モータは、コンベヤを駆動するコンベヤ駆動モータである、請求項１または２に記載の撮像装置。

【請求項4】

モータにより駆動する搬送機にて予め定められた方向に沿って搬送されるワークの３次元情報を取得する制御装置であって、
少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
移動するワークを撮像する３次元センサおよび２次元センサを有する視覚センサからの出力を取得し、
前記３次元センサの出力に基づいて３次元情報を生成し、
原点が前記視覚センサに固定されたセンサ座標系において、前記２次元センサから取得した２次元画像に対する３次元情報の相対位置を変更し、
３次元情報を取得する時のワークの第１の位置と２次元画像を取得する時の第２の位置との差に対応したワークの実際の移動量を算出し、
前記センサ座標系においてワークの実際の移動量に対応するように３次元情報に含まれる複数の測定点の位置を予め定められた方向に平行に移動して、２次元画像が撮像されたワークの領域内にワークの３次元情報を移動する、制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ワークの表面の３次元情報およびワークの２次元画像を取得する撮像装置および制御装置に関する。

【背景技術】

【0002】

従来の技術においては、視覚センサにて画像を撮像し、得られた画像に基づいて物体の表面の形状または物体の位置を検出する装置が知られている。視覚センサとしては、ワークの表面の２次元画像を撮像する２次元センサが知られている。また、視覚センサからワークの表面までの距離を測定する３次元センサが知られている。３次元センサからワークの表面までの距離と３次元センサの位置とに基づいて、ワークの特定の部分の３次元の位置を算出することができる。

【0003】

従来からロボットおよび作業ツールを備えるロボット装置が知られている。ロボット装置には、ワークの位置を検出するために、視覚センサが配置されることが知られている。例えば、ロボット装置は、ハンドにてワークを把持してワークを搬送する。ロボット装置は、ワークを把持するために、ワークの位置および姿勢を検出する必要が有る。従来の技術においては、２次元カメラにて撮像した２次元画像および３次元センサにて撮像した距離画像を処理することにより、ワークの位置および姿勢を算出する制御が知られている（例えば、特開２０１３－３６９８８号公報）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－３６９８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

画像処理においては、３次元センサにより取得される３次元情報と２次元センサにより取得される２次元画像とを利用する場合が有る。例えば、コンベヤにて搬送されるワークをロボットが把持して搬送するロボット装置では、コンベヤにて搬送されるワークを３次元センサにて撮像する。３次元センサの出力から測定点の３次元マップを取得する。３次元マップに基づいて、ワークの位置および姿勢を検出することができる。そして、ワークの位置および姿勢に基づいて、ロボットがワークを取り出す時のロボットの位置および姿勢を算出することができる。

【0006】

ここで、３次元マップにおけるワークの位置を特定する必要がある。ワークの位置を特定するために２次元画像を用いることができる。ところが、３次元センサにて３次元マップを取得した後に２次元画像を撮像した場合には、コンベヤにてワークが移動している。３次元マップを取得した時のワークの位置と２次元画像を撮像した時のワークの位置との間にずれが生じてしまう。このために、ワークの位置が同じ状態で、３次元センサによる３次元情報の取得と２次元センサによる２次元画像の取得とを行うことが好ましい。例えば、３次元センサによる撮像と２次元センサによる撮像とを同時に行うことが好ましい。この制御により、２次元画像を撮像した時のワークの位置と、３次元情報を取得した時のワークの位置とが同じになるために、３次元情報におけるワークの位置を容易に特定することができる。

【0007】

ところが、３次元センサが２個のカメラとプロジェクタとを含むステレオカメラである場合に、プロジェクタにて参照パターンがワークに投影される。３次元マップを取得するための撮像と同時に２次元画像の撮像を行うと、２次元画像に参照パターンが写ってしまう。このために、２次元画像におけるワークの特徴部位の検出が難しいという問題がある。このように、搬送機にてワークが移動している期間中に、３次元情報と２次元画像とを同時に取得することが難しいという問題があった。

【0008】

搬送機を停止した状態で、３次元センサによる３次元情報の取得と２次元センサによる２次元画像の取得とを行うことができる。この制御では、視覚センサにて３次元情報および２次元画像を取得する度に搬送機を停止する必要があるために、作業効率が低くなるという問題がある。また、搬送機を起動したり停止したりする時に、搬送機におけるワークの位置が変化する虞が有る。すなわち、搬送機におけるワークの位置がずれる場合が有る。

【0009】

または、３次元センサとしてステレオカメラ以外のセンサを用いることができる。例えば、３次元センサとして、光の飛行時間を利用したＴＯＦ（Time of Flight）カメラを用いることができる。しかしながら、ＴＯＦカメラを使用した場合には、２次元画像を取得するためのカメラを更に配置する必要が有るという問題が有る。

【課題を解決するための手段】

【0010】

本開示の第１の態様は、モータにより駆動する搬送機にて予め定められた一つの経路に沿って搬送されるワークを撮像する撮像装置である。撮像装置は、ワークの表面の３次元情報を検出するための３次元センサおよびワークの表面の２次元画像を取得するための２次元センサを含む視覚センサを備える。撮像装置は、３次元センサの出力および２次元センサの出力を処理する処理部を備える。処理部は、３次元センサの出力に基づいて３次元情報を生成する３次元情報生成部と、２次元センサから２次元画像を取得する２次元画像取得部とを含む。処理部は、原点が前記視覚センサに固定されたセンサ座標系において２次元画像に対する３次元情報の相対位置を変更する移動制御部を含む。搬送機は、モータにて移動する移動部材の位置を検出するための位置検出器を含む。視覚センサは、位置が固定されている。視覚センサは、ワークが視覚センサの撮像範囲内に配置され、更にワークが移動している期間中にワークを撮像する。３次元情報を取得する時期は、２次元画像を取得する時期と異なっている。ワークが搬送される一つの経路に対応するように、センサ座標系における３次元情報の移動方向が予め定められている。移動制御部は、３次元情報を取得する時の移動部材の第１の位置と２次元画像を取得する時の移動部材の第２の位置との差に対応したワークの実際の移動量を算出する。移動制御部は、センサ座標系においてワークの移動量に対応するように３次元情報に含まれる複数の測定点の位置を移動方向に平行に移動して、２次元画像が撮像されたワークの領域内にワークの３次元情報を移動する制御を実施する。
本開示の第２の態様は、モータにより駆動する搬送機にて予め定められた方向に沿って搬送されるワークの３次元情報を取得する制御装置である。制御装置は、少なくとも１つのメモリと、少なくとも１つのプロセッサと、を備える。少なくとも１つのプロセッサは、移動するワークを撮像する３次元センサおよび２次元センサを有する視覚センサからの出力を取得し、３次元センサの出力に基づいて３次元情報を生成する。少なくとも１つのプロセッサは、原点が前記視覚センサに固定されたセンサ座標系において、２次元センサから取得した２次元画像に対する３次元情報の相対位置を変更する。少なくとも１つのプロセッサは、３次元情報を取得する時のワークの第１の位置と２次元画像を取得する時の第２の位置との差に対応したワークの実際の移動量を算出する。少なくとも１つのプロセッサは、センサ座標系においてワークの実際の移動量に対応するように３次元情報に含まれる複数の測定点の位置を予め定められた方向に平行に移動して、２次元画像が撮像されたワークの領域内にワークの３次元情報を移動する。

【発明の効果】

【0011】

本開示の態様によれば、ワークの表面の３次元情報およびワークの２次元画像を取得する撮像装置および制御装置を提供することができる。

【図面の簡単な説明】

【0012】

【図1】実施の形態における第１のロボット装置の正面図である。

【図2】第１のロボット装置の平面図である。

【図3】第１のロボット装置のブロック図である。

【図4】実施の形態における視覚センサの概略図である。

【図5】第１のロボット装置の制御のフローチャートである。

【図6】ワークの３次元マップを生成するときのワーク、視覚センサ、およびコンベヤの正面図である。

【図7】視覚センサにて取得された３次元マップの測定点を説明するワークおよびコンベヤの平面図である。

【図8】ワークの２次元画像を取得するときのワーク、視覚センサ、およびコンベヤの正面図である。

【図9】視覚センサにて取得された２次元画像の例である。

【図10】実施の形態における第２のロボット装置の平面図である。

【発明を実施するための形態】

【0013】

図１から図１０を参照して、実施の形態における撮像装置および撮像装置を備えるロボット装置について説明する。本実施の形態のロボット装置は、ロボットと、ロボットに取り付けられた作業ツールとを備える。更に、ロボット装置は、ワークを撮像する撮像装置と、ワークを搬送する搬送機とを備える。

【0014】

図１は、本実施の形態における第１のロボット装置の概略正面図である。図２は、本実施の形態における第１のロボット装置の概略平面図である。図１および図２を参照して、第１のロボット装置８は、作業ツール（エンドエフェクタ）としてのハンド２と、ハンド２を移動するロボット１とを備える。本実施の形態のロボット１は、複数の関節部を含む多関節ロボットである。

【0015】

ロボット１は、設置面に固定されたベース部１４と、ベース部１４に対して回転する旋回ベース１３とを含む。ロボット１は、旋回ベース１３に回動可能に支持された下部アーム１２と、下部アーム１２に回動可能に支持された上部アーム１１とを含む。また、上部アーム１１は、上部アーム１１の延びる方向に平行な回転軸の周りに回転する。ロボット１は、上部アーム１１の端部に回動可能に支持されているリスト１５を含む。リスト１５の先端には、回転可能に形成されているフランジ１６が配置されている。本実施の形態のロボット１は、６個の駆動軸を有するが、この形態に限られない。作業ツールを移動することができる任意のロボットを採用することができる。

【0016】

本実施の形態のワーク８１は、直方体状の箱である。ハンド２は、ワーク８１を把持したり解放したりする作業ツールである。本実施の形態のハンド２は、複数の吸着パッド２ａを有する。ハンド２は、吸着によりワーク８１を把持する。ハンド２は、リスト１５のフランジ１６に固定されている。ロボット１に取り付けられる作業ツールとしては、この形態に限られない。ロボット装置が行う作業に応じた任意の作業ツールを採用することができる。例えば、アーク溶接を行うロボット装置では、作業ツールとして溶接トーチを配置することができる。または、シール材をワークの表面に塗布するロボット装置では、作業ツールとしてディスペンサを配置することができる。

【0017】

第１のロボット装置８は、ワーク８１を予め定められた方向に搬送する搬送機としてのコンベヤ６を含む。本実施の形態のコンベヤ６は、環状のベルト６ａを回転する。コンベヤ６は、矢印８６に示すように、ワーク８１を水平方向に移動する。コンベヤ６は、ロボット１が位置および姿勢を変更してハンド２がワーク８１を把持することができる位置までワーク８１を搬送する。ロボット装置８は、コンベヤ６にて搬送されたワーク８１を把持した後に目標位置に移動する。例えば、ロボット装置８は、ワーク８１をパレットの上側に積む作業を実施する。

【0018】

ロボット装置８は、コンベヤ６にて搬送されるワーク８１を撮像する撮像装置３を備える。撮像装置３は、ワーク８１の表面の３次元情報を検出するための３次元センサとしての視覚センサ３０を含む。視覚センサ３０の出力により、物体としてのワーク８１の表面に対応する３次元の測定点（３次元点）の位置情報が生成される。後述するように、本実施の形態の視覚センサ３０は、ワーク８１の表面の２次元画像を撮像するための２次元センサとしても機能する。

【0019】

視覚センサ３０は、支持部材３７により支持されている。本実施の形態の視覚センサ３０の位置は固定されている。視覚センサ３０は、コンベヤ６にて搬送されるワーク８１を撮像できる位置に配置されている。視覚センサ３０は、ワーク８１が搬送される方向においてロボット１よりも上流側に配置されている。

【0020】

本実施の形態においては、視覚センサ３０の出力から取得された３次元情報に基づいて、ワーク８１の位置および姿勢を検出する。ワーク８１の位置および姿勢に基づいて、ハンド２にてワーク８１を把持するためのロボット１の位置および姿勢を算出する。そして、ロボット１が位置および姿勢を変更することにより、コンベヤ６にて搬送されるワーク８１をハンド２にて把持して移動することができる。

【0021】

本実施の形態では、コンベヤ６を停止せずに視覚センサ３０がワーク８１を撮像する。すなわち、コンベヤ６がワーク８１を移動しながら、視覚センサ３０がワーク８１を撮像する。また、コンベヤ６がワーク８１を移動しながらロボット１が位置および姿勢を変更して、ハンド２がワーク８１を把持する。ロボット１が位置および姿勢を変更することにより、ワーク８１をコンベヤ６から取り上げる。

【0022】

ロボット装置８には、基準座標系としてのワールド座標系７６が設定されている。図１に示す例では、ロボット１のベース部１４にワールド座標系７６の原点が配置されている。ロボット１の位置および姿勢が変化してもワールド座標系７６の位置および向きは変化しない。ワールド座標系７６は、座標軸として、互いに直交するＸ軸、Ｙ軸、およびＺ軸を有する。また、Ｘ軸の周りの座標軸としてＷ軸が設定される。Ｙ軸の周りの座標軸としてＰ軸が設定される。Ｚ軸の周りの座標軸としてＲ軸が設定される。

【0023】

また、作業ツールの任意の位置に設定された原点を有するツール座標系７７が設定されている。本実施の形態では、ツール座標系７７の原点は、ハンド２の工具先端点に設定されている。ロボット１が位置および姿勢を変化すると、ツール座標系７７の位置および姿勢が変化する。例えば、ロボット１の位置は、工具先端点の位置に相当する。また、ロボット１の姿勢は、ワールド座標系７６に対するツール座標系７７の向きに相当する。

【0024】

更に、ロボット装置８では、視覚センサ３０に対応してセンサ座標系７８が設定されている。センサ座標系７８は、原点が視覚センサ３０に固定された座標系である。本実施の形態のセンサ座標系７８は、位置が固定されている。このために、ワールド座標系７６に対するセンサ座標系７８の位置および姿勢に基づいて、センサ座標系７８における座標値をワールド座標系７６における座標値に変換することができる。

【0025】

図３に、本実施の形態における第１のロボット装置のブロック図を示す。図１から図３を参照して、ロボット１は、ロボット１の位置および姿勢を変化させるロボット駆動装置を含む。ロボット駆動装置は、アームおよびリスト等の構成部材を駆動するロボット駆動モータ２２を含む。ハンド２は、ハンド２を駆動するハンド駆動装置を備える。ハンド駆動装置は、ハンド２の吸着パッド２ａの内部を減圧するポンプ２１および電磁弁を含む。

【0026】

ロボット装置８の制御装置は、ロボット１およびハンド２を制御するロボット制御装置４を備える。ロボット制御装置４は、プロセッサとしてのＣＰＵ（Central Processing Unit）を有する演算処理装置（コンピュータ）を含む。演算処理装置は、ＣＰＵにバスを介して接続されたＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を有する。ロボット制御装置４には、ロボット１、ハンド２、およびコンベヤ６の制御を行うために予め作成された動作プログラム４１が入力される。

【0027】

ロボット制御装置４は、ロボット１、ハンド２、およびコンベヤ６の制御に関する情報を記憶する記憶部４２を含む。記憶部４２は、揮発性メモリ、不揮発性メモリ、またはハードディスク等の情報を記憶可能な記憶媒体にて構成されることができる。動作プログラム４１は、記憶部４２に記憶される。

【0028】

本実施の形態のロボット装置８は、動作プログラム４１に基づいてワーク８１を搬送する。ロボット装置８は、自動的に予め定められた目標位置までワーク８１を搬送することができる。ロボット制御装置４は、動作指令を送出する動作制御部４３を含む。動作制御部４３は、動作プログラム４１に従って駆動するプロセッサに相当する。プロセッサが動作プログラム４１を読み込んで、動作プログラム４１に定められた制御を実施することにより、動作制御部４３として機能する。

【0029】

動作制御部４３は、動作プログラム４１に基づいてロボット１を駆動するための動作指令をロボット駆動部４５に送出する。ロボット駆動部４５は、ロボット駆動モータ２２を駆動する電気回路を含む。ロボット駆動部４５は、動作指令に基づいてロボット駆動モータ２２に電気を供給する。また、動作制御部４３は、動作プログラム４１に基づいてハンド２を駆動する動作指令をハンド駆動部４４に送出する。ハンド駆動部４４は、ポンプ２１および電磁弁を駆動する電気回路を含む。ハンド駆動部４４は、動作指令に基づいてポンプ２１および電磁弁に電気を供給する。更に、動作制御部４３は、動作プログラム４１に基づいて、視覚センサ３０に画像を撮像する指令を送出する。

【0030】

ロボット制御装置４は、ハンド２、ロボット１、およびコンベヤ６の制御に関する情報を表示する表示器４６を含む。表示器４６は、液晶表示パネルなどの任意の表示パネルにて構成されている。

【0031】

ロボット１は、ロボット１の位置および姿勢を検出するための状態検出器を含む。本実施の形態における状態検出器は、ロボット１の構成部材の駆動軸に対応するロボット駆動モータ２２に取り付けられた位置検出器２３を含む。本実施の形態の位置検出器２３は、ロボット駆動モータ２２の出力シャフトに取り付けられたエンコーダにて構成されている。位置検出器２３の出力に基づいて、ロボット１の位置および姿勢が検出される。

【0032】

ロボット制御装置４は、３次元センサの出力および２次元センサの出力を処理する処理部としての画像処理部４７を含む。すなわち、ロボット制御装置４は、画像を処理する装置としても機能する。画像処理部４７は、３次元センサの出力に基づいて３次元情報を生成する３次元情報生成部６１を含む。画像処理部４７は、２次元センサから２次元画像を取得する２次元画像取得部６２を含む。また、画像処理部４７は、予め定められた座標系において、２次元画像に対する３次元情報の相対位置を変更する移動制御部６３を含む。

【0033】

画像処理部４７は、予め作成された基準画像と２次元センサから取得された２次元画像とに基づいて、ワーク８１の予め定められた特徴部位を検出する特徴部位検出部６４を含む。画像処理部４７は、ワーク８１の特徴部位における３次元情報に基づいて、ワーク８１の位置および姿勢を算出する算出部６５を含む。また、算出部６５は、ワーク８１の位置および姿勢に基づいてロボット１の位置および姿勢を算出する。

【0034】

算出部６５にて算出されたロボット１の位置および姿勢は、動作制御部４３に送出される。動作制御部４３は、算出部６５から受信した動作指令に基づいてロボット１およびハンド２を制御する。

【0035】

上記の画像処理部４７、３次元情報生成部６１、２次元画像取得部６２、移動制御部６３、特徴部位検出部６４、および算出部６５のそれぞれのユニットは、動作プログラム４１に従って駆動するプロセッサに相当する。プロセッサが動作プログラム４１に定められた制御を実施することにより、それぞれのユニットとして機能する。

【0036】

ロボット装置８の制御装置は、コンベヤ６を制御するコンベヤ制御装置５を備える。コンベヤ制御装置５は、プロセッサとしてのＣＰＵと、ＲＯＭと、ＲＡＭとを含む演算処理装置（コンピュータ）を含む。コンベヤ制御装置５は、ロボット制御装置４と互いに通信することができるように形成されている。コンベヤ制御装置５は、ロボット制御装置４からの指令を受信して、コンベヤ６を駆動する。

【0037】

コンベヤ６は、コンベヤ６を駆動するコンベヤ駆動装置２６を含む。コンベヤ駆動装置２６は、コンベヤ６を駆動するモータとしてのコンベヤ駆動モータ２４とコンベヤ駆動モータ２４の回転速度を減速する減速機とを含む。ワーク８１は、コンベヤ駆動モータ２４にて移動する移動部材としてのベルト６ａの表面に載置される。コンベヤ駆動モータ２４は、ベルト６ａを回転する。コンベヤ６は、ベルト６ａの位置を検出するための位置検出器２５を含む。ベルト６ａの位置は、コンベヤ駆動モータ２４の出力シャフトの回転位置に対応する。本実施の形態の位置検出器２５は、コンベヤ駆動モータ２４の出力シャフトに取り付けられている。位置検出器２５は、出力シャフトの回転位置を検出するエンコーダにて構成されている。位置検出器２５の出力は、コンベヤ制御装置５に入力される。なお、搬送機の位置検出器は、搬送機の移動部材の位置を検出できるように任意の位置に配置することができる。例えば、コンベヤのベルトを支持するシャフトにエンコーダが取り付けられていても構わない。または、エンコーダに円盤が取り付けられ、円盤がコンベヤのベルトの移動により回転するようにベルトに押し付けられていても構わない。この構成により、ベルトが移動すると円盤が回転して、エンコーダの出力にてベルトの位置を検出することができる。

【0038】

コンベヤ制御装置５は、コンベヤ６の制御に関する情報を記憶する記憶部５２を含む。記憶部５２は、揮発性メモリ、不揮発性メモリ、またはハードディスク等の情報を記憶可能な記憶媒体にて構成されることができる。コンベヤ制御装置５は、コンベヤ６の動作指令を送出する動作制御部５３を含む。演算処理装置のプロセッサは動作制御部５３として機能する。コンベヤ制御装置５は、動作指令に基づいてコンベヤ駆動モータ２４に電気を供給する電気回路を有するコンベヤ駆動部５４を含む。

【0039】

本実施の形態のロボット装置８の制御装置は、ロボット１およびハンド２を制御するロボット制御装置４と、コンベヤ６を制御するコンベヤ制御装置５とを備えるが、この形態に限られない。ロボット装置８は、１つの制御装置にて、ロボット１、ハンド２、およびコンベヤ６を制御するように形成されていても構わない。

【0040】

図４に、本実施の形態における視覚センサの概略図を示す。本実施の形態の視覚センサ３０は、第１のカメラ３１および第２のカメラ３２を含むステレオカメラである。それぞれのカメラ３１，３２は、２次元画像を撮像することができる２次元カメラである。カメラ３１，３２としては、ＣＣＤ（Charge-Coupled Device）センサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子を備えた任意のカメラを採用することができる。２台のカメラ３１，３２は互いに離れて配置されている。２台のカメラ３１，３２の相対的な位置は予め定められている。

【0041】

本実施の形態の視覚センサ３０は、ワーク８１に向かって縞模様などのパターン光を投影するプロジェクタ３３を含む。カメラ３１，３２およびプロジェクタ３３は、筐体３４の内部に配置されている。視覚センサ３０の出力に基づいて３次元情報を取得する場合には、プロジェクタ３３にてパターン光を投影すると共に、カメラ３１，３２は２次元画像を撮像する。

【0042】

図３を参照して、画像処理部４７の３次元情報生成部６１は、視覚センサ３０により取得された画像を処理することにより、物体の表面の３次元情報を、３次元マップにて生成することができる。３次元情報には、物体の表面に設定された複数の測定点の位置に関する情報が含まれる。３次元マップは、物体の表面に設定された測定点の座標値（ｘ，ｙ，ｚ）の集合にて物体の表面の位置を表現したものである。

【0043】

なお、本実施の形態の画像処理部４７は、ロボット１を制御するロボット制御装置４に含まれているが、この形態に限られない。視覚センサ３０にて取得した画像を処理する演算処理装置がロボット制御装置とは別に配置されていても構わない。

【0044】

図３および図４を参照して、本実施の形態における３次元情報生成部６１は、視覚センサ３０の撮像範囲３５の内部に配置される物体の表面に複数の測定点を設定する。例えば、測定点は、カメラ３１またはカメラ３２の２次元画像の画素ごとに設定することができる。３次元情報生成部６１は、２台のカメラ３１，３２にて撮像される２次元画像の視差に基づいて、視覚センサ３０から測定点までの距離を算出する。

【0045】

３次元情報生成部６１は、視覚センサ３０から測定点までの距離に基づいて、センサ座標系７８における測定点の座標値を算出することができる。または、視覚センサ３０の位置および姿勢に基づいて、センサ座標系７８の座標値をワールド座標系７６の座標値に変換しても構わない。このように、３次元情報生成部６１は、複数の測定点の座標値を含む３次元マップを形成することができる。

【0046】

本実施の形態の視覚センサ３０は、２次元センサとしての機能を有する。第１のカメラ３１および第２のカメラ３２は２次元カメラであるために、いずれか一方のカメラ３１，３２にて２次元画像を撮像することができる。本実施の形態においては、第１のカメラ３１にて２次元画像を取得する。

【0047】

本実施の形態の３次元センサは、２次元画像を撮像することができるステレオカメラである。この構成を採用することにより、ステレオカメラに含まれる１つの２次元カメラにて２次元画像を取得することができる。３次元の測定点の位置情報および２次元画像の両方を１つのセンサにて取得することができる。このために、撮像装置の構成を簡易にすることができる。

【0048】

本実施の形態の撮像装置３では、視覚センサ３０にてワーク８１の表面の測定点の情報が含まれる３次元マップを取得する。この後に、視覚センサ３０の第１のカメラ３１にて、同一のワーク８１が含まれる２次元画像を撮像する。３次元マップを取得するために視覚センサ３０にて撮像した時期と、２次元画像を撮像した時期とは互いに異なる。このために、３次元マップを取得した時のワークの位置と、２次元画像を撮像した時のワーク８１の位置が互いに異なっている。

【0049】

本実施の形態の移動制御部６３は、コンベヤ６の位置検出器２５の出力を取得する。３次元マップを取得した時から２次元画像を撮像した時までに移動したワーク８１の実際の移動量を算出する。そして、ワーク８１の移動量に対応するように、予め定められた座標系において、２次元画像に対応するように３次元情報を移動する制御を行う。この制御により、上記の座標系においてワークの３次元情報の少なくも一部とワークの２次元画像とを重ねることができる。換言すれば、同一の時刻に取得した３次元情報および２次元画像と同等の３次元情報および２次元画像を生成することができる。

【0050】

図５に、本実施の形態におけるロボット装置の制御のフローチャートを示す。図６に、３次元マップを取得するときの視覚センサ、ワーク、およびコンベヤの概略正面図を示す。図５および図６を参照して、ステップ９１において、コンベヤ制御装置５は、コンベヤ６を駆動することにより、矢印８６に示すようにワーク８１を移動する。コンベヤ制御装置５は、ワーク８１を視覚センサ３０の撮像範囲３５の内部まで移動する。本実施の形態のロボット装置８においては、ワーク８１の到来を検出するセンサが配置されている。位置検出器２５は、センサが反応した時点の位置を検出する。動作制御部５３は、上記位置に基づいてワーク８１が撮像範囲３５の内部に配置される時の回転位置を算出する。位置検出器２５が、その回転位置を検出することにより、ワーク８１が撮像範囲３５の内部に配置されたことが分かる。

【0051】

ステップ９２において、視覚センサ３０はワーク８１を撮像する。３次元情報生成部６１は、３次元情報を生成する。本実施の形態では、３次元情報生成部６１は、カメラ３１，３２にて撮像された２次元画像を用いて３次元マップを生成する。コンベヤ制御装置５は、コンベヤ駆動モータ２４に取り付けられた位置検出器２５から第１の回転位置を取得する。コンベヤ制御装置５は、視覚センサ３０によるワーク８１の撮像と同時に第１の回転位置を取得する。第１の回転位置は、３次元情報を取得する時のベルト６ａの第１の位置に相当する。コンベヤ制御装置５の記憶部５２は、第１の回転位置を記憶する。

【0052】

図７に、３次元情報生成部にて生成される３次元マップの説明図を示す。図７には、コンベヤ６およびワーク８１の平面図が示されている。視覚センサ３０の撮像範囲３５により、測定点が設定される測定領域７１が定められる。３次元マップは、複数の測定点ＰＸの位置の座標値を含む。測定領域７１の内部において撮像される物の表面に測定点ＰＸが設定される。測定領域７１は、例えば、第１のカメラ３１にて撮像する画像に対応する。測定領域７１の内部には、ワーク８１の表面、コンベヤ６の表面、および床面に測定点ＰＸが設定されている。それぞれの測定点ＰＸに対して、予め定められた座標系における測定点ＰＸの位置の座標値が算出されている。本実施の形態では、センサ座標系７８にてそれぞれの測定点ＰＸの位置の座標値が算出されている。

【0053】

ここでの例では、ワーク８１の表面に設定された複数の測定点ＰＸを、測定点ＰＸのグループ７１ａと称する。コンベヤ６の枠体の表面に設定された複数の測定点ＰＸを、測定点ＰＸのグループ７１ｂと称する。ベルト６ａの表面に設定された複数の測定点ＰＸを、測定点ＰＸのグループ７１ｃと称する。また、床面に設定された複数の測定点ＰＸを、測定点ＰＸのグループ７１ｄと称する。

【0054】

図８に、２次元画像を撮像する時の視覚センサ、ワーク、およびコンベヤの概略正面図を示す。図８には、３次元マップを取得した時のワーク８１の位置が破線にて示されている。３次元マップが取得された後に、ワーク８１は矢印８６に示すように移動する。図５を参照して、ステップ９３において、視覚センサ３０の第１のカメラ３１は、２次元画像を撮像する。第１のカメラ３１は、撮像範囲３５の内部にワーク８１が配置されている時にワーク８１の画像を撮像する。例えば、視覚センサ３０は、３次元マップを取得するための撮像を行った直後に２次元画像を撮像することができる。または、視覚センサ３０は、３次元マップを取得するための撮像を行った後の予め定められた時間の経過後に２次元画像を撮像することができる。

【0055】

図３を参照して、２次元画像取得部６２は、視覚センサ３０の第１のカメラ３１から２次元画像を取得する。なお、第１のカメラ３１の代わりに、第２のカメラ３２にて２次元画像を取得しても構わない。また、コンベヤ制御装置５は、コンベヤ駆動モータ２４の位置検出器２５から第２の回転位置を取得する。コンベヤ制御装置５は、ワーク８１の２次元画像の撮像と同時に第２の回転位置を取得する。第２の回転位置は、２次元画像を取得する時のベルト６ａの第２の位置に相当する。記憶部５２は、第２の回転位置を記憶する。

【0056】

図９に、視覚センサの第１のカメラにて撮像した２次元画像の例を示す。画像７２は２次元画像である。本実施の形態の画像７２には、画像座標系７９が設定されている。画像座標系７９は、画像７２の予め定められた点を原点とする座標系である。ここでの例では、画像座標系７９は、Ｘ軸およびＹ軸により構成されている。画像７２には、ワーク８１の上面に対応する画像７２ａが含まれている。

【0057】

画像７２には、コンベヤ６の枠体に対応する画像７２ｂと、ベルト６ａに対応する画像７２ｃとが含まれている。図９には、測定領域７１を画像７２に重ねた時に、ワーク８１の上面に対応する測定点のグループ７１ａが破線にて示されている。本実施の形態においては、コンベヤ６にてワーク８１を移動しながら３次元マップおよび２次元画像を取得している。このために、２次元画像を撮像する時のワーク８１の位置は、３次元マップを取得するための撮像を行う時のワーク８１の位置と異なっている。

【0058】

画像７２におけるワーク８１の画像７２ａの位置は、ワーク８１の上面の測定点のグループ７１ａの位置からずれている。そこで、画像処理部４７の移動制御部６３は、矢印８７に示すように３次元マップの全ての測定点の位置を移動する制御を実施する。ワーク８１が移動した方向およびワーク８１の移動量に基づいて、測定点の位置を修正する。移動制御部６３は、ワーク８１の上面に設定された測定点のグループ７１ａの位置を、画像７２ａの位置に合わせる制御を実施する。

【0059】

図３および図５を参照して、ステップ９４において、移動制御部６３は、ワーク８１の移動量として、コンベヤ６におけるワーク８１の移動距離を算出する。ワーク８１の移動距離は、ベルト６ａが移動した長さに対応する。移動制御部６３は、コンベヤ制御装置５の記憶部５２から、コンベヤ駆動モータ２４の第１の回転位置および第２の回転位置を取得する。移動制御部６３は、第１の回転位置および第２の回転位置との差に基づいて、ワーク８１の移動距離を算出する。

【0060】

例えば、位置検出器２５は、所定の回転角ごとに信号が出力されるように形成されている。このために、位置検出器２５から出力される信号は、回転位置に対応する。位置検出器２５は、第１の回転位置として第１のカウントＣＴ１を検出する。また、位置検出器２５は、第２の回転位置として第２のカウントＣＴ２を検出する。カウントの差に対するベルト６ａの移動量（ワークの移動量）は、予め定められている。ここでは、ベルト６ａの１ｍｍの移動量に対するカウント数の係数ＳＣ［カウント／ｍｍ］が予め定められている。このときのワーク８１の移動距離Ｘは、次の式（１）にて表わすことができる。

【0061】

Ｘ[ｍｍ]＝（ＣＴ２－ＣＴ１）／ＳＣ …（１）

【0062】

このように、移動制御部６３は、位置検出器２５の出力に基づいて、コンベヤ６におけるワーク８１の移動距離を算出する。

【0063】

図５を参照して、ステップ９５において、移動制御部６３は、ワーク８１の移動方向およびワーク８１の移動量に応じて、３次元マップを修正する。移動制御部６３は、３次元マップに含まれる測定点の位置をワーク８１の移動方向に移動する。センサ座標系７８におけるワーク８１の移動方向は、予め定められている。ここでの例では、ワーク８１は、センサ座標系７８のＸ軸の方向に移動する。

【0064】

本実施の形態の３次元マップでは、測定領域７１内の測定点の位置がセンサ座標系７８の座標値にて検出されている。移動制御部６３は、３次元マップに含まれる測定点の位置をワーク８１の移動量にて移動する。また、移動制御部６３は、３次元マップに含まれる測定点の位置を、ワーク８１の移動する方向に平行移動する。

【0065】

図８を参照して、移動制御部６３は、それぞれの測定点ごとに位置の移動を行う。例えば、３次元マップには、ワーク８１の表面に配置された測定点Ｐ１Ａの座標値が含まれる。移動制御部６３は、測定点Ｐ１Ａをワーク８１が移動する方向にワーク８１の移動量にて移動する。測定点Ｐ１Ａは、測定点Ｐ１Ｂに移動する。ここでの例は、センサ座標系７８における測定点Ｐ１ＡのＸ軸の座標値をワーク８１の移動量にて修正する。また、３次元情報には、ワーク８１の表面に設定された測定点Ｐ２Ａの座標値が含まれる。移動制御部６３は、同様の方法により、測定点Ｐ２Ａを測定点Ｐ２Ｂに移動する。センサ座標系７８における測定点Ｐ２ＡのＸ軸の座標値をワーク８１の移動量にて修正する。このように、ワーク８１の移動に対応するように、測定点の座標値を変更することができる。ここでは、測定領域７１に含まれる全ての測定点を移動する。

【0066】

図９を参照して、測定領域７１を画像７２に重ねた時に、画像７２における測定点のグループ７１ａ～７１ｄの移動方向は予め設定されている。ここでの例では、移動制御部６３は、画像座標系７９のＹ軸の正側の方向に測定点のグループ７１ａ～７１ｄを移動する。視覚センサ３０は、位置が固定されている。ワーク８１の実際の移動距離に対する画像座標系７９における測定点の移動距離の割合は予め設定されている。移動制御部６３は、ワーク８１の移動距離に基づいて、画像座標系７９における測定点のグループ７１ａ～７１ｄの移動距離を算出する。移動制御部６３は、３次元マップを矢印８７に示すように移動する。ワーク８１の２次元画像である画像７２ａの領域内に、グループ７１ａの少なくとも一部の測定点が移動する。この結果、画像７２ａの領域内にグループ７１ａの少なくとも一部の測定点が含まれる。

【0067】

図３および図５を参照して、ステップ９６において、画像処理部４７の特徴部位検出部６４は、２次元画像である画像７２において、ワーク８１の特徴部位を検出する。本実施の形態においては、ワーク８１の上面が特徴部位に設定されている。ワーク８１の上面の基準画像は、予め記憶部４２に記憶されている。基準画像は２次元画像である。基準画像は、２次元カメラにて実際にワーク８１の上面を撮像した画像を採用することができる。または、ＣＡＤ（Computer Aided Design）装置を用いて、ワーク８１の３次元データに基づいてワーク８１の基準画像を生成しても構わない。特徴部位検出部６４は、基準画像を用いたテンプレートマッチングの方法により、画像７２においてワーク８１の上面の画像７２ａを検出する。

【0068】

次に、ステップ９７において、算出部６５は、ワーク８１の位置および姿勢を算出する。ワーク８１の位置としては、例えばワーク８１の上面の長方形の重心位置を採用することができる。また、ワークの姿勢としては、ワーク８１の上面の法線方向を採用することができる。算出部６５は、画像７２ａに重なる領域に配置されている測定点を抽出する。ここでの例では、測定点のグループ７１ａが画像７２ａに重なるために、算出部６５は、グループ７１ａに含まれる複数の測定点を抽出する。算出部６５は、複数の測定点の座標値に基づいて、ワーク８１の位置および姿勢を算出することができる。

【0069】

このように、本実施の形態においては、２次元画像にてワーク８１の特徴部位を検出し、ワーク８１の特徴部位における３次元情報に基づいて、ワーク８１の位置および姿勢を検出することができる。

【0070】

次に、ステップ９８において、算出部６５は、ワーク８１の位置および姿勢に基づいて、ロボット１の位置および姿勢を算出する。算出部６５は、ワーク８１がハンド２にて把持される位置までコンベヤ６にて移動したときのワーク８１の位置および姿勢を算出する。算出部６５は、その時のワーク８１の位置および姿勢に基づいて、ロボット１の位置および姿勢を算出する。

【0071】

ステップ９９において、算出部６５は、動作制御部４３に対してロボット１およびハンド２を駆動する指令を送出する。動作制御部４３は、算出部６５からの指令に基づいて、ロボット１およびハンド２を駆動する。ワーク８１は、ハンド２に把持されて目標位置まで搬送される。

【0072】

このように、本実施の形態の撮像装置３は、３次元情報を２次元画像に同期させることができる。すなわち、２次元画像と同じ時刻に３次元情報を取得したように、３次元情報を補正することができる。このために、コンベヤ６にてワーク８１を移動しながら、ワーク８１の撮像とハンド２によるワーク８１の把持とを実施することができる。本実施の形態のロボット装置８では、３次元情報および２次元画像を取得するときにコンベヤ６を停止する必要はなく作業時間を短縮することができる。または、コンベヤ６が停止する時およびコンベヤ６が始動する時に、コンベヤ６におけるワークの位置がずれることを抑制することができる。

【0073】

上記の撮像装置３は、３次元情報を取得した後に２次元画像を撮像しているが、この形態に限られない。撮像装置は、２次元画像を撮像した後に３次元情報を取得しても構わない。この場合においても、移動制御部は、３次元情報における測定点の位置を移動して、２次元画像の位置に合わせる制御を実施することができる。

【0074】

第１のロボット装置８の搬送機は、コンベヤ６であるが、この形態に限られない。搬送機としては、ワーク８１を予め定められた方向に搬送する任意の装置を採用することができる。

【0075】

図１０に、本実施の形態における第２のロボット装置の概略平面図を示す。第２のロボット装置９においては、第１のロボット装置８のコンベヤ６の代わりに、搬送機としての搬送車７が配置されている。本実施の形態の搬送車７は、テープ３９に沿って自動的に移動する無人走行台車である。また、第１のロボット装置８のコンベヤ制御装置５の代わりに、搬送車制御装置が配置されている。搬送車制御装置は、例えば無線通信にて搬送車７を制御する。

【0076】

搬送車７はワーク８１を搬送する。搬送車７は、ワーク８１を載置する載置台７ａを含む。搬送車７は、床面に貼り付けられたテープ３９を検出するセンサを含む。搬送車７は、センサにてテープ３９を検出しながらテープ３９に沿って移動するように形成されている。すなわち、搬送車７の移動方向は予め定められている。搬送車７は、ワーク８１を水平方向に移動する。搬送車７が移動する経路の上方には、支持部材３７に固定された視覚センサ３０が配置されている。視覚センサ３０は、搬送車７にて搬送されるワーク８１を撮像可能な位置に配置されている。

【0077】

搬送車７は、車輪を駆動するための駆動モータを含む。駆動モータの出力シャフトには、位置検出器が取り付けられている。載置台７ａは、駆動モータにて移動する移動部材に相当する。載置台７ａの位置は、例えば搬送車７の任意の位置に設定された設定点の位置にて定めることができる。また、載置台７ａの位置は、駆動モータの出力シャフトの回転位置に対応する。なお、位置検出器は、搬送車の車輪のシャフトに取り付けられていても構わない。

【0078】

第２のロボット装置９においても、視覚センサ３０は、搬送車７が移動している期間中に撮像する。画像処理部４７は、３次元マップおよび２次元画像を互いに異なる時刻に取得する。また、画像処理部４７は、３次元マップを取得した時に位置検出器にて検出された第１の回転位置と、２次元画像を取得した時に位置検出器にて検出された第２の回転位置とを取得する。

【0079】

画像処理部４７の移動制御部６３は、第１の回転位置および第２の回転位置に基づいて、ワーク８１の移動距離を算出する。移動制御部６３は、ワーク８１の移動量に基づいて３次元マップの測定点の位置を修正する。移動制御部６３は、画像座標系において、ワークの２次元画像に対してワークの３次元情報の相対位置を変更する。移動制御部６３は、ワークの２次元画像の領域内にワークの３次元情報を移動する制御を実施する。この後に、画像処理部４７は、３次元マップおよび２次元画像に基づいて、ワーク８１の位置および姿勢を検出することができる。

【0080】

その他の第２のロボット装置の構成、作用、および効果は、第１のロボット装置と同様であるので、ここでは説明を繰り返さない。

【0081】

上記の実施の形態においては、ワークの特徴部位を検出するために基準画像を用いているが、この形態に限られない。ロボットにてワークを把持する時に基準画像を使わなくても構わない。例えば、ワークの移動量に応じて３次元マップ等の３次元情報を移動する。そして、３次元情報に基づいて、ワークの重心位置を検出する。重心位置に対するハンドの位置および姿勢は予め定められている。ワークの重心位置に基づいて、ハンドの位置および姿勢を算出することができる。

【0082】

本実施の形態の搬送機は、ワークを直線状の経路に沿って搬送するが、この形態に限られない。ワークを移動する方向が定められていれば、搬送機は曲線状の経路に沿ってワークを移動しても構わない。

【0083】

本実施の形態の撮像装置は、ワークの位置および姿勢を検出するために、３次元情報および２次元画像を取得しているが、この形態に限られない。撮像装置は、任意の制御を行うために、３次元情報および２次元画像を取得することができる。そして、撮像装置は、予め定められた座標系において、３次元情報を移動することにより、２次元画像と３次元情報との同期をとることができる。

【0084】

上述のそれぞれの制御においては、機能および作用が変更されない範囲において適宜ステップの順序を変更することができる。

【0085】

上記の実施の形態は、適宜組み合わせることができる。上述のそれぞれの図において、同一または相等する部分には同一の符号を付している。なお、上記の実施の形態は例示であり発明を限定するものではない。また、実施の形態においては、請求の範囲に示される実施の形態の変更が含まれている。

【符号の説明】

【0086】

１ ロボット
２ ハンド
３ 撮像装置
４ ロボット制御装置
５ コンベヤ制御装置
６ コンベヤ
７ 搬送車
８，９ ロボット装置
２４ コンベヤ駆動モータ
２５ 位置検出器
２６ コンベヤ駆動装置
３０ 視覚センサ
３１ 第１のカメラ
３２ 第２のカメラ
４７ 画像処理部
６１ ３次元情報生成部
６２ ２次元画像取得部
６３ 移動制御部
６４ 特徴部位検出部
６５ 算出部
７１ 測定領域
７１ａ，７１ｂ，７１ｃ，７１ｄ グループ
７２ 画像
７２ａ，７２ｂ 画像
７８ センサ座標系
７９ 画像座標系
８１ ワーク
Ｐ１Ａ，Ｐ１Ｂ，Ｐ２Ａ，Ｐ２Ｂ 測定点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】