特許 7217109 帯状物の作業位置決定方法、ロボット制御方法、帯状物の作業位置決定装置および帯状物ハンドリングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-25

(45)【発行日】2023-02-02

(54)【発明の名称】帯状物の作業位置決定方法、ロボット制御方法、帯状物の作業位置決定装置および帯状物ハンドリングシステム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20230126BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 24

(21)【出願番号】P 2018164904

(22)【出願日】2018-09-03

(65)【公開番号】P2020037147

(43)【公開日】2020-03-12

【審査請求日】2021-07-05

【前置審査】

(73)【特許権者】

【識別番号】000001096

【氏名又は名称】倉敷紡績株式会社

(74)【代理人】

【識別番号】100167988

【弁理士】

【氏名又は名称】河原 哲郎

(72)【発明者】

【氏名】北井 基善

【審査官】國武 史帆

(56)【参考文献】

【文献】特開２００９－１０７０４３（ＪＰ，Ａ）

【文献】特開２０１２－２００８０５（ＪＰ，Ａ）

【文献】特開２０１８－１１５８８３（ＪＰ，Ａ）

【文献】特開２００９－２７９７００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

自由変形が起こる可撓性を有する帯状物（先端に接続のための部材を有するものを除く）の少なくとも可撓性を有する部分の一端辺の３次元座標を取得する端辺座標取得工程と、
前記一端辺の３次元座標に基づいて、前記帯状物の可撓性を有する部分に作業位置を決定する作業位置決定工程と、
を有する帯状物の作業位置決定方法。

【請求項2】

前記端辺座標取得工程が前記帯状物の第１側端辺の３次元座標を取得する工程であり、
前記作業位置決定工程が、前記第１側端辺の３次元座標に基づいて、前記帯状物の前記作業位置を決定する工程である、
請求項１に記載の帯状物の作業位置決定方法。

【請求項3】

前記端辺座標取得工程が前記帯状物の第２側端辺の３次元座標をさらに取得する工程であり、
前記作業位置決定工程が、前記第１側端辺および前記第２側端辺の３次元座標に基づいて、前記帯状物の前記作業位置を決定する工程である、
請求項２に記載の帯状物の作業位置決定方法。

【請求項4】

前記作業位置が前記第１側端辺上の第１基準点と前記第２側端辺上の第２基準点とを結んだ直線上に位置する、
請求項３に記載の帯状物の作業位置決定方法。

【請求項5】

前記第１基準点が前記第１側端辺上の第１角部から所定の距離にあり、
前記第２基準点が前記第２側端辺上の第２角部から所定の距離にある、
請求項４に記載の帯状物の作業位置決定方法。

【請求項6】

前記端辺座標取得工程が前記帯状物の先端辺の３次元座標を取得する工程であり、
前記作業位置決定工程が、前記先端辺の３次元座標に基づいて、前記帯状物の前記作業位置を決定する工程である、
請求項１に記載の帯状物の作業位置決定方法。

【請求項7】

前記端辺座標取得工程が前記帯状物の第１側端辺の３次元座標をさらに取得する工程であり、
前記作業位置決定工程が、前記第１側端辺および前記先端辺の３次元座標に基づいて、前記帯状物の前記作業位置を決定する工程である、
請求項６に記載の帯状物の作業位置決定方法。

【請求項8】

前記作業位置が前記第１側端辺上の第１基準点と前記先端辺上の第３基準点とを結んだ直線上の位置または前記第１基準点から前記先端辺と平行な方向に所定の距離だけ離れた位置である、
請求項７に記載の帯状物の作業位置決定方法。

【請求項9】

前記第１側端辺の３次元座標に基づいて、前記帯状物の作業方向を決定する作業方向決定工程をさらに有する、
請求項２に記載の帯状物の作業位置決定方法。

【請求項10】

前記第１側端辺および前記第２側端辺の３次元座標に基づいて、前記帯状物の作業方向を決定する作業方向決定工程をさらに有する、
請求項３に記載の帯状物の作業位置決定方法。

【請求項11】

前記第１基準点と前記第２基準点とを結んだ直線に基づいて前記帯状物の作業方向を決定する作業方向決定工程をさらに有する、
請求項４または５に記載の帯状物の作業位置決定方法。

【請求項12】

前記先端辺の３次元座標に基づいて、前記帯状物の作業方向を決定する作業方向決定工程をさらに有する、
請求項６に記載の帯状物の作業位置決定方法。

【請求項13】

前記第１側端辺および前記先端辺の３次元座標に基づいて、前記帯状物の作業方向を決定する作業方向決定工程をさらに有する、
請求項７に記載の帯状物の作業位置決定方法。

【請求項14】

前記先端辺に平行な方向を前記帯状物の作業方向として決定する作業方向決定工程をさらに有する、
請求項８に記載の帯状物の作業位置決定方法。

【請求項15】

前記端辺座標取得工程は、変形の制限を受けない自由な状態である前記帯状物の３次元座標を取得する、
請求項１～１４のいずれか一項に記載の帯状物の作業位置決定方法。

【請求項16】

請求項１～８のいずれか一項に記載された帯状物の作業位置決定方法における前記端辺座標取得工程および前記作業位置決定工程と、
前記帯状物の前記作業位置に対してロボットハンドに作業させる作業工程とを有する、
ロボット制御方法。

【請求項17】

請求項９～１４のいずれか一項に記載された帯状物の作業位置決定方法における前記端辺座標取得工程、前記作業位置決定工程および前記作業方向決定工程と、
前記作業方向で前記帯状物の前記作業位置に対してロボットハンドに作業させる作業工程とを有する、
ロボット制御方法。

【請求項18】

前記作業工程の前に、前記作業位置から前記作業方向の逆向きに所定距離離れた位置に作業手前位置を設定する作業手前位置設定工程をさらに有する、
請求項１７に記載のロボット制御方法。

【請求項19】

前記作業工程の前に、前記作業位置が前記ロボットハンドの可動域の内であるか外であるかを判定する工程をさらに有する、
請求項１６～１８のいずれか一項に記載のロボット制御方法。

【請求項20】

前記作業工程の前に、前記作業位置および前記作業手前位置が前記ロボットハンドの可動域の内であるか外であるかを判定する工程をさらに有する、
請求項１８に記載のロボット制御方法。

【請求項21】

前記作業工程が前記作業位置を把持位置として前記ロボットハンドで前記帯状物を把持する把持工程である、
請求項１６～２０のいずれか一項に記載のロボット制御方法。

【請求項22】

前記作業工程が前記作業位置を把持位置、前記作業方向を把持方向として前記ロボットハンドで前記帯状物を把持する把持工程である、
請求項１７、１８、２０のいずれか一項に記載のロボット制御方法。

【請求項23】

自由変形が起こる可撓性を有する帯状物（先端に接続のための部材を有するものを除く）を計測する３次元計測装置と、
前記３次元計測装置が計測した前記帯状物の少なくとも可撓性を有する部分の一端辺の３次元座標から前記帯状物の可撓性を有する部分に設定された作業位置を算出して出力する演算部と、
を有する帯状物の作業位置決定装置。

【請求項24】

請求項２３に記載の作業位置決定装置と、
前記帯状物を把持するロボットハンドを備えるロボットとを有し、
前記作業位置決定装置が出力した前記作業位置に基づき前記ロボットハンドで前記帯状物を把持する、帯状物ハンドリングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、帯状物に対する作業の作業位置を決定する方法および装置、ならびに当該作業位置に対してロボットハンドに作業させるロボット制御方法および帯状物ハンドリングシステムに関する。

【背景技術】

【0002】

フラットケーブル等の可撓性を有する帯状物を扱う作業を、ロボットを利用して自動化することが行われている。このような作業では、曲がったり捻じれたりした状態の帯状物を把持する方法が問題となる。

【0003】

特許文献１には、フラットケーブルを把持して、先端のケーブル用コネクタを受入側コネクタに挿入するロボットハンドが記載されている。ロボットハンドは、テーブル上にストックされているフラットケーブルに吸着部を押し付けてケーブルを吸着保持し、ケーブルを僅かに持ち上げて、ケーブルの下側に把持爪を差し入れることによって、ケーブルを把持する。

【0004】

特許文献２には、フレキシブルフラットケーブル等の可撓性を有する長尺部材を把持して、先端のケーブル側コネクタを基板側コネクタに接続するロボットが記載されている。ロボットは、基端側が剛体に取り付けられたフラットケーブルに対して、先端部に比べて位置及び姿勢のばらつきが小さい基端部と把持目標位置の途中部位をロボットハンドで摺動可能に挟持し、ロボットハンドを把持目標位置に向かって滑らせながら移動させることによって、ケーブルを把持する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－１８９８５０号公報

【文献】特開２０１５－０３００８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１の記載された把持方法では、フラットケーブルが予めテーブル上にストックされている必要がある。そのため、例えば箱の中に乱雑に収容された帯状物や、空中に吊り下げられた帯状物には適用できなかった。

【0007】

特許文献２に記載された把持方法では、長尺部材の基端側が剛体に取り付けられた状態であること要し、両端ともに固定されていない帯状物には適用できなかった。また、特許文献２に記載された把持方法ではロボットハンドで途中位置を挟持した後、ロボットハンドを把持目標位置に向かって滑らせるので、ロボットハンドが長尺部材を最終的に把持するまでに時間がかかるという問題があった。

【0008】

本発明は、上記を考慮してなされたものであり、帯状物の状態による制限を受けることなく、帯状物の把持等の帯状物に対する作業の作業位置を決定する方法および装置、ならびにロボットハンドで当該作業位置を把持可能とするハンドリング方法およびシステムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の帯状物の作業位置決定方法は、帯状物の少なくとも一端辺の３次元座標を取得する端辺座標取得工程と、前記一端辺の３次元座標に基づいて、前記帯状物の作業位置を決定する作業位置決定工程とを有する。

【0010】

ここで、帯状物の端辺とは、帯状物の平坦な２面（表面と裏面）の境界部分を構成する４つの外周辺をいう。端辺の３次元座標とは３次元空間内で当該端辺が占める位置を示すもので、端辺の形状を示す方程式であってもよいし、端辺上の点の３次元座標の集合であってもよい。また、３次元座標の取得とは、ステレオカメラ等の３次元計測装置で帯状物を撮像して３次元座標を得ることだけでなく、予め記憶された帯状物の３次元座標データを記憶装置等から読み込むことも含む。また、作業位置とは、人やロボットが帯状物に対して把持、挟持、吸着等の保持作業または塗装、マーキング、溶接、切断、穴あけ、部品取り付け、縫製、はんだ等の加工作業を行う際に、作業のターゲット位置となる３次元座標をいう。この方法によって、作業しようとする帯状物が撓みや捻じれが生じている状態であっても帯状物に対して確実に作業位置を決定することができる。

【0011】

好ましくは、前記端辺座標取得工程が前記帯状物の第１側端辺の３次元座標を取得する工程であり、前記作業位置決定工程が、前記第１側端辺の３次元座標に基づいて、前記帯状物の前記作業位置を決定する工程である。ここで、側端辺とは、上記端辺のうち、長辺にあたる２辺のうちのどちらか１辺をいう。

【0012】

あるいは好ましくは、前記端辺座標取得工程が前記帯状物の先端辺の３次元座標を取得する工程であり、前記作業位置決定工程が、前記先端辺の３次元座標に基づいて、前記帯状物の前記作業位置を決定する工程である。ここで、先端辺とは、上記端辺のうち、短辺にあたる２辺のうちのどちらか１辺をいう。

【0013】

好ましくは、上記帯状物の作業位置決定方法は、取得した前記端辺の３次元座標に基づいて、前記帯状物の作業方向を決定する作業方向決定工程をさらに有する。ここで、作業方向とは、帯状物に対して直接作業を実行するエンドエフェクタ等の作業部材が帯状物に対してアプローチする方向をいう。言い換えると、作業方向とは、帯状物に対して作業する作業部材（例えば、ロボットハンドや人の手、ロボットハンドや人の手が把持している保持用具や加工用具）が最終的に帯状物の作業位置まで近づいていく際の進行方向をいう。例えば、ロボットハンドによる帯状物の把持作業において作業方向（把持方向）は、帯状物の作業位置（把持位置）近傍の面と平行で、帯状物の幅方向と所定の角度をなして把持位置に向かう方向であることが好ましく、この方向を作業方向とすることができる。作業方向（把持方向）はロボットハンドの形状や作業内容等に応じて適宜設定することができる。作業方向を決定することには作業方向の３次元ベクトルを求めることを含む。この方法によって、帯状物が変形した状態であっても確実に作業方向を決定することができる。

【0014】

本発明のロボット制御方法は、上記いずれかの帯状物の作業位置決定方法における前記端辺座標取得工程および前記作業位置決定工程と、前記帯状物の前記作業位置に対してロボットハンドに作業させる作業工程とを有する。好ましくは、前記作業工程が前記作業位置を把持位置として前記ロボットハンドで前記帯状物を把持する把持工程である。この方法によって、ティーチングやパターンマッチングといった従来の手法が適用できない可撓性の帯状物を確実に把持できる。

【0015】

本発明の他のロボット制御方法は、上記いずれかの帯状物の作業位置決定方法において作業方向が決定された場合に、当該作業位置決定方法における前記端辺座標取得工程および前記作業位置決定工程と、前記作業方向で前記帯状物の前記作業位置に対してロボットハンドに作業させる作業工程とを有する。好ましくは、本発明の他のロボット制御方法は、前記作業工程の前に、前記作業位置から前記作業方向の逆向きに所定距離離れた位置に作業手前位置を設定する作業手前位置設定工程をさらに有する。より好ましくは、前記作業工程が前記作業位置を把持位置、前記作業方向を把持方向としてとして前記ロボットハンドで前記帯状物を把持する把持工程である。この方法によって、ティーチングやパターンマッチングといった従来の手法が適用できない可撓性の帯状物を確実に把持できる。

【0016】

本発明の帯状物の作業位置決定装置は、帯状物を計測する３次元計測装置と、前記３次元計測装置が計測した前記帯状物の少なくとも一端辺の３次元座標から前記帯状物の作業位置を算出して出力する演算部とを有する。

【0017】

本発明の帯状物ハンドリングシステムは、上記作業位置決定装置と、前記帯状物を把持するロボットハンドを備えるロボットとを有し、前記作業位置決定装置が出力した前記作業位置に基づき前記ロボットハンドで前記帯状物を把持する。

【発明の効果】

【0018】

本発明の帯状物の作業位置決定方法または装置によれば、帯状物の少なくとも一端辺の３次元座標に基づいて、作業位置を決定することができる。これによって、撓み、捻じれ、曲がり等の自由変形が起こる可撓性の帯状物など、従来のパターンマッチング手法が適用できない帯状物に対しても、確実かつ高速に作業のターゲット位置を決定することができる。また、本発明のロボット制御方法によれば、帯状物の少なくとも一端辺の３次元形状に基づいて作業位置を決定するので、ティーチングやパターンマッチングといった従来の手法を用いないで帯状物に対してロボットハンドに作業させることができる。また、本発明の帯状物ハンドリングシステムによれば、帯状物に撓みや捻じれが生じた状態であっても、ロボットハンドで帯状物を確実に把持することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態である帯状物ハンドリングシステムの構成を示す図である。

【図2】ロボットハンドの構造例を示す図である。

【図3】本発明の一実施形態である帯状物の作業位置決定方法の工程フロー図である。

【図4】本発明の一実施形態であるロボット制御方法における把持工程の工程フロー図である。

【図5】帯状物の把持位置と把持方向を説明するための図である。

【図6】Ａ：第１画像および第２画像、Ｂ：輪郭抽出、Ｃ：屈曲点および側端辺選択を説明するための図である。

【図7】帯状物上の基準点および把持位置、ならびに帯状物外の手前位置の設定方法を説明するための図である。

【図8】ロボットハンドによる帯状物の把持動作を説明するための図であって、ロボットハンドがＡ：手前位置にあるとき、Ｂ：把持位置にあるとき、およびＣ：帯状物を把持した状態を示す図である。

【図9】Ａ：第１画像および第２画像、Ｂ：輪郭抽出、Ｃ：屈曲点および領域選択を説明するための図である。

【図10】帯状物の側端辺選択方法を説明するための図である。

【図11】帯状物の把持位置の決定方法を説明するための図である。

【発明を実施するための形態】

【0020】

本発明の帯状物の作業位置決定方法、ロボット制御方法、帯状物の作業位置決定装置および帯状物ハンドリングシステムの一実施形態を図１～図１０に基づいて説明する。本実施形態では、帯状物の側端辺に基づいて作業位置を決定し、当該作業位置を把持位置としてロボットハンドが把持作業を行う。

【0021】

図１を参照して、本実施形態の帯状物ハンドリングシステム１０は、３次元計測装置２０とロボット３０からなる。本実施形態では、３次元計測装置２０によって帯状物４０の３次元計測を行い、その結果に基づいて帯状物４０の把持位置（作業位置）および把持方向（作業方向）を決定し、帯状物をロボット３０のハンド（ロボットハンド）３２で把持し、帯状物を所定の向きにして所定の目標位置６０まで移動する。

【0022】

帯状物４０は可撓性を有する帯状の物体である。帯状物としてはフラットケーブル、布地、フィルム、リボンなどが例示されるがこれには限られず、帯状物の種類は特に限定されない。また、帯状物の断面形状は、厚さが完全に均一である必要まではなく、両方の側端辺がエッジとして認識できる形状であればよい。例えば、中央部が厚く形成された凸レンズ状の断面形状を有していてもよいし、多くのリボンのように、一方または両方の側端辺に折り返し部分などの厚肉部分が形成されていてもよい。

【0023】

また、帯状物４０は図１に描かれたように切断や加工がされる前のものであってもよいし、すでに切断または一部加工がされたものであってもよい。図１では、帯状物４０はリールに巻かれ、先端が空中に垂れ下がった垂下状態にある。帯状物４０の先端近傍は、撓みや捻じれによって、位置や姿勢などの状態が一定しない。本実施形態の３次元計測装置および方法は、このように帯状物が撓みや捻じれによる変形を制限されない「自由な」状態にある場合に、特に好適に用いられる。つまり、撮像する帯状物の先端部が他の物から応力を受けない状態、もしくは他の物から多少の応力を受けていたとしても自重とのバランスや風などの外的要因で形状や姿勢が安定してない状態である場合に、特に好適に用いられる。

【0024】

３次元計測装置２０は帯状物４０の各部の３次元座標を計測する。３次元計測装置の種類は特に限定されず、公知の種々の装置を用いることができる。本実施形態の３次元計測装置２０はステレオ方式の３次元計測装置である。３次元計測装置２０は、第１カメラ２１、第２カメラ２２および演算部２３を有する。第１カメラ２１および第２カメラ２２は、把持すべき帯状物４０を異なる視点から撮像する。演算部２３は、第１カメラおよび第２カメラが撮像した２枚の画像を処理して帯状物４０の３次元座標を求める他、各種演算を行う。演算部の機能の詳細は後述する。

【0025】

ロボット３０は多関節ロボットであって、アーム３１、ハンド（ロボットハンド）３２および制御部３６を有する。制御部３６はアームおよびハンドを含むロボット３０全体を制御する。ロボット３０はハンド３２によって帯状物４０を把持し、アームおよびハンドを動かして帯状物４０を目標位置６０まで移動する。

【0026】

図２を参照して、ハンド３２はアーム３１の先端に取り付けられ、２つの把持面３３と、複数のリンク３４と、リンクを連結する複数の関節３５を有する。ハンド３２は、関節３５を適切に動作させることにより、両把持面３３、３３の間隔を広げたり狭めたりすることができる。ハンド３２は両把持面の間隔を広げて帯状物４０に接近し、両把持面の間隔を狭めて帯状物を挟持する。なお、ハンドの構造はこれには限られず、カムや歯車を用いて指を開閉する各種のグリッパや真空吸着、マグネット吸着等の方式を用いることもできる。

【0027】

本実施形態のロボット制御方法を図３および図４に示す工程の流れに沿って、以下に説明する。なお、図３は本実施形態の作業位置決定方法の工程フロー図である。

【0028】

図３において、３次元計測装置２０の演算部２３は、まず、ロボットハンド３２が帯状物４０を把持する際の把持条件として把持距離および把持角度を受信する。図５を参照して、把持位置Ｇとは帯状物４０上にあってハンド３２が把持する位置をいい、例えば帯状物の先端辺４１からの把持距離Ｄで与えられる。把持角度θとは、ハンド３２が帯状物４０を把持するときの、帯状物に対するハンドの向きをいい、例えば、帯状物の幅方向（図５の破線）からの角度θで与えられる。ハンド３２は側端辺の３次元座標に基づいて推定した帯状物の面と把持面３３、３３を略平行にして、把持面３３、３３の前後方向（図２のＸ方向）を帯状物の幅方向と把持角度θで交差する把持方向Ｖに向けて、帯状物を把持する。例えば把持角度θが０度のときは、ハンド３２は帯状物を真横から把持する。把持距離Ｄおよび把持角度θはいずれも、空間の３次元座標ではなく、帯状物４０に対する相対的な位置または角度として与えられる。把持距離Ｄおよび把持角度θは加工や梱包などの後工程に応じて定めることができる。把持距離Ｄおよび把持角度θは、例えば図示しない入力手段から作業者が入力したものを演算部２３が受信する。

【0029】

図６Ａを参照して、第１カメラ２１および第２カメラ２２が帯状物４０の第１画像Ｌおよび第２画像Ｒを撮像する。帯状物全体を撮像する必要はなく、帯状物の形状を推定したい範囲を撮像すればよい。つまり、所望する把持位置や把持方向の決定に必要な範囲の帯状物の画像を取得すればよい。

【0030】

図６Ｂを参照して、演算部２３は、第１画像Ｌおよび第２画像Ｒのそれぞれで、帯状物４０の輪郭Ｃを抽出する。輪郭Ｃは、隣接する画素同士の差分演算等により、公知の方法によって抽出できる。

【0031】

演算部２３は、第１画像Ｌおよび第２画像Ｒのそれぞれで、輪郭Ｃの屈曲点を選択する。輪郭Ｃ上の点が屈曲点であるか否かは、その点から輪郭Ｃ上の両側の隣点へ引いた２本の直線の成す角度によって判断できる。例えば、当該角度が１２０度以下であるときに、その点を屈曲点と判断できる。

【0032】

図６Ｃを参照して、第１画像Ｌおよび第２画像Ｒの両方で２つの屈曲点が選択できたときは、当該２つの屈曲点を帯状物４０の第１角部４２および第２角部４３として認識する。以下に、２つの角部４２、４３が選択可能である場合について説明し、選択可能でない場合については後述する。

【0033】

第１画像Ｌおよび第２画像Ｒで第１角部４２および第２角部４３を選択できたときは、第１画像および第２画像上で、帯状物４０の第１側端辺４４および第２側端辺４５を選択する。具体的には、輪郭Ｃのうち第１角部４２から第２角部４３と反対側に延びる部分を第１側端辺４４として選択し、輪郭Ｃのうち第２角部から前記第１角部と反対側に延びる部分を第２側端辺４５として選択する。より具体的には例えば、輪郭Ｃ上の点に順番に番号（インデックス）を振り、第１角部のインデックスをｎ１、第２角部のインデックスをｎ２として、ｎ１＜ｎ２であれば、インデックスがｎ１以下の点が第１側端辺を構成し、インデックスがｎ２以上の点が第２側端辺を構成するものと判断できる。

【0034】

演算部２３は、第１側端辺４４および第２側端辺４５のそれぞれについて、第１画像Ｌと第２画像Ｒを比較することによって、側端辺上の各点の３次元座標を求める。これにより第１側端辺および第２側端辺の３次元座標が算出される。

【0035】

ステレオ法による３次元計測では、視点の異なる２つの画像上で計測したい点の対応点を求め、各画像上の対応点および２台のカメラの位置関係から３角測量の原理によって、計測点の３次元座標を算出する。ここで、各画像上の対応点を探索するマッチング処理が最も情報処理の負荷が重く、コストがかかるプロセスである。本実施形態では、まず２次元画像である第１画像Ｌおよび第２画像Ｒ上で第１側端辺４４を抽出し、第１画像Ｌの第１側端辺４４を構成する画素と第２画像Ｒの第１側端辺４４を構成する画素とをマッチングするので、処理の負荷が軽い。

【0036】

また、対応点の探索にはエピポーラ線を利用することができる。エピポーラ線は一方の画像の視点と計測点を結ぶ直線を他方の画像上に投影した直線で、その計測点は必ず他方の画像上のエピポーラ線上に投影されている。第１画像Ｌの第１側端辺４４を構成する各画素に対応したエピポーラ線と第２画像Ｒの第１側端辺４４との交点を計算すれば、両画像の画素ごとにマッチングする必要がないため、より高速に対応点を求めることができる。

【0037】

さらに、第１画像Ｌと第２画像Ｒ上でそれぞれ２つの屈曲点が選択できれば、その２つの屈曲点同士が第１角部４２および第２角部４３の対応点である。したがって、第１側端辺４４については第１角部４２を手掛かりにして、第１角部から出発して順次第１側端辺上の点の対応点を探索することによってマッチング処理の負荷が大幅に軽減できる。例えば、第１側端辺のマッチング処理を次のように行う。第１側端辺の端点である第１角部については第１画像および第２画像上で既に対応点が得られている。第１画像で第１角部の次の点（第１側端辺上で第１角部の隣に位置する点をいう、以下も同様）に対しては、第２画像で第１角部、第１角部の次の点、そのまた次の点などを含むいくつかの点についてのみ探索することで、第２画像の対応点を決定できる。以後も同様に、既に対応関係が得られた点の次の点について対応点を決定し、これを繰り返す。第２側端辺４５についても同様である。

【0038】

図７を参照して、演算部２３は第１側端辺４４および第２側端辺４５の３次元座標を算出した後、第１側端辺４４上で第１角部４２から所定の把持距離Ｄの点を第１基準点Ｐ１、第２側端辺４５上で第２角部４３から所定の把持距離Ｄの点を第２基準点Ｐ２として選定する。そして、第１基準点Ｐ１と第２基準点Ｐ２を結ぶ直線を基準線Ｗとし、第１基準点Ｐ１と第２基準点Ｐ２の中点を把持位置Ｇとして、把持位置Ｇの３次元座標を計算する。なお、把持位置Ｇは、ハンドの形状に応じて基準線Ｗ上の任意の点を設定することができる。例えば、ハンドがコの字状であってハンドの指部の長さが帯状物の幅方向よりも短い場合、基準線Ｗ上であって、第１基準点Ｐ１から指部の長さ以内の距離を把持位置Ｇとして設定することができる。また、２つの基準点の間の距離が帯状物の幅に比べて短い場合は、帯状物が幅方向に対して断面Ｕ字状やＳ字状に撓んでいると推測できる。そこで、帯状物の幅に対して基準点間距離が所定の閾値以上に短い場合は、帯状物の変形が著しいと判断し、把持不可と判定してもよいし、別途３次元計測装置によって把持位置付近の３次元座標を再取得して実際の形状を調べてもよい。

【0039】

なお、第１角部４２および第２角部４３が直角でない場合、すなわち帯状物４０の先端辺４１が幅方向に対して斜めになっている場合は、所定の把持距離Ｄの始点を、第１角部または第２角部のうち鋭角である方や先端辺４１の中点などに予め決めておき、それに応じて第１基準点Ｐ１および第２基準点Ｐ２を選定すればよい。

【0040】

演算部２３は次に、把持方向Ｖおよび手前位置Ａの３次元座標を計算する。手前位置はアプローチ位置とも呼ばれる。手前位置は帯状物４０の側方にあって、ロボットハンド３２が把持方向Ｖに沿って、把持位置Ｇに向かって真っすぐ前進を開始する位置である。

【0041】

演算部２３は、３次元座標上で、第１基準点Ｐ１と第２基準点Ｐ２を結んだ直線Ｗと把持位置Ｇにおいて所定の角度θで交差し、帯状物４０の面内方向に伸びる把持方向Ｖを求める。ここで、帯状物４０の面内方向の推定方法について説明する。帯状物の側端辺の３次元座標しか取得していない場合、帯状物の面（平坦部）の形状は不明確である。そこで、側端辺の３次元座標から帯状物の面を推定する。まず、第１基準点と第２基準点を結んだ直線Ｗと第１側端辺の３次元座標または第２側端辺の３次元座標とで面を規定する。実際にはこれらの直線および座標は同一平面上には乗らないことが考えられるため、近似面を計算して帯状物の面方向とすればよい。推定方法はこれに限らず、第１側端辺および第２側端辺の３次元座標に基づいて計算してもよい。そして、把持方向Ｖ上にあり帯状物４０の外にある点であって、把持位置Ｇから所定の距離にある点を手前位置Ａとして設定して、手前位置Ａの３次元座標を決定する。好ましくは、演算部２３は、把持位置Ｇおよび手前位置Ａがロボットハンド３２の可動域の内であるか外であるかを判定する。

【0042】

手前位置Ａは帯状物４０のどちら側にあってもよい。例えば図７で、手前位置Ａは帯状物４０の手前側にあっても奥側にあってもよい。手前位置Ａを帯状物のどちら側に設定するかは、帯状物とロボットの位置関係に基づいて予め定めておいてもよいし、ロボットハンドに近い側を計測の都度選択してもよい。

【0043】

３次元計測装置２０は、把持位置Ｇおよび手前位置Ａの３次元座標をロボット３０の制御部３６に出力する。

【0044】

図４において、ロボット３０では、制御部３６が３次元計測装置２０の演算部２３から把持位置Ｇおよび手前位置Ａの３次元座標を受信して、ロボット座標に変換する。ロボット座標は、ロボットのある点を基準とする座標系における座標であり、例えばロボットのベースを基準とするベース座標系である。制御部はさらに、ロボット座標に基づいて、ハンド３２を手前位置Ａまたは把持位置Ｇまで移動させるのに必要な各関節の回転角度などの姿勢パラメータを求める。

【0045】

ロボット３０は、制御部３６がアーム３１とハンド３２の関節を駆動して、ハンドを手前位置Ａに移動させ、次いでハンドの先端を把持位置Ｇに向ける。手前位置においてハンドは、両把持面３３、３３の前後方向を把持方向線Ｖに平行にして間隔を広げ、先端を把持位置Ｇに真っ直ぐ向けた姿勢を取っている（図８Ａ）。あるいは、ロボット３０は、ハンド３２の向きを徐々に変えながら手前位置Ａまで移動させ、ハンドが手前位置に到達した時点で先端が把持位置に真っ直ぐ向いているようにしてもよい。この場合は、ハンドを手前位置で一旦停止させる必要はなく、後述する把持位置までの前進動作を連続して行ってもよい。

【0046】

図８Ｂを参照して、ロボット３０は、両把持面３３、３３の間隔を広げたまま、帯状物４０が両把持面３３、３３の間に入り込むように、ハンド３２を手前位置Ａから把持方向Ｖに沿って把持位置Ｇまで真っ直ぐ前進させる。ハンド３２を直接把持位置Ｇに移動させると、帯状物４０自体がハンド３２に干渉することがある。ハンド３２を一旦帯状物と干渉しない手前位置Ａを経由させて、手前位置Ａから把持位置Ｇに向かって前進させることによって、帯状物４０を確実に把持できる。

【0047】

図８Ｃを参照して、ハンド３２が把持位置Ｇに到達したら、両把持面３３、３３の間隔を狭めて帯状物４０を挟持する。

【0048】

ロボット３０は帯状物４０を把持したまま目標位置６０まで移動させる。目標位置とは、例えば、後工程での加工のための治具、加工機械への投入口や、帯状物を収容する容器などである。また、本実施形態ではハンド３２による帯状物４０の把持方向が分かっているので、言い換えると把持された帯状物４０とハンド３２のなす角度が分かっているので、ハンドの向きを適切に制御することにより、帯状物４０を所定の向きにして、目標位置まで移動させることができる。

【0049】

次に、屈曲点選択工程に戻って、第１画像Ｌまたは第２画像Ｒ上で２つの屈曲点が選択できなかった場合について説明する。

【0050】

図９を参照して、第１カメラ２１および第２カメラ２２が帯状物４０の第１画像Ｌおよび第２画像Ｒを撮像して（図９Ａ）、第１画像および第２画像のそれぞれで輪郭Ｃを抽出しても（図９Ｂ）、帯状物４０の捻じれ等が原因で２つの屈曲点が選択できない場合がある。図９Ｃのように、第１画像Ｌおよび第２画像Ｒで輪郭Ｃの屈曲点５６が１つ選択できたときは次のように処理する。演算部２３は、屈曲点５６を境にして輪郭Ｃを第１領域５８と第２領域５９に分割する。屈曲点５６は帯状物４０先端の１つの角部の対応点であるから、屈曲点５６を手掛かりにして第１領域および第２領域の３次元座標を算出する。

【0051】

第１領域５８および第２領域５９の３次元座標に基づいて、いずれかの領域内にあるもう１つの角部を選択する。第１画像Ｌおよび第２画像Ｒ上に屈曲点として現れない場合でも、３次元座標に基づけば角部は認識できる。例えば図１０を参照して、第２領域５９内にもう１つの角部４７が発見されたときは、屈曲点５６および第１領域５８は、帯状物４０の一方の角部４６および当該角部４６を端点とする一方の側端辺４８に一致する。第２領域５９からは、他方の角部４７を端点とする他方の側端辺４９を選択することができる。そして、第２領域５９の３次元座標および他方の角部４７の３次元座標から、他方の側端辺４９の３次元座標を求めることができる。

【0052】

以上により帯状物４０の２つの側端辺４８、４９が選択できた。第１基準点および第２基準点の選定以降は、前述した方法と同様に実施できる。

【0053】

第１画像Ｌおよび第２画像Ｒで輪郭Ｃに屈曲点を１つも選択できない場合は、輪郭Ｃ全体の３次元座標を算出し、その３次元座標に基づいて輪郭Ｃ上に２つの角部を認識することにより、２つの側端辺を選択できる。第１基準点および第２基準点の選定以降は、前述した方法と同様に実施できる。

【0054】

本発明は、上記の実施形態に限定されるものではなく、その技術的思想の範囲内で種々の変形が可能である。

【0055】

例えば、上記実施形態では第１画像Ｌおよび第２画像Ｒ上で帯状物４０の輪郭Ｃを抽出し、その輪郭Ｃのうちから第１側端辺４４を選択したが、全体の輪郭を抽出することなく、ハフ変換等によって第１側端辺４４を直接抽出してもよい。

【0056】

また、例えば、上記実施形態では、第１側端辺４４および第２側端辺４５の３次元座標を算出したが、場合によっては、第１側端辺の３次元座標のみを算出してもよい。例えば、ハンド３２の把持面３３が帯状物４０の幅に比べて十分に大きい場合には、帯状物の第１側端辺４４上に把持位置Ｇを設定することができる。

【0057】

また、例えば、上記実施形態では第１側端辺４４の３次元座標を算出したが、第１画像Ｌおよび第２画像Ｒのそれぞれで帯状物４０の先端辺４１を抽出し、第１画像および第２画像に基づいて先端辺４１の３次元座標を算出してもよい。それにより、先端辺４１上に把持位置Ｇを設定することができる。この場合、把持方向は先端辺４１に対して垂直な方向、つまり帯状物の長手方向として、手前位置を図１の帯状物先端部の下方に設定してもよい。

【0058】

また、例えば、先端辺の３次元座標に加えて１つの側端辺、例えば第１側端辺４４、の３次元座標を算出すれば、先端辺４１と第１側端辺４４に挟まれた帯状物４０の面内に把持位置Ｇを設定することができる。図１１Ａを参照して、第１側端辺４４上の第１基準点Ｐ１と先端辺４１上の第３基準点Ｐ３とを結んだ直線上に把持位置Ｇを設定してもよいし、図１１Ｂを参照して、第１基準点Ｐ１から先端辺４１と平行な方向に所定の距離ｄだけ離れた位置に把持位置Ｇを設定してもよい。さらに、上記実施形態と同様に、第１基準点Ｐ１と第３基準点Ｐ３を結んだ直線と、先端辺４１の３次元座標または第１側端辺４４の３次元座標から帯状物４０の面方向の近似面を計算し、帯状物の面内方向に伸びる把持方向を求めることができる。把持方向は移動先である目標位置や移動先の形状、例えば移動先が治具の挿入口である場合、治具の挿入口の寸法や形状等によって設定することができる。

【符号の説明】

【0059】

１０ 帯状物ハンドリングシステム
２０ ３次元計測装置
２１ 第１カメラ
２２ 第２カメラ
２３ 演算部
３０ 多関節ロボット
３１ アーム（ロボットアーム）
３２ ハンド（ロボットハンド）
３３ 把持面
３４ リンク
３５ 関節
４０ 帯状物
４１ 先端部
４２ 第１角部
４３ 第２角部
４４ 第１側端辺
４５ 第２側端辺
４６、４７ 角部
４８、４９ 側端辺
５６ 屈曲点
５８ 輪郭Ｃの第１領域
５９ 輪郭Ｃの第２領域
６０ 帯状物の移動目標位置
Ａ 手前位置（作業手前位置）
Ｃ 輪郭
Ｄ 帯状物の先端から把持位置までの距離（把持距離）
ｄ 帯状物の第１側端辺から把持位置までの距離
Ｇ 把持位置（作業位置）
Ｌ 第１画像
Ｐ１ 第１基準点
Ｐ２ 第２基準点
Ｐ３ 第３基準点
Ｒ 第２画像
θ 把持角度（帯状物の幅方向と把持方法の成す角度）
Ｖ 把持方向（作業方向）
Ｗ 第１基準点と第２基準点を結ぶ直線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】