知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-19
(45)【発行日】2022-12-27
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
B25J 13/08 20060101AFI20221220BHJP
【ＦＩ】
B25J13/08 A
【請求項の数】
4
(21)【出願番号】P 2021145479
(22)【出願日】2021-09-07
(62)【分割の表示】P 2019503833の分割
【原出願日】2017-03-06
(65)【公開番号】P2021185016
(43)【公開日】2021-12-09
【審査請求日】2021-09-13
(73)【特許権者】
【識別番号】000237271
【氏名又は名称】株式会社ＦＵＪＩ
(74)【代理人】
【識別番号】110000017
【氏名又は名称】弁理士法人アイテック国際特許事務所
(72)【発明者】
【氏名】大石 信夫
【審査官】臼井 卓巳
(56)【参考文献】
【文献】特開２０１４－２０５２０９（ＪＰ，Ａ）
【文献】特開２０１５－０４４２７４（ＪＰ，Ａ）
【文献】特開２００８－０３３４１９（ＪＰ，Ａ）
【文献】特開平０４－１１５８９３（ＪＰ，Ａ）
【文献】特開２０１７－０３０１３５（ＪＰ，Ａ）
【文献】特開２０１２－１０１３２０（ＪＰ，Ａ）
【文献】特開平０４－２９４９８９（ＪＰ，Ａ）
【文献】特開２００４－２３０５１３（ＪＰ，Ａ）
【文献】特開２０１０－０３２２５８（ＪＰ，Ａ）
【文献】特開２０１３－０６９１００（ＪＰ，Ａ）
【文献】特開２０１５－００９３１４（ＪＰ，Ａ）
【文献】特開２０１５－１００８６６（ＪＰ，Ａ）
【文献】国際公開第２０１２／０６６８１９（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ ９／２２－１９／０６
(57)【特許請求の範囲】
【請求項1】
供給された複数のワークの中から多関節ロボットが作業可能な対象ワークを抽出するにあたり、前記複数のワークの撮像画像に対して、画像処理データを用いて画像処理を行なう画像処理装置であって、前記画像処理データは、
パターンマッチングによって前記対象ワークを認識するためのワーク形状データと、
前記多関節ロボットに装着されるツールが前記対象ワークに対して作業を行なうツール作業位置を基準として前記ツールと前記対象ワークに対する周辺ワークとの干渉を禁止する領域を指定する干渉領域を含むツールデータと、
を有し、
前記ワーク形状データは、ワークの外形と前記ワークのツール作業位置とを含み、
前記多関節ロボットには、複数種の前記ツールが選択的に装着可能であり、
前記ツールデータは、複数種の前記ツールの各々について作成され、
前記干渉領域は、前記ツール作業位置を中心として前記ツールの影響が及ぶ範囲として
作成され、
前記ワーク形状データと前記ツールデータの組み合わせを、ワーク毎またはツール毎に組み替えることが可能に構成されるものであり、
前記画像処理装置は、前記撮像画像から抽出されるワークの輪郭形状が前記ワーク形状データと概ね一致するか否かにより前記対象ワークを認識し、前記認識した対象ワークに対する前記干渉領域に前記周辺ワークが侵入していないか否かにより前記ツールが前記対象ワークを作業可能か否かを判定する、
画像処理装置。
【請求項2】
前記干渉領域は、円形領域または方形領域として指定される、請求項１に記載の画像処理装置。
【請求項3】
前記画像処理データは、更に、前記画像処理のシーケンスおよびパラメータ設定を含むプロセスデータを有し、
前記ワーク形状データと前記ツールデータとに対する前記プロセスデータの組み合わせを、環境条件毎に組み替えることが可能に構成されるものであり、
前記画像処理装置は、前記撮像画像に対する画像処理のシーケンスを前記パラメータ設
定に従って実行する、
請求項１または２に記載の画像処理装置。
【請求項4】
前記環境条件は、前記ワークの供給方法または前記ワークの照明条件が含まれる、請求項３に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、画像処理データ作成用のデータ構造および画像処理データ作成方法について開示する。
【背景技術】
【0002】
従来より、ワークに対して作業が可能な産業用の多関節ロボットが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００４－３６２０１８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
現代の多変種変量セル生産ラインにおいては、多数の品種の生産を混流させることが多いため、多品種多数の部品（ワーク）が段取り替えなしに同時に供給されることが望まれており、ワークの配置、供給方法が大きな課題となっている。多関節ロボットの基本的な作業の一つとしては、対象ワークを把持（ピッキング）して搬送する作業がある。従来の産業用ロボットにおけるワークの供給は、多関節ロボットが把持し易いように、専用の供給装置を用いて、ワークを、１つ１つ方向および位置を整列させた状態で行なうことが多かった。しかしながら、専用の供給装置は、ワークごとに専用の設計が必要な上、設置スペースや設置コストも小さくないため、多変種変量セル生産のライン形成に適さない。
【0005】
このため、ワークの供給は、専用の供給装置を用いることなく、小さな設置面積で、より多数のワークを供給できるように、ケース（部品箱）や小型コンベア等の汎用的な供給装置上にワークをバラ置きするだけのよりシンプルな形態が望まれる。専用の供給装置は、毎回決まった位置、姿勢でワークを供給する。このため、多関節ロボットは、予め決められた通りの把持動作を行なえばよい。しかしながら、汎用的な供給装置では、ワークがバラ置きされ、ワークが配置される位置、姿勢が不定な上、把持対象外のワークとの干渉状態によって把持が不可能な場合がある。このため、多関節ロボットは、ワークの配置状態を認識した上で、適正な把持点、把持姿勢となるようにアームを制御する必要がある。
【0006】
ワークの配置状態は、ロボット制御装置に付属される画像処理装置にて、カメラ撮像と画像処理とにより自動的に認識される。画像処理装置は、ワークの配置条件、すなわち対象ワークの位置、方向、姿勢および対象外ワークとの干渉状態を認識し、対象ワークを把持することができるか否かを判定する。こうした画像処理を実現するための画像処理データの生成は、通常、大きな労力がかかる。しかし、多変種変量生産の生産ラインにおいては、より多くの品種を短時間に切り替えて効率よく生産することが求められ、より多くの品種の画像処理データを短時間で容易に生成できることが望まれる。
【0007】
本開示は、多品種の画像処理データを少ない労力で作成することが可能なデータ構造または作成方法を提供することを主目的とする。
【課題を解決するための手段】
【0008】
本開示は、上述の主目的を達成するために以下の手段を採った。
【0009】
本開示の画像処理データ作成用のデータ構造は、供給された複数のワークの中から多関節ロボットが作業可能な対象ワークを抽出するにあたり、前記複数のワークの撮像画像に対して画像処理を行なうために必要な画像処理データを作成するための画像処理データ作成用のデータ構造であって、パターンマッチングによって前記対象ワークを認識するためのワーク形状データと、前記ツールと周辺ワークとの干渉の有無をチェックするためのツールデータと、を有し、前記ワーク形状データと前記ツールデータの組み合わせを、ワーク毎またはツール毎に組み替えることが可能に構成されることを要旨とする。
【0010】
これにより、データ作成者は、共通項目について１回だけ設定データを作成すればよく、以降は、共通のデータを使用して多品種に展開することができる。この結果、多品種の画像処理データを少ない労力で作成することができる。
【図面の簡単な説明】
【0011】
【図1】ロボットシステム１０の構成の概略を示す構成図である。
【図2】ロボット２０の構成の概略を示す構成図である。
【図3】ロボット２０とロボット制御装置７０と画像処理装置８０との電気的な接続関係を示すブロック図である。
【図4】画像処理データのデータ構造を示す説明図である。
【図5A】ボルト形のワークのワーク形状モデルを示す説明図である。
【図5B】円筒形のワークのワーク形状モデルを示す説明図である。
【図6A】ボルト形のワークをピッキングツールＴ１（電磁チャック）でピッキングする様子を示す説明図である。
【図6B】円筒形のワークをピッキングツールＴ２（メカチャック）でピッキングする様子を示す説明図である。
【図6C】ボルト形のワークをピッキングツールＴ３（吸着ノズル）でピッキングする様子を示す説明図である。
【図7A】電磁チャック用のピッキングツールモデルの一例を示す説明図である。
【図7B】メカチャック用のピッキングツールモデルの一例を示す説明図である。
【図7C】吸着ノズル用のピッキングツールモデルの一例を示す説明図である。
【図8A】ピッキング可否を示す説明図である。
【図8B】ピッキング可否を示す説明図である。
【図8C】ピッキング可否を示す説明図である。
【図9】画像処理シーケンスの一例を示す説明図である。
【図10A】ワーク供給装置を場所Ａに設置した場合のワークＷおよびその背景の様子を示す説明図である。
【図10B】ワーク供給装置を場所Ｂに設置した場合のワークＷおよびその背景の様子を示す説明図である。
【図11A】ワーク供給装置１２ＡでワークＷを供給する際の検索領域ＡＳを示す説明図である。
【図11B】ワーク供給装置１２ＢでワークＷを供給する際の検索領域ＡＳを示す説明図である。
【図12A】ワーク形状モデルの差し替えによって画像処理データを作成する様子を示す説明図である。
【図12B】ピッキングツールモデルの差し替えによって画像処理データを作成する様子を示す説明図である。
【図12C】画像処理設定モデルの差し替えによって画像処理データを作成する様子を示す説明図である。
【発明を実施するための形態】
【0012】
次に、本開示を実施するための形態について図面を参照しながら説明する。
【0013】
図１は、ロボットシステム１０の構成の概略を示す構成図である。図２は、ロボット２０の構成の概略を示す構成図である。図３は、ロボット２０とロボット制御装置７０と画像処理装置８０の電気的な接続関係を示すブロック図である。なお、図１中、前後方向はＸ軸方向であり、左右方向はＹ軸方向であり、上下方向はＺ軸方向である。
【0014】
ロボットシステム１０は、ロボット２０と、ロボット制御装置７０と、画像処理装置８０とを備える。ロボットシステム１０は、本実施形態では、ワーク供給装置１２により供給されたワークＷをピッキング（把持）し、ピッキングしたワークＷを、トレイ搬送装置１４により搬送されたトレイＴ上に整列させてプレースするピックアンドプレースシステムとして構成される。尚、ロボットシステムは、ピックアンドプレースシステムに限られず、ロボット２０を用いてワークＷに対して作業を行なうものであれば、如何なる作業システムにも適用できる。
【0015】
ロボット２０は、５軸の垂直多関節アーム（以下、アームという）２２を備える。アーム２２は、６つのリンク（第１～第６リンク３１～３６）と、各リンクを回転または旋回可能に連結する５つの関節（第１～第５関節４１～４５）とを有する。各関節（第１～第５関節４１～４５）には、対応する関節を駆動するモータ（サーボモータ）５１～５５と、対応するモータの回転位置を検出するエンコーダ（ロータリエンコーダ）６１～６５とが設けられている。
【0016】
アーム２２の先端リンク（第６リンク３６）には、エンドエフェクタとしての複数種のピッキングツールＴ１～Ｔ３が着脱可能となっている。本実施形態では、ピッキングツールＴ１は、磁性体からなるワークＷを電磁石により吸着する電磁チャックである。また、ピッキングツールＴ２は、ワークＷを保持する近接位置とワークＷの保持を解除する離間位置との間を移動可能な一対のクランプ爪を有するメカニカルチャック（以下、メカチャックという）である。さらに、ピッキングツールＴ３は、ワークＷを負圧によって吸着する吸着ノズルである。先端リンクに装着するピッキングツールは、ピッキングしようとするワークＷの形状や素材に合わせて適宜選択される。
【0017】
また、アーム２２の先端部（第５リンク３５）には、カメラ２４が取り付けられている。カメラ２４は、ワーク供給装置１２により供給された各ワークＷの位置および姿勢を認識するために当該ワークＷを撮像し、トレイ搬送装置１４により搬送されたトレイＴの位置を認識するために当該トレイＴを撮像するためのものである。
【0018】
アーム２２の基端リンク（第１リンク３１）は、作業台１１に固定されている。作業台１１には、ワーク供給装置１２やトレイ搬送装置１４などが配置されている。ワーク供給装置１２は、本実施形態では、前後方向（Ｙ軸方向）に離間して配置された駆動ローラおよび従動ローラに架け渡されたコンベアベルト１３を備えるベルトコンベア装置により構成される。コンベアベルト１３には複数のワークＷがバラ置きされ、ワーク供給装置１２は、駆動ローラを回転駆動することにより、コンベアベルト１３上の複数のワークＷを後方から前方へ供給する。なお、ワーク供給装置は、ベルトコンベア装置に代えて或いはベルトコンベア装置に併設して、ケース（部品箱）に収容された複数のワークをケースごと供給するケース供給装置とされてもよい。トレイ搬送装置１４は、ベルトコンベア装置により構成され、ワークＷの供給方向とは直交する方向（Ｘ軸方向）にトレイＴを搬送し、略中央位置にて位置決め保持する。
【0019】
ロボット制御装置７０は、ＣＰＵ７１を中心としたマイクロプロセッサとして構成され、ＣＰＵ７１の他に、ＲＯＭ７２やＨＤＤ７３、ＲＡＭ７４、図示しない入出力インタフェース、図示しない通信インタフェースなどを備える。ロボット制御装置７０には、エンコーダ６１～６５などからの検知信号が入力される。また、ロボット制御装置７０からは、ワーク供給装置１２やトレイ搬送装置１４、モータ５１～５５、ツールアクチュエータ５６などへの制御信号が出力される。ツールアクチュエータ５６は、ロボット２０に装着されているピッキングツールを駆動するためのアクチュエータである。
【0020】
ロボット制御装置７０は、ロボット２０の各モータ５１～５５を駆動制御することにより、ロボット２０に、ワークＷをピッキングさせるピッキング処理と、ピッキングさせたワークＷをトレイＴにプレースさせるプレース処理とを実行する。ピッキング処理は、具体的には、以下のようにして行なわれる。即ち、ロボット制御装置７０は、目標とされるピッキング位置および姿勢に対応するアーム２２の各関節の目標位置を取得する。続いて、ロボット制御装置７０は、各関節の位置が当該取得した目標位置に一致するように対応するモータ５１～５５を駆動制御する。そして、ロボット制御装置７０は、ピッキングツールによってワークＷがピッキング（把持）されるようツールアクチュエータ５６を制御する。プレース処理は、具体的には、以下のようにして行なわれる。即ち、ロボット制御装置８０は、目標とされるプレース位置および姿勢に対応するアーム２２の各関節の目標位置を取得する。続いて、ロボット制御装置７０は、各関節の位置が当該取得した目標位置に一致するように対応するモータ５１～５５を駆動制御する。そして、ロボット制御装置７０は、ピッキングしたワークＷがプレース（ワークＷの把持が解除）されるようツールアクチュエータ５６を制御する。
【0021】
画像処理装置８０は、ＣＰＵ８１を中心としたマイクロプロセッサとして構成され、ＣＰＵ８１の他に、ＲＯＭ８２やＨＤＤ８３、ＲＡＭ８４、図示しない入出力インタフェース、図示しない通信インタフェースなどを備える。画像処理装置８０には、カメラ２４からの画像信号や入力装置８５からの入力信号などが入力される。また、画像処理装置８０からは、カメラ２４への駆動信号や出力装置８６への出力信号などが出力される。ここで、入力装置８５は、例えばキーボードやマウス等、オペレータが入力操作を行なう入力デバイスである。出力装置８６は、例えば液晶ディスプレイ等、各種情報を表示するための表示デバイスである。画像処理装置８０は、ロボット制御装置７０と通信可能に接続されており、互いに制御信号やデータのやり取りを行なっている。
【0022】
画像処理装置８０は、ロボット制御装置７０に制御信号を送信してアーム２２（カメラ２４）をワーク供給装置１２により供給されたワークＷの撮像ポイントへ移動させ、カメラ２４を駆動してワークＷを撮像し、得られた画像信号（撮像画像）を入力する。続いて、画像処理装置８０は、入力した画像信号を処理して、撮像画像中のワークＷを認識する。そして、画像処理装置８０は、認識したワークＷのうちピッキング可能な対象ワークを抽出して当該対象ワークをピッキングするためのピッキングツールの目標位置および目標姿勢を割り出し、ロボット制御装置７０に送信する。こうした処理は、画像処理データに基づく画像処理シーケンスに従って実行される。図４は、画像処理データのデータ構造を示す説明図である。画像処理データは、ワーク形状モデルとピッキングツールモデルと画像処理設定モデルとが組み合わされた統合画像処理データとして構成される。
【0023】
ワーク形状モデルは、撮像画像からワークＷを認識する際のパターンマッチングのテンプレートである。このワーク形状モデルには、ワークＷの輪郭形状と、ワークＷのピッキング位置ＰＰとが含まれる。図５Ａは、ボルト形のワークのワーク形状モデルであり、図５Ｂは、円筒形のワークのワーク形状モデルである。図中、実線は、ワークの輪郭形状を示し、丸点は、ワークのピッキング位置ＰＰを示す。ワーク形状モデルのワークＷの輪郭形状は、ピッキング時の姿勢で配置したワークＷをカメラ２４で撮像し、得られた撮像画像からワークＷの輪郭を抽出することにより作成することができる。ワーク形状モデルのピッキング位置ＰＰは、作成したワークＷの輪郭形状に対する位置座標を入力装置７７を用いて入力することにより作成することができる。ワーク形状モデルは、品種ごとに異なるため、品種ごとに作成される。
【0024】
ピッキングツールモデルは、ピッキングツールで対象ワークをピッキングする際に当該ピッキングツールが周辺ワークと干渉しないかどうかをチェックする干渉チェック領域ＡＩが含まれる。干渉チェック領域ＡＩは、ピッキングツールの先端形状と、ピッキングツールの可動域（影響が及ぶ範囲）の形状とによって作成することができる。ピッキングツールモデルは、ピッキングツール種ごとに異なるため、ピッキングツール種ごとに作成される。
【0025】
図６Ａは、ボルト形のワークをピッキングツールＴ１（電磁チャック）でピッキングする様子を示し、図７Ａは、電磁チャック用のピッキングツールモデルを示す。電磁チャックのピッキングツールモデル（干渉チェック領域ＡＩ）は、図６Ａ，図７Ａに示すように、ピッキング位置ＰＰを中心として電磁チャックの磁力が及ぶ円形領域として作成される。円形領域は、円の半径の寸法Ｒ１１によって規定することができる。
【0026】
図６Ｂは、円筒形のワークをピッキングツールＴ２（メカチャック）でピッキングする様子を示し、図７Ｂは、メカチャック用のピッキングツールモデルを示す。メカチャックのピッキングツールモデル（干渉チェック領域ＡＩ）は、図６Ｂ，図７Ｂに示すように、ピッキング位置ＰＰを中心としてメカチャックの一対のクランプ爪が近接位置（把持位置）と離間位置（把持解除位置）との間を移動する移動領域を形成する２つの方形領域として作成される。各方形領域の中心座標は、ピッキング位置ＰＰからのオフセット量ＯｆｆｓｅｔＹ２１，ＯｆｆｓｅｔＹ２２によって規定することができる。また、各方形領域の外形は、長辺の寸法Ｘ２１，Ｘ２２と短辺の寸法Ｙ２１，Ｙ２２とによって規定することができる。
【0027】
図６Ｃは、円筒形のワークをピッキングツールＴ３（吸着ノズル）でピッキングする様子を示し、図７Ｃは、吸着ノズル用のピッキングツールモデルを示す。吸着ノズルのピッキングツールモデル（干渉チェック領域ＡＩ）は、図６Ｃ，図７Ｃに示すように、ピッキング位置を中心として吸着ノズルの負圧が及ぶ円形領域として作成される。円形領域は、円の半径の寸法Ｒ３１によって規定することができる。
【0028】
図８は、ピッキング可否を示す説明図である。図８Ａは、２つのボルトのねじ部（円筒部）同士が重なった状態を示す。この状態では、画像処理装置８０は、撮像画像中にボルトの輪郭形状を認識することができないため、ピッキング不能と判断する。図８Ｂは、２つのボルトのうち一方のボルトのねじ先と他方のボルトの頭部とが近接した状態を示す。この状態では、画像処理装置８０は、撮像画像中に２つのボルトの輪郭形状を認識する。しかし、画像処理装置８０は、図８Ｂ左側のボルトの干渉チェック領域ＡＩに同図右側のボルトの頭部が侵入しているため、同図左側のボルトをピッキング不能と判断する。一方、画像処理装置８０は、同図右側のボルトの干渉チェック領域ＡＩには周辺のボルトが侵入していないため、同図右側のボルトをピッキング可能と判断する。図８Ｃは、ボルトのねじ先が立った状態を示す。図８Ｃのボルトは、周辺のボルトと干渉していないが、通常とは異なる特殊な姿勢である。このため、画像処理装置８０は、撮像画像中にボルトの輪郭形状を認識することができず、ピッキング不能と判断する。
【0029】
画像処理設定モデルは、画像処理シーケンスと、当該画像シーケンスに付随するパラメータ設定とが含まれる。図９は、画像処理シーケンスの一例を示す説明図である。画像処理シーケンスでは、画像処理装置８０は、撮像パラメータを設定してワークＷをカメラ２４で撮像する（Ｓ１００）。撮像パラメータは、パラメータ設定で定められるパラメータの一つであり、例えば、ロボットシステム１０の設置場所が変更されたり、照明設備が変更されたりする等、以前とは照明条件が変化した場合に変更される。撮像パラメータは、カメラ２６の露光時間やゲイン（信号増幅率）などが含まれる。例えば、ロボットシステム１０の設置場所が図１０Ａに示す場所Ａから図１０Ｂに示す場所Ｂへ変更されて照明が暗くなった場合、露光時間は、長くなるように調整される。
【0030】
続いて、画像処理装置８０は、撮像画像中の検索領域ＡＳを設定する（Ｓ１１０）。検索領域ＡＳは、パラメータ設定で定められるパラメータの一つであり、撮像画像中におけるワークＷのサーチ範囲を定めるものである。例えば、図１１Ａに示すワーク供給装置１２Ａでは、カメラ２４の撮像領域の一部に他の周辺機器が写るため、その一部の領域を除いた領域（図中、点線で囲まれた領域）が検索領域ＡＳに設定される。図１１Ｂに示すワーク供給装置１２Ｂでは、カメラ２４の撮像領域全域でワークＷの背景となるため、撮像領域全域（図中、点線で囲まれた領域）が検索領域ＡＳに設定される。
【0031】
そして、画像処理装置８０は、撮像画像中のワークＷと背景とを分離するためのワーク／背景条件を設定し（Ｓ１３０）、設定したワーク／背景条件に従って検索領域内の背景色の検出（Ｓ１４０）とワーク色の検出（Ｓ１５０）とを行なう。ワーク／背景条件は、パラメータ設定で定められるパラメータの一つであり、背景色を指定する背景色パラメータと、ワーク色を指定するワーク色パラメータとを含む。背景色パラメータは、ワーク供給装置ごとにワークＷの背景が異なる場合があるため、使用するワーク供給装置ごとに設定される。また、ワーク色パラメータについても、ワークＷごと色が異なる場合があるため、使用するワークＷごとに設定される。
【0032】
次に、画像処理装置８０は、輪郭抽出条件に従ってワークＷの輪郭（エッジ）を抽出する輪郭抽出処理を行なう（Ｓ１５０）。輪郭抽出条件は、パラメータ設定で定められるパラメータの一つであり、輪郭抽出に用いる閾値（輪郭抽出レベル閾値）が含まれる。続いて、画像処理装置８０は、抽出したワークＷの輪郭形状がワーク形状モデルと概ね一致するかを判定すると共に（Ｓ１６０）、抽出したワークＷの干渉チェック領域ＡＩに他のワークＷが侵入していないかを判定し（Ｓ１７０）、これらの判定結果に基づいて抽出したワークＷがピッキング可能か否かを判定する（Ｓ１８０）。画像処理装置８０は、ピッキングが可能と判定したワークＷのピッキング位置ＰＰに基づいてピッキングツールの目標位置および目標姿勢を設定すると共に設定した目標位置および目標姿勢を各モータ５１～５５の目標位置に座標変換する（Ｓ１９０）。そして、画像処理装置８０は、座標変換した目標位置をロボット制御装置７０へ送信して（Ｓ２００）、画像処理シーケンスを終了する。
【0033】
図１２Ａは、ワーク形状モデルの差し替えによって画像処理データを作成する様子を示す説明図である。いま、ピッキング方法（ピッキングツール）およびワーク供給方法（ワーク供給装置）を共通の環境とし、ワーク（ボルト）の品種２を追加する場合を考える。この場合、データ作成者は、まず、元の品種１（例えば、Ｍ３×８）をピッキングする場合の画像処理に必要な画像処理データを作成し、動作確認をする。続いて、データ作成者は、新たに追加する品種２（例えば、Ｍ５×１２）でワーク形状モデルを作成する。そして、データ作成者は、品種１の画像処理データのコピーを作成し、ワーク形状モデルのみを品種１のものから品種２のものに差し替え、品種２の画像処理データとして画像処理装置８０のＨＤＤ８３に保存する。最後に、データ作成者は、品種１を配置パターンを変えて撮像し、画像処理テストを行なって、画像処理装置８０が正常に品種２を認識できることを確認する。データ作成者は、ワークの品種を追加する度に、こうした作業を行なうことにより、多品種に対応する画像処理データを少ない労力で作成することができる。
【0034】
図１２Ｂは、ピッキングツールモデルの差し替えによって画像処理データを作成する様子を示す説明図である。いま、同じ１つのワーク（品種１）に対してピッキングツールをピッキングツール１からピッキングツール２へ変更する場合を考える。ピッキングツールを変更する場合とは、例えば、ワーク材料が磁性体（鉄）から非磁性体（ステンレス）へ変更されたことにより、ピッキングツールを電磁チャックからメカチャックに変更する場合を挙げることができる。また、ピッキングツールを変更する場合とは、例えば、生産量低下などのため、吸着ノズルを用いて生産していた生産ラインとメカチャックを用いて生産していた生産ラインとを、１ラインに統合し、ピッキングツールをメカチャックに共通化する場合を挙げることができる。この場合、データ作成者は、まず、ピッキングツール１で品種１をピッキングする場合の画像処理に必要な画像処理データを作成し、動作確認をする。続いて、データ作成者は、ピッキングツール２のピッキングツールモデルを作成する。そして、データ作成者は、品種１／ピッキングツール１の画像処理データのコピーを作成し、ピッキングツールモデルのみをピッキングツール１のものからピッキングツール２のものに差し替え、品種１／ピッキングツール２の画像処理データとして保存する。最後に、データ作成者は、品種１を配置パターンを変えて撮像し、画像処理テストを行なって、画像処理装置８０が正常に品種１を認識できることを確認する。データ作成者は、ピッキングツールを変更する度に、こうした作業を行なうことにより、多品種に対応する画像処理データを少ない労力で作成することができる。
【0035】
図１２Ｃは、画像処理設定モデルの差し替えによって画像処理データを作成する様子を示す説明図である。いま、同じ１つのワーク（品種１）に対して、環境条件を環境条件１から環境条件２へ変更する場合を考える。環境条件を変更する場合とは、例えば、ワーク供給装置を変更する場合や、ロボットシステム１０の設置場所を変更する場合、照明設備を変更する場合などを挙げることができる。また、環境条件を変更する場合とは、例えば、生産時とは異なる背景条件でワークを撮像してワーク形状モデルを作成する場合を挙げることができる。後者の場合は、生産時のワーク供給装置の背景が複雑で、ワークの輪郭抽出が困難なため、ワーク形状モデル作成時には、均一な色、輝度の背景でワークを撮像する場合が該当する。データ作成者は、まず、品種１／環境条件１で画像処理データを作成し、動作確認をする。続いて、データ作成者は、品種１／環境条件１の画像処理データのコピーを作成し、作成したコピーをベースとして環境条件２でカメラ撮像した画像に基づいて画像処理パラメータのパラメータ設定を行ない、品種１／環境条件２用の画像処理データとして保存する。そして、データ作成者は、環境条件２で品種１を配置パターンを変えて撮像し、画像処理テストを行なって、画像処理装置８０が正常に品種１を認識できることを確認する。データ作成者は、環境条件を変更する度に、こうした作業を行なうことにより、環境条件の変更に対応する画像処理データを少ない労力で作成することができる。
【0036】
以上説明した本実施形態のデータ構造では、画像処理データは、ワーク形状モデルとピッキングツールモデルと画像処理設定モデルとに分離され、これらの組み合わせによって構成される。そして、画像処理データは、ワークの品種ごと、ピッキングツールの種類ごと、ロボットシステム１０の環境条件ごとにそれぞれ対応するモデルを自由に組み替えることができるように構成される。データ作成者は、画像処理データを一度作成しておけば、以降、ワークの品種、ピッキングツールの種類、環境条件の何れかを変更する場合でも、その変更に係る項目のみを新たに作成すればよく、多品種変量に容易に展開することができる。この結果、多品種変量の画像処理データを少ない労力で作成することができる。
【0037】
本実施形態のデータ構造は、画像処理データを、ワーク形状モデルとピッキングツールモデルと画像処理設定モデルとに分離し、各モデルを組み替えることが可能に構成したが、ワーク形状モデルとピッキングツールモデルのみ組み替えることが可能に構成するものとしてもよい。この場合のデータ構造は、ロボットシステム１０の環境条件が変わらないシステムに採用するのが好適である。
【0038】
以上説明したように、本開示の画像処理データ作成用のデータ構造は、供給された複数のワークの中から多関節ロボットが作業可能な対象ワークを抽出するにあたり、前記複数のワークの撮像画像に対して画像処理を行なうために必要な画像処理データを作成するための画像処理データ作成用のデータ構造であって、パターンマッチングによって前記対象ワークを認識するためのワーク形状データと、前記ツールと周辺ワークとの干渉の有無をチェックするためのツールデータと、を有し、前記ワーク形状データと前記ツールデータの組み合わせを、ワーク毎またはツール毎に組み替えることが可能に構成されることを要旨とする。
【0039】
こうした本開示の画像処理データ作成用のデータ構造において、前記ワーク形状データは、前記ワークの外形と、前記ツールが前記ワークに対して作業を行なうツール作業位置とを含むものとしてもよい。
【0040】
また、本開示の画像処理データ作成用のデータ構造において、前記ツールデータは、前記対象ワークに対して周辺ワークの干渉を禁止する干渉禁止領域（干渉チェック領域）を含むものとしてもよい。こうすれば、多関節ロボットは、装着されるツールが変更されても、周辺ワークと干渉することなく、対象ワークに対する作業を適切に行なうことができる。この場合、前記干渉禁止領域は、前記ツールが前記ワークに対して作業を行なうツール作業位置を基準とした領域として指定されるものとしてもよい。こうすれば、ワーク形状データとツールデータとの連係を適切に行なうことができる。さらにこの場合、前記干渉禁止領域は、円形領域または方形領域として指定されるものとしてもよい。こうすれば、より少ないデータ量でツールデータを作成することができる。
【0041】
また、本開示の画像処理データ作成用のデータ構造において、更に、前記画像処理のシーケンスおよびパラメータ設定を含むプロセスデータを有し、前記ワーク形状データと前記ツールデータと前記プロセスデータの組み合わせを、環境条件毎に組み替えることが可能に構成されるものとしてもよい。こうすれば、環境条件が変わった場合でも、プロセスデータだけを変更すれば、ワーク形状データやツールデータは既存のデータを使用することができるため、少ない労力で画像処理データを作成することができる。なお、前記環境条件は、前記ワークの供給方法または前記ワークの照明条件が含まれるものとしてもよい。
【0042】
なお、本開示では、画像処理データ作成用のデータ構造の形態に限られず、画像処理データの作成方法の形態とすることもできる。
【0043】
なお、本発明は上述した実施形態に何ら限定されることはなく、本開示の発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
【産業上の利用可能性】
【0044】
本開示は、画像処理装置や多関節ロボットの製造産業などに利用可能である。
【符号の説明】
【0045】
１０ ロボットシステム、１１ 作業台、１２，１２Ａ，１２Ｂ ワーク供給装置、１３ コンベアベルト、１４ トレイ搬送装置、２０ ロボット、２２ アーム、２４ カメラ、３１ 第１リンク、３２ 第２リンク、３３ 第３リンク、３４ 第４リンク、３５ 第５リンク、３６ 第６リンク、４１ 第１関節、４２ 第２関節、４３ 第３関節、４４ 第４関節、４５ 第５関節、５１～５５ モータ、５６ ツールアクチュエータ、６１～６５ エンコーダ、７０ ロボット制御装置、７１ ＣＰＵ、７２ ＲＯＭ、７３ ＨＤＤ、７４ ＲＡＭ、８０ 画像処理装置、８１ ＣＰＵ、８２ ＲＯＭ、８３ ＨＤＤ、８４ ＲＡＭ、８５ 入力装置、８６ 出力装置、Ｗ ワーク、Ｔ トレイ、Ｔ１～Ｔ３ ピッキングツール、ＰＰ ピッキング位置、ＡＩ 干渉チェック領域、ＡＳ 検索領域。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図8C】
【図9】
【図10A】
【図10B】
【図11A】
【図11B】
【図12A】
【図12B】
【図12C】