特許 6784991 ワーク検知システム及び衣服検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6784991

(24)【登録日】2020年10月28日

(45)【発行日】2020年11月18日

(54)【発明の名称】ワーク検知システム及び衣服検知システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20201109BHJP

   B25J 19/04 20060101ALI20201109BHJP

【ＦＩ】

   G06T7/70 Z

   B25J19/04

【請求項の数】2

【全頁数】8

(21)【出願番号】特願2016-113952(P2016-113952)

(22)【出願日】2016年6月7日

(65)【公開番号】特開2017-220036(P2017-220036A)

(43)【公開日】2017年12月14日

【審査請求日】2019年6月6日

(73)【特許権者】

【識別番号】504147243

【氏名又は名称】国立大学法人 岡山大学

(72)【発明者】

【氏名】見浪 護

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１５−１０２９２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００− ７／９０

Ｂ２５Ｊ １９／０４

(57)【特許請求の範囲】

【請求項1】

ワークの写真画像データを記憶した記憶手段と、
前記ワークを撮影するカメラと、
前記記憶手段に記憶された写真画像データに基づいて第１の画像データを生成するとともに、前記カメラから出力された写真画像データから第２の画像データを生成して、この第１と第２の画像データから前記カメラで撮影されたワークの配置を検出する検出手段と
を備えたワーク検知システムであって、
前記検出手段は、
前記記憶手段に記憶された写真画像データを奥行き方向に変位させることで３次元に拡張した３次元モデルを複数生成する手段と、
この３次元モデルから第１の画像データを生成する手段と、
この第１の画像データと前記第２の画像データとの相関関数値を算出する手段と、
この相関関数値が最大となる前記第１の画像データを生成する３次元モデルに基づいて前記ワークの配置を検出する手段と
を有し、
前記カメラは互いに所定間隔だけ離隔させて２台設けて、一方を左目用カメラ、他方を右目用カメラとして、それぞれ前記第２の画像データを生成しているワーク検知システム。

【請求項2】

折りたたんだ衣服を袋詰めしたパッケージをワークとして、
このワークの写真画像データを記憶した記憶手段と、
前記ワークを撮影するカメラと、
前記記憶手段に記憶された写真画像データに基づいて第１の画像データを生成するとともに、前記カメラから出力された写真画像データから第２の画像データを生成して、この第１と第２の画像データから前記カメラで撮影されたワークの配置を検出する検出手段と
を備えた衣服検知システムであって、
前記検出手段は、
前記記憶手段に記憶された写真画像データを奥行き方向に変位させることで３次元に拡張した３次元モデルを複数生成する手段と、
この３次元モデルから前記第１の画像データを生成する手段と、
この第１の画像データと前記第２の画像データとの相関関数値を算出する手段と、
この相関関数値が最大となる前記第１の画像データを生成する３次元モデルに基づいて前記ワークの配置を検出する手段と
を有し、
前記カメラは互いに所定間隔だけ離隔させて２台設けて、一方を左目用カメラ、他方を右目用カメラとして、それぞれ前記第２の画像データを生成している衣服検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ワーク検知システム及び衣服検知システムに関し、特に、予め記憶したワークの色情報に基づいてワークの配置を検知するワーク検知システム及び衣服検知システムに関する。

【背景技術】

【0002】

従来、製造現場においては、工業用ロボットが多用されている。これらの工業用ロボットでは、加工対象のワークの形状や姿勢あるいは位置等の情報があらかじめ定義されているため、カメラによってワークを検知しやすく、安定な作業が実現可能となっている。

【0003】

一方、昨今では、ロボットの利用範囲が拡大しており、あらかじめ定義されたワークに対する作業だけでなく、例えば掃除ロボット等のように、不特定な状況に対応することが求められる作業への利用も始まっている。

【0004】

特に、本発明者は、海中で自律的に作業を行う水中ロボットも開発しており、水中ロボットに設けたカメラで海底の物体を認識するとともに、海底に設けた充電用基地局に向けて自ら航行して接続し、充電作業ができる機能の開発を行っていた。

【0005】

充電用基地局の検知は、水中ロボットが充電用基地局から一定距離以上離れている場合にはソナーを利用して充電用基地局の方向を検知して近づき、水中ロボットがある程度まで充電用基地局に近づくと、充電用基地局に設置した自光マーカーを利用することとした。すなわち、水中ロボットはカメラで自光マーカーを撮影して画像データを生成し、この画像データを解析することで充電用基地局に対する水中ロボットの距離及び姿勢を認識し、水中ロボットを適正な姿勢として充電用基地局に接近させて接続させることとしていた（例えば、特許文献１参照。）。

【0006】

ここで、自光マーカーは、あらかじめ所定の形状であると定義しておくことで、充電用基地局に対する水中ロボットの距離及び姿勢を検知可能としているが、本発明者は、カメラによる自光マーカーの認識技術を開発する中で、色による物体の検知が可能となる可能性を見出した。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１６−０９０４８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明者は、上記の水中ロボットの開発と平行して、中古衣服の流通システムの開発を行っていた。中古衣服の流通システムでは、基本的には一品物を扱うこととなり、しかも、商品がワンピース、トレーナー、Ｔシャツ、スカート等のように、形態や重量さらにはサイズが様々であった。そこで、これらを取り扱う際に、特定のグループ毎への仕分けを行って作業をすることとすると、仕分け作業が煩雑であって、かつ広大な収納スペースも必要となる恐れがあり、しかも、収納時には、中古衣服に虫食いやシミ等が発生しないように管理する必要もあり、管理コストも問題となる恐れがあった。

【0009】

これらのことを鑑みて、各中古衣服をそれぞれ個別に袋詰めして取り扱うことすることで、収納スペースを削減し、かつ中古衣服の劣化を予防しやすくし、さらには、出荷時の荷詰め作業を高速化することを検討していたが、中古衣服の大きさがまちまちであるために、袋詰めされた状態の大きさもまちまちとなっていた。すなわち、ワークのサイズ及び形状が不特定となっていた。

【0010】

このように、不特定なサイズ及び形態のワークを吸着パッドで吸着して取り出そうとする場合、ワークの位置及び姿勢もまちまちであることから吸着不良が生じやすく、目的のワーク、すなわち中古衣服を吸着パッドで取り出すことができずに、作業者による手作業に頼らざるを得なかった。

【0011】

本発明者は、吸着パッドによるワークの吸着不良を解消するために、ワークの色を利用してワークの確実な検知を可能とすべく研究開発を行って、本発明を成すに至ったものである。

【課題を解決するための手段】

【0012】

本発明のワーク検知システムは、ワークの写真画像データを記憶した記憶手段と、ワークを撮影するカメラと、記憶手段に記憶された写真画像データに基づいて第１の画像データを生成するとともに、カメラから出力された写真画像データから第２の画像データを生成して、この第１と第２の画像データからカメラで撮影されたワークの配置を検出する検出手段とを備えたワーク検知システムである。

【0013】

特に、検出手段は、記憶手段に記憶された写真画像データを奥行き方向に変位させることで３次元に拡張した３次元モデルを複数生成する手段と、この３次元モデルから第１の画像データを生成する手段と、この第１の画像データと第２の画像データとの相関関数値を算出する手段と、この相関関数値が最大となる第１の画像データを生成する３次元モデルに基づいてワークの配置を検出する手段とを有するものである。

【0014】

また、本発明のワーク検知システムでは、カメラは互いに所定間隔だけ離隔させて２台設けて、一方を左目用カメラ、他方を右目用カメラとして、それぞれ前記第２の画像データを生成していることにも特徴を有するものである。

【0015】

また、本発明の衣服検知システムは、折りたたんだ衣服を袋詰めしたパッケージをワークとして、このワークの写真画像データを記憶した記憶手段と、ワークを撮影するカメラと、記憶手段に記憶された写真画像データに基づいて第１の画像データを生成するとともに、カメラから出力された写真画像データから第２の画像データを生成して、この第１と第２の画像データからカメラで撮影されたワークの配置を検出する検出手段とを備えた衣服検知システムであって、検出手段は、記憶手段に記憶された写真画像データを奥行き方向に変位させることで３次元に拡張した３次元モデルを複数生成する手段と、この３次元モデルから第１の画像データを生成する手段と、この第１の画像データと第２の画像データとの相関関数値を算出する手段と、この相関関数値が最大となる第１の画像データを生成する３次元モデルに基づいてワークの配置を検出する手段とを有し、前記カメラは互いに所定間隔だけ離隔させて２台設けて、一方を左目用カメラ、他方を右目用カメラとして、それぞれ前記第２の画像データを生成しているものである。

【発明の効果】

【0016】

本発明によれば、ワークのサイズや形状が定義困難な不特定な形状であっても、ワークの写真画像データを利用することでワークの正確な検知を可能とすることができる。したがって、ロボットによるワークの確実な移送作業を可能とすることができる。

【図面の簡単な説明】

【0017】

【図1】本実施形態のワークの説明図である。

【図2】本発明に係るワーク検知システムの概略模式図である。

【図3】ワークの配置を検出する処理のフローチャートである。

【図4】相関関数値の分布データの一例である。

【発明を実施するための形態】

【0018】

本発明のワーク検知システム及び衣服検知システムでは、検知対象のワークの写真画像データを用いて目的のワークを検知可能とすることで、ワークのサイズや形状が定義困難な不特定な形状であってもワークの位置及び姿勢を検知可能としているものである。ワークの位置及び姿勢が検知可能となることで、吸着パッドによるワークの確実な吸着を可能とすることができる。

【0019】

特に、中古衣服の販売を行う際には、商品である中古衣服は一品物であって、サイズや形状が定義困難であるが、あらかじめ取得した写真画像データを用い、色相値を利用することで、ワークの位置及び姿勢を検知できる。ここで、写真画像データとは、ＣＣＤ等の固体撮像素子を備えたデジタルカメラで被写体を撮影することで得られる画像データであって、本実施形態では特にビットマップ形式の写真画像データを用いている。

【0020】

以下において、検知対象のワークは折りたたんだ衣服を袋詰めしたパッケージであり、図１に示すように、特徴的な模様を上面として袋詰めしている。しかも、衣服は、平面視略矩形状として折りたたむことで、後述する相関関数値の演算に寄与する座標点を確保しやすくしている。以下において説明する実施形態では、検知対象のワークを衣服としているが、ワークは衣服に限定するものではなく、写真画像データが生成できるものであれば、何であってもよい。

【0021】

図２に、本発明に係るワーク検知システムの概略模式図を示す。本発明に係るワーク検知システムでは、ワークＷを間欠搬送する搬送用コンベア10と、搬送用コンベア10上の所定のワークＷを吸着ヘッド21で吸着して所定位置に移送する移送アーム22と、ワークＷを撮影して画像データを生成する第１カメラC1と第２カメラC2と、これらのカメラC1,C2と移送アーム22と搬送用コンベア10の制御を行うとともにワークの配置を検出する解析機23で構成している。

【0022】

解析機23は、具体的にはパーソナルコンピュータであって、適宜のプログラムでカメラC1,C2と移送アーム22と搬送用コンベア10を制御可能としている。

【0023】

さらに、解析機23は、ビットマップ形式の写真画像データをハードディスクあるいはメモリ等の記憶手段に記憶させており、必要に応じて所望の写真画像データを記憶手段から読み出し可能とすることで記憶手段して機能させている。

【0024】

さらには、解析機23は、所定のプログラムに基づいて後述するようにワークＷの配置を検出する検出手段として機能させている。特に、解析機23は、所定のプログラムを機能させることで、記憶手段に記憶している写真画像データから後述するように３次元モデルを生成し、さらに、この３次元モデルから色相点群で構成される第１の画像データを生成させることとしている。第１の画像データの具体的な生成方法は、後述する。

【0025】

搬送用コンベア10は、図示していないが、上流側にはワークＷを適宜のタイミングで搬送用コンベア10の上面に載置する載置装置を設けており、下流側には、移送アーム22で取り去られなかったワークＷを回収する回収装置を設けている。

【0026】

移送アーム22の先端に設けた吸着ヘッド21には、搬送用コンベア10に向けて複数の吸着ノズル21aを設けており、この吸着ノズル21aを介して搬送用コンベア10上の所定のワークＷを吸着可能としている。

【0027】

吸着ヘッド21で所定のワークＷを吸着した移送アーム22は、吸着ヘッド21を所定位置に移動させてワークＷの吸着を解除することで、所定のワークＷを取り出し可能としている。

【0028】

第１カメラC1と第２カメラC2は、吸着ヘッド21の左右側面にそれぞれ装着することで、所定間隔だけ離隔させて設けており、一方を左目用カメラ、他方を右目用カメラとしている。なお、第１カメラC1と第２カメラC2は、吸着ヘッド21に装着する形態に限定するものではなく、吸着ヘッド21とは切り離して設けてもよい。第１カメラC1と第２カメラC2は、それぞれ搬送用コンベア10上のワークＷに向けている。

【0029】

第１カメラC1と第２カメラC2は、ＣＣＤ等の固体撮像素子を用いたいわゆるデジタルカメラであり、それぞれ撮影することで生成した写真画像データを解析機23に入力し、解析機23は、所定のプログラムを機能させることで、入力された写真画像データから色相点群で構成される第２の画像データを生成することとしている。

【0030】

以下において、所定のプログラムに基づいて解析機23をワークＷの配置を検出する検出手段として機能させる手順を説明する。図３は、当該プログラムのフローチャートである。

【0031】

まず、解析機23は、搬送用コンベア10でワークＷを搬送して、ワークＷが吸着ヘッド21の下方位置に到達したところで搬送用コンベア10による搬送を停止する（ステップS1）。

【0032】

解析機23は、第１カメラC1と第２カメラC2でワークＷを撮影して、生成された写真画像データを解析機23に入力し（ステップS2）、この写真画像データに含まれるバーコードデータを読み出している。図１に示すように、各ワークＷの表面にはバーコードを表示したバーコードシールを貼り付けており、解析機23は、バーコードから解析機23の記憶手段に記憶されているワークＷの写真画像データを特定して読み出している（ステップS3）。

【0033】

さらに、解析機23は、第２の画像データを生成する手段として機能させて、第１カメラC1と第２カメラC2から解析機23にそれぞれ入力された写真画像データから、色相点群で構成される第２の画像データをそれぞれ生成する（ステップS4）。

【0034】

第１カメラC1と第２カメラC2から解析機23にそれぞれ入力されるビットマップ形式の写真画像データは、各ピクセル座標（ｉ，ｊ）での色相値の集合として表されているが、第２の画像データは、写真画像データをｘ−ｙ平面上のデータとして座標変換して、所定の座標点（ｘ_(i,j)，ｙ_(i,j)）における色相値の集合としている。第２の画像データの色相点群分布モデル情報をH(x,y)と表すこととする。第２の画像データは、写真画像データの部分集合となっている。このように第２の画像データを生成することで写真画像データよりもデータ量を削減して、短時間での処理を可能としている。色相値は、本実施形態では、HSV表色系のHue値を用いている。

【0035】

次いで、解析機23は、３次元モデルを生成する手段として機能させて、ステップS2で読み出した写真画像データを用いて、３次元モデルを生成している（ステップS5）。読み出した写真画像データは２次元データであるが、この写真画像データを奥行き方向、すなわちｚ軸方向に変位させることでｚ軸成分を生じさせて３次元に拡張した３次元モデルとしている。

【0036】

特に、３次元モデルは複数作成しており、ｚ軸方向の変位だけでなくＸ−Ｙ平面内の平行移動、及びｚ軸回りの回転移動も行うこととしている。具体的には、最適解が得られるように、遺伝的認識法や勾配法等の適宜のアルゴリズムを利用して、３次元モデルを生成している。

【0037】

次いで、解析機23は、第１の画像データを生成する手段として機能させて、各３次元モデルから色相点群で構成される第１の画像データを生成している（ステップS6）。ここで、第１の画像データを生成する際に、解析機23は、第１カメラC1及び第２カメラC2の向きを補正する射影処理を３次元モデルに施すことで２次元の射影画像データを生成し、この射影画像データから、第２の画像データと同様に色相点群で構成される第１の画像データを生成している。第１の画像データの色相点群分布モデル情報をH__M(x,y)と表すこととする。第１の画像データは、第１カメラC1及び第２カメラC2の向きに基づく補正を行っていることで、第１カメラC1及び第２カメラC2とワークＷとの距離を正確に評価できる。

【0038】

次いで、解析機23を第１の画像データと第２の画像データとの相関関数値を算出する手段として機能させて、相関関数値の分布F(x,y)=F(H__M(x,y), H(x,y))のデータを得る（ステップS7）。得られた分布データの一例を図４に示す。

【0039】

図４に示すように、F(x,y)が最大値を持つ座標(x,y)は，第３の画像データが第２の画像データの色相分布H(x, y)との相関が高いことを意味しており、最大値を与える(x,y)座標にワークＷが位置していることになる。解析機23をワークＷの配置を検出する手段として機能させて、相関関数値が予め設定していた閾値よりも大きくなる場合には（ステップS8：YES）、解析機23は、相関関数値が最大となる第１の画像データを生成する３次元モデルがワークＷの位置及び姿勢であるとしてワークＷの配置情報を特定し（ステップS9）、移送アーム22を適宜駆動させて吸着ヘッド21でワークＷを吸着して取り出すこととしている（ステップS10）。

【0040】

その後、作業の終了条件となっていない場合には（ステップS11：NO）、解析機23はステップS1に戻って次のワークを搬送することとしている。

【0041】

一方、ステップS8において相関関数値が予め設定していた閾値よりも大きくならなかった場合には（ステップS8：NO）、解析機23はステップS5に戻って新たな３次元モデルを生成することとしている。

【0042】

以上のように、ワークＷの配置を検出できることから、吸着ヘッド21でワークＷを確実に吸着することができ、所望のワークの取り出しを実行することができる。

【符号の説明】

【0043】

Ｗ ワーク
10 搬送用コンベア
21 吸着ヘッド
21a 吸着ノズル
22 移送アーム
23 解析機
C1 第１カメラ
C2 第２カメラ

【図1】

【図2】

【図3】

【図4】