(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
カメラと画像処理装置等で構成される画像認識装置を具える多関節型ロボットにおいて、取得可能な画像情報はそのカメラの取付け位置や姿勢に依存する。そのため、必要な画像情報の取得のために別方向からの撮像を必要とする場合には、カメラの取付け位置を変更するか、ロボットの動作でカメラを移動させる必要がある。
【0003】
カメラの取付け位置を変更する場合、ロボットとカメラとの間の位置関係を厳密に一致させるキャリブレーション作業を取付け位置の変更の都度行う必要がある。そのため、カメラ取付け位置の変更毎に、取付け作業とキャリブレーション作業のための調整時間が発生してしまう。また、取付け位置を変更しない場合には、カメラを撮像位置に移動させる動作が余分に必要となるため、工程毎のタクトタイムが増加してしまう。
【0004】
特許文献1記載の技術は、ロボットアームの先端に設けられた2D,3Dカメラにより得られた画像から自動的にキャリブレーションを行っている。それゆえ、安全柵内に作業者が入る必要がなく、またカメラ座標のずれが許容範囲内であればフルキャリブレーションを行う必要がない。
【0005】
特許文献2記載の技術は、複数の平面鏡により凹面状の反射鏡を構成して、この反射鏡を、作業領域に隣接する細長い識別領域に並べて配置された多数の発光素子からの光をカメラに向けて反射するように設置し、反射鏡に反射した各発光素子からの光をカメラで撮像して、それらの光の遮断の有無に基づき作業領域への侵入物の監視を行っている。それゆえ、作業領域への侵入物を広範囲に監視することができる。
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1記載の技術では、使用可能なカメラが限定され、しかもカメラの取付け位置を変更する場合は通常のキャリブレーションを行う必要があり、調整時間の短縮はできない。また、特許文献2記載の技術では、反射鏡の設置位置に制限があり、しかも侵入物監視用に1台以上のカメラを占有しなければ必要な画像を取得できない場合があり、設備コストの増加を招く。
【0008】
それゆえ本発明は、ロボット、カメラ、またはロボット周辺に容易に取付け可能で、同一のカメラでその通常の撮像方向と異なる方向からの画像を取得可能にする撮像方向変更装置を提供することを目的としている。
【課題を解決するための手段】
【0009】
この発明は、上記課題を有利に解決するものであり、この発明のロボット用撮像方向変更装置は、
ロボットが具えるカメラの撮像
範囲の一部を占めてそのカメラの撮像方向をカメラ自体の光軸方向から変更する反射鏡と、
前記反射鏡を前記ロボットの所定作業中における前記カメラの撮像範囲内の所定位置に配置する反射鏡配置手段と、
を具えることを特徴とするものである。
【発明の効果】
【0010】
この発明のロボット用撮像方向変更装置にあっては、反射鏡が、ロボットが具えるカメラの撮像
範囲の一部を占めてそのカメラの撮像方向をカメラ自体の光軸方向から変更し、反射鏡配置手段が、その反射鏡をロボットの所定作業中におけるカメラの撮像範囲内の所定位置に配置する。
【0011】
従って、この発明のロボット用撮像方向変更装置によれば、カメラ取付けおよびキャリブレーションに必要な調整時間を短縮することができる。また、撮像対象を別の場所に移動させてロボットのカメラで撮像したり、別のカメラで撮像するために当該カメラの撮像範囲まで移動させたりするといった、作業のための動作以外の余分な動作が不要になるので、作業のタクトタイムを短縮することができる。
【0012】
しかも、この発明のロボット用撮像方向変更装置においては、前記反射鏡は、前記ロボットが具えるカメラの撮像範囲の一部を占めるものである
ことから、反射鏡が占有しない撮像範囲で、カメラ自体の光軸方向の画像を、反射鏡内の画像と同時に撮像することができる。
【0013】
特に、この発明のロボット用撮像方向変更装置においては、前記ロボットはその腕先端の手首部に、作業対象物を把持するハンドを装着され、前記カメラは前記ハンドに、カメラ自体の光軸方向を前記ハンドの前方へ向けて固設されており、前記反射鏡配置手段は前記ハンドに、前記カメラの撮像範囲内に前記反射鏡を
固定配置して、その反射鏡内の画像として前記ハンドで把持した
作業対象物を撮像できるように固定されて
いる。
【0014】
従って、この発明のロボット用撮像方向変更装置によれば、ロボットの腕先端の手首部に装着されたハンドにそのハンドの前方へ光軸方向を向けて固設されたカメラで、ハンドが把持しに行く作業対象物を直接撮像できるのに加えて、把持動作でハンドが把持した作業対象物を反射鏡を介して撮像できるので、ハンドに固設されたカメラで作業対象物を撮像する際の、ハンドの余分な移動動作をなくすことができる。
【図面の簡単な説明】
【0015】
【
図1】(a)および(b)は、この発明のロボット用撮像方向変更装置の第1の
実施形態並びに第1および第2の参考形態をそれぞれ具える、多関節型双腕ロボットによる製品搬出システムを示す正面図および左側面図である。
【
図2】(a)および(b)は、上記多関節型双腕ロボットによる製品搬出システムを示す平面図および左斜め前方の上方から見た斜視図である。
【
図3】(a)および(b)は、上記多関節型双腕ロボットによる製品搬出システムを示す右側面図および右斜め前方の上方から見た斜視図である。
【
図4】(a),(b),(c),(d)および(e)は、上記多関節型双腕ロボットの双腕のそれぞれの手首部に装着されるハンドを、そのハンドのグリッパで作業対象物を挟持した状態で、上記第1の実施形態のロボット用撮像方向変更装置とともに示す正面図、側面図、背面図、平面図および底面図である。
【
図5】(a),(b),(c)および(d)は、上記ハンドを上記第1の実施形態のロボット用撮像方向変更装置とともに示す右斜め前方の上方から見た斜視図、左斜め前方の上方から見た斜視図、右斜め後方の上方から見た斜視図および左斜め後方の上方から見た斜視図である。
【
図6】上記多関節型双腕ロボットの各腕の手首部の可動軸を説明するために
図3(b)に示す左腕の一部を拡大して上記第1
の実施形態
および第1の参考形態のロボット用撮像方向変更装置とともに示す斜視図である。
【
図7】上記ハンドにカメラとともに設けられた上記第1の実施形態のロボット用撮像方向変更装置を示す断面図である。
【
図8】上記第1の実施形態のロボット用撮像方向変更装置を介さずに上記カメラで、上記ハンドで挟持しようとする製品を撮像している状態を示す説明図である。
【
図9】上記第1の実施形態のロボット用撮像方向変更装置を介して上記カメラで、上記ハンドで挟持している製品のラベルを撮像している状態を示す説明図である。
【
図10】上記多関節型双腕ロボットの双腕の一方の手首部に装着されるハンドに設けられた上記第1の実施形態のロボット用撮像方向変更装置を変形した一参考例を示す断面図である。
【発明を実施するための形態】
【0016】
以下、この発明の実施の形態を図面に基づく実施例によって詳細に説明する。ここに、
図1(a)および
図1(b)は、この発明のロボット用撮像方向変更装置の
第1の実施形態並びに第1および第2の参考形態をそれぞれ具える、多関節型双腕ロボットによる製品搬出システムを示す正面図および左側面図、
図2(a)および
図2(b)は、上記多関節型双腕ロボットによる製品搬出システムを示す平面図および左斜め前方の上方から見た斜視図、そして
図3(a)および
図3(b)は、上記多関節型双腕ロボットによる製品搬出システムを示す右側面図および右斜め前方の上方から見た斜視図である。
【0017】
図1〜
図3に示す多関節型双腕ロボットによる製品搬出システムは、作業テーブルTと、作業テーブルTに向かって配置された多関節型ロボットとしての例えば多関節型双腕ロボット1と、その多関節型双腕ロボット1と作業テーブルTとの間に配置されたベルトコンベヤCと、作業対象の複数の製品Gをランダムな向きで収納した製品搬送ボックスBとを具え、多関節型双腕ロボット1は、手押し式あるいは自走式の台車2上にヒューマノイド型の上半身3が搭載され、その上半身3が胴部4と頭部5と左腕6および右腕7とを有しており、このような多関節型双腕ロボット1としては、本願出願人が先に開示した特開2010−064198号公報記載のものや本願出願人が市販している商品名「NEXTAGE(登録商標)」の双腕ロボットを用いることができる。
【0018】
多関節型双腕ロボット1はその頭部5に二台のカメラ8を有するとともに左腕6および右腕7の手首部9に例えば互いに同一構成の二つのハンド10を有し、それらのハンド10にはそれぞれカメラ11が取り付けられている。また製品Gは、例えばキャップ付きのボトル状をなしていて、そのボトルの胴部の表側に商品ラベルLを貼られ、あるいは商品名を印刷されている。
【0019】
しかしてこの製品搬出システムでは、多関節型双腕ロボット1は、頭部5の二台のカメラ8からの画像を例えば三角測量の原理に基づき画像処理することで、当該ロボットの作業領域内に位置するベルトコンベヤCおよび製品搬送ボックスBの当該ロボットの三次元座標系における位置および姿勢を三次元的に認識するとともに、製品搬送ボックスB内の各製品Gの当該ロボットの三次元座標系における位置および姿勢を認識し、カメラ11からの画像も用いて左腕6および右腕7の手首部9のハンド10で交互に、後述の如くして製品搬送ボックスB内の製品Gを一つずつ挟持して取り出し、商品ラベルLが貼られた表側を上向きにしてベルトコンベヤC上に移載する。そしてベルトコンベヤCは、それらの製品Gを
図1(a)では右方に位置する図示しない次の工程へ搬出する。この搬出作業を補助するために、この製品搬出システムは、上記第1の実施形態のロボット用撮像方向変更装置20と、上記
第1の参考形態のロボット用撮像方向変更装置30と、上記
第2の参考形態のロボット用撮像方向変更装置40とを具えている。
【0020】
図4(a),
図4(b),
図4(c),
図4(d)および
図4(e)は、上記多関節型双腕ロボット1の双腕6,7のそれぞれの手首部9に装着されるハンド10を、そのハンド10のグリッパ10eで作業対象物としての製品Gを挟持した状態で、上記第1の実施形態のロボット用撮像方向変更装置20とともに示す正面図、側面図、背面図、平面図および底面図であり、また
図5(a),
図5(b),
図5(c)および
図5(d)は、上記ハンド10を上記第1の実施形態のロボット用撮像方向変更装置20とともに示す右斜め前方の上方から見た斜視図、左斜め前方の上方から見た斜視図、右斜め後方の上方から見た斜視図および左斜め後方の上方から見た斜視図である。そして
図6は、上記多関節型双腕ロボット1の各腕6,7の手首部9の可動軸を説明するために
図3(b)に示す左腕6の一部を拡大して上記第1
の実施形態および第1の参考形態のロボット用撮像方向変更装置20
,30とともに示す斜視図である。
【0021】
多関節型双腕ロボット1の各腕6,7の手首部9は、
図3(b)
の左腕6について
図6に代表で示すように、前腕の延在方向へ延在するローリング軸C1周りの前腕に対するローリングと、
図6では縦向きに延在しているが通常は横向きに延在するピッチング軸C2周りの前腕に対するピッチングと、
図6では横向きに延在しているが通常は縦向きに延在するヨーイング軸C3周りの前腕に対するヨーイングとの3つの可動軸を有している。
【0022】
そしてハンド10は、上記手首部9に着脱可能に装着されて手首部9に対する位置決め固定と電気回路および空圧回路の接続とを行うカップリング部10aと、そのカップリング部10aに間にフランジ10bを挟んで取り付けられるとともにエアシリンダを内蔵した基部10cと、その基部10cに固定支持されるとともに二本の指10dを基部10c内のエアシリンダのピストンロッドの進退移動で
図6中に矢印で示すように開閉駆動される、例えば平行開閉チャックからなる通常のグリッパ10eとを有し、このグリッパ10eはその二本の指10dを閉じる動作により、
図4〜
図6に示すように製品GのボトルBLに装着されたキャップCAをその側方から挟持でき、またその二本の指10dを開く動作により、挟持していたキャップCAを解放することができる。
【0023】
図7は、上記ハンド10に上記カメラ11とともに設けられた上記第1の実施形態のロボット用撮像方向変更装置20を示す断面図、また
図8は、上記第1の実施形態のロボット用撮像方向変更装置20を介さずに上記カメラ11で、上記ハンド10で挟持しようとする製品Gを撮像している状態を示す説明図、そして
図9は、上記第1の実施形態のロボット用撮像方向変更装置20を介して上記カメラ11で、上記ハンド10で挟持している製品GのラベルLを撮像している状態を示す説明図である。
【0024】
カメラ11は、ハンド10のフランジ10bに固体されたフード付きブラケット11aと、そのフード付きブラケット11aにレンズ光軸LCをグリッパ10eの二本の指10dの延在方向と概ね平行に向けて固定されたカメラ本体11bとを有し、また、上記第1の実施形態のロボット用撮像方向変更装置20は、反射鏡配置手段としての、正面視で概略コ字状のステー21と、そのステー21の中央部に取り付けられた反射鏡としての平面鏡22と、そのステー21の両側部に形成された図示しない貫通穴に遊挿されてフード付きブラケット11aの図示しない雌ネジ孔に螺着され、ステー21ひいては平面鏡22をフード付きブラケット11aに角度調節可能に固定する、これも反射鏡配置手段としての留めネジ23とを有している。
【0025】
ここで、カメラ本体11bは、レンズ光軸LCよりも
図7では上側の撮像範囲で、第1の実施形態のロボット用撮像方向変更装置20の平面鏡22で反射させた、製品GのボトルBLの正面または背面(グリッパ10eが把持している製品Gの向きによる)を含む撮像範囲R1を撮像すると同時に、レンズ光軸LCよりも
図7では下側の撮像範囲R2で、
図8にも併せて示すようにカメラ本体11bの正面方向も撮像する。
【0026】
これにより上記多関節型双腕ロボット1は、先ず頭部5のカメラ8で各製品Gの位置および姿勢を認識した後、製品搬送ボックスB内の複数の製品Gのうちから次に取り出す製品Gを選択してその製品Gに各腕6,7でハンド10を近づけ、
図8に示すようにハンド10のカメラ11の撮像範囲R2でその製品Gを撮像してハンド10との位置関係を調整しながらグリッパ10eでキャップCAの側部を挟持することで製品Gを把持する。
【0027】
次いで多関節型双腕ロボット1は、
図1〜
図3の右腕7に関して示すようにハンド10を引き上げて、
図1〜
図3の左腕6に関して示すように、カメラ11をハンド10の上側に位置させるとともにハンド10で製品GのボトルBLの正面または背面がカメラ11側すなわち上側に向くように配置し、
図9に示すようにカメラ11の、第1の実施形態のロボット用撮像方向変更装置20の平面鏡22で反射させた撮像範囲R1で製品GのボトルBLの上向きの面を撮像し、その上向きの面をカメラ11で撮像した画像の画像処理により、その上向きの面にラベルLが存在すればボトルBLの正面が上向きになっており、ラベルLが存在しなければボトルBLの正面が下向きになっていると判断する。
【0028】
次いで多関節型双腕ロボット1は、ボトルBLの正面(ラベルL側)が上向きになっていればその向きのまま、
図6に左腕6に関して拡大して示すように、各腕6,7の作動によって、作動中のベルトコンベヤCの上方にハンド10を製品Gと一緒に移動させ、そこでハンド10のグリッパ10eで二本の指10dを開くことより、挟持していたキャップCAの側部を解放して製品GをベルトコンベヤC上に移載する。
【0029】
この一方、多関節型双腕ロボット1は、ボトルBLの正面(ラベルL側)が下向きになっていれば手首部9のヨーイング軸C3周りの回動で、製品GのボトルBLの正面(ラベルL側)が上向きになるようにハンド10を上下逆向きにしてから、各腕6,7の作動によって、作動中のベルトコンベヤCの上方にハンド10を製品Gと一緒に移動させ、そこでハンド10のグリッパ10eで二本の指10dを開くことより、挟持していたキャップCAの側部を解放して製品GをベルトコンベヤC上に移載する。
【0030】
従って、第1の実施形態のロボット用撮像方向変更装置20によれば、カメラ11の取付けおよびキャリブレーションが最初の取付け時の1回で済むのでそれらに必要な調整時間を短縮することができる。また、撮像対象である製品Gを別の場所に移動させて多関節型双腕ロボット1のカメラ11で撮像したり、別のカメラで撮像するために当該カメラの撮像範囲まで移動させたりするといった余分な動作が不要であるので、作業のタクトタイムを短縮することができる。
【0031】
また、
図1〜3に示す上記
第1の参考形態のロボット用撮像方向変更装置30は、
図6に左腕6に関して拡大して示すように、各腕6,7の手首部9にヨーイング軸C3周りに回動しないように固定支持されたブラケット31と、そのブラケット31にヨーイング軸C3の延在方向と概略平行に固定された反射鏡としての平面鏡32とを有しており、多関節型双腕ロボット1は上記製品Gの搬出作業中にその頭部5のカメラ8で、上述の如く製品搬送ボックスB内の各製品Gの当該ロボットの三次元座標系における位置および姿勢等を認識するのに加えて、その認識の際のカメラ8の撮像範囲内に含まれる例えば右腕7側の平面鏡32に反射されたベルトコンベヤC上の製品Gの有無を撮像して、ベルトコンベヤC上に製品Gが残っていたら、例えばその旨を図示しないランプ等で周囲の作業員等に知らせるとともに製品搬送ボックスB内からの製品Gの取り出しを休止し、またその頭部5のカメラ8で、上記認識の際のカメラ8の撮像範囲内に含まれる例えば左腕6側の平面鏡32に反射されたこの製品搬出システムの側方の状況を撮像して、この製品搬出システムの側方近傍に作業員等が存在することを認識したら、例えばその旨を図示しないランプ等で周囲の作業員等に知らせるとともに製品搬送ボックスB内からの製品Gの取り出しを休止する。
【0032】
さらに、
図1〜3に示す上記
第2の参考形態のロボット用撮像方向変更装置40は、作業テーブルT上の製品搬送ボックスBを搭載した作業台上に立設されたブラケット41と、そのブラケット41にヨーイング軸C3の延在方向と概略平行に固定された反射鏡としての凹面鏡42あるいは複数の平面鏡の凹面鏡状の組み合わせとを有しており、多関節型双腕ロボット1は上記製品Gの搬出作業中にその頭部5のカメラ8で、上述の如く製品搬送ボックスB内の各製品Gの当該ロボットの三次元座標系における位置および姿勢等を認識するのに加えて、その認識の際のカメラ8の撮像範囲内に含まれる凹面鏡42に反射させた多関節型双腕ロボット1の後方の状況を撮像して、この製品搬出システムの後方近傍に作業員等が存在することを認識したら、例えばその旨を図示しないランプ等で周囲の作業員等に知らせるとともに製品搬送ボックスB内からの製品Gの取り出しを休止する。
【0033】
従って、
第1の参考形態のロボット用撮像方向変更装置30および
第2の参考形態のロボット用撮像方向変更装置40によれば、通常の搬出作業の際の頭部5の位置から頭部5の可動軸の動作なし、または最小限の動作だけでベルトコンベアC上の製品Gの有無やこの製品搬出システム内への侵入者や侵入物の確認を行うことが可能になることから、本来の作業のための動作以外の余分な動作が不要になるので、作業のタクトタイムを短縮することができ、しかもカメラ8の取付けおよびキャリブレーションが最初の取付け時の1回で済むのでそれらに必要な調整時間を短縮することができる。
【0034】
図10は、上記多関節型双腕ロボットの双腕の一方の手首部に装着されるハンドに設けられた上記第1の実施形態のロボット用撮像方向変更装置
を変形した一参考例を示す断面図であり、上記第1の実施形態におけると同様、ここにおけるハンド10は、カップリング部10aと、そのカップリング部10aに間にフランジ10bを挟んで取り付けられるとともにエアシリンダを内蔵した基部10cと、ここでは図示しないがその基部10cに固定支持されるとともに二本の指10dを基部10c内のエアシリンダのピストンロッドの進退移動で
図6中に矢印で示すように開閉駆動される、例えば平行開閉チャックからなる通常のグリッパ10eとを有し、このグリッパ10eにより、
図4〜
図6に示すように製品GのボトルBLに装着されたキャップCAをその側方から挟持でき、また、挟持していたキャップCAを解放することができる。
【0035】
さらに、ハンド10に設けられたカメラ11は、ハンド10のフランジ10bに固体されたフード付きブラケット11aと、そのフード付きブラケット11aにレンズ光軸LCをグリッパ10eの二本の指10dの延在方向と概ね平行に向けて固定されたカメラ本体11bとを有し、この変形例のロボット用撮像方向変更装置20は、正面視で概略コ字状のステー21と、そのステー21の中央部に取り付けられた反射鏡としての平面鏡22と、そのステー21の両側部に形成された図示しない貫通穴に遊挿されてフード付きブラケット11aの図示しない雌ネジ孔に螺着され、ステー21ひいては平面鏡22をフード付きブラケット11aに角度調節可能に固定する留めネジ23とを有している。
【0036】
しかしながらこの
参考例では、例えばフード付きブラケット11aへのステー21の固定位置を先の例での位置からずらすことで、カメラ11のカメラ本体11bがレンズ光軸LCよりも上側および下側の全撮像範囲で、平面鏡22で反射した撮像範囲R3を撮像するように、カメラ本体11bに対する平面鏡22の配置が設定されている。この
参考例のロボット用撮像方向変更装置20を例えば双腕6,7のハンド10のカメラ11に用いれば、例えば頭部5のカメラ8で製品Gの位置および姿勢を認識しつつハンド10のグリッパ10dで製品GのキャップCAを挟持して製品搬送ボックスB内から製品Gを取り出してハンド10のカメラ11で製品GのラベルLを撮像する際に、
図9の平面鏡22に比べて平面鏡22に映る撮像範囲が広い分、カメラ画像内にラベルLを大きく写せるので、ラベルLの認識精度を高めることができ、例えばボトルBLの両面に互いに似ているが異なるラベルLがあって表面のラベルLを識別する場合等に、その高い認識精度を役立てることができる。
【0037】
以上、図示例に基づき説明したが、この発明は上述の例に限定されるものでなく、特許請求の範囲の記載範囲内で適宜変更し得るものであり、例えば、多関節型双腕ロボット1に代えて従来の多関節型作業ロボットを用いて、そのロボットのハンド等に設けたカメラで撮像しつつ作業を行うシステムに、この発明のロボット用撮像方向変更装置を適用しても良い。
【0038】
また、反射鏡の形態も上記実施形態における平面鏡や凹面鏡に限られ
ない。