(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022184439
(43)【公開日】2022-12-13
(54)【発明の名称】ロボット
(51)【国際特許分類】
B25J 13/08 20060101AFI20221206BHJP
【FI】
B25J13/08 Z
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021092290
(22)【出願日】2021-06-01
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】上垣 俊平
【テーマコード(参考)】
3C707
【Fターム(参考)】
3C707AS01
3C707BS09
3C707CS08
3C707CV05
3C707CY40
3C707DS01
3C707ES02
3C707FS01
3C707FU01
3C707FU03
3C707KT01
3C707KT05
3C707LV15
3C707MT02
3C707NS05
3C707WA03
(57)【要約】
【課題】高速かつ安全に物品の向きを反転させ、撮像対象である物品の裏面を撮像できるロボットを提供する。
【解決手段】ロボットは、ロボット胴体と、ハンド部と、アーム部と、制御部と、を備える。ハンド部は、アーム部に固定される固定フレームと、固定フレームに取り付けられる第1カメラと、固定フレームに対して回転可能な可動フレームと、可動フレームに取り付けられ、物品を把持する把持部と、可動フレームを回転させる駆動部と、を有する。把持部は、当該ロボットに正対する表面とは反対側の裏面が開放された状態で物品を把持し、可動フレームの回転により、物品を把持する第1状態から、第1カメラにより物品の裏面を撮像可能な第2状態に移行する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
ロボット胴体と、
ハンド部と、
前記ロボット胴体と前記ハンド部を連結し、前記ハンド部の位置及び姿勢を変位させるアーム部と、
前記ハンド部及び前記アーム部の動作を制御する制御部と、を備え、
前記ハンド部は、
前記アーム部に固定される固定フレームと、
前記固定フレームに取り付けられる第1カメラと、
前記固定フレームに対して回転可能な可動フレームと、
前記可動フレームに取り付けられ、物品を把持する把持部と、
前記可動フレームを回転させる駆動部と、を有し、
前記把持部は、当該ロボットに正対する表面とは反対側の裏面が開放された状態で前記物品を把持し、前記可動フレームの回転により、前記物品を把持する第1状態から、前記第1カメラにより前記物品の裏面を撮像可能な第2状態に移行する、
ロボット。
【請求項2】
前記ハンド部は、前記固定フレームに設けられる回転軸をさらに有し、
前記可動フレームは、前記撮像方向に延在し前記回転軸を介して前記固定フレームに取り付けられる第1可動フレーム部と、前記第1可動フレーム部から略L字状に屈曲して延在する第2可動フレーム部と、を有し、
前記把持部は、前記第2可動フレーム部に取り付けられ、
前記可動フレームは、前記第1可動フレーム部に垂直な前記回転軸を中心として回転する、
請求項1に記載のロボット。
【請求項3】
前記第2可動フレーム部は、前記回転軸を中心として、前記第1カメラよりも径方向の内側に位置する、
請求項2に記載のロボット。
【請求項4】
前記把持部は、前記物品を吸引して把持する吸着ノズルであり、
前記ハンド部は、前記ロボット胴体に設けられる真空ポンプと、前記吸着ノズルとを接続する真空配管系をさらに有する、
請求項3に記載のロボット。
【請求項5】
前記真空配管系は、
前記第1可動フレーム部に取り付けられ、前記可動フレームとともに回転する回転ベースと、
前記真空ポンプと前記回転ベースとの間に介在する第1真空チューブと、
前記回転ベースと前記可動フレームとの間に介在する第2真空チューブと、
前記第1真空チューブと前記回転ベースに設けられたベース流路を連結するロボット胴体側継手と、
前記ベース流路と前記第2真空チューブを連結するベース側継手と、
前記第2真空チューブと前記第2可動フレーム部に設けられたフレーム流路を連結するノズル側継手と、を有し、
前記吸着ノズルは、前記フレーム流路に接続されている、
請求項4に記載のロボット。
【請求項6】
前記ロボット胴体側継手は、前記第1真空チューブに接続されるハウジング部と、前記回転ベースが回転する際に前記ハウジング部に対して回転するシャフト部と、を有するロータージョイントである、
請求項5に記載のロボット。
【請求項7】
前記ベース側継手及び前記ノズル側継手は、それぞれ、前記回転ベース及び前記可動フレームの同じ側の側面に配置され、
前記第2真空チューブは、前記可動フレームの前記側面に沿って延在する、
請求項6に記載のロボット。
【請求項8】
前記ロボット胴体に取り付けられる第2カメラを備え、
前記制御部は、前記第2カメラにより取得される画像に基づいて、前記物品の表面にラベルが貼り付けられているか否かを判別し、
前記物品の表面にラベルが貼り付けられていない場合は、前記アーム部及び前記ハンド部を動作させて、前記第1カメラにより前記物品の裏面を撮像させる、
請求項1から7のいずれか一項に記載のロボット。
【請求項9】
前記制御部は、前記可動フレームを0°から180°の間で自由に回転制御可能である、請求項1から8のいずれか一項に記載のロボット。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ロボットに関し、特に、商品の陳列及び廃棄などの店舗内作業を自動で行うためのロボットに好適な技術に関する。
【背景技術】
【0002】
小売業界では、労働人口減少に伴う人手不足が深刻であるが、商品を販売するための店舗内作業の多くを人手に頼っているのが実情であり、その自動化が求められている。
【0003】
そのような状況の中、ロボットアームやロボットハンドといったマニピュレーターを搭載した移動型のロボット(以下、「モバイルマニピュレーターロボット」と称する)が提案されており、徐々にではあるが、店舗内作業の自動化が試みられている。
特に、モバイルマニピュレーターロボットの移動機能と、対象物を把持して移載する機能を活用して、陳列棚の整理、商品の陳列や廃棄といった作業を行うことが想定される。
【0004】
例えば、特許文献1には、陳列棚を撮影した画像から商品の陳列状態の乱れを検出し、乱れが検出された場合に、ロボットアームを用いて商品を並べ替えることで、陳列棚を整理するロボットが開示されている。
また、特許文献2には、ワークを把持する把持部を直線状に並進移動させるとともに、90度回転させることができるワーク把持装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2021-000687号公報
【特許文献2】特開2020-059100号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1の技術では、ロボット胴体に取り付けられたカメラにより陳列棚を撮影しており、陳列棚における商品の乱れを検出することは可能であるが、商品個別の認識を行うことは難しい。例えば、商品個別の認識を行うために使用する商品ラベルは、通常、陳列棚の正面から視認不能な商品の裏面に貼り付けられていることが多い。この場合、商品ラベルを撮像するためにロボットが商品を把持した後、商品をロボット側に向け、同時にカメラに近づけるという、大きなアーム動作が必要となる。そのため、アーム動作の経路探索のための演算負荷が増大する上、動作タクトも長くなる。また、周囲の障害物を回避するための動作空間を確保するのが困難になる場合もある。
【0007】
特許文献2の技術では、ワーク把持部の向きを変えるための回転機構が設けられているが、回転の稼働範囲が不足しており、商品把持後に把持部の向きを回転させたとしても商品の裏面を撮像することが出来ないため、結果としてアーム動作が必要となる。
【0008】
本開示の目的は、高速かつ安全に物品の向きを反転させ、撮像対象である物品の裏面を撮像できるロボットを提供することである。
【課題を解決するための手段】
【0009】
本開示に係るロボットは、
ロボット胴体と、
ハンド部と、
前記ロボット胴体と前記ハンド部を連結し、前記ハンド部の位置及び姿勢を変位させるアーム部と、
前記ハンド部及び前記アーム部の動作を制御する制御部と、を備え、
前記ハンド部は、
前記アーム部に固定される固定フレームと、
前記固定フレームに取り付けられる第1カメラと、
前記固定フレームに対して回転可能な可動フレームと、
前記可動フレームに取り付けられ、物品を把持する把持部と、
前記可動フレームを回転させる駆動部と、を有し、
前記把持部は、当該ロボットに正対する表面とは反対側の裏面が開放された状態で前記物品を把持し、前記可動フレームの回転により、前記物品を把持する第1状態から、前記第1カメラにより前記物品の裏面を撮像可能な第2状態に移行する。
【発明の効果】
【0010】
本開示のロボットによれば、高速かつ安全に、撮像対象である物品の向きを反転させて裏面を撮像することができる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、実施の形態に係るロボットの全体図である。
【
図2】
図2は、ロボットにおける制御系の構成を示すブロック図である。
【
図5】
図5は、ロボットにおける真空配管系の構成を示すブロック図である。
【
図7】
図7は、商品ラベルの撮像処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、同じ構成要素には同じ符号を付してある。本実施の形態では、店舗等において、商品の陳列及び廃棄などの店舗内作業を行う陳列廃棄ロボットについて説明する。
【0013】
図1は、実施の形態に係るロボット1の全体図である。
図2は、ロボット1における制御系の構成を示すブロック図である。
図1に示すように、ロボット1は、ロボットベース11、走行用車輪12、ロボット胴体13、ヘッド部14、アーム部15、ハンド部16及びヘッドカメラ17、等を備える。ロボット1は、商品の陳列及び廃棄を行うに際し、商品の表面又は裏面に貼付されている商品ラベルを撮像する機能、及び、撮像画像に基づいて商品ラベルに含まれる期限情報(例えば、賞味期限情報)等を取得する機能を有している。
【0014】
ロボットベース11は、ロボット1の自律走行を可能とする走行体である。ロボットベース11には、ロボット1の駆動源であるバッテリー(図示略)、ロボット1の自律走行に関する制御を行うベース制御装置32、及び周囲環境センサー33等が内蔵されている。
【0015】
走行用車輪12は、主に複数の駆動輪で構成される。走行用車輪12はロボットベース11を支えるように設置されている。走行用車輪12は、ロボット1の重心位置を挟むように配置されることが望ましい。ロボット1は、走行用車輪12の回転により自律走行する。走行用車輪12の駆動輪は、ベース制御装置32によって駆動制御される。走行用車輪12は、駆動輪に加えて、従動輪を有していてもよい。
【0016】
ロボット胴体13は、ロボットベース11の上部に設置される。ロボット胴体13には、ヘッド部14及びアーム部15が取り付けられる。ロボット胴体13は、アーム部15の高さ方向を制御するための垂直スライダ機構(図示略)等を備える。また、ロボット胴体13には、メイン制御装置31及び真空ポンプ61等が内蔵されている。
【0017】
ヘッド部14は、ロボット胴体13の上部に取り付けられる。ヘッド部14は、メイン制御装置31の制御に従って、例えば、水平方向及び垂直方向に回転駆動する。
【0018】
アーム部15は、いわゆる多関節アームであり、垂直スライダ機構(図示略)を介してロボット胴体13に取り付けられる。アーム部15の動作により、先端に接続されたハンド部16の3次元的な位置及び姿勢を変位させることができる。
【0019】
ハンド部16は、商品を把持する部分である。本実施の形態では、ハンド部16は、吸着ノズル40(又は吸着パッド)を適用した、いわゆる吸着ハンドで構成されている。ハンド部16の詳細な構成については、後述する。
【0020】
ヘッドカメラ17は、ヘッド部14に固定される。ヘッドカメラ17は、メイン制御装置31の制御に従って、カメラ前方の撮像領域を撮像する。撮像画像には、ロボット1の周囲環境の画像が描出される。ヘッドカメラ17の撮像方向は、ヘッド部14の回転により制御される。また、ヘッドカメラ17は、周囲環境の認識精度を高めるために、3次元距離情報を取得する機能を有する。ヘッドカメラ17には、例えば、RGB画像と距離画像を取得可能なTOF(Time of Flight)センサーが好適である。
【0021】
なお、ヘッドカメラ17は、ロボット1の周囲環境を全体的に見渡せるように設けられていればよい。例えば、ロボットベース11又はロボット胴体13にベッドカメラ17を保持する別フレームを追加して、ヘッド部14とは別の部位にヘッドカメラ17を取り付けるようにしてもよい。その場合、ヘッドカメラ17の向きを変えられるよう回転機構を追加することが望ましい。
【0022】
メイン制御装置31は、ロボット1の全体の動作を制御する。ベース制御装置32は、ロボット1の走行に関する制御を行う。メイン制御装置31とベース制御装置32は、互いに接続されており、各種データを送受信可能に構成されている。
【0023】
図示を省略するが、メイン制御装置31及びベース制御装置32は、演算/制御装置としてのCPU(Central Processing Unit)、主記憶装置としてのROM(Read Only Memory)及びRAM(Random Access Memory)等を備える。ROMには、基本プログラムや基本的な設定データが記憶される。CPUは、ROMから処理内容に応じたプログラムを読み出してRAMに展開し、展開したプログラムを実行することにより、ロボット1の各ブロックの動作を集中制御する。
【0024】
なお、メイン制御装置31及びベース制御装置32が実行する処理の一部又は全部は、処理に応じて設けられたDSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)等の電子回路によって実行されてもよい。
【0025】
メイン制御装置31は、ヘッド部14、アーム部15、ハンド部16、及び真空ポンプ61等と接続されている。メイン制御装置31は、接続されている各ブロックと双方向のデータ送受信が可能となっている。
【0026】
メイン制御装置31は、例えば、ヘッドカメラ17で取得されたRGB画像及び距離画像に基づいて、商品および陳列廃棄作業に必要な周囲環境を認識する処理を行う。また例えば、メイン制御装置31は、認識処理の結果に基づいて、アーム部15及びハンド部16を制御し、商品の裏面に貼付された商品ラベルを撮像する処理や、商品ラベルに含まれる期限情報に基づいて商品を陳列又は廃棄する処理を行う。
【0027】
ベース制御装置32は、例えば、周囲環境センサー33によって取得される周囲環境情報に基づいて、周囲環境のマップを作成する。また、ベース制御装置32は、自律走行時に周囲環境センサー33から取得される周囲環境情報に基づいて、マップ上におけるロボット1の位置及びロボット1の姿勢を予測する。また、ベース制御装置32は、走行用車輪12を制御し、ロボット1を自律的に走行させる。
【0028】
周囲環境センサー33は、ロボット1の周囲環境(例えば、壁などの障害物)を2次元的又は3次元的に測定するセンサーである。周囲環境センサー33には、例えば、レーザー光の反射を利用した測域センサーであるレーザーレンジファインダー(LRF:Laser Range Finder)を適用できる。
【0029】
なお、本実施の形態では、ロボットベース11とロボット胴体13を別構成として、それぞれに制御装置を設けているが、これらを一つのモジュールとして構成し、メイン制御装置31とベース制御装置32を一つの制御装置で兼用してもよい。
【0030】
図3、
図4は、ハンド部16の構成を示す側面図である。
図3は、固定フレーム51に対して可動フレーム52が閉じた回転0°の基準状態を示し、
図4は、可動フレーム52が180°回転して開いた状態を示している。
ハンド部16は、通常、商品Pを把持するときは
図3に示す基準状態となっており、把持した商品Pの裏面を撮像するときに
図4に示す状態となる。なお、ハンド部16は、基準状態以外の状態(例えば、
図4に示す状態)であっても、商品Pを把持することはできる。
【0031】
図3、
図4に示すように、ハンド部16は、商品Pを把持する吸着ノズル40(把持部)、吸着ノズル40を変位可能に支持する支持機構50、吸着ノズル40と真空ポンプ61を接続する真空配管系60、及びハンドカメラ70等を有する。
【0032】
ハンドカメラ70は、一般的な撮像装置であり、メイン制御装置31の制御に従って、前方の撮像領域を撮像し、RGB画像を取得する。ハンドカメラ70は、例えば、商品Pに貼付された商品ラベルを撮像する場合に使用される。ハンドカメラ70は、固定フレーム51の第2固定フレーム部51bに固定される。ハンドカメラ70で撮像された撮像画像は、メイン制御装置31に送信され、例えば、商品ラベルの認識に用いられる。
図3に示す基準状態において、ハンドカメラ70の撮像方向には、第2可動フレーム部52bが位置しており、周囲環境を撮像不能となっている。一方、可動フレーム52が180°回転した
図4に示す状態では、ハンドカメラ70の撮像方向には、吸着ノズル40に把持された商品Pが位置する。吸着ノズル40は、商品Pの表面に吸着して商品Pを把持しているので、ハンドカメラ70に対して商品Pの裏面が向いた状態となる。
【0033】
吸着ノズル40は、可動フレーム52の第2可動フレーム部52bに固定される。本実施の形態では、内側に向けて、横並びで一対の吸着ノズル40が設けられている。吸着ノズル40は、真空配管系60に接続されており、真空配管系60の排気によって、吸着ノズル40に正対している商品を吸引して把持する。
【0034】
支持機構50は、固定フレーム51、可動フレーム52、回転軸53、第1プーリー54、第2プーリー55、ベルト56、及び回転モーター57等を有する。
【0035】
固定フレーム51は、ハンドカメラ70の撮像方向に延在する第1固定フレーム部51aと、第1固定フレーム部51aの一方の端部から略L字形状に屈曲して延在する第2固定フレーム部51bと、を有する。
【0036】
第1固定フレーム部51aは、回転軸53を介して、可動フレーム52を回転可能に支持する。また、第1固定フレーム部51aは、第2固定フレーム部51bとの連結部分(屈曲部分)の近傍に、U字状の切欠き51cを有しており、基準状態において、可動フレーム52の第2可動フレーム部52bが収納されるようになっている(
図6A参照)。
第2固定フレーム部51bは、アーム部15に固定される。また、第2固定フレーム部51bの下端部には、撮像方向が内側を向くようにハンドカメラ70が取り付けられ、上端部には、回転モーター57が取り付けられる。
【0037】
可動フレーム52は、ハンドカメラ70の撮像方向に延在する第1可動フレーム部52aと、第1可動フレーム部52aの一方の端部から略L字形状に屈曲して延在する第2可動フレーム部52bと、を有する。
【0038】
第1可動フレーム部52aは、回転軸53を介して、固定フレーム51に支持される。第1可動フレーム部52aは、第1固定フレーム部51aの上面に配置される。また、第1可動フレーム部52aは、回転軸53に固定されており、回転軸53の回転に従って回転するようになっている。
第2可動フレーム部52bの下端部には、吸着ノズル40が取り付けられる。吸着ノズル40の鉛直方向の位置は、ハンドカメラ70と同じである。また、第2可動フレーム部52bの吸着ノズル40が固定される面を正面として、側面にノズル側継手67が固定される。また、第2可動フレーム部52bの内部には、ノズル側継手67及び吸着ノズル40に連通するフレーム流路(図示略)が設けられている。
【0039】
回転軸53は、ベアリング(図示略)を介して、第1固定フレーム部51aの端部に取り付けられる。また、回転軸53は、第1固定フレーム部51aから脱落しないように、スラスト方向の荷重を支持できるように設計されている。回転軸53には、固定フレーム51側から順に、可動フレーム52(第1可動フレーム部52a)、第2プーリー55、回転ベース64が挿通され、固定される。
【0040】
回転モーター57は、固定フレーム51に対して可動フレーム52を回転させる駆動源である。回転モーター57は、固定フレーム51の第2固定フレーム部51bの上端部に固定される。回転モーター57のモーター軸には、第1プーリー54が固定される。なお、
図3、
図4では、回転モーター57は、固定フレーム51に直接固定されているが、固定フレーム51とは別の部材を介して固定フレーム51に固定されてもよい。
【0041】
第1プーリー54は、回転モーター57のモーター軸に固定され、第2プーリー55は、回転軸53に固定されている。また、第1プーリー54及び第2プーリー55には、ベルト56が張架されており、ベルト56を介して、回転モーター57の動力が第2プーリー55に伝達されるようになっている。従って、回転モーター57のモーター軸が回転すると、第1プーリー54が回転し、同時に第2プーリー55が同じ方向に回転する。また、第2プーリー55の回転に伴い、回転軸53が回転し、回転軸53に固定されている可動フレーム52も同じ方向に回転する。
【0042】
真空配管系60は、第1真空チューブ62、ロボット胴体側継手63、回転ベース64、ベース側継手65、第2真空チューブ66、ノズル側継手67等を有する。
図6は、真空配管系60の構成を模式的に示している。
【0043】
第1真空チューブ62は、ロボット胴体13に内蔵されている真空ポンプ61と回転ベース64との間に介在する配管である。第2真空チューブ66は、回転ベース64と可動フレーム52との間に介在する配管である。なお、第1真空チューブ62は、直接真空ポンプ61に接続される必要はなく、他部材を仲介する形で真空ポンプ61に接続されてもよい。
【0044】
回転ベース64は、回転軸53に固定され、回転軸53とともに、すなわち、可動フレーム52とともに回転する。また、回転ベース64の内部には、ロボット胴体側継手63及びベース側継手65に連通するベース流路(図示略)が設けられている。
【0045】
ロボット胴体側継手63は、第1真空チューブ62と回転ベース64のベース流路を連結する。ロボット胴体側継手63は、回転ベース64の上面において、回転軸53の延長上に配置される。
ロボット胴体側継手63は、第1真空チューブ62に接続されるハウジング部と、ハウジング部に対して回転可能なシャフト部と、を有するロータージョイントで構成される。ロボット胴体側継手63のシャフト部が、回転ベース64に固定される。回転ベース64が回転した際には、第1真空チューブ62が接続されているハウジング部は回転せず、回転ベース64に固定されたシャフト部だけが回転する。
【0046】
ベース側継手65は、回転ベース64のベース流路と第2真空チューブ66を連結する。ノズル側継手67は、第2真空チューブ66と可動フレーム52のフレーム流路を連結する。
ベース側継手65及びノズル側継手67は、それぞれ、L字型継手で構成され、回転ベース64及び可動フレーム52の同じ側の側面に配置される。具体的には、ベース側継手65及びノズル側継手67は、基準状態において、回転ベース64及び可動フレーム52の外側に露出する側面に配置される。
また、ベース側継手65とノズル側継手67を連結する第2真空チューブ66は、可動フレーム52の側面に沿って延在している。つまり、第2真空チューブ66は、可動フレーム52の回転動作を阻害せず、かつ、その長さができるだけ短くなるように配置されている。
【0047】
図5に示すように、吸着ノズル40は、真空配管系60を介して、真空ポンプ61に接続されている。真空ポンプ61によって空気を引き込むことにより、吸着ノズル40の吸着力(吸引力)が発生する。具体的には、真空ポンプ61がONされて真空排気が開始されると、吸着ノズル40の先端から空気が引き込まれる。これにより、吸着ノズル40の先端近傍に位置する商品Pが吸着ノズル40に吸着されて把持される。真空ポンプ61のON/OFF制御は、メイン制御装置31によって行われる。
【0048】
図6A~
図6Cは、可動フレーム52が回転する様子を示す斜視図である。
図6Aは可動フレーム52が回転していない回転0°の基準状態、
図6Bは可動フレーム52が90°回転した状態、
図6Cは可動フレーム52が180°回転した状態を示している。なお、
図6A~
図6Cでは、可動フレーム52の回転方向が、
図3及び
図4とは逆向きになっている。そのため、第2真空チューブ66等が配置される側面も、
図3及び
図4とは反対になっている。
【0049】
図6Aに示すように、基準状態においては、可動フレーム52は、第2可動フレーム部52bが第1固定フレーム部51aの切欠き51cに入り込み、第1可動フレーム部52aと第1固定フレーム部51aが重なるようにして、固定フレームの内側に収納される。このとき、ハンドカメラ70の前方には可動フレーム52の第2可動フレーム部52bが位置し、撮像方向が塞がれている。
【0050】
図6Bに示すように、可動フレーム52が基準状態から90°回転すると、第2可動フレーム部52bが、ハンドカメラ70の前方から移動する。これにより、ハンドカメラ70の撮像方向が開放され、ハンドカメラ70によって商品や周囲環境を撮像できるようになる。
【0051】
図6Cに示すように、可動フレーム52が基準状態から180°回転すると、ハンドカメラ70の前方に、吸着ノズル40が対向する。このとき、商品Pの裏面がハンドカメラ70に対向している。これにより、吸着ノズル40に把持された商品Pの裏面を、ハンドカメラ70で撮像できるようになる。
【0052】
図6A~
図6Cに示すように、可動フレーム52は、固定フレーム51の第1固定フレーム部51aの面に沿って水平方向に回転する。したがって、鉛直方向に回転する場合に比較して、可動フレーム52の回転動作を安定させることができる。
また、ロボット胴体側継手63は、ロータリジョイントで構成されているので、可動フレーム52が回転しても、第1真空チューブ62の姿勢は変化しない。また、ベース側継手65及びノズル側継手67は、可動フレーム52に対して同じ側に配置されており、可動フレーム52が回転する際、互いの位置関係を保持したまま回転するので、第2真空チューブ66の姿勢も変化しない。
【0053】
図7は、商品ラベルの撮像処理の一例を示すフローチャートである。この処理は、例えば、ロボット1が対象となる商品の正面に自律走行した後、メイン制御装置31のCPUがROMに格納されている所定のプログラムを実行することにより実現される。
【0054】
まず、
図7のステップS101において、メイン制御装置31は、商品ラベルが商品の表面及び裏面のどちらに貼り付けられているかを判断するために、ヘッドカメラ17により陳列棚を撮像し、撮像画像を取得する。ここで、主に商品が陳列されている状態で消費者が視認できる側が商品の表面である。通常、商品ラベルは、商品の表面に貼付されている場合と、裏面に貼付されている場合の2パターン存在する。
【0055】
ステップS102において、メイン制御装置31は、ヘッドカメラ17で撮像された撮像画像に基づいて、対象となる商品を検出する。そして、メイン制御装置31は、検出された商品について、当該商品の表面に商品ラベルが貼付されているか否かを判定する。これらの商品の検出処理、及び商品ラベルの裏表判定処理は、例えば、深層学習を用いた物体検出モデルを利用したアルゴリズムにより行われる。
【0056】
また、ステップS102では、商品の検出処理及び商品ラベルの裏表判定処理に加えて、商品の3次元位置及び姿勢の認識も行われる。この認識処理にも、深層学習を用いた位置姿勢認識モデルを利用したアルゴリズムを適用することができる。
【0057】
ステップS102において、商品ラベルが商品の表面に貼付されていると判定された場合(ステップS102で“YES”)、ステップS109の処理に移行し、ステップS109~S112の処理が実行される。一方、商品ラベルが商品の表面に貼付されていないと判定された場合(ステップS102で“NO”)、ステップS103の処理に移行し、ステップS103~S108の処理が実行される。このように、商品ラベルの撮像処理では、商品ラベルの貼付位置(商品の表麺又は裏面)によって、異なる処理が行われる。
【0058】
商品ラベルが商品の表面に貼付されていない場合、ステップS103において、メイン制御装置31は、ステップS102で認識した商品の3次元位置及び姿勢に基づいて、適切な把持位置となるようアーム部15の動作を制御し、ハンド部16を商品の手前に移動させる。
【0059】
ステップS104において、メイン制御装置31は、真空ポンプ61を稼働させ、吸着ノズル40から空気が吸い込まれる状態にする。その後、メイン制御装置31は、アーム部15の動作を制御して、吸着ノズル40と商品を接近させ、商品を吸着して把持させる。
【0060】
商品を把持したことが確認された後、ステップS105において、メイン制御装置31は、アーム部15の動作を制御して、例えば、商品を斜め上前方に引き寄せ、陳列棚から取り出す。このとき、ハンド部16と周囲物体とが干渉することなく可動フレーム52を回転させることができるように、ハンド部16の位置が調整される。
【0061】
ステップS105のアーム動作が終了すると、ステップS106において、メイン制御装置31は、回転モーター57を稼動させ、可動フレーム52を180°回転させる。可動フレーム52が180°回転すると、把持した商品の裏面がハンドカメラ70を向いた状態となる。
【0062】
ステップS107において、メイン制御装置31は、ハンドカメラ70により、把持されている商品の裏面を撮像する。ハンドカメラ70の近傍に商品が位置するので、商品の裏面を鮮明に撮像することができる。また、アーム部15を動作させて、把持した商品をヘッドカメラ17の近傍まで移動させる必要もない。
【0063】
ステップS108において、メイン制御装置31は、ハンドカメラ70により撮像された撮像画像に基づいて、商品ラベルを検出する。そして、メイン制御装置31は、検出されたラベルに含まれる期限情報に応じて、商品を陳列(元に戻す)又は廃棄する。
【0064】
商品ラベルが商品の表面に貼付されている場合、ステップS109において、メイン制御装置31は、回転モーター57を稼動させ、可動フレーム52を90°回転させる。
ハンド部16の可動フレーム52が回転していない基準状態(
図4A参照)において、ハンドカメラ70の撮像領域に可動フレーム52及び他部品が入り込んでいるので、ハンドカメラ70で商品の表面を撮像することが難しい。そこで、ステップS109において、可動フレーム52を回転させて、ハンドカメラ70の撮像方向を開放している。
【0065】
なお、ステップS109における可動フレーム52の回転角度は90°である必要はない。すなわち、ステップS110のアーム動作により、商品ラベルがハンドカメラ70の撮像領域内に入るように、可動フレーム52が回転されていればよい。可動フレーム52の回転角度は、例えば、0~90°の範囲で可能な限り小さく設定される。
【0066】
ステップS110において、メイン制御装置31は、ハンドカメラ70に撮像可能な状態を維持したまま、ハンドカメラ70の画角内に商品の表面が収まるように、アーム部15の動作を制御する。このとき、アーム部15及びハンド部16が周囲環境に干渉しない範囲で、商品とハンドカメラ70が可能な限り接近することが望ましい。
【0067】
ステップS111において、メイン制御装置31は、ステップS107と同様にして、ハンドカメラ70により、商品の表面を撮像する。
そして、ステップS112において、メイン制御装置31は、ステップS108と同様にして、ハンドカメラ70により撮像された撮像画像に基づいて、商品ラベルを検出し、検出結果に基づいて商品を陳列又は廃棄する。
【0068】
このように、本実施の形態に係るロボット1は、ロボット胴体13と、ハンド部16と、ロボット胴体13とハンド部16を連結し、ハンド部16の位置及び姿勢を変位させるアーム部15と、ハンド部16及びアーム部15の動作を制御するメイン制御装置31(制御部)と、を備える。ハンド部16は、アーム部15に固定される固定フレーム51と、固定フレーム51に取り付けられるハンドカメラ70(第1カメラ)と、固定フレーム51に対して回転可能な可動フレーム52と、可動フレーム52に取り付けられ、商品P(物品)を把持する吸着ノズル40(把持部)と、可動フレーム52を回転させる回転モーター57等の駆動部と、を有する。吸着ノズル40(把持部)は、当該ロボット1に正対する表面とは反対側の裏面が開放された状態で商品Pを把持し、可動フレーム52の回転により、商品Pを把持する第1状態(
図6A参照)から、ハンドカメラ70により商品Pの裏面を撮像可能な第2状態(
図6C参照)に移行する。
【0069】
ロボット1によれば、商品ラベルの撮像処理において、ハンド部16の可動フレーム52を回転させるだけで、商品の向きを反転させることができ、商品の表面又は裏面に貼付された商品ラベルを、効率よく撮像することができる。
しがって、陳列及び廃棄作業のように商品ラベルの撮像処理を伴う店舗内作業を、高速に実行することができる。さらには、大きなアーム動作を伴わないので、周囲環境物と衝突する危険性が大幅に低減され、安全性が格段に向上する。
【0070】
また、ロボット1において、ハンド部16は、固定フレーム51に設けられる回転軸53をさらに有し、可動フレーム52は、撮像方向に延在し回転軸53を介して固定フレーム51に取り付けられる第1可動フレーム部52aと、第1可動フレーム部52aから略L字状に屈曲して延在する第2可動フレーム部52bと、を有する。吸着ノズル40(把持部)は、第2可動フレーム部52bに取り付けられ、可動フレーム52は、第1可動フレーム部52aに垂直な回転軸53を中心として回転する。
すなわち、可動フレーム52は、固定フレーム51の第1固定フレーム部51aの面に沿って水平方向に回転する。したがって、鉛直方向に回転する場合に比較して、可動フレーム52の回転動作が安定する。
【0071】
また、ロボット1において、第2可動フレーム部52bは、回転軸53を中心として、ハンドカメラ70(第1カメラ)よりも径方向の内側に位置する。
これにより、
図6Aに示すような基準状態において、固定フレーム51と重なるように可動フレーム52が収納されるので、ハンド部16のコンパクト化を図ることができる。
【0072】
また、ロボット1において、ハンド部16の把持部は、商品P(物品)を吸引して把持する吸着ノズル40であり、ハンド部16は、ロボット胴体13に設けられる真空ポンプ61と吸着ノズル40とを接続する真空配管系60をさらに有する。
これにより、商品Pを、裏面が開放された状態で容易に把持して反転させることができる。
【0073】
また、ロボット1において、真空配管系60は、第1可動フレーム部52aに取り付けられ、可動フレーム52とともに回転する回転ベース64と、真空ポンプ61と回転ベース64との間に介在する第1真空チューブ62と、回転ベース64と可動フレーム52との間に介在する第2真空チューブ66と、第1真空チューブ62と回転ベース64に設けられたベース流路を連結するロボット胴体側継手63と、ベース流路と第2真空チューブ66を連結するベース側継手65と、第2真空チューブ66と第2可動フレーム部52bに設けられたフレーム流路を連結するノズル側継手67と、を有する。そして、吸着ノズル40は、フレーム流路に接続されている。
これにより、可動フレーム52の回転機構を有するハンド部16において、可動フレーム52の回転動作の影響を受けない真空配管系60を実現することができる。
【0074】
また、ロボット1において、ロボット胴体側継手63は、第1真空チューブ62に接続されるハウジング部と、回転ベース64が回転する際にハウジング部に対して回転するシャフト部と、を有するロータージョイントである。
また、ロボット1において、ベース側継手65及びノズル側継手67は、それぞれ、回転ベース64及び可動フレーム52の同じ側の側面に配置され、第2真空チューブ66は、可動フレーム52の側面に沿って延在する。
これにより、真空配管系60によって可動フレーム52の回転動作が阻害されるのを防止することができる。また、可動フレーム52の回転動作に関係なく、第1真空チューブ62及び第2真空チューブ66の姿勢が保持されるので、可動フレーム52の回転動作によって第1真空チューブ62及び第2真空チューブ66が捻れて損傷することもない。
【0075】
また、ロボット1は、ヘッド部14に取り付けられるヘッドカメラ17(第2カメラ)を備え、メイン制御装置31(制御部)は、ヘッドカメラ17により取得される画像に基づいて、商品P(物品)の表面にラベルが貼り付けられているか否かを判別し、商品Pの表面にラベルが貼り付けられていない場合は、アーム部15及びハンド部16を動作させて、ハンドカメラ70(第1カメラ)により商品Pの裏面を撮像させる。
これにより、商品ラベルの撮像処理を効率よく実行することができるとともに、商品Pの近傍にあるハンドカメラ70によって商品ラベルの撮像が行われるので、鮮明な撮像画像を取得することができ、商品ラベルの認識精度が向上する。
【0076】
また、ロボット1において、メイン制御装置31(制御部)は、可動フレーム52を0°から180°の間で自由に回転制御可能である。
これにより、商品Pの表面に商品ラベルが貼付されている場合に、周囲環境に応じて可動フレーム52を最小限の動作で移動させ、ハンドカメラ70による撮像を可能とすることができる。
【0077】
以上、本発明者による開示を実施の形態に基づいて具体的に説明したが、本開示は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
【0078】
例えば、実施の形態では、物品を把持する把持部の一例として、吸着ノズル40を適用しているが、把持部の構成は、これに限定されない。把持部は、物品の裏面を開放した状態で把持できるものであればよく、例えば、一対のプレートで物品を挟み込んで把持する構成であってもよい。
【0079】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【0080】
本開示のロボットは、陳列及び廃棄作業における商品ラベルの検出のように、物品の表面だけでなく、裏面をも撮像する必要があるような作業を行うロボットに適用できる。
【符号の説明】
【0081】
1 ロボット
13 ロボット胴体
14 ヘッド部
15 アーム部
16 ハンド部
17 ヘッドカメラ(第2カメラ)
51 固定フレーム
52 可動フレーム
53 回転軸
57 回転モーター
60 真空配管系
70 ハンドカメラ(第1カメラ)
P 商品