特許 7466003 ロボットシステム、ピッキング方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-03

(45)【発行日】2024-04-11

(54)【発明の名称】ロボットシステム、ピッキング方法およびコンピュータプログラム

(51)【国際特許分類】

   B25J 5/00 20060101AFI20240404BHJP

   B25J 13/08 20060101ALI20240404BHJP

【ＦＩ】

B25J5/00 A

B25J13/08 A

【請求項の数】 10

(21)【出願番号】P 2022570871

(86)(22)【出願日】2020-12-24

(86)【国際出願番号】 JP2020048364

(87)【国際公開番号】W WO2022137413

(87)【国際公開日】2022-06-30

【審査請求日】2023-03-13

(73)【特許権者】

【識別番号】000000974

【氏名又は名称】川崎重工業株式会社

(74)【代理人】

【識別番号】100131200

【弁理士】

【氏名又は名称】河部 大輔

(72)【発明者】

【氏名】西川 隆介

(72)【発明者】

【氏名】▲高▼取 隆志

(72)【発明者】

【氏名】長谷川 嵩大

(72)【発明者】

【氏名】末元 大樹

(72)【発明者】

【氏名】入江 響

(72)【発明者】

【氏名】高山 裕規

(72)【発明者】

【氏名】本間 敏行

【審査官】仁木 学

(56)【参考文献】

【文献】特開２０１９－０９３４８１（ＪＰ，Ａ）

【文献】特開２０１８－１５８３９１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ ５／００

Ｂ２５Ｊ １３／０８

(57)【特許請求の範囲】

【請求項1】

走行台車、前記走行台車に連結されるアーム、前記アームに連結されるハンドを有し、対象物をピッキングするロボットと、
前記アーム又は前記ハンドに設けられる撮影装置と、
前記ロボットを制御する制御装置とを備え、
前記制御装置は、前記撮影装置で前記対象物を撮影する撮影動作と、前記撮影動作による前記対象物の撮影画像に基づいて求めた前記対象物の位置に前記走行台車の走行を考慮して前記ハンドを前記アームによって移動させる接近動作と、前記ハンドに前記対象物を把持させる把持動作とを含むピッキング動作を、前記走行台車を走行させながら実行し、
前記ピッキング動作は、前記撮影動作を含み、前記撮影装置が前記対象物に対して静止するように前記走行台車の走行を考慮して前記アームを移動させる静止動作を含むロボットシステム。

【請求項2】

請求項１に記載のロボットシステムにおいて、
前記接近動作は、前記ハンドが前記対象物に対向する対向位置まで移動するように前記アームを移動させる第１接近動作を含み、前記第１接近動作の後に、前記ハンドを前記対象物の位置に移動させる動作であるロボットシステム。

【請求項3】

請求項２に記載のロボットシステムにおいて、
前記接近動作は、前記ハンドが前記対向位置から前記対象物と対向する方向に前記対象物の位置まで移動するように前記アームを移動させる第２接近動作を含むロボットシステム。

【請求項4】

請求項１に記載のロボットシステムにおいて、
前記制御装置は、前記接近動作において前記ハンドが所定時間内に前記対象物の位置までの所定の経由点に到達しない非常時の場合は、前記走行台車を停止させて、前記撮影動作、前記接近動作および前記把持動作を実行するロボットシステム。

【請求項5】

請求項４に記載のロボットシステムにおいて、
前記接近動作は、前記ハンドが前記対象物に対向する対向位置まで移動するように前記アームを移動させる第１接近動作を含み、前記第１接近動作の後に、前記ハンドを前記対象物の位置に移動させる動作であり、
前記非常時は、前記第１接近動作において前記ハンドが前記所定時間内に前記対向位置に到達しないときであるロボットシステム。

【請求項6】

請求項１に記載のロボットシステムにおいて、
前記制御装置は、前記接近動作では、前記撮影装置による前記対象物の新たな撮影画像に基づいて、前記静止動作時の前記撮影動作による撮影画像に基づいて求めた前記対象物の位置を更新するロボットシステム。

【請求項7】

請求項１に記載のロボットシステムにおいて、
前記制御装置は、前記接近動作では、前記静止動作時の前記撮影動作による撮影画像に基づいて求めた前記対象物の位置と、前記走行台車の速度とに基づいて、前記把持動作で前記ハンドが把持する前記対象物の位置を予測し、前記予測した位置に前記ハンドを前記アームによって移動させるロボットシステム。

【請求項8】

請求項１から請求項７までの何れか１項に記載のロボットシステムにおいて、
前記ハンドは、開閉することによって前記対象物を把持する一対の指を有し、
前記接近動作時における前記一対の指の開き間隔の大きさは、前記対象物の大きさと、前記撮影動作による前記対象物の撮影画像に基づいて前記対象物の位置を求める際に生じる誤差とに基づいて設定されるロボットシステム。

【請求項9】

走行台車、前記走行台車に連結されるアーム、前記アームに連結されるハンドを有するロボットが対象物をピッキングするピッキング方法であって、
前記走行台車を走行させながら、前記アーム又は前記ハンドに設けられた撮影装置で前記対象物を撮影することと、
前記走行台車を走行させながら、前記撮影装置による前記対象物の撮影画像に基づいて求めた前記対象物の位置に前記走行台車の走行を考慮して前記ハンドを前記アームによって移動させることと、
前記走行台車を走行させながら、前記ハンドに前記対象物を把持させることとを含み、
前記ハンドに前記対象物を把持させることは、前記撮影装置で前記対象物を撮影することを含むと共に、前記撮影装置が前記対象物に対して静止するように前記走行台車の走行を考慮して前記アームを移動させることを含むピッキング方法。

【請求項10】

走行台車、前記走行台車に連結されるアーム、前記アームに連結されるハンドを有するロボットが対象物をピッキングする機能をコンピュータに実現させるコンピュータプログラムであって、
前記走行台車を走行させながら、前記アーム又は前記ハンドに設けられた撮影装置で前記対象物を撮影する機能と、
前記走行台車を走行させながら、前記撮影装置による前記対象物の撮影画像に基づいて求めた前記対象物の位置に前記走行台車の走行を考慮して前記ハンドを前記アームによって移動させる機能と、
前記走行台車を走行させながら、前記ハンドに前記対象物を把持させる機能とをコンピュータに実現させ、
前記ハンドに前記対象物を把持させる機能は、前記撮影装置で前記対象物を撮影する機能を含むと共に、前記撮影装置が前記対象物に対して静止するように前記走行台車の走行を考慮して前記アームを移動させる静止機能を含むコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ロボットシステム、ピッキング方法およびコンピュータプログラムに関する。

【背景技術】

【0002】

従来より、倉庫や工場等においてピッキング作業を行う自走式のロボットが知られている。例えば特許文献１に開示のロボットは、ピッキング動作を行うアームおよびハンドが設けられた走行台車を備えている。このロボットは、ピッキングする対象物の置き場所まで走行して停止し、対象物をピッキングした後、再び対象物の搬送場所まで走行していく。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－２０４２３号公報

【発明の概要】

【0004】

しかしながら、ピッキング作業時間の短縮という観点においては、依然として改善の余地がある。

【0005】

本開示の技術は、かかる点に鑑みてなされたものであり、その目的は、ロボットによるピッキング作業時間を短縮することにある。

【0006】

本開示の技術は、走行台車、前記走行台車に連結されるアーム、前記アームに連結されるハンドを有し、対象物をピッキングするロボットと、前記アーム又は前記ハンドに設けられる撮影装置と、前記ロボットを制御する制御装置とを備えたロボットシステムである。前記制御装置は、前記撮影装置で前記対象物を撮影する撮影動作と、前記撮影動作による前記対象物の撮影画像に基づいて求めた前記対象物の位置に前記走行台車の走行を考慮して前記ハンドを前記アームによって移動させる接近動作と、前記ハンドに前記対象物を把持させる把持動作とを含むピッキング動作を、前記走行台車を走行させながら実行する。

【0007】

また、本開示の別の技術は、走行台車、前記走行台車に連結されるアーム、前記アームに連結されるハンドを有するロボットが対象物をピッキングするピッキング方法である。このピッキング方法は、前記走行台車を走行させながら、前記アーム又は前記ハンドに設けられた撮影装置で前記対象物を撮影することと、前記走行台車を走行させながら、前記撮影装置による前記対象物の撮影画像に基づいて求めた前記対象物の位置に前記走行台車の走行を考慮して前記ハンドを前記アームによって移動させることと、前記走行台車を走行させながら、前記ハンドに前記対象物を把持させることとを含む。

【0008】

また、本開示の別の技術は、走行台車、前記走行台車に連結されるアーム、前記アームに連結されるハンドを有するロボットが対象物をピッキングする機能をコンピュータに実現させるコンピュータプログラムであって、前記走行台車を走行させながら、前記アーム又は前記ハンドに設けられた撮影装置で前記対象物を撮影する機能と、前記走行台車を走行させながら、前記撮影装置による前記対象物の撮影画像に基づいて求めた前記対象物の位置に前記走行台車の走行を考慮して前記ハンドを前記アームによって移動させる機能と、前記走行台車を走行させながら、前記ハンドに前記対象物を把持させる機能とをコンピュータに実現させる。

【0009】

前述したロボットシステムによれば、ロボットによるピッキング作業時間を短縮することができる。

【0010】

前述したピッキング方法によれば、ロボットによるピッキング作業時間を短縮することができる。

【0011】

前述したコンピュータプログラムによれば、ロボットによるピッキング作業時間を短縮することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、ロボットシステムの構成を示す概略図である。

【図2】図２は、ロボットの正面図である。

【図3】図３は、制御装置およびその周辺機器のブロック図である。

【図4】図４は、制御装置による走行制御を示すフローチャートである。

【図5】図５は、制御装置によるピッキング制御を示すフローチャートである。

【図6】図６は、準備動作時のロボットを示す概略図である。

【図7】図７は、静止動作時のロボットを示す概略図である。

【図8】図８は、第１接近動作時のロボットを示す概略図である。

【図9】図９は、第２接近動作時のロボットを示す概略図である。

【図10】図１０は、第２接近動作時のハンドをＹ軸方向に視て示す概略図である。

【図11】図１１は、把持動作時のハンドを示す図１０相当図である。

【発明を実施するための形態】

【0013】

以下、例示的な実施形態を図面に基づいて詳細に説明する。

【0014】

図１は、ロボットシステム１００の構成を示す概略図である。図２は、ロボット１の正面図である。ロボットシステム１００は、ロボット１と、カメラ２と、制御装置３Ａおよびロボット制御部３Ｂとを備えている。

【0015】

ロボットシステム１００は、例えば物流倉庫に設けられる。ロボットシステム１００は、注文された商品や部品であるワークＷをロボット１によってピッキングするピッキングシステムである。物流倉庫には、１つまたは複数の載置台４が配置されている。載置台４には、複数のワークＷが収容されたトレー４ａが載置されている。ワークＷは、ピッキングする対象物の一例である。

【0016】

なお、本開示のロボットシステム１００は、物流倉庫以外に例えば工場にも設けられる。その場合、ロボット１は、例えば、製品の組立において必要な部品であるワークＷをピッキングする。また、ワークＷは、トレー４ａには収容されずに、直接、載置台４に置かれていてもよい。また、ワークＷは、棚に置かれていてもよい。

【0017】

具体的に、ロボットシステム１００では、ロボット１が、載置台４の横を通過（走行）しながら載置台４のワークＷをピッキングする。最終的に、ロボット１は、所定の搬出場所（図示省略）まで移動し、ピッキングしたワークＷを搬出する。つまり、ロボット１は、原則、載置台４を通過して搬出場所に到着するまで停止することなく走行（移動）し続ける。床には、ロボット１の移動ルートに沿って磁気テープ５が貼られている。

【0018】

ロボット１は、走行台車１１と、走行台車１１に連結されるアーム１２と、アーム１２に連結されるハンド１３とを有し、載置台４からワークＷをピッキングする。

【0019】

ロボット１は、アーム１２がいわゆる垂直多関節式である走行ロボットである。ロボット１は、走行台車１１が走行することによって移動する。この例では、走行台車１１は載置台４の横をＸ軸方向に走行する。アーム１２は、互いに鉛直方向（Ｚ軸方向）に回転可能に連結された複数のリンクで構成されている。また、アーム１２の基端は、鉛直方向に回転可能且つ水平方向（ＸＹ平面方向）に回転可能に台車１１に連結されている。

【0020】

ロボット１は、アーム１２によってハンド１３を動作、即ち、移動させる。ハンド１３は、アーム１２の先端に回転可能に連結されている。ハンド１３は、載置台４のワークＷを把持する。具体的に、ハンド１３は、ワークＷを把持するための一対の指１３ａを有している。ロボット１は、一対の指１３ａを開閉させることによって、ハンド１３にワークＷを把持させる。

【0021】

走行台車１１には、トレー１１ａが設けられている。トレー１１ａには、載置台４からピッキングされたワークＷがアーム１２およびハンド１３によって配膳される。また、走行台車１１には、磁気センサ１１ｂが設けられている。磁気センサ１１ｂは、磁気テープ５の磁気を検知する。

【0022】

カメラ２は、アーム１２又はハンド１３に設けられる。この例では、カメラ２はハンド１３に設けられている。つまり、カメラ２はハンド１３と一体となって移動する。カメラ２は、載置台４のワークＷを撮影する。カメラ２は、撮影したワークＷの撮影画像（画像データ）を制御装置３Ａへ出力する。カメラ２は、撮影装置の一例である。なお、撮影装置としては、カメラ２に代えて、例えばレーザスキャナを用いるようにしてもよい。

【0023】

図３は、制御装置３Ａおよびその周辺機器のブロック図である。制御装置３Ａは、ロボット１を制御する。具体的に、制御装置３Ａは、ロボット制御部３Ｂを介してアーム１２およびハンド１３の各種動作を制御する。制御装置３Ａは、ロボット制御部３Ｂと通信可能に構成されている。ロボット制御部３Ｂは、台車１１の内部に設けられている（図２参照）。ロボット制御部３Ｂは、制御装置３Ａから送信された制御信号に基づいて走行台車１１、アーム１２およびハンド１３を駆動する。

【0024】

制御装置３Ａは、通信部３１と、記憶部３２と、処理部３３とを有している。

【0025】

通信部３１は、ロボット制御部３Ｂと通信を行うインターフェースである。また、通信部３１は、走行台車１１の磁気センサ１１ｂおよびカメラ２とも通信を行う。例えば、通信部３１は、ケーブルモデム、ソフトモデムまたは無線モデムで形成されている。

【0026】

記憶部３２は、各種プログラム及び各種データを記憶する、コンピュータに読み取り可能な記憶媒体である。記憶部３２は、ハードディスク等の磁気ディスク、ＣＤ－ＲＯＭおよびＤＶＤ等の光ディスク、または半導体メモリによって形成されている。

【0027】

具体的に、記憶部３２は、地図データ３２１、載置台データ３２２、画像データ３２３およびコンピュータプログラム３２４等を記憶している。

【0028】

地図データ３２１は、物流倉庫の地図情報である。載置台データ３２２は、物流倉庫における載置台４の位置情報である。画像データ３２３は、ピッキング対象のワークＷの画像情報である。これら各種データは、処理部３３によって読み出される。

【0029】

コンピュータプログラム３２４は、ロボット１がワークＷをピッキングする各種機能をコンピュータ、即ち、処理部３３に実現させるためのプログラムである。コンピュータプログラム３２４は、処理部３３によって読み出されて実行される。

【0030】

処理部３３は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）及び／又はＤＳＰ（Digital Signal Processor）等の各種プロセッサと、ＲＡＭ（Random Access Memory）及び／又はＲＯＭ（Read Only Memory）等の各種半導体メモリとを有している。処理部３３は、記憶部３２からコンピュータプログラム３２４等を読み出して実行する。具体的に、処理部３３は、走行台車１１を走行させながら、アーム１２およびハンド１３によるピッキング動作を実行する。

【0031】

処理部３３は、取得部３３１と、画像処理部３３２と、走行制御部３３３と、ピッキング制御部３３４とを機能ブロックとして有している。

【0032】

取得部３３１は、磁気センサ１１ｂの検知信号を通信部３１を介して取得する。そして、取得部３３１は、取得した磁気センサ１１ｂの検知信号に基づいて、走行台車１１（ロボット１）の位置情報および速度（走行速度）を導出する。走行台車１１（ロボット１）の位置情報は、倉庫の絶対座標系における位置として表される。

【0033】

制御装置３Ａは、カメラ２から出力されたワークＷの撮影画像（画像データ）に基づいて、ワークＷの位置を求める。より詳しくは、カメラ２によるワークＷの撮影画像は、通信部３１を介して画像処理部３３２に入力される。画像処理部３３２は、入力されたワークＷの撮影画像を画像処理することによって、ワークＷの位置および姿勢を求める。ワークＷの位置および姿勢は、ロボット１を基準とした相対座標系（ロボット座標系）における位置および姿勢として表される。

【0034】

走行制御部３３３は、走行台車１１（ロボット１）の走行を制御する。具体的に、走行制御部３３３は、磁気センサ１１ｂの検出信号に基づき、予め設定された搬出場所までの走行ルートの磁気テープ５に沿って走行台車１１を走行させる。また、この例では、走行制御部３３３は、走行台車１１の速度制御も行う。走行制御部３３３は、走行台車１１が載置台４の横を通過する際、走行台車１１の速度を通常速度Ｖａからピッキング速度Ｖｐまで減速する。ピッキング速度Ｖｐは、アーム１２およびハンド１３によるピッキング動作が可能な走行台車１１の速度である。走行制御部３３３は、通信部３１を介して走行台車１１の制御信号をロボット制御部３Ｂに出力する。ロボット制御部３Ｂは、走行制御部３３３からの制御信号に基づいて、走行台車１１のアクチュエータ（図示省略）を制御する。

【0035】

ピッキング制御部３３４は、走行制御部３３３による走行台車１１の制御と並行して、アーム１２およびハンド１３によるピッキング動作を制御する。具体的に、ピッキング制御部３３４は、走行台車１１が載置台４の横を通過する際、ピッキング動作を実行する。ピッキング制御部３３４は、アーム１２およびハンド１３のピッキング動作に係る制御信号を通信部３１を介してロボット制御部３Ｂに出力する。ロボット制御部３Ｂは、ピッキング制御部３３４からの制御信号に基づいて、アーム１２およびハンド１３のそれぞれのアクチュエータ（図示省略）を制御する。

【0036】

〈ピッキング作業〉
前述したロボット１によるピッキング作業について説明する。ピッキング作業では、制御装置３によって、以下のピッキング方法が行われる。具体的には、ピッキング作業では、走行台車１１による走行動作と、アーム１２およびハンド１３によるピッキング動作とが並行して行われる。

【0037】

図４は、制御装置３による走行制御を示すフローチャートである。走行台車１１は、走行制御部３３３によって制御される。走行制御部３３３は、記憶部３２に記憶されている地図データ３２１および載置台データ３２２と、取得部３３１によって導出された走行台車１１の位置情報および速度とに基づいて、ロボット制御部３Ｂを介して走行台車１１を制御する。

【0038】

図５は、制御装置３によるピッキング制御を示すフローチャートである。ピッキング制御部３３４は、走行台車１１が載置台４の横を通過する際、アーム１２およびハンド１３によるピッキング動作を実行する。ピッキング動作は、準備動作と、静止動作（撮影動作含む）と、接近動作（第１接近動作、第２接近動作）と、把持動作と、配膳動作とを含む。

【0039】

先ず、走行制御部３３３によって、走行台車１１が通常速度Ｖａで走行する。そして、走行制御部３３３によって、走行台車１１が載置台４に所定距離Ｌａまで近づいたか否かが判定される（ステップＳａ１）。図６は、準備動作時のロボット１を示す概略図である。走行台車１１が載置台４に所定距離Ｌａまで近づいていない場合は、走行台車１１は通常速度Ｖａのまま走行し続ける。走行台車１１が載置台４に所定距離Ｌａまで近づいた場合（図６に示す状態Ｃ１）は、走行制御部３３３によって、走行台車１１の速度が通常速度Ｖａからピッキング速度Ｖｐまで減速される。また、走行制御部３３３は、走行台車１１が載置台４に所定距離Ｌａまで近づいたと判定したことを示す判定信号をピッキング制御部３３４へ出力する。なお、この例では、走行制御部３３３は、ピッキング制御部３３４によって実行される静止動作から把持動作までの間、走行台車１１を一定の速度（ピッキング速度Ｖｐ）で走行させる。

【0040】

一方、ピッキング制御部３３４は、先ず、走行制御部３３３からの判定信号を受信したか否かを判定する（ステップＳｂ１）。走行制御部３３３からの判定信号を受信した場合は、ステップＳｂ２へ移行する。

【0041】

ステップＳｂ２では、準備動作が行われる。準備動作は、記憶部３２の載置台データ３２２に基づいて、カメラ２の視野に載置台４が入るように、カメラ２をアーム１２によって移動させる動作である。つまり、準備動作は、走行台車１１を走行させながら、ワークＷを撮影可能な領域にカメラ２を移動させることである。この例では、カメラ２は、走行台車１１の移動およびアーム１２の移動によって載置台４の上方位置に移動させられる（図６に示す状態Ｃ２）。

【0042】

カメラ２が載置台４の上方位置に移動すると、撮影動作を含む静止動作が行われる（ステップＳｂ３）。図７は、静止動作時のロボット１を示す概略図である。撮影動作は、走行台車１１を走行させながら、カメラ２で対象のワークＷを撮影する動作である。カメラ２によるワークＷの撮影画像は、画像処理部３３２によって画像処理され、ワークＷ（この例では、図７においてハッチングを付したワークとする）の位置および姿勢が求められる（図７に示す状態Ｃ３）。例えば、ワークＷの位置は、ロボット１を基準とした位置座標（ｘ，ｙ，ｚ）として求められ、ワークＷの姿勢は、三軸の各軸回りの回転角（Φ，θ，ψ）として求められる。この例では、ワークＷの位置および姿勢は、前述したようにロボット１を基準とした相対座標系におけるものであるため、走行台車１１の走行に伴って変化する。

【0043】

静止動作は、カメラ２が対象のワークＷに対して静止するように走行台車１１の走行（走行台車１１の速度）を考慮してアーム１２を走行台車１１に対して相対的に移動させる動作である。具体的に、静止動作では、走行台車１１の速度Ｖ＝（Ｖｘ，Ｖｙ）とした場合、ハンド１３の移動速度ＶｈがＶｈ＝（－Ｖｘ，－Ｖｙ）となるように、ハンド１３がアーム１２によって移動させられる。つまり、ピッキング制御部３３４は、走行台車１１の速度Ｖを打ち消すようにハンド１３を移動させる。このように静止動作が行われることにより、カメラ２がワークＷに対して静止するため、カメラ２のぶれが抑制され、カメラ２の撮影精度が向上する。そのため、ワークＷの位置および姿勢をより正確に求めることができる。

【0044】

なお、ＶｘはＸ軸方向の速度成分であり、ＶｙはＹ軸方向の速度成分である。この例では、走行台車１１はＸ軸方向に走行するため、Ｖｙはゼロとなる。また、カメラ２はハンド１３に設けられているので、ハンド１３の移動速度はカメラ２の移動速度に相当する。

【0045】

画像処理部３３２によってワークＷの位置および姿勢が求められると、接近動作が行われる。接近動作は、走行台車１１を走行させながら、ステップＳｂ３の撮影動作によるワークＷの撮影画像に基づいて求めたワークＷの位置に走行台車１１の走行（走行台車１１の速度）を考慮してハンド１３をアーム１２によって移動させる動作である。詳しくは、接近動作は、第１接近動作および第２接近動作を含む。

【0046】

ステップＳｂ３でワークＷの位置および姿勢が求められると、第１接近動作が行われる（ステップＳｂ４）。図８は、第１接近動作時のロボット１を示す概略図である。第１接近動作は、ハンド１３が、ワークＷに対向する対向位置、この例ではワークＷの上方位置まで移動するようにアーム１２を走行台車１１に対して相対的に移動させる動作である。つまり、第１接近動作は、走行台車１１を走行させながら、ハンド１３をピッキング対象のワークＷの上方位置に移動させること（図８に示す状態Ｃ４）である。また、ハンド１３は、図８（図７）に示す状態Ｃ３から水平方向（ＸＹ平面、即ち床面と平行）に移動させられる。

【0047】

なお、この例の第１接近動作において、上方位置（対向位置）とは、上方位置を含む所定の範囲内を意味する。所定の範囲は、水平方向距離の範囲である。例えば、所定の範囲は、ハンド１３における一対の指の開き間隔を考慮して、後述の第２接近動作において一対の指１３ａがワークＷと干渉しない範囲に設定される。

【0048】

また、第１接近動作では、ピッキング制御部３３４は、カメラ２によるワークＷの新たな撮影画像に基づいて、ステップＳｂ３における静止動作時の撮影動作による撮影画像に基づいて求めたワークＷの位置および姿勢を更新する。カメラ２は、所定の周期で撮影動作を繰り返す。ピッキング制御部３３４は、更新したワークＷの位置に応じた前述の上方位置にハンド１３を移動させる。つまり、ピッキング制御部３３４は、第１接近動作において、リアルタイムでワークＷの位置を認識し、その認識したワークＷの上方位置にハンド１３を移動させる。

【0049】

このように、ワークＷの位置および姿勢を更新することにより、ワークＷの位置等をより正確に認識することができるので、ハンド１３をワークＷの上方位置へより正確に移動させることができる。画像処理部３３２によって認識されるワークＷの位置等には、走行台車１１の位置の誤差や走行のぶれ等によって誤差が生じ得る。走行台車１１の位置の誤差や走行のぶれは、走行時間が長くなるほど大きくなり、それに伴って、ワークＷの位置等の誤差も大きくなる。そのため、リアルタイム（短い時間間隔）でワークＷの位置を認識して更新することにより、ワークＷの位置等の誤差を小さくすることができる。そのため、より正確なワークＷの位置等を認識することが可能である。

【0050】

続くステップＳｂ５では、ピッキング制御部３３４によって、非常時の要件が成立したか否かが判定される。ピッキング制御部３３４は、接近動作においてハンド１３が所定時間内にワークＷの位置までの所定の経由点に到達したか否かを判定する。より詳しくは、ピッキング制御部３３４は、第１接近動作においてハンド１３が所定時間内にワークＷの上方位置に到達したか否かを判定する。ハンド１３が所定時間内にワークＷの上方位置に到達した場合は、第１接近動作が終了し（即ち、非常時の要件は非成立となり）、ステップＳｂ６へ移行する。非常時の要件が成立した場合については後述する。

【0051】

ステップＳｂ６では、第２接近動作が行われる。図９は、第２接近動作時のロボット１を示す概略図である。図１０は、第２接近動作時のハンド１３をＹ軸方向に視て示す概略図である。第２接近動作は、ハンド１３が前述の上方位置からワークＷの位置まで鉛直下降するようにアーム１２を移動させる動作である。つまり、第２接近動作は、走行台車１１を走行させながら、ハンド１３を上方位置からワークＷの位置まで移動させること（図９および図１０に示す状態Ｃ５）である。つまり、第２接近動作では、図９に示すように、状態Ｃ４のハンド１３の位置と状態Ｃ５のハンド１３の位置とがＸＹ平面において変化しないように、走行台車１１の走行を考慮してアーム１２が移動させられる。

【0052】

なお、この例の第２接近動作において、ワークＷの位置とは、ワークＷの位置を含む所定の範囲内を意味する。所定の範囲は、鉛直方向距離（ワークＷに対向する方向の距離、即ちＺ軸方向の距離）の範囲である。例えば、所定の範囲は、後述する把持動作においてハンド１３がワークＷを把持可能な範囲に設定される。

【0053】

また、ピッキング制御部３３４は、第２接近動作においても、第１接近動作と同様、カメラ２によるワークＷの新たな撮影画像に基づいて、ワークＷの位置および姿勢を更新する。つまり、ピッキング制御部３３４は、リアルタイムでワークＷの位置を認識し、その認識したワークＷの位置に向かってハンド１３を鉛直下降させる。また、ピッキング制御部３３４は、第２接近動作では、ワークＷの姿勢に応じてハンド１３を適切な角度位置に回転させる。

【0054】

ハンド１３がワークＷの位置に移動すると、第２接近動作が終了し、把持動作が行われる（ステップＳｂ７）。図１１は、把持動作時のハンド１３を示す図１０相当図である。把持動作は、ハンド１３にワークＷを把持させる動作である。つまり、把持動作は、走行台車１１を走行させながら、一対の指１３ａを互いに接近する方向に動作させてワークＷを一対の指１３ａで把持することである。また、把持動作では、ハンド１３がワークＷに対して静止するように、即ち、ワークＷに対するハンド１３の相対位置が変化しないように、走行台車１１の走行（走行台車１１の速度）を考慮してアーム１２を走行台車１１に対して相対的に移動させる。

【0055】

ハンド１３によってワークＷが把持されると、把持動作が終了し、配膳動作が行われる（ステップＳｂ８）。ピッキング制御部３３４は、例えば、ハンド１３のアクチュエータ（図示省略）の駆動電流の変化に基づいて、ハンド１３がワークＷを把持したことを認識する。そして、ピッキング制御部３３４は、ハンド１３がワークＷを把持したことを示す把持信号を走行制御部３３３へ出力する。

【0056】

図示しないが、配膳動作は、走行台車１１を走行させながら、ワークＷを把持したハンド１３をアーム１２によって走行台車１１のトレー１１ａまで移動させて、ワークＷをトレー１１ａに配膳する動作である。ワークＷがトレー１１ａに配膳されると、一連のピッキング動作が完了する。以上のように、一連のピッキング動作は、走行台車１１が走行しながら実行される。この一連のピッキング動作は、載置台４毎に繰り返される。

【0057】

一方、走行制御部３３３は、ピッキング制御部３３４からの把持信号を受信したか否かを判定する（ステップＳａ４）。把持信号を受信した場合は、走行制御部３３３は、走行台車１１の速度をピッキング速度Ｖｐから通常速度Ｖａまで加速させる（ステップＳａ５）。把持信号を受信しない場合は、走行制御部３３３は、走行台車１１をピッキング速度Ｖｐのまま走行させ続ける。

【0058】

続くステップＳａ６において、走行制御部３３３は、走行台車１１が搬出場所に到着したか否かを判定する。走行台車１１が搬出場所に到着していない場合は、そのまま待機する。走行台車１１が搬出場所に到着した場合は、走行制御部３３３は走行台車１１を停止させる。搬出場所では、走行台車１１のトレー１１ａに配膳されたワークＷが搬出される。以上により、走行台車１１の走行制御が終了する。このように、走行制御部３３３は、走行台車１１が所定の載置台４を経由して搬出場所に到着するまで、走行台車１１を走行させ続ける。

【0059】

また、ピッキング制御のステップＳｂ５において、非常時の要件が成立したと判定されると、ステップＳｂ９へ移行する。具体的に、ピッキング制御部３３４は、第１接近動作においてハンド１３が所定時間内にワークＷの上方位置に到達しなかった場合、非常時の要件が成立したことを示す信号（以下、非常時の要件成立信号ともいう）を走行制御部３３３へ出力する。一方、走行制御部３３３は、ステップＳａ３において、ピッキング制御部３３４からの非常時の要件成立信号を受信したか否かを判定し、要件成立信号を受信した場合は、ステップＳａ７へ移行する。

【0060】

ステップＳａ7において、走行制御部３３３は、走行台車１１を停止させる。そして、走行制御部３３３は、走行台車１１を停止させたことを示す走行台車１１の停止信号をピッキング制御部３３４へ出力する。一方、ピッキング制御部３３４は、走行制御部３３３から走行台車１１の停止信号を受信したか否かを判定する（ステップＳｂ９）。ピッキング制御部３３４が走行台車１１の停止信号を受信すると、ステップＳｂ２へ戻る。そして、走行台車１１が停止した状態で、ステップＳｂ２～７の動作が順に行われる。なお、この場合では、ステップＳｂ５は省略される。

【0061】

ピッキング制御部３３４は、ステップＳｂ７において把持動作が終了すると、把持信号を走行制御部３３３へ出力する。走行制御部３３３は、把持信号を受信したか否かを判定し（ステップＳａ８）、把持信号を受信すると、走行台車１１を通常速度Ｖａまで加速させる（ステップＳａ５）。つまり、走行制御部３３３は、走行台車１１の走行を再開する。その後、走行制御は前述したステップＳａ６を経て終了し、ピッキング制御は前述したステップＳｂ８を経て終了する。

【0062】

つまり、制御装置３Ａは、第１接近動作においてハンド１３が所定時間内にワークＷの上方位置に到達しない非常時の場合は、走行台車１１を停止させて、準備動作、静止動作（撮影動作含む）、接近動作（第１接近動作、第２接近動作）および把持動作を順に実行する。そのため、これらの動作をより正確に且つ容易に行うことができる。

【0063】

以上のように、前記実施形態のロボットシステム１００は、走行台車１１、走行台車１１に連結されるアーム１２、アーム１２に連結されるハンド１３を有し、ワークＷ（対象物）をピッキングするロボット１と、ハンド１３に設けられるカメラ２（撮影装置）と、ロボット１を制御する制御装置３Ａとを備えている。制御装置３Ａは、カメラ２でワークＷを撮影する撮影動作と、前記撮影動作によるワークＷの撮影画像に基づいて求めたワークＷの位置に走行台車１１の走行を考慮してハンド１３をアーム１２によって移動させる接近動作と、ハンド１３にワークＷを把持させる把持動作とを含むピッキング動作を、走行台車１１を走行させながら実行する。

【0064】

また、前記実施形態のピッキング方法は、走行台車１１、走行台車１１に連結されるアーム１２、アーム１２に連結されるハンド１３を有するロボット１がワークＷ（対象物）をピッキングする方法である。ピッキング方法は、走行台車１１を走行させながら、ハンド１３に設けられたカメラ２（撮影装置）でワークＷを撮影することと、走行台車１１を走行させながら、カメラ２によるワークＷの撮影画像に基づいて求めたワークＷの位置に走行台車１１の走行を考慮してハンド１３をアーム１２によって移動させることと、走行台車１１を走行させながら、ハンド１３にワークＷを把持させることとを含む。

【0065】

また、前記実施形態のコンピュータプログラム３２４は、走行台車１１、走行台車１１に連結されるアーム１２、アーム１２に連結されるハンド１３を有するロボット１がワークＷ（対象物）をピッキングする機能を処理部３３（コンピュータ）に実現させるプログラムである。コンピュータプログラム３２４は、走行台車１１を走行させながら、ハンド１３に設けられたカメラ２（撮影装置）でワークＷを撮影する機能と、走行台車１１を走行させながら、カメラ２によるワークＷの撮影画像に基づいて求めたワークＷの位置に走行台車１１の走行を考慮してハンド１３をアーム１２によって移動させる機能と、走行台車１１を走行させながら、ハンド１３にワークＷを把持させる機能とを処理部３３に実現させる。

【0066】

これらの構成によれば、走行台車１１による走行動作とアーム１２およびハンド１３によるピッキング動作とを並行して行うことができる。つまり、アーム１２およびハンド１３によるピッキング動作時において走行台車１１の走行停止動作が省略される。しかも、ピッキング動作では、ハンド１３に設けられたカメラ２によって撮影したワークＷの撮影画像に基づいて求めたワークＷの位置にハンド１３を移動させるため、走行台車１１を走行させながらであっても、ハンド１３をワークＷに高精度に接近させることができる。さらに、ピッキング動作では、走行台車１１の走行（具体的には、走行台車１１の速度）を考慮してアーム１２を移動させるようにしたので、走行台車１１の走行動作によって受ける影響を抑えながら、ピッキング動作を行うことができる。そのため、ロボット１は、自身が移動しながらでも確実にワークＷをピッキングすることができる。こうして、走行動作とピッキング動作とを並行して行うことができるので、ロボット１によるピッキング作業時間を短縮することができる。

【0067】

また、前記実施形態のロボットシステム１００において、ピッキング動作は、撮影動作を含み、カメラ２がワークＷに対して静止するように走行台車１１の走行を考慮してアーム１２を移動させる静止動作を含む。

【0068】

前記の構成によれば、カメラ２がワークＷに対して静止しているため、即ちワークＷに対するカメラ２の相対位置が変化しないため、走行台車１１が走行してても、カメラ２のぶれを抑制することができる。これにより、カメラ２の撮影精度が向上するので、ワークＷの位置および姿勢をより正確に求めることができる。

【0069】

また、前記実施形態のロボットシステム１００において、接近動作は、ハンド１３がワークＷの上方位置（ワークＷに対向する対向位置）まで移動するようにアーム１２を移動させる第１接近動作を含み、第１接近動作の後に、ハンド１３をワークＷの位置に移動させる動作である。

【0070】

前記の構成によれば、接近動作において、先ずハンド１３をワークＷの上方位置に移動させるようにしたため、その後のハンド１３のワークＷへの接近動作を容易にすることができる。そのため、ハンド１３によってワークＷを把持する確実性が向上する。

【0071】

また、前記実施形態のロボットシステム１００において、接近動作は、ハンド１３が前記上方位置から鉛直方向にワークＷの位置まで移動するようにアーム１２を移動させる第２接近動作を含む。

【0072】

前記の構成によれば、ハンド１３がワークＷの上方位置から鉛直下降してワークＷの位置まで移動するので、例えばワークＷに対して斜め上方からハンドを接近させる場合に比べて、ハンド１３によるワークＷの把持動作を容易にすることができる。そのため、把持動作の確実性がより向上する。

【0073】

また、前記実施形態のロボットシステム１００において、制御装置３Ａは、接近動作においてハンド１３が所定時間内にワークＷの位置までの所定の経由点（ワークＷの上方位置）に到達しない非常時の場合は、走行台車１１を停止させて、撮影動作、接近動作および把持動作を実行する。

【0074】

前記の構成によれば、接近動作に懸かる時間が想定以上に長くなりそうな非常時の場合は、走行台車１１を停止させて、撮影動作、接近動作および把持動作を行うようにしたので、走行台車１１がワークＷをピッキングできない位置までワークＷから離れてしまうことを未然に回避することができる。したがって、確実にワークＷをピッキングすることができる。

【0075】

さらに、前記非常時は、第１接近動作においてハンド１３が前記所定時間内にワークＷの上方位置に到達しないときである。

【0076】

前記の構成によれば、ハンド１３が上方位置からワークＷに接近する動作の前に、前記非常時の処理を行うことができる。そのため、ハンド１３が誤った位置からワークＷに接近することでハンド１３とワークＷとが干渉してしまう虞を未然に回避することができる。これにより、ハンド１３とワークＷとが干渉することによって発生し得る両者の損傷を防止することができる。

【0077】

また、前記実施形態のロボットシステム１００において、制御装置３Ａは、接近動作では、カメラ２によるワークＷの新たな撮影画像に基づいて、静止動作時の撮影動作による撮影画像に基づいて求めたワークＷの位置を更新する。

【0078】

前記の構成によれば、ワークＷの位置および姿勢を更新することにより、ワークＷの位置等をより正確に認識することができる。つまり、走行台車１１の位置の誤差や走行のぶれ等によって生じるワークＷの位置の誤差を小さくすることができる。そのため、ハンド１３をワークＷの位置へより正確に移動させることができる。

【0079】

（その他の実施形態）
以上のように、本出願において開示する技術の例示として、前記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、前記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

【0080】

例えば、前記実施形態の接近動作では、リアルタイムでワークＷの位置等を更新するようにしたが、本開示の技術はこれに限らず、次のようにしてもよい。即ち、ピッキング制御部３３４（制御装置３Ａ）は、接近動作では、静止動作時の撮影動作による撮影画像に基づいて求めたワークＷの位置（以下、初期位置ともいう）と、走行台車１１の速度（以下、走行速度ともいう）とに基づいて、把持動作でハンド１３が把持するワークＷの位置を予測し、その予測した位置（以下、予測位置ともいう）にハンド１３をアーム１２によって移動させる。

【0081】

具体的に、ピッキング制御部３３４は、初期位置と、ピッキング時間と、走行速度とに基づいて、予測位置を導出する。より詳しくは、予測位置は、以下の式（１）によって導出される。
予測位置＝初期位置＋ピッキング時間×走行速度 ・・・・（１）
ここに、ピッキング時間は、接近動作および把持動作に要する時間であり、例えば、アーム１２の動作時間と、ハンド１３の動作時間と、画像処理部３３２の画像処理時間と、通信時間（カメラ２と制御装置３Ａとの通信時間および制御装置３Ａとロボット制御部３Ｂとの通信時間）とを合わせた時間である。

【0082】

前述した構成によれば、カメラ２による撮影動作は静止動作時の撮影動作の１回だけである。そのため、カメラ２のぶれを気にすることなくピッキング動作を行うことができる。そのため、ピッキング動作を高速に行うことができ、ロボット１によるピッキング作業時間をより短縮することができる。

【0083】

また、接近動作時におけるハンド１３の一対の指１３ａの開き間隔の大きさは、ワークＷの大きさと、静止動作時の撮影動作によるワークＷの撮影画像に基づいてワークＷの位置を求める際に生じる誤差とに基づいて設定される。具体的に、指１３ａの開き間隔は、以下の式（２）によって導出される。
指の開き間隔＝ワークＷの大きさ＋誤差×２ ・・・・（２）
ここに、ワークＷの大きさは、指１３ａの開き方向に相当する部分の大きさである。誤差は、走行台車１１の速度と画像処理部３３２の処理周期とを乗算することによって求められる。

【0084】

こうして、一対の指１３ａの開き間隔を設定することにより、把持動作において把持する前の一対の指１３ａの開き間隔を適切な値にすることができる。つまり、指１３ａの開き間隔が過剰な大きさになることを抑制することができる。そのため、ワークＷを把持するために必要な指１３ａの開閉時間をできるだけ短縮することができる。したがって、ロボット１によるピッキング作業時間をより短縮することができる。

【0085】

また、制御装置３Ａは、走行台車１１が載置台４を通過する際、走行台車１１の速度を減速させなくてもよい。この場合、図４におけるステップＳａ１および図５におけるステップＳｂ１は省略される。

【0086】

また、ピッキング動作における非常時の処理を省略するようにしてもよい。つまり、図４において、ステップＳａ３、ステップＳａ７およびステップＳａ８を省略し、図５において、ステップＳｂ５およびステップＳｂ９を省略するようにしてもよい。

【0087】

本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Application Specific Integrated Circuits）、従来の回路、および／または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび／またはプロセッサの構成に使用される。

【符号の説明】

【0088】

１００ ロボットシステム
１ ロボット
２ カメラ（撮影装置）
３Ａ 制御装置
１１ 走行台車
１２ アーム
１３ ハンド
１３ａ 指
３３ 処理部（コンピュータ）
３２４ コンピュータプログラム
Ｗ ワーク（対象物）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】