特開 2023-149876 ピッキングロボットシステムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023149876

(43)【公開日】2023-10-16

(54)【発明の名称】ピッキングロボットシステムおよびプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20231005BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022058668

(22)【出願日】2022-03-31

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】廣田 幸起

(72)【発明者】

【氏名】山内 雄太

(72)【発明者】

【氏名】高橋 英男

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS01

3C707BS12

3C707DS01

3C707DS03

3C707ES03

3C707FS01

3C707FT02

3C707HS27

3C707KS03

3C707KS04

3C707KT01

3C707KT06

3C707LS15

3C707LV14

(57)【要約】

【課題】
ピッキングロボットシステムにおけるカメラ移動のためのモータートルクを抑制することを課題とする。
【解決手段】
ピッキング対象である物品２２０を取り出すために稼働する稼働装置１０と、物品２２０を撮影するカメラ１５０と、カメラ１５０を水平移動させるカメラ駆動装置１４０と、稼働装置１０、カメラ１５０およびカメラ駆動装置１４０を制御する制御装置１１０と、カメラ駆動装置１４０に従って水平移動されたカメラ１５０で撮影された撮影データを用いて、物品２２０を認識する認識部３０２と、認識部３０２での認識結果に応じて、制御装置１１０の制御を実行するための動作計画を策定する動作計画部１３を備える認識・計画装置１２０を有し、動作計画に基づく制御装置１１０の制御に従って、カメラ駆動装置１４０がカメラ１５０を水平移動させるピッキングロボットシステム１である。
【選択図】 図１

【特許請求の範囲】

【請求項1】

ピッキング対象を取り出すために稼働する稼働装置と、
前記ピッキング対象を撮影するカメラと、
前記カメラを水平移動させるカメラ駆動装置と、
前記稼働装置、前記カメラおよび前記カメラ駆動装置を制御する制御装置と、
前記カメラ駆動装置に従って水平移動された前記カメラで撮影された撮影データを用いて、前記ピッキング対象を認識する認識部と、前記認識部での認識結果に応じて、前記制御装置の制御を実行するための動作計画を策定する動作計画部を備える認識・計画装置を有し、
前記動作計画に基づく前記制御装置の制御に従って、前記カメラ駆動装置が前記カメラを水平移動させるピッキングロボットシステム。

【請求項2】

請求項１に記載のピッキングロボットシステムにおいて、
前記動作計画部は、前記カメラの水平移動における制約に満たす前記動作計画を策定するピッキングロボットシステム。

【請求項3】

請求項２に記載のピッキングロボットシステムにおいて、
前記動作計画部は、前記カメラの水平移動と前記稼働装置の稼働の干渉を避ける前記動作計画を策定するピッキングロボットシステム。

【請求項4】

請求項１に記載のピッキングロボットシステムにおいて、
前記動作計画部は、前記カメラ駆動装置と前記稼働装置を並行動作させる前記動作計画を作成するピッキングロボットシステム。

【請求項5】

請求項１に記載のピッキングロボットシステムにおいて、
前記認識部は、
前記動作計画に応じて水平移動された前記カメラでの撮影データについての認識精度を特定し、
特定された前記認識精度が所定条件を満たすか判定し、
判定された結果を、前記制御装置に通知し、
前記カメラ駆動装置は、前記制御装置からの制御に応じて、前記認識精度を向上するように前記カメラを前記カメラの位置を調整するピッキングロボットシステム。

【請求項6】

請求項５に記載のピッキングロボットシステムにおいて、
前記カメラ駆動装置は、前記制御装置からの制御に応じて、前記カメラを前記水平移動以外に移動させるピッキングロボットシステム。

【請求項7】

請求項１に記載のピッキングロボットシステムにおいて、
前記ピッキング対象は、複数の場所に配置され、
前記カメラ駆動装置は、前記カメラを前記複数の場所のぞれぞれの近傍に移動させることで、前記稼働装置による前記ピッキング対象の取り出しを実現するピッキングロボットシステム。

【請求項8】

請求項１乃至７の何れかに記載のピッキングロボットシステムにおける前記認識・計画装置を、コンピュータとして機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定位置に収納された物品を取り出して、所定の設置先に設置するピッキング作業を実行するピッキングロボットに関する。

【背景技術】

【0002】

近年、工場や物流倉庫などでのピッキング作業を自動化するピッキングロボットシステムが用いられている。ピッキングロボットは、物品で代表されるピッキング対象をカメラで認識し、ピッキングのためにロボットの動作の計画を策定する。ここで、ピッキングを適切に実現する計画を策定するためには、ピッキング対象を高精度で認識することが求められる。

【0003】

しかし、高精度に認識するにはカメラをピッキング対象に近づける必要がある。このように、カメラがピッキング対象の近傍に配置されるとロボットと干渉する恐れがある。この課題を解決するために、特許文献１および２が提案されている。特許文献１には、「それぞれの開口部を同一面に配置した複数の収容部と、各収容部内の物品を撮影するカメラを同一面に沿って移動させるカメラ移動機構と、カメラ移動機構を間に挟んで複数の収容部の反対側に設けたロボットアームと、制御部と、を有する。制御部は、取り出し対象の物品を収容した収容部の開口部に対向する位置にカメラを移動させて当該物品を撮影し、当該物品を取り出すためのロボットアームの動作経路から外れた位置にカメラを移動させるようにカメラ移動機構を動作させ、撮影した画像に基づいて当該収容部内の当該物品を取り出すようにロボットアームを動作させる」物品移動装置が記載されている。また、特許文献２には、「第１撮像部を移動させて周辺機器等に干渉しない箇所で第１対応付けをすることができる制御装置、かかる制御装置により制御されているロボット、および、かかる制御装置とロボットとを備えるロボットシステム」が記載されている。

【0004】

以上のように、特許文献１および２には、カメラを移動し、ロボットがカメラや周辺機器と干渉することを避ける方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－８９７２１号公報

【特許文献2】特開２０１８－９４６４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１や２のようにカメラを移動させると、モーターといった原動機において大きなトルクが必要になるとの課題が生じる。特許文献１では、重力に逆らう方向にカメラを移動させるため、より大きなモータートルクが必要となる。また、特許文献２では、様々な方向それぞれに駆動する機構が必要で、駆動対象が重くなる。このため、特許文献２でもより大きなモータートルクが必要となる。

【0007】

以上のように、本発明では、ピッキングロボットシステムにおけるカメラ移動のためのモータートルクを抑制することを課題とする。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、本発明では、ピックアップロボットシステムにおけるロボットといった可動装置とは別構成で、カメラを水平方向に移動させる。

【0009】

より具体的な本発明の構成は、ピッキング対象を取り出すために稼働する稼働装置と、前記ピッキング対象を撮影するカメラと、前記カメラを水平移動させるカメラ駆動装置と、前記稼働装置、前記カメラおよび前記カメラ駆動装置を制御する制御装置と、前記カメラ駆動装置に従って水平移動された前記カメラで撮影された撮影データを用いて、前記ピッキング対象を認識する認識部と、前記認識部での認識結果に応じて、前記制御装置の制御を実行するための動作計画を策定する動作計画部を備える認識・計画装置を有し、前記動作計画に基づく前記制御装置の制御に従って、前記カメラ駆動装置が前記カメラを水平移動させるピッキングロボットシステムである。

【0010】

また、本発明には、ピッキングロボットシステムを構成する各装置やこれらを用いたピッキング方法も含まれる。さらに、認識・計画装置をコンピュータとして機能させるためのプログラムやこれを格納した媒体も含まれる。

【発明の効果】

【0011】

本発明によれば、ピッキングロボットシステムにおけるモータートルクの過剰な上昇を抑えることが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態におけるピッキングロボットシステムの構成を示すシステム構成図である。

【図2】実施例１における稼働装置、カメラおよびカメラ駆動装置の外観図である。

【図3】実施例１におけるカメラの位置とモータートルクの関係を示すグラフである。

【図4】実施例１におけるピッキングロボットシステムの機能ブロック図である。

【図5】実施例１におけるピッキングロボットシステムの動作の概要を説明するための図である。

【図6】実施例１におけるハンドが物品を保持した様子を示す図である。

【図7】実施例１におけるピッキング作業のための制御装置や認識・計画装置での処理を示すタイミングチャートである。

【図8】実施例１におけるタイミングチャートとピッキングロボットシステムの動作の対応関係を示す図である。

【図9】実施例１におけるＣ１０１の詳細を示すフローチャートである。

【図10】実施例１におけるタイミング決定処理の詳細を示すフローチャートである。

【図11】実施例１におけるＣ１０２の詳細を示すフローチャートである。

【図12】実施例１におけるＣ１０３の詳細を示すフローチャートである。

【図13】実施例１におけるＣ１０４の詳細を示すフローチャートである。

【図14】実施例２における稼働装置、カメラおよびカメラ駆動装置の外観図である。

【図15】実施例２における物品のピッキング作業の様子を示す図である。

【図16】実施例３における稼働装置、カメラおよびカメラ駆動装置の外観図である。

【図17】実施例３における物品のピッキング作業の様子を示す図である。

【図18】実施例４における稼働装置、カメラおよびカメラ駆動装置の外観図である。

【図19】実施例４における物品のピッキング作業の様子を示す図である。

【図20】実施例５における稼働装置、カメラおよびカメラ駆動装置の外観図である。

【図21】実施例５における物品のピッキング作業の様子を示す図である。

【図22】実施例６における稼働装置、カメラおよびカメラ駆動装置の外観図である。

【図23】実施例６における物品のピッキング作業の様子を示す図である。

【図24】実施例７における撮影位置の調整処理を示すフローチャートである。

【図25】実施例８における認識・計画装置のハードウエア構成図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について説明する。本実施形態は、物流倉庫等でのピッキング作業として、ピッキング対象である物品２２０を取り出すためのピッキングロボットシステム１に関する。図１は、本実施形態におけるピッキングロボットシステム１の構成を示すシステム構成図である。図１に示すピッキングロボットシステム１においては、稼働装置１０、制御装置１１０、認識・計画装置１２０、カメラ駆動装置１４０およびカメラ１５０の各装置が互いに接続されている。

【0014】

本実施形態では、バケット２２１に置かれた物品２２０が、稼働装置１０により取り出され所定位置に移動される。このために、カメラ１５０での撮影データを用いた認識結果を用いて、稼働装置１０が稼働して、物品２２０が物理的に取り出される。以下、このピッキング作業を実行するための各構成要素について説明する。

【0015】

まず、稼働装置１０は、上述のとおり、物品２２０を物理的に移動させるために稼働する。このために、稼働装置１０は、モーターを含むアクチュエーターといった駆動源となる駆動部１１を有することになる。なお、駆動部１１は、稼働装置１０とは別構成で実現してもよい。なお、稼働装置１０は、ロボット１６０やハンド１７０で実現できる。

【0016】

また、カメラ１５０は、バケット２２１に置かれた物品２２０やこれを含む領域を撮影する。そして、カメラ１５０は、撮影のために地面２（床）に対して水平方向に移動される（図中矢印の方向）。このために、カメラ１５０は、カメラ駆動装置１４０を接続される。そして、カメラ駆動装置１４０は、カメラ１５０の移動のための機構であり、カメラ１５０の移動における駆動源と駆動源で発生した駆動力を伝達する機能を有する。駆動源としては、アクチュエーターで実現できる。またさらに、カメラ１５０やカメラ駆動装置１４０の移動方向を制約ないし特定する機能を有することになる。このために、カメラ駆動装置１４０は、単軸ロボット、支柱、台座、レール、ギアなどで実現できる。本実施形態では、カメラ駆動装置１４０により、カメラ１５０が水平方向へ移動することになる。この際、カメラ駆動装置１４０の機能により、カメラ１５０を限定的に水平方向に移動させる
また、制御装置１１０は、駆動部１１やカメラ駆動装置１４０を制御する。このことで、稼働装置１０やカメラ１５０の動作が制御される。このために、制御装置１１０は、後述の認識・計画装置１２０から動作計画を受け付け、これに応じた制御信号を出力する。また、制御装置１１０は、ＰＬＣ（Programmable Logic Controller）やコンピュータで実現できる。

【0017】

また、認識・計画装置１２０は、ピッキングロボットシステム１の動作を管理する機能を有する。このために、認識・計画装置１２０は、認識部３０２および動作計画部１３を有する。認識部３０２では、カメラ１５０の撮影データを用いて、物品２２０を認識する。また、動作計画部１３では、この認識結果に応じて、稼働装置１０やカメラ１５０の稼働についての動作計画を策定する。そして、認識・計画装置１２０は、この動作計画を制御装置１１０に出力する。このことで、稼働装置１０やカメラ１５０は、動作計画に応じた動作を行うことになる。なお、認識・計画装置１２０は、コンピュータで実現できる。

【0018】

なお、本実施形態では、カメラ１５０を水平移動させるため、動作計画部１３はこの水平移動における制約を満たす動作計画を策定することになる。この制約には、干渉を防ぐことが含まれる。干渉には、カメラ１５０ないしカメラ駆動装置１４０と、ピッキングロボットシステム１を構成する各種装置やその他関連機器・設備や人との干渉が含まれる。ピッキングロボットシステム１を構成する各種装置には、稼働装置１０やバケット２２１などが含まれる。また、関連機器・設備には、バケット２２１へ物品２２０を持ち込む機器が含まれる。

【0019】

以上のように、本実施形態のピッキングロボットシステム１は、ピッキング作業として、物品２２０を取り出す稼働装置１０と、物品２２０を撮影するカメラ１５０と、カメラ１５０を水平移動させるカメラ駆動装置１４０と、稼働装置１０、カメラおよびカメラ駆動装置１４０におけるピッキング作業のための動作を制御する制御装置１１０と、カメラ駆動装置１４０に従って水平移動されたカメラ１５０で撮影された撮影データを用いて、物品２２０を認識する認識部３０２と、認識部３０２での認識結果に応じて、制御装置１１０での制御を実行するための動作計画を策定する動作計画部１３を備える認識・計画装置１２０を有し、策定された動作計画に基づく制御装置１１０の制御に従って、カメラ駆動装置１４０がカメラ１５０水平移動させるピッキングロボットシステム１である。

【0020】

また、本実施形態には、ピッキングロボットシステム１を用いたピッキング方法やこれを支援するためのピッキング作業支援方法も含まれる。ピッキング作業支援方法には、制御装置１１０および／または認識・計画装置１２０での方法が含まれる。なお、これら方法を制御装置１１０および／または認識・計画装置１２０で実行させるためのプログラムやこれを格納した記憶媒体も本発明に含まれる。さらに、制御装置１１０および／または認識・計画装置１２０も本発明の一態様である。以下、本実施形態をより具体化した各実施例について説明する。

【実施例0021】

まず、図２は、本実施例における稼働装置１０、カメラ１５０およびカメラ駆動装置１４０の外観図である。図２において、稼働装置１０が、バケット２２１に置かれた物品２２０が取り出すことになる。ここで、稼働装置１０は、物品２２０を取り出すために動作し、ロボット１６０およびハンド１７０を有する。ロボット１６０は、物品２２０の取り出し、つまり、ピッキング作業のためにバケット２２１へアクセスするように動作する。このために、ロボット１６０は、例えば、６軸の関節を有する垂直多関節ロボットで実現できる。

【0022】

また、ハンド１７０は、ロボット１６０がアクセスしたバケット２２１に置かれた物品２２０を保持する。ハンド１７０は、この保持を、物品を真空吸着したり、物品２２０を複数方向から挟んで把持したりすることで実現できる。

【0023】

また、カメラ１５０は、物品２２０を撮影し、撮影データを取得する。このために、カメラ１５０は、２Ｄカメラや３Ｄカメラで実現できる。また、カメラ駆動装置１４０は、物品２２０を撮影するためにカメラ１５０を水平方向に移動（水平移動）させる機構である。本実施例では、カメラ１５０がカメラ駆動装置１４０に配置され、カメラ駆動装置１４０の動作に伴い、カメラ１５０が水平移動することになる。図中、カメラ駆動装置１４０は、破線で示す位置や実線で示す位置に移動することになる。

【0024】

つまり、カメラ駆動装置１４０は、図中の矢印で示される水平方向に移動される。また、この移動に伴い、カメラ１５０も図中の矢印で示される水平方向に移動される。この結果、カメラ１５０は、ロボット１６０が物品２２０やバケット２２１から遠い場合（図中破線の位置）は実線の位置に移動し、物品２２０を近距離で撮影することができる。

【0025】

以上の動作を実現するために、本実施例では、カメラ駆動装置１４０は、カメラ水平駆動機械１４１、支柱１４２、台座１４３、カメラ位置調整機械１４４、フレーム１４５および照明１４６を有する。カメラ水平駆動機械１４１は、水平方向に制限して移動する機械であり、本実施例では単軸ロボットで実現できる。図示したように、この単軸ロボットを縦に置くことで配置スペースを削減できる。なお、カメラ水平駆動機械１４１は、単軸ロボットでなくてもよい。また、カメラ水平駆動機械１４１およびカメラ位置調整機械１４４は、それぞれ駆動源を有する。そして、カメラ水平駆動機械１４１が主に水平移動を実現するための機構であり、カメラ位置調整機械１４４が主に実施例７の調整を実現するための機構である。

【0026】

また、支柱１４２や台座１４３は、カメラ駆動装置１４０を支えたり、各構成要素を接続したりするための構成である。また、カメラ位置調整機械１４４は、水平移動後に、カメラ１５０の撮影位置を調整するための機械である。本実施例では、カメラ位置調整機械１４４は、垂直方向の単軸ロボットで実現しているが、調整の方向は垂直方向でなくてもよいし、単軸ロボットでなくてもよい。また、カメラ位置調整機械１４４は、省略できる。以上のように、本実施例では、カメラ１５０をフレーム１４５にとりつけ、フレーム１４５をカメラ位置調整機械１４４で垂直方向に移動させる。このことで、撮影の際に、カメラ１５０と物品２２０との距離を調整できる。また、カメラ位置調整機械１４４は、台座１４３に設けられ、台座１４３は支柱１４２によってカメラ水平駆動機械１４１に接続される。

【0027】

また、フレーム１４５は、カメラ駆動装置１４０の構造体である。そして、フレーム１４５に減振材を付加することで、カメラ１５０の撮影や移動の際における振動を抑制し、カメラ１５０の認識精度が落ちないようにすることができる。また、照明１４６は、カメラ１５０の撮影のための照明であり、本実施例ではフレーム１４５に設けられる。なお、照明１４６は、ピッキングロボットシステム１が設けられる施設の天井、付加的に設けた支柱、その支柱で支えられたフレームなど、その設けられる場所はフレーム１４５に限らない。

【0028】

以上のカメラ駆動装置１４０は、カメラ１５０を水平方向に移動させることで、カメラ１５０とロボット１６０の干渉を防ぐこともできる、また、上述の構成により、その駆動源のモータートルクを抑止できる。以下、このことについて説明する。

【0029】

図３は、本実施例におけるカメラ１５０の位置とモータートルクの関係を示すグラフである。図３では、カメラ駆動装置１４０が、カメラ１５０を退避位置から物品２２０近辺まで移動させ、物品２２０を撮影後、退避位置まで移動させる場合のモータートルク、カメラ移動速度の時系列を示す。また、本例では、カメラ駆動装置１４０は駆動源としてアクチュエーターを用いて、カメラ１５０を移動させる。このアクチュエーターとは、例えば電動モーターで実現できる。

【0030】

ここで、図３では以下の（Ａ）～（Ｃ）ごとに、モータートルクとカメラ移動速度を示している。
（Ａ）カメラ１５０を水平移動
（Ｂ）カメラ１５０を垂直移動
（Ｃ）２軸以上の方向に駆動することができる機能により、カメラ１５０を水平移動
なお、（Ｂ）では、物品２２０近辺が下方であり、退避位置が上方であるとしている。また、（Ｃ）では、（Ａ）（Ｂ）に比べて多くのモーターが必要であり、移動させる部分の質量が（Ａ）（Ｂ）に比べて大きくなる。

【0031】

そして、図３において、カメラ１５０は序盤（グラフの左）に加速し、中盤で等速となり、終盤に減速するが、中盤の等速はなくてもよい。

【0032】

また、必要となるモータートルクの最大値は、（Ａ）が最も小さくなる。また、（Ｂ）（Ｃ）におけるモータートルクの最大値については、図３では（Ｃ）＞（Ｂ）となっているが、逆の場合もある。ここで、（Ｃ）＞（Ａ）となる理由は、加減速に必要なモータートルクTaは移動させる部分の質量mが大きくなるにつれて上昇するためである。また、（Ｂ）＞（Ａ）となる理由は、等速を維持するためのトルクTcは、カメラ移動方向と逆向きの外力が大きくなるにつれて上昇するためである。なお、アクチュエーターの必要トルク（モータートルク）T=Ta+Tcと算出できる。

【0033】

以上を纏めると、図３に示すとおり、例えば、単軸ロボットを用いて、カメラ１５０を移動させる場合は、重力に拮抗する方向に移動させる方法に比べて、駆動源に必要なトルクが小さくなる。また、２軸以上の方向に移動させる場合に比べて駆動源の数が少なく、カメラ駆動装置１４０の質量が小さくなり、加速時に必要なトルクが小さくなる。したがって、本実施例では、出力の小さい駆動源でも駆動可能、つまり、カメラ１５０を移動させることができる。

【0034】

次に、本実施例におけるピッキングロボットシステム１の機能構成ついて説明する。図４は、本実施例におけるピッキングロボットシステム１の機能ブロック図である。上述のように、ピッキングロボットシステム１は、稼働装置１０、制御装置１１０、認識・計画装置１２０、カメラ駆動装置１４０およびカメラ１５０を有する。また、これらに加え、物品位置センサ１９１、物品固定部２００および記憶装置１３０を有する。そして、これら各装置は互いに接続されている。

【0035】

まず、稼働装置１０は、ロボット１６０、ハンド１７０、ロボットスライダ１８０および物品移動部１９０を有する。ここで、ロボット１６０やハンド１７０は、上述で説明したとおり、物品２２０を取り出す等の動作を行う。ロボットスライダ１８０は、ロボット１６０に対して回転等の駆動をし、その姿勢を変更する。物品移動部１９０は、バケット２２１もしくはこれに置かれた物品２２０を、ハンド１７０で保持できるように移動させる。なお、本実施例および後述の実施例２～４物品移動部は、コンベアで実現できる。また、稼働装置１０に含まれる各装置は、それぞれアクチュエーター等の駆動部１１を有する。

【0036】

また、制御装置１１０は、稼働装置１０やカメラ１５０等の制御対象に対する制御を実行する装置である。このために、制御装置１１０は、制御信号を作成し、制御対象に出力する。この結果、駆動部１１等の制御対象の駆動源が制御信号に従って駆動し、制御対象が所定の稼働を行う。このために、制御装置１１０は、システム動作制御部２０９、カメラ駆動制御部２０１、カメラ撮影部２０２、ロボット制御部２０３、ハンド制御部２０４、ロボットスライダ制御部２０５、物品移動制御部２０６、物品位置取得部２０７および物品固定制御部２０８を有する。これらは、制御対象全体および各対象を制御する。

【0037】

まず、システム動作制御部２０９は、制御対象全体を制御する。この際、システム動作制御部２０９は、各制御対象の稼働で矛盾、干渉や衝突といった障害が発生しないように制御を行う。このために、後述の各制御部に対して、障害が発生ないような制御指示を出力し、各制御部がこれに従って制御を行う。

【0038】

また、カメラ駆動制御部２０１は、カメラ駆動装置１４０の駆動を制御する。また、カメラ撮影部２０２は、カメラ１５０の撮影を制御する。つまり、カメラ撮影部２０２の制御信号に従って、カメラ１５０が撮影を行う。

【0039】

また、ロボット制御部２０３およびハンド制御部２０４は、それぞれロボット１６０およびハンド１７０の動作を制御し、物品２２０を取り出す。また、ロボットスライダ制御部２０５は、ロボットスライダ１８０を制御し、ロボット１６０の姿勢を制御することができる。また、物品移動制御部２０６は、物品移動部１９０を制御する。この結果、バケット２２１もしくはこれに置かれた物品２２０を移動させることができる。

【0040】

物品位置取得部２０７は、制御対象の１つである物品位置センサ１９１を動作させ、その検知結果である物品２２０の位置を取得する。物品固定制御部２０８は、制御対象の１つである物品固定部２００を制御する。この結果、物品固定部２００は、バケット２２１を固定することで、物品２２０を固定できる。

【0041】

次に、認識・計画装置１２０は、カメラ１５０の撮影データから物品２２０を認識し、稼働装置１０を始めとする制御対象の動作計画を策定する。このために、認識・計画装置１２０は、システム動作計画部３０１、認識部３０２、ロボット動作計画部３０３、カメラ動作計画部３０４を有する。システム動作計画部３０１、ロボット動作計画部３０３およびカメラ動作計画部３０４は、ピッキングロボットシステム１やこれを構成する各装置の動作を制御するための動作計画を作成する。なお、システム動作計画部３０１、ロボット動作計画部３０３およびカメラ動作計画部３０４は、図１の動作計画部１３に該当する。

【0042】

ここで、システム動作計画部３０１は、各制御対象の稼働で矛盾、干渉や衝突といった障害が発生しないような動作計画を作成する。また、ロボット動作計画部３０３およびカメラ動作計画部３０４はそれぞれ、ロボット１６０およびカメラ１５０を制御するための動作計画を作成する。なお、システム動作計画部３０１が他の制御対象向けの動作計画を作成してもよいし、それぞれの制御対象用の動作計画部を認識・計画装置１２０に設けてもよい。なお、動作計画とは、制御装置１１０で制御信号を作成するために用いられ、制御対象が行う動作を示すものである。

【0043】

また、認識部３０２は、カメラ１５０の撮影データに対して画像処理を施すことで、ピッキング対象である物品２２０を認識する。そして、この認識結果を用いて、動作計画部１３の各々が、動作計画を作成することになる。

【0044】

さらに、記憶装置１３０は、認識・計画装置１２０での動作計画を策定するための各種情報を記憶する。このため、記憶装置１３０は、環境情報記憶部４０１およびロボット情報記憶部４０２を有する。環境情報記憶部４０１は、ピッキングロボットシステム１が設けられている環境を示す環境情報１３１を記憶する。より具体的には、環境情報１３１は、物品２２０に関する情報、バケット２２１に関する情報、ピッキングの位置に関する情報が含まれる。これらは、物品２２０の形状、硬さ、重さ材質等の特性、配置位置、移動先、バケット２２１の大きさ、形状、配置位置を含む。また、ロボット情報記憶部４０２が記憶するロボット情報１３２は、ピッキングロボットシステム１に関する情報であり、設計情報のような形状等を含む。なお、記憶装置１３０は、認識・計画装置１２０内に設けてもよいし、複数の認識・計画装置１２０に対して、１つの記憶装置１３０を設けてもよい。さらに、記憶装置１３０は、ファイルサーバのようなピッキングロボットシステム１の外部に設けてもよい。またさらに、制御装置１１０、認識・計画装置１２０および記憶装置１３０を、１つの装置（コンピュータ）で実現してもよい。

【0045】

次に、本実施例におけるピッキングロボットシステム１の全体動作について説明する。図５は、本実施例におけるピッキングロボットシステム１の動作の概要を説明するための図である。図５において、まず、（Ａ）物品固定部２００が、ピッキング作業の対象である物品２２０が入ったバケット２２１を図面中左に押し込み、バケット２２１の位置を固定するように動作を開始する。

【0046】

そして、（Ｂ）物品位置センサ１９１がバケット２２１の位置を検知し、物品移動部１９０はバケット２２１が所定の位置に到着すると停止し、その位置に固定する。なお、この固定は、ストッパーを設けて、所定の位置よりも先に移動できなくしてもよい。

【0047】

また、（Ｃ）カメラ１５０が、物品２２０を撮影し、認識部３０２が物品２２０の位置や姿勢を認識する。そして、（Ｄ）認識結果に応じて、ロボットスライダ１８０を稼働させ、ロボット１６０がとれる姿勢の自由度を上げる。つまり、ハンド１７０が、バケット２２１付近となるように、ロボット１６０が動く。そして、（Ｅ）ハンド１７０が物品２２０を保持し、ロボット１６０が動作することで物品２２０を、バケット２２１（物品移動部１９０付近）から設置先１９２へ搬送する。なお、設置先１９２とは、物品２２０の移動先の位置を示してもよいし、その位置を含む装置、物品等であってもよい。

【0048】

（Ｆ）このように設置先１９２に搬送された物品２２０は、その目的に応じて処理されることになる。例えば、設置先１９２として、コンベアを用いる場合、当該コンベアにより物品２２０は加工、搬送等のための目的地に搬送される。以上の（Ａ）～（Ｆ）、少なくとも（Ａ）～（Ｆ）についいては、認識・計画装置１２０で策定された動作計画に応じた、制御装置１１０の制御により実行される。なお、制御装置１１０、認識・計画装置１２０および記憶装置１３０は、コンピュータシステム１４として一体で構成してもよいし、別構成ないし一部の組合せで構成できる。

【0049】

次に、図６は、本実施例におけるハンド１７０が物品２２０を保持した様子を示す図である。図６（ａ）～（ｃ）は、それぞれ異なる保持方式を示している。まず、（ａ）では、ハンド１７０はハンド基部１７１およびこれに接続した吸着パッド１７２を有する。そして、吸着パッド１７２に物品２２０を吸着することでこれを保持する。

【0050】

また、（ｂ）では、ハンド１７０はハンド基部１７１およびこれに接続した駆動可能な指部１７３Ａ、１７３Ｂを有する。そして、ハンド１７０は、指部１７３Ａと１７３Ｂで物品２２０を挟むことで、これを保持する。さらに、（ｃ）では、ハンド１７０はハンド基部１７１、吸着パッド１７２および指部１７３Ａ、１７３Ｂを有する。つまり、（ｃ）は、（ａ）（ｂ）を組み合わせた構成である。具体的には、ハンド１７０は、物品２２０を、吸着パッド１７２で吸着し、指部１７３Ａと１７３Ｂで挟むことで、これを保持する。

【0051】

次に、図７は、本実施例におけるピッキング作業のための制御装置１１０や認識・計画装置１２０での処理を示すタイミングチャートである。

【0052】

Ｃ１０１では、システム動作計画部３０１が、制御対象の初期位置から第一段階の移動についての動作計画を策定する。なお、初期「位置」とは、初期「状態」を含むもので、存在する座標が変化しなくともよい。これは、「初期」に限らず以下の各「位置」でも同様である。また、移動についても姿勢の変化を含む動作を意味する。

【0053】

このＣ１０１のために、Ｃ２０１で、ロボット動作計画部３０３が、ロボット１６０の初期位置から保持待機位置への動作計画を策定する。また、Ｃ２０２では、カメラ動作計画部３０４が、ロボット１６０における初期位置から保持待機位置への動作計画に該当する動作計画を策定する。つまり、ロボット１６０の保持待機位置へ移動にリンクしたカメラ駆動装置１４０の動作計画を策定する。この結果、カメラ駆動装置１４０の初期位置から撮影位置を経由して、ロボット１６０が物品２２０を保持する際に干渉を避けるための退避位置が動作計画として策定される。なお、カメラ駆動装置１４０の動作計画には、カメラ駆動装置１４０およびカメラ１５０のうち、少なくとも一方の動作、つまり、移動の様子を示すことになる。

【0054】

この結果、初期位置－撮影退避位置－保持待機位置の移動ないし動作経路が示されるロボット１６０の動作計画が策定される。また、初期位置－撮影位置－退避位置とカメラ１５０の水平移動経路が示されるカメラ駆動装置１４０の動作計画が策定される。

【0055】

そして、Ｃ１０１で、システム動作計画部３０１が、Ｃ２０１やＣ２０２の動作計画により、ロボット１６０とカメラ１５０ないしカメラ駆動装置１４０で干渉が生じるかを判定する。そして、干渉が生じる場合は、システム動作計画部３０１もしくはロボット動作計画部３０３やカメラ動作計画部３０４が、干渉を防止する動作計画に修正する。なお、この動作計画には、カメラ駆動装置１４０の駆動によるカメラ１５０の移動後に、撮影を実行すること、ハンド１７０やロボットスライダ１８０といった各種制御対象の動作計画が含まれる。本実施例では、ロボット１６０とカメラ駆動装置１４０の動作計画に基づいて、他の制御対象の動作計画が、システム動作計画部３０１で策定されることになる。

【0056】

このＣ１０１の結果、以下に示すようなロボット１６０およびカメラ駆動装置１４０の動作計画が策定されることになる。

【0057】

（１）ロボット１６０の初期位置－撮影退避位置
（２）ロボット１６０の撮影退避位置－保持待機位置
（３）カメラ駆動装置１４０の初期位置－撮影位置
（４）カメラ駆動装置１４０の撮影位置－退避位置
なお、Ｃ１０１の詳細については、図９を用いて後述する。

【0058】

以上により策定される各動作計画は、認識・計画装置１２０から制御装置１１０に通知される。そして、制御装置１１０が動作計画に応じた制御を実行する。具体的には、Ｃ４０１では、ロボットスライダ制御部２０５が、動作計画に従い、ロボット１６０が初期位置から保持待機位置へ移動できる姿勢になるように、ロボットスライダ１８０を制御する。

【0059】

次に、Ｃ３０１では、ロボット制御部２０３が、ロボット１６０を、初期位置から撮影退避位置へ移動させる制御を行う。また、Ｃ３０２では、カメラ駆動制御部２０１が、策定されたカメラ駆動装置１４０の動作計画に応じて、カメラ駆動装置１４０を撮影位置まで水平移動させる制御を行う。具体的には、カメラ駆動装置１４０が制御されことになる（以下、同様）。そして、Ｃ３０３では、カメラ撮影部２０２が、カメラ１５０を制御して、バケット２２１に置かれた物品２２０を撮影する。そして、Ｃ２０３では、認識部３０２が、Ｃ３０３でのカメラ１５０の撮影データを用いて、ピッキング対象である物品２２０を認識する。

【0060】

また、Ｃ３０４では、カメラ１５０での撮影を検知すると、カメラ駆動制御部２０１が、カメラ駆動装置１４０を制御してカメラ１５０を撮影位置から動作計画に含まれる退避位置まで水平移動させる。

【0061】

また、Ｃ４０２では、ロボットスライダ制御部２０５が、Ｃ１０２での動作計画に従い、ロボット１６０が撮影退避位置－保持待機位置と動作できる姿勢になるように、ロボットスライダ１８０を制御する。そして、Ｃ３０５では、ロボット制御部２０３が、ロボット１６０を、撮影退避位置から保持待機位置へ移動させる。

【0062】

なお、以上で説明した内容の他、これ以降の制御においても、Ｃ１０３やＣ１０４で、システム動作制御部２０９が、ピッキングロボットシステム１の全体制御を司ることになる。この詳細は図１２を用いて後述する。

【0063】

以上で、Ｃ１０１で策定された動作計画に従った制御が実行されたことになる。そこで、Ｃ１０２では、システム動作計画部３０１が、策定された動作計画以降の動作計画を策定することになる。このために、Ｃ２０４では、ロボット動作計画部３０３が、第一段階のロボット１６０の保持待機位置から、物品２２０を保持する保持位置を経由して、物品２２０の移動先である設置先１９２までの移動計画を策定する。

【0064】

さらに、ロボット動作計画部３０３は、設置先１９２から次の物品２２０のピッキング作業における保持待機位置までの動作計画を策定する。これは、設置先１９２を初期位置と同様に扱うことで、Ｃ２０１と同様の処理で実現できる。

【0065】

また、Ｃ２０５では、カメラ動作計画部３０４が、第一段階の退避位置からロボット１６０の設置先１９２に対応するカメラ駆動装置１４０の水平移動の動作計画を策定する。ここでは、撮影がされないため、Ｃ２０４の動作計画に従ったロボット１６０の動作（ピッキング作業）に干渉しないピッキング退避位置への退避を示す動作計画が策定されることになる。さらに、Ｃ２０５では、カメラ動作計画部３０４が、Ｃ２０２と同様にして、ピッキング干渉退避位置を初期位置として、撮影位置および退避位置を含む動作計画を策定する。

【0066】

そして、Ｃ１０２では、Ｃ１０１と同様に、システム動作計画部３０１が、ロボット１６０とカメラ駆動装置１４０やカメラ駆動装置１４０で干渉が生じるかの判定などを行い、各種制御対象の動作計画を策定する。この動作計画には、ハンド制御部２０４によるハンド１７０の物品２２０を保持するための動作計画も含まれる。

【0067】

この結果、以下に示すようなロボット１６０およびカメラ駆動装置１４０の動作計画が策定されることになる。

【0068】

（１）ロボット１６０の保持待機位置－保持位置
（２）ロボット１６０の保持位置－設置位置
（３）ロボット１６０の設置位置－撮影退避位置－保持待機位置
（４）カメラ駆動装置１４０の第一段階の退避位置－ピッキング干渉退避位置
（５）カメラ駆動装置１４０のピッキング干渉退避位置－撮影位置－退避位置
なお、第一段階の退避位置とピッキング干渉退避位置は同じ位置であることを妨げない。また、Ｃ１０２の詳細については、図１１を用いて後述する。なお、本願明細書での設置先１９２には設置位置を含む概念である。

【0069】

そして、Ｃ３０６では、ロボット制御部２０３が、ロボット１６０を制御して、上述の（１）の動作を実行させる。つまり、ロボット１６０が、物品２２０の保持位置まで移動される。そして、Ｃ３０７において、ハンド制御部２０４が、ハンド１７０を制御して、物品２２０を保持させる。

【0070】

また、Ｃ４０３では、ロボットスライダ制御部２０５が、Ｃ１０２での動作計画のうち、（２）ロボット１６０が保持位置－設置位置と動作できる姿勢になるように、ロボットスライダ１８０を制御する。そして、Ｃ３０８では、ロボット制御部２０３が、Ｃ１０２の動作計画のうち（２）に従って、のロボット１６０を保持位置から設置位置まで移動させる。

【0071】

また、第一段階の次の第二段階として、Ｃ３０２の制御が実行される。つまり、カメラ駆動装置１４０が、カメラ１５０を、次の物品２２０のピッキング作業のための撮影位置まで水平移動させる。そして、Ｃ３０３の処理が第二段階として繰り返される。また、Ｃ３１０では、ロボット制御部２０３が、ロボット１６０を制御して、設置位置－保持待機位置まで動作させる。以上の処理が、物品２２０分だけ繰り返され、物品２２０のピッキング作業が完了させる。これら「段階」は物品２２０の数といったピッキング単位を示し、第二段階以降も続くことになる。このため、複数の物品２２０をまとめて取り出す場合、上述の各処理、段階は、複数の物品２２０、つまり、ピッキング単位分実行される。また、これらの制御においても、Ｃ１０３と同様に、Ｃ１０４にて、システム動作制御部２０９が、ピッキングロボットシステム１の全体制御を司ることになる。この詳細は図１３を用いて後述する。

【0072】

以上で、図７のタイミングチャートチャートの説明を終わる。次に、図８は、本実施例におけるタイミングチャートとピッキングロボットシステム１、主にロボット１６０の動作の対応関係を示す図である。図８では、（ａ）の初期位置から（ｅ）保持位置へのピッキングロボットシステム１の上面図をそれぞれ示している。そして、各図において、ピッキングロボットシステム１が、右から左へ物品２２０を移動させている。

【0073】

まず、図８（ａ）は、Ｃ１０１の際、つまり、初期位置におけるピッキングロボットシステム１を示している。本図では、ロボット１６０が図面上で上方を向いているが、この姿勢は任意であり、これに限らない。また、カメラ駆動装置１４０の位置も任意である。

【0074】

また、図８（ｂ）は、Ｃ３０３の処理中のピッキングロボットシステム１の様子を示す。Ｃ３０３では、カメラ１５０が撮影を行っている。つまり、カメラ駆動装置１４０は、撮影位置、つまり、物品２２０付近に位置している。そして、ロボット１６０は、撮影退避位置、つまり、カメラ駆動装置１４０と干渉しない位置に位置している。

【0075】

また、図８（ｃ）は、Ｃ３０５の終了の際のピッキングロボットシステム１の様子を示す。Ｃ３０５では、ロボット１６０が撮影退避位置から保持待機位置へ移動している。このため、ロボット１６０は、物品２２０付近に移動している。そして、カメラ駆動装置１４０は、ロボット１６０での物品２２０の取り出しに干渉しない位置に移動されている。

【0076】

また、図８（ｄ）は、２回目のＣ３０３の処理中のピッキングロボットシステム１の様子を示す。Ｃ３０３では、カメラ撮影部２０２が、カメラ１５０を制御して、バケット２２１に置かれた物品２２０を撮影する。また、この際、ロボット１６０は、物品２２０を移動先に設置している状態である。

【0077】

また、図８（ｅ）は、Ｃ３１０では、ロボット１６０が設置位置－保持待機位置まで動作する。また、カメラ駆動装置１４０は、退避位置に移動される。そして、図８（ｄ）と図８（ｅ）について、ピッキング対象の物品２２０が無くなるまで繰り返される。

【0078】

以上で、図８の説明を終わり、以下では図７のタイミングチャートにおける処理の詳細を説明する。図９は、実施例１におけるＣ１０１の詳細を示すフローチャートである。

【0079】

ステップＳ１０１において、システム動作計画部３０１が、ロボットスライダ１８０についての初期位置から撮影待機位置までの動作計画を策定する。このために、環境情報１３１やロボット情報１３２を用いる。

【0080】

また、ステップＳ１０２において、システム動作計画部３０１が、Ｃ２０１での動作計画のうち、ロボット１６０の初期位置から撮影待機位置までの動作計画を取得する。なお、動作計画の取得の代わりに、システム動作計画部３０１がロボット１６０の初期位置から撮影待機位置までの動作計画を策定してもよい。なお、この動作計画は、ロボット１６０が他の構成と干渉しない動作を示す経路をRRT（Rapidly-exploring Random Tree）法などにより策定することができる。さらに、動作時間は、IPTP(Iterative Parabolic Time Parameterization)法などにより策定できる。

【0081】

また、ステップＳ１０３において、システム動作計画部３０１が、Ｃ２０２での動作計画のうち、カメラ駆動装置１４０の初期位置から撮影位置までの動作計画を取得する。ここで、Ｃ２０２での動作計画とは、カメラ動作計画部３０４により、カメラ駆動装置１４０の初期位置から撮影位置を経由して、ロボット１６０が物品２２０を保持する際に干渉を避けるための退避位置までの動作計画を示す。なお、動作計画の取得の代わりに、システム動作計画部３０１がカメラ駆動装置１４０の初期位置から撮影位置までの動作計画を策定してもよい。なお、この動作計画は、ロボット情報１３２を用いて、カメラ駆動装置１４０の速度、加速度をもとにV-Tグラフなどから策定されてもよい。

【0082】

また、ステップＳ１０４において、システム動作計画部３０１が、カメラ駆動装置１４０の動作開始タイミングを決定する。なお、この処理の詳細は、図１０を用いて後述する。

【0083】

また、ステップＳ１０５において、システム動作計画部３０１が、カメラ１５０での撮影時間を推定する。このために、ロボット情報１３２に含まれるハンド１７０のカメラ１５０撮影時間が用いられる。なお、この撮影時間は、実験結果やシミュレーション結果を用いることができる。

【0084】

また、ステップＳ１０６において、システム動作計画部３０１が、ロボットスライダ１８０についての撮影待機位置から設置位置までの動作計画を策定する。

【0085】

また、ステップＳ１０７において、システム動作計画部３０１が、Ｃ２０１の動作計画のうち、ロボット１６０の撮影待機位置から保持待機位置までの動作計画を取得する。なお、動作計画の取得の代わりに、システム動作計画部３０１がロボット１６０の撮影待機位置から保持待機位置までの動作計画を策定してもよい。なお、この動作計画は、ステップＳ１０２と同様に、ロボット１６０が他の構成と干渉しない動作を示す経路をRRT法などにより策定することができる。さらに、動作時間は、IPTP法などにより策定できる。また、ステップＳ１０２とＳ１０７は、まとめて実行してもよい。

【0086】

また、ステップＳ１０８において、システム動作計画部３０１が、Ｃ２０２の動作計画のうち、カメラ駆動装置１４０の撮影位置から待機位置までの動作計画を取得する。なお、動作計画の取得の代わりに、システム動作計画部３０１がカメラ駆動装置１４０の撮影位置から待機位置までの動作計画を策定してもよい。なお、この動作計画の策定は、ステップＳ１０３と同様に、ロボット情報１３２を用いて、カメラ駆動装置１４０の速度、加速度をもとにV-Tグラフなどから策定されてもよい。また、ステップＳ１０３とＳ１０８は、まとめて実行してもよい。

【0087】

そして、ステップＳ１０９において、システム動作計画部３０１が、ロボット１６０およびロボットスライダ１８０の動作開始タイミングを決定する。なお、この処理の詳細は、図１０を用いて後述する。

【0088】

以上で、図９の説明を終わり、ステップＳ１０４およびステップＳ１０９でのタイミング決定処理の詳細を説明する。図１０は、本実施例におけるタイミング決定処理の詳細を示すフローチャートである。

【0089】

ステップＳ２０１において、システム動作計画部３０１が、後続のピッキング作業での動作開始タイミングを０に設定する。後続とは、上述の段階が進むことを意味する。

【0090】

また、ステップＳ２０２において、システム動作計画部３０１が、先行のピッキング作業の動作終了時間まで、ステップＳ２０３～ステップＳ２０６を繰り返す。また、ステップＳ２０３において、システム動作計画部３０１が、後続のピッキング作業での動作開始タイミングを、設定から所定時間分（ΔＴ）遅らせる。

【0091】

次に、ステップＳ２０４において、システム動作計画部３０１が、動作同士の干渉の有無を確認する。このために、システム動作計画部３０１が、ロボット１６０の動作計画とカメラ駆動装置１４０の動作計画を比較する。この結果、ロボット１６０とカメラ駆動装置１４０の経路で干渉するかが判定される。なお、このカメラ駆動装置１４０の動作には、カメラ１５０を含めることが望ましい。さらに、本ステップでは、他のロボットスライダ１８０などの装置の干渉も判定してもよい。

【0092】

そして、ステップＳ２０５において、ステップＳ２０４で干渉があると確認された場合（Ｔ）、ステップＳ２０２に遷移し、以降のステップを繰り返す。また、干渉がないと確認された場合（Ｆ）、ステップＳ２０６に遷移する。

【0093】

また、ステップＳ２０６において、システム動作計画部３０１が、ステップＳ２０３で所定時間分（ΔＴ）遅らせたタイミングを、後続の動作開始タイミングとして決定する。なお、図１０に示す処理は、各装置、つまり、カメラ駆動装置１４０とロボット１６０についてそれぞれ実行してもよい。以上で、図１０の説明を終わる。

【0094】

次に、本実施例におけるＣ１０２の詳細を説明する。図１１は、本実施例におけるＣ１０２の詳細を示すフローチャートである。まず、ステップＳ３０１において、システム動作計画部３０１が、認識部３０２でのカメラ１５０での撮影データに対する認識結果を取得する。認識結果には、物品２２０の位置、姿勢およびこれに対する保持位置が含まれる。

【0095】

また、ステップＳ３０２において、システム動作計画部３０１が、Ｃ２０４での動作計画のうち、ロボット１６０の保持待機位置から保持位置までの動作計画を取得する。なお、動作計画の取得の代わりに、システム動作計画部３０１がロボット１６０の保持までの動作計画を策定してもよい。なお、この動作計画は、ロボット１６０が他の構成と干渉しない動作を示す経路をRRT法などにより策定することができる。さらに、動作時間は、IPTP法などにより策定できる。

【0096】

また、ステップＳ３０３において、システム動作計画部３０１が、ハンド１７０についての物品２２０を対象とする保持の動作計画を策定する。このために、システム動作計画部３０１は、ロボット情報１３２に含まれるハンド１７０の吸着時間や挟み込み時間などを用いる。なお、これら吸着時間や挟み込み時間は、実験結果やシミュレーション結果を用いることができる。

【0097】

また、ステップＳ３０４において、システム動作計画部３０１が、ロボットスライダ１８０についての保持待機位置から保持位置までの動作計画を策定する。このために、環境情報１３１やロボット情報１３２を用いる。また、ステップＳ３０５において、システム動作計画部３０１が、Ｃ２０４での動作計画のうち、ロボット１６０についての保持位置から設置位置までの動作計画を取得する。ここで、Ｃ２０４での動作計画とは、保持待機位置から次の段階の保持待機位置までの動作計画を示す。なお、動作計画の取得の代わりに、システム動作計画部３０１がロボット１６０についての保持位置から設置位置までの動作計画を策定してもよい。なお、この動作計画は、ロボット１６０が他の構成と干渉しない動作を示す経路をRRT法などにより策定することができる。さらに、動作時間は、IPTP法などにより策定できる。

【0098】

また、ステップＳ３０６において、システム動作計画部３０１が、Ｃ２０５での動作計画のうち、カメラ駆動装置１４０のピッキング干渉退避位置から撮影位置までの動作計画を取得する。なお、動作計画の取得の代わりに、システム動作計画部３０１がカメラ駆動装置１４０の撮影位置までの動作計画までの動作計画を策定してもよい。なお、この動作計画は、ロボット情報１３２を用いて、カメラ駆動装置１４０の速度、加速度をもとにV-Tグラフなどから策定されてもよい。

【0099】

また、ステップＳ３０７において、システム動作計画部３０１が、カメラ駆動装置１４０の動作開始タイミングを決定する。この処理は、ステップＳ１０４と同様に実現できる。つまり、この処理の詳細は、図１０に示すとおりである。

【0100】

また、ステップＳ３０８において、システム動作計画部３０１が、ステップＳ１０５同様に、カメラ１５０での撮影時間を推定する。また、ステップＳ３０９において、システム動作計画部３０１が、ハンド１７０についての物品２２０の保持を解除する動作計画を策定する。ロボット情報１３２に含まれるハンド１７０の吸着解除時間や挟み込み解除時間などが用いられる。なお、これら吸着解除時間や挟み込み解除時間は、実験結果やシミュレーション結果を用いることができる。

【0101】

また、ステップＳ３１０において、システム動作計画部３０１が、Ｃ２０５の動作計画のうち、カメラ駆動装置１４０の撮影位置から退避位置までの動作計画を取得する。なお、動作計画の取得の代わりに、システム動作計画部３０１がカメラ駆動装置１４０の撮影位置から退避位置までの動作計画を策定してもよい。なお、この動作計画の策定は、ステップＳ３０６と同様に、ロボット情報１３２を用いて、カメラ駆動装置１４０の速度、加速度をもとにV-Tグラフなどから策定されてもよい。また、ステップＳ３０６とＳ３１０は、まとめて実行してもよい。

【0102】

また、ステップＳ３１１において、システム動作計画部３０１が、Ｃ２０４の動作計画のうち、ロボット１６０の設置位置から保持待機位置までの動作計画を取得する。なお、動作計画の取得の代わりに、システム動作計画部３０１がロボット１６０の設置位置から保持待機位置までの動作計画を策定してもよい。なお、この動作計画は、ステップＳ３０２と同様に、ロボット１６０が他の構成と干渉しない動作を示す経路をRRT法などにより策定することができる。さらに、動作時間は、IPTP法などにより策定できる。また、ステップＳ３０２、Ｓ３０５およびＳ３１１の少なくとも２つの処理はまとめて実行してもよい。

【0103】

また、ステップＳ３１２において、システム動作計画部３０１が、ロボットスライダ１８０についての保持位置から保持待機位置までの動作計画を策定する。このために、環境情報１３１やロボット情報１３２を用いる。この処理は、ステップＳ３０４と同様の処理で実現できる
そして、ステップＳ３１３において、システム動作計画部３０１が、ロボット１６０の動作開始タイミングを決定する。この処理は、ステップＳ１０９と同様に実現できる。つまり、この処理の詳細は、図１０に示すとおりである。以上で、図１１の説明を終わる。

【0104】

次に、Ｃ１０３でのピッキングロボットシステム１の全体制御処理について説明する。図１２は、本実施例におけるＣ１０３の詳細を示すフローチャートである。まず、ステップＳ４０１において、システム動作制御部２０９が、Ｃ１０１で策定された動作計画、つまり、経路および動作開始タイミングを、システム動作計画部３０１から取得する。

【0105】

また、ステップＳ４０２において、システム動作制御部２０９が、ロボットスライダ制御部２０５に、ロボットスライダ１８０における現在位置から撮影待機位置までの動作を制御する制御信号を送信する。このために、システム動作制御部２０９が、ステップＳ４０１の動作計画に基づき、制御信号を作成することが望ましい。但し、システム動作制御部２０９からロボットスライダ制御部２０５へ動作計画を送信し、ロボットスライダ制御部２０５で制御信号を作成してもよい。

【0106】

また、ステップＳ４０３において、システム動作制御部２０９が、ロボット制御部２０３、ロボット１６０における現在位置から撮影待機位置までの動作を制御する制御信号を送信する。本ステップでもステップＳ４０２と同様に、動作計画自身を送信してもよい。

【0107】

以降、ステップＳ４０４～ステップＳ４０６と、ステップＳ４０７～ステップＳ４１２を並行して実行される。これら各ステップで送信される制御信号も、上述のステップのように動作計画に置き換えることが可能である。まず、ステップＳ４０４において、システム動作制御部２０９が、ロボット制御部２０３およびロボットスライダ制御部２０５の動作開始タイミングまで待機する。つまり、ロボット１６０とロボットスライダ１８０の動作開始タイミングまで待機される。なお、システム動作計画部３０１が、ステップＳ４０４～ステップＳ４０６とステップＳ４０７～ステップＳ４１２を並行実行するための動作計画を策定することになる。

【0108】

そして、ロボットスライダ制御部２０５の動作開始タイミングが検知されると、ステップＳ４０５を実行する。つまり、システム動作制御部２０９が、ロボットスライダ制御部２０５に対して、ロボットスライダ１８０を撮影待機位置から保持待機位置まで移動させる制御信号を送信する。

【0109】

また、ロボット制御部２０３の動作開始タイミングが検知されると、ステップＳ４０６を実行する。つまり、システム動作制御部２０９が、ロボット制御部２０３に対して、ロボット１６０を撮影待機位置から保持待機位置まで移動させる制御信号を送信する。

【0110】

また、ステップＳ４０７において、システム動作制御部２０９が、カメラ駆動制御部２０１の動作開始タイミングまで待機する。そして、カメラ駆動制御部２０１の動作開始タイミングが検知されると、ステップＳ４０８を実行する。つまり、システム動作制御部２０９が、カメラ駆動制御部２０１に対して、カメラ駆動装置１４０を駆動して、カメラ１５０を撮影位置まで水平移動させる制御信号を送信する。

【0111】

また、カメラ１５０が撮影位置まで水平移動されると、ステップＳ４０８において、システム動作制御部２０９が、カメラ撮影部２０２に撮影のための制御信号を送信する。この結果、カメラ撮影部２０２が、カメラ１５０を制御して、撮影を実行する。そして、カメラ撮影部２０２がカメラ１５０の撮影データを取得することになる。

【0112】

また、ステップＳ４１０において、システム動作制御部２０９は、カメラ撮影部２０２から取得した撮影データを、認識・計画装置１２０のシステム動作計画部３０１に送信する。この結果、システム動作計画部３０１では、撮影された物品２２０、つまり、次のピッキング対象である物品２２０のピッキング作業の動作計画を策定することができる。

【0113】

また、ステップＳ４１１において、システム動作制御部２０９は、システム動作計画部３０１から策定された次の物品ピッキング対象の動作計画を受け付ける。そして、ステップＳ４１２において、システム動作制御部２０９が、カメラ駆動制御部２０１に対して、カメラ駆動装置１４０を駆動して、カメラ１５０を退避位置まで水平移動させる制御信号を送信する。以上で、本フローチャートの説明を終わる、なお、本フローチャートでは、システム動作制御部２０９から各制御部に制御信号や動作計画を送信するが、システム動作制御部２０９が直接稼働装置１０を制御してもよい。

【0114】

次に、Ｃ１０４でのピッキングロボットシステム１の全体制御処理について説明する。図１３は、本実施例におけるＣ１０４の詳細を示すフローチャートである。

【0115】

図１３において、まず、ステップＳ５０１において、システム動作制御部２０９が、Ｃ１０２で策定された動作計画、つまり、経路および動作開始タイミングを、システム動作計画部３０１から取得する。

【0116】

また、ステップＳ５０２において、システム動作制御部２０９が、ロボット制御部２０３へ、ロボット１６０における保持待機位置から保持位置までの動作を制御する制御信号を送信する。このために、システム動作制御部２０９が、ステップＳ５０１の動作計画に基づき、制御信号を作成することが望ましい。但し、システム動作制御部２０９からロボット制御部２０３へ動作計画を送信し、ロボット制御部２０３で制御信号を作成してもよい。このことは、ステップＳ５０３～ステップＳ５０５でも同様である。

【0117】

また、ステップＳ５０３において、システム動作制御部２０９が、ハンド制御部２０４へ、ハンド１７０で物品２２０を保持するための制御信号を送信する。また、ステップＳ５０４において、システム動作制御部２０９が、ロボットスライダ制御部２０５に、ロボットスライダ１８０における保持位置から設置位置までの動作を制御する制御信号を送信する。

【0118】

また、ステップＳ５０５において、システム動作制御部２０９が、ロボット制御部２０３へ、ロボット１６０における保持位置から設置位置までの動作を制御する制御信号を送信する。なお、本ステップでもステップＳ５０２と同様に、動作計画自身を送信してもよい。以降、ステップＳ５０６～ステップＳ５０９と、ステップＳ５１０～ステップＳ５１４を並行して実行される。これら各ステップで送信される制御信号も、上述のステップのように動作計画に置き換えることが可能である。まず、ステップＳ５０６において、システム動作制御部２０９が、ハンド制御部２０４へ、ハンド１７０で物品２２０の保持を解除するための制御信号を送信する。なお、システム動作計画部３０１が、ステップＳ５０６～ステップＳ５０９とステップＳ５１０～ステップＳ５１４を並行実行するための動作計画を策定することになる。

【0119】

また、ステップＳ５０７において、システム動作制御部２０９が、ロボット制御部２０３の動作開始タイミングまで待機する。つまり、ロボット１６０の動作開始タイミングまで待機される。そして、ステップＳ５０８において、システム動作制御部２０９が、ロボット制御部２０３に対して、ロボット１６０を設置位置から保持待機位置まで移動させる制御信号を送信する。

【0120】

また、ステップＳ５０９において、システム動作制御部２０９が、ロボットスライダ制御部２０５に対して、ロボットスライダ１８０を設置位置から保持待機位置まで移動させる制御信号を送信する。

【0121】

また、ステップＳ５１０において、システム動作制御部２０９が、システム動作制御部２０９が、カメラ駆動制御部２０１の動作開始タイミングまで待機する。そして、カメラ駆動制御部２０１の動作開始タイミングが検知されると、ステップＳ５１１を実行する。つまり、システム動作制御部２０９が、カメラ駆動制御部２０１に対して、カメラ駆動装置１４０を駆動して、カメラ１５０を撮影位置まで水平移動させる制御信号を送信する。

【0122】

また、カメラ１５０が撮影位置まで水平移動されると、ステップＳ５１２において、システム動作制御部２０９が、カメラ撮影部２０２に撮影のための制御信号を送信する。この結果、カメラ撮影部２０２が、カメラ１５０を制御して、撮影を実行する。そして、カメラ撮影部２０２がカメラ１５０の撮影データを取得することになる。

【0123】

また、ステップＳ５１３において、システム動作制御部２０９は、カメラ撮影部２０２から取得した撮影データを、認識・計画装置１２０のシステム動作計画部３０１に送信する。この結果、システム動作計画部３０１では、撮影された物品２２０、つまり、次のピッキング対象である物品２２０のピッキング作業の動作計画を策定することできる。

【0124】

また、ステップＳ５１４において、システム動作制御部２０９は、システム動作計画部３０１から策定された次の物品ピッキング対象の動作計画を受け付ける。そして、ステップＳ５１５において、システム動作制御部２０９が、カメラ駆動制御部２０１に対して、カメラ駆動装置１４０を駆動して、カメラ１５０を退避位置まで水平移動させる制御信号を送信する。

【0125】

以上で、本フローチャートの説明を終わる、なお、本フローチャートでも、システム動作制御部２０９から各制御部に制御信号や動作計画を送信するが、図１２と同様にシステム動作制御部２０９が直接稼働装置１０を制御してもよい。また、以上のような動作計画の策定、動作計画に従った制御を繰り返すことで、複数の物品２２０に対するピッキング作業を完了することが可能となる。以上で、実施例１の説明を終わる。

【実施例0126】

上述の実施例１では、カメラ駆動装置１４０は、設置位置よりもロボット１６０側に位置する。これに対して、実施例２では、ロボット１６０とカメラ駆動装置１４０の干渉を避けやすくするために、カメラ駆動装置１４０を、設置位置をまたいでロボット１６０の向かいに配置している。以下、この構成について説明する。

【0127】

図１４は、本実施例における稼働装置１０、カメラ１５０およびカメラ駆動装置１４０の外観図である。図１４において、カメラ駆動装置１４０は、カメラ水平駆動機械１４１、支柱１４２、台座１４３、カメラ位置調整機械１４４、フレーム１４５および照明１４６を有する。これら各構成要素は、実施例１と同様であるが、その配置が異なる。つまり、カメラ水平駆動機械１４１は、ロボット１６０に対して、物品２２０をまたいで反対側に位置する。これにより、ロボット１６０とカメラ駆動装置１４０の干渉を避けやすくなる。

【0128】

そして、図１４において破線で記載されたカメラ駆動装置１４０は、ロボット１６０が物品２２０やバケット２２１の近傍に位置する場合の配置を示す。また、実線はロボット１６０が物品２２０やバケット２２１から遠い場合の配置（移動先）を示す。ここで、実線で示される配置の場合、カメラ１５０での撮影が実行される。

【0129】

次に、図１５は、本実施例における物品のピッキング作業の様子を示す図である。図１５（ａ）（ｂ）は、ピッキング作業での物品２２０の取り出しの様子を示す図である。そして、図１５（ａ）は、ピッキング作業での物品２２０の取り出しの様子を示す上面図である。図１５（ａ）の図面上方に、ピッキング対象である物品２２０やバケット２２１が記載されている。そして、これらに向け、ロボット１６０が向けられている。また、カメラ１５０は図面右方で、ロボット１６０から離れて位置している。つまり、カメラ１５０が、退避位置に位置している。

【0130】

また、図１５（ｂ）は、ピッキング作業での物品２２０の取り出しの様子を示す側面図である。図１５（ｂ）において、ロボット１６０の先端に設けられたハンド１７０が、物品２２０を保持しようとしている。そして、保持された物品２２０は、図１５（ｃ）（ｄ）で示されるように、設置位置を有する設置先１９２に移動される。なお、本実施例を含む各実施例では、設置位置に物品２２０を移動させることで、物品２２０は設置先１９２に置かれることになる。

【0131】

図１５（ｃ）は、ピッキング作業での物品２２０の設置先１９２への移動の様子を示す上面図である。図１５（ｃ）において、ロボット１６０は図面下方に向けられ、物品２２０を設置先１９２に移動させている。この際、カメラ１５０は、カメラ駆動装置１４０の駆動により、バケット２２１付近に移動され、撮影が可能となっている。また、図１５（ｄ）は、ピッキング作業での物品２２０の設置先１９２へ移動の様子を示す側面図である。図１５（ｄ）において、ロボット１６０は、図面右方の設置位置を向き、その先端に設けられたハンド１７０が、物品２２０を設置先１９２に移動しようとしている。

【0132】

以上で、本実施例の説明を終わるが、その処理や制御は、実施例１と同じであるため、説明を省略する。