特開 2023-182175 ピッキングシステム運用支援装置およびピッキングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023182175

(43)【公開日】2023-12-26

(54)【発明の名称】ピッキングシステム運用支援装置およびピッキングシステム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20231219BHJP

   G05B 19/418 20060101ALI20231219BHJP

【ＦＩ】

B25J13/08 A

G05B19/418 Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022095640

(22)【出願日】2022-06-14

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】北村 毅

(72)【発明者】

【氏名】月舘 統宙

(72)【発明者】

【氏名】笹谷 聡

【テーマコード（参考）】

3C100

3C707

【Ｆターム（参考）】

3C100AA22

3C100AA57

3C100BB12

3C100BB13

3C100BB34

3C100CC02

3C707AS01

3C707DS05

3C707FS01

3C707GS19

3C707KS03

3C707KS04

3C707KS09

3C707KS30

3C707KT05

3C707KT06

3C707LW03

3C707LW12

3C707LW15

(57)【要約】

【課題】
ピッキング対象やピッキング作業部の状態に応じて、柔軟なピッキング作業を計画でき、より効率的なピッキングシステムにおけるピッキング作業に関する運用を実現する。
【解決手段】
ピッキングシステムにおけるピッキング作業に関する運用を支援する仕分け制御装置３において、ワーク２０２および当該ワーク２０２に対してピッキング作業を行うピッキング作業部２Ａ～２Ｃの状態を示す状態情報を取得する状態情報取得部４と、前記状態情報を用いて、前記ピッキング作業の成否性を推定するピッキング成否推定部５と、推定された前記成否性に応じて、前記ピッキングシステムにおけるピッキング作業の運用計画を示す振り分け情報３０３を作成する振り分け計画部６を有し、前記ピッキングシステムにおけるピッキング作業に関する運用効率化の向上を実現する。
【選択図】 図２

【特許請求の範囲】

【請求項1】

ピッキングシステムにおけるピッキング作業に関する運用を支援するピッキングシステム運用支援装置において、
ピッキング対象および当該ピッキング対象に対してピッキング作業を行うピッキング作業部の状態を示す状態情報を取得する状態情報取得部と、
前記状態情報を用いて、前記ピッキング作業の成否性を推定するピッキング成否推定部と、
推定された前記成否性に応じて、前記ピッキングシステムにおけるピッキング作業の運用計画を示す振り分け情報を作成する振り分け計画部を有し、
前記ピッキングシステムにおけるピッキング作業に関する運用効率化の向上を実現するピッキングシステム運用支援装置。

【請求項2】

請求項１に記載のピッキングシステム運用支援装置において、
記ピッキング成否推定部は、前記ピッキング作業の成否性として、前記ピッキング作業を構成する前記ピッキング作業に対する認識の容易性を示す認識容易性情報、持ち上げ動作および搬送動作の容易性を示す動作容易性情報を作成するピッキングシステム運用支援装置。

【請求項3】

請求項１に記載のピッキングシステム運用支援装置において、
さらに、前記ピッキングシステムにおけるピッキング作業の実績を示すピッキング作業履歴情報を記憶する記憶部をさらに有し、
前記ピッキング成否推定部は、さらに、前記ピッキング作業履歴情報を用いて、前記ピッキング作業の成否性を推定するピッキングシステム運用支援装置。

【請求項4】

請求項３に記載のピッキングシステム運用支援装置において、
前記ピッキング成否推定部は、前記ピッキング作業履歴情報を用いて、前記ピッキング作業の成否性の推定基準を変更するピッキングシステム運用支援装置。

【請求項5】

請求項１に記載のピッキングシステム運用支援装置において、
前記ピッキングシステムは、複数のピッキング作業部を有し、
前記振り分け計画部は、前記複数のピッキング作業部から、前記ピッキング作業を行うピッキング作業部を選択するピッキングシステム運用支援装置。

【請求項6】

請求項５に記載のピッキングシステム運用支援装置において、
前記複数のピッキング作業部の一部は、ピッキングロボットであり、
前記振り分け計画部は、前記ピッキングロボットを優先的に選択するピッキングシステム運用支援装置。

【請求項7】

請求項１に記載のピッキングシステム運用支援装置において、
前記振り分け計画部は、前記ピッキング作業部の仕様を調整するピッキングシステム運用支援装置。

【請求項8】

請求項１乃至７のいずれか記載のピッキングシステム運用支援装置と、
前記ピッキング作業部と、
前記振り分け情報に基づき、前記ピッキング作業を実行するための制御指令を、前記ピッキング作業部に出力する制御装置を有するピッキングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ピッキング対象（ワーク）のピッキング作業を実現するための技術に関する。この中でも特に、より効率的なピッキングシステムの運用を支援するための技術に関する。

【背景技術】

【0002】

近年の少子高齢化に伴う労働人口減少と、人手不足解消や生産性向上を目的としてロボットを活用した自動化・自律化のニーズが高まっている。特に物流分野においては、近年の通販市場拡大も相まって、従来は人が行ってきた什器中のワーク（作業対象物）のピックアンドプレイス（持ち上げ動作および搬送動作）の工程を、ラインへ導入した多軸のロボットアーム等を用いて自動化する自律ピッキングロボットの導入が期待される。

【0003】

ロボットに自律的にピックアンドプレイスを含むピッキング作業を実行させるには、ワークの位置姿勢情報を含む環境情報を、周辺もしくはロボットに設置した撮像手段を用いて認識することが一般的である。例えばFA分野では、あらかじめワークの形状やテクスチャに関する事前情報をデータベースに登録しておき、撮像手段により取得した画像を事前情報と照らし合わせることで、ワークの位置姿勢情報を推定することがある。

【0004】

一方で、E-コマースを代表とする物流分野においては、多種多様な品種のワークを取り扱うことや、季節ごとにワークのパッケージが変化することから、事前情報を登録することなく、ピッキング作業を行うことが望ましい。

【0005】

例えば、特許文献１の要約書では、「闇雲に吸着パッドを包装物の何処かに押し当てても、吸着を適切に行うことは困難である」という課題が記載されている。そして、解決手段として「包装物を撮像した画像を入力する入力手段と、前記画像に基づいて特定された前記包装材の表面の領域ごとの吸着の成否に関わる情報に基づいて、前記包装材の表面にしわ又は穴がある可能性が低い領域を優先して前記吸着部によって吸着させる領域を決定する決定手段と、を有する」ことが記載されている。

【0006】

すなわち、特許文献１では、撮像装置にて撮影した画像に基づきワークの表面のうちしわ又は穴がある可能性が低い領域を推定している。そして、このことで、ワークに関する事前情報をあらかじめ登録することなく、吸着可能な画像上の位置を推定するとともに、実施例においては距離画像を用いて３次元的な位置姿勢情報を求めている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１９－１８１６８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

上記の通り、特許文献１によれば、あらかじめワークの事前情報を登録することなくワークの吸着可能な位置を推定することが出来る。しかしながら、顧客設備のレイアウトやコストの制約によっては、導入する全てのラインへ、最適な位置に望ましい種類の撮像装置やロボットを設置できない案件や、ワークに対し顧客設備の照明の入射が防止できない案件がある。

【0009】

このような物理的制約が生じると、ラインによっては撮像装置による画像（距離画像を含む）の品質が低下することがある。このことで、例えば、ワークの位置姿勢情報の認識に失敗するケースや、認識した位置姿勢にロボットがハンドを移動できず、持ち上げに失敗するケースが生じ、ロボット停止によるスループット低下や物品の破損を引き起こしかねない。以上のように、特許文献１等では、ピッキング対象やピッキング作業装置の状態といったピッキングシステムの物理的制約により、効率的な運用が困難との課題があった。そこで、本発明では、硬直的なピッキング作業計画の作成を避け、ピッキングシステムの効率的な運用支援を目的とする。

【課題を解決するための手段】

【0010】

上記の課題を解決するために、本発明では、ピッキング対象およびピッキングを行うピッキング作業部の状態を示す状態情報に応じて、ピッキング作業の成否性を推定し、推定された成否性に応じて、ピッキング作業部を含むピッキングシステムの運用、特にピッキング作業を調整することで、ピッキングシステムのピッキング作業の運用効率化の向上）を実現する。

【0011】

より具体的には、ピッキングシステムにおけるピッキング作業に関する運用を支援するピッキングシステム運用支援装置において、ピッキング対象および当該ピッキング対象に対してピッキング作業を行うピッキング作業部の状態を示す状態情報を取得する状態情報取得部と、前記状態情報を用いて、前記ピッキング作業の成否性を推定するピッキング成否推定部と、推定された前記成否性に応じて、前記ピッキングシステムにおけるピッキング作業の運用計画を示す振り分け情報を作成する振り分け計画部を有し、前記ピッキングシステムにおけるピッキング作業に関する運用効率化の向上を実現するピッキングシステム運用支援装置である。

【0012】

また、本発明には、ピッキングシステム運用支援装置を用いたピッキングシステム運用支援方法、ピッキングシステム運用支援装置を含むピッキングシステムも含まれる。また、ピッキングシステムを用いたピッキング方法も本発明に含まれる。さらに、ピッキングシステム運用支援装置をコンピュータとして機能させるためのプログラムやこれを格納する記憶媒体も、本発明の一態様である。

【発明の効果】

【0013】

本発明によれば、ピッキング対象やピッキング作業部の状態に応じて、柔軟なピッキング作業を計画でき、より効率的なピッキングシステムにおけるピッキング作業に関する運用が可能となる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態の適用先の一例であるピッキングエリアを示す図

【図2】実施例１におけるピッキングシステムの機能ブロック図

【図3】実施例１における制御装置のハードウェア構成を示す図

【図4】実施例１におけるピッキング作業制御装置の機能ブロック図

【図5】実施例１におけるピッキング成否推定部の処理の詳細を示す図

【図6】実施例１におけるワーク情報推定部の機能ブロック図

【図7】実施例１における認識容易性推定部の機能ブロック図

【図8】実施例１における動作容易性推定部の機能ブロック図

【図9】実施例１で用いられる成否推定情報を示す図

【図10】実施例１で用いられる振り分け情報を示す図

【図11】実施例２におけるピッキング対象の振り分けを説明するための図

【図12】実施例３におけるピッキングシステムのシステム構成図

【図13】実施例３における処理を示すフローチャート

【発明を実施するための形態】

【0015】

以下、本発明を実施するための実施形態について、適宜図面を参照しながら説明する。本実施形態では、ピッキングエリアにおいて、複数のピッキング作業部２Ａ～２Ｃのいずれでピッキング作業を実行させるかを判定する。ここで、図１は、実施形態の適用先の一例であるピッキングエリアを示す図である。ピッキングエリアには、複数のピッキング作業部２Ａ～２Ｃが設けられる。

【0016】

また、ピッキングエリアに投入される什器２０１には、ピッキング対象であるワーク２０２が格納されている。そして、ピッキングエリアに什器２０１（ワーク２０２）が投入されると、ベルトコンベアの如き仕分け装置３０により、ピッキング作業部２Ａ～２Ｃのうち、適切なピッキング作業部に移動される。この結果、移動先のピッキング作業部で、ピッキング作業が行われる。なお、什器２０１とは、ワーク２０２を格納できればよく、その形状、名称は問わない。また、ワーク２０２は、ピッキング対象であり、製品、商品、部品等、その種別は問わない。

【0017】

また、ピッキング作業部２Ａ、２Ｂの各ラインでは、ピッキング作業を自動化するためのハードウェアが設けられている。つまり、ライン撮像装置２３Ａ、２３Ｂ、ロボットアーム２１Ａ、２１Ｂ、吸着ハンド２２Ａ、把持ハンド２２Ｂ（単に、ハンド２２とも称する）といったピッキング作業を行うためのハードウェアが設けられる。そして、ピッキング作業部２Ａ、２Ｂには、これらハードウェアを制御するピッキング作業制御装置２０が設けられる。また、ピッキング作業部２Ｃは、作業者によるピッキング作業が実施される。さらに、各ラインへの仕分け前の什器２０１ないしワーク２０２を撮像可能な位置に、ワーク撮像装置４０が設けられる。

【0018】

ここで、ライン撮像装置２３Ａ、２３Ｂやワーク撮像装置４０は、カメラ等で実現でき、投入されるワーク２０２やピッキング作業部２Ａ、２Ｂを撮影する。但し、ライン撮像装置２３Ａ、２３Ｂやワーク撮像装置４０は、上述の位置以外に設置さてもよい。さらに、ライン撮像装置２３Ａ、２３Ｂは、複数のピッキング作業部２Ａ、２Ｂやラインごとに設けられてもよい。さらに、図示しないが、ピッキング作業部２Ｃに、ライン撮像装置を設けてもよい。

【0019】

また、ロボットアーム２１Ａ、２１Ｂや吸着ハンド２２Ａ、把持ハンド２２Ｂは、ピッキング作業のための動作を行うハードウェアである。また、ロボットアーム２１Ａ、２１Ｂや吸着ハンド２２Ａ、把持ハンド２２Ｂを含むロボットシステムには、自律ピッキングロボットが含まれる。なお、ピッキング作業は、これら各ハードウェアを用いて実行され、認識、持ち上げ動作（ピック）および搬送動作（プレイス）といった各工程の少なくとも１つを含む。また、持ち上げ動作および搬送動作については、後述のようにまとめてピックアンドプレイスとも称する。

【0020】

ここで、ワーク２０２によって、適切なピッキング作業が変わってくる。例えば、脆いワークに対しては、吸着ハンド２２Ａ、把持ハンド２２Ｂによって強く握った場合破損する恐れがある。また、ワーク２０２の形状と吸着ハンド２２Ａ、把持ハンド２２Ｂの形状の相性によっては、中々持ち上げ動作ができない恐れがある。さらに、ワーク２０２の大きさや重さによっては、ラインを流すことが困難であったり、ロボットアーム２１Ａ、２１Ｂでの移動に時間が掛かったりする恐れもある。つまり、ワークとピッキング作業部の状態によっては、ピッキング作業のスループット低下が生じることになる。さらに、人手でピッキング作業を行うピッキング作業部２Ｃにおいても、休憩等で作業者が少ない場合、ピッキング作業の効率が低下してしまう。

【0021】

以上のように、ピッキング対象であるワーク２０２とピッキング作業部２Ａ～２Ｃの状態により、ピッキング作業の効率性が低下してしまう。そこで、本実施形態では、ワーク２０２とピッキング作業部２Ａ～２Ｃの状態に応じて柔軟に対応することで、ピッキングシステム１００のピッキング作業に関する運用をより効率的に実現する。なお、ワーク２０２の状態には、ワーク２０２の特性（硬さ、大きさ、形状、重さ）やその数量が含まれる。また、ピッキング作業部２Ａ～２Ｃの状態には、ピッキング作業部の構成、作業能力、特性、ロボットの仕様、その数量が含まれる。また、ロボットの仕様には、動作プログラム、ハンドの種別などが含まれる。

【0022】

そこで、本実施形態は、ピッキングシステム１００におけるピッキング作業に関する運用を支援する仕分け制御装置３において、ワーク２０２および当該ワーク２０２に対してピッキング作業を行うピッキング作業部２Ａ～２Ｃの状態を示す状態情報を取得する状態情報取得部４と、前記状態情報を用いて、前記ピッキング作業の成否性を推定するピッキング成否推定部５と、推定された前記成否性に応じて、前記ピッキングシステムにおけるピッキング作業の運用計画を示す振り分け情報３０３を作成する振り分け計画部６を有し、前記ピッキングシステム１００におけるピッキング作業に関する運用効率化の向上を実現する。以下、本実施形態の具体的な内容を示す各実施例について説明する。

【実施例0023】

（全体構成）
図２は、実施例１におけるピッキングシステム１００の機能ブロック図である。本実施例におけるピッキングシステム１００は、制御装置１、ピッキング作業部群２、仕分け制御装置３を有し、これらはネットワークのような通信路を介して互いに接続される。まず、制御装置１は、ピッキング作業部群２に含まれる各ピッキング作業部（２Ａ～２Ｃ）のうち、該当のピッキング作業を行うピッキング作業部に対して、その動作を制御するための制御指令を出力し、これらを制御する。

【0024】

また、ピッキング作業部群２は、ピッキング作業を行うピッキング作業部（２Ａ～２Ｃ）で構成される。本実施例における３つのピッキング作業部２Ａ、２Ｂ、２Ｃのそれぞれ構成については後述する。また、仕分け制御装置３は、ワークやピッキング作業部２Ａ～２Ｃの状態に応じて、ピッキング作業の運用計画を示す仕分け情報を作成する。このために、仕分け制御装置３は、状態情報取得部４、ピッキング成否推定部５、振り分け計画部６、作業指示生成部７および以下の各情報を記憶する記憶部を有する。なお、仕分け制御装置３は、ピッキングシステム運用支援装置の一例である。

【0025】

ここで、記憶部に記憶される各情報について説明する。まず、ピッキング作業履歴情報３００は、各ピッキング作業部２Ａ～２Ｃによる過去のピッキング作業の履歴（実績）を示す情報である。また、作業部データ３０１は、各ピッキング作業部２Ａ～２Ｃの構成およびパラメータ示すデータである。また、成否推定情報３０２は、各ピッキング作業部２Ａ～２Ｃにおけるピッキング作業の成否性を示す情報であり、例えば、各作業工程の実現成否性やピッキング作業時間を含む。なお、成否推定情報３０２は、ピッキング作業部２Ａ～２Ｃとして、ワークを格納する什器ごとの情報としてもよい。さらに、振り分け情報３０３は、ピッキングシステム１００におけるピッキング作業の運用計画を示す情報である。振り分け情報３０３は、ワークに対するピッキング作業を、いずれのピッキング作業部２Ａ～２Ｃで実行させるかを示す。つまり、ワークや什器の移動先との仕分けを
より具体的には、振り分け情報３０３は、ピッキング作業部２Ａ～２Ｃごとの、ピッキング作業を行うワークの種類、個数および予定時間が含まれる。振り分け情報３０３には、ピッキング作業部２Ａ～２Ｃでのピッキング作業の実績時間が含まれることが望ましい。以上で、各情報の概要の説明を終わるが、成否推定情報３０２および振り分け情報３０３の具体的な内容について、追って説明する。

【0026】

以下、仕分け制御装置３の各機能ブロックについて説明する。まず、状態情報取得部４は、ピッキング対象およびこれに対するピッキング作業が実行されるピッキング作業部の状態を取得する。ここで、ピッキン対象には、ピッキングシステム１００に投入されるワーク２０２が少なくとも含まれ、これを格納する什器２０１を含めてもよい。また、ピッキング作業部には、ピッキング作業部２Ａ～２Ｃが含まれる。

【0027】

そして、状態情報取得部４は、ワーク２０２や什器２０１の状態を、以下のとおり取得する。まず、状態情報取得部４は、ワーク２０２や什器２０１の撮像データを、カメラ等のワーク撮像装置４０から取得する。ここで、ワーク撮像装置４０は、各ラインの前段に設置される。この結果、ワーク撮像装置４０は、仕分け前に、ワーク２０２と什器２０１の少なくとも一部を撮像できる。このため、ワーク撮像装置４０は、ステレオカメラ、構造化光カメラ、Time of Flightカメラ、単眼カメラをいった各種カメラで実現できるが、その種類は限定されない。そして、状態情報取得部４は、ワーク撮像装置４０から取得した撮像データに対して画像処理を施し、ワーク２０２の状態を示すワーク状態情報を作成する。

【0028】

また、状態情報取得部４は、作業部データ３０１から各ピッキング作業部２Ａ～２Ｃの仕様を含むワーク状態情報を作成する。ここで、ピッキング作業部２Ａ～２Ｃの仕様とは、ピッキング作業における性能を示し、ロボット２１Ａ、２１Ｂの配置、可動域、吸着ハンド２２Ａ、把持ハンド２２Ｂの種別、動作速度、扱い可能ワーク（大きさ、形状）などを用いることができる。

【0029】

そして、状態情報取得部４は、ワーク状態情報および作業部状態情報を含む状態情報を作成できる。この状態情報は、後述のピッキング作業の成否性を推定に用いられることができればよく、その形式等は問わない。

【0030】

また、状態情報は、仕分け制御装置３内で作成されてもよいし、仕分け制御装置３およびピッキング作業制御装置２０で連携して作成して、もよい。この場合、仕分け制御装置３がワーク２０２のワーク状態情報を作成し、ピッキング作業制御装置２０がピッキング作業部２Ａ～２Ｃの作業部状態情報を作成し、これらをマージすることで実現できる。

【0031】

また、ピッキング成否推定部５は、状態情報を用いて、ピッキング作業部２Ａ～２Ｃの少なくとも１つでのピッキング作業の成否性を推定する。つまり、ピッキング成否推定部５は、状態情報を用いて、成否推定情報３０２を作成する。この際、ピッキング成否推定部５は、ピッキング作業履歴情報３００および作業部データ３０１の少なくとも一方をさらに用いることが望ましい。ここで、ピッキング作業履歴情報３００を用いることで、実績に応じたより実情を反映した成否推定情報３０２が作成される。また、作業部データ３０１を用いることにで、各ピッキング作業部２Ａ～２Ｃの仕様に応じた実情を反映した成否推定情報３０２が作成される。

【0032】

また、振り分け計画部６は、ピッキング作業の成否性に応じて、振り分け情報３０３を作成する。ここで、振り分け情報３０３の作成には、過去に作成された振り分け情報３０３を修正、変更することが含まれる。

【0033】

また、作業指示生成部７は、振り分け情報３０３に基づき、ワークに対するピッキング作業を、ピッキング作業部２Ａ～２Ｃのいずれかで実行するように制御する作業指示を作成し、制御装置１に出力する。

【0034】

以降では、制御装置１、ピッキング作業部群２、ピッキング作業履歴情報３００、作業部データ３０１、ピッキング成否推定部５、振り分け計画部６、ピッッキング実行部１０の詳細に説明する。

【0035】

（制御装置１）
制御装置１は、作業指示生成部７で作成された作業指示を受け付け、作業指示に応じた制御指令を、仕分け装置３０やピッキング作業部２Ａ～２Ｃ（特に、ピッキング作業部２Ａ、２Ｂ）に出力する。この結果、仕分け装置３０やピッキング作業部２Ａ～２Ｃを用いて、作業指示に応じたピッキング作業が実現できる。以下、制御装置１の詳細について説明する。図３は、本実施例における制御装置１のハードウェア構成を示す図である。図３に示すように、制御装置１は、ＣＰＵ１１（Central Processing Unit）、バス１２、ＲＯＭ１３（Read Only Memory）と、ＲＡＭ1４（Random Access Memory）、記憶装置１５、ネットワークＩ/Ｆ１６、撮像Ｉ/Ｆ１７、画面表示Ｉ/Ｆ１８および入力Ｉ/Ｆ１９を有し、これらはバス１２を介して接続される。

【0036】

まず、ＣＰＵ１１は、制御装置１の全体動作を統括制御する。また、バス１２は、ＣＰＵ１１の指令を他の部位に伝達する。撮像Ｉ/Ｆ１７は、ワーク撮像装置４０やライン撮像装置２３Ａ、２３Ｂと接続する。画面表示Ｉ／Ｆ１８は、画面出力を行うための機能を有し、画面と接続する。なお、画面表示Ｉ/Ｆ１８は省略できる。また、入力Ｉ/Ｆ１９は、外部装置からの外部入力を受け付ける。このように、制御装置１は、一般的なコンピュータにより構成することができる。さらに、制御装置１は、ＰＬＣ（Programmable Logic Controller）で構成することもできる。

【0037】

また、記憶装置１５内には、各機能を実行するためのプログラム１５Ａと、ＯＳ１５Ｂと、３次元モデル１５Ｃとデータベースなどのパラメータ１５Ｄなどが格納されている。

【0038】

また、ネットワークＩ/Ｆ１６には、ピッキング作業部２Ａ、２Ｂ、特にそのロボットを制御し動作させるためのロボット制御装置１６Ａが接続される。さらに、ネットワークＩ/Ｆ１６には、仕分け装置３０を制御し動作させるための仕分け装置制御装置１６Ｂが接続されている。これら、ロボット制御装置１６Ａおよび仕分け装置制御装置１６Ｂは、その制御対象に対して、制御指令を出力する。この制御指令は、作業指示に基づき、プログラム１５Ａに従ってＣＰＵ１１で作成される。なお、制御装置１は、仕分け制御装置３と１つの装置で実現してもよいし、ピッキング作業部ごとに設けてもよい。以上で、制御装置１の説明を終わる。

【0039】

（ピッキング作業制御装置２０、ワーク撮像装置４０、仕分け装置３０の構成）
次に、ピッキング作業制御装置２０、ワーク撮像装置４０および仕分け装置３０について説明する。これらは、図３Ａに示すように設置される。そして、ワーク撮像装置４０よりワーク２０２やこれを格納した什器２０１を撮像し、撮像データを得る。また、撮像データに対して画像処理を実行し、ワーク２０２の状態を示すワーク状態情報が作成される。そして、このワーク状態情報に基づき、仕分け装置３０が制御されることで、ワーク２０２に適したピッキング作業部へ什器２０１が移動される。つまり、ワーク２０２が、自身の状態に応じたピッキング作業部に仕分けられる。そして、移動先のピッキング作業部で、ワーク２０２に対するピッキング作業が実施される。

【0040】

また、ピッキング作業部２Ａは、ロボットアーム２１Ａ（以降、「ロボット」とも称する）と、ロボット２１Ａの手先に吸着ハンド２２Ａおよびライン撮像装置２３Ａ（以降、「ハンドアイカメラ」とも呼称する）が取り付けられている。また、ピッキング作業部２Ｂは、ロボット２１Ｂと、ロボット２１Ｂの手先に把持ハンド２２Ｂが取り付けられる。そして、ロボット２１Ｂとは独立に設置されたライン撮像装置２３Ｂ（以降、「固定カメラ」とも称する）を有する。さらに、ピッキング作業部２Ｃでは、作業者によるピッキング作業が実施される。このように、各ピッキング作業部２Ａ～２Ｃの構成は異なっており、ワーク２０２の状態により、ピッキング作業の効率やその可否といった成否性が変わってくる。

【0041】

次に、ピッキング作業制御装置２０について説明する。これらは、ロボット２１Ａ、２１Ｂを始めとするハードウェアを制御する装置である。図４は、本実施例におけるピッキング作業制御装置２０の機能ブロック図である。図４において、ピッキング作業制御装置２０は、物品認識部２５、軌道計画部２６、ロボット制御部２７、ハンド制御部２８および認識アルゴリズム３０４を記憶するデータベースを有する。

【0042】

まず、認識アルゴリズム３０４により、ワーク２０２と什器２０１のサイズ、位置姿勢と吸着ハンド２２Ａ、把持ハンド２２Ｂがピッキング対象のワーク２０２表面上の位置のいずれか１つ以上を物品認識結果として推定する。このために、ワーク２０２とこれを格納した什器２０１を撮像した２次元画像と３次元点群（視差画像、距離画像を含む）のいずれか１つ以上を用いられる。

【0043】

また、物品認識部２５は、ライン撮像装置２３Ａ、２３Ｂによりワーク２０２の２次元画像と３次元点群のいずれか１つ以上からなる画像データを取得する。そして、物品認識部２５は、認識アルゴリズム３０４を用いて物品認識結果を推定する。つまり、物品認識情報を作成する。また、軌道計画部２６は、上述の制御指令に応じて、物品認識情報および後述する作業部データ３０１の示すピッキング作業部２Ａ、２Ｂにおけるハードウェアの仕様を用いて、ピッキング作業の搬送動作での軌道を示す軌道情報を作成する。ピッキング作業部２Ａ、２Ｂにおけるハードウェアの仕様としては、例えば、その種類、配置、可動域、速度、加速度パラメータを用いることができる。また、軌道情報は、ワーク２０２を持ち上げてから搬送するまでの一連の軌道を示す。つまり、持ち上げ動作から搬送動作での軌道を示す。

【0044】

また、ロボット制御部２７は、軌道情報に基づいてロボット２１Ａ、２１Ｂを実際に制御する。つまり、ロボット制御部２７は、ロボット２１Ａ、２１Ｂを制御する制御信号を作成する。また、ハンド制御部２８は、上述の制御指令に応じて、物品認識情報を用いて、ロボット２１Ａ、２１Ｂがワーク２０２の把持可能な位置へ移動した際に、吸着ハンド２２Ａ、把持ハンド２２Ｂを制御する。この結果、吸着ハンド２２Ａ、把持ハンド２２Ｂが、ワーク２０２を吸着もしくは把持することができる。このために、ハンド制御部２８は、吸着ハンド２２Ａ、把持ハンド２２Ｂを制御する制御信号を作成する。以上のように、ピッキング作業制御装置２０は、制御指令に応じて、ワーク２０２に対するピッキング作業が実行される。ここで、制御指令は、惑星された振り分け情報３０３に基づくものである。このため、本実施例によれば、振り分け情報３０３に応じたピッキング作業が実現できる。

【0045】

ここで、ピッキング作業部２Ｂのライン撮像装置２３Ｂは、固定カメラ方式を採用している。ロボット２１Ａ、２１Ｂがワーク２０２に対して搬送作業している間に、次のワーク２０２を撮像し認識可能である。このため、ピッキング作業部２Ｂは、タクトタイムに優れるという特徴がある。つまり、ピッキング作業を短時間で完了できる。一方で、視点が固定となるため、図１に示すように、ピッキング作業部２Ｂのピッキングエリアに周辺照明２５Ｂがある場合は、画像上のワークが照明により白飛びするなどの影響で、撮像データの品質が低下する可能性がある。また、ライン撮像装置２３Ｂの設置位置によってはワーク２０２から遠くなる可能性がある。また、ライン撮像装置２３Ｂとしてステレオカメラや構造化光カメラなど撮像距離が遠いほど３次元計測の精度が低下するものを用いた場合には、高精度な撮像が求められる小型ワークの認識に必要な計測性能が不足する可能性がある。

【0046】

一方で、ピッキング作業部２Ａのライン撮像装置２３Ａは、ハンドアイカメラ方式を採用している。この場合、ワーク２０２を撮影するためにロボット２１Ａが一度撮影用の姿勢へ移動する必要がある。このため、固定カメラ方式に比べてタクトタイムが低下するという特徴がある。しかし、撮影時の視点を柔軟に変更できる。このため、ライン撮像装置２３Ａでは、顧客先の周辺照明２５Ａにより画像上のワークの白飛びした場合でも、視点を変更することで白飛びの影響を低減した撮像が実施できる。また、ライン撮像装置２３Ａは、ワーク２０２に対し近距離から撮影ができるため、高精度な３次元計測が実現しやすい。

【0047】

本実施例においては、タクトタイムを重視した固定カメラ方式のピッキング作業部２Ｂと、これよりもタイムタクトが劣るハンドアイカメラ方式のピッキング作業部２Ａを併用している。これは、ピッキング作業部２Ａ付近のピッキングエリアでは、周辺設置物２４Ａ（顧客環境設置物）が存在し、固定カメラの設置が困難であるためである。

【0048】

また、ピッキング作業部２Ａと２Ｂでは、採用する吸着ハンド２２Ａ、把持ハンド２２Ｂについても吸着、把持と方式が異なる。本実施例ではピッキング作業部２Ｂには、ワーク２０２を高速に移動させても安定して掴むことができる把持ハンドを採用している。一方で、ピッキング作業部２Ａではハンドアイカメラをロボットに設置しておりロボット２１Ａの可搬重量が低下している。このため、ピッキング作業部２Ａでは、より軽量な吸着ハンドを採用しワークの可搬重量を担保している。

【0049】

このように、ピッキングエリアの環境やピッキング作業への要求によって、ピッキング作業部ごとに能力が異なる場合がある。このため、各ピッキング作業部２Ａ、２Ｂで取り扱い可能もしくは得意なワーク２０２の種類が異なる。そこで、ワーク２０２を取り扱うピッキング作業部（ライン）を選定することが望ましい。そこで、本実施例では、ワーク２０２や各ピッキング作業部２Ａ、２Ｂの状態に応じて、ピッキング作業を実行するピッキング作業部を選定する。この詳細は、追って説明する。

【0050】

なお、上述の本実施例におけるピッキング作業部の数や構成要素（ハードウェア）は一例である。このため、ライン撮像装置２３Ａ、２３Ｂはハンドアイカメラと固定カメラを１つのピッキング作業部で併用してもよく、またハンドも吸着と把持の両方が出来るものを用いてもよく、上記の例に限定されない。

【0051】

なお、ピッキング作業制御装置２０は、一般的なコンピュータや上述のＰＬＣにより構成することができる。さらに、ピッキング作業制御装置２０は、制御装置１ないし仕分け制御装置３と一体で構成できる。つまり、ピッキング作業制御装置２０は、制御装置１と一体、仕分け制御装置３と一体、制御装置１および仕分け制御装置３と一体で構成できる。

【0052】

（ピッキング作業履歴情報３００）
ピッキング作業履歴情報３００は、各ピッキング作業部２Ａ～２Ｃによる過去のピッキング作業の履歴を示す情報である。ピッキング作業履歴情報３００は、以下のいずれか１つ以上を有することが望ましい。
物品認識部２５にて使用した撮像データ。
認識アルゴリズム３０４のうち使用したアルゴリズムとパラメータ。
ワーク２０２と什器２０１のサイズと位置姿勢とハンドがピッキングするワーク表面上の位置のいずれか１つ以上である物品認識結果。
認識に要した時間、軌道計画部２６により生成したロボットの軌道および軌道生成に要した時間と移動に要した時間。
ハンド制御部２８で使用した制御パラメータ。

【0053】

（作業部データ３０１）
作業部データ３０１は、各ピッキング作業部２Ａ～２Ｃの構成およびパラメータを示すデータである。作業部データ３０１は、ピッキング作業部ごとに、その状態（特性や仕様等）が示される。このため、作業部データ３０１は、例えば、以下の１つ以上を有することが望ましい。
ピッキング作業部の個数。
各ピッキング作業部の構成として、ロボット２１の種類、サイズ、可動域、速度、加速度などの仕様と設置位置。
ハンド２２の種類、サイズ、可動域、可搬重量、可搬サイズ、可搬材質などの仕様とロボットに対する取り付け位置。
ライン撮像装置２３の種類、撮像方式、解像度、画角、焦点距離、ブラー、計測距離、３次元計測精度、計測可能材質、アクティブ計測方式カメラの場合には投光強度などの仕様。
ロボットに対する取り付け位置。
周辺設置物２４Ａの形状と位置。
周辺照明２５Ａ、２５Ｂの種類と位置と光量と半値角。

【0054】

ここで、ロボット２１に対するハンド２２やライン撮像装置２３Ａ、２３Ｂの取り付け位置は、設計値を用いることができる。また、別途ツールキャリブレーションと呼ばれるハンド形状を推定する手法やハンドアイキャリブレーションと呼ばれる撮像位置を推定する手法にて推定した値を用いてもよい。また、ハンド２２の可搬材質や、ライン撮像装置２３の３次元計測精度や計測可能材質は、事前に評価して作業部データ３０１に登録してもよい。

【0055】

（ピッキング成否推定部５）
ピッキング成否推定部５は、各ピッキング作業部におけるピッキング対象物である什器２０１中のワーク２０２のピッキング作業の成否性を推定する。より具体的には、ピッキング成否推定部５は、ピッキング作業の成否性を示す成否推定情報３０２を作成する。この成否推定情報３０２には、ピッキング作業における各作業工程の実現可否情報と作業時間情報が含まれることが望ましい。以下、ピッキング成否推定部５の処理の詳細を説明する。

【0056】

図５は、本実施例におけるピッキング成否推定部５の処理の詳細を示す図である。図５において、ピッキング成否推定部５は、ワーク情報推定部５１、認識容易性推定部５２、動作容易性推定部５３を有する。まず、ワーク情報推定部５１は、状態情報取得部４の状態情報、ピッキング作業履歴情報３００および作業部データ３０１を用いて、ピッキング対象であるワーク２０２状態を示すワーク情報３０２１を作成する。ワーク情報３０２１には、什器２０１の状態を含めてもよい。また、状態情報として、ワーク撮像装置４０で撮像された撮像データに基づくワーク状態情報を用いることが望ましい。

【0057】

また、認識容易性推定部５２は、状態情報、ピッキング作業履歴情報３００、作業部データ３０１を用いて、ライン撮像装置２３Ａ、２３Ｂや認識アルゴリズム３０４によるワーク２０２の認識のし易さを示す認識容易性情報３０２２を作成する。ここで、認識容易性情報３０２２は、ピッキング作業部２Ａ、２Ｂそれぞれでのピッキング作業に必要な精度での認識が可能かを示す情報であることが望ましい。また、認識容易性推定部５２は、状態情報として、ワーク状態情報を用いることが望ましい。

【0058】

また、動作容易性推定部５３は、状態情報、ロボット２１Ａ、２１Ｂや吸着ハンド２２Ａ、把持ハンド２２Ｂの組み合わせにて什器２０１や周辺設置物２４Ａを回避してワーク２０２をピックアンドプレイスできるかを示す動作容易性情報３０２３を作成する。このために、動作容易性推定部５３は、ピッキング作業履歴情報３００および作業部データ３０１を用いる。
ここで、ピックアンドプレイスとは、ピッキング作業のうち、持ち上げ動作（例えば、把持／吸着）および搬送動作・工程である。また、動作容易性推定部５３は、状態情報として、ワーク状態情報を用いることが望ましい。

【0059】

以降では、ワーク情報推定部５１とワーク情報３０２１、認識容易性推定部５２と認識容易性情報３０２２、動作容易性推定部５３と動作容易性情報３０２３について詳細に説明する。なお、動作容易性情報３０２３は、持ち上げ動作および搬送動作の容易性を示す情報であるが、持ち上げ動作および搬送動作のそれぞれについての持ち上げ動作容易性情報および搬送動作容易性情報を用いてもよい。

【0060】

（ワーク情報推定部５１とワーク情報３０２１）
まず、ワーク情報推定部５１は、ワーク２０２の状態を示すワーク情報３０２１を作成する。ここで、図６は、本実施例におけるワーク情報推定部５１の機能ブロック構成図である。図６において、ワーク情報推定部５１は、撮像データ取得部５１０、ワーク模様推定部５１１、ワーク形状推定部５１２、ワーク材質推定部５１３、ワーク反射率推定部５１４、ワーク積み方推定部５１５、ワーク重量推定部５１６、ワーク個数推定部５１７、什器形状推定部５１８および過去取扱い有無推定部５１９を有する。

【0061】

まず、撮像データ取得部５１０は、ワーク撮像装置４０による撮像データを取得し、ワーク２０２や什器２０１のワーク状態情報を作成する。これは、状態情報取得部４の機能（一部）と同様である。このため、撮像データ取得部５１０は、省略してもよいし、状態情報取得部４の該当機能を省略してもよい。なお、以下に示すワーク情報推定部５１の各構成要素では、このような状態情報を用いて処理を実行する。

【0062】

また、ワーク模様推定部５１１は、ワーク２０２表面における物品認識に用いることが出来る特徴模様の有無を推定する。また、ワーク形状推定部５１２は、ワーク２０２の形状およびサイズを推定する。また、ワーク材質推定部５１３は、ワーク２０２の材質を推定する。また、ワーク反射率推定部５１４は、ワーク２０２の反射率を推定する。また、ワーク積み方推定部５１５は、什器２０１内でのワーク２０２の積まれ方を推定する。

【0063】

また、ワーク重量推定部５１６は、ワーク２０２の重量を推定する。ここで、重量とは、個々のワーク２０２の重量および／または什器２０１内のワーク２０２の総重量のいずれでもよい。、また、ワーク個数推定部５１７は、什器２０１内のワーク２０２の個数を推定する。また、什器形状推定部５１８は、什器２０１の形状を推定する。また、過去取扱い有無推定部５１９は、ピッキング作業履歴情報３００を参照し、ピッキング対象となるワーク２０２を過去に取り扱ったことがあるか否かを判定する。

【0064】

以降、ワーク模様推定部５１１～過去取扱い有無推定部５１９の詳細について説明する。まず、ワーク模様推定部５１１では、ワーク２０２の撮像データもしくはワーク状態情報、例えば２次元画像より画素領域ごとの輝度勾配のエッジ情報を抽出する。そして、ワーク模様推定部５１１は、エッジ情報の密度が閾値を超えているか否かより、ワーク表面より物品認識に用いることが出来る特徴模様の有無を推定する。

【0065】

また、ワーク形状推定部５１２では、例えばエッジ情報と、３次元点群における曲率と呼ばれる点群の勾配情報とを組み合わせることでワーク２０２の形状およびサイズを推定する。また、ピッキング作業制御装置２０の認識アルゴリズム３０４もしくがこれと同様のアルゴリズムを、実際にワーク状態情報もしくは撮像データに適用することで求めてもよい。

【0066】

また、ワーク材質推定部５１３は、例えばワーク状態情報もしくは撮像データの２次元画像上の領域ごとの模様を、事前に用意した材質ごとのテンプレート画像と比較することで材質を推定することができる。また、ワーク材質推定部５１３は、３次元点群の曲率が事前に定めたパターンに合致する場合に、やわらかい不定形の素材（ビニールなど）であるといった粒度で材質を推定してもよい。

【0067】

また、ワーク反射率推定部５１４は、例えばワーク撮像装置４０に調光制御が可能な照明を設置しておき、調光度合いに対する画像上の輝度の変化より反射率を推定することができる。また、ワーク反射率推定部５１４は、照明を複数個異なる向きから投光した際の画像の領域毎の輝度変化より、領域ごとの反射率を推定してもよい。なお、ここで説明した照明は、上述の周辺照明２５Ａ、２５Ｂを用いてもよい。

【0068】

また、ワーク詰み方推定部５１５およびワーク個数推定部５１７は、例えば認識アルゴリズム３０４ないしこれと同様のアルゴリズムを実際にワーク撮像装置４０による撮像データもしくはこれに基づくワーク状態情報に適用する。このことで、ワーク２０２の積み方や個数を推定できる。

【0069】

また、ワーク重量推定部５１６は、例えば什器２０１をワーク撮像装置４０により撮影する位置に配置された重量計で計測された重量に基づき、重量を推定できる。つまり、測定した重量と、ワーク撮像装置４０による撮像データもしくはこれに基づくワーク状態情報より什器２０１内でワーク２０２が占める体積と個数の情報から、各ワーク２０２の重量を推定できる。

【0070】

また、什器形状推定部５１８は、例えば什器２０１をワーク撮像装置４０により撮影した時の２次元画像より什器２０１のエッジを認識し、エッジにおける３次元点群の座標を求めることで什器の３辺を推定できる。

【0071】

また、過去取扱い有無推定部５１９は、例えばワーク模様推定部５１１で推定した模様が、ピッキング作業履歴情報３００の履歴の画像内に登場しているかをテンプレートマッチングなどで取り扱いの有無を確認できる。また、過去取扱い有無推定部５１９は、模様部分の画像特徴量を抽出して比較（テンプレートマッチング）してもよい。

【0072】

以上にワーク情報３０２１の作成の一例を示したが、この作成は本例に限定されない。例えば、ワーク撮像装置４０による撮像データやこれに基づくワーク状態情報を入力とするニューラルネットワークを用いてワーク形状や材質、やわらかさ、反射率、積み方、重量、個数、什器形状を推定してもよい。このために、ニューラルネットワークを事前に学習してもよい。

【0073】

本実施例の構成においては、例えばワーク撮像装置４０として、三角測量による構造化光カメラを適用した場合、什器２０１の近くに設置することで、高精度な３次元点群が計測できる。このため、ワーク２０２や什器２０１の形状も同様に高精度に計測することが出来る。また、前段で時間をかけて複数の認識アルゴリズムを用いてワーク情報を作成することで、より正確な推定が可能となる。以上によりワーク２０２および／またはこれを格納する什器２０１の状態を示す情報であるワーク情報３０２１を作成することが出来る。

【0074】

なお、ワーク情報推定部５１は、ワーク情報３０２１の作成を省略してもよい。この場合、ワーク情報３０２１は、人手で入力されてもよいし、予め作成され記憶部に記憶されたものを用いてもよい。これらには、ピッキング作業のスケジュールに含まれるワーク情報３０２１を用いることが含まれる。

【0075】

（認識容易性推定部５２）
次に、認識容易性推定部５２は、ワーク撮像装置４０による撮像データもしくはこれに基づくワーク状態情報、ピッキング作業履歴情報３００および作業部データ３０１を用いて、認識容易性情報３０２２を作成する。ここで、認識容易性情報３０２２とは、ライン撮像装置２３Ａ、２３Ｂおよび認識アルゴリズム３０４によりワーク２０２を、ピッキング作業が実行可能な程度に認識可能か否かを示す情報である。

【0076】

ここで、図７は、本実施例の認識容易性推定部５２の機能ブロック構成図である。図７において、認識容易性推定部５２は、撮像データ取得部５２０、ワーク情報取得部５２１、作業部情報取得部５２２、過去状態情報取得部５２３、２次元計測性能推定部５２４、３次元計測性能推定部５２５、物品認識情報推定部５２６および認識時間推定部５２７を有する。

【0077】

まず、撮像データ取得部５２０は、ワーク撮像装置４０による撮像データを取得し、ワーク２０２や什器２０１のワーク状態情報を作成する。これは、状態情報取得部４の機能（一部）と同様である。このため、撮像データ取得部５２０は、省略してもよいし、状態情報取得部４の該当機能を省略してもよい。このように、撮像データ取得部５２０は、撮像データ取得部５１０と同様の機能を有するため、何れか一方を省略してもよい。

【0078】

また、ワーク情報取得部５２１は、ワーク情報３０２１を取得する。また、作業部情報取得部５２２は、作業部データ３０１よりライン撮像装置２３Ａ、２３Ｂの状態を取得する。この状態には、ライン撮像装置２３Ａ、２３Ｂの種類、撮像方式、解像度、画角、焦点距離、ブラー、撮像距離、３次元計測精度、計測可能材質の少なくとも１つが含まれる。さらに、状態には、ライン撮像装置２３Ａ、Ｂがアクティブ計測方式のカメラ場合には、その投光強度などの仕様や、ロボット２１Ａ、２１Ｂに対する取り付け位置と、周辺照明２５Ａ、２５Ｂの種類、位置、光量、半値角の少ないとも１つが含まれる。

【0079】

また、過去状態情報取得部５２３は、ワーク情報３０２１から、過去に取り扱った（ピッキング作業を行われた）ワーク２０２のピッキング作業部２Ａ、２Ｂによる過去の物品認識情報を取得する。また、２次元計測性能推定部５２４は、各ピッキング作業部２Ａ、２Ｂにおけるライン撮像装置２３Ａ、２３Ｂにてワーク２０２を撮像した場合の２次元画像の品質を推定する。また、３次元計測性能推定部５２５は、各ピッキング作業部２Ａ、２Ｂにおけるライン撮像装置２３Ａ、２３Ｂにてワーク２０２を撮像した場合の３次元点群（あるいは「距離画像」「視差画像」「３次元メッシュ」など）の品質を推定する。

【0080】

また、物品認識情報推定部５２６は、推定された２次元画像と３次元点群の品質に基づき物品認識における検出率、サイズ推定誤差、法線推定誤差、把持点推定誤差のいずれか１つ以上を推定する。また、認識時間推定部５２７は、各ピッキング作業部２Ａ、２Ｂにおける物品認識の時間を推定する。

【0081】

以降、２次元計測性能推定部５２４および３次元計測性能推定部５２５の詳細を説明する。

【0082】

まず、２次元計測性能推定部５２４は、例えば各ピッキング作業部２Ａ、２Ｂにおけるライン撮像装置２３Ａ、２３Ｂ、周辺照明２５Ａ、２５Ｂの仕様、配置情報とワーク情報３０２１より、２次元画像の品質を推定する。ここで、この品質には、撮像距離におけるブラーより画像のボケ情報、照明の強度とワークの色と反射率より白飛びの度合い等が含まれる。また、２次元計測性能推定部５２４は、ワーク情報３０２１および作業部データ３０１を組み合わせることで、仮想的にライン撮像装置２３Ａ、２３Ｂにて撮像した場合の画像を、シミュレータを用いて生成する。そして、物品認識情報推定部５２６と認識時間推定部５２７は、認識アルゴリズム３０４における模様を用いたテンプレートマッチングなどの認識アルゴリズムにより物品を認識可能か否かの情報と認識時間の情報を作成できる。

【0083】

また、３次元計測性能推定部５２５も同様に、例えば各ピッキング作業部２Ａ、２Ｂにおけるライン撮像装置２３Ａ、２３Ｂ、周辺照明２５Ａ、２５Ｂの仕様、配置情報およびワーク情報３０２１を用いて、３次元画像の品質を推定する。この品質には、撮影距離におけるワーク表面の３次元点群の距離の誤差、３次元点群の標準偏差、欠け割合、膨張率のうち少なくとも１つが含まれる。また、物品認識情報推定部５２６と認識時間推定部５２７は、ワーク情報３０２１と作業部データベースの情報とを組み合わせることで、仮想的にライン撮像装置２３Ａ、２３Ｂにて撮像した場合の３次元点群を、シミュレータを用いて生成できる。そして、認識アルゴリズム３０４の認識アルゴリズムにより物品を認識した際の検出率、サイズ推定誤差、法線推定誤差、把持点推定誤差と認識時間の情報が推定される。

【0084】

以上では、認識容易性情報３０２２を作成する方法の例を示したが、本例には限定されない。例えば、ワーク撮像装置４０による撮像データを入力とするニューラルネットワークを用いて、認識容易性情報３０２２を作成してもよい。このために、ワーク２０２を各ピッキング作業部２Ａ、２Ｂにて認識可能か否かを分類するよう学習させておき、実運用時に推論させてもよい。また、ピッキング作業履歴情報３００を、ニューラルネットワークに追加学習させることで、推論基準を変更してもよい。もしくは、過去取り扱い有無推定部５１９にて過去に扱ったことがあると判定したワーク２０２は、その結果の一部を認識しやすさ情報として推定してもよい。加えて、ライン撮像装置２３Ａ、２３Ｂがハンドアイカメラの場合にはシミュレータ上で撮影位置を複数変化させたうえで認識しやすさ情報を推定してもよい。

【0085】

以上により、ピッキング作業を行う前に、ワーク２０２やこれを格納する什器２０１を、各ピッキング作業部２Ａ、２Ｂにて認識可能か否かを事前に推定することが出来る。

【0086】

（動作容易性推定部５３）
動作容易性推定部５３は、ロボット２１Ａ、２１Ｂと吸着ハンド２２Ａ、把持ハンド２２Ｂの組み合わせにて什器２０１や周辺設置物２４Ａを回避してワーク２０２をピックアンドプレイスできるかを示す動作容易性情報３０２３を作成する。このために、動作容易性推定部５３は、ワーク撮像装置４０による撮像データもしくはこれに基づくワーク状態情報、ピッキング作業履歴情報３００、作業部データ３０１を用いる。

【0087】

ここで、図８は、本実施例における動作容易性推定部５３のブロック構成図である。図８において、動作容易性推定部５３は、撮像データ取得部５３０、ワーク情報取得部５３１、作業部情報取得部５３２、過去動作情報取得部５３３、ピック軌道可否推定部５３４、把持容易性推定部５３５、吸着容易性推定部５３６、プレイス軌道可否推定部５３７および動作時間推定部５３８を有する。

【0088】

まず、撮像データ取得部５３０は、撮像データ取得部５１０や撮像データ取得部５２０と同様の機能を有する。このため、これらのうち少なくとも１つを省略できる。また、ワーク情報取得部５３１は、ワーク情報取得部５２１を同様の機能を有する。このため、これらのうち、一方を省略することも可能である。また、作業部情報取得部５３２は、作業部データ３０１より、各ピッキング作業部２Ａ、２Ｂの構成を取得する。ここで、作業部情報取得部５３２は、ピッキング作業部２Ａ、２Ｂの構成を、ライン撮像装置２３Ａ、２３Ｂでの撮像データやこれに基づくワーク状態情報に基づき作成してもよい。

【0089】

また、過去動作情報取得部５３３は、ワーク情報３０２１から、過去に取り扱った（ピッキング作業が行われた）ワーク２０２のピッキング作業部２Ａ、２Ｂによる過去の動作情報を取得する。この動作情報は、ピックアンドプレイスの工程の動作を示す。

【0090】

また、ピック軌道可否推定部５３４は、什器２０１や周辺設置物２４Ａに、ロボット２１Ａ、２１Ｂや吸着ハンド２２Ａ、把持ハンド２２Ｂが物理的な干渉を回避してワーク２０２を吸着もしくは把持して持ち上げるロボット軌道が生成可能かを判定する。また、把持容易性推定部５３５および吸着容易性推定部５３６は、什器２０１のワーク２０２が吸着ハンド２２Ａ、把持ハンド２２Ｂにて把持／吸着可能かを推定する。把持／吸着可能はあくまでも例示であり、持ち上げ動作が可能かを推定できればよい。

【0091】

また、プレイス軌道可否推定部５３７は、什器２０１や周辺設置物２４Ａにロボット２１Ａ、２１Ｂや吸着ハンド２２Ａ、把持ハンド２２Ｂが物理的な干渉を回避してワーク２０２に対する搬送動作を実現するロボット軌道が生成可能かを判定する。また、動作時間推定部５３８は、以上の一連の動作、つまり、ピックアンドプレイスでの時間を推定する。

【0092】

これら、ピック軌道可否推定部５３４～動作時間推定部５３８は、ピッキング作業部２Ａ、２Ｂの状態を示す作業部状態情報に基づき、持ち上げ動作や移動動作といったピッキング作業における成否性を推定することになる。以下、その詳細を説明する。

【0093】

まず、ピック軌道可否推定部５３４およびプレイス軌道可否推定部５３７は、３次元シミュレータ上に各ピッキング作業部２Ａ、２Ｂと、ピッキング作業部２Ａ、２Ｂにおけるピッキング作業の位置に、ワーク２０２およびその什器２０１を再現する。この際、ワーク情報３０２１が用いられる。このために、ピック軌道可否推定部５３４およびプレイス軌道可否推定部５３７は、例えば、ロボット２１Ａ、２１Ｂ、吸着ハンド２２Ａ、把持ハンド２２Ｂ、ライン撮像装置２３Ａ、２３Ｂ、周辺設置物２４Ａの位置を含む関連の情報を用いる。さらに、什器２０１のサイズ、ワーク２０２の重量、位置姿勢などを用いてもよい。このことで、軌道計画部２６が、ピッキング作業におけるピッキングアンドプレイスでの持ち上げ動作の軌道および搬送構成の軌道が生成可能かを判定する。この結果、動作時間推定部５３８が、該当のピックアンドプレイスの実行時間の推定することができる。

【0094】

以上のピック軌道可否推定部５３４およびプレイス軌道可否推定部５３７では、ピッキング作業部２Ａ、２Ｂそれぞれのピック軌道およびプレイス軌道の生成可否やその実行時間との成否性を示す成否推定情報３０２を作成している。この際、ワーク情報３０２１との作業部状態情報が用いられる。

【0095】

また、把持容易性推定部５３５および吸着容易性推定部５３６のそれぞれは、ワーク情報３０２１および作業部データ３０１を照合して、ワーク２０２を把持ないし吸着可能か推定する。このために、ワーク情報３０２１のワーク形状と材質、位置姿勢が用いられる。また、作業部データ３０１として吸着ハンド２２Ａ、把持ハンド２２Ｂで取り扱い可能なワークを用いられる。なお、把持容易性推定部５３５および吸着容易性推定部５３６は、ピック容易性推定部として、１つの構成で実現してもよい。これらでの把持ないし吸着可能かの推定は、持ち上げ動作が可能であるかを推定できればよい。

【0096】

なお、動作容易性情報３０２３の推定は、上述の方法に限定されない。例えば、ワーク撮像装置４０による撮像データを入力としたニューラルネットワークより把持／吸着が可能かを推定するしてもよい。このために、ニューラルネットワークでは事前学習を行っておき、実運用時に推論を行ってもよい。また、ピッキング作業履歴情報３００の結果をニューラルネットワークに追加学習させることで、推論基準を変更してもよい。もしくは、過去取り扱い有無推定部５１９にて、過去に扱ったことがあると判定されたワーク２０２は、その結果を把持／吸着可否としてもよい。

【0097】

また、ハンドチェンジャーにより吸着ハンド２２Ａ、把持ハンド２２Ｂが変更可能な場合には、吸着ハンド２２Ａ、把持ハンド２２Ｂを変更した上で動作容易性を推定しても良い。つまり、シミュレータ上で吸着ハンド２２Ａ、把持ハンド２２Ｂについて、ピック軌道可否推定部５３４～動作時間推定部５３８での処理を実施する。このように、把持容易性推定部５３５および吸着容易性推定部５３６では、ピッキング作業部２Ａ、２Ｂそれぞれの実行時間や把持／吸着可否との成否性を示す成否推定情報３０２を作成している。この際、ワーク情報３０２１および作業部データ３０１との作業部状態情報に用いられる。

【0098】

さらに、ピッキング成否推定部５は、作業員がピッキング作業を実行するピッキング作業部２Ｃの状態を取得し、これを示す作業部状態情報を用いて、ピッキング作業部２Ｃの成否性を推定する。これには、作業員の能力に基づき、その実行時間を算出することが含まれる。

【0099】

以上のように、ピッキング成否推定部５は、ピッキング対象であるワーク２０２のワーク状態情報およびピッキング作業部２Ａ～２Ｃの作業部状態情報を用いて、各ピッキング作業部２Ａ～２Ｃそれぞれの成否性を推定している。

【0100】

（振り分け計画部６）
振り分け計画部６は、成否推定情報３０２および振り分け情報３０３をもとに、ピッキング対象であるワークを格納した什器２０１をいずれのピッキング作業部でピッキング作業を実行させるかの振り分けを計画する。つまり、振り分け計画部６は、振り分け情報３０３を作成する。この際、振り分け計画部６は、振り分け情報３０３のうち、過去の情報、つまり、実績を用いることが望ましい。

【0101】

ここで、本実施例で用いられる成否推定情報３０２および振り分け情報３０３の具体的な内容を説明する。まず、図９は、実施例１で用いられる成否推定情報３０２を示す図である。成否推定情報３０２は、ピッキング対象ごとの、各ピッキング作業部におけるピッキング作業の成否性が記録される。図９では、ピッキング対象として、什器２０１を識別する什器ＩＤが用いられている。この什器ＩＤは、ピッキング作業の単位を意味している。さらに、什器ＩＤは、該当の什器に格納されているワークを識別することにもなる。さらに、什器ＩＤに加え、もしくは、これに追加して、ワーク２０２を識別するワークＩＤを用いてもよい。

【0102】

また、図９では、成否性として、ピッキング作業の各工程、動作である「認識」「把持／吸着」「搬送動作」およびこれらの実行時間（所要時間）が用いられる。図９においては、「認識」「把持／吸着」「搬送動作」ごとに成否（成功：○、失敗：×）が記録される。さらに、これら各項目における括弧では、成功するための条件が記録される。例えば、什器ＩＤ７２０のピッキング作業部２Ａでの「認識」が成功するためには、認識アルゴリズムとして、「アルゴ１」を用いることが必要となる。また、「把持／吸着」が成功するための条件として、括弧内にハンドの種類が記録される。

【0103】

なお、図９では、ピッキング作業を「認識」「把持／吸着」「搬送動作」との各工程で記録しているが、これに限らない。例えば、ピッキング作業全体で管理してもよいし、「把持／吸着」「搬送動作」をピックアンドプレイスとして管理してもよい。さらに、これらをより詳細に分割してもよい。また、成否性を、成功の確率で記録してもよい。また、実行時間などその一部を省略してもよい。

【0104】

次に、図１０は、実施例１で用いられる振り分け情報３０３を示す図である。振り分け情報３０３は、ピッキングシステム１００におけるピッキング作業の運用計画を示す情報である。この運用計画には、過去分および予定分の両方を含めてもよいし、いずれか一方で構成してもよい。また、過去分と予定分を別情報として扱ってもよい。

【0105】

より具体的な振り分け情報３０３は、ピッキング作業部ごとに、ピッキング作業部ごとに、ピッキング対象およびピッキング作業の状況が記録される。図１０に示すように、本実施例では、ピッキング対象として、什器ＩＤ、ワーク種類、オーダー個数が用いられる。什器ＩＤは、成否推定情報３０２と同様にピッキング作業の単位を意味する。また、ワーク種類は、該当の什器ＩＤに格納されるワーク２０２、つまり、ピッキング作業が行われるワーク２０２の種類を示す。なお、ワーク種類として、ワーク情報３０２１より推定したワーク形状を用いることが望ましい。

【0106】

また、オーダー個数は、ピッキング作業の単位におけるワーク２０２の個数を示す。ここで、オーダー個数は、ワーク種類ごとに記録されることが望ましい。これらもワーク情報３０２１より推定されることが望ましい。

【0107】

また、本実施例では、ピッキング作業の状況として、ステータス、予定完了時間および実績完了時間が用いられる。ここで、ステータスは、ピッキング作業の進捗状況を示す。また、ピッキング作業が完了する予定完了時刻およびピッキング作業履歴情報３００より取得した実績完了時刻が記録されている。本実施例では以上の内容を、振り分け情報３０３として記載するが、例えばワーク情報３０２１と認識容易性情報３０２２と動作容易性情報３０２３を含むデータベースとしても良い。さらに、什器のＩＤとそれらの情報を紐づけて別のデータベースに保存してもよく、これに限定されない。

【0108】

次に、これら成否推定情報３０２および振り分け情報３０３を用いた振り分け計画部６の処理について説明する。振り分け計画部６では、まず、成否推定情報３０２を用いて、ワーク２０２（什器２０１）振り分け先であるピッキング作業部を選択する。例えば、図９における什器ＩＤ７２３の場合では、ピッキング作業部２Ｂは物品認識が×であるため候補から外れる。

【0109】

残りのピッキング作業部２Ａと２Ｃ、については、振り分け情報３０３を参照し決定する。例えば、ピッキング作業部２Ａ、２Ｃに対してすでに割り振られているピッキング作業の予定終了時間が最も早いものから選択しても良い。また、自動化を推進するためロボットを含むピッキング作業部へ優先的に振り分けることも可能であるさらに、ピッキング作業を高速化するため作業者に優先的に割り振るなどの設定のように、外部から選択基準を変更してもよい。また、作業者によるピッキング作業部２Ｃは人数の増減や休憩によるライン停止なども考えられるため、適宜作業速度や可否を調整できるようなインターフェースを設けてもよい。

【0110】

また、本実施例では、仕様の変更により、所望のピッキング作業部への割り振りないしこの提案を実現できる。例として、図９の什器ＩＤ７２４をピッキング作業部２Ａに割り振ることを検討する。まず、振り分け計画部６は、ピッキング作業部２Ａの直前のピッキング作業である什器ＩＤ７２０におけるハンドの種類を参照する。そして、振り分け計画部６は、什器ＩＤ７２４と什器ＩＤ７２０のハンドの種類が異なる場合には、作業指示生成部７へ、ハンドの変更指示を出力する。この結果、作業指示生成部７にて、什器ＩＤ７２４到着の際に、ハンドの種類をハンドチェンジャーなどにより変更するよう指示を、作業者等へ出力する。このために、図示しないピッキング作業部２Ａの表示画面などの出力デバイスに、これが出力される。また、振り分け計画部６は、振り分け情報３０３の什器ＩＤ７２４の情報を更新する。この場合、ハンド変更の時間とピッキング作業の所要時間の合計を含む予定完了時刻を記載することで、より正確に作業の完了時間を推定できる。

【0111】

なお、振り分け計画部６におけるピッキング作業部の選択は、以下のとおり実行してもよい。まず、成否推定情報３０２の「認識」「把持／吸着」「搬送動作」それぞれに対して、成否性の度合いを示すポイントを付与しておき、振り分け計画部６はこれらポイントに基づいて判定する。例えば、振り分け計画部６は、これらのポイントの総和を算出し、総和が最大のピッキング作業部を選択する。

【0112】

また、成否推定情報３０２の「成功（〇）」が同数の場合、振り分け計画部６は、実行時間が最も短いピッキング作業部を選択する。さらに、ピッキング作業部２Ａ～２Ｃの負荷を平準化するように、振り分け計画部６がピッキング作業部を選択してもよい。このような平準化は、「成功（〇）」の数が同数の場合に行ってもよい。またさらに、平準化においては、ロボット２１Ａ、２１Ｂや吸着ハンド２２Ａ、把持ハンド２２Ｂが設けられたピッキング作業部２Ａ、２Ｂと、作業員が作業するピッキング作業部２Ｃで基準を変更してもよい。このことで、上述したようなロボットへの優先的な振り分け（選択）が実現可能となる。また、本実施例では、ピッキング作業部の選択に代わり、もしくは、ハンド２２の交換等、ピッキング作業部の変更といったピッキング作業部２Ａ～２Ｃの仕様の調整行うことが望ましい。このように、本実施例では、状態情報に応じて、ピッキング作業の成否性を推定し、これに基づいてピッキング作業部を含むピッキングシステムの運用、特にピッキング作業を調整している。より具体的には、ピッキングシステム１００におけるピッキング作業の運用計画を示す振り分け情報３０３を作成している。

【0113】

以上の構成により、ワーク２０２に対する、各ラインのライン撮像装置２３、ロボットアーム２１、ハンド２２といったハードウェアの種類や配置と、認識アルゴリズムの組み合わせにて、ピッキング作業が可能か否かの情報を事前に推定できる。また、推定情報に基づき、適したピッキング作業部のラインへとワーク２０２（什器２０１）を移動させる、あるいはライン中の自律ピッキングロボットの構成を変更することで、スループット低下や物品の破損を防ぐことが出来る。

【実施例0114】

実施例２では、実施例１のワーク撮像装置４０として、ライン撮影装置を用いる。ここでは、ピッキング作業部２Ｂのライン撮像装置２３Ｂを用いるものとする。すなわち、ライン撮像装置２３Ｂの撮像データを用いて、各ピッキング作業部２Ａ～２Ｃにおける成否推定情報３０２を作成する。

【0115】

図１１は、実施例２におけるピッキング対象の振り分けを説明するための図である。図１１に示すように、本実施例ではピッキング作業部２Ｂから、他のピッキング作業部２Ａと２Ｃへワーク２０２を移動させる、仕分け装置８（例えば、ベルトコンベア）を有している。まず、振り分け計画部６が、仕分け装置８の上流側のピッキング作業部２Ｂでピッキング作業が可能かを判定する。そして、振り分け計画部６が、不可と判定した場合に、他のピッキング作業部でのピッキング作業を計画するようにする。この場合、より上流のピッキング作業部２Ａを、ピッキング作業部２Ｃよりも優先的に計画する。

【0116】

また、ピッキング作業部２Ｂにて、ピッキング作業が不可と判定された場合であっても、一部のワークをピッキング作業部２Ｂでピッキングし、他のワークをピッキング作業部２Ａ、２Ｃにてピッキング作業するよう、振り分け計画部６が計画してもよい。

【0117】

以上の構成により、ピッキング作業部以外の追加設備を不要とできる。また、ピッキング作業の対象である什器に入ったワークに対し、各ピッキング作業がピッキング作業を可能か否かの情報を自動で推定できる。さらに、推定情報に基づき、適したピッキング作業部のラインへとワークを移動させることで、スループット低下や物品の破損を防ぐことが出来る。