特開 2022-102724 ピッキング作業判別装置及びピッキング作業判別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022102724

(43)【公開日】2022-07-07

(54)【発明の名称】ピッキング作業判別装置及びピッキング作業判別方法

(51)【国際特許分類】

   B65G 1/137 20060101AFI20220630BHJP

   G06T 7/20 20170101ALI20220630BHJP

   G06T 7/00 20170101ALI20220630BHJP

【ＦＩ】

B65G1/137 F

G06T7/20 300A

G06T7/00 350B

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2020217622

(22)【出願日】2020-12-25

(71)【出願人】

【識別番号】000157083

【氏名又は名称】トヨタ自動車東日本株式会社

(71)【出願人】

【識別番号】504157024

【氏名又は名称】国立大学法人東北大学

(74)【代理人】

【識別番号】100131026

【弁理士】

【氏名又は名称】藤木 博

(74)【代理人】

【識別番号】100194124

【弁理士】

【氏名又は名称】吉川 まゆみ

(72)【発明者】

【氏名】岸武 俊行

(72)【発明者】

【氏名】安味 憲一

(72)【発明者】

【氏名】小菅 一弘

(72)【発明者】

【氏名】衣川 潤

(72)【発明者】

【氏名】吉田 泰洋

(72)【発明者】

【氏名】川埜 美穂

【テーマコード（参考）】

3F522

5L096

【Ｆターム（参考）】

3F522AA01

3F522BB01

3F522BB24

3F522CC01

3F522FF06

3F522FF12

3F522FF35

3F522GG03

3F522GG25

3F522GG32

3F522GG33

3F522GG47

3F522GG48

3F522LL62

5L096BA02

5L096CA04

5L096FA69

5L096HA02

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】作業者が各載置部のどこから物品を取り出したかを高い精度で判別することができるピッキング作業判別装置及びピッキング作業判別方法を提供する。
【解決手段】正例となる撮影画像について、載置領域指定手段１２により指定した各載置部２２の領域と、画像認識手段１３により認識した作業者Ｍの手Ｍ１の移動位置及び作業者Ｍにより取り出された物品２１の移動位置とを、機械学習させて学習モデル１４Ａを生成する。また、判定対象となる撮影画像について、載置領域指定手段１２により指定した各載置部２２の領域と、画像認識手段１３により認識した作業者Ｍの手Ｍ１の移動位置及び作業者Ｍにより取り出された物品２１の移動位置とを、学習モデル１４Ａに入力して得られた出力値に基づき、作業者Ｍが物品２１を取り出した載置部２２を判別する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の物品を複数の載置部に分けて載置した載置棚から作業者が目的とする物品を取り出すピッキング作業において、前記作業者が前記各載置部のどこから前記物品を取り出したかを判別するピッキング作業判別装置であって、
前記作業者が前記各載置部から前記物品を取り出す動作を撮影する撮影手段と、
前記撮影手段により撮影した撮影画像について、前記各載置部の領域を指定する載置領域指定手段と、
前記撮影手段により撮影した撮影画像について、前記作業者の手の移動位置及び前記作業者により取り出された前記物品の移動位置を認識する画像認識手段と、
前記作業者が前記各載置部のどこから前記物品を取り出したかを判別する載置部判別手段と
を備え、
前記載置部判別手段は、前記撮影手段により撮影した判定対象となる撮影画像について、前記載置領域指定手段により指定した前記各載置部の領域と、前記画像認識手段により認識した前記作業者の手の移動位置及び前記作業者により取り出された前記物品の移動位置とを、学習モデルに入力することにより得られる出力値に基づいて判別し、
前記学習モデルは、前記撮影手段によりあらかじめ撮影した正例となる撮影画像について、前記載置領域指定手段により指定した前記各載置部の領域と、前記画像認識手段により認識した前記作業者の手の移動位置及び前記作業者により取り出された前記物品の移動位置とを、機械学習させることにより生成された
ことを特徴とするピッキング作業判別装置。

【請求項2】

複数の物品を複数の載置部に分けて載置した載置棚から作業者が目的とする物品を取り出すピッキング作業において、前記作業者が前記各載置部のどこから前記物品を取り出したかを判別するピッキング作業判別方法であって、
前記作業者が前記各載置部から前記物品を取り出す動作を撮影する撮影手順と、
前記撮影手順において撮影した撮影画像について、前記各載置部の領域を指定する載置領域指定手順と、
前記撮影手順において撮影した撮影画像について、前記作業者の手の移動位置及び前記作業者により取り出された前記物品の移動位置を認識する画像認識手順と、
前記作業者が前記各載置部のどこから前記物品を取り出したかを判別する載置部判別手順と
を含み、
前記載置部判別手順においては、前記撮影手順において撮影した判定対象となる撮影画像について、前記載置領域指定手順において指定した前記各載置部の領域と、前記画像認識手順において認識した前記作業者の手の移動位置及び前記作業者により取り出された前記物品の移動位置とを、あらかじめ学習モデル生成手順において生成された学習モデルに入力し、それにより得られた出力値に基づいて判別し、
前記学習モデル生成手順においては、前記撮影手順において撮影した正例となる撮影画像について、前記載置領域指定手順において指定した前記各載置部の領域と、前記画像認識手順において認識した前記作業者の手の移動位置及び前記作業者により取り出された前記物品の移動位置とを、機械学習させて前記学習モデルを生成する
ことを特徴とするピッキング作業判別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ピッキング作業において、作業者が載置部のどこから物品を取り出したかを判別するピッキング作業判別装置及びピッキング作業判別方法に関する。

【背景技術】

【0002】

各種製品の生産工程においては、例えば、作業者が作業指示に従い、必要な物品を載置棚から取り出して、組付け対象物に組み付けることがある。このような場合には、作業者が生産指示に従って正しい物品を取り出し、取り付けることが重要となる。誤作業を防止する方法として、例えば、デジタルピッキングシステム（Ｄｉｇｉｔａｌ Ｐｉｃｋｉｎｇ Ｓｙｓｔｅｍ；ＤＰＳ）が広く用いられている。デジタルピッキングシステムは、例えば、物品が保管されている載置部にデジタル表示器を取り付け、作業者はデジタル表示器が点滅した載置部から部品を取り出し、取り出すと釦を押してデジタル表示器を点滅から点灯に変えるものである。このシステムを用いれば、誤作業を低減することができるが、違う棚から物品を取り出す誤品や、物品を複数個取り出してしまう欠品を完全に防ぐことは難しく、また、物品毎に釦を押す付随作業が必要であり、面倒であるという問題があった。そこで、近年では、例えば、カメラによる撮影画像から作業者の手の位置（空間座標）を検知し、作業者がどの棚から部品を取り出したかを判断する方法が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１７／１７５７０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

この方法によれば、作業者の手の位置から取り出した物品を特定し、目的とする物品が正しく取り出されたか否かを判別することができる。しかしながら、この方法では、作業者の手が目的とする載置部に到達する前後に別の載置部を通過した場合には、手が通過したどの棚から部品を取り出したかを特定することが難しく、誤判定する場合があるという問題があった。特に、載置部を高さ方向に複数段設けている場合には、作業者の手が同一列にある複数の載置部を通過しやすいので、高さ方向における載置部の判別が難しかった。

【0005】

本発明は、このような問題に基づきなされたものであり、作業者が各載置部のどこから物品を取り出したかを高い精度で判別することができるピッキング作業判別装置及びピッキング作業判別方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明のピッキング作業判別装置は、複数の物品を複数の載置部に分けて載置した載置棚から作業者が目的とする物品を取り出すピッキング作業において、作業者が各載置部のどこから物品を取り出したかを判別するものであって、作業者が各載置部から物品を取り出す動作を撮影する撮影手段と、撮影手段により撮影した撮影画像について、各載置部の領域を指定する載置領域指定手段と、撮影手段により撮影した撮影画像について、作業者の手の移動位置及び作業者により取り出された物品の移動位置を認識する画像認識手段と、作業者が各載置部のどこから物品を取り出したかを判別する載置部判別手段とを備え、載置部判別手段は、撮影手段により撮影した判定対象となる撮影画像について、載置領域指定手段により指定した各載置部の領域と、画像認識手段により認識した作業者の手の移動位置及び作業者により取り出された物品の移動位置とを、学習モデルに入力することにより得られる出力値に基づいて判別し、学習モデルは、撮影手段によりあらかじめ撮影した正例となる撮影画像について、載置領域指定手段により指定した各載置部の領域と、画像認識手段により認識した作業者の手の移動位置及び作業者により取り出された物品の移動位置とを、機械学習させることにより生成されたものである。

【0007】

本発明のピッキング作業判別方法は、複数の物品を複数の載置部に分けて載置した載置棚から作業者が目的とする物品を取り出すピッキング作業において、作業者が各載置部のどこから物品を取り出したかを判別するものであって、作業者が各載置部から物品を取り出す動作を撮影する撮影手順と、撮影手順において撮影した撮影画像について、各載置部の領域を指定する載置領域指定手順と、撮影手順において撮影した撮影画像について、作業者の手の移動位置及び作業者により取り出された物品の移動位置を認識する画像認識手順と、作業者が各載置部のどこから物品を取り出したかを判別する載置部判別手順とを含み、載置部判別手順においては、撮影手順において撮影した判定対象となる撮影画像について、載置領域指定手順において指定した各載置部の領域と、画像認識手順において認識した作業者の手の移動位置及び作業者により取り出された物品の移動位置とを、あらかじめ学習モデル生成手順において生成された学習モデルに入力し、それにより得られた出力値に基づいて判別し、学習モデル生成手順においては、撮影手順において撮影した正例となる撮影画像について、載置領域指定手順において指定した各載置部の領域と、画像認識手順において認識した作業者の手の移動位置及び作業者により取り出された物品の移動位置とを、機械学習させて学習モデルを生成するものである。

【発明の効果】

【0008】

本発明によれば、作業者が各載置部から物品を取り出す動作を撮影し、各載置部の領域と、作業者の手の移動位置及び作業者により取り出された物品の移動位置との位置関係により、作業者が各載置部のどこから物品を取り出したかを判別するようにしたので、高さ方向において複数の載置部が重なっていても、簡単な構成でかつ高い精度で判別することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施の形態に係るピッキング作業判別装置の構成を表す図である。

【図2】撮影手段により撮影した撮影画像において、載置領域指定手段により指定された載置部の領域を示す概念図である。

【図3】撮影手段により撮影した撮影画像において、画像認識手段により認識された作業者の手及び作業者により取り出された物品の位置を示す概念図である。

【図4】載置領域指定手段、画像認識手段、学習モデル生成手段、及び、載置部判別手段のハードウェアの一構成例を表す図である。

【図5】本発明の一実施の形態に係るピッキング作業判別方法を用いたピッキング作業の手順を表す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

【0011】

図１は、本発明の一実施の形態に係るピッキング作業判別装置１０の構成を表すものである。このピッキング作業判別装置１０は、複数の物品２１を複数の載置部２２に分けて載置した載置棚２０から作業者Ｍが目的とする物品２１を取り出すピッキング作業において、作業者Ｍが記各載置部２２のどこから物品２１を取り出したかを判別するものである。本実施の形態では、例えば、載置棚２０において、高さ方向及び横方向に複数の載置部２２が設けられ、各載置部２２に個別に対応して異なる種類の物品２１が載置されている場合について説明する。なお、物品２１は広く品物を意味し、例えば、生産工程における部品や、販売を目的とした商品が挙げられる。

【0012】

このピッキング作業判別装置１０は、例えば、撮影手段１１と、撮影手段１１により撮影した撮影画像について、各載置部２２の領域を指定する載置領域指定手段１２と、撮影手段１１により撮影した撮影画像について、作業者Ｍの手Ｍ１の移動位置及び作業者Ｍにより取り出された物品２１の移動位置を認識する画像認識手段１３とを備えている。

【0013】

撮影手段１１は、作業者Ｍが各載置部２２から物品２１を取り出す動作を撮影するものである。撮影手段１１は、例えば、カメラにより構成することが好ましく、各載置部２２の前側を上方から撮影するように載置棚２０の上方に固定して配置されることが好ましい。作業者Ｍの作業を邪魔することがなく、かつ、複数の載置部２２と作業者の取出し動作を同時に撮影することができるからである。特に、載置部２０は、下段の載置部２２から物品２１を取りやすくするために、上段よりも下段の載置部２２の方が前側に位置するように配置されることがあるので、上方から撮影することにより各段の載置部２２を容易に撮影することができる。なお、載置部２０の前側というのは、物品２１を取り出す側のことである。

【0014】

載置領域指定手段１２は、例えば、コンピュータにより構成することができ、プログラムを実行することにより、撮影手段１１により得られた撮影画像について、各載置部２２の領域を指定するように構成されている。載置領域指定手段１２は、例えば、撮影手段１１に接続され、撮影手段１１から入力された撮影画像から各載置部２２を検出して、各載置部２２の領域を座標で指定するように構成されていることが好ましい。座標は、例えば、撮影画像のある点を原点とする２次元の位置（ｘ，ｙ）で表すことができる。撮影画像における各載置部２２の検出は、公知の物体検知技術を用いることができ、例えば、各載置部２２の正例となる画像を用いた機械学習を実行することにより特徴を学習させた載置領域学習モデルを用いることが好ましい。図２は、撮影手段１１により撮影した撮影画像において、載置領域指定手段１２により指定された載置部２２の領域を概念的に示すものであり、指定された載置部２２の領域を太破線で示している。

【0015】

画像認識手段１３は、例えば、コンピュータにより構成することができ、プログラムを実行することにより、撮影手段１１により得られた撮影画像について、作業者Ｍの手Ｍ１の移動位置及び作業者Ｍにより取り出された物品２１の移動位置を認識するように構成されている。画像認識手段１３は、例えば、撮影手段１１に接続され、撮影手段１１から入力された撮影画像から作業者Ｍの手Ｍ１及び作業者Ｍにより取り出された物品２１を検出して、作業者Ｍの手Ｍ１の移動位置及び作業者Ｍにより取り出された物品２１の移動位置をそれぞれ座標で認識するように構成されていることが好ましい。座標は、上述したように、例えば、撮影画像のある点を原点とする２次元の位置（ｘ，ｙ）で表すことができる。また、作業者Ｍの手Ｍ１の移動位置及び作業者Ｍにより取り出された物品２１の移動位置は時系列のデータであり、例えば、時刻と座標とを対応付けたデータである。

【0016】

撮影画像における作業者Ｍの手Ｍ１及び作業者Ｍにより取り出された物品２１の検出は、公知の物体検知技術を用いることができ、例えば、作業者Ｍの手Ｍ１の正例となる画像、及び、作業者Ｍが物品２１を手に持った正例となる画像を用いた機械学習を実行することにより特徴を学習させた画像認識学習モデルを用いることが好ましい。図３は、撮影手段１１により撮影した撮影画像において、画像認識手段１３により認識された作業者Ｍの手Ｍ１の位置及び作業者Ｍにより取り出された物品２１の位置を概念的に示すものであり、認識された作業者Ｍの手Ｍ１の位置を太破線で示し、作業者Ｍにより取り出された物品２１の位置を太一点破線で示している。

【0017】

ピッキング作業判別装置１０は、また、例えば、撮影手段１１により撮影した正例となる撮影画像に基づいて学習モデル１４Ａを生成する学習モデル生成手段１４と、撮影手段１１により撮影した判定対象となる撮影画像、及び、学習モデル生成手段１４により生成した学習モデル１４Ａに基づいて、作業者Ｍが各載置部２２のどこから物品２１を取り出したかを判別する載置部判別手段１５とを備えている。

【0018】

学習モデル生成手段１４は、例えば、コンピュータにより構成することができ、プログラムを実行することにより、学習モデル１４Ａを生成するように構成されている。例えば、学習モデル生成手段１４は、載置領域指定手段１２及び画像認識手段１３に接続され、撮影手段１１により撮影した正例となる撮影画像について、載置領域指定手段１２により指定した各載置部２２の領域と、画像認識手段１３により認識した作業者Ｍの手Ｍ１の移動位置及び作業者Ｍにより取り出された物品２１の移動位置とを機械学習させることにより、学習モデル１４Ａを生成するように構成されていることが好ましい。

【0019】

作業者Ｍが物品２１を取り出す載置部２２の位置により、各載置部２２の領域の座標に対する作業者Ｍの手Ｍ１の移動位置の座標及び作業者Ｍにより取り出された物品２１の移動位置の座標の位置関係が異なることから、機械学習により、物品２１を取り出す載置部２２毎に特徴を抽出することができるからである。具体的には、作業者Ｍが物品２１を取り出す載置部２２の位置により、作業者Ｍの手Ｍ１が通過する載置部２２の領域の順番や、通過する時間間隔が異なるので、それを特徴として抽出することができる。

【0020】

正例となる撮影画像は、例えば、各載置部２２から物品２１を取り出す動作について個別に複数回、例えば、１００～１５０回程度撮影することが好ましい。機械学習は、例えば、深層学習（ディープラーニング；Ｄｅｅｐ ｌｅａｒｎｉｎｇ）により特徴を抽出することが好ましく、深層学習には、畳み込みニーラルネットワーク（ＣＮＮ；Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を用いることが好ましい。

【0021】

載置部判別手段１５は、例えば、コンピュータにより構成することができ、プログラムを実行することにより、作業者Ｍが各載置部２２のどこから物品２１を取り出したかを判別するように構成されている。例えば、載置部判別手段１５は、載置領域指定手段１２、画像認識手段１３、及び、学習モデル生成手段１４に接続され、撮影手段１１により撮影した判定対象となる撮影画像について、載置領域指定手段１２により指定した各載置部２２の領域と、画像認識手段１３により認識した作業者Ｍの手Ｍ１の移動位置及び作業者Ｍにより取り出された物品２１の移動位置とを、学習モデル１４Ａに入力し、それにより得られる出力値に基づいて、作業者Ｍが各載置部２２のどこから物品２１を取り出したかを判別するように構成されていることが好ましい。

【0022】

具体的には、載置部判別手段１５は、例えば、学習モデル生成手段１４により生成された学習モデル１４Ａと、学習モデル１４Ａに判定対象に関する座標を入力することにより得られる出力値に基づいて作業者Ｍが物品２１を取り出した載置部２２を判別する判定部１５Ａとを有している。判定対象に関する座標は、各載置部２２の領域の座標、作業者Ｍの手Ｍ１の移動位置の座標、及び、作業者Ｍにより取り出された物品２１の移動位置の座標である。学習モデル１４Ａにより得られる出力値は、例えば、部品２１が取り出された載置部２２の確率（スコア値）である。判定部１５Ａは、例えば、最も確率が高い載置部２２から物品２１が取り出されたと判定するように構成されている。

【0023】

図４は、載置領域指定手段１２、画像認識手段１３、学習モデル生成手段１４、及び、載置部判別手段１５のハードウェア構成の一例を表すものである。載置領域指定手段１２、画像認識手段１３、学習モデル生成手段１４、及び、載置部判別手段１５は、例えば、ＣＰＵ（Ｃｅｎｔｅｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６Ａと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６Ｂと、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６Ｃと、ＨＤＤ（ハードディスクドライブ）１６Ｄと、操作インターフェース（操作Ｉ／Ｆ）１６Ｅとを有している。ＣＰＵ１６Ａは、ＲＯＭ１６Ｂに記録されている各種プログラム、又は、ＨＤＤ１６ＤからＲＡＭ１６Ｃにロードされた各種プログラムに従って各種の処理を実行するものである。ＲＡＭ１６Ｃには、ＣＰＵ１６Ａが各種の処理を実行する上において必要なデータ等も適宜記憶されている。ＨＤＤ１６Ｄには、各種データが記憶されている。

【0024】

なお、ピッキング作業判別装置１０は、更に、例えば、載置部判別手段１５により作業者Ｍが物品２１を取り出したと判定された載置部２２が、作業指示に従った目的とする載置部２２であるか否かを判断する正誤判断手段１７と、正誤判断手段１７により、作業者Ｍが物品２１を取り出した載置部２２が目的とする載置部２２でない場合に、光や音等で警告を発する警告手段１８とを備えていてもよい。

【0025】

このピッキング作業判別装置１０は次のようにして用いられる。図５はピッキング作業判別装置１０を用いたピッキング作業判別方法によりピッキング作業を行う手順を表すものである。

【0026】

まず、ピッキング作業準備として、学習モデル１４Ａを生成する（準備手順；ステップＳ１１０）。具体的には、まず、例えば、撮影手段１１により、正例となる撮影画像として、作業者Ｍが各載置部２２から物品２１を取り出す動作を撮影する（撮影手順；ステップＳ１１１）。次いで、得られた正例となる撮影画像について、載置領域指定手段１２により、例えば、各載置部２２の領域の座標を指定する（載置領域指定手順；ステップＳ１１２）。また、得られた正例となる撮影画像について、画像認識手段１３により、例えば、作業者Ｍの手Ｍ１の移動位置の座標及び作業者Ｍにより取り出された物品２１の移動位置の座標を認識する（画像認識手順；ステップＳ１１３）。次に、学習モデル生成手段１４により、例えば、正例となる撮影画像について、載置領域指定手順（ステップＳ１１２）で指定した各載置部２２の領域の座標と、画像認識手順（ステップＳ１１３）で認識した作業者Ｍの手Ｍ１の移動位置の座標及び作業者Ｍにより取り出された物品２１の移動位置の座標とを、機械学習させて学習モデル１４Ａを生成する（学習モデル生成手順；ステップＳ１１４）。

【0027】

準備手順（ステップＳ１１０）を行った後、例えば、作業者Ｍは、作業指示に従い、載置棚２０の所定の載置部２２から所定の物品２１を取り出すピッキング作業を行う。作業指示は、例えば、各載置部２２に図示しない表示器を設け、物品２１を取り出す載置部２２の表示器を点灯等させるようにしてもよい。

【0028】

このピッキング作業中においては、ピッキング作業判別方法を用い、ピッキングが正しく行われたかどうかを監視する（監視手順；ステップ１２０）。具体的には、まず、例えば、撮影手段１１により、判定対象となる撮影画像として、作業者Ｍが各載置部２２から物品２１を取り出す動作を撮影する（撮影手順；ステップＳ１２１）。次いで、得られた判定対象となる撮影画像について、載置領域指定手段１２により、例えば、各載置部２２の領域の座標を指定する（載置領域指定手順；ステップＳ１２２）。また、得られた判定対象となる撮影画像について、画像認識手段１３により、例えば、作業者Ｍの手Ｍ１の移動位置の座標及び作業者Ｍにより取り出された物品２１の移動位置の座標を認識する（画像認識手順；ステップＳ１２３）。

【0029】

次に、載置部判別手段１５により、例えば、判定対象となる撮影画像について、載置領域指定手順（ステップＳ１２２）で指定した各載置部２２の領域の座標と、画像認識手順（ステップＳ１２３）で認識した作業者Ｍの手Ｍ１の移動位置の座標及び作業者Ｍにより取り出された物品２１の移動位置の座標とを、あらかじめ学習モデル生成手順（ステップＳ１１４）において生成された学習モデル１４Ａに入力し、それにより得られた学習モデル１４Ａの出力値に基づいて、作業者Ｍが各載置部２２のどこから物品を取り出したかを判別する（載置部判別手順；ステップＳ１２４）。学習モデル１４Ａからは、例えば、部品２１が取り出された載置部２２の確率（スコア値）が出力され、判定部１５Ａでは、例えば、最も確率が高い載置部２２から物品２１が取り出されたと判定する。

【0030】

そののち、正誤判断手段１７により、載置部判別手順（ステップＳ１２４）で物品２１が取り出されたと判定された載置部２２が目的とする載置部２２であるか否かを判断し、目的とする載置部２２と異なる場合には、警告を発する（警告手順；ステップＳ１２５）。

【0031】

なお、このピッキング作業判別装置１０を用い、ピッキング作業において作業者Ｍが実際に物品２１を取り出した載置部２２を判別した。その際、載置棚２０には、高さ方向に４段、横方向に２列の載置部２２を有するものを用い、各載置部２２に異なる物品２１を載置し、作業者Ｍは作業指示に従い各載置部２２から物品２１を取り出す作業を行った。物品２１の取り出しは１００回程度行った。その結果、作業者Ｍが実際に物品２１を取り出した載置部２２と、ピッキング作業判別装置１０により、作業者Ｍが物品２１を取り出したと判定した載置部２２とは、１００％の精度で一致した。すなわち、ピッキング作業判別装置１０によれば、作業者Ｍが各載置部２２のどこから物品２１を取り出したかを高い精度で判別できることが分かった。

【0032】

このように本実施の形態によれば、作業者Ｍが各載置部２２から物品２１を取り出す動作を撮影し、各載置部２２の領域と、作業者Ｍの手Ｍ１の移動位置及び作業者Ｍにより取り出された物品２１の移動位置との位置関係により、作業者Ｍが各載置部２２のどこから物品２１を取り出したかを判別するようにしたので、高さ方向において複数の載置部２２が重なっていても、簡単な構成でかつ高い精度で判別することができる。

【0033】

以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、種々変形可能である。例えば、上記実施の形態では、各構成要素について具体的に説明したが、各構成要素の具体的な構造や形状は異なっていてもよく、また、上述した構成要素を全て備えていなくてもよく、他の構成要素を備えていてもよい。

【符号の説明】

【0034】

１０…ピッキング作業判別装置、１１…撮影手段、１２…載置領域指定手段、１３…画像認識手段、１４…学習モデル生成手段、１４Ａ…学習モデル、１５…載置部判別手段、１５Ａ…判定部、１６Ａ…ＣＰＵ、１６Ｂ…ＲＯＭ、１６Ｃ…ＲＡＭ、１６Ｄ…ＨＤＤ、１６Ｅ…操作インターフェース、１７…正誤判断手段、１８…警告手段、２０…載置棚、２１…物品、２２…載置部、Ｍ…作業者、Ｍ１…手

【図1】

【図2】

【図3】

【図4】

【図5】