特開 2023-131485 ピッキング装置、及びピッキング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023131485

(43)【公開日】2023-09-22

(54)【発明の名称】ピッキング装置、及びピッキング方法

(51)【国際特許分類】

   B25J 13/08 20060101AFI20230914BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022036277

(22)【出願日】2022-03-09

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】矢野 泰樹

(72)【発明者】

【氏名】伊藤 潔人

(72)【発明者】

【氏名】木村 宣隆

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS04

3C707BS01

3C707BS09

3C707BS24

3C707DS01

3C707KS01

3C707KS03

3C707KS04

3C707KS07

3C707KS30

3C707KS31

3C707KS36

3C707KT01

(57)【要約】

【課題】物品のピックアップに失敗してもピッキング作業にかかる時間を削減できるピッキング装置を提供する。
【解決手段】本発明によるピッキング装置は、センサの計測データを取得する計測部２と、計測データを基に物品を認識して物品状態を把握する認識部３と、物品のピックアップ動作をロボットに実行させる動作部４と、物品の認識又はピックアップ動作が失敗した場合に物品状態の変化の有無を検知する物品状態変化検知部５と、ピッキング作業の作業環境を変更する作業環境変更部６を備える。物品状態変化検知部５が物品状態の変化を検知した場合には、作業環境を変更せずに、計測データの取得と物品の認識とピックアップ動作のうち少なくとも１つを実行する。物品状態変化検知部５が物品状態の変化を検知しなかった場合には、作業環境変更部６が作業環境を変更した後に、計測データの取得と物品の認識とピックアップ動作のうち少なくとも１つを実行する。
【選択図】図４

【特許請求の範囲】

【請求項1】

作業領域に配置された物品のピッキング作業を実施するロボットと、前記作業領域を計測する計測センサに接続可能であり、
前記計測センサが前記作業領域を計測した計測データを取得する計測部と、
前記計測データを基に前記物品を認識して前記物品の物理的状態である物品状態を把握する認識部と、
前記認識部による前記物品の認識結果を基に、前記物品のピックアップ動作を前記ロボットに実行させる動作部と、
前記認識部による前記物品の認識が失敗した場合、又は前記動作部による前記ピックアップ動作が失敗した場合に、前記物品状態の変化の有無を検知する物品状態変化検知部と、
前記物品状態と前記計測センサの計測条件と前記ピックアップ動作のうち少なくとも１つを変更して、前記ピッキング作業の作業環境を変更する作業環境変更部と、
を備え、
前記物品状態変化検知部が前記物品状態の変化を検知した場合には、前記作業環境を変更せずに、前記計測部による前記計測データの取得と、前記認識部による前記物品の認識と、前記動作部による前記ピックアップ動作のうち少なくとも１つを実行し、
前記物品状態変化検知部が前記物品状態の変化を検知しなかった場合には、前記作業環境変更部が前記作業環境を変更した後に、前記計測部による前記計測データの取得と、前記認識部による前記物品の認識と、前記動作部による前記ピックアップ動作のうち少なくとも１つを実行する、
ことを特徴とするピッキング装置。

【請求項2】

前記物品状態には、前記物品の位置、姿勢、形状、及び外観が含まれる、
請求項１に記載のピッキング装置。

【請求項3】

前記計測部は、前記物品状態変化検知部が前記物品状態の変化の有無を検知するときに、前記計測データを新たに取得し、
前記認識部は、前記物品状態変化検知部が前記物品状態の変化の有無を検知するときに、前記計測部が新たに取得した前記計測データを基に前記物品を再び認識して第２の前記物品状態を把握し、
前記物品状態変化検知部は、第２の前記物品状態を、前記動作部による前記ピックアップ動作の前に前記認識部が把握した前記物品状態である第１の前記物品状態と比較することで、前記物品状態の変化の有無を検知する、
請求項１に記載のピッキング装置。

【請求項4】

前記計測部は、前記物品状態変化検知部が前記物品状態の変化の有無を検知するときに、前記計測データを第２の計測データとして新たに取得し、
前記物品状態変化検知部は、第２の前記計測データを、前記動作部による前記ピックアップ動作の前に前記計測部が取得した前記計測データである第１の前記計測データと比較することで、前記物品状態の変化の有無を検知する、
請求項１に記載のピッキング装置。

【請求項5】

前記計測部は、前記物品状態変化検知部が前記物品状態の変化の有無を検知するときに、前記計測データを第２の計測データとして新たに取得し、
前記物品状態変化検知部は、第２の前記計測データを、前記動作部による前記ピックアップ動作の前に前記認識部が把握した前記物品状態である第１の前記物品状態と比較することで、前記物品状態の変化の有無を検知する、
請求項１に記載のピッキング装置。

【請求項6】

前記作業環境変更部は、前記計測センサの位置、前記計測センサの姿勢、前記物品の位置、前記物品の姿勢、前記ロボットの位置、前記ロボットの姿勢、前記計測センサの種類、及び前記ロボットに備えられて前記物品をピックアップするハンドのうち少なくとも１つを変更することにより、前記作業環境を変更する、
請求項１に記載のピッキング装置。

【請求項7】

前記物品状態変化検知部は、前記物品状態の変化を検知した場合に、前記作業領域の中で前記物品状態が変化した領域である部分領域を求め、
前記認識部は、前記物品状態変化検知部が前記物品状態の変化を検知した後に、前記部分領域について前記物品を認識する、
請求項１に記載のピッキング装置。

【請求項8】

前記物品状態変化検知部は、前記作業環境変更部が前記作業環境を変更した後に、前記物品状態の変化の有無を検知する、
請求項１に記載のピッキング装置。

【請求項9】

表示部を備え、
前記表示部は、前記作業環境変更部が前記作業環境を変更した後で、前記認識部が前記物品の認識に失敗した場合と、前記ロボットが前記ピッキング作業を失敗した場合と、前記物品状態変化検知部が前記物品状態が変化しなかったことを検知した場合のうち少なくとも１つの場合には、前記作業環境変更部が前記作業環境の変更に失敗したという失敗情報を表示する、
請求項８に記載のピッキング装置。

【請求項10】

前記表示部は、前記作業環境変更部が行った前記作業環境の変更の履歴を表示する、
請求項９に記載のピッキング装置。

【請求項11】

前記表示部は、前記物品状態変化検知部による前記物品状態の変化の検知結果を表示する、
請求項９に記載のピッキング装置。

【請求項12】

作業領域に配置された物品のピッキング作業をロボットで実施する方法であって、
計測センサが前記作業領域を計測した計測データを取得する計測工程と、
前記計測データを基に前記物品を認識して前記物品の物理的状態である物品状態を把握する認識工程と、
前記認識工程での前記物品の認識結果を基に、前記物品のピックアップ動作を前記ロボットに実行させる動作工程と、
前記認識工程で前記物品の認識が失敗した場合、又は前記動作工程で前記ピックアップ動作が失敗した場合に、前記物品状態の変化の有無を検知する物品状態変化検知工程と、
前記物品状態と前記計測センサの計測条件と前記ピックアップ動作のうち少なくとも１つを変更して、前記ピッキング作業の作業環境を変更する作業環境変更工程と、
を有し、
前記物品状態変化検知工程で前記物品状態の変化を検知した場合には、前記作業環境を変更せずに、前記計測工程と前記認識工程と前記動作工程のうち少なくとも１つを実行し、
前記物品状態変化検知工程で前記物品状態の変化を検知しなかった場合には、前記作業環境変更工程で前記作業環境を変更した後に、前記計測工程と前記認識工程と前記動作工程のうち少なくとも１つを実行する、
ことを特徴とするピッキング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物品のピッキング作業を行うためのピッキング装置と、物品のピッキング方法に関する。

【背景技術】

【0002】

ピッキング装置は、例えば工場や倉庫などの産業施設や商業施設で使用され、ロボットを操作して物品のピッキング作業を実施する装置である。ピッキング装置には、物品のピックアップに失敗した際でも、ピッキング作業を中断することなく完遂させることが望まれている。従来のピッキング装置では、物品のピックアップに失敗した際には、ピッキング作業の作業環境を変更して再度ピッキング作業を行う必要がある。

【0003】

従来のピッキング装置の例は、特許文献１に記載されている。特許文献１に記載されたワーク取り出し装置は、複数のワーク（物品）を計測するセンサと、センサの出力に基づいて、ロボットがワークを保持する位置と姿勢のデータを算出する保持位置姿勢算出部と、センサの出力に基づいて、ワークの積載状態を改善する動作のデータを生成する積載状態改善動作生成部と、保持位置姿勢算出部および積載状態改善動作生成部の出力に基づいて、ロボットとハンドを制御することで、ワークの取り出しや積載状態改善動作を行うロボット制御部を備える。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１２６８０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述したように、例えば特許文献１に記載された装置などの従来のピッキング装置では、物品のピックアップに失敗した際には、ピッキング作業の作業環境（例えば、物品の状態やピックアップ動作）を変更する必要がある。しかし、作業環境を変更すると、作業環境の変更には時間がかかるためピッキング作業の処理時間が長くなり、作業効率が低下することがある。このため、物品のピックアップに失敗しても、ピッキング作業の作業環境を変更する頻度を減らし、ピッキング作業にかかる時間を削減できるのが望ましい。

【0006】

本発明の目的は、物品のピックアップに失敗してもピッキング作業にかかる時間を削減できるピッキング装置とピッキング方法を提供することである。

【課題を解決するための手段】

【0007】

本発明によるピッキング装置は、作業領域に配置された物品のピッキング作業を実施するロボットと、前記作業領域を計測する計測センサに接続可能であり、前記計測センサが前記作業領域を計測した計測データを取得する計測部と、前記計測データを基に前記物品を認識して前記物品の物理的状態である物品状態を把握する認識部と、前記認識部による前記物品の認識結果を基に、前記物品のピックアップ動作を前記ロボットに実行させる動作部と、前記認識部による前記物品の認識が失敗した場合、又は前記動作部による前記ピックアップ動作が失敗した場合に、前記物品状態の変化の有無を検知する物品状態変化検知部と、前記物品状態と前記計測センサの計測条件と前記ピックアップ動作のうち少なくとも１つを変更して、前記ピッキング作業の作業環境を変更する作業環境変更部とを備える。前記物品状態変化検知部が前記物品状態の変化を検知した場合には、前記作業環境を変更せずに、前記計測部による前記計測データの取得と、前記認識部による前記物品の認識と、前記動作部による前記ピックアップ動作のうち少なくとも１つを実行する。前記物品状態変化検知部が前記物品状態の変化を検知しなかった場合には、前記作業環境変更部が前記作業環境を変更した後に、前記計測部による前記計測データの取得と、前記認識部による前記物品の認識と、前記動作部による前記ピックアップ動作のうち少なくとも１つを実行する。

【0008】

本発明によるピッキング方法は、作業領域に配置された物品のピッキング作業をロボットで実施する方法であって、計測センサが前記作業領域を計測した計測データを取得する計測工程と、前記計測データを基に前記物品を認識して前記物品の物理的状態である物品状態を把握する認識工程と、前記認識工程での前記物品の認識結果を基に、前記物品のピックアップ動作を前記ロボットに実行させる動作工程と、前記認識工程で前記物品の認識が失敗した場合、又は前記動作工程で前記ピックアップ動作が失敗した場合に、前記物品状態の変化の有無を検知する物品状態変化検知工程と、前記物品状態と前記計測センサの計測条件と前記ピックアップ動作のうち少なくとも１つを変更して、前記ピッキング作業の作業環境を変更する作業環境変更工程とを有する。前記物品状態変化検知工程で前記物品状態の変化を検知した場合には、前記作業環境を変更せずに、前記計測工程と前記認識工程と前記動作工程のうち少なくとも１つを実行する。前記物品状態変化検知工程で前記物品状態の変化を検知しなかった場合には、前記作業環境変更工程で前記作業環境を変更した後に、前記計測工程と前記認識工程と前記動作工程のうち少なくとも１つを実行する。

【発明の効果】

【0009】

本発明によると、物品のピックアップに失敗してもピッキング作業にかかる時間を削減できるピッキング装置とピッキング方法を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例によるピッキング装置の機能構成を示すブロック図である。

【図2】本実施例によるピッキング装置のハードウェア構成を示すブロック図である。

【図3】本実施例によるピッキング装置を備えるピッキングシステムの構成を示す概略図である。

【図4】本実施例によるピッキング装置が実行するピッキング処理のフローチャートである。

【図5】ピッキング作業が失敗した要因と、この要因に対応する作業環境の変更の例を示す図である。

【図6A】ロボットがピックアップ動作を実行する前における、容器に収納された物品の例を示す図である。

【図6B】ロボットがピックアップ動作に失敗したときの物品の例を示す図である。

【図6C】物品状態変化検知部が求めた、物品状態が変化した領域の例を示す図である。

【図7】作業環境変更部によって作業環境が変更されたか否かを確認する処理を含む、ピッキング処理のフローチャートである。

【発明を実施するための形態】

【0011】

本発明によるピッキング装置とピッキング方法では、ロボットを操作して、認識した物品のピッキング作業を実施する。本発明では、物品のピックアップ（物品の認識と物品のピックアップ動作を含む）に失敗しても、ピッキング作業の作業環境を変更する頻度を従来よりも減らすことができ、ピッキング作業にかかる時間を削減することができる。

【0012】

ピッキング作業の作業環境には、物品状態と計測条件とピックアップ動作が含まれる。物品状態は、ピックアップされる物品の物理的状態のことであり、例えば、物品の位置と姿勢と形状と外観を含む。計測条件は、ピッキング装置に接続された計測センサが物品を計測する条件のことである。ピックアップ動作は、ピッキング装置に接続されたロボットが物品をピックアップする動作のことである。

【0013】

通常、物品状態が変化すると、計測センサが計測した物品の認識結果や、ロボットが物品をピックアップするピックアップ動作も、物品状態の変化に応じて自ずと変わる。このため、本発明では、物品のピックアップに失敗したとき、すなわち物品の認識又はピックアップ動作が失敗したときに、物品状態が変化した場合には、ピッキング作業の作業環境を変更せずにピッキング作業を再実行し、物品状態が変化しない場合には、作業環境を変更してピッキング作業を再実行する。

【0014】

すなわち、本発明では、物品のピックアップが失敗した場合で物品状態が変化していない場合のみ、作業環境を変更し、物品のピックアップが失敗した場合で物品状態が変化した場合には、作業環境を変更しない。本発明によるピッキング装置とピッキング方法は、このような構成を備えるので、作業環境を変更する頻度を減らすことができ、物品のピックアップに失敗してもピッキング作業にかかる時間を削減できる。

【0015】

以下、本発明によるピッキング装置とピッキング方法について、図面を参照しながら説明する。なお、本明細書で用いる図面において、同一の又は対応する構成要素には同一の符号を付け、これらの構成要素については繰り返しの説明を省略する場合がある。

【実施例0016】

本発明の実施例によるピッキング装置とピッキング方法について説明する。

【0017】

図１は、本実施例によるピッキング装置の機能構成を示すブロック図である。本実施例によるピッキング装置１は、コンピュータで構成することができ、計測部２、認識部３、動作部４、物品状態変化検知部５、及び作業環境変更部６を備え、作業領域に配置された物品のピッキング処理を実行する。

【0018】

ピッキング装置１は、後述するように、物品のピッキング作業を実施するロボットと、ロボットがピッキング作業を実施する作業領域を計測する計測センサに接続可能である。ピッキング装置１は、ロボットを操作して物品のピッキング処理を行う。ロボットは、ピッキング装置１の指示を受けてピックアップ動作を実行し、物品のピッキング作業を実施する。

【0019】

計測部２は、ピッキング装置１に接続された計測センサが作業領域を計測したデータ、すなわち作業領域の計測データを取得する。計測センサは、作業領域に存在する物体（ロボットがピックアップする物品も含む）を計測するセンサであり、例えば、カメラなどの画像センサ、距離を測定する距離センサ、及び触覚センサの少なくとも１つで構成することができる。

【0020】

例えば、計測センサが画像センサである場合には、計測部２は、ＲＧＢ画像、グレー画像、赤外線画像などの画像を計測データとして取得する。また、例えば、計測センサが距離センサ（例えば、ＬｉＤＡＲ、レーザ変位計、ステレオカメラ、赤外線距離計、レーザ距離計、及びＴＯＦ距離センサなど）である場合には、計測部２は、計測センサが測定した点群データを計測データとして取得する。また、例えば、計測センサが触覚センサである場合には、計測部２は、計測センサが測定した触覚データを計測データとして取得する。

【0021】

認識部３は、計測部２が取得した作業領域６０の計測データを基に、作業領域に配置された物品を認識する。認識部３は、物品を認識することで、物品が何であるかと物品状態を把握することができる。認識部３は、既存の技術を用いて物品を認識することができる。認識部３による物品認識の方法の例には、ＳＩＦＴ、及びＯＲＢなどの手法を用いた特徴点マッチング、Ｒ－ＣＮＮ、ＹＯＬＯ、及びＳＳＤなどの手法を用いたディープラーニング、Ｍａｓｋ Ｒ－ＣＮＮ、及びＧＡＮなどの手法を用いたセグメンテーション、並びにＤｅｘ－Ｎｅｔなどの手法を用いた把持点認識を挙げることができる。

【0022】

動作部４は、認識部３による物品の認識結果を基に、作業領域に配置された物品をピックアップするピックアップ動作をロボットに実行させる。ロボットは、ハンドを備え、ピッキング装置１に接続されてピックアップ動作を実行すると、ハンドで物品をピックアップする。

【0023】

物品状態変化検知部５は、認識部３による物品の認識が失敗した場合に、又は動作部４によるロボットのピックアップ動作が失敗した場合に、物品状態の変化の有無を検知する。

【0024】

作業環境変更部６は、物品状態と、計測センサの計測条件と、動作部４によるピックアップ動作のうち少なくとも１つを変更して、ピッキング作業の作業環境を変更する。

【0025】

図２は、ピッキング装置１のハードウェア構成を示すブロック図である。ピッキング装置１は、メモリ１０１、記憶デバイス１０２、プロセッサ１００、入力デバイス１０３、及び出力デバイス１０４を備える。メモリ１０１、記憶デバイス１０２、プロセッサ１００、入力デバイス１０３、及び出力デバイス１０４は、伝送路（バス）１０６により、互いに接続されている。

【0026】

メモリ１０１には、ピッキング装置１が実行するピッキング処理のプログラムＰ１が記憶されている。

【0027】

記憶デバイス１０２は、データ保存部Ｒ１を備え、ピッキング装置１が計算して得たデータや、ピッキング装置１がロボットと計測センサから取得したデータをデータ保存部Ｒ１に保存する。

【0028】

プロセッサ１００は、ピッキング処理のプログラムＰ１とデータ保存部Ｒ１に保存されたデータなどを用いて演算を行い、ピッキング処理をピッキング装置１に実行させる。

【0029】

入力デバイス１０３は、ロボットと計測センサからデータを入力するインターフェイスである。入力デバイス１０３は、ピッキング装置１に接続されたその他の装置からデータを入力することもできる。

【0030】

出力デバイス１０４は、ロボットと計測センサに指示やデータを出力するインターフェイスである。出力デバイス１０４は、ピッキング装置１に接続されたその他の装置にデータを出力することもできる。

【0031】

ピッキング装置１は、表示部１０５を備えることができる。表示部１０５は、伝送路１０６に接続されており、ピッキング装置１が入力したデータやピッキング装置１の演算結果などの情報を表示する。表示部１０５は、ピッキング装置１に接続可能な、ピッキング装置１と異なる装置であってもよい。

【0032】

図３は、本実施例によるピッキング装置１を備えるピッキングシステム５０の構成を示す概略図である。ピッキングシステム５０は、本実施例によるピッキング装置１、ロボット２０、及び計測センサ３０を備える。ロボット２０がピッキング作業を実施する作業領域６０には、容器４１に収納された物品４０が存在する。図３に示した例では、容器４１は、台４２の上に載置されている。ロボット２０は、物品４０をピックアップする。なお、物品４０は、容器４１に収納されていなくてもよい。

【0033】

ピッキング装置１は、計測センサ３０とロボット２０に接続可能であり、計測センサ３０の計測データを取得し、ロボット２０を操作して物品４０のピッキング処理を実行する。

【0034】

計測センサ３０は、作業領域６０に存在する物体を計測し、作業領域６０の計測データを取得する。作業領域６０には、物品４０、容器４１、及びその他の物体が存在する。計測センサ３０は、例えば、カメラを含む画像センサ、距離センサ、及び触覚センサのうち少なくとも１つで構成することができる。計測センサ３０は、作業領域６０を照らす照明装置を備えることもできる。

【0035】

ロボット２０は、ハンド２１を備え、物品４０をピックアップするピッキング作業をハンド２１で実行する。ロボット２０は、例えば、アームロボット、パラレルリンクロボット、及び直交ロボットなど、任意のロボットで構成することができる。ハンド２１は、複数の指を有する指部と吸着部の少なくとも一方を備え、指部で物品４０を把持したり吸着部で物品４０を吸着したりすることで、物品４０をピックアップする。

【0036】

なお、ピッキング装置１は、計測センサ３０の向きや位置を変えたり、計測センサ３０と物品４０との距離を変えたりすることができる。また、ピッキング装置１は、物品４０を収納している容器４１を揺らす（すなわち、容器４１に振動を与える）ことができる。ピッキング装置１は、計測センサ３０、物品４０、及び容器４１を動かすことができる装置（例えば、アクチュエータや加振装置など）を操作することができる。

【0037】

図４は、本実施例によるピッキング装置１が実行するピッキング処理のフローチャートである。ピッキング装置１は、図４に示したフローチャートに従って、本実施例によるピッキング方法を実行する。

【0038】

Ｓ１で、計測部２は、計測センサ３０から作業領域６０の計測データを取得する。

【0039】

Ｓ２で、認識部３は、計測部２が取得した作業領域６０の計測データを基に、作業領域６０に配置された物品４０を認識する。認識部３は、物品４０を認識することで、物品４０が何であるかと、物品状態を把握することができる。物品状態は、物品４０の物理的状態であり、例えば、物品４０の位置と姿勢と形状と外観を含む。

【0040】

Ｓ３で、認識部３は、物品４０の認識が成功したか失敗したかを判断する。認識部３は、例えば、物品４０を１つも認識しなかった場合、認識した物品４０の位置や姿勢を出力しなかった場合、予め定めた閾値以下又は以上の大きさの物品４０を認識した場合、同一領域に複数の物品４０を認識した場合、及び物品４０の認識結果の信頼度（信頼度スコア）が予め定めた閾値よりも小さい場合に、物品４０の認識が失敗したと判断することができる。

【0041】

認識部３が物品４０の認識に成功した場合には、Ｓ４の処理が実行される。認識部３が物品４０の認識に失敗した場合には、Ｓ６の処理が実行される。

【0042】

Ｓ４で、動作部４は、認識部３による物品の認識結果を基に、作業領域６０に配置された物品４０をピックアップするピックアップ動作をロボット２０に実行させる。動作部４は、認識部３による物品の認識結果から物品状態（例えば、物品４０の位置と姿勢と形状と外観）が分かるので、物品状態に応じてハンド２１が移動する軌道を算出し、ロボット２０にピックアップ動作を実行させる。ロボット２０は、算出された軌道に沿ってハンド２１を移動させ、ハンド２１で物品４０をピックアップするピックアップ動作を実行する。

【0043】

Ｓ５で、動作部４は、ロボット２０のピックアップ動作が成功したか失敗したかを判断する。動作部４は、例えば、物品４０に到達可能なハンド２１の軌道を算出できない場合、物品４０がロボット２０や作業領域６０に存在する他の物体と衝突したのを触覚センサで検知した場合、ピックアップした物品４０がずり落ちたり傾いたり落下したりしたのを触覚センサで検知した場合、ピックアップした物品４０の重量が予め定めた閾値以上又は以下であるのを重量センサで検知した場合、及びハンド２１の吸着部の吸着時と移動時の圧力が閾値を超えて変化した場合に、ロボット２０のピックアップ動作が失敗したと判断することができる。また、動作部４は、ロボット２０のピックアップ動作を撮影した画像を用いて、ロボット２０のピックアップ動作が成功したか失敗したかを判断することができる。

【0044】

動作部４によるロボット２０のピックアップ動作が失敗した場合には、Ｓ６の処理が実行される。

【0045】

Ｓ６で、物品状態変化検知部５は、物品状態が変化したか否かを検知する。Ｓ６の処理は、ピッキング装置１が物品４０のピッキング作業を失敗した場合に実行される。すなわち、Ｓ６の処理は、認識部３による物品の認識が失敗した場合と、動作部４によるロボット２０のピックアップ動作が失敗した場合に、実行される。

【0046】

Ｓ６で、計測部２は、計測センサ３０から作業領域６０の計測データを新たに取得し、認識部３は、計測部２が新たに取得した作業領域６０の計測データを基に、作業領域６０に配置された物品４０を再び認識して物品状態（第２の物品状態）を取得する。物品状態変化検知部５は、認識部３が物品４０を再認識して得られた物品状態（第２の物品状態）を認識部３から取得し、この第２の物品状態（Ｓ６で得られた物品状態）をＳ２で得られた物品状態（第１の物品状態）と比較する。物品状態変化検知部５は、この比較の結果、Ｓ６で得られた物品状態がＳ２で得られた物品状態と異なっている場合に、物品状態が変化したことを検知する。

【0047】

また、物品状態変化検知部５は、計測部２が新たに取得した作業領域６０の計測データ（第２の計測データ）を、Ｓ１で計測部２が取得した作業領域６０の計測データ（第１の計測データ）と比較し、この比較の結果、第２の計測データが第１の計測データと異なっている場合に、物品状態が変化したことを検知することもできる。また、物品状態変化検知部５は、第２の計測データを、Ｓ２で認識部３が得た物品状態（第１の物品状態）と比較し、この比較の結果、第２の計測データが第１の物品状態と異なっている場合に、物品状態が変化したことを検知することもできる。

【0048】

Ｓ６で、計測部２が新たに取得する計測データには、既に述べたデータに加えて、例えば、ロボット２０のハンド２１で物品４０を吸着したときの圧力のデータや、物品４０を搬送するベルトコンベアが駆動したときのベルトコンベアの移動量（ベルトコンベアで運ばれた物品４０の移動量）を含めることができる。

【0049】

なお、Ｓ２とＳ６の少なくとも一方で認識部３が物品４０の認識に失敗して物品状態を把握できず、物品状態を比較できない場合には、物品状態変化検知部５は、物品状態が変化したとみなす。

【0050】

物品状態変化検知部５は、Ｓ６で得られた物品状態をＳ２で得られた物品状態と比較し、例えば以下の場合に、物品状態が変化したことを検知する。画像センサが撮影した画像において輝度やＲＧＢ値が変化した画素が予め定めた数以上存在する場合には、物品４０の外観や環境光が変化したと判断し、物品状態が変化したことを検知する。また、距離センサが測定した点群において距離が変化した点群が予め定めた数以上存在する場合には、作業領域６０にある物品４０以外の物体が除去されたか計測ノイズが変化したと判断し、物品状態が変化したことを検知する。また、触覚センサで物品４０を持ち上げたり、ロボット２０のハンド２１で物品４０を吸着したときの圧力を計測したり、物品４０を収納した容器４１の重心位置を求めたりすることで、例えば落下や荷崩れによる物品４０の位置や姿勢や形状の変化を求めることができ、これらの変化がある場合には、物品状態が変化したことを検知する。また、物品４０を収納した容器４１の変形を検知した場合に、物品状態が変化したことを検知する。さらに、物品４０を搬送するベルトコンベアが駆動した場合に、物品状態の変化を検知したとすることもできる。

【0051】

Ｓ７に示すように、Ｓ６で物品状態変化検知部５が物品状態の変化を検知した場合には、Ｓ１に戻り、ピッキング作業の作業環境を変更せずに、計測部２による計測データの取得と、認識部３による物品の認識と、動作部４によるロボット２０のピックアップ動作を再実行する。Ｓ６で物品状態変化検知部５が物品状態の変化を検知しなかった場合には、Ｓ８の処理を実行してピッキング作業の作業環境を変更してから、Ｓ１に戻り、計測部２による計測データの取得と、認識部３による物品の認識と、動作部４によるロボット２０のピックアップ動作を再実行する。

【0052】

なお、Ｓ６で計測部２が作業領域６０の計測データを新たに取得した場合には、Ｓ７からＳ１に戻ってもＳ１の処理を実行せずにＳ２の処理を実行してもよい。すなわち、Ｓ６で物品状態変化検知部５が物品状態の変化を検知した場合には、Ｓ７からＳ２に戻って物品４０の認識を再実行してもよい。図４には、一例として、Ｓ７からＳ１に戻るフローチャートを示した。

【0053】

例えば、Ｓ６で、物品４０についての物理的情報から物品状態変化検知部５が物品状態の変化を検知した場合には、Ｓ７からＳ１に戻り、Ｓ１の処理を実行することができる。この例を以下に説明する。Ｓ６で、触覚センサで物品４０を持ち上げたり、ロボット２０のハンド２１で物品４０を吸着したときの圧力を計測したりすることで、物品状態変化検知部５が物品状態の変化を検知し、物品４０の位置や姿勢や形状が変化したと判断した場合には、Ｓ７からＳ１に戻ることができる。また、Ｓ６で、物品４０を収納した容器４１の重心位置が変化したときや物品４０を搬送するベルトコンベアが駆動したときに、物品状態の変化を検知した場合にも、Ｓ７からＳ１に戻ることができる。

【0054】

また、例えば、Ｓ６で、計測センサ３０が取得した計測データに変化があった場合には、この計測データを利用してＳ２の処理（物品４０の認識）を実行できるので、Ｓ７からＳ２に戻ってもよい。例えば、Ｓ６で、画像センサが撮影した画像において輝度やＲＧＢ値が変化した画素が予め定めた数以上存在したり、距離センサが測定した点群において距離が変化した点群が予め定めた数以上存在したりすることで、物品状態変化検知部５が物品状態の変化を検知した場合には、Ｓ７からＳ２に戻ることができる。

【0055】

Ｓ８で、作業環境変更部６は、ピッキング作業の作業環境を変更する。既に述べたように、ピッキング作業の作業環境には、物品状態と計測条件とピックアップ動作が含まれる。Ｓ８の処理は、ピッキング装置１が物品４０のピッキング作業を失敗した場合、すなわち認識部３による物品の認識が失敗した場合又は動作部４によるロボット２０のピックアップ動作が失敗した場合で、物品状態変化検知部５が物品状態の変化を検知しなかった場合に、実行される。

【0056】

作業環境変更部６は、物品４０のピッキング作業が失敗した要因に対応する作業環境であれば、任意の作業環境を変更することができる。例えば、作業環境変更部６は、物品状態と、計測センサ３０の計測条件と、動作部４によるロボット２０のピックアップ動作のうち少なくとも１つを変更して、ピッキング作業の作業環境を変更する。作業環境変更部６は、ピッキング作業が失敗した要因に対応する作業環境の中から、処理時間の短い順に選んで作業環境を変更することや、ランダムに選んで作業環境を変更することができる。

【0057】

Ｓ８の処理が終了したら、Ｓ１に戻ってピッキング処理を続ける。なお、作業環境変更部６が変更した作業環境によっては、Ｓ８からＳ１に戻ってもＳ１からＳ３の処理を実行せずにＳ４の処理を実行してもよい。すなわち、Ｓ８の処理が終了したら、Ｓ８からＳ４に戻ってピッキング処理を続けてもよい。図４には、一例として、Ｓ８からＳ１に戻るフローチャートを示した。

【0058】

次に、ピッキング作業が失敗した要因と、この要因に対応する作業環境の変更の例を説明する。

【0059】

図５は、ピッキング作業が失敗した要因と、この要因に対応する作業環境の変更の例を示す図である。ピッキング作業の失敗には、上述したように、物品の認識の失敗と、ピックアップ動作の失敗がある。

【0060】

物品の認識の失敗の例には、計測センサ３０（距離センサ）が測定した点群データにおいて、測定点の抜けがある場合、測定された点群の領域が小さい、少ない又はずれている場合、及び点群ノイズが大きい場合がある。また、物品の認識の失敗の例には、計測センサ３０（画像センサ）が撮影した画像において、画像が暗い又は明るい場合、及び画像に映った物体の輪郭が不明瞭の場合がある。また、物品の認識の失敗の例には、認識部３が把握した物品４０の形状について、面の大きさが小さい場合、物品４０の包装（例えば袋）にしわが多い場合、及び面の形が予想以上に複雑である場合がある。

【0061】

このような物品の認識の失敗に対して、作業環境変更部６は、次のようにして作業環境を変更することができる。すなわち、計測センサ３０の位置や姿勢の変更、計測センサ３０の種類の変更、計測センサ３０が備える照明装置の位置や姿勢の変更、及び物品４０の位置や姿勢の変更により、作業環境を変更できる。より具体的には、例えば、計測センサ３０の向きや位置を変えたり、計測センサ３０と物品４０との距離を変えたりすることで、作業環境を変更できる。また、例えば、物品４０を収納している容器４１を揺らしたり、物品４０をずらしたり持ち上げたり引っ張ったり倒したりして、物品４０の位置や姿勢を変えることで、作業環境を変更できる。また、例えば、風を送って複数の物品４０の隙間を広げて物品４０の位置や姿勢を変えることでも、作業環境を変更できる。

【0062】

ピックアップ動作の失敗の例には、ロボット２０のハンド２１の軌道について、物品４０以外の物体に衝突すること、物品４０以外の物体に遮られて物品４０に近づけないこと、移動距離が短くて物品４０に到達できないこと、及び物品４０の把持点に到達できず物品４０をピックアップできない場合がある。また、ピックアップ動作の失敗の例には、ハンド２１について、物品４０の把持や吸着ができないこと、ピックアップした物品４０がずり落ちたり傾いたり落下したりしたこと、ピックアップした物品４０の重量が予め定めた閾値以上又は以下であるため物品４０をピックアップできない場合がある。

【0063】

このようなピックアップ動作の失敗に対して、作業環境変更部６は、次のようにして作業環境を変更することができる。すなわち、物品４０の位置や姿勢の変更、ロボット２０の位置や姿勢の変更、ロボット２０のハンド２１の変更、及び物品４０のピックアップ位置の変更により、作業環境を変更できる。より具体的には、例えば、物品４０に対するロボット２０の位置を変更したり、ハンド２１の指部を変更したり、ハンド２１が物品４０を把持する位置を変更したりすることで、作業環境を変更できる。

【0064】

このようにして、作業環境変更部６は、物品状態（例えば、物品４０の位置や姿勢）と、計測センサ３０の計測条件（例えば、計測センサ３０の位置や姿勢）と、動作部４によるロボット２０のピックアップ動作（例えば、ロボット２０の位置や姿勢）のうち少なくとも１つを変更して、ピッキング作業の作業環境を変更する。

【0065】

上述したように、図４のＳ８の処理が終了したら、作業環境変更部６が変更した作業環境に応じて、Ｓ８からＳ１に戻ってもＳ４に戻ってもよい。例えば、作業環境の変更が、計測センサ３０に関するものである場合、及び物品４０の位置や姿勢の変更である場合には、Ｓ８の処理が終了したらＳ１に戻るとすることができる。また、例えば、作業環境の変更が、物品４０のピックアップ位置の変更である場合、及びハンド２１の変更である場合には、Ｓ８の処理が終了したらＳ４に戻るとすることができる。また、例えば、作業環境の変更が、物品４０に対するロボット２０の位置の変更である場合には、Ｓ８の処理が終了したらＳ１に戻ってもＳ４に戻ってもよい。

【0066】

物品状態変化検知部５は、物品状態の変化を検知した場合に、作業領域６０の中で物品状態が変化した領域（部分領域）を求めることができる。物品状態変化検知部５は、物品状態が変化した物品４０を含む任意の領域を作業領域６０の中から求め、求めた領域を物品状態が変化した部分領域とする。

【0067】

図６Ａは、ロボット２０がピックアップ動作を実行する前における、容器４１に収納された物品４０の例を示す図である。図６Ａには、上方から見た物品４０を示している。作業領域６０には、容器４１に収納された複数の物品４０が存在する。ロボット２０は、物品４０のうち物品４０ａをピックアップすることになっている。

【0068】

図６Ｂは、ロボット２０がピックアップ動作に失敗したときの物品４０の例を示す図である。ロボット２０は、ピックアップした物品４０ａをピックアップ動作中にハンド２１から落として、ピックアップ動作に失敗したとする。物品４０ａは、ハンド２１から落下して物品４０の上に位置しており、図６Ａに示す状態から物品状態（図６Ｂに示す例では位置と姿勢）が変化している。

【0069】

図６Ｃは、物品状態変化検知部５が求めた、物品状態が変化した領域である部分領域４５の例を示す図である。物品状態変化検知部５は、物品状態が変化した物品４０ａを含む領域を、物品状態が変化した部分領域４５とする。部分領域４５は、作業領域６０の一部の領域である。物品状態変化検知部５は、部分領域４５の大きさと形状を任意に定めることができる。

【0070】

認識部３は、物品状態変化検知部５が物品状態の変化を検知した後に、図４に示したフローチャートのＳ２で、物品状態変化検知部５が求めた部分領域４５について、物品４０を認識する処理を行う。認識部３は、物品状態が変化した部分領域４５のみについて物品４０を認識する処理を再度実行するので、物品４０の認識処理に要する時間を低減でき、ピッキング作業にかかる時間を削減できる。

【0071】

本実施例では、作業環境変更部６がピッキング作業の作業環境を変更した後に、作業環境が変更されたか否かを確認することができる。作業環境が変更されると、物品状態が変化することがある。物品状態変化検知部５は、作業環境の変更による物品状態の変化の有無を検知することにより、物品状態が変化して作業環境が変更されたことを確認することができる。

【0072】

図７は、本実施例によるピッキング装置１が実行するピッキング処理のフローチャートで、作業環境変更部６によって作業環境が変更されたか否かを確認する処理を含むフローチャートである。図４に示したフローチャートでは、Ｓ８の処理が終了したら、Ｓ８からＳ１（又はＳ４）に戻る。図４に示したフローチャートでは、Ｓ８の処理が終了したら、Ｓ８からＳ６に戻る。

【0073】

Ｓ８で、作業環境変更部６は、ピッキング作業の作業環境を変更する。Ｓ８の処理が終了したらＳ６に戻り、物品状態変化検知部５は、物品状態が変化したか否かを検知する。

【0074】

例えば、容器４１に複数の物品４０が隙間なく収納されている場合には、Ｓ８で作業環境変更部６が容器４１を揺らして作業環境を変更しようとても、物品状態が変化せず、作業環境を変更できない。この場合には、Ｓ６で、物品状態変化検知部５は、物品状態が変化しないことを検知する。そして、Ｓ８で、作業環境変更部６は、他の方法（例えば、計測センサ３０と物品４０との距離の変更）で作業環境を変更することができる。

【0075】

図７に示すフローチャートの処理を行うと、作業環境変更部６がピッキング作業の作業環境を変更した後で、作業環境が変更されたか否かを効果的に確認することができる。

【0076】

さらに、本実施例では、作業環境変更部６がピッキング作業の作業環境を変更しても物品状態が変化しない場合には、物品状態が変化しなかったことをピッキング装置１のユーザに通知することができる。

【0077】

ピッキング装置１の表示部１０５は、Ｓ８で作業環境変更部６がピッキング作業の作業環境を変更した後で、Ｓ２で認識部３が物品４０の認識に失敗した場合と、Ｓ４でロボット２０が物品４０のピッキング作業を失敗した場合と、Ｓ６で物品状態変化検知部５が物品状態が変化しなかったことを検知した場合のうち少なくとも１つの場合には、作業環境変更部６が作業環境の変更に失敗したことを、作業環境変更の失敗情報として表示する。ピッキング装置１は、作業環境の変更が予め定めた所定回数以上失敗したときに、作業環境変更の失敗情報を表示部１０５に出力してもよい。

【0078】

作業環境変更の失敗情報には、作業環境変更部６が行った作業環境の変更の履歴と、物品状態変化検知部５による物品状態の変化の検知結果を含めることができる。すなわち、表示部１０５は、作業環境の変更に失敗したことに加えて、作業環境の変更の履歴と物品状態の変化の検知結果（例えば、物品状態変化検知部５が検知した物品状態の変化や、物品状態変化検知部５が物品状態の変化を検知しなかったことなど）の少なくとも一方を表示することができる。

【0079】

ピッキング装置１が作業環境変更の失敗情報として作業環境の変更の履歴を表示部１０５に出力することで、ユーザは、物品状態が変化しない作業環境の変更を認識し、このような作業環境の変更を中止することができる。また、ピッキング装置１が作業環境変更の失敗情報として物品状態の変化の検知結果を表示部１０５に出力することで、ユーザは、物品状態の変化を検知したにもかかわらず物品４０の認識とピッキング作業を繰り返し失敗した原因の解明に有益な情報を得ることができる。このため、ピッキング装置１は、物品状態が変化しない無駄な作業環境の変更を繰り返し行うことがなく、ピッキング作業にかかる時間を削減することができる。

【0080】

以上説明したように、本実施例によるピッキング装置とピッキング方法では、物品４０のピックアップが失敗した場合（すなわち、物品の認識又はピックアップ動作が失敗した場合）で物品状態が変化していない場合のみに、ピッキング作業の作業環境を変更してピックアップ動作を実行する。物品４０のピックアップが失敗して物品状態が変化した場合には、作業環境を変更せずにピックアップ動作を実行する。このため、本実施例によるピッキング装置とピッキング方法は、物品４０のピックアップに失敗しても、作業環境を変更する頻度を減らして、ピッキング作業にかかる時間を削減することができる。

【0081】

なお、本発明は、上記の実施例に限定されるものではなく、様々な変形が可能である。例えば、上記の実施例は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明は、必ずしも説明した全ての構成を備える態様に限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、削除したり、他の構成を追加・置換したりすることが可能である。

【符号の説明】

【0082】

１…ピッキング装置、２…計測部、３…認識部、４…動作部、５…物品状態変化検知部、６…作業環境変更部、２０…ロボット、２１…ハンド、３０…計測センサ、４０、４０ａ…物品、４１…容器、４２…台、４５…部分領域、５０…ピッキングシステム、６０…作業領域、１００…プロセッサ、１０１…メモリ、１０２…記憶デバイス、１０３…入力デバイス、１０４…出力デバイス、１０５…表示部、１０６…伝送路。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】