特許 7486986 制御装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-10

(45)【発行日】2024-05-20

(54)【発明の名称】制御装置及びプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240513BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 10

(21)【出願番号】P 2020045226

(22)【出願日】2020-03-16

(65)【公開番号】P2021146403

(43)【公開日】2021-09-27

【審査請求日】2022-12-01

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】鄭 華馨

(72)【発明者】

【氏名】松村 淳

(72)【発明者】

【氏名】渡辺 優香

【審査官】樋口 幸太郎

(56)【参考文献】

【文献】特開２０１９－１５０９０４（ＪＰ，Ａ）

【文献】特開２０１８－０５１６８４（ＪＰ，Ａ）

【文献】特開２０１７－０９７８４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １３／０８

(57)【特許請求の範囲】

【請求項1】

載置部に載置された物品を把持して当該物品の移動を行う荷役装置に接続される第１の接続部と、
前記載置部を上方から撮像する撮像装置に接続される第２の接続部と、
前記撮像装置で撮像された画像を前記第２の接続部を介して取得し、取得した前記画像から前記載置部に載置された前記物品を認識する認識処理を実行し、前記認識処理で認識された前記物品の物品間の離間距離を算出し、前記離間距離に基づいて移動順序に係る優先度を前記物品に設定し、前記第１の接続部を介して前記荷役装置を制御することで、前記優先度に応じた順序で前記物品を移動させる制御部と、
を備え、
前記制御部は、前記優先度の設定において、上位の優先度を設定した前記物品との離間距離が最大となる他の物品に次位の優先度を順次設定する、制御装置。

【請求項2】

前記制御部は、認識した前記物品の中から、高さが最大の物品を一つ選定し、選定した物品の優先度を最上位に設定する請求項１に記載の制御装置。

【請求項3】

前記制御部は、認識した前記物品の中から、物品群の端部又は角部に存在する物品を一つ選定し、選定した物品の優先度を最上位に設定する請求項１に記載の制御装置。

【請求項4】

前記制御部は、前記認識処理で認識された前記物品毎に、当該物品を包含し且つ当該物品の外縁の少なくとも２点に接する外接円を設定し、当該外接円の中心間の距離に基づいて前記離間距離を算出する請求項１乃至３の何れか一項に記載の制御装置。

【請求項5】

前記制御部は、上位の優先度を設定した前記物品と他の物品との両物品間の離間距離が、当該両物品に係る前記外接円の各々の半径を加算した半径和以下となる場合、前記他の物品を優先度の設定対象から除外する請求項４に記載の制御装置。

【請求項6】

前記制御部は、上位の優先度を設定した前記物品との離間距離が最大となった他の物品と、当該他の物品の周辺に存在する周辺物品との間の離間距離が前記半径和以下となる場合、前記他の物品を優先度の設定対象から除外する請求項５に記載の制御装置。

【請求項7】

前記制御部は、前記荷役装置による前記物品の把持又は移動の際に異常を検出すると、前記撮像装置で撮像された新たな画像を用いて前記認識処理を実行する請求項１乃至６の何れか一項に記載の制御装置。

【請求項8】

前記制御部は、前記物品の移動が完了した後、当該物品の移動後に前記撮像装置で撮像された新たな画像と、前記認識処理で使用された前回の画像とに基づいて、移動済の前記物品を除く残りの物品の前記移動の前後における変化量を検出する差分チェックを実行し、当該変化量が閾値を上回った場合に、前記新たな画像を用いて前記認識処理を実行する請求項１乃至７の何れか一項に記載の制御装置。

【請求項9】

前記第２の接続部は、２次元画像を撮像する第１の撮像装置と、３次元画像を撮像する第２の撮像装置とに接続され、
前記制御部は、前記第１の撮像装置及び前記第２の撮像装置で撮像された前記２次元画像及び前記３次元画像に基づき、前記載置部に載置された前記物品の位置、形状及び姿勢を認識する請求項１乃至８の何れか一項に記載の制御装置。

【請求項10】

載置部に載置された物品を把持して当該物品の移動を行う荷役装置に接続される第１の接続部と、前記載置部を上方から撮像する撮像装置に接続される第２の接続部とを備える制御装置のコンピュータに、
前記撮像装置で撮像された画像を前記第２の接続部を介して取得する取得ステップと、
前記取得ステップで取得した前記画像から前記載置部に載置された前記物品を認識する認識処理を実行する認識ステップと、
前記認識ステップで認識された前記物品の物品間の離間距離を算出する算出ステップと、
前記離間距離に基づいて移動順序に係る優先度を前記物品に設定し、前記優先度の設定において、上位の優先度を設定した前記物品との離間距離が最大となる他の物品に次位の優先度を順次設定する設定ステップと、
前記第１の接続部を介して前記荷役装置を制御することで、前記優先度に応じた順序で前記物品を移動させる制御ステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、制御装置及びプログラムに関する。

【背景技術】

【0002】

従来、ロボットアーム等の移動装置を用いることで荷物等の物品の荷役（移動）が行われている。例えば、移動対象の物品が置かれた場所を撮像することで得られた画像から物品の位置、形状及び姿勢を認識し、周囲がクリアな物品から順番に把持を行う技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－７３０６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、把持対象（移動対象）の物品と当該物品の周囲に存在する他の物品との距離に基づき順番を決定するため、物品全体の位置関係を考慮することはできず、効率性の観点から更なる改善の余地がある。

【0005】

本発明が解決しようとする課題は、物品の移動を効率的に行うことが可能な制御装置及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

実施形態の制御装置は、第１の接続部と、第２の接続部と、制御部とを備える。第１の接続部は、載置部に載置された物品を把持して当該物品の移動を行う荷役装置に接続される。第２の接続部は、前記載置部を上方から撮像する撮像装置に接続される。制御部は、前記撮像装置で撮像された画像を前記第２の接続部を介して取得し、取得した前記画像から前記載置部に載置された前記物品を認識する認識処理を実行し、前記認識処理で認識された前記物品の物品間の離間距離を算出し、前記離間距離に基づいて移動順序に係る優先度を前記物品に設定し、前記第１の接続部を介して前記荷役装置を制御することで、前記優先度に応じた順序で前記物品を移動させる。

【図面の簡単な説明】

【0007】

【図1】図１は、第１の実施形態に係る荷役システムの構成の一例を示す図である。

【図2】図２は、第１の実施形態に係る制御装置のハードウェア構成の一例を示す図である。

【図3】図３は、第１の実施形態に係る制御装置の機能構成の一例を示す図である。

【図4】図４は、第１の実施形態に係る計画部の動作を説明するための図である。

【図5】図５は、第１の実施形態に係る計画部の動作を説明するための図である。

【図6】図６は、第１の実施形態に係る計画部の動作を説明するための図である。

【図7】図７は、第１の実施形態の制御装置が実行する処理の一例を示すフローチャートである。

【図8】図８は、第１の実施形態に係る制御装置の動作例を説明するための図である。

【図9】図９は、第１の実施形態の変形例１に係る計画部の動作を説明するための図である。

【図10】図１０は、第２の実施形態に係る制御装置の機能構成の一例を示す図である。

【図11】図１１は、第２の実施形態の制御装置が実行する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、実施形態に係る制御装置及び荷役システムを、図面を参照して説明する。

【0009】

（第１の実施形態）
図１は、第１の実施形態に係る荷役システムの構成の一例を示す図である。

【0010】

図１に示すように、荷役システム１は、荷役装置１０と、カメラ２０と、制御装置３０とを有する。ここで、荷役装置１０及びカメラ２０と、制御装置３０とは、例えばシリアルケーブルやＬＡＮ（Local Area Network）等を介して接続される。

【0011】

荷役装置１０は、荷役装置の一例である。荷役装置１０は、パレット２の上面２ａに載置された物品Ｗを目的位置に荷役（移動）するための装置である。物品Ｗの目的位置は、物品Ｗの移動先であればよく、例えばコンベアとすることができる。パレット２は、載置部の一例であり、例えば水平な床面Ｇに配置される。物品Ｗは、例えば定形又は不定形の立体物であり、パレット２の上面２ａに１又は複数個載置される。なお、本実施形態では、物品Ｗをパレット２に載置した例を示しているが、これに限らず、例えば床面Ｇ上に載置される形態としてもよい。この場合、物品Ｗが載置される床面Ｇ上の領域が載置部に対応することになる。

【0012】

荷役装置１０は、基台１１１と、基台１１１に支持されたアーム部１１２と、アーム部１１２の先端に設けられた把持部１１３とを備える。基台１１１は、床面Ｇに固定された筐体である。以下では、床面Ｇと平行な方向、すなわち重力の作用する方向に直交する方向を水平方向ともいう。また、床面Ｇに直交する方向、すなわち重力の作用する方向及びその逆方向を上下方向ともいう。

【0013】

アーム部１１２は、一例として多関節ロボットアームである。アーム部１１２は、把持部１１３によって保持された物品Ｗを上下方向に移動する動作、及び水平方向に移動する動作を実行可能に構成されている。

【0014】

例えば、アーム部１１２は、１軸又は２軸回りに回動可能な複数の関節により連結された３つの可動部１１２ａ～１１２ｃで構成される。可動部１１２ａは、基台１１１から延出している。可動部１１２ｂは、可動部１１２ａから延出している。可動部１１２ｃは、可動部１１２ｂから延出している。

【0015】

アーム部１１２（可動部１１２ｃ）の先端には、把持部１１３が取り付けられている。把持部１１３は、物品Ｗを挟み込んで把持する。なお、物品Ｗの把持は、挟持による把持方法に限定されない。例えば、把持部１１３に代えて、負圧によって物品Ｗを吸着把持する吸着部を用いてもよい。以下、把持部１１３によって物品Ｗを把持する動作、又は物品Ｗを把持する動作及び当該物品Ｗをアーム部１１２によって目的位置まで移動する動作を「ピッキング」ともいう。なお、アーム部１１２や把持部１１３には、物品Ｗのピッキング状態を検出するためのセンサ装置（例えば、接触センサ、重量センサ等）が設けられているものとする。

【0016】

カメラ２０は、撮像装置の一例である。カメラ２０は、パレット２の上方に設けられ、パレット２の上面２ａを上方から撮像する。カメラ２０は、ＲＧＢカメラ２１と、３次元カメラ２２とを有する。なお、ＲＧＢカメラ２１及び３次元カメラ２２の何れも、パレット２を撮像範囲（図中の破線範囲）に含むものとする。

【0017】

ＲＧＢカメラ２１は、２次元画像を撮像する第１の撮像装置の一例である。ＲＧＢカメラ２１は、カラー画像を撮像することが可能な撮像装置である。ＲＧＢカメラ２１は、撮像によって得られた２次元画像（以下、ＲＧＢ画像ともいう）を制御装置３０に出力する。かかるＲＧＢ画像には、パレット２の上面２ａに載置された物品Ｗを上方から見た状態が写し出されることになる。なお、２次元画像は、ＲＧＢ画像に限らず、グレースケールの画像であってもよい。

【0018】

３次元カメラ２２は、第２の撮像装置の一例である。３次元カメラ２２は、ステレオカメラや３Ｄレーザスキャナ装置等によって構成される。３次元カメラ２２は、パレット２の上面２ａを上方から撮像（又は計測）することで、パレット２の上面２ａに載置された物品Ｗの高さや形状を３次元的に表した３次元情報を取得する。

【0019】

また、３次元カメラ２２は、取得した３次元情報からデプス（Depth）画像と点群データ（point cloud）とを生成し、制御装置３０に出力する。ここで、デプス画像は、３次元カメラ２２からパレット２の上面２ａに載置された物品Ｗまでの距離情報を画像に変換したものである。また、点群データは、パレット２の上面２ａに載置された物品Ｗの表面の形状を３次元の点群で表したデータである。以下、デプス画像及び点群データを総称して３次元画像ともいう。

【0020】

ＲＧＢカメラ２１及び３次元カメラ２２は、制御装置３０からの撮像要求に応じて撮像を実行し、当該撮像によって得られたＲＧＢ画像及び３次元画像を制御装置３０に送信する。また、ＲＧＢカメラ２１及び３次元カメラ２２の一方を指定した撮像要求も可能となっており、この場合には、指定されたカメラ側が撮像を個別に実行する。

【0021】

なお、本実施形態では、３次元画像の生成を３次元カメラ２２が行う構成とするが、これに限らず、制御装置３０で３次元画像の生成を行う構成としてもよい。この場合、３次元カメラ２２は、撮像によって取得した３次元情報を制御装置３０に出力することで、３次元画像の生成が制御装置３０によって行われる。

【0022】

制御装置３０は、本実施形態における制御装置の一例である。制御装置３０は、カメラ２０の撮像結果に基づいて、荷役装置１０の動作を制御する。具体的には、制御装置３０は、カメラ２０から入力されるＲＧＢ画像及び３次元画像に基づいて、パレット２の上面２ａに載置された物品Ｗの各々を認識し、認識した各物品Ｗのピッキング順序を決定する。そして、制御装置３０は、荷役装置１０の動作を制御することで、パレット２の上面２ａに載置された物品Ｗの各々を、決定したピッキング順序で目的位置まで移動させる。

【0023】

なお、本実施形態では、制御装置３０を荷役装置１０と別体としたが、荷役装置１０と制御装置３０とを一体的に構成する形態としてもよい。この場合、荷役装置１０と制御装置３０とを、荷役装置と定義してもよい。また、荷役装置１０及び制御装置３０に、カメラ２０を含めた構成を荷役装置と定義してもよい。

【0024】

次に、上述した制御装置３０ハードウェア構成について説明する。図２は、制御装置３０のハードウェア構成の一例を示す図である。

【0025】

図２に示すように、制御装置３０は、プロセッサ３１、ＲＯＭ（Read Only Memory）３２、ＲＡＭ（Random Access Memory）３３、カメラインタフェース３４、荷役装置インタフェース３５及び記憶部３６を備える。

【0026】

プロセッサ３１は、制御部及びコンピュータの一例である。プロセッサ３１は、制御装置３０の動作を統括的に制御する。プロセッサ３１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現することができる。

【0027】

ＲＯＭ３２は、プロセッサ３１が実行する各種のプログラムや設定情報等を記憶する。ＲＡＭ３３は、プロセッサ３１のワークエリアとして使用される。

【0028】

カメラインタフェース３４は、第２の接続部の一例である。カメラインタフェース３４は、カメラ２０を接続するための通信インタフェースである。カメラインタフェース３４は、カメラ２０と通信可能に接続され、プロセッサ３１の制御の下、自装置とカメラ２０との間の通信を制御する。

【0029】

例えば、プロセッサ３１は、カメラインタフェース３４を介して、カメラ２０（ＲＧＢカメラ２１、３次元カメラ２２）に撮像要求を送信する。また、プロセッサ３１は、カメラインタフェース３４を介して、カメラ２０から送信されるＲＧＢ画像及び３次元画像を取得する。

【0030】

荷役装置インタフェース３５は、第１の接続部の一例である。荷役装置インタフェース３５は、荷役装置１０を接続するための通信インタフェースである。荷役装置インタフェース３５は、荷役装置１０と通信可能に接続され、プロセッサ３１の制御の下、自装置と荷役装置１０との間の通信を制御する。

【0031】

例えば、プロセッサ３１は、荷役装置インタフェース３５を介し、荷役装置１０の動作を制御する。また、プロセッサ３１は、荷役装置インタフェース３５を介して、荷役装置１０のピッキング状態を示すセンシング結果を取得する。

【0032】

記憶部３６は、例えば、フラッシュメモリ等の半導体メモリ素子やハードディスク等の補助記憶装置によって実現される。記憶部３６は、プロセッサ３１が実行する各種のプログラムや設定情報等を記憶する。また、記憶部３６は、荷役装置１０の上下方向及び水平方向の移動限界位置や、荷役装置１０の可動範囲、荷役装置１０が把持可能な物品の寸法の上限及び下限等を示した限界情報を記憶する。かかる限界情報は、例えば、後述する移動計画の導出に用いられる。

【0033】

次に、図３を参照して、制御装置３０が備える機能構成について説明する。図３は、制御装置３０の機能構成の一例を示す図である。

【0034】

図３に示すように、制御装置３０は、取得部３１１と、認識部３１２と、計画部３１３と、計画実行部３１４とを機能部として備える。これら機能部の一部又は全ては、プロセッサ３１が、ＲＯＭ３２又は記憶部３６に記憶されたプログラムを実行することで実現されるソフトウェア構成であってもよい。また、上述した機能部の一部又は全ては、プロセッサ３１が備える専用回路によって実現されるハードウェア構成であってもよい。このように、本実施形態においてはプロセッサ３１が制御部の一例として機能する。

【0035】

取得部３１１は、カメラインタフェース３４を介して、カメラ２０で撮像されたＲＧＢ画像及び３次元画像を取得する。具体的には、取得部３１１は、認識部３１２からの指示に応じて、ＲＧＢカメラ２１及び３次元カメラ２２の各々に対し撮像要求を送信する。そして、取得部３１１は、ＲＧＢカメラ２１及び３次元カメラ２２の各々から送信されたＲＧＢ画像と３次元画像とを取得する。

【0036】

なお、３次元カメラ２２から三次元情報が出力される場合には、取得部３１１は、カメラインタフェース３４を介して、３次元カメラ２２で取得された３次元情報を取得する。

【0037】

認識部３１２は、ＲＧＢ画像及び３次元画像に基づいて、パレット２の上面２ａに載置された物品Ｗの位置、形状、姿勢等を認識する。具体的には、認識部３１２は、計画部３１３からの認識要求に応じて、取得部３１１に対し画像の取得を指示する信号を送信する。そして、認識部３１２は、取得部３１１が取得したＲＧＢ画像及び３次元画像に基づいて、パレット２の上面２ａに存在する物品Ｗ各々の位置、形状、姿勢等を認識する。

【0038】

物品Ｗの認識方法は特に問わず、公知の技術を用いることができる。例えば、認識部３１２は、ＲＧＢ画像とデプス画像とに基づいて、パレット２の上面２ａに存在する各物品Ｗの位置（水平方向の位置）及び高さ（上下方向の高さ）等を認識する。また、認識部３１２は、点群データに基づいて、パレット２の上面２ａに存在する各物品Ｗの形状や姿勢等を認識する。

【0039】

なお、取得部３１１が３次元情報を取得した場合には、認識部３１２は、３次元情報に基づきデプス画像や点群データを生成する。そして、認識部３１２は、ＲＧＢ画像とともに、生成したデプス画像や点群データを用いて、パレット２の上面２ａに載置された物品Ｗの各々を認識する。

【0040】

計画部３１３は、認識部３１２の認識結果に基づいて、パレット２の上面２ａに載置された各物品Ｗを目的位置まで移動させるための移動計画を導出する。

【0041】

具体的には、計画部３１３は、取得部３１１に対し画像の取得を指示する信号を送信することで、パレット２の上面２ａに存在する物品Ｗの認識を認識部３１２に指示する。計画部３１３は、認識部３１２で認識された物品Ｗの物品間の離間距離を算出し、算出した離間距離に基づいて、ピッキング順序に係る優先度を物品Ｗに設定する。そして、計画部３１３は、優先度に応じた順序で物品Ｗを目的位置まで移動させるための移動計画を導出する。

【0042】

ここで、図４～図６を用いて、計画部３１３が物品Ｗに優先度を設定する際の動作例について説明する。

【0043】

図４～図６は、計画部３１３の動作を説明するための図であり、認識部３１２によって認識された物品Ｗの状態を模式的に表している。同図において、物品Ｗの末尾に示す番号１～４は、認識部３１２の認識によって付された各物品Ｗを識別するためのアイテム番号を意味する。以下では、物品Ｗを特定する場合には、物品Ｗとアイテム番号とを組み合わせた物品Ｗｎ（ｎはアイテム番号）と表記する。

【0044】

まず、計画部３１３は、認識部３１２によりパレット２の上面２ａに存在する物品Ｗが認識されると、認識された物品Ｗの中から、最初のピッキング対象となる物品Ｗを選定する。具体的には、計画部３１３は、以下に示す２つの条件の一方又は両方を充足する物品Ｗを、最初のピッキング対象に選定する。

【0045】

第１の条件は、高さが最大の物品Ｗであることである。第２の条件は、複数の物品Ｗで複数存在する場合の条件であり、物品Ｗ群の端部又は角部に存在する物品Ｗであることである。ここで、第１の条件は、物品Ｗを上方からピッキングする際の取りやすさを考慮したものである。また、第２の条件は、後述する処理において、ピッキング対象となる物品Ｗ間の離間距離をより大きく確保するための条件である。

【0046】

例えば、図４に示した物品Ｗ１～物品Ｗ４のうち、左上の端部（角部）に位置する物品Ｗ１の高さが最大であるとすると、計画部３１３は、物品Ｗ１を最初にピッキングするため最上位の優先度１を設定する。なお、図４では、優先度の設定対象となった物品Ｗを識別するため、物品Ｗ１に縦線のハッチングを施している（以下同様）。

【0047】

図４の例の場合、計画部３１３は、優先度１を設定した物品Ｗ１を最初にピッキングすることを指示した移動計画を導出することで、後述する計画実行部３１４の制御により、物品Ｗ１のピッキングが最初に実行される。

【0048】

また、計画部３１３は、次にピッキングする物品Ｗを選定するため、優先度１を設定した物品Ｗ１と、他の物品Ｗ２～Ｗ４の各々との間の離間距離を算出する。なお、図５では、ピッキング済の物品Ｗを識別するため、物品Ｗ１に斜線のハッチングを施している（以下同様）。

【0049】

具体的には、計画部３１３は、図５に示すように、認識部３１２で認識された物品Ｗ１～Ｗ４の形状に基づき、物品Ｗ１～Ｗ４の各々に外接する円（以下、外接円ともいう）Ｃ１～Ｃ４をそれぞれ設定する。ここで「外接円」は、物品Ｗを包含し、且つ当該物品の外縁の少なくとも２点に接（外接）する円を意味する。

【0050】

次いで、計画部３１３は、先の処理で優先度が設定された物品Ｗ１を基点とし、その外接円Ｃ１の中心から、他の物品Ｗ２～Ｗ４の各々に係る外接円Ｃ２～Ｃ４の中心までの中心間距離ｄ１２、ｄ１３、ｄ１４を離間距離としてそれぞれ算出する。以下、物品Ｗ間の離間距離を中心間距離とも表記する。

【0051】

また、計画部３１３は、物品Ｗ１に係る外接円Ｃ１の半径ｒ１と、他の外接円Ｃ２～Ｃ４の半径ｒ２～ｒ４とをそれぞれ加算することで、半径和ｒ１２（＝ｒ１＋ｒ２）、ｒ１３（＝ｒ１＋ｒ３）、ｒ１４（＝ｒ１＋ｒ４）をそれぞれ算出する。

【0052】

計画部３１３は、物品Ｗ２～Ｗ４毎に中心間距離と半径和とを比較し、中心間距離が半径和よりも大きな物品Ｗを抽出する。例えば、図５の場合、物品Ｗ３は、中心間距離ｄ１３が半径和ｒ１３よりも大きいため、計画部３１３は、物品Ｗ３をピッキング候補として抽出する。また、物品Ｗ４も、中心間距離ｄ１４が半径和ｒ１４よりも大きいため、計画部３１３は、物品Ｗ４をピッキング候補として抽出する。また、物品Ｗ２は、中心間距離ｄ１２が半径和ｒ１２以下となるため、計画部３１３は、この物品Ｗ２をピッキング対象から除外する。

【0053】

ここで、中心間距離が半径和以下の物品Ｗ２は、基点とした物品Ｗ１のピッキングの際に接触等の影響を受けた（或いは受ける）可能性がある。この場合、物品Ｗ２を次のピッキング対象としても、認識処理で認識された物品Ｗ２の位置や姿勢からズレが発生している可能性があるため、ピッキングを正常に完了できない可能性がある。そのため、物品Ｗ２をピッキング対象から除外しておくことで、複数の物品Ｗを連続してピッキングする際の動作を円滑に行うことができる。

【0054】

なお、認識部３１２で新たな認識が行われるまでの間、物品Ｗ２に対する除外設定は維持される。また、ピッキング済の物品Ｗについても、ピッキング対象から除外されるものとする。

【0055】

続いて、計画部３１３は、ピッキング候補として抽出した物品Ｗ３と物品Ｗ４との間で中心間距離ｄ１３、ｄ１４を比較し、中心間距離がより大きな物品Ｗ、つまり中心間距離が最大の物品Ｗを一つ選定する。図５の例では、物品Ｗ４に係る中心間距離ｄ１４の方が、物品Ｗ３に係る中心間距離ｄ１３よりも大きいため、計画部３１３は、物品Ｗ４を選定する。そして、計画部３１３は、選定した物品Ｗ４に対し次位の優先度２を設定する。この場合、計画部３１３は、優先度２を設定した物品Ｗ２をピッキングすることを指示した移動計画を導出する。

【0056】

さらに、計画部３１３は、優先度２を設定した物品Ｗ４を基点とし、上述と同様の処理を行うことで、物品Ｗ３に対し次位の優先度３を設定する。そして、計画部３１３は、優先度３を設定した物品Ｗ３をピッキングすることを指示した移動計画を導出する。

【0057】

図６は、図４及び図５で説明した物品Ｗ１～Ｗ４に対する優先度の設定結果を示している。上述したように、物品Ｗ１、物品Ｗ３、物品Ｗ４のそれぞれに対し、優先度１、優先度３、優先度２が設定される。この場合、図中矢印で示すように、優先度の順、つまり物品Ｗ１→物品Ｗ４→物品Ｗ３の順にピッキングが行われることになる。なお、図６では、ピッキング候補から除外された物品Ｗを識別するため、物品Ｗ２に対し×印を付している。

【0058】

なお、計画部３１３は、上述の処理において、ピッキング候補の物品Ｗが存在しないと判断した場合には、認識部３１２に対し認識要求を出力することで、カメラ２０で撮像される新たなＲＧＢ画像及び３次元画像に基づく認識処理を実行させる。そして、計画部３１３は、認識部３１２によって取得された新たな認識結果に基づき優先度の設定を再度行う。

【0059】

このように、計画部３１３は、上位の優先度を設定した物品Ｗとの離間距離が最大となる他の物品Ｗに次位の優先度を順次設定する。つまり、計画部３１３は、先にピッキングを行う物品Ｗから最も離れた位置に存在する他の物品Ｗを、次のピッキング対象に設定する。これにより、物品Ｗのピッキング時に、当該物品Ｗの周辺に存在する他の物品Ｗに把持部１１３等が接触したような場合であっても、次にピッキング対象の物品Ｗへの影響を抑えることができる。したがって、計画部３１３は、複数の物品Ｗを連続してピッキングする動作を効率的に行うことができる。

【0060】

また、計画部３１３が離間距離の算出に用いる物品Ｗの外接円は、荷役装置１０が物品Ｗを把持する際の重心位置や回転範囲を規定するものとなる。具体的には、荷役装置１０の把持部１１３が物品Ｗを把持する際の重心位置は、物品Ｗの外接円の中心に略対応する。また、荷役装置１０が物品Ｗをピッキングする際に物品Ｗを水平方向に回転させる場合があるが、その回転範囲は物品Ｗの外接円に略対応する。そのため、外接円の中心間距離や半径和を基準にピッキング候補の選定と除外とを行うことで、ピッキング時に発生する接触や荷崩れ等の影響を低減化した順序で物品Ｗのピッキングを行うことができる。また、例えば物品Ｗ４のように不定形の物品Ｗをピッキングする場合であっても、当該物品Ｗの重心位置や回転範囲を規定することができるため、当該物品Ｗのピッキングを効率的に行うことができる。

【0061】

また、計画部３１３は、一度の認識処理で得られた認識結果からピッキング候補を抽出できなくなるまでの間、当該認識結果を継続して用いることで、複数の物品Ｗの移動計画を導出する。これにより、制御装置３０では、カメラ２０によるＲＧＢ画像及び３次元画像の撮像回数や、認識部３１２が実行する認識処理の実行回数を抑えることができるため、処理負荷を低減するとともにピッキングの高速化を図ることができる。

【0062】

なお、計画部３１３は、荷役装置１０から通知される物品Ｗのピッキング状態を監視し、ピッキング状態の異常を検出した場合には、上記と同様、認識部３１２に認識要求を送信することで、新たなＲＧＢ画像及び３次元画像に基づく認識処理を実行させる。ここで、ピッキング状態の異常とは、例えば、予定された物品Ｗをピッキングできない場合や、物品Ｗの脱落等、ピッキングが失敗した場合等が挙げられる。

【0063】

図３に戻り、計画実行部３１４は、計画部３１３で導出された移動計画に基づいて、荷役装置１０の動作（駆動機構）を制御する。具体的には、計画実行部３１４は、移動計画に基づき荷役装置１０の動作を制御することで、パレット２の上面に載置されたピッキング対象の物品Ｗを把持させ、当該物品Ｗを目的位置まで移動させる。

【0064】

上述した機能構成により、制御装置３０は、パレット２の上面２ａに載置された物品Ｗを、荷役装置１０を用いて目的位置まで移動させることができる。より詳細には、制御装置３０は、パレット２の上面２ａに載置された物品Ｗの各々を、設定した優先度の順に目的位置まで順次移動させることができる。

【0065】

以下、上述した制御装置３０の動作例について説明する。ここで、図７は、制御装置３０が実行する処理の一例を示すフローチャートである。

【0066】

まず、計画部３１３は、認識部３１２を介し取得部３１１に撮像要求を送信させることで、カメラ２０で撮像されたＲＧＢ画像及び３次元画像を取得部３１１に取得させる（ステップＳ１１）。認識部３１２は、取得されたＲＧＢ画像及び３次元画像に基づき、物品Ｗを認識するための認識処理を実行する（ステップＳ１２）。

【0067】

続いて、計画部３１３は、優先度の値を規定するインデックスｎを１に設定する（ステップＳ１３）。次いで、計画部３１３は、ステップＳ１２の認識結果に基づき、物品Ｗが存在するか否かを判定する（ステップＳ１４）。より詳細には、計画部３１３は、認識結果の中にピッキング済とされた物品Ｗ以外の物品Ｗが存在するか否かを判定する。

【0068】

物品Ｗが存在すると判定した場合（ステップＳ１４；Ｙｅｓ）、計画部３１３は、インデックスｎの値が１か否かを判定する（ステップＳ１５）。ここで、ｎ＝１と判定した場合（ステップＳ１５；Ｙｅｓ）、計画部３１３は、ステップＳ１２の認識処理で認識された物品Ｗの中から、上述した第１の条件及び第２の条件の何れか一方又は両方に該当する物品Ｗを一つ選定する（ステップＳ１６）。次いで、計画部３１３は、ステップＳ１６で選定した物品Ｗに優先度ｎ、つまり優先度１を設定した後（ステップＳ１７）、ステップＳ２２に移行する。

【0069】

続くステップＳ２２において、計画部３１３は、優先度ｎを設定した物品Ｗの移動計画を導出する（ステップＳ２２）。次いで、計画実行部３１４は、ステップＳ２２で導出された移動計画に基づき荷役装置１０を動作させることで、優先度ｎが設定された物品Ｗのピッキングを開始する（ステップＳ２３）。

【0070】

計画部３１３は、荷役装置１０から送信されるセンシング結果に基づいてピッキングの状態を監視する。計画部３１３は、ピッキング状態の異常を検出すると（ステップＳ２４；Ｙｅｓ）、ステップＳ１１に処理を戻すことで、新たに撮像されるＲＧＢ画像及び３次元画像に基づく認識処理を実行させる。

【0071】

荷役装置１０によるピッキングが正常に完了した場合には（ステップＳ２４；Ｎｏ）、計画部３１３は、認識結果に含まれた物品Ｗのうち、直近の処理で優先度ｎを設定した物品Ｗの状態をピッキング済に変更する消し込み処理を行う（ステップＳ２５）。次いで、計画部３１３は、インデックスｎの値を１インクリメントし（ステップＳ２６）、ステップＳ１４に処理を戻す。

【0072】

一方、ステップＳ１５で、ｎ≠１と判定した場合、つまりｎの値が２以上の場合（ステップＳ１５；Ｎｏ）、計画部３１３は、直前の処理で優先度ｎ－１を設定した物品Ｗを基点に、他の物品Ｗとの中心間距離及び半径和を算出する（ステップＳ１８）。

【0073】

続いて、計画部３１３は、ステップＳ１８の算出結果に基づき、中心間距離が半径和以下となる物品Ｗをピッキング候補から除外する（ステップＳ１９）。次いで、計画部３１３は、ピッキング済（又は優先度設定済）の物品Ｗ及びステップＳ１９で除外した物品Ｗ以外の残りの物品Ｗの中に、中心間距離が半径和よりも大きい物品Ｗが存在するか否かを判定する（ステップＳ２０）。ここで、存在しないと判定した場合には（ステップＳ２０；Ｎｏ）、計画部３１３は、ステップＳ１１に処理を戻すことで、新たに撮像されるＲＧＢ画像及び３次元画像に基づく認識処理を実行させる。

【0074】

また、中心間距離が半径和よりも大きい物品Ｗが存在すると判定した場合（ステップＳ２０；Ｙｅｓ）、計画部３１３は、中心間距離が最大の物品Ｗに優先度ｎを設定し（ステップＳ２１）、ステップＳ２２に移行する。

【0075】

上述したステップＳ１６～Ｓ２１の処理により、一度の認識処理で認識された物品Ｗの各々に対し優先度が順次設定される。また、物品Ｗに優先度が設定される毎に、当該物品Ｗの移動計画の導出とピッキングとが実行されることで、優先度の順に物品Ｗのピッキングが行われる。

【0076】

そして、計画部３１３は、全ての物品Ｗを移動した等の理由により、ステップＳ１４で物品Ｗが存在しないと判定すると（ステップＳ１４；Ｙｅｓ）、本処理を終了する。

【0077】

ここで、図８を参照して、上述した図７の処理の動作例を説明する。なお、図８は、制御装置３０の動作例を説明するための図であり、認識部３１２によって認識されたパレット２の上面２ａでの物品Ｗの状態を模式的に示している。なお、図８では、図４及び図５と同様に、新たに優先度が設定された物品Ｗを縦線のハッチングで表し、ピッキングが完了した物品Ｗ、つまり消し込み処理が完了した物品Ｗ１１を斜線のハッチングで表している。

【0078】

図８（ａ）に示すように、認識部３１２の認識結果に物品Ｗが存在する場合、計画部３１３は、上述した第１の条件及び第２の条件に基づき、最初のピッキング対象となる物品Ｗを選定する。例えば、計画部３１３は、図８（ａ）に示した１１個の物品Ｗ（Ｗ１１～Ｗ２１）の中から、左上端部（角度）の物品Ｗ１１を選定すると、この物品Ｗ１１に最上位の優先度１を設定する。優先度１が設定された物品Ｗ１１は、上述したステップＳ２２及びＳ２３の処理を経ることでピッキングが実行される。

【0079】

なお、計画部３１３は、物品Ｗ１１のピッキングが正常に完了した後も、認識部３１２の認識結果を継続して利用するため、物品Ｗ１１の存在は認識結果に残ることになる。そのため、計画部３１３は、続く図８（ｂ）に示すように、認識結果に存在する物品Ｗ１１の状態をピッキング済に変更するための消し込み処理を行う。

【0080】

続いて、計画部３１３は、図８（ｂ）に示すように、直前の処理で優先度を設定した物品Ｗ１１を基点に、他の物品との中心間距離及び半径和をそれぞれ算出する。ここで、物品Ｗ１１と物品Ｗ２１との中心間距離が最大であるとすると、計画部３１３は、この物品Ｗ２１に対し次位の優先度２を設定する。優先度２が設定された物品Ｗ２１は、上述したステップＳ２２及びＳ２３の処理を経ることでピッキングが実行される。

【0081】

物品Ｗ２１のピッキングが正常に完了すると、計画部３１３は、図８（ｃ）示すように、物品Ｗ２１の消し込み処理を実行する。次いで、計画部３１３は、直前の処理で優先度を設定した物品Ｗ２１を基点に、物品Ｗ１１を除いた他の物品との中心間距離及び半径和をそれぞれ算出する。ここで、物品Ｗ２０に係る中心間距離が半径和以下であったとすると、計画部３１３は、この物品Ｗ２０をピッキング対象から除外する。また、物品Ｗ２１と物品Ｗ１８との中心間距離が最大であるとすると、計画部３１３は、この物品Ｗ１８に対し次位の優先度３を設定する。優先度３が設定された物品Ｗ１８は、上述したステップＳ２２及びＳ２３の処理を経ることでピッキングが実行される。

【0082】

物品Ｗ１８のピッキングが正常に完了すると、計画部３１３は、図８（ｄ）示すように、物品Ｗ１８の消し込み処理を実行する。次いで、計画部３１３は、直前の処理で優先度を設定した物品Ｗ１８を基点に、物品Ｗ１１及びＷ２１を除いた他の物品との中心間距離及び半径和をそれぞれ算出する。なお、図８（ｄ）では、前回の処理（図８（ｃ））でピッキング対象から除外された物品Ｗ２０を×印で表している。

【0083】

ここで、物品Ｗ１８と物品Ｗ１４との中心間距離が最大であるとすると、計画部３１３は、この物品Ｗ１４に対し次位の優先度４を設定する。優先度４が設定された物品Ｗ１４は、上述したステップＳ２２及びＳ２３の処理を経ることでピッキングが実行される。

【0084】

以降、計画部３１３は、残りの物品Ｗに対し同様の処理を繰り返し行うことで、図８（ｅ）、図８（ｆ）に示すように、物品Ｗ１９、物品Ｗ１２のピッキングが順次行われる。また、処理を経ることでピッキング対象から除外された物品Ｗも累積し、図８（ｇ）の状態では、ピッキング済の物品Ｗ（Ｗ１１、Ｗ１２、Ｗ１４、Ｗ１８、Ｗ１９、Ｗ２１）以外の残りの物品Ｗ（Ｗ１３、Ｗ１５、Ｗ１６、Ｗ１７、Ｗ２０）が、全てピッキング対象から除外された状態となる。

【0085】

この場合、計画部３１３は、ステップＳ２０の処理において、中心間距離が半径和より大きな物品が存在しないと判断することで、ステップＳ１１へと処理を戻す。これにより、カメラ２０による撮像が新たに行われるため、認識部３１２が新たに行う認識処理の認識結果には、図８（ｈ）に示すように、残りの物品Ｗ１３、Ｗ１５、Ｗ１６、Ｗ１７及びＷ２０が存在することになる。

【0086】

そして、計画部３１３は、図８（ｈ）の認識結果に基づき、各物品Ｗ１３、Ｗ１５、Ｗ１６、Ｗ１７及びＷ２０の各々に優先度を設定する処理を新たに開始することで、当該優先度の順にピッキングを行わせることができる。

【0087】

以上のように、制御装置３０によれば、カメラ２０で撮像された画像（ＲＧＢ画像、３次元画像）からパレット２に載置された物品Ｗを認識する認識処理を実行し、認識処理で認識された物品Ｗの物品間の離間距離を算出し、算出した離間距離に基づいて移動順序に係る優先度を物品Ｗに設定し、荷役装置１０を制御することで、優先度に応じた順序で物品Ｗを移動させる。また、制御装置３０は、上記の優先度の設定に際し、上位の優先度を設定した前記物品との離間距離が最大となる他の物品に次位の優先度を順次設定する。

【0088】

上記の構成により、制御装置３０は、パレット２の上面２ａに載置された物品Ｗ全体の位置関係からピッキングを行う順序を決定することができるため、先にピッキングを行う物品Ｗと、次にピッキングを行う物品Ｗとの離間距離を大きく確保することができる。これにより、制御装置３０では、先のピッキングにより生じる影響が、次のピッキング対象の物品Ｗに及ぶことを抑えることができるため、複数の物品Ｗを連続してピッキングする際の動作を効率的に行うことができる。したがって、制御装置３０では、物品Ｗのピッキングを効率的に行うことができる。

【0089】

また、制御装置３０では、一度の認識処理で得られた認識結果から、複数の物品の優先度を順次設定し、当該優先度の順にピッキングを行わせることができる。これにより、制御装置３０では、カメラ２０によるＲＧＢ画像及び３次元画像の撮像回数や、認識部３１２が実行する認識処理の実行回数を抑えることができるため、処理負荷を低減するとともにピッキングの高速化を図ることができる。したがって、制御装置３０では、物品Ｗのピッキングを効率的に行うことができる。

【0090】

以上説明した実施形態は、上述の各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。

【0091】

（変形例１）
上述の実施形態では、基点となる物品Ｗとの中心間距離が最大となる他の物品Ｗを次のピッキング対象とする形態を説明したが、ピッキング対象の選定条件はこれに限らず、更なる条件を付加してもよい。

【0092】

例えば、基点となる物品Ｗとの中心間距離が最大となる他の物品Ｗを特定した後、当該他の物品Ｗとその周辺に存在する物品Ｗ（以下、周辺物品ともいう）との配置関係が所定の条件を満たす場合にのみ、特定した他の物品Ｗをピッキング対象に選定する構成としてもよい。以下、図９を参照して、本変形例の選定条件について説明する。

【0093】

図９は、変形例１に係る選定条件を説明するための図である。ここで、図９に示す物品Ｗ３１、Ｗ３２、Ｗ３３の各々は、何れも認識部３１２によって認識された物品Ｗである。また、計画部３１３は、物品Ｗ３１を基点に、物品Ｗ３２及び物品Ｗ３３との中心間距離をそれぞれ算出し、中心間距離が最大の物品Ｗ３３を特定済みであるとする。

【0094】

上述した実施形態では、計画部３１３は、特定した物品Ｗ３３に次位の優先度を設定することで、次のピッキング対象に選定する。しかしながら、この場合、物品Ｗ３３と当該物品Ｗ３３周辺の周辺物品との関係は考慮されていない。そのため、例えば、図９に示すように、物品Ｗ３３の一部に物品Ｗ３２が重畳して配置されているような場合には、物品Ｗ３３のピッキングを行うことで、物品Ｗ３２への接触や物品Ｗ３２の荷崩れが発生する可能性がある。

【0095】

そこで、計画部３１３は、物品Ｗ３３を特定した後、その物品Ｗ３３と、周辺物品である物品Ｗ３２との配置関係が所定の条件を満たすか否かを判定し、荷崩れ等の可能性がないことが確認できた場合にのみ、物品Ｗ３３を次のピッキング対象に選定する。

【0096】

ここで、判定条件は、任意に設定できるものとする。例えば、物品Ｗ３３と物品Ｗ３２との中心間距離がその半径和より大きいことを判定条件としてもよい。また、例えば、特定した物品Ｗ３３の高さが、物品Ｗ３２よりも高いことを判定条件としてもよい。このような判定条件を付加することで、周辺物品との接触や荷崩れが発生する可能性が低い物品Ｗを、次のピッキング対象に選定することができる。

【0097】

なお、中心間距離に基づき特定した物品Ｗが上記の判定条件を充足しない場合、計画部３１３は、物品Ｗ３１との中心間距離が最大となった物品Ｗ３３に次位の優先度を設定することなく、当該物品Ｗ３３（及び物品Ｗ３２）をピッキング対象から除外する。この場合、計画部３１３は、物品Ｗ３３及び物品Ｗ３２を除いた残りの物品Ｗ（図示せず）の中から、物品Ｗ３１との中心間距離が最大となる物品Ｗを選定し、当該物品Ｗに次位の優先度を設定するものとする。

【0098】

（変形例２）
上述の実施形態では、優先度を設定する毎に移動計画を導出してピッキングを行わせる形態を説明したが、これに限定されるものではない。例えば、計画部３１３は、認識された各物品Ｗの優先度を先に設定した後、その優先度に応じた順序でピッキングを行わせるための移動計画を一度に導出する形態としてもよい。

【0099】

具体的には、計画部３１３は、上述したステップＳ１６及びＳ１７の処理を実行することで一の物品Ｗに優先度１を選定した後、インデックスｎを１インクリメントしながら、上述したステップＳ１８～Ｓ２１の処理を繰り返し実行する。これにより、認識された物品Ｗの各々に優先度を順次設定することができる。

【0100】

そして、計画部３１３は、例えば中心間距離が半径和より大きな物品が存在しないと判定した場合に（ステップＳ２０；Ｎｏ）、それまでに設定した各物品Ｗの優先度に基づき、優先度に応じた順序でピッキングを行わせるための移動計画を導出する。なお、ピッキング最中に異常が検出された場合には、移動計画を破棄した後、ステップＳ１１に処理を戻すものとする。

【0101】

このような構成とすることで、上述の実施形態と同様の効果を奏することができるため、上述の実施形態と同様に物品Ｗのピッキングを効率的に行うことができる。

【0102】

（第２の実施形態）
次に第２の実施形態について説明する。本実施形態では、ピッキング前後の物品Ｗの状態を比較することで、荷崩れ等の発生を検出することが可能な形態について説明する。なお、第１の実施形態と同様の構成については同一の符号を付与し説明を省略する。

【0103】

図１０は、第２の実施形態に係る制御装置３０ａの機能構成の一例を示す図である。図１０に示すように、制御装置３０ａは、取得部３１１と、認識部３１２と、計画部３１３ａと、計画実行部３１４とを機能部として備える。

【0104】

ここで、計画部３１３ａは、第１の実施形態の計画部３１３に対応する機能部であり、計画部３１３と同様の機能を備える。また、計画部３１３ａは、計画部３１３にはない固有の機能として、荷役装置１０によるピッキングが完了した場合に、認識部３１２を介して、ＲＧＢ画像の撮像をカメラ２０に要求する。計画部３１３ａは、取得部３１１により新たに取得されたＲＧＢ画像と、認識部３１２の認識で使用された前回のＲＧＢ画像とに基づき、ピッキングの前後で生じた物品Ｗに係る変化量を検出する差分チェックを行う。

【0105】

具体的には、計画部３１３ａは、前回のＲＧＢ画像と新たなＲＧＢ画像とで、物品Ｗの各々が存在する画像上の領域の変化量を検出し、当該変化量が閾値を上回る場合に差分ありと判定する。なお、差分の有無の判定方法は特に問わず、公知の技術を用いることが可能である。例えば、新旧の両ＲＧＢ画像において、同一画素位置の画素毎に画素値の差分を算出し、算出した差分の平均値と、予め定めた閾値とを比較することで差分の有無を判定してもよい。また、例えば、２つの画像（画像領域）から両画像間の差分の有無を出力（推論）するよう機能付けられた機械学習モデルを用いることで、差分の有無を判定してもよい。

【0106】

なお、計画部３１３ａは、認識部３１２で認識された物品Ｗのうち、消し込み処理が実行済の物品Ｗ、つまりピッキングが完了した物品Ｗについては差分チェックの対象から除外し、残りの物品Ｗを差分チェックの対象とする。具体的には、計画部３１３ａは、認識結果等に記録されたピッキング済の状態か否かを示す状態情報に基づいて、ピッキングが未完了の物品Ｗを特定し、特定した物品Ｗを差分チェックの対象とする。また、本実施形態において、差分なしの状態とは、新旧のＲＧＢ画像で完全に一致する状態に限らず、ある程度の誤差を許容する略同等の状態を含む概念である。

【0107】

差分チェックで差分ありと判定された場合、物品Ｗの配置位置や姿勢がピッキングの前後で変化したことを意味する。これは、物品Ｗをピッキングした際に他の物品Ｗに接触した可能性や荷崩れが発生した可能性があることを意味する。このような場合、前回の認識結果を基に導出した移動計画では、物品Ｗの位置を捕捉することができないため正常にピッキングを行うことができない可能性がある。

【0108】

そこで、計画部３１３ａは、差分チェックで差分ありと判定した場合、認識部３１２を介して、３次元画像の撮像をカメラ２０に要求する。次いで、計画部３１３ａは、取得部３１１により新たに取得された３次元画像と、先に取得しておいたＲＧＢ画像とを用いて認識部３１２に認識処理を実行させる。そして、計画部３１３ａは、新たな認識結果に基づき、認識された物品Ｗの各々の移動計画を導出する。

【0109】

以下、上述した制御装置３０ａの動作例について説明する。ここで、図１１は、制御装置３０ａが実行する処理の一例を示すフローチャートである。なお、ステップＳ３１～Ｓ４４の処理は、第１の実施形態で説明した図７のステップＳ１１～Ｓ２４の処理と同様であるため説明を省略する。

【0110】

ステップＳ４４において、ピッキングが正常に完了すると（ステップＳ４４；Ｎｏ）、計画部３１３ａは、認識部３１２を介して取得部３１１にＲＧＢ画像の撮像要求を送信させることで、ＲＧＢカメラ２１で撮像されたＲＧＢ画像を取得部３１１に取得させる（ステップＳ４５）。

【0111】

続いて、計画部３１３ａは、ステップＳ４５で取得されたＲＧＢ画像と、ステップＳ３１で取得されたＲＧＢ画像（前回のＲＧＢ画像）と、ステップＳ３２の認識結果（前回の認識結果）とに基づき、ピッキング前後の物品Ｗの状態を比較する差分チェックを実行する（ステップＳ４６）。次いで、計画部３１３は、差分チェックの結果に基づき、差分の有無を判定する（ステップＳ４７）。

【0112】

ここで、「差分なし」と判定した場合には（ステップＳ４７；Ｎｏ）、計画部３１３ａは、ステップＳ４８、Ｓ４９の処理を実行した後、ステップＳ３４に処理を戻す。なお、ステップＳ４８及びＳ４９の処理は、第１の実施形態で説明した図７のステップＳ２５、Ｓ２６と同様であるため説明を省略する。

【0113】

一方、「差分あり」と判定した場合（ステップＳ４７；Ｙｅｓ）、計画部３１３ａは、認識部３１２を介して取得部３１１に３次元画像の撮像要求を送信させることで、３次元カメラ２２で撮像された３次元画像を取得部３１１に取得させる（ステップＳ５０）。続いて、計画部３１３ａは、ステップＳ３２に処理を戻し、ステップＳ４５で取得されたＲＧＢ画像とステップＳ５０で取得された３次元画像とに基づき、認識部３１２に認識処理を実行させる。

【0114】

以上のように、制御装置３０ａは、物品Ｗのピッキングが完了した後、ピッキング後に撮像された新たなＲＧＢ画像と、認識処理で使用されたＲＧＢ画像及び当該認識処理の認識結果とに基づいて、ピッキングの前後で生じた変化を検出する差分チェックを実行する。そして、制御装置３０ａは、差分チェックの結果、変化あり（差分あり）と判定すると、新たなＲＧＢ画像及び３次元画像を用いて認識処理を新たに行い、当該認識処理の認識結果に基づいて優先度の設定を行う。

【0115】

これにより、制御装置３０ａでは、ピッキング時の接触や荷崩れ等の発生によりパレット２の上面２ａに載置された物品Ｗの状態が変化した場合であっても、変化後の状態を反映した認識結果に基づき物品Ｗのピッキングを継続させることができる。したがって、制御装置３０では、物品Ｗのピッキングを効率的に行うことができる。

【0116】

以上説明した実施形態は、上述の各装置が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。

【0117】

（変形例１）
上述の実施形態では、図１１で説明したステップＳ４７の処理において、差分ありと判定されたことを条件に３次元画像の撮像要求を行う形態を説明した。しかしながら、３次元画像を取得するタイミングはこれに限らず、ステップＳ４４～Ｓ４７の任意のタイミングで撮像要求を行う形態としてもよい。一例として、ステップＳ４５でＲＧＢ画像の撮像要求を行ったタイミングで３次元画像の撮像要求を行ってもよい。

【0118】

上記の処理内容とすることで、ステップＳ４７で差分ありと判定された場合に、より速やかに、新たなＲＧＢ画像及び３次元画像を用いた認識処理に移行することができる。なお、ステップＳ４７で差分なしと判定された場合には、取得した３次元画像は破棄されるものとする。

【0119】

以上、本発明のいくつかの実施形態（変形例）を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0120】

１ 荷役システム
１０ 荷役装置
２０ カメラ
２１ ＲＧＢカメラ
２２ ３次元カメラ
３０ 制御装置
３１１ 取得部
３１２ 認識部
３１３ 計画部
３１４ 計画実行部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】