特許 7481867 制御装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-01

(45)【発行日】2024-05-13

(54)【発明の名称】制御装置及びプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240502BHJP

   G06T 7/70 20170101ALI20240502BHJP

【ＦＩ】

B25J13/08 A

G06T7/70 Z

【請求項の数】 6

(21)【出願番号】P 2020045227

(22)【出願日】2020-03-16

(65)【公開番号】P2021146404

(43)【公開日】2021-09-27

【審査請求日】2023-01-06

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】渡辺 優香

(72)【発明者】

【氏名】関谷 健一

(72)【発明者】

【氏名】赤木 琢磨

(72)【発明者】

【氏名】松村 淳

【審査官】樋口 幸太郎

(56)【参考文献】

【文献】特開２０１０－１２０１４１（ＪＰ，Ａ）

【文献】特開２０１２－１２５８７８（ＪＰ，Ａ）

【文献】特開２０１９－１９９３３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １３／０８

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

載置台に載置された物品を上方から撮像する撮像装置から、前記物品を２次元で表した第１撮像データと前記物品を３次元で表した第２撮像データとを含む撮像画像を取得する取得部と、
当該撮像画像に基づいて前記載置台に載置された前記物品を認識する認識処理を実行し、
前記認識処理の処理結果に基づいて移動対象の物品を選出する選出処理を実行し、
荷役装置を用いて前記移動対象の物品を移動させるための移動処理を実行し、
前記選出処理及び前記移動処理を１回以上実行した後に、前記取得部が新たな撮像画像を取得した場合に、取得された前記新たな撮像画像のうちの前記第１撮像データと、前記認識処理で使用した前回の第１撮像データとの変化量が閾値以下となる物品を検出する差分チェックを実行し、
前記差分チェックにより検出した前記物品の中から次の移動対象となる物品を選出する選出処理を実行して、前記次の移動対象となる物品を、前回の前記認識処理の結果に基づいて移動させる移動処理を実行させる制御部と、
を備える制御装置。

【請求項2】

前記制御部は、認識した前記物品のうち、前回の選出処理で選出済みの物品は、移動対象の物品の候補から除外する、
請求項１に記載の制御装置。

【請求項3】

前記制御部は、
前記移動処理が完了した時点において、前記取得部が取得した前記新たな撮像画像を用いた今回の認識処理が完了している場合、該今回の認識処理の処理結果に基づいて移動対象の物品を選出する選出処理を実行し、
今回の認識処理の処理結果に基づいて移動対象の前記物品を移動させるための移動処理を実行する、
請求項１又は２に記載の制御装置。

【請求項4】

前記制御部は、
前記移動処理が完了した時点において、前記取得部が取得した前記新たな撮像画像を用いた今回の認識処理が完了していない場合、前回の認識処理の処理結果に基づいて移動対象の物品を選出する選出処理を実行し、
前回の認識処理の処理結果に基づいて移動対象の前記物品を移動させるための移動処理を実行する、
請求項１から３のいずれか１項に記載の制御装置。

【請求項5】

前記制御部は、
前記変化量が閾値以下となる物品が無い場合、前記取得部が取得した前記新たな撮像画像に基づく今回の認識処理の処理結果に基づいて移動対象の物品を選出する、
請求項１から４のいずれか１項に記載の制御装置。

【請求項6】

載置台に載置された物品を上方から撮像する撮像装置から、前記物品を２次元で表した第１撮像データと前記物品を３次元で表した第２撮像データとを含む撮像画像を取得する第１の取得ステップと、
当該撮像画像に基づいて前記載置台に載置された前記物品を認識する認識処理を実行する第１の認識ステップと、
前記第１の認識ステップの処理結果に基づいて移動対象の物品を選出する選出処理を実行する第１の選出ステップと、
荷役装置を用いて前記移動対象の物品を移動させるための移動処理を実行する第１の移動ステップと、
前記選出処理及び前記移動処理を１回以上実行した後に、新たな撮像画像を取得する第２の取得ステップと、
前記第２の取得ステップによって取得された前記新たな撮像画像のうちの前記第１撮像データと、前記第１の認識ステップで使用した前回の第１撮像データと当該前回の第１撮像データとの変化量が閾値以下となる物品を検出する差分チェックステップと、
前記差分チェックステップにより検出された前記物品の中から次の移動対象となる物品を選出する選出処理を実行する第２の選出ステップと、
選出された前記次の移動対象となる物品を前回の前記認識処理の結果に基づいて移動させる移動処理を実行する第２の移動ステップと、
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、制御装置及びプログラムに関する。

【背景技術】

【0002】

従来、ロボットアーム等の移動装置を用いることで荷物の荷役（移動）が行われている。例えば、移動対象の荷物が置かれた場所を撮像することで得られたＲＧＢ画像や３次元画像（例えばデプス画像、点群データ）から荷物の位置や姿勢の認識結果に基づいて、ピッキングする荷物を選出する技術が知られている。

【0003】

また、このような従来技術においては、処理時間の短縮のために、ある時点における荷物の位置や姿勢の認識結果を、その後の複数回のピッキングの際に流用する場合があった。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－１２０１４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した従来の技術では、荷物の認識のための画像等のデータを収集した時点と、ピッキングを実行する時点までの間に、荷物の位置や姿勢が変化する場合があり、ピッキングの精度が低下する場合があった。

【0006】

本発明が解決しようとする課題は、ピッキングの精度の低下を低減すると共に、ピッキング処理全体の処理時間を低減することが可能な制御装置及びプログラムを提供することである。

【課題を解決するための手段】

【0007】

実施形態の制御装置は、取得部と、制御部とを備える。取得部は、載置台に載置された物品を上方から撮像する撮像装置から、物品を２次元で表した第１撮像データと物品を３次元で表した第２撮像データとを含む撮像画像を取得する。制御部は、当該撮像画像に基づいて載置台に載置された物品を認識する認識処理を実行する。また、制御部は、認識処理の処理結果に基づいて移動対象の物品を選出する選出処理を実行する。制御部は、荷役装置を用いて移動対象の物品を移動させるための移動処理を実行する。制御部は、選出処理及び移動処理を１回以上実行した後に、取得部が新たな撮像画像を取得した場合に、取得された新たな撮像画像のうちの第１撮像データと、認識処理で使用した前回の第１撮像データとの変化量が閾値以下となる物品を検出する差分チェックを実行する。制御部は、差分チェックにより検出した物品の中から次の移動対象となる物品を選出する選出処理を実行して、次の移動対象となる物品を、前回の認識処理の結果に基づいて移動させる移動処理を実行させる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る荷役システムの構成の一例を示す図である。

【図2】図２は、実施形態に係る制御装置のハードウェア構成の一例を示す図である。

【図3】図３は、実施形態に係る制御装置の機能構成の一例を示す図である。

【図4】図４は、実施形態に係るピッキング処理の流れの一例を示すシーケンス図である。

【図5】図５は、実施形態に係る時系列に撮像されるＲＧＢ画像の一例を示す図である。

【図6】図６は、実施形態に係る差分チェックについて説明する図である。

【図7】図７は、実施形態における差異検出結果の一例を示す図である。

【図8】図８は、実施形態に係るピッキング対象の物品の他の例について説明する図である。

【図9】図９は、実施形態に係るピッキング処理の流れの他の一例を示すシーケンス図である。

【図10】図１０は、実施形態に係る制御装置の計画部で実行される処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、実施形態に係る制御装置及びプログラムを、図面を参照して説明する。

【0010】

図１は、実施形態に係る荷役システムの構成の一例を示す図である。

【0011】

図１に示すように、荷役システム１は、荷役装置１０と、カメラ２０と、制御装置３０とを有する。ここで、荷役装置１０及びカメラ２０と、制御装置３０とは、例えばシリアルケーブルやＬＡＮ（Local Area Network）等を介して接続される。

【0012】

荷役装置１０は、パレット２の上面２ａに載置された物品Ｗを目的位置に荷役（移動）するための装置である。物品Ｗの目的位置は、物品Ｗの移動先であればよく、例えばコンベアとすることができる。パレット２は、水平な床面Ｇに配置される。物品Ｗは、例えば定形又は不定形の立体物であり、パレット２の上面２ａに１又は複数個載置される。パレット２は、本実施形態における載置台の一例である。なお、本実施形態では、物品Ｗをパレット２に載置した例を示しているが、これに限らず、例えば床面Ｇ上に載置される形態としてもよい。

【0013】

荷役装置１０は、基台１１１と、基台１１１に支持されたアーム部１１２と、アーム部１１２の先端に設けられた把持部１１３とを備える。基台１１１は、床面Ｇに固定された筐体である。以下では、床面Ｇと平行な方向、すなわち重力の作用する方向に直交する方向を水平方向ともいう。また、床面Ｇに直交する方向、すなわち重力の作用する方向及びその逆方向を上下方向ともいう。

【0014】

アーム部１１２は、一例として６軸の多関節ロボットアームである。アーム部１１２は、把持部１１３によって保持された物品Ｗを上下方向に移動する動作、および水平方向に移動する動作を実行可能に構成されている。または、アーム部１１２は、直行軸のロボットアームでも良い。

【0015】

例えば、アーム部１１２は、１軸又は２軸回りに回動可能な複数の関節により連結された３つの可動部１１２ａ～１１２ｃで構成される。可動部１１２ａは、基台１１１から延出している。可動部１１２ｂは、可動部１１２ａから延出している。可動部１１２ｃは、可動部１１２ｂから延出している。

【0016】

アーム部１１２（可動部１１２ｃ）の先端には、把持部１１３が取り付けられている。把持部１１３は、物品Ｗを挟み込んで把持する。なお、物品Ｗの把持は、挟持による把持方法に限定されない。例えば、把持部１１３に代えて、負圧によって物品Ｗを吸着把持する吸着部を用いてもよい。以下、把持部１１３によって物品Ｗを把持し、目的位置まで移動させる動作をピッキングともいう。なお、アーム部１１２や把持部１１３には、物品Ｗのピッキング状態を検出するためのセンサ装置（例えば、接触センサ、重量センサ、負圧センサ等）が設けられているものとする。

【0017】

カメラ２０は、パレット２の上方に設けられ、パレット２の上面２ａに載置された物品Ｗを上方から撮像する。カメラ２０は、ＲＧＢカメラ２１と、３次元カメラ２２とを有する。なお、ＲＧＢカメラ２１及び３次元カメラ２２の何れも、パレット２を撮像範囲（図中の破線範囲）に含むものとする。

【0018】

ＲＧＢカメラ２１は、カラー画像を撮像することが可能な撮像装置である。ＲＧＢカメラ２１は、撮像によって得られた画像（以下、ＲＧＢ画像ともいう）を制御装置３０に出力する。かかるＲＧＢ画像には、パレット２の上面２ａに載置された１又は複数の物品Ｗを上方から見た状態が写し出されることになる。

【0019】

３次元カメラ２２は、ステレオカメラ又は３Ｄレーザスキャナ装置等によって構成される。３次元カメラ２２は、パレット２の上面２ａを上方から撮像（又は計測）することで、パレット２の上面２ａに載置された１又は複数の物品Ｗの高さや形状を３次元的に表した３次元情報を取得する。

【0020】

本実施形態においては、ＲＧＢカメラ２１と３次元カメラ２２の両方、つまりカメラ２０全体を撮像装置の一例とする。また、本実施形態においては、ＲＧＢカメラ２１によって撮像されたＲＧＢ画像と、３次元カメラ２２によって取得された３次元情報とを、撮像画像の一例とする。ＲＧＢ画像は、物品Ｗを２次元で表した第１撮像データの一例である。また、３次元情報は、物品を３次元で表した第２撮像データの一例である。なお、ＲＧＢ画像のみを指して撮像画像と称してもよい。

【0021】

なお、３次元カメラ２２がステレオカメラである場合には、該ステレオカメラに含まれる２眼のカメラのうちのいずれか一方によって撮像された画像を、ＲＧＢ画像として使用しても良い。また、後述の差分チェックで使用する撮像画像（第１撮像データ）は、カラー画像（ＲＧＢ画像）ではなくとも良い。例えば、第１撮像データは、モノクロカメラで撮影されたグレースケール画像であっても良い。この場合、ＲＧＢカメラ２１の代わりに、モノクロカメラが用いられても良い。また、３次元カメラ２２がモノクロのステレオカメラである場合、該ステレオカメラに含まれる２眼のカメラのうちのいずれか一方によって撮像されたグレースケール画像を後述の差分チェックで使用しても良い。また、３次元カメラ２２は、パレット２の上面２ａにパターン光を照射するプロジェクタを備え、該パターン光の位置の差異に基づいて距離を算出するstructured light方式のデプスセンサであっても良い。

【0022】

また、図１に示すＸ、Ｙ、Ｚ方向は、カメラ２０によって撮像される撮像画像におけるＸ、Ｙ、Ｚ方向に対応する。例えば、Ｘ方向は撮像画像における水平方向であり、Ｙ方向は撮像画像における垂直方向である。また、Ｚ方向は撮像画像における深さ方向である。Ｚ方向の長さは、カメラ２０からの距離の長さに相当する。

【0023】

ＲＧＢカメラ２１及び３次元カメラ２２は、制御装置３０からの撮像要求に応じて撮像を実行し、当該撮像によって得られたＲＧＢ画像及び３次元情報を制御装置３０に送信する。

【0024】

制御装置３０は、カメラ２０の撮像結果に基づいて、荷役装置１０の動作を制御する。具体的には、制御装置３０は、カメラ２０から入力されるＲＧＢ画像及び３次元情報に基づいて、パレット２の上面２ａに載置された１又は複数の物品Ｗの各々を認識し、認識した１又は複数の物品Ｗのうち、荷役装置１０にピッキングさせる物品を選出する。そして、制御装置３０は、荷役装置１０の動作を制御することで、ピッキング対象として選出した物品を、目的位置に移動させる。

【0025】

なお、本実施形態では、制御装置３０を荷役装置１０と別体としたが、荷役装置１０と制御装置３０とを一体的に構成する形態としてもよい。また、制御装置３０に、カメラ２０を含めた構成を制御装置と定義してもよい。

【0026】

次に、上述した制御装置３０ハードウェア構成について説明する。図２は、制御装置３０のハードウェア構成の一例を示す図である。

【0027】

図２に示すように、制御装置３０は、プロセッサ３１、ＲＯＭ（Read Only Memory）３２、ＲＡＭ（Random Access Memory）３３、カメラインタフェース３４、荷役装置インタフェース３５及び記憶部３６を備える。

【0028】

プロセッサ３１は、制御装置３０の動作を統括的に制御する。プロセッサ３１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現することができる。プロセッサ３１は、本実施形態における制御部の一例である。

【0029】

ＲＯＭ３２は、プロセッサ３１が実行する各種のプログラムや設定情報等を記憶する。ＲＡＭ３３は、プロセッサ３１のワークエリアとして使用される。

【0030】

カメラインタフェース３４は、カメラ２０を接続するための通信インタフェースである。カメラインタフェース３４は、カメラ２０と通信可能に接続され、プロセッサ３１の制御の下、制御装置３０とカメラ２０との間の通信を制御する。

【0031】

例えば、プロセッサ３１は、カメラインタフェース３４を介して、カメラ２０（ＲＧＢカメラ２１、３次元カメラ２２）に撮像要求を送信する。また、プロセッサ３１は、カメラインタフェース３４を介して、カメラ２０から送信されるＲＧＢ画像及び３次元情報を取得する。

【0032】

荷役装置インタフェース３５は、荷役装置１０を接続するための通信インタフェースである。荷役装置インタフェース３５は、荷役装置１０と通信可能に接続され、プロセッサ３１の制御の下、制御装置３０と荷役装置１０との間の通信を制御する。例えば、荷役装置インタフェース３５は、制御装置３０の制御の下、ピッキング対象の物品Ｗを、把持及び移動させるよう、荷役装置１０に制御信号を出力する。

【0033】

例えば、プロセッサ３１は、荷役装置インタフェース３５を介し、荷役装置１０の動作を制御する。また、プロセッサ３１は、荷役装置インタフェース３５を介して、荷役装置１０のピッキング状態を示すセンシング結果を取得する。

【0034】

記憶部３６は、例えば、フラッシュメモリ等の半導体メモリ素子やハードディスク等の補助記憶装置によって実現される。記憶部３６は、プロセッサ３１が実行する各種のプログラムや設定情報等を記憶する。また、記憶部３６は、荷役装置１０の上下方向及び水平方向の移動限界位置や、荷役装置１０の可動範囲、荷役装置１０が把持可能な物品の寸法の上限及び下限等を示した限界情報を記憶する。かかる限界情報は、例えば、後述する移動計画の導出に用いられる。

【0035】

なお、制御装置３０の構成は、図２に示す例に限定されるものではない。例えば、図２では、制御装置３０が１つのプロセッサ３１を備える構成を例示したが、制御装置３０は複数のプロセッサ３１を備えても良い。

【0036】

次に、図３を参照して、制御装置３０が備える機能構成について説明する。図３は、制御装置３０の機能構成の一例を示す図である。

【0037】

図３に示すように、制御装置３０は、取得部３１１と、認識部３１２と、計画部３１３とを機能部として備える。これら機能部の一部又は全ては、プロセッサ３１が、ＲＯＭ３２又は記憶部３６に記憶されたプログラムを実行することで実現されるソフトウェア構成であってもよい。また、上述した機能部の一部又は全ては、プロセッサ３１が、プロセッサ１２１等が備える専用回路によって実現されるハードウェア構成であってもよい。

【0038】

取得部３１１は、カメラインタフェース３４を介して、カメラ２０で撮像されたＲＧＢ画像及び３次元情報を取得する。具体的には、取得部３１１は、認識部３１２からの指示に応じて、ＲＧＢカメラ２１及び３次元カメラ２２の各々に対し撮像要求を送信する。そして、取得部３１１は、ＲＧＢカメラ２１及び３次元カメラ２２の各々から送信されたＲＧＢ画像及び３次元情報を取得する。また、取得部３１１は、ＲＧＢカメラ２１の内部パラメータを取得しても良い。内部パラメータは、例えば、ＲＧＢカメラ２１の焦点距離および光軸中心の３次元座標である。

【0039】

認識部３１２は、取得部３１１が撮像画像を取得する毎に、当該撮像画像に基づいてパレット２に載置された物品Ｗを認識する認識処理を実行する。

【0040】

より詳細には、認識部３１２は、距離画像・点群データ生成部３１２ａと、特定部３１２ｂと、差異検出部３１２ｃとを備える。

【0041】

距離画像・点群データ生成部３１２ａは、後述する計画部３１３から撮像要求及び認識要求を受けた場合に、取得部３１１に対し画像の取得を指示する撮像要求を送出する。以下、撮像要求と認識要求とを総称する場合、撮像・認識要求という。

【0042】

そして、距離画像・点群データ生成部３１２ａは、取得した３次元情報から距離画像（Depth画像）及び点群データ（point cloud）を生成する。

【0043】

ここで、距離画像は、３次元カメラ２２からパレット２の上面２ａに載置された物品Ｗまでの距離情報を画像に変換したものであり、画素ごとの距離情報（深度情報）を有する。また、点群データは、パレット２の上面２ａに載置された物品Ｗの表面の形状を３次元の点群で表したデータである。以下、距離画像及び点群データを総称して３次元画像ともいう。

【0044】

距離画像及び点群データの生成手法は特に限定されるものではないが、例えば、３次元カメラ２２がステレオカメラである場合、距離画像・点群データ生成部３１２ａは、複数の画像間の対応点の視差から距離を算出するステレオマッチング法によって画素ごとの距離情報を算出し、算出結果を距離画像として生成しても良い。なお、当該手法を採用する場合は、取得部３１１は、３次元情報として、ステレオカメラに含まれる２眼のカメラの各々で撮像された画像を取得する。

【0045】

また、例えば、３次元カメラ２２がstructured light方式のデプスセンサである場合、距離画像・点群データ生成部３１２ａは、プロジェクタで照射されたパターン光と、該パターン光を撮像した画像上に描出された該パターンの位置の差異に基づいて距離を算出する。なお、当該手法を採用する場合は、取得部３１１は、３次元情報として、デプスセンサに含まれるプロジェクタによって投影されたパターンと、該パターンを撮像した画像とを取得する。

【0046】

また、例えば、距離画像・点群データ生成部３１２ａは、ＲＧＢカメラ２１の内部パラメータである焦点距離及び光軸中心と、ＲＧＢ画像上の画素の位置（２次元座標）と、画素の距離（深度）値とに基づいて、各画素の３次元空間上の位置、つまり各画素に対応する点の３次元座標を算出した結果を、点群データとして生成しても良い。

【0047】

より詳細には、距離画像・点群データ生成部３１２ａは、以下の式（１）に示すように、３次元座標の算出対象である対象画素のｘ座標を、ＲＧＢ画像上の対象画素のｘ座標“ｕ”からＲＧＢカメラ２１の光軸中心のｘ座標“ｃｘ”までの距離を焦点距離“ｆｘ”で除算した結果に、対象画素の距離値ｄを乗算することによって算出する。また、距離画像・点群データ生成部３１２ａは、以下の式（２）に示すように、対象画素のｙ座標を、ＲＧＢ画像上の対象画素のｙ座標“ｖ”からＲＧＢカメラ２１の光軸中心のｘ座標“ｃｙ”までの距離を焦点距離“ｆｙ”で除算した結果に、対象画素の距離値ｄを乗算することによって算出する。また、距離画像・点群データ生成部３１２ａは、以下の式（３）に示すように、対象画素の距離値ｄを、対象画素のｚ座標とする。なお、距離画像及び点群データの生成の手法は、これらに限定されるものではない。

【0048】

【数1】

【0049】

なお、本実施形態では、３次元画像（距離画像及び点群データ）の生成を制御装置３０が行う構成とするが、これに限らず、３次元カメラ２２で３次元画像の生成を行う構成としてもよい。ここで、ＲＧＢカメラ２１と３次元カメラ２２とは、撮像要求に応じて略同等のタイミングで撮像を開始するが、３次元画像の生成に時間を要するため、制御装置３０には、ＲＧＢ画像が送信された後に、３次元画像が送信されることになる。

【0050】

なお、３次元カメラ２２から３次元画像が出力される場合には、取得部３１１は、カメラインタフェース３４を介して、ＲＧＢカメラ２１で取得されたＲＧＢ画像及び３次元カメラ２２で生成された３次元画像を取得する。

【0051】

特定部３１２ｂは、ＲＧＢ画像及び３次元画像に基づいて、パレット２の上面２ａに載置された物品Ｗの３次元位置を特定する。例えば、特定部３１２ｂは、物品Ｗの位置に加えて、物品の向きや寸法を特定してもよい。

【0052】

物品Ｗの位置、向き及び寸法の特定方法は特に問わず、公知の技術を用いることができる。例えば、特定部３１２ｂは、ＲＧＢ画像及び３次元画像の入力を受けた場合に、ＲＧＢ画像上に物品Ｗが描出された描出領域の２次元座標を出力する学習済みモデルを利用しても良い。この学習済みモデルは、例えばニューラルネットワークによって構成されるが、他の機械学習又は深層学習によって生成されたものであっても良い。

【0053】

特定部３１２ｂは、学習済みモデルにＲＧＢ画像及び３次元画像を入力し、該学習済みモデルから出力されたＲＧＢ画像上に個々の物品Ｗの各々が描出された各描出領域の２次元座標を取得する。

【0054】

そして、特定部３１２ｂは、ＲＧＢ画像上に物品Ｗが描出された描出領域に含まれる画素に相当する３次元画像上の位置を特定する。例えば、特定部３１２ｂは、物品Ｗが描出された描出領域の２次元座標（ｘｙ座標）と、点群データとを位置合わせし、該描出領域に対応する３次元空間上の点群を抽出し、抽出した点群の３次元座標を平面近似することにより、物品Ｗの外形における平面を検出する。例えば、荷役装置１０の把持部１１３が物品Ｗを吸着把持する場合には、特定部３１２ｂは、物品Ｗの外形のうち把持部１１３が吸着把持可能な平面の法線方向、物品Ｗの位置、物品Ｗの寸法を特定する。平面の法線方向は、物品Ｗの向きの一例である。特定部３１２ｂは、物品Ｗが描出された描出領域の２次元座標（ｘｙ座標）と、距離画像とを位置合わせし、物品Ｗの上面の形状を、距離画像に含まれる個々の画素の距離値から特定しても良い。また、荷役装置１０の把持部１１３が物品Ｗを挟み込んで把持する場合には、特定部３１２ｂは、平面の有無に関わらず、物品Ｗ全体の外形を特定しても良い。

【0055】

また、差異検出部３１２ｃは、取得部３１１が取得した新たな撮像画像のうちのＲＧＢ画像（今回のＲＧＢ画像）と、前回の認識処理で使用した前回のＲＧＢ画像との変化量が閾値以下となる物品Ｗを検出する差分チェックを実行する。

【0056】

例えば、差異検出部３１２ｃは、前回のＲＧＢ画像上の物品Ｗが描出された描出領域と、今回のＲＧＢ画像において該描出領域と同じ２次元座標の画像領域との差異を検出する。

【0057】

また、初回の処理実行時においては、取得部３１１がカメラ２０から取得済みの撮像画像は、１回の撮像処理分のみであるため、差異検出部３１２ｃは、差分チェックを実行しない。差異検出部３１２ｃは、２回目以降の処理実行時から、差異検出の処理を実行する。

【0058】

以下、説明の便宜上、「最新の撮像画像」を「今回の撮像画像」、「最新の撮像画像の１つ前に取得された撮像画像」を「前回の撮像画像」という。また、「今回の撮像画像」に基づいて、認識部３１２が物品Ｗを認識した結果を、「今回の認識結果」という。また、「前回の撮像画像」に基づいて、認識部３１２が物品Ｗを認識した結果を、「前回の認識結果」という。

【0059】

例えば、差異検出部３１２ｃは、前回の認識結果に基づいて、前回の撮像画像においてある物品Ｗが描出された描出領域を特定する。そして、差異検出部３１２ｃは、該差異検出部３１２ｃは、描出領域の２次元座標と同じ２次元座標の画像領域を、今回の撮像画像上で特定する。以下、今回の撮像画像における前回の撮像画像の描出領域の２次元座標と同じ２次元座標の画像領域を、前回の描出領域に相当する画像領域、という。差異検出部３１２ｃは、前回の撮像画像上の描出領域に含まれる画素の画素値と、今回の撮像画像における前回の描出領域に相当する画像領域に含まれる画素の画素値との差分を、画素ごとに算出する。

【0060】

差異検出部３１２ｃは、１つの描出領域における画素の差分の平均が所定の閾値以下である場合に、該描出領域に描出された物品Ｗは、変化量が閾値以下であると判定する。また、差異検出部３１２ｃは、１つの描出領域における画素の差分の平均が所定の閾値を超えた場合に、該描出領域に描出された物品Ｗは、変化量が閾値を超えている判定する。所定の閾値の値は特に限定されるものではなく、例えば、荷役装置１０の把持手法等に応じて変更されても良い。

【0061】

なお、差異の検出手法は、これに限定されるものではない。例えば、差異検出部３１２ｃは、公知の機械学習又は深層学習を使用した２値分類（２値判別問題）の結果によって、今回の撮像画像と前回の撮像画像とにおける差異を識別しても良い。

【0062】

差異検出部３１２ｃは、個々の物品Ｗごとに、変化量が閾値以下であるか否かの情報を対応付けた差異検出結果を、計画部３１３に送出する。

【0063】

計画部３１３は、認識部３１２の認識結果に基づいて、パレット２の上面２ａに載置された物品Ｗのうち、荷役装置１０にピッキングさせる物品Ｗを選出する。また、計画部３１３は、ピッキング対象として選出した物品Ｗを、目的位置まで移動させるための移動計画を生成する。

【0064】

より詳細には、計画部３１３は、ピッキング対象選出部３１３ａと、移動計画生成部３１３ｂとを備える。

【0065】

ピッキング対象選出部３１３ａは、認識部３１２の認識処理の処理結果に基づいて次の移動対象の物品Ｗを選出する選出処理を実行する。

【0066】

ピッキング対象選出部３１３ａは、カメラ２０から取得された今回の撮像画像よりも前に撮像された撮像画像をカメラ２０から取得していない場合、つまり、初回の処理実行時においては、認識部３１２が今回の撮像画像に基づいて物品Ｗを認識した認識結果に基づいて、荷役装置１０のピッキング対象の物品を決定する。

【0067】

また、ピッキング対象選出部３１３ａは、２回目以降の処理の実行時においては、差異検出部３１２ｃによる差分チェックで検出された前回の撮像時点から今回の撮像時点までの変化量が閾値以下となる物品Ｗの中から次の移動対象となる物品Ｗを選出する。

【0068】

また、前回の撮像時点から今回の撮像時点までの変化量が閾値以下となる物品Ｗが複数ある場合は、ピッキング対象選出部３１３ａは、前回の認識結果に含まれる物品Ｗの位置、向き、又は寸法に基づいて、移動対象の物品Ｗを選出する。例えば、ピッキング対象選出部３１３ａは、変化量が閾値以下の物品Ｗのうち、最も高い位置にある物品Ｗを移動対象として選出してもよい。

【0069】

なお、選出の際の優先順位の決定手法はこれに限定されるものではない。また、ピッキング対象選出部３１３ａは、記憶部３６に記憶された限界情報を参照して、変化量が閾値以下の物品Ｗのうち、荷役装置１０が把持可能な物品Ｗを特定してもよい。

【0070】

また、ピッキング対象選出部３１３ａは、前回の認識結果に含まれる物品Ｗのうち、前回の選出処理で選出済みの物品は、移動対象の物品Ｗの候補から除外する。

【0071】

なお、本実施形態においては、荷役装置１０は、物品Ｗを１つずつ把持するものとする。このため、ピッキング対象選出部３１３ａは、荷役装置１０の把持対象として、１つの物品Ｗを選出する。なお、荷役装置１０が複数の物品Ｗを１度に把持することが可能である場合は、荷役装置１０の把持対象として、複数の物品Ｗを選出してもよい。

【0072】

また、移動計画生成部３１３ｂは、荷役装置１０を用いて移動対象の物品Ｗを移動させるための移動処理を実行する。本実施形態においては、移動計画の生成、荷役装置１０へのピッキング指示、及び荷役装置１０のピッキング動作の終了の判定の処理を、総称して、移動処理という。

【0073】

より詳細には、移動計画生成部３１３ｂは、ピッキング対象選出部３１３ａが選出したピッキング対象の物品Ｗの把持位置や、アーム部１１２の移動経路等を導出する。移動計画生成部３１３ｂは、生成した移動計画に基づいて、荷役装置インタフェース３５を介して制御信号を出力することにより、荷役装置１０の動作（駆動機構）を制御する。具体的には、移動計画生成部３１３ｂは、行動計画に基づき荷役装置１０の動作を制御することで、パレット２の上面に載置されたピッキング対象の物品Ｗを把持させ、当該物品Ｗを目的位置まで移動させる。

【0074】

なお、移動計画生成部３１３ｂは、ピッキング中に荷役装置１０から送信されたピッキング状態の検出結果に基づいて、移動計画を動的に変更しても良い。

【0075】

上述した機能構成により、制御装置３０は、パレット２の上面２ａに載置された物品Ｗを、荷役装置１０を用いて目的位置まで荷役（移動）させることができる。

【0076】

次に、上述した制御装置３０を含む荷役システム１によって実行されるピッキング処理の流れについて説明する。

【0077】

図４は、本実施形態に係るピッキング処理の流れの一例を示すシーケンス図である。なお、図４においては、制御装置３０の機能部のうち、取得部３１１の表示は省略している。

【0078】

まず、制御装置３０の計画部３１３（ピッキング対象選出部３１３ａ）は、認識部３１２に、このシーケンス図のピッキング処理における１回目の撮像・認識要求を送出する（Ｓ１）。

【0079】

そして、認識部３１２（距離画像・点群データ生成部３１２ａ）は、カメラインタフェース３４を介して、カメラ２０に、１回目の撮像要求を送信する（Ｓ２）。

【0080】

カメラ２０は、制御装置３０からの撮像要求に応じて１回目の撮像を実行する（Ｓ３）。図４では、１回目の撮像が実行された時刻をｔ１とする。

【0081】

ここで、図５は、本実施形態に係る時系列に撮像されるＲＧＢ画像の一例を示す図である。図５では、時刻ｔ１，ｔ２，ｔ３の３回の撮像によって得られたＲＧＢ画像４０ａ～４０ｃを例示する。以下、ＲＧＢ画像４０ａ～４０ｃを特に区別しない場合には、単にＲＧＢ画像４０という。

【0082】

図５に示すように、時刻ｔ１において、ＲＧＢ画像４０ａが撮像される。ＲＧＢ画像４０ａには、例えば、パレット２の上面２ａと、４つの物品Ｗ１～Ｗ４とが描出される。

【0083】

図４のシーケンス図に戻り、カメラ２０は、１回目の撮像によって得られた撮像画像（ＲＧＢ画像及び３次元情報）を制御装置３０に送信する（Ｓ４）。制御装置３０の取得部３１１は、カメラ２０から送信された撮像画像（ＲＧＢ画像及び３次元情報）を取得する。

【0084】

そして、制御装置３０の認識部３１２（距離画像・点群データ生成部３１２ａ）は、取得した３次元情報から距離画像及び点群データを生成する（Ｓ５）。

【0085】

次に、制御装置３０の認識部３１２（特定部３１２ｂ）は、ＲＧＢ画像４０ａ、距離画像、及び点群データに基づいて、パレット２の上面２ａに載置された物品Ｗを認識する（Ｓ６）。Ｓ６の処理における認識結果は、このピッキング処理における１回目の認識結果である。

【0086】

次に、認識部３１２（特定部３１２ｂ）は、計画部３１３に１回目の認識結果を送出する（Ｓ７）。距離画像及び点群データの生成元となる３次元情報は、ＲＧＢ画像４０と同じタイミングで取得されるが、距離画像及び点群データの生成のための処理時間が発生する。１回目の処理の実行時においては、計画部３１３は、Ｓ７の処置で１回目の認識結果を取得するまで、待機している。

【0087】

そして、計画部３１３（ピッキング対象選出部３１３ａ）は、１回目の認識結果に基づいて、ピッキング対象の物品Ｗを選出する（Ｓ８）。例えば、このシーケンス図の処理においては、計画部３１３（ピッキング対象選出部３１３ａ）は、図５に示した物品Ｗ３をピッキング対象として選出する。ピッキング対象選出部３１３ａは、選出した物品Ｗ３を示す情報を、移動計画生成部３１３ｂに送出する。

【0088】

次に、計画部３１３（移動計画生成部３１３ｂ）は、１回目の認識結果に基づいて、選出された物品Ｗ３を移動させるための移動計画を生成する（Ｓ９）。計画部３１３（移動計画生成部３１３ｂ）は、生成した移動計画に基づいて、荷役装置インタフェース３５を介して荷役装置１０に制御信号を出力することにより、選出された物品Ｗ３のピッキングを荷役装置１０に指示する（Ｓ１０）。

【0089】

そして、荷役装置１０は、制御装置３０から送信された制御信号に基づいて、物品Ｗ３をピッキングする（Ｓ１１）。具体的には、荷役装置１０は、把持部１１３によって物品Ｗ３を把持し、目的位置まで移動させる。

【0090】

また、荷役装置１０は、把持部１１３及びアーム部１１２が、物品Ｗ３を把持及び移動させて、カメラ２０の画角外に出た場合に、把持部１１３及びアーム部１１２が画角外に移動済みであることを、制御装置３０に通知する（Ｓ１２）。例えば、荷役装置１０は、予めカメラ２０の画角の範囲を記憶しており、把持部１１３及びアーム部１１２の位置が一度画角内に入って物品Ｗ３を把持した後に再び画角外に出た場合に、該通知を送信する。なお、荷役装置１０は、単に把持部１１３及びアーム部１１２の位置を制御装置３０に送信し、制御装置３０側で把持部１１３及びアーム部１１２が、カメラ２０の画角外に出たか否かを判定しても良い。

【0091】

また、図４におけるＳ９の移動計画の生成から、後述のＳ２１のピッキング動作の終了通知の取得までは、本実施形態における移動処理の一例である。制御装置３０は、１回目の移動処理と並行して、２回目の撮像処理を開始する。

【0092】

そして、制御装置３０の計画部３１３（ピッキング対象選出部３１３ａ）は、１回目のピッキング処理が実行され、荷役装置１０の把持部１１３及びアーム部１１２がカメラ２０の画角外に出た後に、認識部３１２に、２回目の撮像・認識要求を送出する（Ｓ１３）。

【0093】

そして、制御装置３０の認識部３１２（距離画像・点群データ生成部３１２ａ）は、カメラインタフェース３４を介して、カメラ２０に、２回目の撮像要求を送信する（Ｓ１４）。

【0094】

カメラ２０は、制御装置３０からの撮像要求に応じて２回目の撮像を実行する（Ｓ１５）。２回目の撮像が実行された時刻をｔ２とする。図４に示す例では、時刻ｔ２においては、物品Ｗ３は、荷役装置１０によってカメラ２０の画角外に移動された後である。このため、図５に示すように、時刻ｔ２に撮像されたＲＧＢ画像４０ｂには物品Ｗ３が描出されない。また、時刻ｔ２においては、物品Ｗ３を移動させた荷役装置１０の把持部１１３及びアーム部１１２はカメラ２０の画角外に移動している。このため、ＲＧＢ画像４０ｂには、把持部１１３またはアーム部１１２は映り込まない。

【0095】

カメラ２０は、２回目の撮像によって得られた撮像画像を制御装置３０に送信する（Ｓ１６）。制御装置３０の取得部３１１は、カメラ２０から送信された撮像画像を取得する。

【0096】

そして、制御装置３０の認識部３１２（差異検出部３１２ｃ）は、取得された撮像画像のうちのＲＧＢ画像４０ｂと、１回目に撮像されたＲＧＢ画像４０ａとの差分チェックをする（Ｓ１７）。例えば、図５に示した例では、前回の撮像時点（時刻ｔ１）から今回の撮像時点（時刻ｔ２）までの間は、物品Ｗ１，Ｗ２，Ｗ４は移動していないが、物品Ｗ３は荷役装置１０によってピッキングされている。このため、図５に示すように、時刻ｔ２に撮像されたＲＧＢ画像４０ｃには物品Ｗ３が描出されていない。

【0097】

ここで、図６は、本実施形態に係る差分チェックについて説明する図である。認識部３１２（差異検出部３１２ｃ）は、図６に示すように、１回目に撮像されたＲＧＢ画像４０ａにおいて物品Ｗ１～Ｗ４が描出された４つの画像領域の各々と、２回目に撮像されたＲＧＢ画像４０ｂの各画像領域とを比較する。図６に示す例では、１回目に撮像されたＲＧＢ画像４０ａにおいて物品Ｗ３が描出されていた画像領域について、ＲＧＢ画像４０ａとＲＧＢ画像４０ｂとの間で差異が発生している。この場合、認識部３１２（差異検出部３１２ｃ）は、物品Ｗ１，Ｗ２，Ｗ４の変化量が閾値以下であり、物品Ｗ３の変化量が閾値を超えることを、差異検出結果として計画部３１３に送出する（Ｓ１８）。

【0098】

図７は、本実施形態における差異検出結果７１の一例を示す図である。図７に示すように、差異検出結果７１では、物品Ｗ１～Ｗ４に対応する識別情報（item ID）と、各物品Ｗ１～Ｗ４の変化量が閾値以下であるか否かを示す結果情報（result）とが対応付けられている。この場合は、物品Ｗ３の変化量が閾値を超えているため、resultが“１”となる。また、物品Ｗ１，Ｗ２，Ｗ４の変化量は閾値以下であるため、resultが“０”となる。認識部３１２（差異検出部３１２ｃ）は、差異検出結果７１を計画部３１３に送出する。

【0099】

図４に戻り、認識部３１２（距離画像・点群データ生成部３１２ａ）は、２回目に取得された３次元情報から距離画像及び点群データを生成する（Ｓ１９）。

【0100】

そして、認識部３１２（特定部３１２ｂ）は、ＲＧＢ画像４０ｂと、Ｓ１９で生成された距離画像及び点群データに基づいて、パレット２の上面２ａに載置された物品Ｗを認識する（Ｓ２０）。Ｓ１９の処理における認識結果は、このピッキング処理における２回目の認識結果である。

【0101】

また、荷役装置１０は、Ｓ１１の１回目のピッキング動作を終了すると、終了通知を制御装置３０に送信する（Ｓ２１）。制御装置３０の取得部３１１は、該終了通知を取得する。図４のシーケンス図においては、１回目のピッキング動作が終了した時点で、Ｓ２０の２回目の認識処理が完了していない。

【0102】

この場合、制御装置３０の計画部３１３（ピッキング対象選出部３１３ａ）は、Ｓ２０の２回目の認識処理の完了を待たずに、Ｓ１８で送出された差異検出結果に基づいて、１回目の認識結果に含まれる物品Ｗ１～Ｗ４から、２回目のピッキング対象を選出する（Ｓ２２）。

【0103】

また、１回目の認識結果に含まれる物品Ｗ１～Ｗ４のうち、物品Ｗ３は、１回目の選出処理で選出済みである。計画部３１３（ピッキング対象選出部３１３ａ）は、１回目の選出処理で選出済みの物品Ｗ３を、移動対象の物品Ｗの候補から除外する。

【0104】

具体的には、計画部３１３（ピッキング対象選出部３１３ａ）は、差異検出結果及び前回の移動対象の物品Ｗの選出結果に基づいて、前回の撮像時点（時刻ｔ１）から今回の撮像時点（時刻ｔ２）までの変化量が閾値以下となり、かつ前回の移動対象ではない物品Ｗ１，Ｗ２，Ｗ４の中から一の物品Ｗを次の移動対象として選出する。一例として、計画部３１３（ピッキング対象選出部３１３ａ）は、物品Ｗ４を選択する。

【0105】

また、計画部３１３（移動計画生成部３１３ｂ）は、１回目の認識結果に基づいて、選出された物品Ｗ４を移動させるための移動計画を生成する（Ｓ２３）。計画部３１３（移動計画生成部３１３ｂ）は、生成した移動計画に基づいて、荷役装置インタフェース３５を介して荷役装置１０に制御信号を出力することにより、選出された物品Ｗ４のピッキングを荷役装置１０に指示する（Ｓ２４）。

【0106】

そして、荷役装置１０は、制御装置３０から送信された制御信号に基づいて、物品Ｗ４をピッキングする（Ｓ２５）。

【0107】

また、荷役装置１０は、把持部１１３及びアーム部１１２が、物品Ｗ４を把持及び移動させて、カメラ２０の画角外に出た場合に、把持部１１３及びアーム部１１２が画角外に移動済みであることを、制御装置３０に通知する（Ｓ２６）。

【0108】

計画部３１３（ピッキング対象選出部３１３ａ）は、２回目のピッキング処理が実行され、荷役装置１０の把持部１１３及びアーム部１１２がカメラ２０の画角外に出た後に、認識部３１２に、３回目の撮像・認識要求を送出する（Ｓ２８）。

【0109】

また、認識部３１２（特定部３１２ｂ）は、計画部３１３に、２回目の認識結果を送出する（Ｓ２７）。この２回目の認識結果は、３回目のピッキング処理において、「前回の認識結果」として使用される。

【0110】

また、認識部３１２（距離画像・点群データ生成部３１２ａ）は、Ｓ１９の２回目の認識処理が終了すると、カメラ２０に、３回目の撮像要求を送信する（Ｓ２９）。該３回目の撮像要求は、Ｓ２８の３回目の撮像・認識要求に基づくものである。

【0111】

カメラ２０は、制御装置３０からの撮像要求に応じて３回目の撮像を実行する（Ｓ３０）。３回目の撮像が実行された時刻をｔ３とする。図４に示す例では、時刻ｔ３においては、物品Ｗ４は荷役装置１０によってピッキングされている。また、物品Ｗ３についても、既に荷役装置１０によってピッキングされている。このため、図５に示すように、時刻ｔ３に撮像されたＲＧＢ画像４０ｃには物品Ｗ３，Ｗ４が描出されていない。

【0112】

そして、制御装置３０の認識部３１２（差異検出部３１２ｃ）は、Ｓ３１で取得された撮像画像のうちのＲＧＢ画像４０ｃと、２回目に撮像されたＲＧＢ画像４０ｂと、２回目の撮像画像に基づく２回目の認識結果と、に基づいて、ＲＧＢ画像４０ｂにおいて物品Ｗが描出された画像領域と、ＲＧＢ画像４０ｃにおける該画像領域との差分をチェックする（Ｓ３２）。

【0113】

例えば、図５に示した例では、前回の撮像時点（時刻ｔ２）から今回の撮像時点（時刻ｔ３）までの間は、物品Ｗ４が、荷役装置１０によってピッキングされたことにより、移動している。

【0114】

この場合、認識部３１２（差異検出部３１２ｃ）は、２回目の認識結果に含まれる物品Ｗ１，Ｗ２，Ｗ４のうち、物品Ｗ１，Ｗ２の変化量が閾値以下であり、物品Ｗ４の変化量が閾値を超えることを、差異検出結果として計画部３１３に送出する。

【0115】

以下の処理は省略するが、制御装置３０は、ピッキング対象の物品Ｗが認識されなくなるまで、このピッキング処理を継続する。

【0116】

また、上述の例では、荷役装置１０によってピッキングされた物品Ｗ３以外の物品Ｗについては差異が生じていなかったが、ピッキング対象とならなかった物品Ｗについても、荷崩れや、把持部１１３の接触等によって移動する場合がある。

【0117】

例えば、図８では、物品Ｗ１の位置が移動している。認識部３１２（差異検出部３１２ｃ）は、物品Ｗ１の移動による画素の差異が所定の閾値を超える場合に、物品Ｗ１の変化量が閾値を超えると判断する。この場合、差異検出結果７１において、物品Ｗ１の識別情報に、result“０”が対応付けられる。

【0118】

また、上述の図４のシーケンス図においては、１回目のピッキング動作が終了した時点で、２回目の認識処理が完了していなかった。しかしながら、ピッキング動作に長時間を要した場合に、１回目のピッキング動作が終了するよりも先に、２回目の認識処理が完了する場合がある。この場合における処理の流れについて、図９を用いて説明する。

【0119】

図９は、実施形態に係るピッキング処理の流れの他の一例を示すシーケンス図である。Ｓ１の１回目の撮像・認識要求から、Ｓ１０の１回目のピッキング指示までの処理は、図４のシーケンス図と同様である。また、Ｓ１０１の１回目のピッキング処理の開始後、Ｓ１２の把持部１１３及びアーム部１１２が画角外に移動済みであることの通知から、Ｓ２０の２回目の物品認識処理までの処理、及びＳ２７の認識結果の送出の処理も、図４のシーケンス図と同様である。

【0120】

ここで、図９に示す例では、Ｓ１０１の１回目のピッキング処理において、図４で説明したＳ１１のピッキング処理よりも、長い時間を要したものとする。このため、Ｓ１０２において、荷役装置１０が、１回目のピッキング動作を終了したことを示す終了通知を制御装置３０に送信した時点で、既に、Ｓ２０の２回目の認識処理が終了し、Ｓ２７の処理で認識部３１２から計画部３１３に認識結果が送出されている。

【0121】

この場合、制御装置３０の計画部３１３（ピッキング対象選出部３１３ａ）は、Ｓ２０の２回目の認識処理の結果、つまりＳ２７で送出された２回目の認識結果に基づいて、２回目のピッキング対象を選出する（Ｓ１０３）。この場合、計画部３１３（ピッキング対象選出部３１３ａ）は、Ｓ１８で送出された差異検出結果７１はピッキング対象の選出に利用しない。

【0122】

また、図９に示す例においても、計画部３１３（ピッキング対象選出部３１３ａ）は、図４で説明した場合と同様に、１回目の選出処理で選出済みの物品Ｗ３を、移動対象の物品Ｗの候補から除外する。

【0123】

また、計画部３１３（移動計画生成部３１３ｂ）は、２回目の認識結果に基づいて、選出された物品Ｗ４を移動させるための移動計画を生成する（Ｓ１０４）。計画部３１３（移動計画生成部３１３ｂ）は、生成した移動計画に基づいて、選出された物品Ｗ４のピッキングを荷役装置１０に指示する（Ｓ１０５）。

【0124】

そして、荷役装置１０は、制御装置３０から送信された制御信号に基づいて、物品Ｗ４をピッキングする（Ｓ１０７）。

【0125】

また、Ｓ２６の把持部１１３及びアーム部１１２が画角外に移動済みであることの通知は、図４のＳ２６と同様の処理である。

【0126】

また、把持部１１３及びアーム部１１２が画角外に移動した後、計画部３１３（ピッキング対象選出部３１３ａ）は、認識部３１２に、３回目の撮像・認識要求を送出する（Ｓ１０７）。

【0127】

また、Ｓ１０８の３回目の撮像要求の送信処理から、Ｓ１１１の差分チェックの処理までは、図４で説明したＳ２９からＳ３２の処理と同様である。

【0128】

ここで、図４、９のシーケンス図で説明した制御装置３０の計画部３１３で実行される処理について、さらに詳細に説明する。

【0129】

図１０は、本実施形態に係る制御装置３０の計画部３１３で実行される処理の流れの一例を示すフローチャートである。以下では、図４、９のシーケンス図で説明した処理については、一部説明を省略し、計画部３１３内部の判定処理について主に説明する。

【0130】

図１０に示すＳ２０１の撮像・認識要求の処理は、図４のシーケンス図におけるＳ１に相当する。次に、計画部３１３は、撮像・認識要求に基づく１回目の認識結果が取得されたか否かを判定する（Ｓ２０２）。計画部３１３は、１回目の認識結果が取得されるまで、Ｓ２０２の処理を繰り返す（Ｓ２０２“Ｎｏ”）。

【0131】

また、ピッキング対象選出部３１３ａは、１回目の認識結果が取得されたと判定した場合（Ｓ２０２“Ｙｅｓ”）、１回目の認識結果に、ピッキング対象となる物品Ｗがあるか否かを判定する（Ｓ２０３）。例えば、パレット２の上面２ａに物品Ｗが載置されていない場合や、何らかの原因によって物品Ｗが認識されなかった場合、ピッキング対象選出部３１３ａは、ピッキング対象となる物品Ｗが無いと判定する（Ｓ２０３“Ｎｏ”）。この場合、このフローチャートの処理は終了する。つまり、この場合、荷役システム１によるピッキング処理も終了する。

【0132】

また、ピッキング対象選出部３１３ａは、ピッキング対象となる物品Ｗがあると判定した場合（Ｓ２０３“Ｙｅｓ”）、１回目の認識結果に基づいてピッキング対象の物品Ｗを選出する。

【0133】

また、Ｓ２０５の移動計画生成の処理は、図４のシーケンス図におけるＳ９の処理に相当する。また、Ｓ２０６のピッキング指示の処理は、図４のシーケンス図におけるＳ１０の処理に相当する。

【0134】

また、Ｓ２０７の把持部１１３及びアーム部１１２がカメラ２０の画角外であるか否かの判定の処理は、図４のシーケンス図におけるＳ１２の処理に相当する。例えば、ピッキング対象選出部３１３ａは、荷役装置１０から把持部１１３及びアーム部１１２が画角外に移動済みであることの通知を受けた場合に、把持部１１３及びアーム部１１２がカメラ２０の画角外であると判定する（Ｓ２０７“Ｙｅｓ”）。また、ピッキング対象選出部３１３ａは、荷役装置１０から把持部１１３及びアーム部１１２が画角外に移動済みであることの通知を受けるまでは、Ｓ２０７の処理を繰り返して待機する（Ｓ２０７“Ｎｏ”）。

【0135】

ピッキング対象選出部３１３ａが把持部１１３及びアーム部１１２がカメラ２０の画角外であると判定した場合に実行されるＳ２０８の撮像・認識要求の処理は、図４のシーケンス図におけるＳ１３の処理に相当する。

【0136】

次に、ピッキング対象選出部３１３ａは、荷役装置１０からピッキング終了の通知を受けたか否かを判定する（Ｓ２０９）。ピッキング対象選出部３１３ａは、荷役装置１０からピッキング終了の通知を受けるまで、Ｓ８の処理を繰り返して待機する（Ｓ２０９“Ｎｏ”）。

【0137】

ピッキング対象選出部３１３ａは、荷役装置１０からピッキング終了の通知を受けると（Ｓ２０９“Ｙｅｓ”）、最新の撮像・認識要求に対応する認識結果を取得済みであるか否かを判定する（Ｓ２１０）。

【0138】

ピッキング対象選出部３１３ａは、最新の撮像・認識要求に対応する認識結果を取得済みではないと判定した場合（Ｓ２１０“Ｎｏ”）、認識部３１２から、前回の撮像画像と最新の撮像画像との差異の検出結果７１を取得済みであるか否かを判定する（Ｓ２１１）。

【0139】

ピッキング対象選出部３１３ａは、認識部３１２から、前回の撮像画像と最新の撮像画像との差異の検出結果７１を取得していない場合、検出結果７１を取得するまでＳ２１１の処理を繰り返す（Ｓ２１１“Ｎｏ”）。

【0140】

ピッキング対象選出部３１３ａは、認識部３１２から、前回の撮像画像と最新の撮像画像との差異の検出結果７１を取得した場合（Ｓ２１１“Ｙｅｓ”）、前回の撮像時点から今回の撮像時点までの間における差異が基準以下の物品Ｗがあるか否かを判定する（Ｓ２１２）。

【0141】

ピッキング対象選出部３１３ａは、前回の撮像時点から今回の撮像時点までの間における差異が基準以下の物品Ｗがあると判定した場合、前回の認識結果に基づいて、差異が基準以下の物品Ｗから、ピッキング対象を選出する（Ｓ２１３）。これは、図４のシーケンス図におけるＳ２２の処理に相当する。

【0142】

Ｓ２１４の移動計画の生成、及びＳ２１５のピッキング指示は、図４のシーケンス図におけるＳ２３、Ｓ２４の処理に相当する。

【0143】

次に、ピッキング対象選出部３１３ａは、Ｓ２０７の処理に戻り、把持部１１３及びアーム部１１２がカメラ２０の画角外であるか否かを判定する。

【0144】

また、ピッキング対象選出部３１３ａは、Ｓ２１２の処理で、前回の撮像時点から今回の撮像時点までの間における差異が基準以下の物品がないと判定した場合（Ｓ２１２“Ｎｏ”）、Ｓ２１０の処理に戻り、最新の認識結果の取得を待機する。この場合は、最新の認識結果を取得するまでＳ２１０で待機し、最新の認識結果を取得した場合、後述のＳ２１６の処理に進む。

【0145】

また、ピッキング対象選出部３１３ａは、最新の撮像・認識要求に対応する認識結果を取得済みであると判定した場合（Ｓ２１０“Ｙｅｓ”）、該認識結果にピッキング対象の物品Ｗが含まれているか否かを判定する（Ｓ２１６）。ピッキング対象選出部３１３ａがピッキング対象となる物品Ｗが無いと判定した場合（Ｓ２１６“Ｎｏ”）、このフローチャートの処理は終了する。

【0146】

また、ピッキング対象選出部３１３ａは、ピッキング対象となる物品Ｗがあると判定した場合（Ｓ２１６“Ｙｅｓ”）、最新の撮像・認識要求に対応する認識結果に基づいてピッキング対象の物品Ｗを選出する（Ｓ２１７）。

【0147】

Ｓ２１８の移動計画の作成、及びＳ２１９のピッキング指示は、図９のシーケンス図におけるＳ１０４、及びＳ１０６の処理に相当する。そして、ピッキング対象選出部３１３ａは、Ｓ２０７の処理に戻る。ピッキング対象の物品Ｗが認識されなくなるまで、このフローチャートの処理は繰り返される。

【0148】

このように、本実施形態の制御装置３０は、２回目以降のピッキング処理においては、前回の選出処理の開始の後にカメラ２０から取得した新たなＲＧＢ画像４０ｂと、前回の認識処理で使用したＲＧＢ画像４０ａとの変化量が閾値以下となる物品Ｗを検出する差分チェックを実行し、変化量が閾値以下となる物品Ｗの中から次の移動対象となる物品Ｗを選出する選出処理を実行して、移動処理を実行する。このため、本実施形態の制御装置３０によれば、前回の撮像画像に基づく認識結果を、今回のピッキング処理における移動対象の選出に使用することにより、今回の撮像画像に基づく認識処理の終了を待機せずに物品Ｗの移動処理を実行することができる。また、本実施形態の制御装置３０によれば、移動対象として選出した物品Ｗに係る移動処理と、今回の撮像画像に基づく認識処理を並行して実行することにより、処理の待ち時間を低減すると共に、差分チェックの都度、前回の撮像画像に基づく認識結果を使用することができる。このため、本実施形態の制御装置３０によれば、ピッキングの精度の低下を低減すると共に、ピッキング処理全体の処理時間を低減することができる。

【0149】

比較例として、ある時点において撮像された撮像画像に基づく認識結果を、その後の複数回のピッキングの際に流用する技術がある。このような技術においては、例えば、認識処理に使用された撮像画像の撮像時点と、ピッキングを実行する時点までの間に、物品の位置や姿勢が変化する場合があり、ピッキングの精度が低下する場合があった。

【0150】

これに対して、本実施形態では、新たなＲＧＢ画像４０ｂと、前回の認識処理で使用したＲＧＢ画像４０ａの差分チェックを実行することにより、前回の認識結果に基づいてピッキング対象の選出及び移動処理を行う場合であっても、ピッキングの精度の低下を低減することができる。

【0151】

また、他の比較例として、ある時点において撮像された撮像画像に基づく認識結果を、その後の複数回のピッキングの際に流用する技術であって、ある時点において撮像された撮像画像に基づく認識結果を継続して使用する技術がある。このような比較例においては、ある時点において撮像された撮像画像と、最新の撮像画像との差異が許容範囲を超えてから、新たな認識処理が完了するまでの間に待機時間が発生し、ピッキング処理全体を効率的に実行することが困難な場合がある。これに対して、本実施形態の制御装置３０によれば、上述のように、移動対象として選出した物品Ｗに係る移動処理と、今回の撮像画像に基づく認識処理を並行して実行することにより、待機時間を低減し、ピッキング処理全体を効率的に実行することができる。

【0152】

また、本実施形態の制御装置３０は、認識した物品Ｗのうち、前回の選出処理で選出済みの物品Ｗは、移動対象の物品の候補から除外する。このため、本実施形態の制御装置３０によれば、効率的に、次の移動対象となる物品Ｗの選出をすることができる。

【0153】

また、本実施形態の制御装置３０は、前回の移動処理が完了した時点において、新たな撮像画像を用いた今回分の認識処理が完了している場合、該今回分の認識処理の処理結果に基づいて移動対象の物品Ｗを選出する選出処理を実行し、今回分の認識処理の処理結果に基づいて、移動対象の物品Ｗを移動させるための移動処理を実行する。このため、本実施形態の制御装置３０によれば、荷役装置１０によるピッキング動作に要した時間長に応じて、柔軟に、より新しい認識結果を採用することができる。

【0154】

また、本実施形態の制御装置３０は、前回の移動処理が完了した時点において、新たな撮像画像を用いた今回分の認識処理が完了していない場合、前回分の認識処理の処理結果に基づいて移動対象の物品Ｗを選出する選出処理を実行し、前回分の認識処理の処理結果に基づいて、移動対象の物品Ｗを移動させるための移動処理を実行する。このため、本実施形態の制御装置３０によれば、今回分の認識処理の終了を待たずに、選出処理及び移動処理を進めることができ、ピッキング処理全体の処理時間を低減することができる。

【0155】

また、本実施形態の制御装置３０は、前回の撮像時点から今回の撮像時点までの変化量が閾値以下となる物品Ｗが無い場合、今回の撮像画像に基づく今回の認識処理の処理結果に基づいて、移動対象の物品Ｗを選出する。このため、本実施形態の制御装置３０は、例えば荷崩れなど、複数の物品Ｗの全体の位置の変化が発生した場合は、今回の認識処理に基づいて認識処理を行うため、ピッキングの精度を向上させることができる。

【0156】

なお、本実施形態では、取得部を、プロセッサ３１がプログラムを実行することによって実現される機能のとして説明したが、カメラインタフェース３４を、取得部の一例としてもよい。

【0157】

上述の実施形態の制御装置３０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0158】

また、上述の実施形態の制御装置３０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の制御装置３０で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。また、上述の実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0159】

上述の各実施形態の制御装置３０で実行されるプログラムは、上述した各部（取得部、認識部、計画部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、取得部、認識部、計画部が主記憶装置上に生成されるようになっている。

【0160】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0161】

１ 荷役システム
１０ 荷役装置
２０ カメラ
２１ ＲＧＢカメラ
２２ ３次元カメラ
３０ 制御装置
３１ プロセッサ
３４ カメラインタフェース
３５ 荷役装置インタフェース
３６ 記憶部
３１１ 取得部
３１２ 認識部
３１３ 計画部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】