特許 7005388 情報処理装置及び仕分システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-07

(45)【発行日】2022-01-21

(54)【発明の名称】情報処理装置及び仕分システム

(51)【国際特許分類】

   B25J 19/04 20060101AFI20220114BHJP

   B07C 5/342 20060101ALI20220114BHJP

   B25J 13/00 20060101ALI20220114BHJP

   B25J 13/08 20060101ALI20220114BHJP

【ＦＩ】

B25J19/04

B07C5/342

B25J13/00 Z

B25J13/08 A

【請求項の数】 5

(21)【出願番号】P 2018036578

(22)【出願日】2018-03-01

(65)【公開番号】P2019150904

(43)【公開日】2019-09-12

【審査請求日】2020-09-24

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100189913

【氏名又は名称】鵜飼 健

(72)【発明者】

【氏名】渡辺 優香

(72)【発明者】

【氏名】関谷 健一

(72)【発明者】

【氏名】佐藤 昌孝

(72)【発明者】

【氏名】赤木 琢磨

【審査官】松浦 陽

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０３６８６８７（ＵＳ，Ａ１）

【文献】特開２０１６－０９１０５３（ＪＰ，Ａ）

【文献】特開２０１７－０６４９１０（ＪＰ，Ａ）

【文献】特表２０１３－５４１７７５（ＪＰ，Ａ）

【文献】特開２０１６－２０３２９３（ＪＰ，Ａ）

【文献】特開２０１６－１３２５２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ －２１／０２

Ｂ０７Ｃ ５／３４２

(57)【特許請求の範囲】

【請求項1】

所定範囲に置かれた物品を把持する把持機構と、前記把持機構を移動させるアーム機構とを具備するロボットアームに前記物品を把持させるピッキング位置を示すピッキング位置データを供給するとともに、前記所定範囲の画像から前記物品が存在する物品領域を認識する為の画像認識パラメータを調整する学習装置に、学習用データを供給する情報処理装置であって、
操作インタフェースへの入力操作に基づいて、前記ロボットアームに前記ピッキング位置データを供給することにより前記物品を移動させ、前記物品が移動する前の前記所定範囲の画像である第１画像と、前記物品が移動した後の前記所定範囲の画像である第２画像とに基づいて、学習用データを生成し、生成した前記学習用データを前記学習装置に供給する制御部を具備し、
前記制御部は、
前記第１画像と前記第２画像との差分に基づいて、前記第１画像上の前記物品が存在する前記物品領域を示すマスク画像を生成し、
前記第１画像を問題とし前記マスク画像を答えとする前記学習用データを前記学習装置に供給し、
前記物品領域と、前記ピッキング位置データとに基づいて、前記学習装置に前記学習用データを供給するか否か判断する情報処理装置。

【請求項2】

前記制御部は、
前記物品領域の略中心と、前記ピッキング位置データとの差が予め設定された閾値未満である場合、前記学習装置に前記学習用データを供給し、
前記差が予め設定された閾値以上である場合、前記学習装置に前記学習用データを供給しない請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、
前記画像認識パラメータを用いて前記第１画像に対して画像認識を行い、
前記第１画像上の前記物品が存在する物品領域を認識し、
前記物品領域に基づいて前記ピッキング位置データを決定し、
前記ロボットアームに前記ピッキング位置データを供給することにより前記物品を移動させ、
前記物品の移動が正常に行われなかった場合、操作インタフェースへの入力操作に基づいて、前記ロボットアームに前記ピッキング位置データを供給することにより前記物品を移動させ、
前記第１画像と、前記第２画像とに基づいて、学習用データを生成し、
生成した前記学習用データを前記学習装置に供給する請求項１に記載の情報処理装置。

【請求項4】

前記制御部は、
前記第１画像と前記第２画像との差分に基づいて、前記第１画像上の前記物品が存在する物品領域を認識し、
前記物品領域に基づいて前記物品の寸法を推定し、推定結果をメモリに保存する請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

所定範囲に置かれた物品を移動させるロボットアームと、前記ロボットアームに前記物品を把持させるピッキング位置を示すピッキング位置データを供給するとともに、前記所定範囲の画像から前記物品が存在する物品領域を認識する為の画像認識パラメータを調整する学習装置に学習用データを供給する情報処理装置とを具備する仕分システムであって、
前記ロボットアームは、
前記所定範囲に置かれた前記物品を把持する把持機構と、
前記ピッキング位置データに基づいて、前記把持機構を移動させるアーム機構と、
を具備し、
前記情報処理装置は、
操作インタフェースへの入力操作に基づいて、前記ロボットアームに前記ピッキング位置データを供給することにより前記物品を移動させ、前記物品が移動する前の前記所定範囲の画像である第１画像と、前記物品が移動した後の前記所定範囲の画像である第２画像とに基づいて、学習用データを生成し、生成した前記学習用データを前記学習装置に供給する制御部を具備し、
前記制御部は、
前記第１画像と前記第２画像との差分に基づいて、前記第１画像上の前記物品が存在する前記物品領域を示すマスク画像を生成し、
前記第１画像を問題とし前記マスク画像を答えとする前記学習用データを前記学習装置に供給し、
前記物品領域と、前記ピッキング位置データとに基づいて、前記学習装置に前記学習用データを供給するか否か判断する仕分システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置及び仕分システムに関する。

【背景技術】

【0002】

小包などの物品（荷物）を配送する仕分システムでは、収集した荷物を配送先ごとに仕分ける作業が必要となる。例えば、物品を把持する把持機構と、把持機構を移動させるアーム機構とを有するロボットアームと、ロボットアームに動作を指示する情報処理装置とを備える仕分システムが実用化されている。

【0003】

情報処理装置は、かご車に搭載された物品の画像（かご車画像）を取得する。情報処理装置は、画像に写った物品を認識する為のパラメータ（画像認識パラメータ）を用いて、かご車画像に対して画像認識を行い、かご車画像において物品が存在する領域（物品領域）を認識する。情報処理装置は、物品領域の認識結果に基づき、ロボットアームにより物品を把持させる位置（ピッキング位置）を決定する。情報処理装置は、ピッキング位置と把持機構の移動経路とを示す動作計画を生成し、ロボットアームに動作計画を供給する。

【0004】

ロボットアームは、情報処置装置から供給された動作計画に基づいて、アーム機構により把持機構を移動させる。ロボットアームは、ピッキング位置において、把持機構により物品を把持し、物品を仕分先まで移動させる。

【0005】

仕分システムで仕分される物品は、寸法及び外観などが一様ではない。情報処理装置による画像認識の精度を向上させる為に、機械学習を行い、画像認識パラメータを調整することが有効である。しかしながら、機械学習には、大量の学習用データが必要になる。学習用データは、問題と答えとを有するものである。上記の情報処理装置では、かご車画像が問題に相当し、かご車画像上における物品領域の位置が答えに相当する。即ち、機械学習を行う為に、物品領域が予め特定されたかご車画像が大量に必要になるという課題がある。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１７－６４９１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明が解決しようとする課題は、容易に学習用データを収集可能な情報処理装置及び仕分システムを提供することである。

【課題を解決するための手段】

【0008】

実施形態によれば、所定範囲に置かれた物品を把持する把持機構と、前記把持機構を移動させるアーム機構とを具備するロボットアームに前記物品を把持させるピッキング位置を示すピッキング位置データを供給するとともに、前記所定範囲の画像から前記物品が存在する物品領域を認識する為の画像認識パラメータを調整する学習装置に、学習用データを供給する情報処理装置は、制御部を具備する。制御部は、操作インタフェースへの入力操作に基づいて、前記ロボットアームに前記ピッキング位置データを供給することにより前記物品を移動させ、前記物品が移動する前の前記所定範囲の画像である第１画像と、前記物品が移動した後の前記所定範囲の画像である第２画像とに基づいて、学習用データを生成し、生成した前記学習用データを前記学習装置に供給し、前記第１画像と前記第２画像との差分に基づいて、前記第１画像上の前記物品が存在する物品領域を示すマスク画像を生成し、前記第１画像を問題とし前記マスク画像を答えとする前記学習用データを前記学習装置に供給し、前記物品領域と、前記ピッキング位置データとに基づいて、前記学習装置に前記学習用データを供給するか否か判断する。

【図面の簡単な説明】

【0009】

【図1】図１は、第１の実施形態に係る仕分システムの概略的な構成例について説明する為の説明図である。

【図2】図２は、第１の実施形態に係る操作端末の構成例について説明する為の説明図である。

【図3】図３は、第１の実施形態に係る情報処理装置の構成例について説明する為の説明図である。

【図4】図４は、第１の実施形態に係るロボットアームの動作の例について説明する為のフローチャートである。

【図5】図５は、第１の実施形態に係る情報処理装置の動作の例について説明する為のフローチャートである。

【図6】図６は、画像認識モードにおける情報処理装置の動作の例について説明する為の説明図である。

【図7】図７は、距離センサにより生成されたかご車画像の例について説明する為の説明図である。

【図8】図８は、かご車画像における物品領域の認識結果について説明する為の説明図である。

【図9】図９は、かご車画像における物品領域の認識結果に基づき決定されたピッキング位置について説明する為の説明図である。

【図10】図１０は、第１の実施形態に係る手動入力モードにおける情報処理装置の動作の例について説明する為の説明図である。

【図11】図１１は、ピッキング位置の入力を促す入力画面の例について説明する為の説明図である。

【図12】図１２は、物品が移動された後のかご車画像の例について説明する為の説明図である。

【図13】図１３は、マスク画像の例について説明する為の説明図である。

【図14】図１４は、併用モードにおける情報処理装置の動作の例について説明する為の説明図である。

【図15】図１５は、第２の実施形態に係る手動入力モードにおける情報処理装置の動作の例について説明する為の説明図である。

【図16】図１６は、物品領域の入力を促す入力画面の例について説明する為の説明図である。

【図17】図１７は、物品領域とピッキング位置との関係について説明する為の説明図である。

【発明を実施するための形態】

【0010】

以下、実施形態について、図面を参照して説明する。
（第１の実施形態）
図１は、第１の実施形態に係る仕分システム１の概略的な構成例について説明する為の説明図である。

【0011】

仕分システム１は、かご車２に積載された仕分対象である物品３を所定の仕分先に仕分けるシステムである。

【0012】

かご車２は、物品３を収容する収容部とキャスターとが組み合わされた容器である。なお、かご車２は、仕分対象の物品３が積載される容器の一例であり、荷台、またはパレットなど、物品３を積載することができるものであれば如何なるものであってもよい。

【0013】

物品３の仕分先は、例えばベルトコンベア４である。なお、仕分先は、ベルトコンベア４に限定されるものではなく、仕分用のカゴであっても良いし、作業台などであっても良い。

【0014】

仕分システム１は、ロボットアーム１１、情報処理装置１２、及び操作端末１３を備える。また、仕分システム１は、距離センサ１４をさらに備える。また、仕分システム１は、ストレージ１５、及び学習装置１６をさらに備える。ロボットアーム１１、情報処理装置１２、操作端末１３、距離センサ１４、ストレージ１５、及び学習装置１６は、ネットワーク１７を介して互いに通信可能に構成されている。

【0015】

まず、ロボットアーム１１の構成について説明する。
ロボットアーム１１は、かご車２に積載された物品を把持し、把持した物品３を持ち上げ、物品３を仕分先に供給する装置である。ロボットアーム１１は、把持機構２１、アーム機構２２、接触センサ２３、及びコントローラ２４を備える。

【0016】

把持機構２１は、物品３を把持する機構である。把持機構２１は、例えば、物品３に吸着する吸着パッドを備える。吸着パッドは、物品３の表面に接し、且つコントローラ２４の制御によりパッド内が負圧になることにより、物品３の表面に吸着し、物品３を把持する。また、把持機構２１は、２点以上の接点で物品３を挟むことにより物品３を把持する複数の指部を備えるグリッパとして構成されていてもよい。

【0017】

アーム機構２２は、把持機構２１を移動させる機構である。アーム機構２２は、複数のアームと、複数のアームを連結する関節機構とを備える。関節機構は、コントローラ２４により制御されるアクチュエータ（図示せず）により可動することにより、アームを駆動する。

【0018】

接触センサ２３は、把持機構２１に対して加えられる応力を検知するセンサである。接触センサ２３は、例えば、把持機構２１に対して鉛直方向から加わる応力を検知する。接触センサ２３は、検知結果をコントローラ２４に送信する。具体的には、接触センサ２３は、把持機構２１に対して鉛直方向から加わる応力を検知した場合、オン信号をコントローラ２４に供給する。なお、接触センサ２３は、アーム機構２２に対して加えられる応力も検知する構成であってもよい。

【0019】

コントローラ２４は、情報処理装置１２から供給される動作計画に基づいて、把持機構２１及びアーム機構２２の動作を制御する。コントローラ２４は、例えば、メモリ（図示せず）と、メモリに記憶されたプログラムを実行することにより把持機構２１及びアーム機構２２の動作を制御する演算素子（図示せず）とを備える。また、コントローラ２４は、シーケンサとして構成されていてもよい。

【0020】

動作計画は、ピッキング位置を示すピッキング位置データと、軌跡とを含む情報である。コントローラ２４は、動作計画が示す軌跡を通り、動作計画のピッキング位置データが示すピッキング位置まで把持機構２１を移動させる。

【0021】

ピッキング位置データは、把持機構２１により物品３を把持させる位置を示す情報である。例えば、ピッキング位置データは、把持機構２１により物品３を把持させる場合に把持機構２１を移動させる位置を示す。より具体的には、ピッキング位置データは、把持機構２１の基準点の移動先の３次元空間上の座標である。なお、以下ピッキング位置データが示すピッキング位置を、単にピッキング位置と称する。

【0022】

軌跡は、ロボットアーム１１の把持機構２１をピッキング位置まで移動させる際の経路を示す。より具体的には、軌跡は、把持機構２１の基準点の移動経路を示す３次元空間上の複数の座標である。なお、ピッキング位置は、軌跡に含まれていてもよい。

【0023】

把持機構２１が吸着パッドとして構成されている場合、把持機構２１の基準点は、例えば、吸着パッドの中心（重心）であってもよいし、吸着パッドにおける任意の点であってもよい。また、把持機構２１がグリッパとして構成されている場合、把持機構２１の基準点は、例えば、グリッパを構成する複数の指部の中心であってもよい。

【0024】

次に、距離センサ１４の構成について説明する。
距離センサ１４は、対象物までの距離を計測するセンサである。距離センサ１４は、対象物と距離センサ１４との距離を示す点が配列された点群により構成された距離画像を取得する。即ち、距離画像は、互いに直交するｘ方向、ｙ方向、ｚ方向からなる空間における点の集合である。または、距離画像は、画素の配列上に並んだ距離値の集合である。距離センサ１４は、距離画像を、ネットワーク１７を介して情報処理装置１２に供給する。

【0025】

距離センサ１４は、例えば異なる２点（瞳位置）から対象物を撮像した際の視差に基づいて対象物までの距離を計測するステレオカメラである。即ち、距離センサ１４は、レンズと、レンズにより結像された光を画像に変換する撮像素子とが組み合わされた２つ以上のカメラを備える。このような構成により、距離センサ１４は、上記の距離画像と同時に、色情報を有する座標（画素）が二次元的に配列されたラスタ画像を取得する。なお、ラスタ画像は、カラー画像であっても単色画像であってもよい。距離センサ１４は、ラスタ画像を、ネットワーク１７を介して情報処理装置１２に供給する。

【0026】

距離センサ１４のレンズは、ロボットアーム１１により持ち上げられる物品３が積載されたかご車２を含む領域を撮影することができるように画角が調整されている。例えば、距離センサ１４のレンズは、光軸がかご車２の底面に対向するように調整される。例えば、距離センサ１４のレンズは、距離センサ１４のレンズの光軸と、上記のｚ方向（鉛直方向）が平行になるように調整される。即ち、距離センサ１４は、かご車２の底面に対向する方向からかご車２を含む所定範囲を撮像し、距離画像、及びラスタ画像を取得する。なお、かご車２を含む所定範囲の画像をかご車画像と称する。かご車画像は、距離画像とラスタ画像とのいずれであってもよいが、本実施形態では、かご車画像は距離画像であると仮定して説明する。

【0027】

なお、距離センサ１４は、対象物からの光を分光し、撮像素子の異なる位置に入射させる構成であってもよい。また、距離センサ１４は、レーザによる１次元スキャナであってもよい。

【0028】

次に、操作端末１３について説明する。
図２は、操作端末１３の構成例について説明する為の説明図である。

【0029】

操作端末１３は、操作に基づく情報を情報処理装置１２に供給する装置である。即ち、操作端末１３は、情報処理装置１２の操作インタフェースとして機能する。操作端末１３は、通信インタフェース３１、制御部３２、及びタッチパネル３３を備える。

【0030】

通信インタフェース３１は、操作端末１３以外の他の機器と通信する為のインタフェースである。通信インタフェース３１は、ネットワーク１７を介してロボットアーム１１、情報処理装置１２、及び距離センサ１４と通信する為の通信規格などに対応した端子及び回路を備える。通信インタフェース３１は、制御部３２の制御に基づいて、ロボットアーム１１、情報処理装置１２、及び距離センサ１４などと通信する。

【0031】

制御部３２は、種々の処理を実行する処理部である。制御部３２は、プロセッサ３４及びメモリ３５を備える。

【0032】

プロセッサ３４は、演算処理を実行する演算素子である。プロセッサ３４は、例えばＣＰＵとして構成される。プロセッサ３４は、メモリ３５に記憶されているプログラムに基づいて種々の処理を行う。

【0033】

メモリ３５は、プログラム及びデータを記憶する記憶装置である。メモリ３５は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。

【0034】

タッチパネル３３は、画面の表示と、操作に基づく操作信号の生成とを行う装置である。タッチパネル３３は、一体に構成されたディスプレイ３６及びタッチセンサ３７を備える。操作端末１３は、タッチパネル３３の代わりに画面を表示するディスプレイと、操作に基づき操作信号を生成する操作部とを備える構成であってもよい。操作部は、マウス、トラックボール、キーボード、トラックパッドなど如何なるものであってもよい。

【0035】

ディスプレイ３６は、制御部３２または図示されないグラフィックコントローラから供給される表示用のデータ（画面データ）に基づいて画面を表示する。

【0036】

タッチセンサ３７は、ディスプレイ３６に表示された画面上において操作端末１３を操作するオペレータがタッチした位置を示す操作信号を生成する。

【0037】

次に、情報処理装置１２の構成について説明する。
図３は、情報処理装置１２の構成例について説明する為の説明図である。

【0038】

情報処理装置１２は、ロボットアーム１１に動作計画を供給する装置である。情報処理装置１２は、かご車２に搭載された物品３の画像であるかご車画像を取得する。情報処理装置１２は、かご車画像に写った物品３を認識する為のパラメータである画像認識パラメータを用いて、かご車画像に対して画像認識を行い、かご車画像において物品３が写った領域である物品領域を認識する。情報処理装置１２は、物品領域の認識結果に基づき、ロボットアーム１１により物品３を把持させる位置であるピッキング位置を決定する。情報処理装置１２は、ピッキング位置と把持機構２１の移動経路である軌跡とを示す動作計画を生成し、ロボットアーム１１に動作計画を供給する。

【0039】

また、情報処理装置１２は、後述する方法によって、学習装置１６に機械学習を行わせる為の学習用データを生成する。情報処理装置１２は、生成した学習用データをストレージ１５に供給する。

【0040】

情報処理装置１２は、パーソナルコンピュータ（ＰＣ）などの、データの処理及びデータの保存を行うことができる装置により構成される。情報処理装置１２は、通信インタフェース４１及び制御部４２を備える。

【0041】

通信インタフェース４１は、情報処理装置１２以外の他の機器と通信する為のインタフェースである。通信インタフェース４１は、ネットワーク１７を介してロボットアーム１１、操作端末１３、及び距離センサ１４と通信する為の通信規格などに対応した端子及び回路を備える。通信インタフェース４１は、制御部４２の制御に基づいて、ロボットアーム１１、操作端末１３、距離センサ１４、ストレージ１５、及び学習装置１６などと通信する。

【0042】

制御部４２は、種々の処理を実行する処理部である。制御部４２は、プロセッサ４３及びメモリ４４を備える。

【0043】

プロセッサ４３は、演算処理を実行する演算素子である。プロセッサ４３は、例えばＣＰＵとして構成される。プロセッサ４３は、メモリ４４に記憶されているプログラムに基づいて種々の処理を行う。

【0044】

メモリ４４は、プログラム及びデータを記憶する記憶装置である。メモリ４４は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。例えば、メモリ４４は、画像認識パラメータを記憶する。

【0045】

次に、ストレージ１５及び学習装置１６について説明する。
ストレージ１５は、学習用データを記憶する記憶装置である。ストレージ１５は、情報処理装置１２から供給された学習用データを記憶する。ストレージ１５は、学習装置１６からの要求に応じて、学習用データを学習装置１６に供給する。

【0046】

学習装置１６は、ストレージ１５から学習用データを取得し、学習用データに基づいて機械学習を行うことにより画像認識パラメータを生成し、情報処理装置１２に画像認識パラメータを供給する。学習装置１６は、学習装置１６以外の機器と通信する為の通信インタフェース、種々の処理を実行する制御部、及びメモリなどを備える。

【0047】

学習装置１６で用いられる学習用データは、問題と答えとを有するデータである。例えば、学習用データは、仕分対象の物品３が写ったかご車画像と、このかご車画像において仕分対象の物品が写った領域である物品領域を示す情報とを有する。かご車画像が問題に相当し、かご車画像における物品領域が答えに相当する。学習装置１６は、このような学習用データに基づいて、例えばセグメーテーション用のニューラルネットワークなどにより機械学習を行うことにより、情報処理装置１２がかご車画像から物体領域を認識する際に用いられる画像認識パラメータを生成する。画像認識パラメータは、セグメーテーション用のニューラルネットワークにおける重み計数である。なお、学習装置１６は、学習用データを取得する毎に画像認識パラメータを生成する構成であってもよいし、取得した学習用データに基づいて生成された画像認識パラメータを用いて、既に生成した画像認識パラメータを調整（更新）する構成であってもよい。また、学習装置１６は、既に生成した画像認識パラメータを調整（変更）する場合、１度に調整することができる値を制限する構成であってもよい。

【0048】

次に、ロボットアーム１１の動作について説明する。
図４は、ロボットアーム１１の動作について説明する為のフローチャートである。

【0049】

ロボットアーム１１のコントローラ２４は、アーム機構２２及び把持機構２１を距離センサ１４の画角外の初期位置に移動させる（ステップＳ１１）。例えば、コントローラ２４は、アーム機構２２の関節機構をアクチュエータにより可動させることにより、アーム機構２２を駆動し、アーム機構２２及び把持機構２１を撮影範囲外に移動させる。なお、距離センサ１４は、アーム機構２２及び把持機構２１を撮影範囲外に移動したタイミングでかご車画像を取得し、情報処理装置１２に送信する。

【0050】

コントローラ２４は、アーム機構２２及び把持機構２１を撮影範囲外に移動させると、情報処理装置１２から動作計画が供給されるのを待つ（ステップＳ１２）。

【0051】

コントローラ２４は、情報処理装置１２から動作計画が供給された場合（ステップＳ１２、ＹＥＳ）、動作計画に基づき把持機構２１を移動させる（ステップＳ１３）。例えば、コントローラ２４は、動作計画が示す軌跡に基づき、動作計画が示すピッキング位置まで把持機構２１を移動させるように、アーム機構２２を制御する。

【0052】

コントローラ２４は、把持機構２１の位置を逐次確認し、動作計画が示すピッキング位置に到達したか否か判断する。コントローラ２４は、把持機構２１がピッキング位置に到達した場合、次のステップＳ１４の処理に移行する。また、コントローラ２４は、接触センサ２３の検知結果（接触検知結果）を逐次確認し、把持機構２１がピッキング位置に到達し、且つ接触検知結果がオンである場合に、次のステップＳ１４の処理に移行する構成であってもよい。

【0053】

コントローラ２４は、把持機構２１がピッキング位置に到達したと判断した場合、把持機構２１により物品３を把持させる（ステップＳ１４）。例えば把持機構２１が吸着パッドとして構成されている場合、コントローラ２４は、吸着パッド内を図示されない真空ポンプなどにより負圧にさせることにより、把持機構２１に物品を把持させる。また例えば、把持機構２１がグリッパとして構成されている場合、コントローラ２４は、グリッパの指部により物品を挟ませることにより、把持機構２１に物品を把持させる。

【0054】

コントローラ２４は、把持機構２１により物品３を把持させる動作を行わせた後、物品３の把持が正常に行われたか否か判断する（ステップＳ１５）。即ち、コントローラ２４は、把持機構２１により物品３を把持することができたか否か判断する。例えば、把持機構２１が吸着パッドとして構成されている場合、コントローラ２４は、吸着パッド内が負圧にならない場合、把持機構２１により物品３を把持できていないと判断する。また、例えば、把持機構２１がグリッパとして構成されている場合、コントローラ２４は、グリッパにより物品３を挟むことにより、グリッパの指部に加わることが推定される応力が生じない場合、把持機構２１により物品３を把持できていないと判断する。

【0055】

コントローラ２４は、把持機構２１による物品３の把持が正常に行われたと判断した場合（ステップＳ１５、ＹＥＳ）、物品３を把持した把持機構２１を仕分先に応じたベルトコンベア４に対応した位置まで移動させるように、アーム機構２２を制御する（ステップＳ１６）。

【0056】

コントローラ２４は、把持機構２１を仕分先に応じたベルトコンベア４に対応した位置まで移動させると、把持機構２１による物品３の把持を解除するように把持機構２１を制御し（ステップＳ１７）、１つの物品の仕分が完了したことを示す完了通知を情報処理装置１２に送信し、ステップＳ１１の処理に移行する。これにより、把持機構２１から離れた物品３が、仕分先のベルトコンベア４に投入される。さらに、コントローラ２４は、アーム機構２２及び把持機構２１を距離センサ１４の画角外に移動させ、次の動作計画の受信を待つ状態になる。

【0057】

また、コントローラ２４は、把持機構２１による物品３の把持が正常に行われなかったと判断した場合（ステップＳ１５、ＮＯ）、把持が正常に行われなかったことを示すエラーを情報処理装置１２に送信し（ステップＳ１８）、ステップＳ１１の処理に移行する。

【0058】

なお、ロボットアーム１１のコントローラ２４は、情報処理装置１２から終了指示が供給された場合、アーム機構２２及び把持機構２１を所定の位置に移動させ、図４の処理を終了する。

【0059】

次に、情報処理装置１２の動作について説明する。
図５は、情報処理装置１２の動作について説明する為のフローチャートである。

【0060】

情報処理装置１２の制御部４２は、画像認識モード、手動入力モード、及び併用モードなどのモードで動作する。自身のモードは、例えばメモリ４４の所定の領域の情報によって示される。自身のモードは、通信インタフェースを介して入力される情報により切り替えられる。

【0061】

画像認識モードは、画像認識によってかご車画像から物品領域を認識し、ピッキング位置を決定するモードである。

【0062】

手動入力モードは、操作端末１３のオペレータが、操作端末１３に対して入力した操作に基づいて、ピッキング位置を決定するモードである。

【0063】

併用モードは、画像認識によってかご車画像から物品領域を認識し、ピッキング位置を決定し、画像認識によってかご車画像から物品領域を認識することができなかった場合、操作端末１３のオペレータが操作端末１３に対して入力した操作に基づいて、ピッキング位置を決定するモードである。

【0064】

まず、情報処理装置１２の制御部４２は、自身がどのモードで動作しているのか判断する。例えば、制御部４２は、自身が画像認識モードで動作しているか否か判断する（ステップＳ２１）。また、制御部４２は、自身が手動入力モードで動作しているか否か判断する（ステップＳ２２）。また、制御部４２は、自身が併用モードで動作しているか否か判断する（ステップＳ２３）。制御部４２は、画像認識モード、手動入力モード、及び併用モードのいずれでもないと判断した場合（ステップＳ２１乃至Ｓ２３、ＮＯ）、エラーであると判断し、処理を終了する。

【0065】

制御部４２は、自身が画像認識モードで動作していると判断した場合（ステップＳ２１、ＹＥＳ）、画像認識モードに応じた処理を行い（ステップＳ２４）、ステップＳ２７の処理に移行する。

【0066】

また、制御部４２は、自身が手動入力モードで動作していると判断した場合（ステップＳ２２、ＹＥＳ）、手動入力モードに応じた処理を行い（ステップＳ２５）、ステップＳ２７の処理に移行する。

【0067】

また、制御部４２は、併用モードで動作していると判断した場合（ステップＳ２３、ＹＥＳ）、併用モードに応じた処理を行い（ステップＳ２６）、ステップＳ２７の処理に移行する。

【0068】

制御部４２は、かご車２が空になったか否か判断する（ステップＳ２７）。制御部４２は、画像に基づいて、かご車２が空になったか否か判断する構成であってもよいし、他の情報に基づいて、かご車２が空になったか否か判断する構成であってもよい。例えば、制御部４２は、かご車画像を取得し、かご車画像に対して画像認識を行い、物品領域の検出結果に基づいて、仕分が可能な物品が存在するか否か判断する。

【0069】

図６は、画像認識モードにおける情報処理装置１２の動作について説明する為のフローチャートである。即ち、図６は、図５におけるステップＳ２４に対応するフローチャートである。

【0070】

画像認識モードでは、制御部４２は、まず距離センサ１４からかご車画像が供給されるのを待つ（ステップＳ３１）。上記したように、距離センサ１４は、ロボットアーム１１により持ち上げられる物品３が搭載されたかご車２内を、ステレオカメラにより撮像して１対の画像データを取得する。さらに、距離センサ１４は、１対の画像データに基づき、画像データ上の所定の領域（点）毎に距離センサ１４との距離を算出し、点群データとしてのかご車画像５１を生成する。距離センサ１４は、生成したかご車画像５１を情報処理装置１２に供給する。

【0071】

図７は、かご車画像５１の例について説明する為の説明図である。図７に示されるように、距離センサ１４は、かご車２が設置される領域を含む所定範囲が画角として設定されている。この為、かご車画像５１には、かご車２及び複数の物品３が写り込んでいる。

【0072】

かご車画像５１には、かご車２及びかご車２内に積載された複数の物品３の面と距離センサ１４との距離を示す情報が含まれている。即ち、距離センサ１４が設置されている高さ、距離センサ１４に用いられているレンズの焦点距離、及び距離センサ１４に用いられている撮像素子の寸法が既知である場合、かご車画像５１に基づき、かご車２が設置される床から複数の物品３の面までの高さが算出可能である。

【0073】

情報処理装置１２の制御部４２は、距離センサ１４からかご車画像５１を取得すると、メモリ４４に記憶された画像認識パラメータを用いてかご車画像５１に対して画像認識を行う。これにより、制御部４２は、かご車画像５１内において物品３が存在する領域である物品領域を認識する（ステップＳ３２）。具体的には、制御部４２は、かご車画像５１に対して、メモリ４４に記憶された画像認識パラメータを用いて、物体検出またはセグメンテーション用のニューラルネットワークなどの手法を用いることにより、物品領域を認識する。例えば、制御部４２は、かご車画像５１において最も高い位置に存在する面に対応する領域を、物品領域として認識する。

【0074】

図８は、かご車画像５１内の物品領域の認識結果の例について説明する為の説明図である。図８に示されるように、かご車画像５１において、最も高い位置に存在する物品３の面が物品領域５２として認識されている。これにより、制御部４２は、仕分対象の物品３の形状を認識する。

【0075】

制御部４２は、かご車画像５１における物品領域５２の認識結果に基づいて、ピッキング位置を決定する（ステップＳ３３）。例えば、制御部４２は、物品領域の重心（若しくは中心）の座標をピッキング位置として決定する。

【0076】

図９は、かご車画像５１の物品領域５２の認識結果に基づいて決定されたピッキング位置５３の例について説明する為の説明図である。図９に示されるように、制御部４２は、物品領域５２の重心をピッキング位置５３として決定する。

【0077】

制御部４２は、決定したピッキング位置５３に基づいて、動作計画を生成する（ステップＳ３４）。例えば、制御部４２は、ロボットアーム１１の把持機構２１を、初期位置からピッキング位置５３まで他の物品３またはかご車２などに接触しないように軌跡を生成し、ピッキング位置と軌跡とを示す動作計画を生成する。さらに、制御部４２は、生成した動作計画をロボットアーム１１のコントローラ２４に送信し（ステップＳ３５）、処理を終了する。これにより、制御部４２は、図５のステップＳ２７の処理に移行する。

【0078】

図１０は、手動入力モードにおける情報処理装置１２の動作について説明する為のフローチャートである。即ち、図１０は、図５におけるステップＳ２５に対応するフローチャートである。

【0079】

手動入力モードでは、制御部４２は、まず距離センサ１４からかご車画像が供給されるのを待つ（ステップＳ４１）。なお、手動入力モードでは、仕分対象の物品３を把持する前の状態のかご車画像を第１かご車画像と称する。即ち、制御部４２は、ステップＳ４１において、距離センサ１４から第１かご車画像を取得する。なお、第１かご車画像は、図７に示すかご車画像５１と同様である。

【0080】

制御部４２は、第１かご車画像を取得すると、ピッキング位置の入力を促す案内を出力する（ステップＳ４２）。図１１は、ピッキング位置の入力を促す入力画面６１の例を示す。制御部４２は、ピッキング位置の入力を促す文字列と、第１かご車画像とを入力画面６１に描画する。例えば、制御部４２は、入力画面６１を操作端末１３に送信する。これにより、制御部４２は、操作端末１３のオペレータに、ピッキング位置を入力することを促す。

【0081】

操作端末１３の制御部３２は、情報処理装置１２から入力画面６１を受信すると、タッチパネル３３のディスプレイ３６に入力画面６１を表示させる。さらに、制御部３２は、入力画面６１の表示中のタッチセンサ３７による操作入力に基づいて、ピッキング位置を示す座標情報を生成する。制御部３２は、ピッキング位置の座標情報を情報処理装置１２に供給する。

【0082】

情報処理装置１２の制御部４２は、操作端末１３においてピッキング位置が入力されたか否か判断する（ステップＳ４３）。制御部４２は、操作端末１３からピッキング位置の座標情報を受信した場合、操作端末１３においてピッキング位置が入力されたと判断する。制御部４２は、操作端末１３からピッキング位置の座標情報を受信するまでステップＳ４３の判断を繰り返し行う。

【0083】

制御部４２は、操作端末１３においてピッキング位置が入力されたと判断した場合（ステップＳ４３、ＹＥＳ）、操作端末１３から供給されたピッキング位置の座標情報に基づいて、動作計画を生成する（ステップＳ４４）。さらに、制御部４２は、生成した動作計画をロボットアーム１１のコントローラ２４に送信する（ステップＳ４５）。

【0084】

制御部４２は、動作計画をロボットアーム１１に送信すると、ロボットアーム１１の把持機構２１により、物品３の把持が正常に行われたか否か判断する（ステップＳ４６）。例えば、制御部４２は、ロボットアーム１１から、１つの物品の仕分が完了したことを示す完了通知を受信した場合、物品３の把持が正常に行われたと判断する。また、例えば、制御部４２は、ロボットアーム１１から、把持機構２１による物品３の把持が正常に行われなかったことを示すエラーを受信した場合、物品３の把持が正常に行われなかったと判断する。制御部４２は、物品３の把持が正常に行われなかったと判断した場合（ステップＳ４６、ＮＯ）、ステップＳ４１に移行し、再度第１かご車画像を取得し、ピッキング位置の入力を促す。

【0085】

制御部４２は、物品３の把持が正常に行われたと判断した場合（ステップＳ４６、ＹＥＳ）、距離センサ１４から再度かご車画像を取得する（ステップＳ４７）。なお、物品３の把持が正常に行われたということは、第１かご車画像に写っていた仕分対象の物品３が移動されたということを示す。このように、仕分対象の物品３が移動された後のかご車画像を第２かご車画像と称する。即ち、制御部４２は、ステップＳ４７において、第２かご車画像を取得する。

【0086】

次に、制御部４２は、第１かご車画像と第２かご車画像との差分を検出する（ステップＳ４８）。例えば、制御部４２は、第１かご車画像と第２かご車画像との差分に基づいて、第１かご車画像と第２かご車画像との差分が存在する領域を示すマスク画像を生成する。即ち、制御部４２は、ロボットアーム１１により物品３を移動させる前のかご車画像と、移動させた後のかご車画像との差分に基づいて、マスク画像を生成する。

【0087】

図１２は、第２かご車画像５５の例について説明する為の説明図である。上記したように、第２かご車画像５５の撮像時には、第１かご車画像に写っていた仕分対象の物品３がかご車２から除かれている。この為、仕分対象の物品３で隠れていた箇所が第２かご車画像５５に映り込む。このように、仕分対象の物品３が除かれることにより、第１かご車画像と第２かご車画像５５とで差分が生じた領域を差分領域５４と称する。

【0088】

図１３は、マスク画像７１の例について説明する為の説明図である。図１３の例では、マスク画像７１は、差分領域５４の画素値が「１」であり、その他の領域の画素値が「０」である二値画像として構成されている。なお、マスク画像７１は、このような構成に限定されるものではなく、第１かご車画像と第２かご車画像とで差分が有る領域とその他の領域とを区別可能な構成であれば如何なる構成であってもよい。また、制御部４２は、第１かご車画像と第２かご車画像とで差分が有る領域の輪郭を補正してマスク画像を生成する構成であってもよい。

【0089】

差分領域５４は、図６のステップＳ３２の画像認識において、物品領域５２として検出すべき領域に相当する。即ち、マスク画像７１は、学習用データにおいて、第１かご車画像に対する答えに相当する。

【0090】

制御部４２は、第１のかご車画像と、マスク画像とに基づいて学習用データを生成する（ステップＳ４９）。即ち、制御部４２は、第１のかご車画像を問題とし、第１のかご車画像における仕分対象の物品３が取り除かれた後に撮像された第２のかご車画像と、第１のかご車画像との差分を示すマスク画像を答えとして、学習用データを生成する。制御部４２は、生成した学習用データをストレージ１５に送信し（ステップＳ５０）、処理を終了する。これにより、制御部４２は、図５のステップＳ２７の処理に移行する。なお、制御部４２は、再度ステップＳ２５の処理を実行する場合、前回の処理において取得した第２かご車画像を第１かご車画像として用いてもよい。

【0091】

図１４は、併用モードにおける情報処理装置１２の動作について説明する為のフローチャートである。即ち、図１４は、図５におけるステップＳ２６に対応するフローチャートである。

【0092】

併用モードでは、制御部４２は、まず画像認識による動作計画の生成を試み、生成した動作計画により物品３の把持が正常に行われなかった場合、手動入力に基づく動作計画の生成を行う。

【0093】

まず、制御部４２は、距離センサ１４からかご車画像が供給されるのを待つ（ステップＳ６１）。なお、仕分対象の物品３を把持する前の状態のかご車画像を第１かご車画像と称する。

【0094】

制御部４２は、距離センサ１４から第１かご車画像を取得すると、メモリ４４に記憶された画像認識パラメータを用いて、第１かご車画像に対して画像認識を行う。これにより、制御部４２は、第１かご車画像内において、仕分対象の物品３が存在する領域である物品領域を認識する。制御部４２は、この際、物品領域を認識可能か否か判断する（ステップＳ６２）。制御部４２は、物品領域を認識不可であると判断した場合（ステップＳ６２、ＮＯ）、後述するステップＳ６７の処理に移行する。

【0095】

制御部４２は、物品領域を認識可であると判断した場合（ステップＳ６２、ＹＥＳ）、第１かご車画像における物品領域の認識結果に基づいて、ピッキング位置を決定する（ステップＳ６３）。

【0096】

制御部４２は、決定したピッキング位置５３に基づいて、動作計画を生成する。制御部４２は、この際、動作計画を生成可能か否か判断する（ステップＳ６４）。例えば、制御部４２は、ロボットアーム１１の把持機構２１を、初期位置からピッキング位置５３まで他の物品３またはかご車２などに接触しないように軌跡を生成し、ピッキング位置と軌跡とを示す動作計画を生成する。制御部４２は、このような動作計画を生成することができない場合、動作計画が生成不可であると判断する。制御部４２は、動作計画が生成不可であると判断した場合（ステップＳ６４、ＮＯ）、後述するステップＳ６７の処理に移行する。

【0097】

制御部４２は、動作計画が生成可であると判断した場合（ステップＳ６４、ＹＥＳ）、生成した動作計画をロボットアーム１１のコントローラ２４に送信する（ステップＳ６５）。

【0098】

制御部４２は、動作計画をロボットアーム１１に送信すると、ロボットアーム１１の把持機構２１により、物品３の把持が正常に行われたか否か判断する（ステップＳ６６）。制御部４２は、物品３の把持が正常に行われたと判断した場合（ステップＳ６６、ＹＥＳ）、処理を終了する。これにより、制御部４２は、図５のステップＳ２７の処理に移行する。

【0099】

また、制御部４２は、物品３の把持が正常に行われなかったと判断した場合（ステップＳ６６、ＮＯ）、ピッキング位置の入力を促す案内を出力する（ステップＳ６７）。例えば、制御部４２は、図１１で示したピッキング位置の入力を促す入力画面６１を操作端末１３に送信することにより、操作端末１３のオペレータに、ピッキング位置を入力することを促す。

【0100】

情報処理装置１２の制御部４２は、操作端末１３においてピッキング位置が入力されたか否か判断する（ステップＳ６８）。制御部４２は、操作端末１３からピッキング位置の座標情報を受信した場合、操作端末１３においてピッキング位置が入力されたと判断する。制御部４２は、操作端末１３からピッキング位置の座標情報を受信するまでステップＳ６８の判断を繰り返し行う。

【0101】

制御部４２は、操作端末１３においてピッキング位置が入力されたと判断した場合（ステップＳ６８、ＹＥＳ）、操作端末１３から供給されたピッキング位置の座標情報に基づいて、動作計画を生成する（ステップＳ６９）。さらに、制御部４２は、生成した動作計画をロボットアーム１１のコントローラ２４に送信する（ステップＳ７０）。

【0102】

制御部４２は、動作計画をロボットアーム１１に送信すると、ロボットアーム１１の把持機構２１により、物品３の把持が正常に行われたか否か判断する（ステップＳ７１）。制御部４２は、物品３の把持が正常に行われなかったと判断した場合（ステップＳ７１、ＮＯ）、ステップＳ６７に移行し、再度ピッキング位置の入力を促す。なお、制御部４２は、ステップＳ６７に移行する際に、再度距離センサ１４から第１かご車画像を取得し、取得した第１かご車画像により入力画面６１の表示を更新してもよい。

【0103】

制御部４２は、物品３の把持が正常に行われたと判断した場合（ステップＳ７１、ＹＥＳ）、距離センサ１４から再度かご車画像を取得する（ステップＳ７２）。なお、物品３の把持が正常に行われたということは、第１かご車画像に写っていた仕分対象の物品３が移動されたということを示す。このように、仕分対象の物品３が移動された後のかご車画像を第２かご車画像と称する。即ち、制御部４２は、ステップＳ７２において、第２かご車画像を取得する。

【0104】

次に、制御部４２は、第１かご車画像と第２かご車画像との差分を検出する（ステップＳ７３）。例えば、制御部４２は、第１かご車画像と第２かご車画像との差分に基づいて、第１かご車画像と第２かご車画像との差分が存在する領域を示すマスク画像を生成する。なお、マスク画像の生成方法は、図１０の説明と同様である。

【0105】

制御部４２は、第１のかご車画像と、マスク画像とに基づいて学習用データを生成する（ステップＳ７４）。即ち、制御部４２は、第１のかご車画像を問題とし、第１のかご車画像における仕分対象の物品３が取り除かれた後に撮像された第２のかご車画像と、第１のかご車画像との差分を示すマスク画像を答えとして、学習用データを生成する。制御部４２は、生成した学習用データをストレージ１５に送信し（ステップＳ７５）、処理を終了する。これにより、制御部４２は、図５のステップＳ２７の処理に移行する。なお、制御部４２は、再度ステップＳ２６の処理を実行する場合、前回の処理において取得した第２かご車画像を第１かご車画像として用いてもよい。

【0106】

上記の様に、仕分システム１は、ロボットアーム１１と情報処理装置１２とを備える。ロボットアーム１１は、所定範囲に置かれた物品３を把持する把持機構２１と、把持機構２１を移動させるアーム機構２２とを有する。情報処理装置１２は、ロボットアーム１１にピッキング位置を供給するとともに、所定範囲の画像から物品３を認識する為の画像認識パラメータを調整する学習装置１６に、学習用データを供給する。

【0107】

さらに、情報処理装置１２の制御部４２は、操作端末１３などの操作インタフェースへの入力操作に基づいて、ロボットアーム１１にピッキング位置を供給することにより、所定範囲の物品３を移動させる。さらに、制御部４２は、物品３が移動する前の所定範囲の画像である第１画像（第１かご車画像）と、物品３が移動した後の所定範囲の画像である第２画像（第２かご車画像）とに基づいて、学習用データを生成する。

【0108】

また、制御部４２は、第１かご車画像と第２かご車画像との差分に基づいて、第１かご車画像上の物品３が存在する物品領域を示すマスク画像を生成し、第１かご車画像とマスク画像とを学習用データとして生成する。

【0109】

このような構成によると、ピッキング位置を操作入力で指示することにより、確実に物品３をロボットアーム１１により移動させつつ、学習用データの問題と答えとを取得することができる。即ち、実際に仕分システム１を運用しつつ、少ない労力で学習用データを収集することができる。この結果、容易に学習用データを収集可能な情報処理装置１２及び仕分システム１を提供することができる。また、ピッキング位置を操作入力で指示している為、ロボットアーム１１による正確な処理が行われた結果を、学習用データの生成に用いることができる。この結果、正確な収容データを収集することが容易になる。

【0110】

（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態に係る仕分システム１の情報処理装置１２は、手動入力モードにおける動作が第１の実施形態と異なる。第２の実施形態に係る仕分システム１の各構成は、第１の実施形態と同様である為、構成についての詳細な説明を省略する。

【0111】

第２の実施形態に係る仕分システム１の情報処理装置１２の制御部４２は、物品を移動させる前のかご車画像において、物品３が存在する物品領域を入力させる。制御部４２は、入力された物品領域に基づいて、ピッキング位置を決定する。さらに、制御部４２は、かご車画像を問題とし、入力された物品領域を答えとして学習用データを生成し、生成した学習用データをストレージ１５に供給する。

【0112】

図１５は、手動入力モードにおける情報処理装置１２の動作について説明する為のフローチャートである。即ち、図１５は、図５におけるステップＳ２５に対応するフローチャートである。

【0113】

手動入力モードでは、制御部４２は、まず距離センサ１４からかご車画像が供給されるのを待つ（ステップＳ８１）。

【0114】

制御部４２は、かご車画像を取得すると、かご車画像上で、仕分対象の物品３が存在している物品領域の入力を促す案内を出力する（ステップＳ８２）。図１６は、物品領域の入力を促す入力画面８１の例を示す。制御部４２は、物品領域の入力を促す文字列と、かご車画像とを入力画面８１に描画する。例えば、制御部４２は、入力画面８１を操作端末１３に送信する。これにより、制御部４２は、操作端末１３のオペレータに、物品領域を入力することを促す。

【0115】

操作端末１３の制御部３２は、情報処理装置１２から入力画面８１を受信すると、タッチパネル３３のディスプレイ３６に入力画面８１を表示させる。さらに、制御部３２は、入力画面８１の表示中のタッチセンサ３７による操作入力に基づいて、物品領域を示す情報を生成する。物品領域の情報は、上記のマスク画像であってもよいし、かご車画像上における座標の軌跡であってもよい。制御部３２は、物品領域の情報を情報処理装置１２に供給する。

【0116】

情報処理装置１２の制御部４２は、操作端末１３において物品領域が入力されたか否か判断する（ステップＳ８３）。制御部４２は、操作端末１３から物品領域を示す情報を受信した場合、操作端末１３において物品領域が入力されたと判断する。制御部４２は、操作端末１３から物品領域の情報を受信するまでステップＳ８３の判断を繰り返し行う。

【0117】

制御部４２は、操作端末１３において物品領域が入力されたと判断した場合（ステップＳ８３、ＹＥＳ）、入力された物品領域に基づいて、ピッキング位置を決定する（ステップＳ８４）。例えば、制御部４２は、物品領域の重心（若しくは中心）をピッキング位置として決定する。

【0118】

制御部４２は、決定したピッキング位置に基づいて、動作計画を生成する（ステップＳ８５）。さらに、制御部４２は、生成した動作計画をロボットアーム１１のコントローラ２４に送信する（ステップＳ８６）。

【0119】

制御部４２は、動作計画をロボットアーム１１に送信すると、ロボットアーム１１の把持機構２１により、物品３の把持が正常に行われたか否か判断する（ステップＳ８７）。例えば、制御部４２は、ロボットアーム１１から、１つの物品の仕分が完了したことを示す完了通知を受信した場合、物品３の把持が正常に行われたと判断する。また、例えば、制御部４２は、ロボットアーム１１から、把持機構２１による物品３の把持が正常に行われなかったことを示すエラーを受信した場合、物品３の把持が正常に行われなかったと判断する。制御部４２は、物品３の把持が正常に行われなかったと判断した場合（ステップＳ８７、ＮＯ）、ステップＳ８３に移行し、再度かご車画像を取得し、物品領域の入力を促す。

【0120】

制御部４２は、物品３の把持が正常に行われたと判断した場合（ステップＳ８７、ＹＥＳ）、かご車画像と、物品領域の情報（即ちマスク画像）とに基づいて学習用データを生成する（ステップＳ８８）。即ち、制御部４２は、仕分対象の物品３が移動される前のかご車画像を問題とし、このかご車画像において仕分対象の物品３が存在する領域である物品領域を答えとして学習用データを生成する。制御部４２は、生成した学習用データをストレージ１５に送信し（ステップＳ８９）、処理を終了する。これにより、制御部４２は、図５のステップＳ２７の処理に移行する。

【0121】

なお、制御部４２は、上記の図１０または図１４の処理において、第１かご車画像と第２かご車画像との差分に基づき、マスク画像を生成し、マスク画像と第１かご車画像とに基づいて、学習用データを生成すると説明したが、この構成に限定されない。制御部４２は、生成したマスク画像が信頼できるものか否かに基づいて、学習用データを生成するか否か判断する構成であってもよい。

【0122】

例えば、制御部４２は、第１かご車画像と第２かご車画像とに基づいて推定した差分領域（物品領域）と、操作端末１３への操作入力により決定したピッキング位置とに基づいて、学習用データを生成するか否か、即ち学習装置１６に学習用データを供給するか否かを判断する。より具体的には、制御部４２は、物品領域の重心（若しくは中心）と、ピッキング位置との差が予め設定された閾値未満である場合、第１かご車画像とマスク画像とに基づき学習用データを生成する。また、制御部４２は、物品領域の略中心（若しくは重心）と、ピッキング位置との差が予め設定された閾値以上である場合、第１かご車画像とマスク画像とに基づく学習用データの生成を行わない。

【0123】

例えば、図１７に示されるように、ロボットアーム１１により物品３が移動されず、物品３がかご車２内に落下し、物品３の位置がずれた場合、第１かご車画像と第２かご車画像との差分が、物品領域に対応しなくなる。また、ロボットアーム１１により物品３が移動されたものの、他の物品３が荷崩れを起こした場合も、第１かご車画像と第２かご車画像との差分が、物品領域に対応しなくなる。このような場合、図１７で示されるように、差分領域の重心９１と、入力に基づき決定されたピッキング位置５３とが乖離する。制御部４２は、差分領域の重心９１と、入力に基づき決定されたピッキング位置５３との差が予め設定された閾値以上であった場合、学習装置１６における機械学習の対象から外すことにより、機械学習に用いる学習用データの正確性を担保することができる。

【0124】

また、制御部４２は、第１かご車画像と第２かご車画像との差分に基づいて、第１かご車画像上の仕分対象の物品３が存在する物品領域を認識し、認識した物品領域に基づいて、移動させた物品３の寸法を推定し、推定結果をメモリ４４に保存する構成であってもよい。このような構成によると、ロボットアーム１１毎に仕分を行った物品３の寸法の統計を取ることができる。制御部４２は、物品領域の輪郭と、かご車画像の画素値を利用して寸法を算出する。例えば、制御部４２は、物品領域の輪郭により、物品３の縦横サイズを推定する。また、制御部４２は、第１かご車画像と第２かご車画像との物品領域における画素値の差に基づき、物品３の奥行サイズを推定する。

【0125】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
なお、以下に本願の出願当初の特許請求の範囲の記載を付記する。
［Ｃ１］
所定範囲に置かれた物品を把持する把持機構と、前記把持機構を移動させるアーム機構とを具備するロボットアームに前記物品を把持させるピッキング位置を示すピッキング位置データを供給するとともに、前記所定範囲の画像から前記物品を認識する為の画像認識パラメータを調整する学習装置に、学習用データを供給する情報処理装置であって、
操作インタフェースへの入力操作に基づいて、前記ロボットアームに前記ピッキング位置データを供給することにより前記物品を移動させ、前記物品が移動する前の前記所定範囲の画像である第１画像と、前記物品が移動した後の前記所定範囲の画像である第２画像とに基づいて、学習用データを生成し、生成した前記学習用データを前記学習装置に供給する制御部を具備する情報処理装置。
［Ｃ２］
前記制御部は、
前記第１画像と前記第２画像との差分に基づいて、前記第１画像上の前記物品が存在する物品領域を示すマスク画像を生成し、
前記第１画像と前記マスク画像とを前記学習用データとして前記学習装置に供給する請求項１に記載の情報処理装置。
［Ｃ３］
前記制御部は、前記物品領域と、前記ピッキング位置データとに基づいて、前記学習装置に前記学習用データを供給するか否か判断する請求項２に記載の情報処理装置。
［Ｃ４］
前記制御部は、
前記物品領域の略中心と、前記ピッキング位置データとの差が予め設定された閾値未満である場合、前記学習装置に前記学習用データを供給し、
前記差が予め設定された閾値以上である場合、前記学習装置に前記学習用データを供給しない請求項３に記載の情報処理装置。
［Ｃ５］
前記制御部は、
前記画像認識パラメータを用いて前記第１画像に対して画像認識を行い、
前記第１画像上の前記物品が存在する物品領域を認識し、
前記物品領域に基づいて前記ピッキング位置データを決定し、
前記ロボットアームに前記ピッキング位置データを供給することにより前記物品を移動させ、
前記物品の移動が正常に行われなかった場合、操作インタフェースへの入力操作に基づいて、前記ロボットアームに前記ピッキング位置データを供給することにより前記物品を移動させ、
前記第１画像と、前記第２画像とに基づいて、学習用データを生成し、
生成した前記学習用データを前記学習装置に供給する請求項１に記載の情報処理装置。
［Ｃ６］
前記制御部は、
前記第１画像と前記第２画像との差分に基づいて、前記第１画像上の前記物品が存在する物品領域を認識し、
前記物品領域に基づいて前記物品の寸法を推定し、推定結果をメモリに保存する請求項１乃至５のいずれか１項に記載の情報処理装置。
［Ｃ７］
所定範囲に置かれた物品を把持する把持機構と、前記把持機構を移動させるアーム機構とを具備するロボットアームに情報を供給するとともに、前記所定範囲の画像から前記物品を認識する為の画像認識パラメータを調整する学習装置に、学習用データを供給する情報処理装置であって、
前記物品が移動する前の前記所定範囲の画像である第１画像において、前記物品が存在する物品領域を、操作インタフェースへの入力操作に基づいて特定し、前記第１画像と前記物品領域とに基づいて、学習用データを生成し、生成した前記学習用データを前記学習装置に供給する制御部を具備する情報処理装置。
［Ｃ８］
所定範囲に置かれた物品を移動させるロボットアームと、前記ロボットアームに前記物品を把持させるピッキング位置を示すピッキング位置データを供給するとともに、前記所定範囲の画像から前記物品を認識する為の画像認識パラメータを調整する学習装置に学習用データを供給する情報処理装置とを具備する仕分システムであって、
前記ロボットアームは、
前記所定範囲に置かれた前記物品を把持する把持機構と、
前記ピッキング位置データに基づいて、前記把持機構を移動させるアーム機構と、
を具備し、
前記情報処理装置は、
操作インタフェースへの入力操作に基づいて、前記ロボットアームに前記ピッキング位置データを供給することにより前記物品を移動させ、前記物品が移動する前の前記所定範囲の画像である第１画像と、前記物品が移動した後の前記所定範囲の画像である第２画像とに基づいて、学習用データを生成し、生成した前記学習用データを前記学習装置に供給する制御部を具備する仕分システム。

【符号の説明】

【0126】

１…仕分システム、２…車、３…物品、４…ベルトコンベア、１１…ロボットアーム、１２…情報処理装置、１３…操作端末、１４…距離センサ、１５…ストレージ、１６…学習装置、１７…ネットワーク、２１…把持機構、２２…アーム機構、２３…接触センサ、２４…コントローラ、３１…通信インタフェース、３２…制御部、３３…タッチパネル、３４…プロセッサ、３５…メモリ、３６…ディスプレイ、３７…タッチセンサ、４１…通信インタフェース、４２…制御部、４３…プロセッサ、４４…メモリ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】