特許 7505677 ピッキング方法及びピッキングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-17

(45)【発行日】2024-06-25

(54)【発明の名称】ピッキング方法及びピッキングシステム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240618BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 10

(21)【出願番号】P 2021034482

(22)【出願日】2021-03-04

(65)【公開番号】P2022134953

(43)【公開日】2022-09-15

【審査請求日】2023-11-02

(73)【特許権者】

【識別番号】501203344

【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構

(74)【代理人】

【識別番号】100077665

【弁理士】

【氏名又は名称】千葉 剛宏

(74)【代理人】

【識別番号】100116676

【弁理士】

【氏名又は名称】宮寺 利幸

(74)【代理人】

【識別番号】100191134

【弁理士】

【氏名又は名称】千馬 隆之

(74)【代理人】

【識別番号】100136548

【弁理士】

【氏名又は名称】仲宗根 康晴

(74)【代理人】

【識別番号】100136641

【弁理士】

【氏名又は名称】坂井 志郎

(74)【代理人】

【識別番号】100180448

【弁理士】

【氏名又は名称】関口 亨祐

(72)【発明者】

【氏名】山田 哲資

(72)【発明者】

【氏名】太田 智彦

【審査官】國武 史帆

(56)【参考文献】

【文献】特開２０２１－１４６４０３（ＪＰ，Ａ）

【文献】特開２０１１－０７３０６６（ＪＰ，Ａ）

【文献】特開２０１５－２１４０１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

Ｂ０７Ｃ １／００ － ９９／００

Ｇ０１Ｂ １１／００ － １１／３０

Ｇ０６Ｔ １／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

球状の複数の作物の中から１つの前記作物を選定して取り上げるピッキング方法であって、
複数の前記作物を上方から撮像した画像を取得する画像取得ステップと、
前記画像において、前記作物同士が所定の間隔以内で近接する近接部を検出するとともに前記作物毎に前記近接部の数を検出し、前記近接部の数が最小となる前記作物を特定する特定ステップと、
前記近接部の数が最小となる前記作物を取り上げる取り上げステップと、
を含み、
取り上げる前記作物がなくなるまで前記画像取得ステップと前記特定ステップと前記取り上げステップとを繰り返し実行する、ピッキング方法。

【請求項2】

請求項１に記載のピッキング方法であって、
前記特定ステップでは、
前記画像において、各々の前記作物に番号を付し、
番号の順に、前記作物の前記近接部の数を検出する数検出と、検出された数がその時点までに検出された数の中で最小か否かを判定する最小判定と、を行い、検出された数が最小である場合は、検出された数と前記数検出の対象である前記作物に付された番号とを記憶装置に記憶させ、
最後の番号が付された前記作物に対する前記数検出と前記最小判定とが終了した後に、その時点で前記記憶装置に記憶されている番号が付された前記作物を、前記近接部の数が最小となる前記作物とする、ピッキング方法。

【請求項3】

請求項１に記載のピッキング方法であって、
前記特定ステップでは、
前記画像において、各々の前記作物に番号を付し、
最初の番号が付された前記作物の前記近接部の数を検出する数検出を行い、その数と最初の番号とを記憶装置に記憶させ、
２番目の番号が付された前記作物から番号順に、前記数検出と、検出された数がその時点で前記記憶装置に記憶されている数よりも小さいか否かを判定する最小判定と、を行い、検出された数がその時点で前記記憶装置に記憶されている数よりも小さい場合は、前記記憶装置に記憶されている数と番号を、検出された数と前記数検出の対象である前記作物に付された番号とで上書きし、
最後の番号が付された前記作物に対する前記数検出と前記最小判定とが終了した後に、その時点で前記記憶装置に記憶されている番号が付された前記作物を、前記近接部の数が最小となる前記作物とする、ピッキング方法。

【請求項4】

請求項１に記載のピッキング方法であって、
前記特定ステップでは、
前記画像において、各々の前記作物に番号を付し、
最初の番号が付された前記作物の前記近接部の数を検出する数検出を行い、その数と最初の番号とを記憶装置に記憶させ、
２番目の番号が付された前記作物から番号順に、前記数検出と、検出された数がその時点で前記記憶装置に記憶されている数以下か否かを判定する最小判定と、を行い、検出された数がその時点で前記記憶装置に記憶されている数以下である場合は、前記記憶装置に記憶されている数と番号を、検出された数と前記数検出の対象である前記作物に付された番号とで上書きし、
最後の番号が付された前記作物に対する前記数検出と前記最小判定とが終了した後に、その時点で前記記憶装置に記憶されている番号が付された前記作物を、前記近接部の数が最小となる前記作物とする、ピッキング方法。

【請求項5】

請求項１～４のいずれか１項に記載のピッキング方法であって、
前記特定ステップでは、前記画像において、前記作物を含む仮想の円を生成し、前記円同士が重畳又は接する部分を前記近接部として検出する、ピッキング方法。

【請求項6】

請求項５に記載のピッキング方法であって、
前記特定ステップでは、前記円の半径を、前記作物の外接円の半径よりも所定の長さだけ長くする、ピッキング方法。

【請求項7】

球状の複数の作物の中から１つの前記作物を選定して取り上げるピッキングシステムであって、
前記作物を把持するピッキング装置と、
複数の前記作物を上方から撮像して複数の前記作物の画像を取得するカメラと、
前記ピッキング装置を制御する制御回路と、を備え、
前記制御回路は、
前記カメラから前記画像を取得する画像取得部と、
前記画像において、前記作物同士が所定の間隔以内で近接する近接部を検出するとともに前記作物毎に前記近接部の数を検出し、前記近接部の数が最小となる前記作物を特定する特定部と、
前記近接部の数が最小となる前記作物を取り上げるように前記ピッキング装置を制御する制御部と、
を有する、ピッキングシステム。

【請求項8】

請求項７に記載のピッキングシステムであって、
記憶装置を備え、
前記特定部は、
前記画像において、各々の前記作物に番号を付し、
番号の順に、前記作物の前記近接部の数を検出する数検出と、検出された数がその時点までに検出された数の中で最小か否かを判定する最小判定と、を行い、検出された数が最小である場合は、検出された数と前記数検出の対象である前記作物に付された番号とを前記記憶装置に記憶させ、
最後の番号が付された前記作物に対する前記数検出と前記最小判定とが終了した後に、その時点で前記記憶装置に記憶されている番号が付された前記作物を、前記近接部の数が最小となる前記作物とする、ピッキングシステム。

【請求項9】

請求項７に記載のピッキングシステムであって、
記憶装置を備え、
前記特定部は、
前記画像において、各々の前記作物に番号を付し、
最初の番号が付された前記作物の前記近接部の数を検出する数検出を行い、その数と最初の番号とを前記記憶装置に記憶させ、
２番目の番号が付された前記作物から番号順に、前記数検出と、検出された数がその時点で前記記憶装置に記憶されている数よりも小さいか否かを判定する最小判定と、を行い、検出された数がその時点で前記記憶装置に記憶されている数よりも小さい場合は、前記記憶装置に記憶されている数と番号を、検出された数と前記数検出の対象である前記作物に付された番号とで上書きし、
最後の番号が付された前記作物に対する前記数検出と前記最小判定とが終了した後に、その時点で前記記憶装置に記憶されている番号が付された前記作物を、前記近接部の数が最小となる前記作物とする、ピッキングシステム。

【請求項10】

請求項７に記載のピッキングシステムであって、
記憶装置を備え、
前記特定部は、
前記画像において、各々の前記作物に番号を付し、
最初の番号が付された前記作物の前記近接部の数を検出する数検出を行い、その数と最初の番号とを前記記憶装置に記憶させ、
２番目の番号が付された前記作物から番号順に、前記数検出と、検出された数がその時点で前記記憶装置に記憶されている数以下か否かを判定する最小判定と、を行い、検出された数がその時点で前記記憶装置に記憶されている数以下である場合は、前記記憶装置に記憶されている数と番号を、検出された数と前記数検出の対象である前記作物に付された番号とで上書きし、
最後の番号が付された前記作物に対する前記数検出と前記最小判定とが終了した後に、その時点で前記記憶装置に記憶されている番号が付された前記作物を、前記近接部の数が最小となる前記作物とする、ピッキングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、球状の複数の作物の中から１つの作物を選定して取り上げるピッキング方法及びピッキングシステムに関する。

【背景技術】

【0002】

現在、様々な分野において、ピッキング装置（例えば多関節ロボット）を用いた物品のピッキング（取り上げ）が行われている。ピッキング装置は、物品を把持する把持部を有する。把持部には、互いに離間する方向と接近する方向に移動可能な一対の指部が設けられる。ピッキング装置は、開いた状態の一対の指部を上方から物品の横まで移動させ、一対の指部を閉じて物品を把持する。

【0003】

特許文献１には、物品の重心位置と他の物品の重心位置の平均値である平均重心位置から求められる離散度を計算し、離散度が最大となる物品から順番にピッキングを行う技術が開示される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平４－１４６０９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１では、ピッキング対象の物品の周囲の状況については検討されていない。ピッキング装置が一対の指部を把持対象の物品の横まで移動させる際に、ピッキング対象以外の他の物品がピッキング対象の物品に近接していると、ピッキング装置の指部が他の物品に接触する虞がある。

【0006】

物品が工業製品である場合は大きな問題はない。一方、物品が作物である場合は、指部が接触することによって作物の表面が損傷する虞がある。損傷した作物は価格が下がる。このようなことから、ピッキング対象が作物である場合は、ピッキング装置の指部が作物にできるだけ接触しないようにすることが望まれる。

【0007】

本発明はこのような課題を考慮してなされたものであり、ピッキング装置の指部が作物に極力接触しないような順番でピッキングを行うことができるピッキング方法及びピッキングシステムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の第１の態様は、球状の複数の作物の中から１つの前記作物を選定して取り上げるピッキング方法であって、複数の前記作物を上方から撮像した画像を取得する画像取得ステップと、前記画像において、前記作物同士が所定の間隔以内で近接する近接部を検出するとともに前記作物毎に前記近接部の数を検出し、前記近接部の数が最小となる前記作物を特定する特定ステップと、前記近接部の数が最小となる前記作物を取り上げる取り上げステップと、を含み、取り上げる前記作物がなくなるまで前記画像取得ステップと前記特定ステップと前記取り上げステップとを繰り返し実行する。

【0009】

本発明の第２の態様は、球状の複数の作物の中から１つの前記作物を選定して取り上げるピッキングシステムであって、前記作物を把持するピッキング装置と、複数の前記作物を上方から撮像して複数の前記作物の画像を取得するカメラと、前記ピッキング装置を制御する制御回路と、を備え、前記制御回路は、前記カメラから前記画像を取得する画像取得部と、前記画像において、前記作物同士が所定の間隔以内で近接する近接部を検出するとともに前記作物毎に前記近接部の数を検出し、前記近接部の数が最小となる前記作物を特定する特定部と、前記近接部の数が最小となる前記作物を取り上げるように前記ピッキング装置を制御する制御部と、を有する。

【発明の効果】

【0010】

本発明によれば、ピッキング装置の指部が作物に極力接触しないような順番でピッキングを行うことができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本実施形態に係るピッキングシステム及び周辺装置を示す図である。

【図2】図２は、本実施形態に係るピッキングシステムを示すブロック図である。

【図3】図３は、第１実施形態の処理工程を示すフローチャートである。

【図4】図４は、カメラによって取得される画像を示す図である。

【図5】図５は、青果物に対して生成される円を示す図である。

【図6】図６Ａは、隣り合う円同士が重畳する場合に形成される近接部を示す図であり、図６Ｂは、隣り合う円同士が接する場合に形成される近接部を示す図である。

【図7】図７は、上方からみた複数の青果物を模式化して示す図である。

【図8】図８は、上方からみた複数の青果物を模式化して示す図である。

【図9】図９は、第２実施形態の処理工程を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、この発明に係るピッキング方法及びピッキングシステムについて実施形態を挙げ、添付の図面を参照して詳細に説明する。

【0013】

［１ ピッキングシステム１０の構成］
図１は、本実施形態に係るピッキングシステム１０及び周辺装置を示す図である。図２は、本実施形態に係るピッキングシステム１０を示すブロック図である。選別作業が行われる作業所には、ピッキング装置１２とベルトコンベア１１２が互いに隣接して配置される。コンテナ１１０は、上方に開放された状態でピッキング装置１２の近傍の所定位置に置かれる。コンテナ１１０の内部には収穫された複数の作物が入れられている。ピッキング装置１２は、コンテナ１１０の内部から作物を１つずつ取り上げて、ベルトコンベア１１２まで搬送する。ベルトコンベア１１２は、作物を搬送先（例えば選別機や作業場等）まで搬送する。なお、本実施形態に係るピッキングシステム１０は、球状の作物をピッキング対象とする。本実施形態では、作物として、トマト等の青果物１１４を想定する。なお、ここでいう球状というのは、２次元形状が真円、楕円及び歪んだ円のいずれかになる形状を含む。

【0014】

本実施形態に係るピッキングシステム１０は、ピッキング装置１２と、１以上のカメラ１４と、コントローラ１６と、操作装置１８と、を有する。

【0015】

ピッキング装置１２は、コンテナ１１０の内部に入れられた複数の青果物１１４の中から１つの青果物１１４を把持して取り上げてベルトコンベア１１２まで搬送する装置である。ピッキング装置１２としては、多関節ロボットが使用される。多関節ロボットは、例えば、アーム２２と、アーム２２の先端に装着される把持部２４と、を有する。アーム２２の各関節にはサーボモータ２６と、モータ軸の回転位置(回転角度)を検出する複数の角度センサ２８（例えばロータリエンコーダ）と、が設けられる。サーボモータ２６は、コントローラ１６から供給される電力によって動作する。角度センサ２８は、検出した回転位置の情報をコントローラ１６に出力する。なお、ピッキング装置１２は、多関節ロボットである必要はなく、青果物１１４を把持して搬送を行うことができる他の装置であっても良い。

【0016】

カメラ１４は、コンテナ１１０の上方からコンテナ１１０の内部を撮像して画像３２を取得する。本実施形態では、カメラ１４として、グローバルカメラ１４ａとローカルカメラ１４ｂが使用される。

【0017】

グローバルカメラ１４ａは、コンテナ１１０が置かれる所定位置の真上に配置され、支持装置３０によって支持される。グローバルカメラ１４ａの位置は、グローバルカメラ１４ａの画角内にコンテナ１１０の全体が収まる位置である。グローバルカメラ１４ａは、コンテナ１１０の内部を撮像して第１画像３２ａを取得し、取得した第１画像３２ａをコントローラ１６に出力する。

【0018】

ローカルカメラ１４ｂは、例えばピッキング装置１２のアーム２２に取り付けられる。グローバルカメラ１４ａが定位置に固定されるのに対して、ローカルカメラ１４ｂは、アーム２２の動作に応じてコンテナ１１０の上方で水平方向及び鉛直方向に移動可能である。このため、ローカルカメラ１４ｂは、コンテナ１１０に接近して把持対象の青果物１１４を撮像することが可能である。なお、ローカルカメラ１４ｂは、ローカルカメラ１４ｂの画角内にコンテナ１１０の全体が収まる位置に移動して、グローバルカメラ１４ａの代わりにコンテナ１１０の内部を撮像することも可能である。ローカルカメラ１４ｂは、コンテナ１１０の内部を撮像して第２画像３２ｂを取得し、取得した第２画像３２ｂをコントローラ１６に出力する。

【0019】

コントローラ１６は、角度センサ２８が出力するサーボモータ２６の回転位置の情報と、１以上のカメラ１４が出力する画像３２と、に基づいて、ピッキング装置１２の動作を制御する。

【0020】

図２に示されるように、コントローラ１６は、制御回路３４と、記憶装置３６と、ドライバ３８と、を有する。制御回路３４は、画像取得部４０と、特定部４２と、制御部４４等として機能する。制御回路３４は、例えば、ＣＰＵ、ＧＰＵ等のプロセッサによって構成される。この場合、記憶装置３６に記憶されるプログラムがプロセッサによって実行されることによって、上記各部が実現される。なお、制御回路３４は、例えば、ＡＳＩＣ、ＦＰＧＡ等の集積回路によって構成されても良い。また、制御回路３４は、ディスクリートデバイスを含む電子回路によって構成されても良い。なお、ＧＰＵ等のプロセッサによって人工知能が構成されても良い。この場合、人工知能は、機械学習又はディープラーニングによって青果物１１４の特徴量を学習することによって、青果物１１４を識別する。

【0021】

記憶装置３６は、ＲＡＭ、ＲＯＭ及びハードディスク等の記憶媒体によって構成される。記憶装置３６は、グローバルカメラ１４ａの位置を示す位置情報と、グローバルカメラ１４ａの撮像位置（コンテナ１１０が置かれる位置）を示す位置情報を記憶する。制御回路３４は、これらの位置情報と第１画像３２ａに基づいて青果物１１４の位置を算出することができる。また、記憶装置３６は、カウンタを記憶する。

【0022】

ドライバ３８は、制御回路３４から各サーボモータ２６に関する動作指令（回転位置、回転速度等の目標値）を入力し、各サーボモータ２６に電力を供給する。この際、ドライバ３８は、各角度センサ２８から各サーボモータ２６の回転位置の情報（フィードバック信号）を入力し、各サーボモータ２６の回転位置が動作指令の目標値に近づくようにフィードバック制御する。

【0023】

操作装置１８は、マンマシンインターフェースとしてのタッチパネル（又はボタン）とディスプレイ等を有する。操作装置１８は、オペレータがタッチパネルを操作した場合に、操作に応じた指示信号をコントローラ１６に出力する。

【0024】

［２ ピッキング処理の具体例］
［２．１ 第１実施形態］
図３を用いてピッキングシステム１０が行うピッキング処理の第１実施形態の手順を説明する。図３は、第１実施形態の処理工程を示すフローチャートである。第１実施形態は、コンテナ１１０の内部に平置きされた複数の青果物１１４をベルトコンベア１１２に搬送する際に、青果物１１４に含まれる近接部６０（図６Ａ、図６Ｂ）の数ｐが最小である青果物１１４を選定して取り上げるものである。

【0025】

コンテナ１１０が所定位置に置かれた状態で、オペレータは、操作装置１８を操作してピッキング処理を開始させる。オペレータの操作に応じて、操作装置１８からコントローラ１６に開始指示信号が出力され、以下で説明する一連の処理が開始される。

【0026】

ステップＳ１において、グローバルカメラ１４ａは、コンテナ１１０の内部を撮像し、第１画像３２ａ（図４）を取得する。このとき、画像取得部４０は、グローバルカメラ１４ａから第１画像３２ａを取得する。なお、グローバルカメラ１４ａは、コントローラ１６が出力する撮像指示に応じて第１画像３２ａを取得しても良いし、任意のタイミングで第１画像３２ａを取得しても良い。また、グローバルカメラ１４ａの代わりに、ローカルカメラ１４ｂが所定位置まで上昇してコンテナ１１０の内部を撮像しても良い。ステップＳ１が終了すると、処理はステップＳ２に移行する。

【0027】

ステップＳ２において、特定部４２は、青果物１１４の輪郭５６に対応する仮想の円５８を生成する。例えば、特定部４２は、第１画像３２ａにおいて円形のテンプレート画像を用いてテンプレートマッチングを行い、第１画像３２ａ内の複数の青果物１１４を認識する。そして、特定部４２は、図５に示されるように、各青果物１１４の周囲に仮想の円５８を生成する。この円５８は青果物１１４とみなされる。

【0028】

例えば、特定部４２は、青果物１１４の輪郭５６の外接円５８ａ（最小包含円）を生成し、これを円５８としても良い。但し、外接円５８ａの精度は、照明、グローバルカメラ１４ａの状況、又は、画像処理等によって変わる。外接円５８ａの精度が低い場合、２つの青果物１１４同士が実際に接していても、外接円５８ａ同士が接しない場合がある。２つの青果物１１４同士が接している又は近接していることを見落とさないためには、外接円５８ａを大きくすれば良い。このような観点で、例えば、特定部４２は、外接円５８ａから外側にＤ／２だけ離間する外周円５８ｂを生成し、これを円５８としても良い。外周円５８ｂを円５８とすることにより、下記ステップＳ６において特定部４２は、所定間隔Ｄ以内だけ離間する２つの青果物１１４が共有する１つの近接部６０を検出することができる。なお、ここでいう所定間隔Ｄは、青果物１１４の直径よりも小さい距離であり、好ましくは、青果物１１４の半径よりも小さい距離である。ステップＳ２が終了すると、処理はステップＳ３に移行する。

【0029】

ステップＳ３において、特定部４２は、各円５８に番号を付与する。例えば、特定部４２は、各円５８に１番から順に連番となる番号を付与する。番号は任意の方法で付与可能である。ステップＳ３が終了すると、処理はステップＳ４に移行する。

【0030】

ステップＳ４において、特定部４２は、番号の最大値ｎ＿ｍａｘ、すなわち青果物１１４の個数を記憶装置３６に記憶させる。記憶装置３６は、番号の最大値ｎ＿ｍａｘを記憶する。ステップＳ４が終了すると、処理はステップＳ５に移行する。

【0031】

ステップＳ５において、特定部４２は、カウンタの値ｎを１にする。ステップＳ６において、特定部４２は、番号が１番の円５８の近接部６０の数ｐを検出する。この処理を数検出という。特定部４２は、図６Ａに示されるように、番号が１番の円５８Ａと隣の円５８Ｂとが重畳する部分を検出する。特定部４２は、図６Ｂに示されるように、番号が１番の円５８Ａと隣の円５８Ｂとが接する部分も検出する。特定部４２は、これらの部分を近接部６０として認識し、近接部６０の数ｐを検出する。ステップＳ６が終了すると、処理はステップＳ７に移行する。

【0032】

ステップＳ７において、特定部４２は、１番の番号を保存番号Ｎとして記憶装置３６に記憶させるとともに、検出した数ｐを保存数Ｐとして記憶装置３６に記憶させる。記憶装置３６は、保存番号Ｎと保存数Ｐを記憶する。ステップＳ７が終了すると、処理はステップＳ８に移行する。

【0033】

ステップＳ８において、特定部４２は、カウンタの値ｎに１を加算して新たな値ｎとする。ステップＳ９において、特定部４２は、ｎ番の円５８の近接部６０の数ｐを検出する。すなわち、特定部４２は、ステップＳ６の処理と同じようにして、番号がｎ番の円５８を対象にして数検出を行う。ステップＳ９が終了すると、処理はステップＳ１０に移行する。

【0034】

ステップＳ１０において、特定部４２は、記憶装置３６に記憶されている保存数ＰとステップＳ９で検出された数ｐとを比較することによって、検出された数ｐがその時点までに検出された数ｐの中で最小か否かを判定する。この処理を最小判定という。保存数Ｐには、その時点で最小の数ｐが保存されている。保存数Ｐ＞数ｐである場合（ステップＳ１０：ＹＥＳ）、すなわち検出された数ｐがその時点までに検出された数ｐの中で最小である場合、処理はステップＳ１１に移行する。一方、保存数Ｐ≦数ｐである場合（ステップＳ１０：ＮＯ）、処理はステップＳ１２に移行する。

【0035】

ステップＳ１１において、特定部４２は、記憶装置３６に記憶されている保存番号Ｎを、その時点のカウンタの値ｎ、すなわちステップＳ９の数検出の対象である円５８の番号で上書きする。また、特定部４２は、記憶装置３６に記憶されている保存数Ｐを、ステップＳ９で検出された数ｐで上書きする。ステップＳ１１が終了すると、処理はステップＳ１２に移行する。

【0036】

ステップＳ１２において、特定部４２は、カウンタの値ｎと記憶装置３６に記憶されている最大値ｎ＿ｍａｘとを比較する。ｎ＝ｎ＿ｍａｘである場合（ステップＳ１２：ＹＥＳ）、すなわちカウンタの値ｎが最後の番号に達した場合、処理はステップＳ１３に移行する。一方、ｎ≠ｎ＿ｍａｘ（ｎ＜ｎ＿ｍａｘ）である場合（ステップＳ１２：ＮＯ）、すなわちカウンタの値ｎが最後の番号に達していない場合、処理はステップＳ８に戻る。

【0037】

以上のように、特定部４２は、番号が２番以降の全ての円５８に対する数検出（ステップＳ９）が終了した時点で、近接部６０の数ｐが最小となる青果物１１４として、保存番号Ｎの円５８に対応する青果物１１４を特定する。

【0038】

ステップＳ１３において、制御部４４は、保存番号Ｎの円５８に対応する青果物１１４を取り上げるようにピッキング装置１２を制御する。このとき、制御部４４は、ピッキング装置１２の各角度センサ２８が出力する回転位置の情報から、把持部２４及びローカルカメラ１４ｂの位置を算出することができる。制御部４４は、取り上げる青果物１１４の位置を特定し、把持部２４を青果物１１４の上方に移動させる。

【0039】

青果物１１４の上方に把持部２４が移動した後、ローカルカメラ１４ｂは、選定された青果物１１４を上方から撮像し、第２画像３２ｂを取得する。ローカルカメラ１４ｂは、取得した第２画像３２ｂをコントローラ１６に出力する。このとき、画像取得部４０は、第２画像３２ｂを取得する。なお、ローカルカメラ１４ｂは、コントローラ１６が出力する撮像指示に応じて第２画像３２ｂを取得しても良いし、任意のタイミングで第２画像３２ｂを取得しても良い。

【0040】

制御部４４は、第２画像３２ｂを使用して青果物１１４の大きさ及び位置を認識し、把持部２４の回転角度等を調整した後に、目標高さ位置を設定して把持部２４を下方に移動させる。ピッキング装置１２は、把持部２４を目標高さ位置で青果物１１４を把持して取り上げてベルトコンベア１１２まで搬送する。

【0041】

ステップＳ１４において、制御部４４は、コンテナ１１０の内部に青果物１１４が残っているか否かを判定する。例えば、制御部４４は、カウンタの値ｎが１であるか否かを判定する。ステップＳ１４でカウンタの値が１ということは、ステップＳ４で記憶されたｎ＿ｍａｘが１ということである。つまり、この時点で全ての青果物１１４が取り上げられたことになる。制御部４４は、ｎ＝１である場合に全ての青果物１１４を取り上げたと判定し、ｎ≠１（ｎ＞１）である場合に取り上げる青果物１１４がまだ残っていると判定する。又は、制御部４４は、最新の第１画像３２ａから、青果物１１４が残っているか否かを判定することも可能である。青果物１１４が残っている場合（ステップＳ１４：ＹＥＳ）、処理はステップＳ１に戻る。一方、青果物１１４が残っていない場合（ステップＳ１４：ＮＯ）、一連のピッキング処理は終了する。

【0042】

［２．２ 青果物１１４の特定例］
図７及び図８を用いて青果物１１４の特定例を説明する。図７及び図８は、上方からみた複数の青果物１１４を模式化して示す図である。両図に示される各円形は青果物１１４である。各円形の近傍に付される（）内の左側の数字は青果物１１４に付与された番号を示し、右側の数字は近接部６０の数ｐを示す。

【0043】

図７に示される例では、１～１０の番号が付与された１０個の青果物１１４がある。このうち、１番の青果物１１４の近接部６０の数ｐは１である。特定部４２により、保存番号Ｎは１とされ、保存数Ｐは１とされる。２番の青果物１１４の近接部６０の数ｐは３である。この時点で、保存数Ｐ（＝１）の方が２番の青果物１１４の近接部６０の数ｐ（＝３）よりも小さい。このため、保存番号Ｎ（＝１）と保存数Ｐ（＝１）はそのまま維持される。

【0044】

３番以降の青果物１１４に対しても、２番の青果物１１４の処理と同じ処理が順次行われる。図７の例の場合、９番の青果物１１４までは、保存番号Ｎ（＝１）と保存数Ｐ（＝１）はそのまま維持される。１０番の青果物１１４の近接部６０の数ｐは１である。この時点で、保存数Ｐ（＝１）と１０番の青果物１１４の近接部６０の数ｐ（＝１）は同じである。本実施形態においては両者が同じ場合は、保存番号Ｎ（＝１）と保存数Ｐ（＝１）がそのまま維持される。

【0045】

最後の番号、ここでは１０番の青果物１１４に対する処理が終了した時点で、記憶装置３６に記憶される保存番号Ｎは１である。従って、特定部４２は、近接部６０の数ｐが最小となる１番の青果物１１４を取り上げる青果物１１４として特定する。

【0046】

図７の１番の青果物１１４が取り上げられると、複数の青果物１１４は図８に示される状態となる。図８に示される例では、１～９の番号が付与された９個の青果物１１４がある。各青果物１１４には新たに１～９の番号が付与される。このうち、１番の青果物１１４の近接部６０の数ｐは２である。特定部４２により、保存番号Ｎは１とされ、保存数Ｐは２とされる。２番の青果物１１４の近接部６０の数ｐは２である。この時点で、保存数Ｐ（＝２）と数ｐ（＝２）は同じである。このため、保存番号Ｎ（＝１）と保存数Ｐ（＝２）はそのまま維持される。

【0047】

３番以降の青果物１１４に対しても、２番の青果物１１４の処理と同じ処理が順次行われる。図８の例の場合、８番の青果物１１４までは、保存番号Ｎ（＝１）と保存数Ｐ（＝２）はそのまま維持される。９番の青果物１１４の近接部６０の数ｐは１である。この時点で、９番の青果物１１４の近接部６０の数ｐ（＝１）は保存数Ｐ（＝２）よりも小さい。このため、特定部４２により、保存番号Ｎは９に上書きされ、保存数Ｐは１に上書きされる。

【0048】

最後の番号、ここでは９番の青果物１１４に対する処理が終了した時点で、記憶装置３６に記憶される保存番号Ｎは９である。従って、特定部４２は、近接部６０の数ｐが最小となる９番の青果物１１４を取り上げる青果物１１４として特定する。

【0049】

以上の処理は、最後の青果物１１４が取り上げられるまで繰り返し行われる。

【0050】

［２．３ 第１実施形態の変形例］
図３に示されるステップＳ１０の判定はＰ≧ｐであっても良い。この変形例では、特定部４２は、ステップＳ９で検出された数ｐが記憶装置３６に記憶されている保存数Ｐと同じ場合、その保存番号Ｎを、その時点のカウンタの値ｎ、すなわちステップＳ９の数検出の対象である円５８の番号で上書きする。また、特定部４２は、記憶装置３６に記憶されている保存数Ｐを、ステップＳ９で検出された数ｐで上書きする。

【0051】

第１実施形態と変形例は、近接部６０の数ｐが最小となる青果物１１４を取り上げ対象とすることで共通する。第１実施形態では、近接部６０の数ｐが同じ青果物１１４が複数ある場合に、番号が小さい青果物１１４が取り上げ対象として特定する。一方、変形例では、近接部６０の数ｐが同じ青果物１１４が複数ある場合に、番号が大きい青果物１１４が取り上げ対象として特定する。

【0052】

［２．４ 第２実施形態］
図９を用いてピッキングシステム１０が行うピッキング処理の第２実施形態の手順を説明する。図９は、第２実施形態の処理工程を示すフローチャートである。第２実施形態は、コンテナ１１０の内部に積み上げられた複数の青果物１１４をベルトコンベア１１２に搬送する際に、青果物１１４に含まれる近接部６０の数ｐが最小である青果物１１４を選定して取り上げるものである。

【0053】

図９に示されるステップＳ２４とステップＳ２６～ステップＳ３７の処理は、図３に示されるステップＳ２～ステップＳ１４の処理と同じである。このため、以下では、第１実施形態と異なるステップＳ２１～ステップＳ２３及びステップＳ２５の処理について説明する。

【0054】

なお、第２実施形態では、青果物１１４の３次元の位置を検出する必要がある。このため、グローバルカメラ１４ａとして、２次元の第１画像３２ａと距離画像（不図示）とを同時に取得することができるＴＯＦカメラ等が使用される。

【0055】

ステップＳ２１において、グローバルカメラ１４ａは、コンテナ１１０の内部を撮像し、第１画像３２ａ及び距離画像を取得する。このとき、画像取得部４０は、グローバルカメラ１４ａから第１画像３２ａ及び距離画像を取得する。ステップＳ２１が終了すると、処理はステップＳ２２に移行する。

【0056】

ステップＳ２２において特定部４２は、距離画像に基づいて複数の青果物１１４の中でグローバルカメラ１４ａから最も近い最高点を特定する。最高点というのは、コンテナ１１０の内部で最も高い点（頂点）のことをいう。コンテナ１１０の内部に複数の青果物１１４が入れられている場合、複数の青果物１１４の中で最も高い位置に置かれた青果物１１４の頂点が最高点となる。ステップＳ２２が終了すると、処理はステップＳ２３に移行する。

【0057】

ステップＳ２３において、特定部４２は、距離画像において、最高点から下方に所定距離以上離間する範囲を特定し、特定した範囲をマスク領域とするレイヤーマスクを作成する。なお、ここでいう所定距離は、青果物１１４の平均高さの７０％～８０％程度の長さである。所定距離は記憶装置３６に予め記憶されている。そして、特定部４２は、作成したレイヤーマスクで第１画像３２ａをマスクする。すると、第１画像３２ａにおいて、最高点から下方への離間距離が所定距離未満である範囲はそのまま画像が残される一方で、最高点から下方への離間距離が所定距離以上である範囲はマスクされる。ステップＳ２３が終了すると、処理はステップＳ２４に移行する。

【0058】

ステップＳ２４において、ステップＳ２と同等の処理が行われた後に、処理はステップＳ２５に移行する。ステップＳ２５において、特定部４２は、所定面積以下の円５８を除去する。ここでいう除去とは、以降に行うステップＳ２６及びステップＳ２７の処理で処理対象の円５８としないことを意味する。ステップＳ２３とステップＳ２５の処理を行うことによって、最高点に位置する青果物１１４に対して高さ方向に離間する青果物１１４を近接判定の対象から外すことができる。ステップＳ２５が終了すると、処理はステップＳ２６に移行し、図３に示されるステップＳ３以降の処理と同じ処理が実行される。

【0059】

［３ 実施形態から得られる技術的思想］
上記実施形態から把握しうる技術的思想について、以下に記載する。

【0060】

本発明の第１の態様は、球状の複数の作物（青果物１１４）の中から１つの前記作物を選定して取り上げるピッキング方法であって、複数の前記作物を上方から撮像した画像３２を取得する画像取得ステップと、前記画像３２において、前記作物同士が所定の間隔以内で近接する近接部６０を検出するとともに前記作物毎に前記近接部６０の数ｐを検出し、前記近接部６０の数ｐが最小となる前記作物を特定する特定ステップと、前記近接部６０の数ｐが最小となる前記作物を取り上げる取り上げステップと、を含み、取り上げる前記作物がなくなるまで前記画像取得ステップと前記特定ステップと前記取り上げステップとを繰り返し実行する。

【0061】

近接部６０の数ｐが多い作物の周囲は密であり、その作物の取り上げの際にはピッキング装置１２の指部が周囲の作物に接触する可能性が比較的高い。一方、近接部６０の数ｐが少ない作物の周囲は疎であり、その作物の取り上げの際にはピッキング装置１２の指部が周囲の作物に接触する可能性は低い。上記構成によれば、ピッキング装置１２は、作物同士が近接する近接部６０の数ｐが少ない作物から順に取り上げを行う。言い換えると、ピッキング装置１２は、近接部６０の数ｐが多い作物の取り上げは後回しにする。但し、当初は近接部６０の数ｐが多い作物であっても、作物の取り上げが進むにつれて周囲の作物の数ｐが減っていく。このため、結果として、当初は近接部６０の数ｐが多い作物も、取り上げ時には近接部６０の数ｐが少なくなっている。従って、上記構成によれば、ピッキング装置１２の指部が作物に接触しないような順番でピッキングを行うことができる。

【0062】

また、上記構成によれば、１個の作物が取り上げられる度に画像３２を取得するため、作物の取り上げによって他の作物の位置が変わったとしても、常に正しい近接部６０の数ｐを検出することができる。

【0063】

また、上記構成によれば、近接部６０の数ｐの計算と比較といった単純な処理で作物の取り上げ順を決定することができる。

【0064】

第１の態様において、前記特定ステップでは、前記画像３２において、各々の前記作物に番号を付し、番号の順に、前記作物の前記近接部６０の数ｐを検出する数検出と、検出された数ｐがその時点までに検出された数ｐの中で最小か否かを判定する最小判定と、を行い、検出された数ｐが最小である場合は、検出された数ｐと前記数検出の対象である前記作物に付された番号とを記憶装置３６に記憶させ、最後の番号が付された前記作物に対する前記数検出と前記最小判定とが終了した後に、その時点で前記記憶装置３６に記憶されている番号（保存番号Ｎ）が付された前記作物を、前記近接部６０の数ｐが最小となる前記作物としても良い。

【0065】

第１の態様において、前記特定ステップでは、前記画像３２において、各々の前記作物に番号を付し、最初の番号が付された前記作物の前記近接部６０の数ｐを検出する数検出を行い、その数ｐと最初の番号とを記憶装置３６に記憶させ、２番目の番号が付された前記作物から番号順に、前記数検出と、検出された数ｐがその時点で前記記憶装置３６に記憶されている数ｐ（保存数Ｐ）よりも小さいか否かを判定する最小判定と、を行い、検出された数ｐがその時点で前記記憶装置３６に記憶されている数ｐ（保存数Ｐ）よりも小さい場合は、前記記憶装置３６に記憶されている数ｐ（保存数Ｐ）と番号（保存番号Ｎ）を、検出された数ｐと前記数検出の対象である前記作物に付された番号とで上書きし、最後の番号が付された前記作物に対する前記数検出と前記最小判定とが終了した後に、その時点で前記記憶装置３６に記憶されている番号（保存番号Ｎ）が付された前記作物を、前記近接部６０の数ｐが最小となる前記作物としても良い。

【0066】

第１の態様において、前記特定ステップでは、前記画像３２において、各々の前記作物に番号を付し、最初の番号が付された前記作物の前記近接部６０の数ｐを検出する数検出を行い、その数ｐと最初の番号とを記憶装置３６に記憶させ、２番目の番号が付された前記作物から番号順に、前記数検出と、検出された数ｐがその時点で前記記憶装置３６に記憶されている数ｐ以下か否かを判定する最小判定と、を行い、検出された数ｐがその時点で前記記憶装置３６に記憶されている数ｐ以下である場合は、前記記憶装置３６に記憶されている数ｐ（保存数Ｐ）と番号（保存番号Ｎ）を、検出された数ｐと前記数検出の対象である前記作物に付された番号とで上書きし、最後の番号が付された前記作物に対する前記数検出と前記最小判定とが終了した後に、その時点で前記記憶装置３６に記憶されている番号（保存番号Ｎ）が付された前記作物を、前記近接部６０の数ｐが最小となる前記作物としても良い。

【0067】

第１の態様において、前記特定ステップでは、前記画像３２において、前記作物を含む仮想の円５８を生成し、前記円５８同士が重畳又は接する部分を前記近接部６０として検出しても良い。

【0068】

上記構成によれば、作物の輪郭５６を単純な円５８に置換するため、輪郭５６が曖昧であっても近接部６０を生成することができる。

【0069】

第１の態様において、前記特定ステップでは、前記円５８の半径を、前記作物の外接円５８ａの半径よりも所定の長さだけ長くしても良い。

【0070】

上記構成によれば、円５８を大きくするため、近接すると判定する範囲を広くすることができ、ピッキング装置１２の指部がより作物に接触しないような順番でピッキングを行うことができる。

【0071】

本発明の第２の態様は、球状の複数の作物（青果物１１４）の中から１つの前記作物を選定して取り上げるピッキングシステム１０であって、前記作物を把持するピッキング装置１２と、複数の前記作物を上方から撮像して複数の前記作物の画像３２を取得するカメラ１４と、前記ピッキング装置１２を制御する制御回路３４と、を備え、前記制御回路３４は、前記カメラ１４から前記画像３２を取得する画像取得部４０と、前記画像３２において、前記作物同士が所定の間隔以内で近接する近接部６０を検出するとともに前記作物毎に前記近接部６０の数ｐを検出し、前記近接部６０の数ｐが最小となる前記作物を特定する特定部４２と、前記近接部６０の数ｐが最小となる前記作物を取り上げるように前記ピッキング装置１２を制御する制御部４４と、を有する。

【0072】

第２の態様のピッキングシステム１０は、記憶装置３６を備え、前記特定部４２は、前記画像３２において、各々の前記作物に番号を付し、番号の順に、前記作物の前記近接部６０の数ｐを検出する数検出と、検出された数ｐがその時点までに検出された数ｐの中で最小か否かを判定する最小判定と、を行い、検出された数ｐが最小である場合は、検出された数ｐと前記数検出の対象である前記作物に付された番号とを前記記憶装置３６に記憶させ、最後の番号が付された前記作物に対する前記数検出と前記最小判定とが終了した後に、その時点で前記記憶装置３６に記憶されている番号（保存番号Ｎ）が付された前記作物を、前記近接部６０の数ｐが最小となる前記作物としても良い。

【0073】

第２の態様のピッキングシステム１０は、記憶装置３６を備え、前記特定部４２は、前記画像３２において、各々の前記作物に番号を付し、最初の番号が付された前記作物の前記近接部６０の数ｐを検出する数検出を行い、その数ｐと最初の番号とを前記記憶装置３６に記憶させ、２番目の番号が付された前記作物から番号順に、前記数検出と、検出された数ｐがその時点で前記記憶装置３６に記憶されている数ｐ（保存数Ｐ）よりも小さいか否かを判定する最小判定と、を行い、検出された数ｐがその時点で前記記憶装置３６に記憶されている数ｐ（保存数Ｐ）よりも小さい場合は、前記記憶装置３６に記憶されている数ｐ（保存数Ｐ）と番号（保存番号Ｎ）を、検出された数ｐと前記数検出の対象である前記作物に付された番号とで上書きし、最後の番号が付された前記作物に対する前記数検出と前記最小判定とが終了した後に、その時点で前記記憶装置３６に記憶されている番号（保存番号Ｎ）が付された前記作物を、前記近接部６０の数ｐが最小となる前記作物としても良い。

【0074】

第２の態様のピッキングシステム１０は、記憶装置３６を備え、前記特定部４２は、前記画像３２において、各々の前記作物に番号を付し、最初の番号が付された前記作物の前記近接部６０の数ｐを検出する数検出を行い、その数ｐと最初の番号とを前記記憶装置３６に記憶させ、２番目の番号が付された前記作物から番号順に、前記数検出と、検出された数ｐがその時点で前記記憶装置３６に記憶されている数ｐ（保存数Ｐ）以下か否かを判定する最小判定と、を行い、検出された数ｐがその時点で前記記憶装置３６に記憶されている数ｐ（保存数Ｐ）以下である場合は、前記記憶装置３６に記憶されている数ｐ（保存数Ｐ）と番号（保存番号Ｎ）を、検出された数ｐと前記数検出の対象である前記作物に付された番号とで上書きし、最後の番号が付された前記作物に対する前記数検出と前記最小判定とが終了した後に、その時点で前記記憶装置３６に記憶されている番号（保存番号Ｎ）が付された前記作物を、前記近接部６０の数ｐが最小となる前記作物としても良い。

【0075】

第２の態様によれば、第１の態様と同じ効果が得られる。

【0076】

なお、本発明に係るピッキング方法及びピッキングシステムは、前述の実施形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。

【符号の説明】

【0077】

１０…ピッキングシステム １２…ピッキング装置
１４…カメラ １４ａ…グローバルカメラ
３２…画像 ３４…制御回路
３６…記憶装置 ４０…画像取得部
４２…特定部 ４４…制御部
５８…円 ６０…近接部
１１４…青果物（作物）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】