特許 7505676 ピッキング方法及びピッキングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-17

(45)【発行日】2024-06-25

(54)【発明の名称】ピッキング方法及びピッキングシステム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240618BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 5

(21)【出願番号】P 2021034480

(22)【出願日】2021-03-04

(65)【公開番号】P2022134951

(43)【公開日】2022-09-15

【審査請求日】2023-11-02

(73)【特許権者】

【識別番号】501203344

【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構

(74)【代理人】

【識別番号】100077665

【弁理士】

【氏名又は名称】千葉 剛宏

(74)【代理人】

【識別番号】100116676

【弁理士】

【氏名又は名称】宮寺 利幸

(74)【代理人】

【識別番号】100191134

【弁理士】

【氏名又は名称】千馬 隆之

(74)【代理人】

【識別番号】100136548

【弁理士】

【氏名又は名称】仲宗根 康晴

(74)【代理人】

【識別番号】100136641

【弁理士】

【氏名又は名称】坂井 志郎

(74)【代理人】

【識別番号】100180448

【弁理士】

【氏名又は名称】関口 亨祐

(72)【発明者】

【氏名】山田 哲資

(72)【発明者】

【氏名】太田 智彦

【審査官】國武 史帆

(56)【参考文献】

【文献】特開２０２１－１４６４０３（ＪＰ，Ａ）

【文献】特開２０１１－７３０６６（ＪＰ，Ａ）

【文献】特開２０１５－２１４０１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ － ２１／０２

Ｂ０７Ｃ １／００ － ９９／００

Ｇ０１Ｂ １１／００ － １１／３０

Ｇ０６Ｔ １／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

球状の複数の作物の中から１つの前記作物を選定して取り上げるピッキング方法であって、
複数の前記作物を上方から撮像した画像を取得する画像取得ステップと、
前記画像において、前記作物同士が所定の間隔以内で近接する近接部を検出するとともに前記作物毎に前記近接部の数を検出する近接検出ステップと、
複数の前記作物の各々と前記近接部の数とを紐づけた数テーブルを生成する生成ステップと、
前記数テーブルに基づいて、複数の前記作物を１つずつ取り上げる順番を選定する選定ステップと、
を含み、
前記選定ステップは、
前記数テーブルの中で前記近接部の数が最小となる前記作物を１番目に取り上げる前記作物として選定する第１選定ステップと、
前記数テーブルから、選定された前記作物と前記近接部の数とを紐づけた情報を削除し、且つ、選定された前記作物と近接する前記作物の前記近接部の数を１だけ減らした前記数テーブルを再生成する再生成ステップと、
直近に再生成された前記数テーブルの中で前記近接部の数が最小となる前記作物を次に取り上げる前記作物として選定する第２選定ステップと、
を有し、
全ての前記作物が選定されるまで前記再生成ステップと前記第２選定ステップとを繰り返し実行することで、複数の前記作物を１つずつ取り上げる順番を選定する、ピッキング方法。

【請求項2】

請求項１に記載のピッキング方法であって、
前記生成ステップでは、前記作物に識別番号を付与し、前記識別番号と前記近接部の数とを紐づけるとともに、前記近接部を共有する前記作物の前記識別番号を紐づけた前記数テーブルを生成し、
前記再生成ステップでは、前記第１選定ステップで選定された前記作物と近接する前記作物を、前記数テーブルを参照することによって判定し、判定された前記作物の前記近接部の数を１だけ減らす、ピッキング方法。

【請求項3】

請求項１又は２に記載のピッキング方法であって、
前記近接検出ステップでは、前記画像において、前記作物を含む仮想の円を生成し、前記円同士が重畳又は接する部分を前記近接部として検出する、ピッキング方法。

【請求項4】

請求項３に記載のピッキング方法であって、
前記近接検出ステップでは、前記円の半径を、前記作物の外接円の半径よりも所定の長さだけ長くする、ピッキング方法。

【請求項5】

球状の複数の作物の中から１つの前記作物を選定して取り上げるピッキングシステムであって、
前記作物を把持するピッキング装置と、
複数の前記作物を上方から撮像して複数の前記作物の画像を取得するカメラと、
前記ピッキング装置を制御する制御回路と、を備え、
前記制御回路は、
前記カメラから前記画像を取得する画像取得部と、
前記画像において、前記作物同士が所定の間隔以内で近接する近接部を検出するとともに前記作物毎に前記近接部の数を検出する近接検出部と、
複数の前記作物の各々と前記近接部の数とを紐づけた数テーブルを生成する生成部と、
前記数テーブルの中で前記近接部の数が最小となる前記作物を１番目に取り上げる前記作物として選定する第１選定部と、
前記数テーブルから、選定された前記作物と前記近接部の数とを紐づけた情報を削除し、且つ、選定された前記作物と近接する前記作物の前記近接部の数を１だけ減らした前記数テーブルを再生成する再生成部と、
直近に再生成された前記数テーブルの中で前記近接部の数が最小となる前記作物を次に取り上げる前記作物として選定する第２選定部と、を有する、ピッキングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、球状の複数の作物の中から１つの作物を選定して取り上げるピッキング方法及びピッキングシステムに関する。

【背景技術】

【0002】

現在、様々な分野において、ピッキング装置（例えば多関節ロボット）を用いた物品のピッキング（取り上げ）が行われている。ピッキング装置は、物品を把持する把持部を有する。把持部には、互いに離間する方向と接近する方向に移動可能な一対の指部が設けられる。ピッキング装置は、開いた状態の一対の指部を上方から物品の横まで移動させ、一対の指部を閉じて物品を把持する。

【0003】

特許文献１には、物品の重心位置と他の物品の重心位置の平均値である平均重心位置から求められる離散度を計算し、離散度が最大となる物品から順番にピッキングを行う技術が開示される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平４－１４６０９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１では、ピッキング対象の物品の周囲の状況については検討されていない。ピッキング装置が一対の指部を把持対象の物品の横まで移動させる際に、ピッキング対象以外の他の物品がピッキング対象の物品に近接していると、ピッキング装置の指部が他の物品に接触する虞がある。

【0006】

物品が工業製品である場合は大きな問題はない。一方、物品が作物である場合は、指部が接触することによって作物の表面が損傷する虞がある。損傷した作物は価格が下がる。このようなことから、ピッキング対象が作物である場合は、ピッキング装置の指部が作物にできるだけ接触しないようにすることが望まれる。

【0007】

本発明はこのような課題を考慮してなされたものであり、ピッキング装置の指部が作物に極力接触しないような順番でピッキングを行うことができるピッキング方法及びピッキングシステムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の第１の態様は、球状の複数の作物の中から１つの前記作物を選定して取り上げるピッキング方法であって、複数の前記作物を上方から撮像した画像を取得する画像取得ステップと、前記画像において、前記作物同士が所定の間隔以内で近接する近接部を検出するとともに前記作物毎に前記近接部の数を検出する近接検出ステップと、複数の前記作物の各々と前記近接部の数とを紐づけた数テーブルを生成する生成ステップと、前記数テーブルに基づいて、複数の前記作物を１つずつ取り上げる順番を選定する選定ステップと、を含み、前記選定ステップは、前記数テーブルの中で前記近接部の数が最小となる前記作物を１番目に取り上げる前記作物として選定する第１選定ステップと、前記数テーブルから、選定された前記作物と前記近接部の数とを紐づけた情報を削除し、且つ、選定された前記作物と近接する前記作物の前記近接部の数を１だけ減らした前記数テーブルを再生成する再生成ステップと、直近に再生成された前記数テーブルの中で前記近接部の数が最小となる前記作物を次に取り上げる前記作物として選定する第２選定ステップと、を有し、全ての前記作物が選定されるまで前記再生成ステップと前記第２選定ステップとを繰り返し実行することで、複数の前記作物を１つずつ取り上げる順番を選定する。

【0009】

本発明の第２の態様は、球状の複数の作物の中から１つの前記作物を選定して取り上げるピッキングシステムであって、前記作物を把持するピッキング装置と、複数の前記作物を上方から撮像して複数の前記作物の画像を取得するカメラと、前記ピッキング装置を制御する制御回路と、を備え、前記制御回路は、前記カメラから前記画像を取得する画像取得部と、前記画像において、前記作物同士が所定の間隔以内で近接する近接部を検出するとともに前記作物毎に前記近接部の数を検出する近接検出部と、複数の前記作物の各々と前記近接部の数とを紐づけた数テーブルを生成する生成部と、前記数テーブルの中で前記近接部の数が最小となる前記作物を１番目に取り上げる前記作物として選定する第１選定部と、前記数テーブルから、選定された前記作物と前記近接部の数とを紐づけた情報を削除し、且つ、選定された前記作物と近接する前記作物の前記近接部の数を１だけ減らした前記数テーブルを再生成する再生成部と、直近に再生成された前記数テーブルの中で前記近接部の数が最小となる前記作物を次に取り上げる前記作物として選定する第２選定部と、を有する。

【発明の効果】

【0010】

本発明によれば、ピッキング装置の指部が作物に極力接触しないような順番でピッキングを行うことができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本実施形態に係るピッキングシステム及び周辺装置を示す図である。

【図2】図２は、本実施形態に係るピッキングシステムを示すブロック図である。

【図3】図３は、数テーブルを示す図である。

【図4】図４は、第１実施形態の処理工程を示すフローチャートである。

【図5】図５は、カメラによって取得される画像を示す図である。

【図6】図６は、青果物に対して生成される円を示す図である。

【図7】図７Ａは、隣り合う円同士が重畳する場合に形成される近接部を示す図であり、図７Ｂは、隣り合う円同士が接する場合に形成される近接部を示す図である。

【図8】図８は、再生成された数テーブルを示す図である。

【図9】図９は、取り上げ順が決められる前の複数の青果物を示す図である。

【図10】図１０は、幾つかの青果物の取り上げ順が決められた後の複数の青果物を模式化して示す図である。

【図11】図１１は、幾つかの青果物の取り上げ順が決められた後の複数の青果物を模式化して示す図である。

【図12】図１２は、幾つかの青果物の取り上げ順が決められた後の複数の青果物を模式化して示す図である。

【図13】図１３は、幾つかの青果物の取り上げ順が決められた後の複数の青果物を模式化して示す図である。

【図14】図１４は、幾つかの青果物の取り上げ順が決められた後の複数の青果物を模式化して示す図である。

【図15】図１５は、全ての青果物の取り上げ順が決められた後の複数の青果物を模式化して示す図である。

【図16】図１６は、第２実施形態の処理工程を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、この発明に係るピッキング方法及びピッキングシステムについて実施形態を挙げ、添付の図面を参照して詳細に説明する。

【0013】

［１ ピッキングシステム１０の構成］
図１は、本実施形態に係るピッキングシステム１０及び周辺装置を示す図である。図２は、本実施形態に係るピッキングシステム１０を示すブロック図である。選別作業が行われる作業所には、ピッキング装置１２とベルトコンベア１１２が互いに隣接して配置される。コンテナ１１０は、上方に開放された状態でピッキング装置１２の近傍の所定位置に置かれる。コンテナ１１０の内部には収穫された複数の作物が入れられている。ピッキング装置１２は、コンテナ１１０の内部から作物を１つずつ取り上げて、ベルトコンベア１１２まで搬送する。ベルトコンベア１１２は、作物を搬送先（例えば選別機や作業場等）まで搬送する。なお、本実施形態に係るピッキングシステム１０は、球状の作物をピッキング対象とする。本実施形態では、作物として、トマト等の青果物１１４を想定する。なお、ここでいう球状というのは、２次元形状が真円、楕円及び歪んだ円のいずれかになる形状を含む。

【0014】

本実施形態に係るピッキングシステム１０は、ピッキング装置１２と、１以上のカメラ１４と、コントローラ１６と、操作装置１８と、を有する。

【0015】

ピッキング装置１２は、コンテナ１１０の内部に入れられた複数の青果物１１４の中から１つの青果物１１４を把持して取り上げてベルトコンベア１１２まで搬送する装置である。ピッキング装置１２としては、多関節ロボットが使用される。多関節ロボットは、例えば、アーム２２と、アーム２２の先端に装着される把持部２４と、を有する。アーム２２の各関節にはサーボモータ２６と、モータ軸の回転位置(回転角度)を検出する複数の角度センサ２８（例えばロータリエンコーダ）と、が設けられる。サーボモータ２６は、コントローラ１６から供給される電力によって動作する。角度センサ２８は、検出した回転位置の情報をコントローラ１６に出力する。なお、ピッキング装置１２は、多関節ロボットである必要はなく、青果物１１４を把持して搬送を行うことができる他の装置であっても良い。

【0016】

カメラ１４は、コンテナ１１０の上方からコンテナ１１０の内部を撮像して画像３２を取得する。本実施形態では、カメラ１４として、グローバルカメラ１４ａとローカルカメラ１４ｂが使用される。

【0017】

グローバルカメラ１４ａは、コンテナ１１０が置かれる所定位置の真上に配置され、支持装置３０によって支持される。グローバルカメラ１４ａの位置は、グローバルカメラ１４ａの画角内にコンテナ１１０の全体が収まる位置である。グローバルカメラ１４ａは、コンテナ１１０の内部を撮像して第１画像３２ａを取得し、取得した第１画像３２ａをコントローラ１６に出力する。

【0018】

ローカルカメラ１４ｂは、例えばピッキング装置１２のアーム２２に取り付けられる。グローバルカメラ１４ａが定位置に固定されるのに対して、ローカルカメラ１４ｂは、アーム２２の動作に応じてコンテナ１１０の上方で水平方向及び鉛直方向に移動可能である。このため、ローカルカメラ１４ｂは、コンテナ１１０に接近して把持対象の青果物１１４を撮像することが可能である。なお、ローカルカメラ１４ｂは、ローカルカメラ１４ｂの画角内にコンテナ１１０の全体が収まる位置に移動して、グローバルカメラ１４ａの代わりにコンテナ１１０の内部を撮像することも可能である。ローカルカメラ１４ｂは、コンテナ１１０の内部を撮像して第２画像３２ｂを取得し、取得した第２画像３２ｂをコントローラ１６に出力する。

【0019】

コントローラ１６は、角度センサ２８が出力するサーボモータ２６の回転位置の情報と、１以上のカメラ１４が出力する画像３２と、に基づいて、ピッキング装置１２の動作を制御する。

【0020】

図２に示されるように、コントローラ１６は、制御回路３４と、記憶装置３６と、ドライバ３８と、を有する。制御回路３４は、画像取得部４０と、近接検出部４２と、生成部４４と、第１選定部４６と、再生成部４８と、第２選定部５０と、制御部５２等として機能する。制御回路３４は、例えば、ＣＰＵ、ＧＰＵ等のプロセッサによって構成される。この場合、記憶装置３６に記憶されるプログラムがプロセッサによって実行されることによって、上記各部が実現される。なお、制御回路３４は、例えば、ＡＳＩＣ、ＦＰＧＡ等の集積回路によって構成されても良い。また、制御回路３４は、ディスクリートデバイスを含む電子回路によって構成されても良い。なお、ＧＰＵ等のプロセッサによって人工知能が構成されても良い。この場合、人工知能は、機械学習又はディープラーニングによって青果物１１４の特徴量を学習することによって、青果物１１４を識別する。

【0021】

記憶装置３６は、ＲＡＭ、ＲＯＭ及びハードディスク等の記憶媒体によって構成される。記憶装置３６は、制御回路３４によって生成される数テーブル５４を記憶する。数テーブル５４は、制御回路３４によって生成される情報であって、図３に示されるように、青果物１１４の識別番号と、その青果物１１４に含まれる近接部６０の数と、その青果物１１４が近接部６０を共有する他の青果物１１４の識別番号と、を紐づけた情報である。近接部６０の詳細については後述する。

【0022】

また、記憶装置３６は、グローバルカメラ１４ａの位置を示す位置情報と、グローバルカメラ１４ａの撮像位置（コンテナ１１０が置かれる位置）を示す位置情報を記憶する。制御回路３４は、これらの位置情報と第１画像３２ａに基づいて青果物１１４の位置を算出することができる。

【0023】

ドライバ３８は、制御回路３４から各サーボモータ２６に関する動作指令（回転位置、回転速度等の目標値）を入力し、各サーボモータ２６に電力を供給する。この際、ドライバ３８は、各角度センサ２８から各サーボモータ２６の回転位置の情報（フィードバック信号）を入力し、各サーボモータ２６の回転位置が動作指令の目標値に近づくようにフィードバック制御する。

【0024】

操作装置１８は、マンマシンインターフェースとしてのタッチパネル（又はボタン）とディスプレイ等を有する。操作装置１８は、オペレータがタッチパネルを操作した場合に、操作に応じた指示信号をコントローラ１６に出力する。

【0025】

［２ ピッキング処理の具体例］
［２．１ 第１実施形態］
図４を用いてピッキングシステム１０が行うピッキング処理の第１実施形態の手順を説明する。図４は、第１実施形態の処理工程を示すフローチャートである。第１実施形態は、コンテナ１１０の内部に平置きされた複数の青果物１１４をベルトコンベア１１２に搬送する際に、青果物１１４に含まれる近接部６０（図７Ａ、図７Ｂ）の数に応じて取り上げ順を決めるものである。

【0026】

コンテナ１１０が所定位置に置かれた状態で、オペレータは、操作装置１８を操作してピッキング処理を開始させる。オペレータの操作に応じて、操作装置１８からコントローラ１６に開始指示信号が出力され、以下で説明する一連の処理が開始される。

【0027】

ステップＳ１において、グローバルカメラ１４ａは、コンテナ１１０の内部を撮像し、第１画像３２ａ（図５）を取得する。このとき、画像取得部４０は、グローバルカメラ１４ａから第１画像３２ａを取得する。なお、グローバルカメラ１４ａは、コントローラ１６が出力する撮像指示に応じて第１画像３２ａを取得しても良いし、任意のタイミングで第１画像３２ａを取得しても良い。また、グローバルカメラ１４ａの代わりに、ローカルカメラ１４ｂが所定位置まで上昇してコンテナ１１０の内部を撮像しても良い。ステップＳ１が終了すると、処理はステップＳ２に移行する。

【0028】

ステップＳ２において、近接検出部４２は、青果物１１４の輪郭５６に対応する仮想の円５８を生成する。例えば、近接検出部４２は、第１画像３２ａにおいて円形のテンプレート画像を用いてテンプレートマッチングを行い、第１画像３２ａ内の複数の青果物１１４を認識する。そして、近接検出部４２は、図６に示されるように、各青果物１１４の周囲に仮想の円５８を生成する。この円５８は青果物１１４とみなされる。

【0029】

例えば、近接検出部４２は、青果物１１４の輪郭５６の外接円５８ａ（最小包含円）を生成し、これを円５８としても良い。但し、外接円５８ａの精度は、照明、グローバルカメラ１４ａの状況、又は、画像処理等によって変わる。外接円５８ａの精度が低い場合、２つの青果物１１４同士が実際に接していても、外接円５８ａ同士が接しない場合がある。２つの青果物１１４同士が接している又は近接していることを見落とさないためには、外接円５８ａを大きくすれば良い。このような観点で、例えば、近接検出部４２は、外接円５８ａから外側にＤ／２だけ離間する外周円５８ｂを生成し、これを円５８としても良い。外周円５８ｂを円５８とすることにより、下記ステップＳ４において近接検出部４２は、所定間隔Ｄ以内だけ離間する２つの青果物１１４が共有する１つの近接部６０を検出することができる。なお、ここでいう所定間隔Ｄは、青果物１１４の直径よりも小さい距離であり、好ましくは、青果物１１４の半径よりも小さい距離である。ステップＳ２が終了すると、処理はステップＳ３に移行する。

【0030】

ステップＳ３において、近接検出部４２は、各円５８に識別番号を付与する。例えば、近接検出部４２は、各円５８に１から順に連番となる識別番号を付与する。識別番号は任意の方法で付与可能である。ステップＳ３が終了すると、処理はステップＳ４に移行する。

【0031】

ステップＳ４において、近接検出部４２は、図７Ａに示されるように隣り合う円５８同士が重畳する部分と、図７Ｂに示されるように隣り合う円５８同士が接する部分と、を検出する。近接検出部４２は、これらの部分を近接部６０として認識する。また、近接検出部４２は、各円５８に含まれる近接部６０の数を検出する。例えば、ある円５８にｎ個の他の円５８が近接する場合、近接部６０の数はｎになる。ステップＳ４が終了すると、処理はステップＳ５に移行する。

【0032】

ステップＳ５において、生成部４４は、青果物１１４毎に、円５８の識別番号と、その円５８に含まれる近接部６０の数と、その円５８が近接部６０を共有する他の円５８の識別番号と、を紐づけた数テーブル５４を生成する。そして、生成部４４は、数テーブル５４を記憶装置３６に保存する。ステップＳ５が終了すると、処理はステップＳ６に移行する。

【0033】

ステップＳ６において、第１選定部４６は、数テーブル５４の中で近接部６０の数が最小となる識別番号を判別する。更に、第１選定部４６は、判別された識別番号により識別される青果物１１４を選定する。このとき、近接部６０の数が最小となる識別番号が複数存在する場合、第１選定部４６は、例えば最小の識別番号が付与されている青果物１１４を選定する。又は、第１選定部４６は、近接部６０の数が最小となる識別番号の中からその時点の把持部２４の位置に最も近い位置にある青果物１１４を選定しても良い。そして、第１選定部４６は、選定した青果物１１４に取り上げ順としてｎ（ｎ＝１）番目を割り振る。ステップＳ６が終了すると、処理はステップＳ７に移行する。

【0034】

ステップＳ７において、再生成部４８は、数テーブル５４を再生成する。図８は再生成された数テーブル５４の一例を示す。例えば、ステップＳ６で第１選定部４６が識別番号「１」の青果物１１４にｎ（ｎ＝１）番目を割り振った場合、再生成部４８は、図８に示されるように、再生成前の数テーブル５４から識別番号「１」の情報を削除する。更に、再生成部４８は、削除前の識別番号「１」の情報を参照する。仮に、識別番号「１」に近接部６０を共有する青果物１１４（円５８）の識別番号が登録されていない場合、識別番号「１」の情報を削除するのみでステップＳ７は終了する。一方、図３に示されるように、識別番号「１」に近接部６０を共有する青果物１１４（円５８）の識別番号が登録されている場合、再生成部４８は、近接部６０を共有する青果物１１４（円５８）の識別番号「２」を判別する。そして、再生成部４８は、識別番号「２」の情報から、識別番号「１」の情報を削除し、識別番号「２」の近接部６０の数を１だけ減らす。

【0035】

なお、ここでいう数テーブル５４の再生成とは、既存の数テーブル５４に基づいて数テーブル５４を新たに作成することに加えて、既存の数テーブル５４の一部を修正することを含む概念である。すなわち、再生成部４８は、ステップＳ７の処理を行う度に新規の数テーブル５４を作成しても良いし、ステップＳ７の処理を行う度に既存の数テーブル５４の一部を修正するとともに残りの部分を再利用しても良い。ここでいう数テーブル５４の修正というのは、各データの近接部６０の数の修正、各データの近接部６０を共有する青果物１１４の識別番号の修正、データ自体の削除等のことをいう。ステップＳ７が終了すると、処理はステップＳ８に移行する。

【0036】

ステップＳ８において、第２選定部５０は、直近に再生成された数テーブル５４の中で近接部６０の数が最小となる識別番号を判別する。更に、第２選定部５０は、判別された識別番号により識別される青果物１１４を選定する。ここで行われる基本的な処理はステップＳ６の処理と同じである。第２選定部５０は、選定した青果物１１４に取り上げ順としてｎ（ｎ＝ｎ＋１）番目を割り振る。ステップＳ８が終了すると、処理はステップＳ９に移行する。

【0037】

ステップＳ９において、第２選定部５０は、順番が割り振られていない青果物１１４の有無を判定する。順番が割り振られていない青果物１１４がある場合（ステップＳ９：ＹＥＳ）、処理はステップＳ７に戻る。一方、順番が割り振られていない青果物１１４がない場合（ステップＳ９：ＮＯ）、処理はステップＳ１０に移行する。

【0038】

ステップＳ７～ステップＳ９の処理は、順番が割り振られていない青果物１１４がなくなるまで繰り返し実行される。

【0039】

ステップＳ１０において、制御部５２は、青果物１１４を決められた順番で取り上げるようにピッキング装置１２を制御する。このとき、制御部５２は、ピッキング装置１２の各角度センサ２８が出力する回転位置の情報から、把持部２４及びローカルカメラ１４ｂの位置を算出することができる。制御部５２は、取り上げる青果物１１４の位置を特定し、把持部２４を青果物１１４の上方に移動させる。

【0040】

青果物１１４の上方に把持部２４が移動した後、ローカルカメラ１４ｂは、選定された青果物１１４を上方から撮像し、第２画像３２ｂを取得する。ローカルカメラ１４ｂは、取得した第２画像３２ｂをコントローラ１６に出力する。このとき、画像取得部４０は、第２画像３２ｂを取得する。なお、ローカルカメラ１４ｂは、コントローラ１６が出力する撮像指示に応じて第２画像３２ｂを取得しても良いし、任意のタイミングで第２画像３２ｂを取得しても良い。

【0041】

制御部５２は、第２画像３２ｂを使用して青果物１１４の大きさ及び位置を認識し、把持部２４の回転角度等を調整した後に、目標高さ位置を設定して把持部２４を下方に移動させる。ピッキング装置１２は、把持部２４を目標高さ位置で青果物１１４を把持して取り上げてベルトコンベア１１２まで搬送する。

【0042】

青果物１１４の搬送後、制御部５２は、次の順番の青果物１１４を取り上げるようにピッキング装置１２を制御する。制御部５２が最後の順番の青果物１１４を搬送し終えたときに、一連の処理は終了する。

【0043】

［取り上げ順の割り振りの一例］
図９～図１４を用いて青果物１１４の取り上げ順の割り振りの一例を説明する。図９～図１４は、上方からみた１以上の青果物１１４を模式化して示す。各図に示される各円形は青果物１１４である。このうち実線の円形は取り上げ順が決められていない青果物１１４を示し、破線の円形は取り上げ順が決められた青果物１１４を示す。また、破線の円形の内部に付される数字は割り振られた順番を示す。また、各円形の近傍に付される（）内の左側の数字は青果物１１４の識別番号を示し、右側の数字は近接部６０の数を示す。各図で示される識別番号と近接部６０の数は、直近に再生成される数テーブル５４に記録されるものである。

【0044】

以下の一例において、ピッキングシステム１０は、１個の青果物１１４に順番を割り振ると、その青果物１１４に近接する他の青果物１１４（の識別情報）に紐づけられる近接部６０の数を１つ減らす処理を行う。なお、以下の一例では、第１選定部４６及び第２選定部５０は、近接部６０の数が最小となる識別番号が複数存在する場合に最小の識別番号が付与されている青果物１１４を選定する。

【0045】

図９には、識別番号「１」～「１０」の１０個の青果物１１４がある。生成部４４は、（）内の２つの数字を紐づけた数テーブル５４（図３）を生成する。複数の青果物１１４のうち、近接部６０の数が最も少ない青果物１１４は２個（青果物１１４ａ、１１４ｂ）ある（近接部６０の数＝１）。第１選定部４６は、２個の青果物１１４のうち、識別番号が小さい青果物１１４ａを選定して１番目の順番を割り振る。

【0046】

すると、図１０に示されるように、識別番号「２」～「１０」の９個の青果物１１４が順番を割り振られていない青果物１１４として残る。再生成部４８は、（）内の２つの数字を紐づけた数テーブル５４（図８）を再生成する。第２選定部５０は、複数の青果物１１４のうち、近接部６０の数が最も少ない識別番号「１０」の青果物１１４ｂを選定して２番目の順番を割り振る。

【0047】

すると、図１１に示されるように、識別番号「２」～「９」の８個の青果物１１４が順番を割り振られていない青果物１１４として残る。再生成部４８は、（）内の２つの数字を紐づけた数テーブル５４を再生成する。第２選定部５０は、複数の青果物１１４のうち、近接部６０の数が最も少ない識別番号「９」の青果物１１４ｃを選定して３番目の順番を割り振る。

【0048】

すると、図１２に示されるように、識別番号「２」～「８」の７個の青果物１１４が順番を割り振られていない青果物１１４として残る。ここで、順番が割り振られた青果物１１４ｃに近接していた識別番号「８」の青果物１１４ｇの近接部６０の数が１だけ減らされる。複数の青果物１１４のうち、近接部６０の数が最も少ない青果物１１４は４個（青果物１１４ｄ～１１４ｇ）ある（近接部６０の数＝２）。第１選定部４６は、４個の青果物１１４のうち、識別番号が小さい青果物１１４ｄを選定して４番目の順番を割り振る。

【0049】

図１０～図１２を用いて説明した処理と同等の処理が繰り返し実行される。すると、順番が割り振られていない青果物１１４は、図１３、図１４に示されるように徐々に減っていき、図１５に示されるように、全ての青果物１１４に順番が割り振られる。

【0050】

［２．２ 第２実施形態］
図１６を用いてピッキングシステム１０が行うピッキング処理の第２実施形態の手順を説明する。図１６は、第２実施形態の処理工程を示すフローチャートである。第２実施形態は、コンテナ１１０の内部に積み上げられた複数の青果物１１４をベルトコンベア１１２に搬送する際に、青果物１１４に含まれる近接部６０の数に応じて取り上げ順を決めるものである。

【0051】

図１６に示されるステップＳ１５とステップＳ１７～ステップＳ２４の処理は、図４に示されるステップＳ２～ステップＳ１０の処理と同じである。このため、以下では、第１実施形態と異なるステップＳ１１～ステップＳ１４及びステップＳ１６の処理について説明する。

【0052】

なお、第２実施形態では、青果物１１４の３次元の位置を検出する必要がある。このため、グローバルカメラ１４ａとして、２次元の第１画像３２ａと距離画像（不図示）とを同時に取得することができるＴＯＦカメラ等が使用される。

【0053】

ステップＳ１１において、グローバルカメラ１４ａは、コンテナ１１０の内部を撮像し、第１画像３２ａ及び距離画像を取得する。このとき、画像取得部４０は、グローバルカメラ１４ａから第１画像３２ａ及び距離画像を取得する。ステップＳ１１が終了すると、処理はステップＳ１２に移行する。

【0054】

ステップＳ１２において、近接検出部４２は、第１画像３２ａに基づいてコンテナ１１０の内部に青果物１１４があるか否かを判定する。青果物１１４がある場合（ステップＳ１２：ＹＥＳ）、処理はステップＳ１３に移行する。一方、青果物１１４がない場合（ステップＳ１２：ＮＯ）、図１６に示される一連の処理は終了する。

【0055】

ステップＳ１３において近接検出部４２は、距離画像に基づいて複数の青果物１１４の中でグローバルカメラ１４ａから最も近い最高点を特定する。最高点というのは、コンテナ１１０の内部で最も高い点（頂点）のことをいう。コンテナ１１０の内部に複数の青果物１１４が入れられている場合、複数の青果物１１４の中で最も高い位置に置かれた青果物１１４の頂点が最高点となる。ステップＳ１３が終了すると、処理はステップＳ１４に移行する。

【0056】

ステップＳ１４において、近接検出部４２は、距離画像において、最高点から下方に所定距離以上離間する範囲を特定し、特定した範囲をマスク領域とするレイヤーマスクを作成する。なお、ここでいう所定距離は、青果物１１４の平均高さの７０％～８０％程度の長さである。所定距離は記憶装置３６に予め記憶されている。そして、近接検出部４２は、作成したレイヤーマスクで第１画像３２ａをマスクする。すると、第１画像３２ａにおいて、最高点から下方への離間距離が所定距離未満である範囲はそのまま画像が残される一方で、最高点から下方への離間距離が所定距離以上である範囲はマスクされる。ステップＳ１４が終了すると、処理はステップＳ１５に移行する。

【0057】

ステップＳ１５において、ステップＳ２と同等の処理が行われた後に、処理はステップＳ１６に移行する。ステップＳ１６において、近接検出部４２は、所定面積以下の円５８を除去する。ここでいう除去とは、以降に行うステップＳ１７及びステップＳ１８の処理で処理対象の円５８としないことを意味する。ステップＳ１４とステップＳ１６の処理を行うことによって、最高点に位置する青果物１１４に対して高さ方向に離間する青果物１１４を近接判定の対象から外すことができる。ステップＳ１６が終了すると、処理はステップＳ１７に移行し、図４に示されるステップＳ３以降の処理と同じ処理が実行される。

【0058】

そして、ステップＳ２４の処理が終了すると、処理はステップＳ１１に戻り、次の高さ範囲に置かれた複数の青果物１１４に対する処理が実行される。

【0059】

［３ 実施形態から得られる技術的思想］
上記実施形態から把握しうる技術的思想について、以下に記載する。

【0060】

本発明の第１の態様は、球状の複数の作物（青果物１１４）の中から１つの前記作物を選定して取り上げるピッキング方法であって、複数の前記作物を上方から撮像した画像３２を取得する画像取得ステップと、前記画像３２において、前記作物同士が所定の間隔以内で近接する近接部６０を検出するとともに前記作物毎に前記近接部６０の数を検出する近接検出ステップと、複数の前記作物の各々と前記近接部６０の数とを紐づけた数テーブル５４を生成する生成ステップと、前記数テーブル５４に基づいて、複数の前記作物を１つずつ取り上げる順番を選定する選定ステップと、を含み、前記選定ステップは、前記数テーブル５４の中で前記近接部６０の数が最小となる前記作物を１番目に取り上げる前記作物として選定する第１選定ステップと、前記数テーブル５４から、選定された前記作物と前記近接部６０の数とを紐づけた情報を削除し、且つ、選定された前記作物と近接する前記作物の前記近接部６０の数を１だけ減らした前記数テーブル５４を再生成する再生成ステップと、直近に再生成された前記数テーブル５４の中で前記近接部６０の数が最小となる前記作物を次に取り上げる前記作物として選定する第２選定ステップと、を有し、全ての前記作物が選定されるまで前記再生成ステップと前記第２選定ステップとを繰り返し実行することで、複数の前記作物を１つずつ取り上げる順番を選定する。

【0061】

近接部６０の数が多い作物の周囲は密であり、その作物の取り上げの際にはピッキング装置１２の指部が周囲の作物に接触する可能性が比較的高い。一方、近接部６０の数が少ない作物の周囲は疎であり、その作物の取り上げの際にはピッキング装置１２の指部が周囲の作物に接触する可能性は低い。上記構成によれば、ピッキング装置１２は、作物同士が近接する近接部６０の数が少ない作物から順に取り上げを行う。言い換えると、ピッキング装置１２は、近接部６０の数が多い作物の取り上げは後回しにする。但し、当初は近接部６０の数が多い作物であっても、作物の取り上げが進むにつれて周囲の作物の数が減っていく。このため、結果として、当初は近接部６０の数が多い作物も、取り上げ時には近接部６０の数が少なくなっている。従って、上記構成によれば、ピッキング装置１２の指部が作物に接触しないような順番でピッキングを行うことができる。

【0062】

また、上記構成によれば、第１画像３２ａを１回取得することで同一高さの全作物の取り上げ順が決められるため、１個の作物が取り上げられる度に第１画像３２ａを取得してその都度順番を決める場合よりもピッキング処理を高速に行うことができる。

【0063】

また、上記構成によれば、近接部６０の数の計算と比較といった単純な処理で作物の取り上げ順を決定することができる。

【0064】

第１の態様において、前記生成ステップでは、前記作物に識別番号を付与し、前記識別番号と前記近接部６０の数とを紐づけるとともに、前記近接部６０を共有する前記作物の前記識別番号を紐づけた前記数テーブル５４を生成し、前記再生成ステップでは、前記第１選定ステップで選定された前記作物と近接する前記作物を、前記数テーブル５４を参照することによって判定し、判定された前記作物の前記近接部６０の数を１だけ減らしても良い。

【0065】

第１の態様において、前記近接検出ステップでは、前記画像３２において、前記作物を含む仮想の円５８を生成し、前記円５８同士が重畳又は接する部分を前記近接部６０として検出しても良い。

【0066】

上記構成によれば、作物の輪郭５６を単純な円５８に置換するため、輪郭５６が曖昧であっても近接部６０を生成することができる。

【0067】

第１の態様において、前記近接検出ステップでは、前記円５８の半径を、前記作物の外接円５８ａの半径よりも所定の長さだけ長くしても良い。

【0068】

上記構成によれば、円５８を大きくするため、近接すると判定する範囲を広くすることができ、ピッキング装置１２の指部がより作物に接触しないような順番でピッキングを行うことができる。

【0069】

本発明の第２の態様は、球状の複数の作物（青果物１１４）の中から１つの前記作物を選定して取り上げるピッキングシステム１０であって、前記作物を把持するピッキング装置１２と、複数の前記作物を上方から撮像して複数の前記作物の画像３２を取得するカメラ１４と、前記ピッキング装置１２を制御する制御回路３４と、を備え、前記制御回路３４は、前記カメラ１４から前記画像３２を取得する画像取得部４０と、前記画像３２において、前記作物同士が所定の間隔以内で近接する近接部６０を検出するとともに前記作物毎に前記近接部６０の数を検出する近接検出部４２と、複数の前記作物の各々と前記近接部６０の数とを紐づけた数テーブル５４を生成する生成部４４と、前記数テーブル５４の中で前記近接部６０の数が最小となる前記作物を１番目に取り上げる前記作物として選定する第１選定部４６と、前記数テーブル５４から、選定された前記作物と前記近接部６０の数とを紐づけた情報を削除し、且つ、選定された前記作物と近接する前記作物の前記近接部６０の数を１だけ減らした前記数テーブル５４を再生成する再生成部４８と、直近に再生成された前記数テーブル５４の中で前記近接部６０の数が最小となる前記作物を次に取り上げる前記作物として選定する第２選定部５０と、を有する。

【0070】

上記構成によれば、第１の態様と同じ効果が得られる。

【0071】

なお、本発明に係るピッキング方法及びピッキングシステムは、前述の実施形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。

【符号の説明】

【0072】

１０…ピッキングシステム １２…ピッキング装置
１４…カメラ １４ａ…グローバルカメラ
３２…画像 ３２ａ…第１画像
３４…制御回路 ４０…画像取得部
４２…近接検出部 ４４…生成部
４６…第１選定部 ４８…再生成部
５０…第２選定部 ５４…数テーブル
５８…円 ６０…近接部
１１４…青果物（作物）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】