特開 2023-32696 収穫装置、収穫方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023032696

(43)【公開日】2023-03-09

(54)【発明の名称】収穫装置、収穫方法、及びプログラム

(51)【国際特許分類】

   A01D 46/24 20060101AFI20230302BHJP

   A01D 46/30 20060101ALI20230302BHJP

【ＦＩ】

A01D46/24 B

A01D46/30

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021138977

(22)【出願日】2021-08-27

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】戸島 亮

(72)【発明者】

【氏名】荒木 秀和

(72)【発明者】

【氏名】西谷 誠治

【テーマコード（参考）】

2B075

【Ｆターム（参考）】

2B075JF01

2B075JF02

2B075JF05

2B075JF07

2B075JF08

2B075JF10

2B075JJ05

(57)【要約】

【課題】障害物を回避しながら、収穫対象物を効率よく、安定して収穫することができる収穫装置、収穫方法、及びプログラムを提供する。
【解決手段】本開示の収穫装置は、収穫対象物の収穫を行う収穫部と、前記収穫対象物を収穫するための適正位置まで前記収穫部を移動させる収穫部移動部と、画像を撮影する撮影部と、制御部と、を備え、前記制御部は、前記画像に基づき、前記適正位置における前記収穫部と障害物との干渉が生じるか否かを判断する第１ステップと、前記第１ステップにおいて干渉が生じないと判断した場合に、前記画像に基づき、前記収穫部を前記適正位置に移動させるときの経路における前記収穫部移動部と前記障害物との干渉が生じるか否かを判断する第２ステップと、前記第２ステップにおいて干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第３ステップと、を実行する。
【選択図】図４

【特許請求の範囲】

【請求項1】

収穫対象物の収穫を行う収穫部と、
前記収穫対象物を収穫するための適正位置まで前記収穫部を移動させる収穫部移動部と、
画像を撮影する撮影部と、
制御部と、を備え、
前記制御部は、
前記画像に基づき、前記適正位置における前記収穫部と障害物との干渉が生じるか否かを判断する第１ステップと、
前記第１ステップにおいて干渉が生じないと判断した場合に、前記画像に基づき、前記収穫部を前記適正位置に移動させるときの経路における前記収穫部移動部と前記障害物との干渉が生じるか否かを判断する第２ステップと、
前記第２ステップにおいて干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第３ステップと、
を実行する、収穫装置。

【請求項2】

前記制御部は、前記収穫部の前記適正位置を、前記画像より算出した前記収穫対象物の位置に基づいて決定する、
請求項１に記載の収穫装置。

【請求項3】

前記制御部は、前記第１ステップにおいて、前記適正位置における前記収穫部の座標データと、前記障害物の座標データとを生成する、
請求項１または２に記載の収穫装置。

【請求項4】

前記収穫部の座標データ、および前記障害物の座標データは格子状の地図であり、
前記制御部は、前記第１ステップにおいて、前記収穫部の座標データと、前記障害物の座標データと、を重ね合わせたときに重なる格子の数に基づいて、前記干渉が生じるか否かを判断する、
請求項３に記載の収穫装置。

【請求項5】

前記制御部は、前記第１ステップにおいて前記干渉が生じると判断した場合、前記適正位置を、前記収穫部の前記収穫対象物に対する角度を変更した状態に上書きし、前記第１ステップを再度実行する、
請求項１から４のいずれか１項に記載の収穫装置。

【請求項6】

前記制御部は、前記第２ステップにおいて、前記経路における前記収穫部移動部の座標データと、前記障害物の座標データとを生成する、
請求項１から５のいずれか１項に記載の収穫装置。

【請求項7】

前記収穫部移動部の座標データ、および前記障害物の座標データは格子状の地図であり、
前記制御部は、前記第２ステップにおいて、前記収穫部移動部の座標データと、前記障害物の座標データと、を重ね合わせたときに重なる格子の数に基づいて、前記干渉が生じるか否かを判断する、
請求項６に記載の収穫装置。

【請求項8】

収穫装置を制御するコンピュータが実行する収穫方法であって、
撮影した画像に基づき、収穫対象物の収穫を行う収穫部が前記収穫対象物を収穫するための適正位置に位置するときに前記収穫部と障害物との干渉が生じるか否かを判断する第１ステップと、
前記第１ステップにおいて干渉が生じないと判断した場合に、前記画像に基づき、前記収穫部を前記適正位置に移動させるときの経路における、前記適正位置まで前記収穫部を移動させる収穫部移動部と前記障害物との干渉が生じるか否かを判断する第２ステップと、
前記第２ステップにおいて干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第３ステップと、
を有する、収穫方法。

【請求項9】

収穫装置を制御するコンピュータが実行するプログラムであって、
撮影した画像に基づき、収穫対象物の収穫を行う収穫部が前記収穫対象物を収穫するための適正位置に位置するときに前記収穫部と障害物との干渉が生じるか否かを判断する第１手順と、
前記第１手順において干渉が生じないと判断した場合に、前記画像に基づき、前記収穫部を前記適正位置に移動させるときの経路における、前記適正位置まで前記収穫部を移動させる収穫部移動部と前記障害物との干渉が生じるか否かを判断する第２手順と、
前記第２手順において干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第３手順と、
を前記コンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、果実などの収穫対象物を収穫する収穫装置、収穫方法、及びプログラムに関する。

【背景技術】

【0002】

農作物の収穫作業の自動化が望まれている。

【0003】

収穫対象物の自動収穫を行う装置として、例えば、特許文献１に記載された収穫装置が知られている。特許文献１に開示された収穫装置は、真空吸引装置により収穫対象物としての果実を吸着するバキュームパッド、及び、バキュームパッドを回転及び振動させるモータを備える。特許文献１に開示された収穫装置は、バキュームパッドで果実を吸着した状態でバキュームパッドを回転及び振動させて、枝に生る果実を収穫する。

【0004】

特許文献１に開示された収穫装置では、果実の表面の一部分を真空吸引するため、吸引の痕等が果実に残り、果実が損傷してしまうことがあった。

【0005】

収穫対象物の損傷を抑制する収穫装置として、例えば、特許文献２に開示された収穫装置がある。また、特許文献３には、屈曲可能な収穫アームにより、主茎や房などの障害物を回避して収穫を行う収穫方法が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開昭６３－１４１５１７号公報

【特許文献2】特開２０１７－５１１０３号公報

【特許文献3】特開平８－２３８０１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

障害物の有無に応じて収穫可否を適切に判断することで、収穫の安定性を高めることができる収穫方法が要望されている。

【0008】

本開示の目的は、収穫の安定性を高めることができる収穫装置、収穫方法、及びプログラムを提供することである。

【課題を解決するための手段】

【0009】

本発明の一態様に係る収穫装置は、収穫対象物の収穫を行う収穫部と、前記収穫対象物を収穫するための適正位置まで前記収穫部を移動させる収穫部移動部と、画像を撮影する撮影部と、制御部と、を備え、前記制御部は、前記画像に基づき、前記適正位置における前記収穫部と障害物との干渉が生じるか否かを判断する第１ステップと、前記第１ステップにおいて干渉が生じないと判断した場合に、前記画像に基づき、前記収穫部を前記適正位置に移動させるときの経路における前記収穫部移動部と前記障害物との干渉が生じるか否かを判断する第２ステップと、前記第２ステップにおいて干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第３ステップと、を実行する。

【0010】

本開示の一態様に係る収穫方法は、収穫装置を制御するコンピュータが実行する収穫方法であって、撮影した画像に基づき、収穫対象物の収穫を行う収穫部が前記収穫対象物を収穫するための適正位置に位置するときに前記収穫部と障害物との干渉が生じるか否かを判断する第１ステップと、前記第１ステップにおいて干渉が生じないと判断した場合に、前記画像に基づき、前記収穫部を前記適正位置に移動させるときの経路における、前記適正位置まで前記収穫部を移動させる収穫部移動部と前記障害物との干渉が生じるか否かを判断する第２ステップと、前記第２ステップにおいて干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第３ステップと、を有する。

【0011】

本開示の一態様に係るプログラムは、収穫装置を制御するコンピュータが実行するプログラムであって、撮影した画像に基づき、収穫対象物の収穫を行う収穫部が前記収穫対象物を収穫するための適正位置に位置するときに前記収穫部と障害物との干渉が生じるか否かを判断する第１手順と、前記第１手順において干渉が生じないと判断した場合に、前記画像に基づき、前記収穫部を前記適正位置に移動させるときの経路における、前記適正位置まで前記収穫部を移動させる収穫部移動部と前記障害物との干渉が生じるか否かを判断する第２手順と、前記第２手順において干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第３手順と、を前記コンピュータに実行させる。

【発明の効果】

【0012】

本発明によれば収穫の安定性を高めることができる。

【図面の簡単な説明】

【0013】

【図1】収穫対象物の一例としてのミニトマトの房の構成を示す図

【図2】本開示の実施の形態に係る収穫装置の構成について説明するための図

【図3】作業アーム及びエンドエフェクタの上面概略図

【図4】収穫装置の動作例を説明するためのフローチャート

【図5A】障害物マップの作成方法について説明するための図

【図5B】障害物マップの作成方法について説明するための図

【図6】収穫方向の決定方法についての考え方を説明するための図

【図7A】収穫方向の決定方法についての考え方を説明するための図

【図7B】収穫方向の決定方法についての考え方を説明するための図

【図8A】エンドエフェクタの位置を示すエンドエフェクタ領域を含むエンドエフェクタマップを示す図

【図8B】障害物マップとエンドエフェクタマップとを重ね合わせた第１干渉マップを示す図

【図9】収穫姿勢マップについて説明するための図

【図10】干渉マップについて説明するための図

【図11】エンドエフェクタの斜視図

【図12A】収穫時のエンドエフェクタの動作を説明するための図

【図12B】収穫時のエンドエフェクタの動作を説明するための図

【図12C】収穫時のエンドエフェクタの動作を説明するための図

【発明を実施するための形態】

【0014】

以下、本開示の実施の形態に係る収穫装置について、図面を参照して詳細に説明する。

【0015】

＜収穫対象物についての説明＞
まず、収穫装置の収穫対象物について説明する。以下の説明では、収穫対象物の一例として、複数個密集した状態で房状に生るミニトマトを挙げて説明する。

【0016】

図１は、ミニトマトの房の構成について示す図である。図１に示すように、一つの房４０６は、果梗４０５といわれる茎を中心に構成されている。この果梗４０５から、小果梗４０１、萼（ガク）４０３が伸び、その先に果実４０４が生っている。

【0017】

小果梗４０１の途中には、離層４０２と呼ばれる箇所がある。小果梗４０１に力が加えられたとき、小果梗４０１は離層４０２で分断される。

【0018】

本開示の収穫装置では、このように離層を有する果実を収穫対象物とする。したがって、本開示の収穫装置の収穫対象物は、ミニトマトだけでなく、離層を有するものであれば他の果実であってもよい。また、本開示の収穫装置は、果実が房をなしているものだけでなく、果実が個別に生るものについても収穫対象物とすることができる。

【0019】

＜収穫装置１の構成＞
図２は、本開示の実施の形態に係る収穫装置１の構成について説明するための図である。収穫装置１は、本体移動部１０と、作業アーム２０と、エンドエフェクタ２００と、本体３０と、撮像装置４０と、制御部６０とを備えている。なお、図２は、収穫装置１を側面から見た図であり、以下の説明における上下方向は、図２に示す収穫装置１の上下方向に対応するものとする。

【0020】

本体移動部１０は、例えば車輪や無限軌道など、収穫装置１の本体３０全体を移動させる構成である。本体３０には、収穫装置１の他の構成、すなわち作業アーム２０と、エンドエフェクタ２００と、撮像装置４０と、制御部６０と、が設けられているため、本体３０が移動することは、収穫装置１全体が移動することと同じ意味を持つ。

【0021】

本実施の形態では、本体移動部１０は、本体３０を、例えば畝と畝の間を敷かれたレール上を移動させるなど、あらかじめ決められた一方向およびその反対方向にのみ移動させることができる場合について説明する。しかしながら、本開示はこれに限られず、本体移動部１０は、本体３０をあらゆる方向に移動させることが可能であってもよい。なお、以下の説明において、本体移動部１０が本体３０を移動させる方向を移動方向と記載する。移動方向は、後述する平面マップ５００の作成の際に用いられるため、本体３０が任意の方向に移動可能である場合は、例えば収穫対象物の存在する方向を参照することで、平面マップ５００を作成する際の本体移動部１０の移動方向を定義すればよい。

【0022】

本実施の形態では、本体移動部１０は、本体３０を前後方向に沿って移動させることができる。なお、収穫装置１の前後方向とは、収穫装置１から見て、収穫対象物が左側または右側にある状態で、収穫装置１が移動する方向である。図２の紙面右方向が収穫装置１の前方向に、図２の紙面左方向が収穫装置１の後方向に、それぞれ対応している。

【0023】

エンドエフェクタ２００は、収穫対象物を損傷しないように収穫する部位である。エンドエフェクタ２００は、本開示の収穫部の一例である。エンドエフェクタ２００の詳細な構造及び動作については、後述する。

【0024】

作業アーム２０は、エンドエフェクタ２００を、収穫対象物に対して収穫しやすい位置へ移動させるための部位である。作業アーム２０は、本開示の収穫部移動部の一例である。作業アーム２０の一端は、本体３０に取り付けられており、他端は、エンドエフェクタ２００に取り付けられている。作業アーム２０は、収穫装置１から離れた位置にある収穫対象物を収穫するために適正な位置までエンドエフェクタ２００を移動させることで、収穫対象物をエンドエフェクタ２００に収穫させることができる。

【0025】

図３は、作業アーム２０及びエンドエフェクタ２００の上面概略図である。図３では、作業アームの一例として、３軸の水平多関節アームを有する作業アーム２０を示している。作業アーム２０は、第１リンク２１及び第２リンク２２を有している。第２リンク２２の先端部には、エンドエフェクタ２００が搭載されている。エンドエフェクタ２００は、第２リンク２２の先端部（図３の点Ｑ）を回転軸として回転可能である。

【0026】

図３に示す例では、作業アーム２０及びエンドエフェクタ２００は、収穫装置１の左方向に延びている様子が示されている。本実施形態の以下の説明でも、作業アーム２０及びエンドエフェクタ２００は、収穫装置１の左方向に延びているものとする。しかしながら、本開示はこれに限られず、作業アーム２０及びエンドエフェクタ２００は、本体３０からどの方向に延びることができてもよい。

【0027】

本体３０は、収穫装置１の本体であり、本体移動部１０、作業アーム２０、撮像装置４０、及び制御部６０を搭載している。

【0028】

撮像装置４０は、収穫対象物、障害物、エンドエフェクタ２００、作業アーム２０のうち、少なくともいずれかを撮影して画像を生成するカメラデバイスである。特に、撮像装置４０は、ＲＧＢ（Red，Green，Blue）カラー画像、ＩＲ（infrared）画像、及び距離データを取得することができるカメラである。

【0029】

制御部６０は、収穫装置１の各構成を制御するコンピュータである。制御部６０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）により構成されるプロセッサである。制御部６０は、ＲＯＭに記憶されているプログラムを読み出してＲＡＭに展開し、展開したプログラムに従って収穫装置１の各構成の制御を行う。ＲＡＭは、ＣＰＵにより実行される各種プログラム、およびプログラムに係るデータを一時的に記憶するワークエリアを形成する。ＲＯＭは、不揮発メモリ等により構成され、制御の際に用いられる各種プログラムや各種データを記憶する。なお、収穫装置１を制御するコンピュータは、収穫装置１の外部にあり、通信ネットワーク等を介して、収穫装置１を遠隔操作してもよい。

【0030】

より具体的には、制御部６０は、撮像装置４０が生成した撮像画像を解析し、解析結果に基づいて本体移動部１０、作業アーム２０、及びエンドエフェクタ２００の動作を制御する。

【0031】

＜収穫装置１の動作例＞
次に、図４を参照して、収穫対象物を収穫する際の収穫装置１の動作例を説明する。図４は、収穫装置１の動作例を説明するためのフローチャートである。なお、図４に示す収穫装置１の動作例は、複数の果実の中から１つを収穫対象物として決定し、収穫装置１が当該収穫対象物とほぼ正対する位置に位置するものとして説明を行う。

【0032】

まず、ステップＳ１において、制御部６０は、撮像装置４０により、目標の果実と、当該果実を含む房、茎、植物全体などを撮影し、画像、各被写体の色情報、距離情報などを取得する。

【0033】

次に、ステップＳ２において、制御部６０は、撮像装置４０が生成した画像及び距離情報に基づいて、収穫対象物の位置を示す収穫対象物位置情報、及び障害物の位置を示す障害物位置情報を求める。障害物とは、収穫対象物を収穫する際に障害となり得る物体であり、本実施の形態では、主茎または葉である。

【0034】

画像に含まれる収穫対象物または障害物を認識する方法としては、既知の方法を採用することができる。画像に基づいて収穫対象物としての果実を認識する方法としては、例えば特開２０１８－２０６０１５号公報に記載の技術を適用できる。また、画像に基づいて障害物としての主茎を認識する方法としては、例えば特開２０２０－０００１７０号公報に記載の技術を適用できる。

【0035】

次に、ステップＳ３において、制御部６０は、収穫対象物位置情報及び障害物位置情報に基づいて障害物マップを作成する。以下では、障害物マップの作成方法について詳細に説明する。

【0036】

［障害物マップの作成方法］
図５Ａ及び図５Ｂは、障害物マップの作成方法について説明するための図である。なお、以下では２次元の障害物マップの作成方法について説明する。

【0037】

まず、制御部６０は、収穫対象物位置情報に基づいて、図５Ａに示すような格子状の平面マップ５００を作成する。図５Ａに示す例では、平面マップ５００は、２つの方向（第１方向Ｄ１、第２方向Ｄ２）のそれぞれに沿った２軸（第１軸５０１、第２軸５０２）で構成されるマップである。平面マップ５００は、収穫対象物位置情報を含むよう作成される。

【0038】

第１方向Ｄ１は、収穫装置１の移動可能な方向（前後方向）に対応しており、第１軸５０１は第１方向Ｄ１に沿った軸である。第２方向Ｄ２は、収穫装置１から見た収穫対象物の方向に対応しており、第２軸５０２は第１方向Ｄ１に対して垂直な軸である。すなわち、図５Ａは、平面状の平面マップ５００を、斜め上方向から見た状態を示している。なお、同一方向の軸間距離、すなわち格子サイズは、例えば１ｍｍなど、適宜のサイズに設定可能である。

【0039】

次に、制御部６０は、平面マップ５００の各格子に対し、障害物位置情報に基づいて、障害物がある格子には「１」の値を、障害物が存在しない格子には「０」の値を与える。これにより、図５Ｂに示すように、障害物マップ５０４が作成される。図５Ｂでも、図５Ａと同様に、平面状の平面マップ５００を、斜め上方向から見た状態を示している。図５Ｂでは、障害物がある格子、すなわち「１」の値を有する格子に斜線を付して示している。一般に障害物はある程度の大きさを持つため、障害物がある格子同士は互いに隣接する。図５Ｂに示す例では、障害物がある位置を示す複数の格子群としての障害物領域５０３を含む障害物マップが示されている。

【0040】

なお、上記説明では２次元の障害物マップを作成する方法について説明したが、３次元の障害物マップが必要である場合には、上記の方法で作成した２次元の障害物マップを、高さ方向に平行な第３軸に沿って積み重ねることで、３次元の障害物マップを作成することができる。

【0041】

次に、ステップＳ４からステップＳ６、および、ステップＳ１３からステップＳ１４において、制御部６０は、収穫対象物を収穫する際にエンドエフェクタ２００を移動させる方向である収穫方向を決定する。図６、図７Ａ及び図７Ｂを参照して、収穫方向の決定方法について説明する。

【0042】

［収穫方向の決定方法］
図６、図７Ａ、及び図７Ｂは、収穫方向の決定方法についての考え方を説明するための図である。図６、図７Ａ、及び図７Ｂでは、収穫対象物としての果実４０４とエンドエフェクタ２００とを上側から見た場合の位置関係が模式的に示されている。

【0043】

エンドエフェクタ２００を用いて果実４０４を収穫する場合、エンドエフェクタ２００を、収穫のための適正位置まで移動させる必要がある。収穫のための適正位置とは、図６に示すように、エンドエフェクタ２００が有するリング状の部材（後出の図１１の収穫リング２０２）の内部に果実４０４が収められる位置である。このような適正位置にエンドエフェクタ２００を移動させることにより、エンドエフェクタ２００が、果実４０４を離層４０２（図１参照）でもぎ取りやすくなる。

【0044】

ここで、図６に示す適正位置までエンドエフェクタ２００を移動させる際、収穫対象物にできるだけ損傷を与えないためには、図７Ａに示すように、果梗４０５と果実４０４の中心とを通過する直線Ｌ１に沿って、果実４０４側から果梗４０５側に向かう方向にエンドエフェクタ２００を移動させることが理想的である。以下の説明において、図７Ａに示すエンドエフェクタ２００の移動方向を、理想的な収穫方向Ｄｉと記載する。理想的な収穫方向Ｄｉは、本開示の第３方向の一例である。

【0045】

ただし、実際の収穫作業においては、果実４０４付近に茎や葉などの障害物がある場合、図７Ａに示す理想的な収穫方向Ｄｉに沿ってエンドエフェクタ２００を移動できるとは限らない。

【0046】

そこで、制御部６０は、ステップＳ４において、エンドエフェクタ２００の収穫方向を理想的な収穫方向に仮定する。そして、制御部６０は、ステップＳ５において、仮定した収穫方向、およびエンドエフェクタ２００が収穫対象物を収穫できる位置（適正位置）において障害物と干渉するか否かをシミュレートする。エンドエフェクタ２００が適正位置において障害物と干渉するか否かは、具体的には、図６に示す、破線で示されるエンドエフェクタ領域内に障害物が存在するか否かをシミュレートすることにより判断される。エンドエフェクタ領域は、エンドエフェクタ２００が適正位置にあるときの、収穫対象を中心とした所定の大きさの領域であり、領域の大きさや中心の位置については適宜設定が可能である。

【0047】

そして、制御部６０は、シミュレーションの結果、エンドエフェクタ２００と障害物とが干渉しないと判断したとき（ステップＳ５：ＮＯ）、ステップＳ６において、仮定した収穫方向を実際の収穫方向として決定する。

【0048】

一方、制御部６０は、エンドエフェクタ２００と障害物とが干渉すると判断したとき（ステップＳ５：ＹＥＳ）、ステップＳ１３およびステップＳ１４において、収穫方向を理想的な収穫方向から少しずらして収穫方向を再度仮定する。具体的には、制御部６０は、ステップＳ１３において、現在仮定されている収穫方向と、理想的な収穫方向とのずれの大きさが閾値角度φ以下であるか否かを判断し、ずれの大きさが閾値角度φ以下であると判断した場合（ステップＳ１３：ＹＥＳ）に、処理をステップＳ１４に進める。制御部６０は、ステップＳ１４において、現在仮定されている収穫方向から少しずらした新たな収穫方向を仮定し、処理をステップＳ５に戻す。そして、制御部６０は、ステップＳ５において、ずらした収穫方向においてエンドエフェクタ２００を移動させた場合、エンドエフェクタ２００と障害物とが干渉するか否かを再度シミュレートする。このようにステップＳ４とステップＳ５の処理を繰り返すことにより、制御部６０は、障害物と干渉しないエンドエフェクタ２００の収穫方向を決定することができる。

【0049】

なお、収穫方向が理想的な収穫方向からずれる大きさが大きくなるほど、エンドエフェクタ２００による収穫が失敗する可能性が大きくなる。このため、本実施の形態では、理想的な収穫方向からのずれの大きさが所定の大きさ以下となるように、閾値角度φを設定している。具体的には、図７Ｂに示すように、収穫方向は、理想的な収穫方向（果梗４０５と果実４０４の中心とを通過する直線Ｌ１に沿った方向）とのなす角が閾値角度φ以内となるように決定される。閾値角度φは、例えば３０°などに設定される。また、ステップＳ１４において収穫方向をずらす場合、１回につき例えば１０°ずつずらすように設定される。閾値角度φ、および１回につきずらす角度の大きさは、適宜設定が可能である。

【0050】

このように、理想的な収穫方向でエンドエフェクタ２００を移動させるとエンドエフェクタ２００と障害物との干渉が生じてしまう場合には、図７Ｂに示すように、エンドエフェクタ２００の移動方向つまり収穫方向が、閾値角度内において、理想的な収穫方向からずれた方向に設定される。よって、障害物を回避しながらエンドエフェクタ２００を適正位置まで移動させることができる。これにより、安定した収穫が可能となる。ずらした後の、障害物との干渉が生じない収穫方向は、本開示の第４方向の一例である。

【0051】

なお、閾値角度φ以内において、エンドエフェクタ２００と障害物との干渉が生じない収穫方向が見つからない場合（ステップＳ１３：ＮＯ）、制御部６０は、ステップＳ１５において、現在の収穫対象物を対象とした収穫動作を中止する。この場合、例えば制御部６０は、新たな収穫対象物を設定して当該新たな収穫対象物と正対する位置まで収穫装置１を移動させ、新たな収穫対象物を対象とした新たな収穫動作をステップＳ１から改めて開始すればよい。

【0052】

制御部６０は、ステップＳ５において、仮定した収穫方向および適正位置でエンドエフェクタ２００が障害物とエンドエフェクタ２００とが干渉するか否かを、ステップＳ３で作成された障害物マップと、新たに作成したエンドエフェクタ２００の位置を示すエンドエフェクタマップとを照合することによりシミュレートする。エンドエフェクタマップは、エンドエフェクタ２００を現在位置から仮定した収穫方向で適正位置まで移動させるまでの途中におけるエンドエフェクタ２００の位置情報をシミュレートすることで作成されるマップであり、図６に示すエンドエフェクタ領域を示すマップである。制御部６０は、エンドエフェクタ２００が適正位置にある場合のエンドエフェクタ２００の位置情報を、平面マップ５００が含む収穫対象物位置情報に基づいてシミュレートし、収穫方向に基づいて移動途中のエンドエフェクタ２００の位置をシミュレートすればよい。

【0053】

制御部６０は、障害物マップとエンドエフェクタマップとを重ね合わせて第１干渉マップを作成する。第１干渉マップは、仮定した収穫方向および適正位置で障害物とエンドエフェクタ２００とが干渉するか否かを示すマップである。第１干渉マップにおいて、障害物の位置を示す格子とエンドエフェクタの位置（エンドエフェクタ領域）を示す格子とが重なり合う格子が存在する場合、制御部６０は、仮定した収穫方向でエンドエフェクタ２００を移動させたとき、障害物とエンドエフェクタ２００とが互いに干渉すると判断する。一方、第１干渉マップにおいて、障害物の位置を示す格子とエンドエフェクタの位置（エンドエフェクタ領域）を示す格子とが重なり合う格子が存在しない場合、制御部６０は、仮定した収穫方向および適正位置において、障害物とエンドエフェクタ２００とは干渉しないと判断する。

【0054】

なお、制御部６０は、第１干渉マップにおいて、障害物の位置を示す格子とエンドエフェクタ２００の位置を示す格子とが重なり合う格子の個数が所定閾値以下である場合に、障害物とエンドエフェクタ２００とが互いに干渉しないと判断してもよい。これにより、画像に含まれる障害物またはエンドエフェクタ２００を認識する際に生じうる誤認識により、実際には干渉が生じないにもかかわらず干渉が生じると判断してしまう事態を防止できる。また、これにより、干渉の度合いが小さく、干渉により収穫に悪影響が及ぼされる可能性が低い場合には、問題なく収穫を行うことができる。閾値の例としては、例えば３個、より広い範囲の値としては１～１０個程度など、任意の値に設定することができる。

【0055】

図８Ａは、エンドエフェクタ２００の位置を示すエンドエフェクタ領域５０５を含むエンドエフェクタマップ５０６を示す図である。図８Ａにおいて、エンドエフェクタ２００の位置に対応するエンドエフェクタ領域５０５を、網掛けして示している。

【0056】

図８Ｂは、障害物マップ５０４とエンドエフェクタマップ５０６とを重ね合わせた第１干渉マップ５０７を示す図である。図８Ｂに示す第１干渉マップ５０７では、領域Ｒにおいて障害物の位置を示す障害物領域５０３とエンドエフェクタ２００の位置を示すエンドエフェクタ領域５０５とが重なり合っている。図８Ｂでは、重なり合った領域を黒塗りで示している。このような場合、制御部６０は、仮定した収穫方向でエンドエフェクタ２００を適正位置まで移動させると、エンドエフェクタ２００と障害物とが干渉すると判断する。

【0057】

図４の説明に戻る。次に、ステップＳ７において、制御部６０は、ステップＳ６で決定した収穫方向に沿ってエンドエフェクタ２００を移動させるための、作業アーム２０の収穫姿勢を算出する。

【0058】

［作業アーム２０の収穫姿勢算出方法］
作業アーム２０の収穫姿勢の算出方法について説明する。図３に示すように、作業アーム２０は、第１リンク２１及び第２リンク２２を有する。

【0059】

第１リンク２１及び第２リンク２２は、棒状の部材である。第１リンク２１の一端は、点Ｏにおいて本体３０に接続されており、他端は、点Ｐにおいて第２リンク２２に接続されている。第２リンク２２の一端は、点Ｐにおいて第１リンク２１に接続されており、他端は、点Ｑにおいてエンドエフェクタ２００に接続されている。

【0060】

点Ｏは、第１リンク２１の一端付近、かつ第１リンク２１の短手方向における中心に設けられた、第１リンク２１の回転軸である。点Ｐは、第１リンク２１の他端付近、かつ第１リンク２１の短手方向における中心に設けられている。同時に、点Ｐは、第２リンク２２の一端付近、かつ第２リンク２２の短手方向における中心に設けられた、第２リンク２２の回転軸である。点Ｑは、第２リンク２２の他端付近、かつ第２リンク２２の短手方向における中心に設けられている。

【0061】

第１リンク２１は点Ｏを支点として本体３０に対して回転可能である。また、第２リンク２２は点Ｐを支点として第１リンク２１に対して回転可能である。また、エンドエフェクタ２００は点Ｑを支点として第２リンク２２に対して回転可能である。これらの構成により、作業アーム２０は様々な姿勢を取り、エンドエフェクタ２００の位置を本体３０に対して様々な位置に移動させることができる。

【0062】

なお、本実施の形態において、作業アーム２０の収穫姿勢とは、エンドエフェクタ２００を収穫のための適正位置に移動させた場合の、第１リンク２１及び第２リンク２２それぞれの位置を意味する。作業アーム２０の収穫姿勢の具体例として、エンドエフェクタ２００が適正位置にあるときの、点Ｏ、点Ｐ、及び点Ｑそれぞれの位置が挙げられる。

【0063】

制御部６０は、収穫装置１から見たエンドエフェクタ２００の適正位置、ステップＳ６にて決定した収穫方向（エンドエフェクタ２００の移動方向）、並びに、第１リンク２１及び第２リンク２２のリンク長に基づいて、作業アーム２０の収穫姿勢を決定する。制御部６０は、エンドエフェクタ２００が適正位置にある場合のエンドエフェクタ２００の位置情報を、平面マップ５００が有する収穫対象物位置情報に基づいて算出する。また、制御部６０は、逆運動学を用いて、エンドエフェクタ２００が適正位置にあるときの点Ｏ、点Ｐ、及び点Ｑの位置を算出し、算出した位置または角度を作業アーム２０の収穫姿勢とする。なお、点Ｏ、点Ｐ、及び点Ｑそれぞれの位置ではなく、点Ｏと点Ｐを結ぶ直線と、点Ｐと点Ｑを結ぶ直線とのなす角度を作業アーム２０の収穫姿勢としてもよい。

【0064】

図４の説明に戻る。次に、ステップＳ８において、制御部６０は、ステップＳ７で算出した作業アーム２０の収穫姿勢に対応する収穫姿勢マップを作成する。

【0065】

［収穫姿勢マップの作成方法］
収穫姿勢マップの作成方法としては、上述した障害物マップと同様の作成方法が採用されうる。すなわち、図５Ａに示す平面マップ５００に対し、ステップＳ７で算出した作業アーム２０の収穫姿勢（すなわち、エンドエフェクタ２００が適正位置にあるときの作業アーム２０の点Ｏ、点Ｐ、及び点Ｑの位置）に基づいて、作業アーム２０がある格子には「１」の値を与え、作業アーム２０が存在しない格子には「０」の値を与える。図９は、収穫姿勢マップ５０９について説明するための図である。これにより、図９に示すように、作業アーム２０がある複数の格子（値「１」を有する格子群）により構成される作業アーム領域５０８を含む収穫姿勢マップ５０９が作成される。

【0066】

図４の説明に戻る。次に、ステップＳ９において、制御部６０は、エンドエフェクタ２００を適正位置に移動させる際に、作業アーム２０と障害物とが干渉するか否かをシミュレートするための第２干渉マップを作成する。

【0067】

第２干渉マップは、ステップＳ３で作成した障害物マップと、ステップＳ８で作成した収穫姿勢マップとを重ね合わせ、障害物の位置を示す障害物領域５０３と作業アーム２０の位置を示す作業アーム領域５０８とが重なり合う格子を抽出することで作成される。すなわち、第２干渉マップは、エンドエフェクタ２００を適正位置に移動させる際に、障害物と作業アーム２０とが干渉するか否かを示すマップである。図１０は、第２干渉マップ５１１について説明するための図である。図１０において、障害物の位置を示す格子（障害物領域５０３）と作業アーム２０の位置を示す格子（作業アーム領域５０８）とが重なり合った格子（干渉領域５１０）が黒塗りで示されている。作成された第２干渉マップ５１１内に干渉領域５１０が存在することは、エンドエフェクタ２００を適正位置に移動させる際に、作業アーム２０と障害物とが干渉してしまうことを意味する。

【0068】

なお、制御部６０は、第２干渉マップにおいて、障害物の位置を示す格子と作業アーム２０の位置を示す格子とが重なり合う格子の個数が所定閾値以下である場合に、障害物と作業アーム２０とが互いに干渉しないと判断してもよい。これにより、画像に含まれる障害物または作業アーム２０を認識する際に生じうる誤認識により、実際には干渉が生じないにもかかわらず干渉が生じると判断してしまう事態を防止できる。また、これにより、干渉の度合いが小さく、干渉により収穫に悪影響が及ぼされる可能性が低い場合には、問題なく収穫を行うことができる。閾値の例としては、例えば３個、より広い範囲の値としては１～１０個程度など、任意の値に設定することができる。

【0069】

図４の説明に戻る。次に、ステップＳ１０において、制御部６０は、ステップＳ９で作成した第２干渉マップに基づいて、エンドエフェクタ２００を適正位置に移動させる際に、作業アーム２０と障害物とが干渉するか否かを判断する。ステップＳ１０の判断は、上述したように、第２干渉マップ５１１内の干渉領域５１０の有無を検出することによって行われる。

【0070】

干渉すると判断した場合（ステップＳ１０：ＹＥＳ）、制御部６０は、処理をステップＳ１５に進める。一方、干渉しないと判断した場合（ステップＳ１０：ＮＯ）、制御部６０は、処理をステップＳ１１に進める。

【0071】

干渉すると判断した場合、ステップＳ１５において、制御部６０は、本フローで目標とした収穫対象物に対して収穫動作を行わないと判断する。

【0072】

次に、ステップＳ１１において、制御部６０は、本フローで目標とした収穫対象物に対して収穫動作を行うと判断し、収穫装置を制御する。具体的には、ステップＳ６で決定した収穫方向に従って、エンドエフェクタ２００を移動させる。これにより、障害物を回避しながら、エンドエフェクタ２００を収穫のための適正位置へ移動させることができる。

【0073】

ステップＳ１２において、制御部６０は、エンドエフェクタ２００を制御して収穫対象物の収穫を行う。

【0074】

［エンドエフェクタ２００による収穫方法］
以下、エンドエフェクタ２００が収穫対象物の収穫方法について説明する。

【0075】

図１１は、エンドエフェクタ２００の斜視図である。図１１に示すように、エンドエフェクタ２００は、引き込みガイド２０１、収穫リング２０２、収穫果ガイド２０３、収穫果シート２０４、ベース２０５を備える。収穫リング２０２は、上下２つに分離可能に構成されている。制御部６０の制御によって、収穫リング２０２の上部は下部に対して相対的に移動することができる。なお、以下では、収穫対象物及びエンドエフェクタ２００の上下方向として、図１１に示すように、エンドエフェクタ２００の引き込みガイド２０１側を上、ベース２０５側を下として説明を行う。

【0076】

本実施の形態における収穫対象物としてのミニトマトは、果実を房ごと収穫するのではなく、房に付いている果実を一つ一つもぎ取るようにして収穫されることが多い。その理由は、房に付いている果実の成熟度合いがそれぞれ異なるため、十分に成熟した果実のみを収穫することが好ましいからである。また、一般に、ミニトマトは生食用であるため、果実表面に傷を付けずに萼ごと収穫する必要がある。

【0077】

図１２Ａから図１２Ｃは、収穫時のエンドエフェクタ２００の動作を説明するための図である。図１２Ａは、収穫対象物としての果実４０４の引き込み動作を示している。図１２Ｂは、収穫リング２０２の挿入動作を示している。図１２Ｃは、果実４０４の分離、および、収穫動作を示している。

【0078】

図１２Ａに示すように、まず、ほぼ円弧形状の帯部材で構成される引き込みガイド２０１を収穫対象物の果実４０４側に移動させ（図１２Ａの矢印Ａ１）、引き込みガイド２０１の一部に設けられた切れ目を通して果実４０４を引き込みガイド２０１の内部に収める。この状態で引き込みガイド２０１を用いて果実４０４を下方向から引き込み、他のミニトマト（図示せず）との間に隙間を作る。

【0079】

次に、図１２Ｂに示すように、エンドエフェクタ２００全体を上側に移動させる（図１２Ｂの矢印Ａ２）ことで、収穫リング２０２を上記隙間に挿入する。この際、引き込みガイド２０１の切れ目を小果梗４０１がすり抜けて、果実４０４は引き込みガイド２０１の内部から離脱する。

【0080】

その後、図１２Ｃに示すように、収穫リング２０２の上部を下部に対して相対的に移動させる（図１２Ｃの矢印Ａ３）ことにより、果実４０４を引き寄せ、果梗４０５を押し出す。これにより、小果梗４０１を引き伸ばし、離層４０２で分断することができる。これにより、離層４０２で小果梗４０１が分断されており、損傷がない（少ない）果実４０４を収穫することができる。

【0081】

その後、収穫された果実４０４は、収穫果ガイド２０３及び収穫果シート２０４を通過して、下部に設けられた収穫容器（図示せず）などに収納される。これにより、ステップＳ１２における収穫動作が完了する。

【0082】

ステップＳ１２において収穫対象物の収穫が完了したら、制御部６０は、本体移動部１０を制御して、新たな収穫対象物と正対する位置まで本体３０を移動させ、収穫装置１の収穫動作をステップＳ１から改めて開始する。これを繰り返すことにより、複数の収穫対象物を好適に収穫することができる。

【0083】

以上説明したように、本開示の実施の形態に係る収穫装置１によれば、収穫対象物を自動収穫するためのエンドエフェクタ２００を適正位置まで移動させる場合に、エンドエフェクタ２００または作業アーム２０と障害物とが干渉しないように作業アーム２０または本体３０の位置を移動させるため、効率よく、安定した自動収穫を行うことができる。

【0084】

＜変形例＞
上述した実施の形態では、本開示の収穫部の一例としてエンドエフェクタ２００を、収穫部移動部の一例として作業アーム２０を、それぞれ例示して説明した。しかしながら、本開示の収穫部は図１１などに示すエンドエフェクタ２００とは全く異なる構成を有していてもよく、収穫対象物に損傷を与えずに離層で収穫することができる構成を有していればよい。また、本開示の収穫部移動部は図３などに示す作業アーム２０とは全く異なる構成を有していてもよく、例えば任意の位置で曲げられるワイヤなど、収穫部を自在に移動させることができる構成を有していればよい。

【産業上の利用可能性】

【0085】

本開示の収穫装置は、果実などの収穫対象物を自動で収穫するのに有用である。

【符号の説明】

【0086】

１ 収穫装置
１０ 本体移動部
２０ 作業アーム
２０Ｒ１ 作業アームの第１領域
２０Ｒ２ 作業アームの第２領域
２１ 第１リンク
２１Ｃ 第１中心線
２１Ｒ１ 第１リンクの第１領域
２１Ｒ２ 第１リンクの第２領域
２２ 第２リンク
２２Ｃ 第２中心線
２２Ｒ１ 第２リンクの第１領域
２２Ｒ２ 第２リンクの第２領域
３０ 本体
４０ 撮像装置
６０ 制御部
２００ エンドエフェクタ
２０１ ガイド
２０２ 収穫リング
２０３ 収穫果ガイド
２０４ 収穫果シート
２０５ ベース

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図12C】