(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023032690
(43)【公開日】2023-03-09
(54)【発明の名称】収穫装置、収穫方法、及びプログラム
(51)【国際特許分類】
A01D 46/24 20060101AFI20230302BHJP
A01D 46/30 20060101ALI20230302BHJP
【FI】
A01D46/24 B
A01D46/30
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021138971
(22)【出願日】2021-08-27
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】西谷 誠治
(72)【発明者】
【氏名】荒木 秀和
(72)【発明者】
【氏名】戸島 亮
【テーマコード(参考)】
2B075
【Fターム(参考)】
2B075JF01
2B075JF02
2B075JF05
2B075JF07
2B075JF08
2B075JF10
2B075JJ05
(57)【要約】
【課題】障害物を回避しながら、収穫対象物を効率よく、安定して収穫することができる収穫装置、収穫方法、及びプログラムを提供する。
【解決手段】収穫対象物の収穫を行う収穫部と、前記収穫対象物を収穫するための適正位置まで前記収穫部を移動させる収穫部移動部と、前記収穫部及び前記収穫部移動部が設けられている本体と、前記本体を移動させる本体移動部と、制御部と、を備え、前記制御部は、前記適正位置における前記収穫部と障害物との干渉が生じるか否かを判断する第1ステップと、前記第1ステップにおいて干渉が生じないと判断した場合に、前記収穫部を前記適正位置に移動させるときの経路における前記収穫部移動部と前記障害物との干渉が生じるか否かを判断する第2ステップと、前記第2ステップにおいて干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第3ステップと、を実行する。
【選択図】
図4
【特許請求の範囲】
【請求項1】
収穫対象物の収穫を行う収穫部と、
前記収穫対象物を収穫するための適正位置まで前記収穫部を移動させる収穫部移動部と、
前記収穫部及び前記収穫部移動部が設けられている本体と、
前記本体を移動させる本体移動部と、
制御部と、を備え、
前記制御部は、
前記適正位置における前記収穫部と障害物との干渉が生じるか否かを判断する第1ステップと、
前記第1ステップにおいて干渉が生じないと判断した場合に、前記収穫部を前記適正位置に移動させるときの経路における前記収穫部移動部と前記障害物との干渉が生じるか否かを判断する第2ステップと、
前記第2ステップにおいて干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第3ステップと、
を実行する、収穫装置。
【請求項2】
前記制御部は、前記第2ステップにおいて干渉が生じると判断した場合に、前記収穫部移動部と干渉する障害物と前記収穫部移動部との干渉を回避するように前記本体を移動させるよう前記本体移動部を制御する第4ステップをさらに実行する、
請求項1に記載の収穫装置。
【請求項3】
画像を撮影する画像撮影部をさらに備え、
前記制御部は、前記画像に基づいて前記収穫部移動部と干渉する障害物の位置を特定し、特定した障害物の位置と前記収穫部移動部の位置に基づいて、前記収穫部移動部が前記特定した障害物と干渉を回避するために必要な前記本体の移動方向と移動量の少なくとも一方を決定する第5ステップをさらに実行する、
請求項1または2に記載の収穫装置。
【請求項4】
前記制御部は、前記第2ステップにおいて、前記経路における前記収穫移動部の座標データと、前記特定した障害物の座標データとを生成する、
請求項3に記載の収穫装置。
【請求項5】
前記収穫移動部の座標データ、および前記特定した障害物の座標データは、前記本体が移動可能な第1方向に沿った複数の第1軸と、前記本体から見た前記収穫対象物の方向である第2方向に沿った複数の第2軸と、によって構成される、
請求項4に記載の収穫装置。
【請求項6】
前記収穫移動部の座標データ、および前記特定した障害物の座標データは、前記第1軸及び前記第2軸と、前記収穫装置の高さ方向に沿った複数の第3軸と、によって構成される、
請求項5に記載の収穫装置。
【請求項7】
前記制御部は、前記第5ステップにおいて、前記収穫部移動部の座標データと前記特定した障害物の座標データとを重ね合わせた場合の、前記収穫部移動部の位置を示す領域及び前記特定した障害物の位置を示す領域の重複度合いを算出し、前記第1方向における、当該重複度合いが大きい領域から小さい領域へと向かう方向を前記本体の移動方向に決定する、
請求項5または6に記載の収穫装置。
【請求項8】
前記制御部は、前記第5ステップにおいて、前記収穫部移動部の座標データと前記特定した障害物の座標データとを重ね合わせた場合に、前記収穫部移動部の位置を示す領域及び前記特定した障害物の位置を示す領域とが重複する領域の大きさを測定し、当該大きさに基づいて前記本体の移動量を決定する、
請求項5から7のいずれか1項に記載の収穫装置。
【請求項9】
収穫装置を制御するコンピュータが実行する収穫方法であって、
収穫対象物の収穫を行う収穫部が、前記収穫対象物を収穫するための適正位置に位置するとき、前記収穫部と障害物との干渉が生じるか否かを判断する第1ステップと、
前記第1ステップにおいて干渉が生じないと判断した場合に、前記収穫部を前記適正位置に移動させるときの経路における、前記適正位置まで前記収穫部を移動させる収穫部移動部と前記障害物との干渉が生じるか否かを判断する第2ステップと、
前記第2ステップにおいて干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第3ステップと、
を有する、収穫方法。
【請求項10】
収穫装置を制御するコンピュータが実行するプログラムであって、
収穫対象物の収穫を行う収穫部が、前記収穫対象物を収穫するための適正位置に位置するとき、前記収穫部と障害物との干渉が生じるか否かを判断する第1手順と、
前記第1手順において干渉が生じないと判断した場合に、前記収穫部を前記適正位置に移動させるときの経路における、前記適正位置まで前記収穫部を移動させる収穫部移動部と前記障害物との干渉が生じるか否かを判断する第2手順と、
前記第2手順において干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第3手順と、
を前記コンピュータに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、果実などの収穫対象物を収穫する収穫装置、収穫方法、及びプログラムに関する。
【背景技術】
【0002】
農作物の収穫作業の自動化が望まれている。
【0003】
収穫対象物の自動収穫を行う装置として、例えば、特許文献1に記載された収穫装置が知られている。特許文献1に開示された収穫装置は、真空吸引装置により収穫対象物としての果実を吸着するバキュームパッド、及び、バキュームパッドを回転及び振動させるモータを備える。特許文献1に開示された収穫装置は、バキュームパッドで果実を吸着した状態でバキュームパッドを回転及び振動させて、枝に生る果実を収穫する。
【0004】
特許文献1に開示された収穫装置では、果実の表面の一部分を真空吸引するため、吸引の痕等が果実に残り、果実が損傷してしまうことがあった。
【0005】
収穫対象物の損傷を抑制する収穫装置として、例えば、特許文献2に開示された収穫装置がある。また、特許文献3には、屈曲可能な収穫アームにより、主茎や房などの障害物を回避して収穫を行う収穫方法が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開昭63-141517号公報
【特許文献2】特開2017-51103号公報
【特許文献3】特開平8-238014号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
障害物を回避しながら、収穫対象物をより効率よく、安定して収穫することができる収穫方法が要望されている。
【0008】
本開示の目的は、障害物を回避しながら、収穫対象物を効率よく、安定して収穫することができる収穫装置、収穫方法、及びプログラムを提供することである。
【課題を解決するための手段】
【0009】
本発明の一態様に係る収穫装置は、収穫対象物の収穫を行う収穫部と、前記収穫対象物を収穫するための適正位置まで前記収穫部を移動させる収穫部移動部と、前記収穫部及び前記収穫部移動部が設けられている本体と、前記本体を移動させる本体移動部と、制御部と、を備え、前記制御部は、前記適正位置における前記収穫部と障害物 との干渉が生じるか否かを判断する第1ステップと、前記第1ステップにおいて干渉が生じないと判断した場合に、前記収穫部を前記適正位置に移動させるときの経路における前記収穫部移動部と前記障害物との干渉が生じるか否かを判断する第2ステップと、前記第2ステップにおいて干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第3ステップと、を実行する。
【0010】
本開示の一態様に係る収穫方法は、収穫装置を制御するコンピュータが実行する収穫方法であって、収穫対象物の収穫を行う収穫部が、前記収穫対象物を収穫するための適正位置に位置するとき、前記収穫部と障害物との干渉が生じるか否かを判断する第1ステップと、前記第1ステップにおいて干渉が生じないと判断した場合に、前記収穫部を前記適正位置に移動させるときの経路における、前記適正位置まで前記収穫部を移動させる収穫部移動部と前記障害物との干渉が生じるか否かを判断する第2ステップと、前記第2ステップにおいて干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第3ステップと、を有する。
【0011】
本開示の一態様に係るプログラムは、収穫装置を制御するコンピュータが実行するプログラムであって、収穫対象物の収穫を行う収穫部が、前記収穫対象物を収穫するための適正位置に位置するとき、前記収穫部と障害物との干渉が生じるか否かを判断する第1手順と、前記第1手順において干渉が生じないと判断した場合に、前記収穫部を前記適正位置に移動させるときの経路における、前記適正位置まで前記収穫部を移動させる収穫部移動部と前記障害物との干渉が生じるか否かを判断する第2手順と、前記第2手順において干渉が生じないと判断した場合に、収穫を行うよう前記収穫部を制御する第3手順と、を前記コンピュータに実行させる。
【発明の効果】
【0012】
本発明によれば、障害物を回避しながら、収穫対象物を効率よく、安定して収穫することができる。
【図面の簡単な説明】
【0013】
【
図1】収穫対象物の一例としてのミニトマトの房の構成を示す図
【
図2】本開示の実施の形態に係る収穫装置の構成について説明するための図
【
図3】作業アーム及びエンドエフェクタの上面概略図
【
図4】収穫装置の動作例を説明するためのフローチャート
【
図5A】障害物マップの作成方法について説明するための図
【
図5B】障害物マップの作成方法について説明するための図
【
図6】収穫方向の決定方法についての考え方を説明するための図
【
図7A】収穫方向の決定方法についての考え方を説明するための図
【
図7B】収穫方向の決定方法についての考え方を説明するための図
【
図8A】エンドエフェクタの位置を示すエンドエフェクタ領域を含むエンドエフェクタマップを示す図
【
図8B】障害物マップとエンドエフェクタマップとを重ね合わせた第1干渉マップを示す図
【
図11A】作業アームの第1領域及び第2領域について説明するための図
【
図11B】収穫姿勢マップにおける、作業アームの第1領域に対応する作業アーム第1領域と、第2領域に対応する作業アーム第2領域とを示した図
【
図12】収穫姿勢マップと第2干渉マップとを重ね合わせた様子を示す図
【
図13A】収穫装置の移動量の決定方法について説明するための図
【
図13B】収穫装置の移動量の決定方法について説明するための図
【
図14】本体移動後の新たな収穫方向の決定方法を説明するための図
【
図16A】収穫時のエンドエフェクタの動作を説明するための図
【
図16B】収穫時のエンドエフェクタの動作を説明するための図
【
図16C】収穫時のエンドエフェクタの動作を説明するための図
【発明を実施するための形態】
【0014】
以下、本開示の実施の形態に係る収穫装置について、図面を参照して詳細に説明する。
【0015】
<収穫対象物についての説明>
まず、収穫装置の収穫対象物について説明する。以下の説明では、収穫対象物の一例として、複数個密集した状態で房状に生るミニトマトを挙げて説明する。
【0016】
図1は、ミニトマトの房の構成について示す図である。
図1に示すように、一つの房406は、果梗405といわれる茎を中心に構成されている。この果梗405から、小果梗401、萼(ガク)403が伸び、その先に果実404が生っている。
【0017】
小果梗401の途中には、離層402と呼ばれる箇所がある。小果梗401に力が加えられたとき、小果梗401は離層402で分断される。
【0018】
本開示の収穫装置では、このように離層を有する果実を収穫対象物とする。したがって、本開示の収穫装置の収穫対象物は、ミニトマトだけでなく、離層を有するものであれば他の果実であってもよい。また、本開示の収穫装置は、果実が房をなしているものだけでなく、果実が個別に生るものについても収穫対象物とすることができる。
【0019】
<収穫装置1の構成>
図2は、本開示の実施の形態に係る収穫装置1の構成について説明するための図である。収穫装置1は、本体移動部10と、作業アーム20と、エンドエフェクタ200と、本体30と、撮像装置40と、制御部60とを備えている。なお、
図2は、収穫装置1を側面から見た図であり、以下の説明における上下方向は、
図2に示す収穫装置1の上下方向に対応するものとする。
【0020】
本体移動部10は、例えば車輪や無限軌道など、収穫装置1の本体30全体を移動させる構成である。本体30には、収穫装置1の他の構成、すなわち作業アーム20と、エンドエフェクタ200と、撮像装置40と、制御部60と、が設けられているため、本体30が移動することは、収穫装置1全体が移動することと同じ意味を持つ。
【0021】
本実施の形態では、本体移動部10は、本体30を、例えば畝と畝の間を敷かれたレール上を移動させるなど、あらかじめ決められた一方向およびその反対方向にのみ移動させることができる場合について説明する。しかしながら、本開示はこれに限られず、本体移動部10は、本体30をあらゆる方向に移動させることが可能であってもよい。なお、以下の説明において、本体移動部10が本体30を移動させる方向を移動方向と記載する。移動方向は、後述する平面マップ500の作成の際に用いられるため、本体30が任意の方向に移動可能である場合は、例えば収穫対象物の存在する方向を参照することで、平面マップ500を作成する際の本体移動部10の移動方向を定義すればよい。
【0022】
本実施の形態では、本体移動部10は、本体30を前後方向に沿って移動させることができる。なお、収穫装置1の前後方向とは、収穫装置1から見て、収穫対象物が左側または右側にある状態で、収穫装置1が移動する方向である。
図2の紙面右方向が収穫装置1の前方向に、
図2の紙面左方向が収穫装置1の後方向に、それぞれ対応している。
【0023】
エンドエフェクタ200は、収穫対象物を損傷しないように収穫する部位である。エンドエフェクタ200は、本開示の収穫部の一例である。エンドエフェクタ200の詳細な構造及び動作については、後述する。
【0024】
作業アーム20は、エンドエフェクタ200を、収穫対象物に対して収穫しやすい位置へ移動させるための部位である。作業アーム20は、本開示の収穫部移動部の一例である。作業アーム20の一端は、本体30に取り付けられており、他端は、エンドエフェクタ200に取り付けられている。作業アーム20は、収穫装置1から離れた位置にある収穫対象物を収穫するために適正な位置までエンドエフェクタ200を移動させることで、収穫対象物をエンドエフェクタ200に収穫させることができる。
【0025】
図3は、作業アーム20及びエンドエフェクタ200の上面概略図である。
図3では、作業アームの一例として、3軸の水平多関節アームを有する作業アーム20を示している。作業アーム20は、第1リンク21及び第2リンク22を有している。第2リンク22の先端部には、エンドエフェクタ200が搭載されている。エンドエフェクタ200は、第2リンク22の先端部(
図3の点Q)を回転軸として回転可能である。
【0026】
図3に示す例では、作業アーム20及びエンドエフェクタ200は、収穫装置1の左方向に延びている様子が示されている。本実施形態の以下の説明でも、作業アーム20及びエンドエフェクタ200は、収穫装置1の左方向に延びているものとする。しかしながら、本開示はこれに限られず、作業アーム20及びエンドエフェクタ200は、本体30からどの方向に延びることができてもよい。
【0027】
本体30は、収穫装置1の本体であり、本体移動部10、作業アーム20、撮像装置40、及び制御部60を搭載している。
【0028】
撮像装置40は、収穫対象物、障害物、エンドエフェクタ200、作業アーム20のうち、少なくともいずれかを撮影して画像を生成するカメラデバイスである。特に、撮像装置40は、RGB(Red,Green,Blue)カラー画像、IR(infrared)画像、及び距離データを取得することができるカメラである。
【0029】
制御部60は、収穫装置1の各構成を制御するコンピュータである。制御部60は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)により構成されるプロセッサである。制御部60は、ROMに記憶されているプログラムを読み出してRAMに展開し、展開したプログラムに従って収穫装置1の各構成の制御を行う。RAMは、CPUにより実行される各種プログラム、およびプログラムに係るデータを一時的に記憶するワークエリアを形成する。ROMは、不揮発メモリ等により構成され、制御の際に用いられる各種プログラムや各種データを記憶する。なお、収穫装置1を制御するコンピュータは、収穫装置1の外部にあり、通信ネットワーク等を介して、収穫装置1を遠隔操作してもよい。
【0030】
より具体的には、制御部60は、撮像装置40が生成した撮像画像を解析し、解析結果に基づいて本体移動部10、作業アーム20、及びエンドエフェクタ200の動作を制御する。
【0031】
<収穫装置1の動作例>
次に、
図4を参照して、収穫対象物を収穫する際の収穫装置1の動作例を説明する。
図4は、収穫装置1の動作例を説明するためのフローチャートである。なお、
図4に示す収穫装置1の動作例は、複数の果実の中から1つを収穫対象物として決定し、収穫装置1が当該収穫対象物とほぼ正対する位置に位置するものとして説明を行う。
【0032】
まず、ステップS1において、制御部60は、撮像装置40により、目標の果実と、当該果実を含む房、茎、植物全体などを撮影し、画像、各被写体の色情報、距離情報などを取得する。
【0033】
次に、ステップS2において、制御部60は、撮像装置40が生成した画像及び距離情報に基づいて、収穫対象物の位置を示す収穫対象物位置情報、及び障害物の位置を示す障害物位置情報を求める。障害物とは、収穫対象物を収穫する際に障害となり得る物体であり、本実施の形態では、主茎または葉である。
【0034】
画像に含まれる収穫対象物または障害物を認識する方法としては、既知の方法を採用することができる。画像に基づいて収穫対象物としての果実を認識する方法としては、例えば特開2018-206015号公報に記載の技術を適用できる。また、画像に基づいて障害物としての主茎を認識する方法としては、例えば特開2020-000170号公報に記載の技術を適用できる。
【0035】
次に、ステップS3において、制御部60は、収穫対象物位置情報及び障害物位置情報に基づいて障害物マップを作成する。以下では、障害物マップの作成方法について詳細に説明する。
【0036】
[障害物マップの作成方法]
図5A及び
図5Bは、障害物マップの作成方法について説明するための図である。なお、以下では2次元の障害物マップの作成方法について説明する。
【0037】
まず、制御部60は、収穫対象物位置情報に基づいて、
図5Aに示すような格子状の平面マップ500を作成する。
図5Aに示す例では、平面マップ500は、2つの方向(第1方向D1、第2方向D2)のそれぞれに沿った2軸(第1軸501、第2軸502)で構成されるマップである。平面マップ500は、収穫対象物位置情報を含むよう作成される。
【0038】
第1方向D1は、収穫装置1の移動可能な方向(前後方向)に対応しており、第1軸501は第1方向D1に沿った軸である。第2方向D2は、収穫装置1から見た収穫対象物の方向に対応しており、第2軸502は第1方向D1に対して垂直な軸である。すなわち、
図5Aは、平面状の平面マップ500を、斜め上方向から見た状態を示している。なお、同一方向の軸間距離、すなわち格子サイズは、例えば1mmなど、適宜のサイズに設定可能である。
【0039】
次に、制御部60は、平面マップ500の各格子に対し、障害物位置情報に基づいて、障害物がある格子には「1」の値を、障害物が存在しない格子には「0」の値を与える。これにより、
図5Bに示すように、障害物マップ504が作成される。
図5Bでも、
図5Aと同様に、平面状の平面マップ500を、斜め上方向から見た状態を示している。
図5Bでは、障害物がある格子、すなわち「1」の値を有する格子に斜線を付して示している。一般に障害物はある程度の大きさを持つため、障害物がある格子同士は互いに隣接する。
図5Bに示す例では、障害物がある位置を示す複数の格子群としての障害物領域503を含む障害物マップが示されている。
【0040】
なお、上記説明では2次元の障害物マップを作成する方法について説明したが、3次元の障害物マップが必要である場合には、上記の方法で作成した2次元の障害物マップを、高さ方向に平行な第3軸に沿って積み重ねることで、3次元の障害物マップを作成することができる。
【0041】
次に、ステップS4からステップS6、および、ステップS16からステップS18において、制御部60は、収穫対象物を収穫する際にエンドエフェクタ200を移動させる方向である収穫方向を決定する。
図6、
図7A及び
図7Bを参照して、収穫方向の決定方法について説明する。
【0042】
[収穫方向の決定方法]
図6、
図7A、及び
図7Bは、収穫方向の決定方法についての考え方を説明するための図である。
図6、
図7A、及び
図7Bでは、収穫対象物としての果実404とエンドエフェクタ200とを上側から見た場合の位置関係が模式的に示されている。
【0043】
エンドエフェクタ200を用いて果実404を収穫する場合、エンドエフェクタ200を、収穫のための適正位置まで移動させる必要がある。収穫のための適正位置とは、
図6に示すように、エンドエフェクタ200が有するリング状の部材(後出の
図15の収穫リング202)の内部に果実404が収められる位置である。このような適正位置にエンドエフェクタ200を移動させることにより、エンドエフェクタ200が、果実404を離層402(
図1参照)でもぎ取りやすくなる。
【0044】
ここで、
図6に示す適正位置までエンドエフェクタ200を移動させる際、収穫対象物にできるだけ損傷を与えないためには、
図7Aに示すように、果梗405と果実404の中心とを通過する直線L1に沿って、果実404側から果梗405側に向かう方向にエンドエフェクタ200を移動させることが理想的である。以下の説明において、
図7Aに示すエンドエフェクタ200の移動方向を、理想的な収穫方向Diと記載する。理想的な収穫方向Diは、本開示の第3方向の一例である。
【0045】
ただし、実際の収穫作業においては、果実404付近に茎や葉などの障害物がある場合、
図7Aに示す理想的な収穫方向Diに沿ってエンドエフェクタ200を移動できるとは限らない。
【0046】
そこで、制御部60は、ステップS4において、エンドエフェクタ200の収穫方向を理想的な収穫方向に仮定する。そして、制御部60は、ステップS5において、仮定した収穫方向、およびエンドエフェクタ200が収穫対象物を収穫できる位置(適正位置)において障害物と干渉するか否かをシミュレートする。エンドエフェクタ200が適正位置において障害物と干渉するか否かは、具体的には、
図6に示す、破線で示されるエンドエフェクタ領域内に障害物が存在するか否かをシミュレートすることにより判断される。エンドエフェクタ領域は、エンドエフェクタ200が適正位置にあるときの、収穫対象を中心とした所定の大きさの領域であり、領域の大きさや中心の位置については適宜設定が可能である。
【0047】
そして、制御部60は、シミュレーションの結果、エンドエフェクタ200と障害物とが干渉しないと判断したとき(ステップS5:NO)、ステップS6において、仮定した収穫方向を実際の収穫方向として決定する。
【0048】
一方、制御部60は、エンドエフェクタ200と障害物とが干渉すると判断したとき(ステップS5:YES)、ステップS16およびステップS17において、収穫方向を理想的な収穫方向から少しずらして収穫方向を再度仮定する。具体的には、制御部60は、ステップS16において、現在仮定されている収穫方向と、理想的な収穫方向とのずれの大きさが閾値角度φ以下であるか否かを判断し、ずれの大きさが閾値角度φ以下であると判断した場合(ステップS16:YES)に、処理をステップS17に進める。制御部60は、ステップS17において、現在仮定されている収穫方向から少しずらした新たな収穫方向を仮定し、処理をステップS5に戻す。そして、制御部60は、ステップS5において、ずらした収穫方向においてエンドエフェクタ200を移動させた場合、エンドエフェクタ200と障害物とが干渉するか否かを再度シミュレートする。このようにステップS4とステップS5の処理を繰り返すことにより、制御部60は、障害物と干渉しないエンドエフェクタ200の収穫方向を決定することができる。
【0049】
なお、収穫方向が理想的な収穫方向からずれる大きさが大きくなるほど、エンドエフェクタ200による収穫が失敗する可能性が大きくなる。このため、本実施の形態では、理想的な収穫方向からのずれの大きさが所定の大きさ以下となるように、閾値角度φを設定している。具体的には、
図7Bに示すように、収穫方向は、理想的な収穫方向(果梗405と果実404の中心とを通過する直線L1に沿った方向)とのなす角が閾値角度φ以内となるように決定される。閾値角度φは、例えば30°などに設定される。また、ステップS17において収穫方向をずらす場合、1回につき例えば10°ずつずらすように設定される。閾値角度φ、および1回につきずらす角度の大きさは、適宜設定が可能である。
【0050】
このように、理想的な収穫方向でエンドエフェクタ200を移動させるとエンドエフェクタ200と障害物との干渉が生じてしまう場合には、
図7Bに示すように、エンドエフェクタ200の移動方向つまり収穫方向が、閾値角度内において、理想的な収穫方向からずれた方向に設定される。よって、障害物を回避しながらエンドエフェクタ200を適正位置まで移動させることができる。これにより、安定した収穫が可能となる。ずらした後の、障害物との干渉が生じない収穫方向は、本開示の第4方向の一例である。
【0051】
なお、閾値角度φ以内において、エンドエフェクタ200と障害物との干渉が生じない収穫方向が見つからない場合(ステップS16:NO)、制御部60は、ステップS18において、現在の収穫対象物を対象とした収穫動作を中止する。この場合、例えば制御部60は、新たな収穫対象物を設定して当該新たな収穫対象物と正対する位置まで収穫装置1を移動させ、新たな収穫対象物を対象とした新たな収穫動作をステップS1から改めて開始すればよい。
【0052】
制御部60は、ステップS5において、仮定した収穫方向および適正位置でエンドエフェクタ200が障害物とエンドエフェクタ200とが干渉するか否かを、ステップS3で作成された障害物マップと、新たに作成したエンドエフェクタ200の位置を示すエンドエフェクタマップとを照合することによりシミュレートする。エンドエフェクタマップは、エンドエフェクタ200を現在位置から仮定した収穫方向で適正位置まで移動させるまでの途中におけるエンドエフェクタ200の位置情報をシミュレートすることで作成されるマップであり、
図6に示すエンドエフェクタ領域を示すマップである。制御部60は、エンドエフェクタ200が適正位置にある場合のエンドエフェクタ200の位置情報を、平面マップ500が含む収穫対象物位置情報に基づいてシミュレートし、収穫方向に基づいて移動途中のエンドエフェクタ200の位置をシミュレートすればよい。
【0053】
制御部60は、障害物マップとエンドエフェクタマップとを重ね合わせて第1干渉マップを作成する。第1干渉マップは、仮定した収穫方向および適正位置で障害物とエンドエフェクタ200とが干渉するか否かを示すマップである。第1干渉マップにおいて、障害物の位置を示す格子とエンドエフェクタの位置(エンドエフェクタ領域)を示す格子とが重なり合う格子が存在する場合、制御部60は、仮定した収穫方向でエンドエフェクタ200を移動させたとき、障害物とエンドエフェクタ200とが互いに干渉すると判断する。一方、第1干渉マップにおいて、障害物の位置を示す格子とエンドエフェクタの位置(エンドエフェクタ領域)を示す格子とが重なり合う格子が存在しない場合、制御部60は、仮定した収穫方向および適正位置において、障害物とエンドエフェクタ200とは干渉しないと判断する。
【0054】
なお、制御部60は、第1干渉マップにおいて、障害物の位置を示す格子とエンドエフェクタ200の位置を示す格子とが重なり合う格子の個数が所定閾値以下である場合に、障害物とエンドエフェクタ200とが互いに干渉しないと判断してもよい。これにより、画像に含まれる障害物またはエンドエフェクタ200を認識する際に生じうる誤認識により、実際には干渉が生じないにもかかわらず干渉が生じると判断してしまう事態を防止できる。また、これにより、干渉の度合いが小さく、干渉により収穫に悪影響が及ぼされる可能性が低い場合には、問題なく収穫を行うことができる。閾値の例としては、例えば3個、より広い範囲の値としては1~10個程度など、任意の値に設定することができる。
【0055】
図8Aは、エンドエフェクタ200の位置を示すエンドエフェクタ領域505を含むエンドエフェクタマップ506を示す図である。
図8Aにおいて、エンドエフェクタ200の位置に対応するエンドエフェクタ領域505を、網掛けして示している。
【0056】
図8Bは、障害物マップ504とエンドエフェクタマップ506とを重ね合わせた第1干渉マップ507を示す図である。
図8Bに示す第1干渉マップ507では、領域Rにおいて障害物の位置を示す障害物領域503とエンドエフェクタ200の位置を示すエンドエフェクタ領域505とが重なり合っている。
図8Bでは、重なり合った領域を黒塗りで示している。このような場合、制御部60は、仮定した収穫方向でエンドエフェクタ200を適正位置まで移動させると、エンドエフェクタ200と障害物とが干渉すると判断する。
【0057】
図4の説明に戻る。次に、ステップS7において、制御部60は、ステップS6で決定した収穫方向に沿ってエンドエフェクタ200を移動させるための、作業アーム20の収穫姿勢を算出する。
【0058】
[作業アーム20の収穫姿勢算出方法]
作業アーム20の収穫姿勢の算出方法について説明する。
図3に示すように、作業アーム20は、第1リンク21及び第2リンク22を有する。
【0059】
第1リンク21及び第2リンク22は、棒状の部材である。第1リンク21の一端は、点Oにおいて本体30に接続されており、他端は、点Pにおいて第2リンク22に接続されている。第2リンク22の一端は、点Pにおいて第1リンク21に接続されており、他端は、点Qにおいてエンドエフェクタ200に接続されている。
【0060】
点Oは、第1リンク21の一端付近、かつ第1リンク21の短手方向における中心に設けられた、第1リンク21の回転軸である。点Pは、第1リンク21の他端付近、かつ第1リンク21の短手方向における中心に設けられている。同時に、点Pは、第2リンク22の一端付近、かつ第2リンク22の短手方向における中心に設けられた、第2リンク22の回転軸である。点Qは、第2リンク22の他端付近、かつ第2リンク22の短手方向における中心に設けられている。
【0061】
第1リンク21は点Oを支点として本体30に対して回転可能である。また、第2リンク22は点Pを支点として第1リンク21に対して回転可能である。また、エンドエフェクタ200は点Qを支点として第2リンク22に対して回転可能である。これらの構成により、作業アーム20は様々な姿勢を取り、エンドエフェクタ200の位置を本体30に対して様々な位置に移動させることができる。
【0062】
なお、本実施の形態において、作業アーム20の収穫姿勢とは、エンドエフェクタ200を収穫のための適正位置に移動させた場合の、第1リンク21及び第2リンク22それぞれの位置を意味する。作業アーム20の収穫姿勢の具体例として、エンドエフェクタ200が適正位置にあるときの、点O、点P、及び点Qそれぞれの位置が挙げられる。
【0063】
制御部60は、収穫装置1から見たエンドエフェクタ200の適正位置、ステップS6にて決定した収穫方向(エンドエフェクタ200の移動方向)、並びに、第1リンク21及び第2リンク22のリンク長に基づいて、作業アーム20の収穫姿勢を決定する。制御部60は、エンドエフェクタ200が適正位置にある場合のエンドエフェクタ200の位置情報を、平面マップ500が有する収穫対象物位置情報に基づいて算出する。また、制御部60は、逆運動学を用いて、エンドエフェクタ200が適正位置にあるときの点O、点P、及び点Qの位置を算出し、算出した位置または角度を作業アーム20の収穫姿勢とする。なお、点O、点P、及び点Qそれぞれの位置ではなく、点Oと点Pを結ぶ直線と、点Pと点Qを結ぶ直線とのなす角度を作業アーム20の収穫姿勢としてもよい。
【0064】
図4の説明に戻る。次に、ステップS8において、制御部60は、ステップS7で算出した作業アーム20の収穫姿勢に対応する収穫姿勢マップを作成する。
【0065】
[収穫姿勢マップの作成方法]
収穫姿勢マップの作成方法としては、上述した障害物マップと同様の作成方法が採用されうる。すなわち、
図5Aに示す平面マップ500に対し、ステップS7で算出した作業アーム20の収穫姿勢(すなわち、エンドエフェクタ200が適正位置にあるときの作業アーム20の点O、点P、及び点Qの位置)に基づいて、作業アーム20がある格子には「1」の値を与え、作業アーム20が存在しない格子には「0」の値を与える。
図9は、収穫姿勢マップ509について説明するための図である。これにより、
図9に示すように、作業アーム20がある複数の格子(値「1」を有する格子群)により構成される作業アーム領域508を含む収穫姿勢マップ509が作成される。
【0066】
図4の説明に戻る。次に、ステップS9において、制御部60は、エンドエフェクタ200を適正位置に移動させる際に、作業アーム20と障害物とが干渉するか否かをシミュレートするための第2干渉マップを作成する。
【0067】
第2干渉マップは、ステップS3で作成した障害物マップと、ステップS8で作成した収穫姿勢マップとを重ね合わせ、障害物の位置を示す障害物領域503と作業アーム20の位置を示す作業アーム領域508とが重なり合う格子を抽出することで作成される。すなわち、第2干渉マップは、エンドエフェクタ200を適正位置に移動させる際に、障害物と作業アーム20とが干渉するか否かを示すマップである。
図10は、第2干渉マップ511について説明するための図である。
図10において、障害物の位置を示す格子(障害物領域503)と作業アーム20の位置を示す格子(作業アーム領域508)とが重なり合った格子(干渉領域510)が黒塗りで示されている。作成された第2干渉マップ511内に干渉領域510が存在することは、エンドエフェクタ200を適正位置に移動させる際に、作業アーム20と障害物とが干渉してしまうことを意味する。
【0068】
なお、制御部60は、第2干渉マップにおいて、障害物の位置を示す格子と作業アーム20の位置を示す格子とが重なり合う格子の個数が所定閾値以下である場合に、障害物と作業アーム20とが互いに干渉しないと判断してもよい。これにより、画像に含まれる障害物または作業アーム20を認識する際に生じうる誤認識により、実際には干渉が生じないにもかかわらず干渉が生じると判断してしまう事態を防止できる。また、これにより、干渉の度合いが小さく、干渉により収穫に悪影響が及ぼされる可能性が低い場合には、問題なく収穫を行うことができる。閾値の例としては、例えば3個、より広い範囲の値としては1~10個程度など、任意の値に設定することができる。
【0069】
図4の説明に戻る。次に、ステップS10において、制御部60は、ステップS9で作成した第2干渉マップに基づいて、エンドエフェクタ200を適正位置に移動させる際に、作業アーム20と障害物とが干渉するか否かを判断する。ステップS10の判断は、上述したように、第2干渉マップ511内の干渉領域510の有無を検出することによって行われる。
【0070】
干渉すると判断した場合(ステップS10:YES)、制御部60は、処理をステップS11に進める。一方、干渉しないと判断した場合(ステップS10:NO)、制御部60は、処理をステップS14に進める。
【0071】
干渉すると判断した場合、ステップS11において、制御部60は、作業アーム20と障害物とが干渉するとの判断結果が生じないように収穫装置1全体を移動させるための、収穫装置1の移動方向及び移動量を決定する。
【0072】
[収穫装置1の移動方向の決定方法]
制御部60は、ステップS8で作成した収穫姿勢マップと、ステップS9で作成した第2干渉マップとに基づいて、収穫装置1の移動方向を決定する。収穫装置1の移動方向を決定するため、制御部60は、まず、作業アーム20の位置を示す収穫姿勢マップにおいて、作業アーム20を2つの領域(第1領域及び第2領域)に分割する。
【0073】
図11Aは、作業アーム20の第1領域及び第2領域について説明するための図である。作業アーム20を構成する第1リンク21を、点Oと点Pとを通る直線(以下、第1中心線21Cと記載する)を境界として分割したときの、一方の領域が第1領域21R1、他方の領域が第2領域21R2である。同様に、作業アーム20を構成する第2リンク22を、点Pと点Qとを通る直線(以下、第2中心線22Cと記載する)を境界として分割したときの、一方の領域が第1領域22R1、他方の領域が第2領域22R2である。以降の説明において、第1リンク21の第1領域21R1と第2リンク22の第1領域22R1とを合わせて作業アーム20の第1領域20R1、第1リンク21の第2領域21R2と第2リンク22の第2領域22R2とを合わせて作業アーム20の第2領域20R2と記載することがある。
【0074】
図11Bは、収穫姿勢マップ509における、作業アーム20の第1領域20R1に対応する作業アーム第1領域508R1と、第2領域20R2に対応する作業アーム第2領域508R2とを示した図である。
【0075】
次に、制御部60は、収穫姿勢マップと第2干渉マップとを重ね合わせ、干渉領域が、作業アーム第1領域と作業アーム第2領域のいずれにより多く含まれるかを判断する。
図12は、収穫姿勢マップ509と第2干渉マップ511とを重ね合わせた様子を示す図である。
図12では、収穫姿勢マップの作業アーム第1領域508R1及び作業アーム第2領域508R2を白抜きの枠線で表現しており、干渉領域510を黒塗りで示している。
【0076】
図12に示す例では、干渉領域510は、作業アーム第2領域508R2よりも、作業アーム第1領域508R1の方により多く含まれる。この場合、作業アーム20と障害物との干渉度合いは、作業アーム第1領域よりも作業アーム第2領域の方がより小さい。従って、作業アーム20と障害物との干渉をより低減するためには、収穫装置1を作業アーム第1領域から作業アーム第2領域に向かう方向へ移動させるのがよいと判断できる。
【0077】
図12に示すように、収穫装置1を作業アーム第1領域から作業アーム第2領域に向かう方向へ移動させることは、収穫装置1を前方向に移動させることに対応する。これにより、制御部60は、収穫装置1の移動方向を前方向に決定することができる。
【0078】
上記したように、本開示における各マップは、収穫装置1の移動可能な方向(第1方向D1)に対応する第1軸を用いて作成されているため、干渉の度合いが小さい領域が、マップ上で、干渉の度合いが大きい領域よりも第1方向におけるどちら側に位置するかを容易に判断することができる。このため、干渉の度合いが小さい領域が、マップ上で、干渉の度合いが大きい領域よりも第1方向におけるどちら側に位置するかに基づいて、干渉を低減させるために収穫装置1を移動させるべき方向を容易に決定できる。
【0079】
[収穫装置1の移動量の決定方法]
次に、収穫装置1の移動量の決定方法について説明する。
図13A及び
図13Bは、収穫装置1の移動量の決定方法について説明するための図である。
【0080】
まず、制御部60は、収穫装置1の移動可能な方向に対応する第1方向D1と、作業アーム20のうち、干渉領域が存在するリンクの中心線とのなす角を測定する。
図13Aは、第1方向D1と、第2リンク22の第2中心線22Cとのなす角θを測定する様子を示す図である。なお、
図13Aには、
図12と同様に、収穫姿勢マップ509と第2干渉マップ511とを重ね合わせたマップが示されている。
図13Aに示す例では、干渉領域510は第2リンク22に対応する領域に含まれているため、第1方向D1と第2中心線22Cとのなす角θが求められているが、干渉領域が第1リンク21に対応する領域に含まれる場合は、第1方向D1と第1中心線21C(
図11A参照)とのなす角がθとして求められればよい。
【0081】
干渉領域が、第1リンク21に対応する領域と第2リンク22に対応する領域の両方にまたがっている場合、干渉領域が含まれる割合がより多いリンクの中心線と第1方向D1とのなす角がθとして求められればよい。
【0082】
次に、制御部60は、
図13Bに示すように、第2中心線22Cと並行となる辺を有し、かつ干渉領域510に外接する外接矩形512をマップ上に形成する。そして、外接矩形512が有する辺のうち、第2中心線22Cと垂直な辺の長さtを測定する。
【0083】
そして、制御部60は、収穫装置1の移動量xを以下の式(1)を用いて算出する。
x=t/sinθ (1)
このように、移動量xは、外接矩形512の大きさに基づいて算出される。
【0084】
収穫装置1全体を、
図12で決定された移動方向に、
図13Bに示す移動量x、移動させることにより、収穫装置1全体は、外接矩形512の第1方向に沿った長さ分、移動することになる。外接矩形512は、干渉領域510に外接する矩形であるため、収穫装置1の移動量を移動量xとすることにより、干渉領域510が生じない位置まで収穫装置1が移動することになる。すなわち、収穫装置1を移動量x以上移動させることにより、移動させる前の位置で生じる可能性がある干渉を回避することができる。
【0085】
なお、収穫装置1の移動量xを算出した後、移動量xが所定の閾値以下であるかどうかを判定してもよい。ここで、閾値は、第1リンク21及び第2リンク22のリンク長の総計よりも小さい値であることが望ましい。これにより、収穫装置1の移動量が大きくなり、作業アーム20を延ばしてもエンドエフェクタ200を適正位置まで移動させることができなくなった場合に、例えばその位置における収穫を中止するなどの判断を行うことができるようになる。
【0086】
図4の説明に戻る。ステップS12において、制御部60は、本体移動部10を制御して、ステップS11で決定した移動方向に、ステップS11で決定した移動量、収穫装置1全体を移動させる。
【0087】
次に、ステップS13において、制御部60は、本体30移動後の新たな収穫姿勢を決定する。
【0088】
制御部60は、ステップS13において、ステップS7と同様の方法で、新たな収穫姿勢を決定する。すなわち、制御部60は、移動後の収穫装置1から見たエンドエフェクタ200の適正位置、並びに、第1リンク21及び第2リンク22のリンク長に基づいて、作業アーム20の新たな収穫姿勢を決定する。
図14は、新たな収穫姿勢について説明するための図である。
図14には、移動前の作業アーム20が点線で示されており、移動後の作業アーム20が実線で示されている。
【0089】
図14に示すように、本体30に接続された点Oが距離xだけ移動することにより、作業アーム20全体の姿勢が変化し、障害物OBと干渉することなく、エンドエフェクタ200を適正位置まで移動させることができるようになる。
【0090】
なお、エンドエフェクタ200は、ステップS6で決定された収穫方向がそのまま採用されてもよい。ステップS5において、エンドエフェクタ200が障害物と干渉しないことが確認できているためである。
【0091】
ただし、本ステップS13の前に、ステップS4からS6までと同様の処理を新たに行ってもよい。このようにして、本体30移動後の新たな収穫方向を決定することにより、最終的な収穫方向を、より理想的な収穫方向に近い方向に決定できることがある。この場合、収穫装置1により、障害物との干渉を生じさせずに効率よく収穫を行うことができる精度が向上する。
【0092】
次に、ステップS14において、制御部60は、ステップS13で決定した新たな収穫方向に従って、エンドエフェクタ200を移動させる。これにより、
図14に示すように、障害物OBを回避しながら、エンドエフェクタ200を収穫のための適正位置へ移動させることができる。なお、ステップS10で干渉なしと判断されていた場合は、制御部60は、ステップS6で決定した収穫方向に従って、エンドエフェクタ200を移動させる。この場合でも、干渉を生じさせずに、エンドエフェクタ200を収穫のための適正位置へ移動させることができる。
【0093】
ステップS15において、制御部60は、エンドエフェクタ200を制御して収穫対象物の収穫を行う。
【0094】
[エンドエフェクタ200による収穫方法]
以下、エンドエフェクタ200が収穫対象物の収穫方法について説明する。
【0095】
図15は、エンドエフェクタ200の斜視図である。
図15に示すように、エンドエフェクタ200は、引き込みガイド201、収穫リング202、収穫果ガイド203、収穫果シート204、ベース205を備える。収穫リング202は、上下2つに分離可能に構成されている。制御部60の制御によって、収穫リング202の上部は下部に対して相対的に移動することができる。なお、以下では、収穫対象物及びエンドエフェクタ200の上下方向として、
図15に示すように、エンドエフェクタ200の引き込みガイド201側を上、ベース205側を下として説明を行う。
【0096】
本実施の形態における収穫対象物としてのミニトマトは、果実を房ごと収穫するのではなく、房に付いている果実を一つ一つもぎ取るようにして収穫されることが多い。その理由は、房に付いている果実の成熟度合いがそれぞれ異なるため、十分に成熟した果実のみを収穫することが好ましいからである。また、一般に、ミニトマトは生食用であるため、果実表面に傷を付けずに萼ごと収穫する必要がある。
【0097】
図16Aから
図16Cは、収穫時のエンドエフェクタ200の動作を説明するための図である。
図16Aは、収穫対象物としての果実404の引き込み動作を示している。
図16Bは、収穫リング202の挿入動作を示している。
図16Cは、果実404の分離、および、収穫動作を示している。
【0098】
図16Aに示すように、まず、ほぼ円弧形状の帯部材で構成される引き込みガイド201を収穫対象物の果実404側に移動させ(
図16Aの矢印A1)、引き込みガイド201の一部に設けられた切れ目を通して果実404を引き込みガイド201の内部に収める。この状態で引き込みガイド201を用いて果実404を下方向から引き込み、他のミニトマト(図示せず)との間に隙間を作る。
【0099】
次に、
図16Bに示すように、エンドエフェクタ200全体を上側に移動させる(
図16Bの矢印A2)ことで、収穫リング202を上記隙間に挿入する。この際、引き込みガイド201の切れ目を小果梗401がすり抜けて、果実404は引き込みガイド201の内部から離脱する。
【0100】
その後、
図16Cに示すように、収穫リング202の上部を下部に対して相対的に移動させる(
図16Cの矢印A3)ことにより、果実404を引き寄せ、果梗405を押し出す。これにより、小果梗401を引き伸ばし、離層402で分断することができる。これにより、離層402で小果梗401が分断されており、損傷がない(少ない)果実404を収穫することができる。
【0101】
その後、収穫された果実404は、収穫果ガイド203及び収穫果シート204を通過して、下部に設けられた収穫容器(図示せず)などに収納される。これにより、ステップS15における収穫動作が完了する。
【0102】
ステップS15において収穫対象物の収穫が完了したら、制御部60は、本体移動部10を制御して、新たな収穫対象物と正対する位置まで本体30を移動させ、収穫装置1の収穫動作をステップS1から改めて開始する。これを繰り返すことにより、複数の収穫対象物を好適に収穫することができる。
【0103】
以上説明したように、本開示の実施の形態に係る収穫装置1によれば、収穫対象物を自動収穫するためのエンドエフェクタ200を適正位置まで移動させる場合に、エンドエフェクタ200または作業アーム20と障害物とが干渉しないように作業アーム20または本体30の位置を移動させるため、効率よく、安定した自動収穫を行うことができる。
【0104】
<変形例>
上述した実施の形態では、本開示の収穫部の一例としてエンドエフェクタ200を、収穫部移動部の一例として作業アーム20を、それぞれ例示して説明した。しかしながら、本開示の収穫部は
図15などに示すエンドエフェクタ200とは全く異なる構成を有していてもよく、収穫対象物に損傷を与えずに離層で収穫することができる構成を有していればよい。また、本開示の収穫部移動部は
図3などに示す作業アーム20とは全く異なる構成を有していてもよく、例えば任意の位置で曲げられるワイヤなど、収穫部を自在に移動させることができる構成を有していればよい。
【産業上の利用可能性】
【0105】
本開示の収穫装置は、果実などの収穫対象物を自動で収穫するのに有用である。
【符号の説明】
【0106】
1 収穫装置
10 本体移動部
12 制御部
20 作業アーム
20R1 作業アームの第1領域
20R2 作業アームの第2領域
21 第1リンク
21C 第1中心線
21R1 第1リンクの第1領域
21R2 第1リンクの第2領域
22 第2リンク
22C 第2中心線
22R1 第2リンクの第1領域
22R2 第2リンクの第2領域
30 本体
40 撮像装置
60 制御部
200 エンドエフェクタ
201 ガイド
202 収穫リング
203 収穫果ガイド
204 収穫果シート
205 ベース