(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023040516
(43)【公開日】2023-03-23
(54)【発明の名称】収穫方法及び収穫装置
(51)【国際特許分類】
A01D 46/30 20060101AFI20230315BHJP
A01D 46/00 20060101ALI20230315BHJP
【FI】
A01D46/30
A01D46/00 A
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021147542
(22)【出願日】2021-09-10
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】戸島 亮
(72)【発明者】
【氏名】荒木 秀和
(72)【発明者】
【氏名】西谷 誠治
【テーマコード(参考)】
2B075
【Fターム(参考)】
2B075JD11
2B075JD13
2B075JF01
2B075JF02
2B075JF05
2B075JF06
2B075JF07
2B075JF09
(57)【要約】
【課題】果実の収穫効率を向上させることができる収穫方法を提供すること。
【解決手段】収穫方法は、撮像部を備える収穫装置が行う収穫方法であって、前記収穫装置は、当該収穫装置の移動中に前記撮像部が撮像した第1画像に基づいて、果実が存在するか否かを判定し、前記果実が存在すると判定した場合、停止して、前記果実の中に収穫対象の果実が存在するか否かを判定し、前記収穫対象の果実が存在すると判定した場合、前記収穫対象の果実を収穫する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
撮像部を備える収穫装置が行う収穫方法であって、
前記収穫装置は、
当該収穫装置の移動中に前記撮像部が撮像した第1画像に基づいて、果実が存在するか否かを判定し、
前記果実が存在すると判定した場合、停止して、前記果実の中に収穫対象の果実が存在するか否かを判定し、
前記収穫対象の果実が存在すると判定した場合、前記収穫対象の果実を収穫する、
収穫方法。
【請求項2】
前記収穫装置は、
当該収穫装置の停止後に前記撮像部が撮像した第2画像に基づいて、前記果実の中に前記収穫対象の果実が存在するか否かを判定する、
請求項1に記載の収穫方法。
【請求項3】
前記撮像部は、前記第1画像を撮像する第1撮像部と、前記第2画像を撮像する第2撮像部とを備える、
請求項2に記載の収穫方法。
【請求項4】
前記収穫装置は、
前記第1画像に基づいて、前記第2画像の撮像位置を前記収穫装置の移動中に決定する、
請求項3に記載の収穫方法。
【請求項5】
前記収穫装置は、
前記撮像位置で前記第2画像が撮像されるように前記第2撮像部の高さ位置を調整する処理を、前記収穫装置の移動中に行う、
請求項4に記載の収穫方法。
【請求項6】
前記果実は、トマトである、
請求項1から5のいずれか一項に記載の収穫方法。
【請求項7】
撮像部と、
エンドエフェクタと、
制御部と、を備え、移動可能に構成された収穫装置であって、
前記制御部は、
前記収穫装置の移動中に前記撮像部が撮像した第1画像に基づいて、果実が存在するか否かを判定し、
前記果実が存在すると判定した場合、前記収穫装置を停止させて、前記果実の中に収穫対象の果実が存在するか否かを判定し、
前記収穫対象の果実が存在すると判定した場合、前記収穫対象の果実を収穫するように、前記エンドエフェクタを制御する、
収穫装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、収穫方法及び収穫装置に関する。
【背景技術】
【0002】
従来、果実の収穫を行う装置として、例えば、特許文献1に記載された収穫装置が知られている。特許文献1の収穫装置は、撮像部で得られた画像を処理して、収穫対象の果実の色に対応した特定色領域と、その特定色領域内において明るさが設定値よりも大きいハイライト領域とを求める。そして、収穫装置は、同一の特定色領域に複数のハイライト領域が検出された場合、各ハイライト領域を中心とした特定色領域の輪郭に内接する所定形状の仮想領域を求め、それらの仮想領域が、ハイライト領域のそれぞれに対応する特定色領域、つまり果実に対応する領域であると推定することで、収穫対象の果実を検出する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、果実の収穫効率を向上させることができる収穫方法及び収穫装置を提供することを目的とする。
【課題を解決するための手段】
【0005】
本開示の収穫方法は、撮像部を備える収穫装置が行う収穫方法であって、前記収穫装置は、当該収穫装置の移動中に前記撮像部が撮像した第1画像に基づいて、果実が存在するか否かを判定し、前記果実が存在すると判定した場合、停止して、前記果実の中に収穫対象の果実が存在するか否かを判定し、前記収穫対象の果実が存在すると判定した場合、前記収穫対象の果実を収穫する。
【0006】
本開示の収穫装置は、撮像部と、エンドエフェクタと、制御部と、を備え、移動可能に構成された収穫装置であって、前記制御部は、前記収穫装置の移動中に前記撮像部が撮像した第1画像に基づいて、果実が存在するか否かを判定し、前記果実が存在すると判定した場合、前記収穫装置を停止させて、前記果実の中に収穫対象の果実が存在するか否かを判定し、前記収穫対象の果実が存在すると判定した場合、前記収穫対象の果実を収穫するように、前記エンドエフェクタを制御する。
【発明の効果】
【0007】
本開示の収穫方法及び収穫装置によれば、果実の収穫効率を向上させることができる。
【図面の簡単な説明】
【0008】
【
図5】第1画像に設定されたXY座標系における検出対象の房の座標を示す模式図
【発明を実施するための形態】
【0009】
[実施形態]
本開示の実施形態について説明する。
【0010】
<果実の形態>
まず、本開示の実施形態における収穫対象の果実の形態について説明する。なお、本実施形態では、果実としてトマトを例示するが、いちご、ブルーベリー、ラズベリー等の他の果実であっても良い。
図1は、果実の形態を示す模式図である。
【0011】
図1に示されるように、枝の一例である主茎90から分岐した房91は、自重等により垂れ下がる。房91は、果梗92を有する。果梗92の周囲には、複数の果実93が実る。果実93は、蔕94を有する。蔕94は、果柄の一例である小果梗95を介して果梗92に繋がっている。離層96は、主茎90と果実93の軸との間に形成される特別な細胞層である。離層96は、小果梗95の途中に位置し、引っ張り力等により比較的容易に分離できる部分である。
【0012】
<収穫装置の構成>
次に、収穫装置の構成について説明する。
図2は、収穫装置の模式図である。
【0013】
図2に示される収穫装置1は、
図2における右側へ移動しながら、
図2の紙面手前側に位置する収穫対象の果実93(以下、「収穫対象果実93」と言う場合がある)を収穫する。なお、上側とは、収穫装置1が収穫を行っているときの上側であり、下側とは上側の逆側である。また、収穫装置1の正面側とは、
図2の紙面手前側であり、背面側とは、
図2の紙面奥側である。また、
図2における左右方向を、進行方向と言う場合がある。また、
図2における右方及び左方を、それぞれ進行方向前方及び進行方向後方と言う場合がある。収穫装置1は、本体10と、走行部11と、を備える。
【0014】
走行部11は、本体10を移動させるための車輪111、それぞれ図示されないモータ及びモータドライバ等を備える。走行部11は、例えば、農園の畝と畝の間に配置された図示されないレールに沿って、本体10を進行方向前方へ移動させる。
【0015】
本体10は、箱形状に形成されている。本体10の内部には、昇降機構2と、作業アーム3と、エンドエフェクタ4と、撮像部5と、制御部6と、が配置されている。
【0016】
昇降機構2は、本体10内における進行方向中央に固定されている。昇降機構2は、上下方向に延びるガイド軸21を備える。ガイド軸21における進行方向後方側の部位には、図示されない昇降駆動部の駆動により、ガイド軸21に沿って昇降するスライダ22が配置されている。
【0017】
作業アーム3の一端側(基端側)は、スライダ22に固定されている。作業アーム3は、他端側(先端側)の水平面と平行な方向の位置を制御するための図示されないアーム位置制御機構を有する。
【0018】
エンドエフェクタ4は、作業アーム3の先端に搭載されている。エンドエフェクタ4は、果実93を小果梗95から切り離す機能を有している。このような機能を有するエンドエフェクタ4として、例えば、特開2017-051104号公報に開示されているように、上側収穫リング及び下側収穫リングの内部に小果梗95を位置させ、上側収穫リングを下側収穫リングに対して相対移動させることにより、果実93を小果梗95から切り離す構成を適用しても良い。また、エンドエフェクタ4として、切断刃で小果梗95を切断する構成を良い適用してもよい。
【0019】
撮像部5は、第1撮像部51と、第2撮像部52と、を備える。
【0020】
第1撮像部51は、収穫候補の果実93を含む房91の検出に利用される。第1撮像部51は、本体10内における昇降機構2よりも進行方向前方側、かつ、上下方向中央に固定されている。第1撮像部51は、収穫装置1の正面側を撮像して、第1画像を生成する。第1画像は、太陽光の反射により得られるRGB(Red, Green, Blue)カラー画像である。
【0021】
第2撮像部52は、房91の中からの収穫対象果実93の検出に利用される。第2撮像部52は、作業アーム3の上方において、スライダ22に固定されている。第2撮像部52は、赤外光を発する図示されない赤外光源を有する。第2撮像部52は、収穫装置1の正面側を撮像して、第2画像を生成する。第2画像は、太陽光の反射により得られるRGBカラー画像と、赤外光源からの赤外光の反射により得られるIR(InfraRed)画像と、を含む。
【0022】
制御部6は、例えば本体10内における進行方向前方側に配置されている。制御部6は、第1撮像部51で撮像された第1画像と、第2撮像部52で撮像された第2画像と、に基づいて、果実93を収穫する。
【0023】
<収穫装置の動作>
次に、収穫装置1の動作として、果実の収穫方法について説明する。
図3は、収穫対象果実の収穫方法のフローチャートである。
図4は、複数の第1画像間の視差の説明図である。
図5は、第1画像に設定されたXY座標系における検出対象の房の座標を示す模式図である。
【0024】
まず、
図3に示されるように、走行部11は、制御部6の制御に基づいて、本体10の進行方向前方への移動を開始する(ステップS1)。次に、第1撮像部51は、制御部6の制御に基づいて、本体10が所定距離走行する毎に、第1画像を撮像する(ステップS2)。第1撮像部51は、例えば、100mm走行する毎に、第1画像を撮像する。そして、制御部6は、第1画像に基づいて、収穫候補の果実93を含む房91(以下、「検出対象の房91A」と言う場合がある)を検出したか否かを判定する(ステップS3)。
【0025】
ステップS3において、制御部6は、第1撮像部51が撮像した第1画像の中から所定の第1画像を検出用画像として選択し、検出用画像の色表現を色相表現に変換する。そして、制御部6は、検出用画像における果実93を表す色相の領域の面積が、一定値以上の領域を検出対象の房91Aとして検出する。本実施の形態では、果実が赤いトマトであるため、制御部6は、色相が0°以上50°以下の領域の面積が、一定値以上の領域を検出対象の房91Aとして検出する。
【0026】
制御部6は、検出対象の房91Aを検出しなかったと判定した場合(ステップS3:NO)、当該判定に用いられた検出用画像の次に撮像された第1画像を検出用画像として新たに選択し、当該新たに選択した検出用画像に基づいて、検出対象の房91Aを検出したか否かを判定する(ステップS3)。一方、制御部6は、検出対象の房91Aを検出したと判定した場合(ステップS3:YES)、第1画像に基づいて、第2撮像部52の高さ調整量と本体10の停止位置とを算出する(ステップS4)。
【0027】
ステップS4において、制御部6は、まず、検出対象の房91Aが写っている第1画像であって、連続して撮像された複数の第1画像を選択する。次に、制御部6は、連続して撮像された2個の第1画像の視差d(単位はピクセル(pix))を算出する。例えば、制御部6は、
図4に示されるように、3個の第1画像P1,P2,P3を選択する。第1画像P1は、第1画像P2の前に撮像された画像であり、第1画像P2は、第1画像P3の前に撮像された画像である。そして、制御部6は、第1画像P1と第1画像P2における検出対象の房91Aの移動量d1と、第1画像P2と第1画像P3における検出対象の房91Aの移動量d2と、の平均値を視差dとして算出する。
【0028】
次に、制御部6は、以下の式(1)に基づいて、第1撮像部51から検出対象の房91Aまでの距離R(x)(mm)を算出する。
R(x)=(B×f)/(d×cellsz) … (1)
R(x);第1撮像部51から検出対象の房91Aまでの距離であって、進行方向に直交しかつ水平面に平行な方向の距離
B:第1撮像部51の基線長(mm)
f:第1撮像部51のレンズの中心から受光素子までの距離(mm)
d:連続する2個の第1画像の視差(pix)
cellsz:受光素子の1画素のサイズ(mm/pix)
【0029】
次に、制御部6は、検出対象の房91Aが写っている第1画像に基づいて、第2撮像部52の進行方向の距離R(y)と、第2撮像部52の上下方向の距離R(z)と、を算出する。まず、制御部6は、
図5に示されるように、検出対象の房91Aが写っている最新の第1画像(例えば、第1画像P3)に対して、当該第1画像の中心を座標の原点Oとすると共に、X軸及びY軸の単位を第1画像の画素数としたXY座標系を設定する。そして、第1画像のX軸方向(水平方向)の画素数を960、Y軸方向(鉛直方向)の画素数を1280とした場合、制御部6は、第1画像における検出対象の房91Aの位置を示す座標(Xs,Ys)と、以下の式(2),(3),(4)と、に基づいて、進行方向の距離R(y)(mm)及び上下方向の距離R(z)(mm)を算出する。
R(y)=(Xs-480)×D … (2)
R(z)=(Ys-640)×D … (3)
D=0.002×R(x)-0.1 … (4)
D:第1撮像部51から検出対象の房91Aまでの距離がR(x)の場合の第1撮像部51の分解能
【0030】
次に、制御部6は、第1撮像部51に対する第2撮像部52の高さ方向の位置と、上下方向の距離R(z)と、に基づいて、第2撮像部52の高さ調整量を算出する。この高さ調整量は、第2撮像部52の撮像範囲の高さ方向中央に、検出対象の房91Aを位置させるための第2撮像部52の移動量である。
【0031】
また、制御部6は、第1撮像部51に対する第2撮像部52の進行方向の位置と、進行方向の距離R(y)と、当該進行方向の距離R(y)の算出に用いた第1画像の撮像時における本体10の位置と、に基づいて、本体10の停止位置を算出する。この停止位置は、第2撮像部52の撮像範囲の進行方向中央に、検出対象の房91Aを位置させるための本体10の停止位置である。
【0032】
図3に示されるように、制御部6は、ステップS4の処理を終了すると、昇降機構2を制御して、第2撮像部52の高さ位置を調整する(ステップS5)。昇降機構2は、本体10の移動中に、ステップS4で算出した高さ調整量、第2撮像部52を上昇又は下降させる。このステップS5の処理により、第2撮像部52の撮像範囲の高さ方向中央に、検出対象の房91Aが位置するようになる。
【0033】
次に、制御部6は、走行部11を制御して、本体10を停止させる(ステップS6)。走行部11は、ステップS4で算出した停止位置で本体10を停止させる。このステップS6の処理により、第2撮像部52の撮像範囲の左右方向中央に、検出対象の房91Aが位置するようになる。
【0034】
以上のステップS5、S6の処理により、第2撮像部52の撮像範囲の中央に検出対象の房91Aが位置するようになる。つまり、第2撮像部52が検出対象の房91Aのほぼ正面に位置するようになる。
【0035】
次に、第2撮像部52は、制御部6の制御に基づいて、第2画像を撮像する(ステップS7)。そして、制御部6は、第2画像に基づいて、検出対象の房91から収穫対象果実93を検出したか否かを判定する(ステップS8)。ステップS8において、制御部6は、例えば、特開2018-206015号公報に開示された方法を用いて、収穫対象果実93を検出することができる。
【0036】
ここで、特開2018-206015号公報に開示された方法に基づく、収穫対象果実93の検出処理について説明する。まず、制御部6は、第2画像を構成するRGBカラー画像の色表現を色相表現に変換する。また、制御部6は、IR画像から輝点を検出する。このとき、輝点として、主に、果実部輝点と、主茎部輝点と、が検出される。果実部輝点は、果実93の凸部において赤外光の反射により輝度が高くなっている箇所である。主茎部輝点は、主茎90に生っていた房91の果梗92を切り取った箇所であって、赤外光の反射により輝度が高くなっている箇所である。
【0037】
次に、制御部6は、色相表現に変換された画像における輝点に対応する位置を中心とした所定領域の色相の情報を取得し、その情報に基づいて色相の分散値を算出する。
【0038】
赤い果実93に対応する領域は、色相として赤の頻度が大きくなる。また、緑色の果実93に対応する領域は、色相として緑の頻度が大きくなる。このため、赤い果実93及び緑色の果実93のいずれの場合も、果実部輝点に対応する領域は、色の頻度の分布のバラつきが小さくなり、分散値が小さくなる。
【0039】
一方、主茎90には、緑色の色成分以外にも、赤色、青色の色成分も含まれている。特に、果梗92を切り取ったあとの切り口の部分は、白色や茶色に変色しており、緑色の色成分以外にも赤色、青色の色成分も多く含まれる。このため、主茎部輝点に対応する領域は、色の頻度の分布のバラつきが大きくなり、分散値が大きくなる。
【0040】
次に、制御部6は、輝点に対応する領域の色相の分散値が閾値未満が否かを判定する。制御部6は、分散値が閾値未満であると判定した場合、当該輝点が果実93の輝点であると判定し、閾値以上であると判定した場合、当該輝点が果実93以外の輝点であると判定する。
【0041】
そして、制御部6は、果実93の輝点であると判定した輝点に対応する領域(以下、「果実対応領域」と言う場合がある)の色相が、収穫対象の色を示すか否かを判定する。例えば、制御部6は、果実対応領域の色相が、熟している収穫対象果実93の色を示すか否かを判定する。制御部6は、果実対応領域の色相が収穫対象の色を示すと判定した場合、当該果実対応領域に収穫対象果実93が存在すると判定する。一方で、制御部6は、果実対応領域の色相が収穫対象の色を示さないと判定した場合、当該果実対応領域に収穫対象果実93が存在しないと判定する。制御部6は、果実93の輝点であると判定した全ての輝点に対応する果実対応領域に対して、収穫対象果実93が存在するか否かを判定する。
【0042】
制御部6は、検出対象の房91から収穫対象果実93を検出していないと判定した場合(ステップS8:NO)、走行部11を制御して、本体10の進行方向前方への移動を開始する(ステップS1)。一方、制御部6は、検出対象の房91から収穫対象果実93を検出したと判定した場合(ステップS8:YES)、作業アーム3及びエンドエフェクタ4を制御して、エンドエフェクタ4により当該収穫対象果実93を収穫する(ステップS9)。
【0043】
以上説明したように、収穫装置1は、当該収穫装置1の移動中に撮像部5が撮像した第1画像に基づいて、収穫候補果実93が存在するか否かを判定し、収穫候補果実93が存在すると判定した場合、停止して、収穫候補果実93の中に収穫対象果実93が存在するか否かを判定する。そして、収穫装置1は、収穫対象果実93が存在すると判定した場合、当該収穫対象果実93をエンドエフェクタ4で収穫する。このように、収穫装置1の移動中に、収穫候補果実93の存在の有無を判定することにより、収穫対象果実93を早く見つけることができ、収穫対象果実93の収穫効率を向上させることができる。
【0044】
また、収穫装置1が行う収穫方法は、収穫候補果実93の存在の有無の判定処理(以下、「粗認識処理」と言う場合がある)と、収穫対象果実93の存在の有無の判定処理(以下、「精認識処理」と言う場合がある)とを含む。粗認識処理では、果実93と、果実93以外のものとを区別すれば良いので、粗認識処理における画像認識精度は高くなくても良い。一方、精認識処理では、収穫対象でない果実93と、収穫対象果実93とを区別する必要があるため、精認識処理における画像認識精度を高くする必要がある。本実施形態の収穫装置1は、粗認識処理を収穫装置1の移動中に行うため、効率良く収穫候補果実93を見つけることができる。その結果、収穫対象果実93の収穫効率を向上させることができる。
【0045】
収穫装置1は、停止後に撮像部5が撮像した第2画像に基づいて、精認識処理を行う。このため、停止後に撮像したブレが少ない第2画像に基づいて、精認識処理を高精度に行うことができる。
【0046】
収穫装置1は、第1画像に基づいて第2画像の撮像位置を当該収穫装置1の移動中に決定する。このため、収穫装置1の停止から第2撮像部52の撮影開始までの時間を短くすることができ、収穫対象果実93の収穫効率を向上させることができる。特に、収穫装置1の移動中に第2撮像部52の高さ位置を調整することにより、収穫対象果実93の収穫効率をより向上させることができる。
【0047】
[実施形態の変形例]
本開示は、これまでに説明した実施形態に示されたものに限られないことはいうまでもなく、その趣旨を逸脱しない範囲内で、種々の変形を加えることができる。また、上記実施形態及び以下に示される変形例は、正常に機能する限り、どのように組み合わせても良い。
【0048】
例えば、第1撮像部51を設けずに、第2画像に含まれるRGBカラー画像に基づいて、粗認識処理を行っても良い。この場合、第2画像に含まれるRGBカラー画像が、本開示の第1画像に該当する。
【0049】
第2撮像部52を設けずに、第1撮像部51にRGBカラー画像とIR画像を撮像できる機能を設け、収穫装置1の移動中に第1撮像部51が撮像したRGBカラー画像とIR画像に基づいて、精認識処理を行っても良い。この場合、第1撮像部51で撮像したRGBカラー画像が、本開示の第1画像に該当し、RGBカラー画像とIR画像が、本開示の第2画像に該当する。
【0050】
第2画像の撮像位置を収穫装置1の停止後に決定しても良いし、第2撮像部52の高さ位置の調整を収穫装置1の停止後に決定しても良い。
【産業上の利用可能性】
【0051】
本開示は、収穫方法及び収穫装置に適用できる。
【符号の説明】
【0052】
1 収穫装置
2 昇降機構
3 作業アーム
4 エンドエフェクタ
5 撮像部
6 制御部
10 本体
11 走行部
21 ガイド軸
22 スライダ
51 第1撮像部
52 第2撮像部
90 主茎
91,91A 房
92 果梗
93 果実
94 蔕
95 小果梗
96 離層
P1,P2,P3 第1画像