IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 中国農業科学院茶叶研究所の特許一覧 ▶ 山東省農業科学院茶叶研究所の特許一覧

特開2023-88826画像および点群データ処理に基づく茶摘み方法
<>
  • 特開-画像および点群データ処理に基づく茶摘み方法 図1
  • 特開-画像および点群データ処理に基づく茶摘み方法 図2
  • 特開-画像および点群データ処理に基づく茶摘み方法 図3
  • 特開-画像および点群データ処理に基づく茶摘み方法 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023088826
(43)【公開日】2023-06-27
(54)【発明の名称】画像および点群データ処理に基づく茶摘み方法
(51)【国際特許分類】
   A01D 46/04 20060101AFI20230620BHJP
   G06T 7/60 20170101ALI20230620BHJP
   B26D 5/34 20060101ALI20230620BHJP
【FI】
A01D46/04 Z
G06T7/60 180B
B26D5/34 Z
【審査請求】有
【請求項の数】5
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022095024
(22)【出願日】2022-06-13
(31)【優先権主張番号】202111537896.3
(32)【優先日】2021-12-15
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】522235353
【氏名又は名称】中国農業科学院茶叶研究所
(71)【出願人】
【識別番号】522235364
【氏名又は名称】山東省農業科学院茶叶研究所
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100147924
【弁理士】
【氏名又は名称】美恵 英樹
(72)【発明者】
【氏名】李 楊
(72)【発明者】
【氏名】董 春旺
(72)【発明者】
【氏名】陳 建能
(72)【発明者】
【氏名】賈 江鳴
(72)【発明者】
【氏名】袁 長波
(72)【発明者】
【氏名】張 人天
(72)【発明者】
【氏名】王 慕哲
(72)【発明者】
【氏名】劉 中原
【テーマコード(参考)】
2B075
5L096
【Fターム(参考)】
2B075AA10
2B075AC01
2B075AC06
2B075AC08
2B075AC20
2B075HA09
2B075HB01
2B075HD01
2B075HD10
5L096BA08
5L096CA05
5L096FA02
5L096FA52
5L096HA11
(57)【要約】      (修正有)
【課題】画像および点群データ処理に基づく茶摘み方法を提供する。
【解決手段】サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得るステップと、熱画像から関心領域Sを選択し、関心領域S内の若芽数nを算出するステップと、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離d2を算出するステップと、nおよびd2に基づいて判断し、さらにカッター位置を調整し、最後に切断するステップとを含む。
【効果】サーモグラフィとレーザーレーダーによる茶樹の樹冠情報の処理とともに、カッターと茶樹樹冠との間における相対位置の調整により、茶葉摘み取り精度を効果的に向上できる。
【選択図】図1
【特許請求の範囲】
【請求項1】
以下のステップを含むことを特徴とする、画像および点群データ処理に基づく茶摘み方法:
S1:サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得る;
S2:撮影した茶樹樹冠の熱画像から関心領域Sを選択するとともに、関心領域S内の若芽数nを算出する;
S3:得られたカッターと茶樹樹冠の点群情報に基づいて、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離d2を算出する;
S4:若芽数nおよびカッターと茶樹樹冠との間における距離d2に基づいて判断し、さらにカッター位置を調整し、最後に切断する。
【請求項2】
前記関心領域Sは、カッターの長さと同じ幅の矩形領域であり、カッターの真前方に位置し、
前記関心領域Sは、底部直線が茶樹上へのカッターの投影であり、前端直線と底部直線との間における距離がd1であることを特徴とする請求項1に記載の画像および点群データ処理に基づく茶摘み方法。
【請求項3】
前記ステップS2における若芽数は、深層学習における目標検出アルゴリズムYOLO-V5を用いて検出されることを特徴とする請求項2に記載の画像および点群データ処理に基づく茶摘み方法。
【請求項4】
前記ステップS4において、カッターが茶樹樹冠の上にある場合、d2は、正の値であり、かつ距離が遠いほど、値が大きくなり、
カッターが茶樹樹冠の下にある場合、d2は、負の値であり、かつ距離が遠いほど、値が小さくなることを特徴とする請求項3に記載の画像および点群データ処理に基づく茶摘み方法。
【請求項5】
前記S4ステップの具体的な判断基準は、以下であることを特徴とする請求項1~4のいずれか1項に記載の画像および点群データ処理に基づく茶摘み方法:
n<n1かつd2>0であれば、関心領域S内の若芽数nが低すぎること、かつこの時点ではカッターが若芽の上にあることを示し、この時点では切断が不要であり、カッター位置の調整が不要である;
n<n1かつd2<0であれば、関心領域S内の若芽数nが低すぎること、かつこの時点ではカッターが若芽の下にあり、カッター位置が低めであることを示し、この時点では切断が不要であり、上へ移動するように調整する必要がある;
n>n1かつd2<-rであれば、関心領域S内の若芽数nが十分であり、かつこの時点ではカッターが若芽の下にあり、ただしこの時点ではカッター位置が低すぎることを示し、この時点では切断が必要であり、カッター位置を上へ移動させる必要がある;
n>n1かつ-r<d2<0であれば、関心領域S内の若芽数nが十分であり、かつこの時点ではカッターが若芽の下にあり、カッター位置が適切であることを示し、この時点では切断が必要であり、カッター位置の調整が不要である;
n>n1かつd2>0であれば、関心領域S内の若芽数nが十分であり、かつこの時点ではカッターが若芽の上にあり、カッター位置が高すぎることを示し、この時点では切断が必要であり、カッター位置を下へ調整する必要がある;
ここで、rは、カッターの切断時における茶樹の若芽に対する理論差であり、n1は、初期設定の若芽数である。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、茶葉摘み取りの技術分野に関し、特に画像および点群データ処理に基づく茶摘み方法に関する。
【背景技術】
【0002】
中国は、名実ともに茶葉の栽培・生産大国である。2020年、全国の荒茶の生産量と生産額は、それぞれ298.60万トンと2626.58億元に達した。しかし、伝統的な茶葉生産は、家庭単位で行われることが多く、茶葉の摘み取りから加工まですべて手作業が中心であり、労働集約型産業に属する。茶葉の摘み取りという観点からは、人力による摘み取りのコストが高いため、茶葉の生産コストが増加する一方、茶葉の摘み取り時間が短く、人力による摘み取りの効率が低いため、茶葉の生産量が大きく制限される。現在、中国の茶葉の摘み取りと労働者の矛盾は、すでに茶葉産業発展のボトルネックとなっている。そのため、多くの科学技術者は、自動茶摘み装置を研究して上述の問題を解決し始めている。
【0003】
既存の茶摘み機は、摘み方によって選択的茶摘み機と非選択的茶摘み機の2種類に分けられる。このうち、選択的茶摘み機は、主に名優茶の摘み取りに用いられるが、非選択的茶摘み機は、主に大衆茶の摘み取りに用いられる。現在普及して使用されている茶摘み機の多くは、大衆茶の生葉摘み用に生産されており、機械動力を利用してブレードを動かし、茶葉を迅速に切り取り、収集している。この種の茶摘み機は、摘み取り効率が高く、労働力コストと労働強度を下げることができ、茶摘みの人手不足という矛盾をある程度緩和した。
【発明の概要】
【発明が解決しようとする課題】
【0004】
茶摘み機は、摘み取り効率を高めることができるが、その選択性に乏しく、作業時に老葉と若葉を区別せずに切断することで、芽葉の大きさが異なり、バラツキが大きく、また茶樹に対する機械的損傷が大きく、同時に摘採葉の老葉と若葉が混在し、古茎や老葉と破損した葉の含有量が比較的高く、茶摘み機の普及および使用にある程度影響する。自動化やスマート化された茶摘み機械は、茶葉業界の切実な需要となっている。新梢の摘み取りの完全性と一致性を高め、茶葉全体の品質を高めるため、画像認識を用い、若芽を選択して摘み取るものが発展したが、茶樹の老葉と若葉が交互に重なるため、茶葉の色差が小さく、画像認識だけの方式では依然として摘み取り精度の問題を解決できない。
【0005】
上記の問題に対して、本発明の目的は、画像および点群データ処理に基づく茶摘み方法を開示し、サーモグラフィとレーザーレーダーによって茶樹の樹冠情報を処理するとともに、カッターと茶樹樹冠との間における相対位置を調整することにより、茶葉の摘み取り精度を効果的に向上することができる。
【課題を解決するための手段】
【0006】
具体的には、本発明の画像および点群データ処理に基づく茶摘み方法は、以下のステップを含む。
S1:サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得る。
S2:撮影した茶樹樹冠の熱画像から関心領域Sを選択するとともに、関心領域S内の若芽数nを算出する。
S3:得られたカッターと茶樹樹冠の点群情報に基づいて、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離d2を算出する。
S4:若芽数nおよびカッターと茶樹樹冠との間における距離d2に基づいて判断し、さらにカッター位置を調整し、最後に切断する。
【0007】
さらに、前記関心領域Sは、カッターの長さと同じ幅の矩形領域であり、カッターの真前方に位置し、前記関心領域Sは、底部直線が茶樹上へのカッターの投影であり、前端直線と底部直線との間における距離がd1である。
【0008】
さらに、前記ステップS2における若芽数は、深層学習における目標検出アルゴリズムYOLO-V5を用いて検出される。
【0009】
さらに、前記ステップS4において、カッターが茶樹樹冠の上にある場合、d2は、正の値であり、かつ距離が遠いほど、値が大きくなり、カッターが茶樹樹冠の下にある場合、d2は、負の値であり、かつ距離が遠いほど、値が小さくなる。
【0010】
さらに、前記S4ステップの具体的な判断基準は、以下である。
n<n1かつd2>0であれば、関心領域S内の若芽数nが低すぎること、かつこの時点ではカッターが若芽の上にあることを示し、この時点では切断が不要であり、カッター位置の調整が不要である。
n<n1かつd2<0であれば、関心領域S内の若芽数nが低すぎること、かつこの時点ではカッターが若芽の下にあり、カッター位置が低めであることを示し、この時点では切断が不要であり、上に移動するように調整する必要がある。
n>n1かつd2<-rであれば、関心領域S内の若芽数nが十分であり、かつこの時点ではカッターが若芽の下にあり、ただしこの時点ではカッター位置が低すぎることを示し、この時点では切断が必要であり、カッター位置を上に移動させる必要がある。
n>n1かつ-r<d2<0であれば、関心領域S内の若芽数nが十分であり、かつこの時点ではカッターが若芽の下にあり、カッター位置が適切であることを示し、この時点では切断が必要であり、カッター位置の調整が不要である。
n>n1かつd2>0であれば、関心領域S内の若芽数nが十分であり、かつこの時点ではカッターが若芽の上にあり、カッター位置が高すぎることを示し、この時点では切断が必要であり、カッター位置を下へ調整する必要がある。
ここで、rは、カッターの切断時における茶樹の若芽に対する理論差であり、n1は、初期設定の若芽数である。
【発明の効果】
【0011】
1)本発明は、画像および点群データ処理に基づく茶摘み方法を開示し、カッター位置と角度の自動制御問題を解決し、乗用式茶摘み機の茶園地形と茶冠の平坦度に対する要求を低減し、茶摘み機の応用範囲を広げた。
2)乗員の長時間の疲労作業によるカッター位置制御ミスの問題を減らし、摘み取りの効率と品質を保証する。
【図面の簡単な説明】
【0012】
図1】本発明の茶摘み機の概略構成図である。
図2】茶摘み機の支持ステージの底面図である。
図3図2におけるA-A方向の断面図である。
図4】切断時の状態を示す概略図である。
【発明を実施するための形態】
【0013】
以下、本発明を具体的な実施例に基づいて詳細に説明する。
(実施例)
【0014】
本発明の画像および点群データ処理に基づく茶摘み方法は、サーモグラフィとレーザーレーダーを利用して茶葉の摘み取りを補助し、茶葉の摘み取り精度を効果的に向上させることができ、図1に示すような、移動ベース1および移動ベース1に取り付けられたフレーム2を含む茶摘み機を用いて実現することができる。フレーム2に茶摘み機構が固定的に取り付けられている。茶摘み機構は、トラックユニットと、トラックユニットに摺動可能に取り付けられた支持ステージ3を含む。トラックユニットは、平行に設置されたボールねじ4とローラートラック5を含む。支持ステージ3は、固定連結されたベース31と支持板32を含む。ボールねじ4とローラートラック5は、ベース31内に穿設される。ボールねじ4の一端は、軸受座6を介してフレーム2に固定して取り付けられ、他端には、回転モータ7が固定的に接続されている。回転モータ7は、フレーム2に固定的に取り付けられている。ローラートラック5の両端は、いずれも軸受座6を介してフレーム2に固定的に取り付けられている。ローラートラック5には、開口が上向きの溝51が開設されている。支持板32における溝51に対応する位置には、対称に設けられた2つの支持耳33が固定的に取り付けられている。2つの支持耳33の間に、移動ローラ34が取り付けられている。移動ローラ34は、溝51内に位置し、かつ溝51の底部に接触している。ボールねじ4とローラートラック5の構造により、支持ステージ3をより円滑に動作させることができる。使用時には、回転モータ7によりボールねじ4が回転駆動され、ボールねじ4が支持ステージ3を水平移動駆動することにより、切断ユニットの位置が調整される。一方、溝51と移動ローラ34の配置により、ベース31とトラックユニットとの間の摩擦力が減少する。移動中、操作がよりスムーズになり、応答がより速くなり、消費電力の低減に有利になる。
【0015】
支持ステージ3には、2台の直流プッシャーモータ8が関節式に取り付けられている。2台の直流プッシャーモータ8は、支持ステージ3に対称に設置されている。支持ステージ3における2台の直流プッシャーモータ8の中間の位置には、さらにレーザーレーダーセンサ9とサーモグラフィ10が固定して取り付けられている。本発明の茶摘み機は、さらにPLCコントローラを含む。レーザーレーダーセンサ9、サーモグラフィ10は、PLCコントローラの信号入力端と信号接続され、PLCコントローラの信号出力端は、直流プッシャーモータと信号接続されることで、切断の効率的な進行がある程度保証される。直流プッシャーモータ8のプッシャの自由端には、カッター11が枢着されている。
【0016】
前記茶摘み機による茶葉摘みは、具体的には、以下のステップで行われる。
S1:移動ベースを利用して茶摘み機を一畝の茶樹の端部に移動させ、カッターを茶樹の上方の樹冠位置に対応させ、支持ステージをカッターと一畝の茶樹の端部とが揃った状態に移動させる。カッターの上方に位置する直流プッシャーモータのプッシャーロッドは、いずれも伸長し、カッターの高さを、茶樹に接近しかつ接触しない状態まで下げる。サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得る。
S2:撮影した茶樹樹冠の熱画像から関心領域Sを選択する。関心領域Sは、カッターの長さと同じ幅の矩形領域であり、カッターの真前方に位置する。関心領域Sは、底部直線が茶樹上へのカッターの投影であり、前端直線と底部直線との間における距離がd1である。若芽数nは、深層学習における目標検出アルゴリズムYOLO-V5を用いて検出されて算出される。
S3:得られたカッターと茶樹樹冠の点群情報に基づいて、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離d2を算出する。カッターが茶樹樹冠の上にある場合、d2は、正の値であり、かつ距離が遠いほど、値が大きくなる。カッターが茶樹樹冠の下にある場合、d2は、負の値であり、かつ距離が遠いほど、値が小さくなる。
S4:若芽数nおよびカッターと茶樹樹冠との間における距離d2に基づいて判断する。
n<n1かつd2>0であれば、関心領域S内の若芽数nが低すぎること、かつこの時点ではカッターが若芽の上にあることを示し、この時点では切断が不要であり、カッター位置の調整が不要である。
n<n1かつd2<0であれば、関心領域S内の若芽数nが低すぎること、かつこの時点ではカッターが若芽の下にあり、カッター位置が低めであることを示し、この時点では切断が不要であり、上に移動するように調整する必要がある。
n>n1かつd2<-rであれば、関心領域S内の若芽数nが十分であり、かつこの時点ではカッターが若芽の下にあり、ただしこの時点ではカッター位置が低すぎることを示し、この時点では切断が必要であり、カッター位置を上へ移動させる必要がある。
n>n1かつ-r<d2<0であれば、関心領域S内の若芽数nが十分であり、かつこの時点ではカッターが若芽の下にあり、カッター位置が適切であることを示し、この時点では切断が必要であり、カッター位置の調整が不要である。
n>n1かつd2>0であれば、関心領域S内の若芽数nが十分であり、かつこの時点ではカッターが若芽の上にあり、カッター位置が高すぎることを示し、この時点では切断が必要であり、カッター位置を下へ調整する必要がある。
ここで、rは、カッターの切断時における茶樹の若芽に対する理論差であり、n1は、初期設定の若芽数である。
カッター位置を適正位置に調整した後、切断を行う。
S5:移動ベースを利用して茶摘み機を茶畝に沿って走行させ、カッターにより茶葉を切断し続け、切断中にサーモグラフィとレーザーレーダーは、茶樹樹冠の熱画像およびカッターと茶樹樹冠の点群データを継続的に検出し、算出したnとd2がそれぞれn<n1かつ|d2|<rに保持されるようにPLCコントローラで処理する。
【0017】
以上の実施例は、本発明の技術的解決手段を説明するためのものに過ぎず、限定するものではない。本発明は、好ましい実施例を参照して詳細に説明したが、当業者には理解されるように、本発明の技術的解決手段の趣旨および範囲から逸脱することなく、本発明の技術的解決手段を変更または均等に変更することが可能であり、それらはすべて本発明の特許請求の範囲に含まれるものである。本発明において詳細に説明されない技術、形状、構造の部分は、すべて公知技術である。
【0018】
(付記)
(付記1)
以下のステップを含むことを特徴とする、画像および点群データ処理に基づく茶摘み方法:
S1:サーモグラフィによる撮影でカッターと茶樹樹冠の熱画像を得るとともに、レーザーレーダー走査によりカッターと茶樹樹冠の点群情報を得る;
S2:撮影した茶樹樹冠の熱画像から関心領域Sを選択するとともに、関心領域S内の若芽数nを算出する;
S3:得られたカッターと茶樹樹冠の点群情報に基づいて、茶樹樹冠の近似曲線を得て、カッターと茶樹樹冠との間における距離d2を算出する;
S4:若芽数nおよびカッターと茶樹樹冠との間における距離d2に基づいて判断し、さらにカッター位置を調整し、最後に切断する。
【0019】
(付記2)
前記関心領域Sは、カッターの長さと同じ幅の矩形領域であり、カッターの真前方に位置し、
前記関心領域Sは、底部直線が茶樹上へのカッターの投影であり、前端直線と底部直線との間における距離がd1であることを特徴とする付記1に記載の画像および点群データ処理に基づく茶摘み方法。
【0020】
(付記3)
前記ステップS2における若芽数は、深層学習における目標検出アルゴリズムYOLO-V5を用いて検出されることを特徴とする付記2に記載の画像および点群データ処理に基づく茶摘み方法。
【0021】
(付記4)
前記ステップS4において、カッターが茶樹樹冠の上にある場合、d2は、正の値であり、かつ距離が遠いほど、値が大きくなり、
カッターが茶樹樹冠の下にある場合、d2は、負の値であり、かつ距離が遠いほど、値が小さくなることを特徴とする付記3に記載の画像および点群データ処理に基づく茶摘み方法。
【0022】
(付記5)
前記S4ステップの具体的な判断基準は、以下であることを特徴とする付記1~4のいずれか1つに記載の画像および点群データ処理に基づく茶摘み方法:
n<n1かつd2>0であれば、関心領域S内の若芽数nが低すぎること、かつこの時点ではカッターが若芽の上にあることを示し、この時点では切断が不要であり、カッター位置の調整が不要である;
n<n1かつd2<0であれば、関心領域S内の若芽数nが低すぎること、かつこの時点ではカッターが若芽の下にあり、カッター位置が低めであることを示し、この時点では切断が不要であり、上へ移動するように調整する必要がある;
n>n1かつd2<-rであれば、関心領域S内の若芽数nが十分であり、かつこの時点ではカッターが若芽の下にあり、ただしこの時点ではカッター位置が低すぎることを示し、この時点では切断が必要であり、カッター位置を上へ移動させる必要がある;
n>n1かつ-r<d2<0であれば、関心領域S内の若芽数nが充分であり、かつこの時点ではカッターが若芽の下にあり、カッター位置が適切であることを示し、この時点では切断が必要であり、カッター位置の調整が不要である;
n>n1かつd2>0であれば、関心領域S内の若芽数nが充分であり、かつこの時点ではカッターが若芽の上にあり、カッター位置が高すぎることを示し、この時点では切断が必要であり、カッター位置を下へ調整する必要がある;
ここで、rは、カッターの切断時における茶樹の若芽に対する理論差であり、n1は、初期設定の若芽数である。
【符号の説明】
【0023】
1 移動ベース
2 フレーム
3 支持ステージ
4 ボールねじ
5 ローラートラック
6 軸受台
7 回転モータ
8 直流プッシャーモータ
9 レーザーレーダーセンサ
10 サーモグラフィ
11 カッター
31 ベース
32 支持板
33 支持耳
34 移動ローラ
51 溝
図1
図2
図3
図4
【外国語明細書】