知財求人 - 知財ポータルサイト「IP Force」
特開2024-169326赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機及び茶摘み方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024169326
(43)【公開日】2024-12-05
(54)【発明の名称】赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機及び茶摘み方法
(51)【国際特許分類】
A01D 46/04 20060101AFI20241128BHJP
【ＦＩ】
A01D46/04 Z
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2024073103
(22)【出願日】2024-04-26
(31)【優先権主張番号】202310590343.7
(32)【優先日】2023-05-24
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】524164141
【氏名又は名称】山東省農業科学院
(74)【代理人】
【識別番号】100130111
【弁理士】
【氏名又は名称】新保 斉
(72)【発明者】
【氏名】董 春旺
(72)【発明者】
【氏名】丁 沢中
(72)【発明者】
【氏名】祁 丹丹
(72)【発明者】
【氏名】陸 敏
(72)【発明者】
【氏名】石 亜麗
(72)【発明者】
【氏名】岳 林
(72)【発明者】
【氏名】賈 厚振
(72)【発明者】
【氏名】袁 長波
【テーマコード（参考）】
2B075
【Ｆターム（参考）】
2B075HA05
2B075HB20
2B075HC01
2B075HD02
2B075HD08
2B075HD09
2B075HD10
(57)【要約】 （修正有）
【課題】赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機及び茶摘み方法を提供する。
【解決手段】フレーム、ファンアセンブリ、スライドレールモジュール、認識摘み取りアセンブリ及びマニピュレータを含み、フレームの底部には走行機構を有し、認識摘み取りアセンブリは、吸引管、固定フレーム及びマニピュレータを含み、固定フレームは、スライドレールアセンブリに位置し、スライドレールアセンブリを介して固定フレームの垂直方向又は／及び横方向の移動を駆動し、吸引管の一端は、フレームに位置する収集ボックスに接続され、吸引管の他端は、リードスクリューガイドレールの位置決めスライダに固定され、マニピュレータはフレームに固定され、マニピュレータにはレーザー発生器を有する。
【選択図】図１
【解決手段】フレーム、ファンアセンブリ、スライドレールモジュール、認識摘み取りアセンブリ及びマニピュレータを含み、フレームの底部には走行機構を有し、認識摘み取りアセンブリは、吸引管、固定フレーム及びマニピュレータを含み、固定フレームは、スライドレールアセンブリに位置し、スライドレールアセンブリを介して固定フレームの垂直方向又は／及び横方向の移動を駆動し、吸引管の一端は、フレームに位置する収集ボックスに接続され、吸引管の他端は、リードスクリューガイドレールの位置決めスライダに固定され、マニピュレータはフレームに固定され、マニピュレータにはレーザー発生器を有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機であって、フレーム、ファンアセンブリ、スライドレールアセンブリ、認識摘み取りアセンブリ及びマニピュレータを含み、
前記フレームの底部には走行機構を有し、
前記ファンアセンブリは、ファン駆動モータ、ファン、電熱線、温度センサ及び導風ケースを含み、前記ファン及びファン駆動モータはフレームの最上部に固定され、前記ファン駆動モータは、ファンを駆動して動作させるために用いられ、前記導風ケースは、ファンの空気出口に位置し、前記電熱線及び温度センサは、導風ケース内に位置し、前記電熱線は、導風ケース内の空気を加熱するために用いられ、前記温度センサは、導風ケースの出口の空気温度を検出するために用いられ、
前記スライドレールアセンブリは、フレームの最上部に位置し、前記認識摘み取りアセンブリは、吸引管、固定フレーム及びマニピュレータを含み、前記固定フレームは、スライドレールアセンブリに位置し、前記スライドレールアセンブリを介して固定フレームの垂直方向の移動又は／及び横方向の移動を駆動し、前記固定フレームには、リードスクリューガイドレール、深度カメラ、サーモグラフィー及びハイパースペクトルイメージングシステムを有し、前記サーモグラフィーは、サーモグラフィー像を通じて新芽を認識し、前記ハイパースペクトルイメージングシステムは、サーモグラフィーによって認識された対象物のセルロース含有量を検出して、新芽であるか否かを確認するために用いられ、前記深度カメラは、ハイパースペクトルイメージングシステムによって確認された新芽を認識して位置決めし、前記サーモグラフィー、深度カメラ及びハイパースペクトルイメージングシステムの視線の交点は認識領域であり、前記吸引管の一端は、フレームに位置する収集ボックスに接続され、前記吸引管の他端は、リードスクリューガイドレールの位置決めスライダに固定され、前記吸引管の他端は、位置決めスライダに伴って垂直方向に移動し、
前記マニピュレータはフレームに固定され、前記マニピュレータにはレーザー発生器を有し、前記フレームには制御キャビネットをさらに有し、前記制御キャビネットは、走行機構、ファンアセンブリ、スライドレールアセンブリ、認識摘み取りアセンブリ及びマニピュレータに信号接続され、茶摘み機全体の動作状態を制御することを特徴とする赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機。
前記フレームの底部には走行機構を有し、
前記ファンアセンブリは、ファン駆動モータ、ファン、電熱線、温度センサ及び導風ケースを含み、前記ファン及びファン駆動モータはフレームの最上部に固定され、前記ファン駆動モータは、ファンを駆動して動作させるために用いられ、前記導風ケースは、ファンの空気出口に位置し、前記電熱線及び温度センサは、導風ケース内に位置し、前記電熱線は、導風ケース内の空気を加熱するために用いられ、前記温度センサは、導風ケースの出口の空気温度を検出するために用いられ、
前記スライドレールアセンブリは、フレームの最上部に位置し、前記認識摘み取りアセンブリは、吸引管、固定フレーム及びマニピュレータを含み、前記固定フレームは、スライドレールアセンブリに位置し、前記スライドレールアセンブリを介して固定フレームの垂直方向の移動又は／及び横方向の移動を駆動し、前記固定フレームには、リードスクリューガイドレール、深度カメラ、サーモグラフィー及びハイパースペクトルイメージングシステムを有し、前記サーモグラフィーは、サーモグラフィー像を通じて新芽を認識し、前記ハイパースペクトルイメージングシステムは、サーモグラフィーによって認識された対象物のセルロース含有量を検出して、新芽であるか否かを確認するために用いられ、前記深度カメラは、ハイパースペクトルイメージングシステムによって確認された新芽を認識して位置決めし、前記サーモグラフィー、深度カメラ及びハイパースペクトルイメージングシステムの視線の交点は認識領域であり、前記吸引管の一端は、フレームに位置する収集ボックスに接続され、前記吸引管の他端は、リードスクリューガイドレールの位置決めスライダに固定され、前記吸引管の他端は、位置決めスライダに伴って垂直方向に移動し、
前記マニピュレータはフレームに固定され、前記マニピュレータにはレーザー発生器を有し、前記フレームには制御キャビネットをさらに有し、前記制御キャビネットは、走行機構、ファンアセンブリ、スライドレールアセンブリ、認識摘み取りアセンブリ及びマニピュレータに信号接続され、茶摘み機全体の動作状態を制御することを特徴とする赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機。
【請求項2】
前記走行機構は走行ブラケットを含み、前記走行ブラケットには、走行輪と、走行輪を駆動して動作させる走行駆動モータとを有し、前記走行ブラケットの前端には、左右に分布し、斜め下向きに設置される２つのレーザーレーダーを有し、前記レーザーレーダーは、地図作成、位置決め及び経路計画を行うために用いられることを特徴とする請求項１に記載の赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機。
【請求項3】
前記フレームには２つのモータ取り付けフレームを有し、各前記モータ取り付けフレームにはそれぞれ１つのファン駆動モータを有し、各前記ファン駆動モータの出力軸には１つのファンを有し、２つの前記ファンの空気出口は導風ケースの上端に接続され、前記導風ケースの下端は認識領域に向かうことを特徴とする請求項１に記載の赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機。
【請求項4】
前記スライドレールアセンブリは、垂直方向スライドレール、横方向スライドレール、垂直方向スライダ及び横方向スライダを含み、前記横方向スライドレールは、フレームの最上部に固定され、前記横方向スライダは、横方向スライドレールにスライド可能に設置され、前記垂直方向スライドレールは、横方向スライダに固定され、横方向スライドレールと垂直に設置され、前記垂直方向スライダは、垂直方向スライドレールにスライド可能に設置され、前記横方向スライドレールには、横方向スライダを駆動して移動させる第１駆動モータを有し、前記垂直方向スライドレールには、垂直方向スライダを駆動して移動させる第２駆動モータを有し、前記固定フレームは、垂直方向スライダに固定して接続されることを特徴とする請求項１に記載の赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機。
【請求項5】
前記吸引管の一端は、吸引管締結具を介して位置決めスライダに固定されることを特徴とする請求項１に記載の赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機。
【請求項6】
前記導風ケースの上端の断面寸法は、導風ケースの下端の断面寸法より大きいことを特徴とする請求項１に記載の赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機。
【請求項7】
（１）レーザーレーダーが、地図作成、位置決め及び経路計画を行い、走行機構によって茶摘み機全体を計画された経路に従って前進させるステップと、
（２）ファンアセンブリが動作して、導風ケースを介して茶の木の芽の先端の葉身に摂氏４０度の一定温度の熱風を吹き付け、芽の先端の葉身上の汚れを吹き落とし、芽の先端と葉身の加熱温度の差に基づいてサーモグラフィーを利用して新芽を認識するステップと、
（３）ハイパースペクトルイメージングシステムを利用して、サーモグラフィーによって認識された新芽のセルロース含有量を検出し、セルロース含有量に基づいてサーモグラフィーの認識精度を確認し、ハイパースペクトルイメージングシステムによって新芽であると検出された後、ステップ（４）を実行するステップと、
（４）深度カメラを利用して、新芽を認識して位置決めするステップと、
（５）マニピュレータを所定の位置に配置し、レーザー発生器を新芽上の摘み取り点に位置合わせし、次いで吸引管を所定の位置に配置するステップと、
（６）レーザー発生器が新芽を切断するように動作すると同時に、吸引管が切断された新芽を収集ボックス内に吸着するように動作し、新芽の摘み取りを完了し、次いで吸引管、マニピュレータをリセットするステップと、
（７）茶摘み機が走行機構により前進し続け、茶摘み作業がすべて完了するまで、ステップ（２）～（６）を実行し続けるステップとを含むことを特徴とする請求項１～６のいずれか一項に記載の赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機の茶摘み方法。
（２）ファンアセンブリが動作して、導風ケースを介して茶の木の芽の先端の葉身に摂氏４０度の一定温度の熱風を吹き付け、芽の先端の葉身上の汚れを吹き落とし、芽の先端と葉身の加熱温度の差に基づいてサーモグラフィーを利用して新芽を認識するステップと、
（３）ハイパースペクトルイメージングシステムを利用して、サーモグラフィーによって認識された新芽のセルロース含有量を検出し、セルロース含有量に基づいてサーモグラフィーの認識精度を確認し、ハイパースペクトルイメージングシステムによって新芽であると検出された後、ステップ（４）を実行するステップと、
（４）深度カメラを利用して、新芽を認識して位置決めするステップと、
（５）マニピュレータを所定の位置に配置し、レーザー発生器を新芽上の摘み取り点に位置合わせし、次いで吸引管を所定の位置に配置するステップと、
（６）レーザー発生器が新芽を切断するように動作すると同時に、吸引管が切断された新芽を収集ボックス内に吸着するように動作し、新芽の摘み取りを完了し、次いで吸引管、マニピュレータをリセットするステップと、
（７）茶摘み機が走行機構により前進し続け、茶摘み作業がすべて完了するまで、ステップ（２）～（６）を実行し続けるステップとを含むことを特徴とする請求項１～６のいずれか一項に記載の赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機の茶摘み方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、茶園機械の技術分野に関し、具体的には、赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機及び茶摘み方法に関する。
【背景技術】
【0002】
近年、中国の茶産業は急速に発展し、栽培面積が絶えず増加している。茶葉の摘み取りと労働者との矛盾は、現在の茶産業の発展に存在している大きな難題である。茶葉の摘み取り作業は高い要件が求められ、現在では主に手摘みに依存しているが、手摘みは時間と手間がかかり、大面積の茶葉の摘み取りのニーズを満たすことができない。既存の茶摘み機は、摘み取り作業を実行する時に、視覚領域内のすべての茶葉について、古葉と新芽を区別することができず、古葉と新芽が一緒に摘み取られ、古葉と新芽が混在することになり、茶葉全体の品質に影響を与え、その後、手動で選別して分類する必要があり、コスト投入が増加する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の目的は、古葉と新芽を区別し、新芽を摘み取るために用いられる、赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機及び茶摘み方法を提供することである。
【課題を解決するための手段】
【0004】
本発明がその技術的問題を解決するために用いる技術的解決手段は、以下のとおりである。赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機は、フレーム、ファンアセンブリ、スライドレールアセンブリ、認識摘み取りアセンブリ及びマニピュレータを含み、前記フレームの底部には走行機構を有し、前記ファンアセンブリは、ファン駆動モータ、ファン、電熱線、温度センサ及び導風ケースを含み、前記ファン及びファン駆動モータは、フレームの最上部に固定され、前記ファン駆動モータは、ファンを駆動して動作させるために用いられ、前記導風ケースはファンの空気出口に位置し、前記電熱線及び温度センサは導風ケース内に位置し、前記電熱線は、導風ケース内の空気を摂氏４０度に加熱するために用いられ、前記温度センサは、導風ケースの出口の空気温度を検出するために用いられ、前記スライドレールアセンブリはフレームの最上部に位置し、前記認識摘み取りアセンブリは、吸引管、固定フレーム及びマニピュレータを含み、前記固定フレームはスライドレールアセンブリに位置し、前記スライドレールアセンブリを介して固定フレームの垂直方向の移動又は／及び横方向の移動を駆動し、前記固定フレームにはリードスクリューガイドレール、深度カメラ、サーモグラフィー及びハイパースペクトルイメージングシステムを有し、前記サーモグラフィーは、サーモグラフィー像を通じて新芽を認識し、前記ハイパースペクトルイメージングシステムは、サーモグラフィーによって認識された対象物のセルロース含有量を検出して、新芽であるか否かを確認するために用いられ、前記深度カメラは、ハイパースペクトルイメージングシステムによって確認された新芽を認識して位置決めし、前記サーモグラフィー、深度カメラ及びハイパースペクトルイメージングシステムの視線の交点は認識領域であり、前記吸引管の一端は、フレームに位置する収集ボックスに接続され、前記吸引管の他端は、リードスクリューガイドレールの位置決めスライダに固定され、前記吸引管の他端は、位置決めスライダに伴って垂直方向に移動し、前記マニピュレータは、フレームに固定され、前記マニピュレータにはレーザー発生器を有し、前記フレームには制御キャビネットをさらに有し、前記制御キャビネットは、走行機構、ファンアセンブリ、スライドレールアセンブリ、認識摘み取りアセンブリ及びマニピュレータに信号接続され、茶摘み機全体の動作状態を制御する。
【0005】
さらに、前記走行機構は走行ブラケットを含み、前記走行ブラケットには、走行輪と、走行輪を駆動して動作させる走行駆動モータとを有し、前記走行ブラケットの前端には左右に分布し、斜め下向きに設置される２つのレーザーレーダーを有し、前記レーザーレーダーは、地図作成、位置決め及び経路計画を行うために用いられる。
【0006】
さらに、前記フレームには２つのモータ取り付けフレームを有し、各前記モータ取り付けフレームにはそれぞれ１つのファン駆動モータを有し、各前記ファン駆動モータの出力軸には１つのファンを有し、２つの前記ファンの空気出口は導風ケースの上端に接続され、前記導風ケースの下端は認識領域に向かう。
【0007】
さらに、前記スライドレールアセンブリは、垂直方向スライドレール、横方向スライドレール、垂直方向スライダ及び横方向スライダを含み、前記横方向スライドレールは、フレームの最上部に固定され、前記横方向スライダは、横方向スライドレールにスライド可能に設置され、前記垂直方向スライドレールは、横方向スライダに固定され、横方向スライドレールと垂直に設置され、前記垂直方向スライダは、垂直方向スライドレールにスライド可能に設置され、前記横方向スライドレールには、横方向スライダを駆動して移動させる第１駆動モータを有し、前記垂直方向スライドレールには、垂直方向スライダを駆動して移動させる第２駆動モータを有し、前記固定フレームは垂直方向スライダに固定して接続される。
【0008】
さらに、前記吸引管の一端は、吸引管締結具を介して位置決めスライダに固定される。
【0009】
さらに、前記導風ケースの上端の断面寸法は、導風ケースの下端の断面寸法より大きい。
【0010】
本発明は、赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み方法であって、
（１）レーザーレーダーが、地図作成、位置決め及び経路計画を行い、走行機構によって茶摘み機全体を計画された経路に従って前進させるステップと、
（２）ファンアセンブリが動作して、導風ケースを介して茶の木の芽の先端の葉身に摂氏４０度の一定温度の熱風を吹き付け、芽の先端の葉身上の汚れを吹き落とし、芽の先端と葉身の加熱温度の差に基づいてサーモグラフィーを利用して新芽を認識するステップと、
（３）ハイパースペクトルイメージングシステムを利用して、サーモグラフィーによって認識された新芽のセルロース含有量を検出し、セルロース含有量に基づいてサーモグラフィーの認識精度を確認し、ハイパースペクトルイメージングシステムによって新芽であると検出された後、ステップ（４）を実行するステップと、
（４）深度カメラを利用して、新芽を認識して位置決めするステップと、
（５）マニピュレータを所定の位置に配置し、レーザー発生器を新芽上の摘み取り点に位置合わせし、次いで吸引管を所定の位置に配置するステップと、
（６）レーザー発生器が新芽を切断するように動作すると同時に、吸引管が切断された新芽を収集ボックス内に吸着するように動作し、新芽の摘み取りを完了し、次いで吸引管、マニピュレータをリセットするステップと、
（７）茶摘み機が走行機構により前進し続け、茶摘み作業がすべて完了するまで、ステップ（２）～（６）を実行し続けるステップとを含む、赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み方法を提供する。
（１）レーザーレーダーが、地図作成、位置決め及び経路計画を行い、走行機構によって茶摘み機全体を計画された経路に従って前進させるステップと、
（２）ファンアセンブリが動作して、導風ケースを介して茶の木の芽の先端の葉身に摂氏４０度の一定温度の熱風を吹き付け、芽の先端の葉身上の汚れを吹き落とし、芽の先端と葉身の加熱温度の差に基づいてサーモグラフィーを利用して新芽を認識するステップと、
（３）ハイパースペクトルイメージングシステムを利用して、サーモグラフィーによって認識された新芽のセルロース含有量を検出し、セルロース含有量に基づいてサーモグラフィーの認識精度を確認し、ハイパースペクトルイメージングシステムによって新芽であると検出された後、ステップ（４）を実行するステップと、
（４）深度カメラを利用して、新芽を認識して位置決めするステップと、
（５）マニピュレータを所定の位置に配置し、レーザー発生器を新芽上の摘み取り点に位置合わせし、次いで吸引管を所定の位置に配置するステップと、
（６）レーザー発生器が新芽を切断するように動作すると同時に、吸引管が切断された新芽を収集ボックス内に吸着するように動作し、新芽の摘み取りを完了し、次いで吸引管、マニピュレータをリセットするステップと、
（７）茶摘み機が走行機構により前進し続け、茶摘み作業がすべて完了するまで、ステップ（２）～（６）を実行し続けるステップとを含む、赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み方法を提供する。
【発明の効果】
【0011】
本発明の有益な効果は、以下のとおりである。
（１）ファン内の空気を電熱線で４０℃の一定温度に加熱した後、茶の木の茶葉に吹き付けることで、一方では、芽の先端と茶の木の葉身が加熱されて温度差を形成し、他方では、熱風を茶葉に吹き付けて茶葉を揺らして茶葉上の汚れを吹き落とす。
（２）本発明は、まず、サーモグラフィーによって加熱された茶葉の新芽を認識し、次に、ハイパースペクトルイメージングシステムを利用して、茶葉の新芽のセルロース含有量を検出し、二重検出によって新芽を認識して決定する。
（３）本発明は、ディープラーニングを組み合わせて生葉の新芽の摘み取り点を認識し、位置決めし、レーザー発生器で切断し、切断が正確である。
（４）本発明は、茶の木の茶葉の高さに応じて認識摘み取りアセンブリを移動させ、異なる樹冠層高さの茶の木の生葉の新芽を認識して摘み取ることができる。
（１）ファン内の空気を電熱線で４０℃の一定温度に加熱した後、茶の木の茶葉に吹き付けることで、一方では、芽の先端と茶の木の葉身が加熱されて温度差を形成し、他方では、熱風を茶葉に吹き付けて茶葉を揺らして茶葉上の汚れを吹き落とす。
（２）本発明は、まず、サーモグラフィーによって加熱された茶葉の新芽を認識し、次に、ハイパースペクトルイメージングシステムを利用して、茶葉の新芽のセルロース含有量を検出し、二重検出によって新芽を認識して決定する。
（３）本発明は、ディープラーニングを組み合わせて生葉の新芽の摘み取り点を認識し、位置決めし、レーザー発生器で切断し、切断が正確である。
（４）本発明は、茶の木の茶葉の高さに応じて認識摘み取りアセンブリを移動させ、異なる樹冠層高さの茶の木の生葉の新芽を認識して摘み取ることができる。
【図面の簡単な説明】
【0012】
【図1】本発明の立体図である。
【図2】走行機構の正面図である。
【図3】ファンアセンブリの正面図である。
【図4】スライドレールアセンブリの正面図である。
【図5】認識摘み取りアセンブリの立体図である。
【図6】サーモグラフィー、ハイパースペクトルイメージングシステム及び深度カメラの立体位置の概略図である。
【発明を実施するための形態】
【0013】
図１～図９に示すように、本発明は、走行機構１、フレーム２、ファンアセンブリ３、スライドレールアセンブリ４、認識摘み取りアセンブリ５、マニピュレータ６及び制御キャビネット６１を含み、以下、図面を参照しながら本発明を詳細に説明する。
【0014】
図１～図６に示すように、赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み機は、フレーム２、ファンアセンブリ３、スライドレールアセンブリ４、認識摘み取りアセンブリ５及びマニピュレータ６を含み、フレーム２の底部には走行機構１を有し、走行機構１の設置により茶園での茶摘み機全体の移動を実現する。図２に示すように、走行機構１は走行ブラケット１１を含み、走行ブラケット１１には、走行輪１２と、走行輪１２を駆動して動作させる走行駆動モータ１４とを有し、走行ブラケット１１の前端には、左右に分布し、斜め下向きに設置される２つのレーザーレーダー１３を有し、レーザーレーダー１３は、地図作成、位置決め及び経路計画を行うために用いられ、走行輪１２は、レーザーレーダー１３が計画した経路に従って前進する。
【0015】
図１、図３に示すように、ファンアセンブリ３は、ファン駆動モータ３２、ファン３１、電熱線３４、温度センサ３５及び導風ケース３６を含み、ファン３１とファン駆動モータ３２は、フレーム２の最上部に固定され、ファン駆動モータ３２は、ファン３１を駆動して動作させるために用いられ、導風ケース３６は、ファン３１の空気出口に位置し、電熱線３４及び温度センサ３５は、導風ケース３６内に位置し、電熱線３４は、導風ケース３６内の空気を加熱し、導風ケース３６内の空気を摂氏４０度に加熱するために用いられ、温度センサ３５は、導風ケース３６の出口の空気温度を検出するために用いられ、導風ケース３６の出口の空気温度が摂氏４０度より低い場合、電熱線３４の電力を増加させて導風ケース３６の出口の空気温度を上昇させ、導風ケース３６から茶葉に吹き付けられる熱風の温度が摂氏４０度になることを確保する。導風ケース３６の出口の空気温度が摂氏４０度より高い場合、導風ケース３６の出口の空気温度が摂氏４０度に達するまで、電熱線３４の電力を低下させて導風ケース３６の出口の空気温度を低下させる。温度センサ３５及び電熱線３４の協働により、導風ケース３６の出口の空気温度は摂氏４０度に安定する。組み立てを容易にするために、フレーム２には２つのモータ取り付けフレーム３３を有し、各モータ取り付けフレーム３３にはそれぞれ１つのファン駆動モータ３２を有し、各ファン駆動モータ３２の出力軸には１つのファン３１を有し、２つのファン３１の空気出口は導風ケース３６の上端に接続される。このように、導風ケース３６は２つのファン３１の間に位置し、ファン３１が動作する時、導風ケース３６内に空気を吹き込む。ファンアセンブリ３は、摂氏４０度の一定温度の空気を吹き出す役割を果たす。
【0016】
図１に示すように、スライドレールアセンブリ４はフレーム２の最上部に位置し、図５、図６に示すように、認識摘み取りアセンブリ５は、吸引管５１、固定フレーム５３及びマニピュレータ６を含み、固定フレーム５３は、スライドレールアセンブリ４に位置し、スライドレールアセンブリ４を介して固定フレーム５３の垂直方向の移動又は／及び横方向の移動を駆動する。図４に示すように、スライドレールアセンブリ４は、垂直方向スライドレール４２、横方向スライドレール４５、垂直方向スライダ４３及び横方向スライダ４４を含み、横方向スライドレール４５はフレーム２の最上部に固定され、横方向スライダ４４は横方向スライドレール４５にスライド可能に設置され、垂直方向スライドレール４２は、横方向スライダ４４に固定され、横方向スライドレール４５と垂直に設置され、垂直方向スライダ４３は、垂直方向スライドレール４２にスライド可能に設置され、横方向スライドレール４５には、横方向スライダ４４を駆動して移動させる第１駆動モータ４６を有し、垂直方向スライドレール４２には、垂直方向スライダ４３を駆動して移動させる第２駆動モータ４１を有する。第１駆動モータ４６が動作する時、垂直方向スライドレール４２は横方向スライドブロック４４に伴って水平面内を横方向に移動する。第２駆動モータ４１が動作する時、垂直方向スライダ４３は垂直方向スライドレール４２上を垂直方向に移動する。固定フレーム５３は、垂直方向スライダ４３に固定して接続され、これにより、スライドレールアセンブリ４の作用下で固定フレーム５３の垂直方向又は／及び横方向の移動を実現する。
【0017】
図５に示すように、固定フレーム５３には、リードスクリューガイドレール５４、深度カメラ５６、サーモグラフィー５７及びハイパースペクトルイメージングシステム５８を有し、サーモグラフィー５７はサーモグラフィー像を通じて新芽を認識し、ハイパースペクトルイメージングシステム５８は、サーモグラフィーによって認識された対象物のセルロース含有量を検出して、サーモグラフィー５７によって認識された対象物が新芽であるか否かを確認するために用いられ、深度カメラ５６はハイパースペクトルイメージングシステム５８によって確認された新芽を認識して位置決めする。図５に示すように、深度カメラ５６、サーモグラフィー５７及びハイパースペクトルイメージングシステム５８は固定フレーム５３の底部に固定され、深度カメラ５６、サーモグラフィー５７及びハイパースペクトルイメージングシステム５８は順次設置される。深度カメラ５６、サーモグラフィー５７及びハイパースペクトルイメージングシステム５８の視線の交点は認識領域であり、導風ケース３６の下端は認識領域に向かう。導風ケース３６の上端の断面寸法は導風ケース３６の下端の断面寸法より大きく、このように、導風ケース３６の下端から排出される空気の圧力を高めることができる。リードスクリューガイドレール５４は、深度カメラ５６、サーモグラフィー５７及びハイパースペクトルイメージングシステム５８の間に位置し、垂直方向に設置され、リードスクリューガイドレール５４の最上部は固定フレーム５３に固定して接続される。吸引管５１の一端は、フレーム２に位置する収集ボックス６２に接続され、吸引管５１の他端は、リードスクリューガイドレール５４の位置決めスライダに固定され、組み立てを容易にするために、吸引管５１の他端は、吸引管締結具５５を介して位置決めスライダに固定され、これにより、吸引管５１の他端は位置決めスライダに伴って垂直方向に移動することができる。固定フレーム５３にはサーボ５２を有し、サーボ５２は、リードスクリューガイドレール５４上の位置決めスライダを駆動して移動させるために用いられ、これにより、吸引管５１の他端が認識領域に入るように、吸引管５１の他端を駆動して垂直方向に移動させる。マニピュレータ６はフレーム２に固定され、マニピュレータ６にはレーザー発生器５９を有し、これにより、レーザー発生器５９は、切断及び摘み取りの動作を実行するのに適切な位置に到達するまで、マニピュレータ６の駆動下で移動することができる。フレーム２には制御キャビネット６１をさらに有し、制御キャビネット６１は、走行機構１、ファンアセンブリ３、スライドレールアセンブリ４、認識摘み取りアセンブリ５及びマニピュレータ６に信号接続され、茶摘み機全体の動作状態を制御する。
【0018】
本発明は、赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み方法であって、
（１）レーザーレーダー１３が、地図作成、位置決め及び経路計画を行い、走行機構によって茶摘み機全体を計画された経路に従って前進させるステップと、
（２）ファンアセンブリが動作して、導風ケースを介して茶の木の芽の先端の葉身に摂氏４０度の一定温度の熱風を吹き付け、芽の先端の葉身上の汚れを吹き落とし、芽の先端と葉身の加熱温度の差に基づいてサーモグラフィーを利用して新芽を認識するステップと、
（３）図７に示すように、ハイパースペクトルイメージングシステムを利用して、サーモグラフィー５７によって認識された新芽のセルロース含有量を検出し、セルロース含有量に基づいてサーモグラフィーの認識精度を確認し、ハイパースペクトルイメージングシステム５８によって新芽であると検出された後、ステップ（４）を実行するステップと、
（４）深度カメラ５６を利用して、新芽を認識して位置決めするステップと、
（５）制御キャビネット６１がマニピュレータ６及びサーボ５２に信号を送信し、マニピュレータ６を所定の位置に配置し、レーザー発生器５９を新芽上の摘み取り点に位置合わせし、次いでサーボ５２が動作して吸引管５１を所定の位置に配置するステップと、
（６）図８に示すように、レーザー発生器５９が新芽を切断するように動作し、図９に示すように、それと同時に、吸引管５１が切断された新芽を収集ボックス６２内に吸着するように動作し、新芽７の摘み取りを完了し、次いで吸引管５１、マニピュレータ６をリセットするステップと、
（７）茶摘み機が走行機構により前進し続け、茶摘み作業がすべて完了するまで、ステップ（２）～（６）を実行し続けるステップとを含む、赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み方法を提供する。
（１）レーザーレーダー１３が、地図作成、位置決め及び経路計画を行い、走行機構によって茶摘み機全体を計画された経路に従って前進させるステップと、
（２）ファンアセンブリが動作して、導風ケースを介して茶の木の芽の先端の葉身に摂氏４０度の一定温度の熱風を吹き付け、芽の先端の葉身上の汚れを吹き落とし、芽の先端と葉身の加熱温度の差に基づいてサーモグラフィーを利用して新芽を認識するステップと、
（３）図７に示すように、ハイパースペクトルイメージングシステムを利用して、サーモグラフィー５７によって認識された新芽のセルロース含有量を検出し、セルロース含有量に基づいてサーモグラフィーの認識精度を確認し、ハイパースペクトルイメージングシステム５８によって新芽であると検出された後、ステップ（４）を実行するステップと、
（４）深度カメラ５６を利用して、新芽を認識して位置決めするステップと、
（５）制御キャビネット６１がマニピュレータ６及びサーボ５２に信号を送信し、マニピュレータ６を所定の位置に配置し、レーザー発生器５９を新芽上の摘み取り点に位置合わせし、次いでサーボ５２が動作して吸引管５１を所定の位置に配置するステップと、
（６）図８に示すように、レーザー発生器５９が新芽を切断するように動作し、図９に示すように、それと同時に、吸引管５１が切断された新芽を収集ボックス６２内に吸着するように動作し、新芽７の摘み取りを完了し、次いで吸引管５１、マニピュレータ６をリセットするステップと、
（７）茶摘み機が走行機構により前進し続け、茶摘み作業がすべて完了するまで、ステップ（２）～（６）を実行し続けるステップとを含む、赤外線スペクトルによるマルチモーダル認識に基づく新芽茶摘み方法を提供する。
【0019】
本発明の有益な効果は、以下のとおりである。ファン内の空気を電熱線で４０℃の一定温度に加熱した後、茶の木の茶葉に吹き付けることで、一方では、芽の先端と茶の木の葉身が加熱されて温度差を形成し、他方では、熱風を茶葉に吹き付けて茶葉を揺らして茶葉上の汚れを吹き落とす。本発明は、まず、サーモグラフィーによって加熱された茶葉の新芽を認識し、次に、ハイパースペクトルイメージングシステムを利用して、茶葉の新芽のセルロース含有量を検出し、二重検出によって新芽を認識して決定する。本発明は、ディープラーニングを組み合わせて、生葉の新芽の摘み取り点を認識し、位置決めし、レーザー発生器で切断し、切断が正確である。本発明は、茶の木の葉の高さに応じて認識摘み取りアセンブリを移動させ、異なる樹冠層高さの茶の木の生葉の新芽を認識して摘み取ることができる。
【符号の説明】
【0020】
図中：１ 走行機構、１１ 走行ブラケット、１２ 走行輪、１３ レーザーレーダー、１４ 走行駆動モータ、２ フレーム、３ ファンアセンブリ、３１ ファン、３２ ファン駆動モータ、３３ モータ取り付けフレーム、３４ 電熱線、３５ 温度センサ、３６ 導風ケース、４ スライドレールアセンブリ、４６ 第１駆動モータ、４２ 垂直方向スライドレール、４３ 垂直方向スライダ、４４ 横方向スライダ、４５ 横方向スライドレール、４１ 第２駆動モータ、５ 認識摘み取りアセンブリ、５１ 吸引管、５２ サーボ、５３ 固定フレーム、５４ リードスクリューガイドレール、５５ 吸引管係止具、５６ 深度カメラ、５７ サーモグラフィー、５８ ハイパースペクトルイメージングシステム、５９ レーザー発生器、６ マニピュレータ、６１ 制御キャビネット、６２ 収集ボックス、７ 新芽。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】