特表 2022-516898 ハーベスター及びその自動運転方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-03-03

(54)【発明の名称】ハーベスター及びその自動運転方法

(51)【国際特許分類】

   A01B 69/00 20060101AFI20220224BHJP

   G05D 1/02 20200101ALI20220224BHJP

【ＦＩ】

A01B69/00 303M

G05D1/02 N

G05D1/02 K

A01B69/00 301

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021538493

(86)(22)【出願日】2019-09-24

(85)【翻訳文提出日】2021-06-29

(86)【国際出願番号】 CN2019107551

(87)【国際公開番号】W WO2020134236

(87)【国際公開日】2020-07-02

(31)【優先権主張番号】201811638418.X

(32)【優先日】2018-12-29

(33)【優先権主張国・地域又は機関】CN

(31)【優先権主張番号】201822267500.8

(32)【優先日】2018-12-29

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521285193

【氏名又は名称】豊疆智能科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＦＪ ＤＹＮＡＭＩＣＳ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ

【住所又は居所原語表記】Ｎｏ．１， Ｄｏｎｇｆｅｎｇ Ｊｉｎｇｇｕａｎ Ａｖｅｎｕｅ， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｏｇｉｓｔｉｃｓ Ｐａｒｋ， Ｘｉａｎｇｚｈｏｕ Ｄｉｓｔｒｉｃｔ Ｘｉａｎｇｙａｎｇ， Ｈｕｂｅｉ ４４１１００ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】呉 迪

(72)【発明者】

【氏名】王 清泉

(72)【発明者】

【氏名】沈 永泉

(72)【発明者】

【氏名】王 波

(72)【発明者】

【氏名】張 ▲しょう▼

(72)【発明者】

【氏名】童 超

(72)【発明者】

【氏名】范 順

(72)【発明者】

【氏名】陳 睿

【テーマコード（参考）】

2B043

5H301

【Ｆターム（参考）】

2B043AA04

2B043AB01

2B043BA02

2B043BA09

2B043BB12

2B043EA33

2B043EB18

2B043EC12

2B043EC13

2B043EC14

2B043EC15

2B043ED01

2B043EE01

5H301AA03

5H301BB01

5H301CC03

5H301CC06

5H301CC10

5H301GG09

(57)【要約】

ハーベスター及びその自動運転方法であって、前記ハーベスターは、ハーベスター本体（１０）と、少なくとも１つの画像取得装置（２０）と、経路計画システム（６０）と、画像処理システム（３０）とを含む。前記画像取得装置（２０）は、前記ハーベスター本体（１０）に設けられ、前記ハーベスター本体（１０）の周囲の画像を撮影し、前記画像処理システム（３０）は、前記画像取得装置（２０）によって撮影された画像に基づいて前記画像中の農地情報を認識し、前記ハーベスター本体（１０）は、前記画像処理システム（３０）によって認識された前記農地情報に基づいて、運転を自動的に制御し、前記経路計画システム（６０）は、前記画像処理システム（３０）によって認識された前記農地情報に基づいて、少なくとも１つの走行計画経路を計画し、前記ハーベスター本体（１０）は、前記経路計画システム（６０）により計画された前記走行計画経路に従って運転を制御する。

【特許請求の範囲】

【請求項1】

ハーベスター本体と、
前記ハーベスター本体に設けられ、前記ハーベスター本体の周囲の画像を撮影する少なくとも１つの画像取得装置と、
前記画像取得装置によって撮影された画像に基づいて映像中の農地情報を認識する画像処理システムと、を含み、
前記ハーベスター本体は、前記画像処理システムによって認識された前記農地情報に基づいて運転を自動的に制御する、ことを特徴とするハーベスター。

【請求項2】

前記画像処理システムによって認識された前記農地情報に基づいて、少なくとも１つの走行計画経路を計画する経路計画システムをさらに含み、
前記ハーベスター本体は、前記経路計画システムにより計画された前記走行計画経路に従って運転を制御する、請求項１に記載のハーベスター。

【請求項3】

前記画像処理システムは、画像分割認識技術を用いて前記画像中の農地の情報を認識し、認識した情報に基づいて前記画像中の農地領域を計画する、請求項２に記載のハーベスター。

【請求項4】

前記画像処理システムが画像分割認識技術を用いて前記画像中の農作物情報を認識することによって、前記ハーベスター本体が認識された情報に基づいて作業パラメータを自動的に調整する、請求項３に記載のハーベスター。

【請求項5】

前記画像取得装置は、振れ防止雲台撮像装置であり、前記ハーベスター本体に搭載され、前記ハーベスター本体の位置を基準として、前記ハーベスター本体の周囲の画像を写真撮影する、請求項１に記載のハーベスター。

【請求項6】

前記画像取得装置は、振れ防止雲台撮像装置であり、前記ハーベスター本体に搭載され、前記ハーベスター本体の位置を基準として、前記ハーベスター本体の周囲の画像を写真撮影する、請求項４に記載のハーベスター。

【請求項7】

前記画像取得装置は、機械的振れ防止雲台装置であり、雲台と少なくとも１つのビデオカメラとを含み、前記雲台により前記ビデオカメラが前記ハーベスター本体に取り付けられ、前記ビデオカメラは、前記雲台に設けられ、平衡状態を維持するように、前記雲台を介して支持される、請求項６に記載のハーベスター。

【請求項8】

前記画像取得装置は、電子雲台装置であり、レンズの視点及びズームを制御し、それにより、前記画像取得装置のレンズの撮影振れを防止する、請求項６に記載のハーベスター。

【請求項9】

前記画像取得装置は、前記ハーベスター本体の前部、前記ハーベスター本体の最上部、前記ハーベスター本体の左側、右側、又は前記ハーベスター本体の後部に設けられる、請求項７に記載のハーベスター。

【請求項10】

前記画像取得装置は、前記ハーベスター本体の前部、前記ハーベスター本体の最上部、前記ハーベスター本体の左側、右側、又は前記ハーベスター本体の後部に設けられる、請求項８に記載のハーベスター。

【請求項11】

前記画像処理システムは、
前記画像を複数のピクセル領域に分割し、各前記ピクセル領域が少なくとも１つの画素ユニットを含む画像分割モジュールと、
前記ピクセル領域の前記画素ユニットに基づいて前記ピクセル領域のそれぞれに対応する特徴を抽出する特徴化モジュールと、
前記ピクセル領域の特徴に基づいて前記画像の領域を認識して区画する領域区画モジュールと、を含む、請求項３に記載のハーベスター。

【請求項12】

前記画像処理システムは、
前記画像を複数のピクセル領域に分割し、各前記ピクセル領域が少なくとも１つの画素ユニットを含む画像分割モジュールと、
前記ピクセル領域の前記画素ユニットに基づいて前記ピクセル領域のそれぞれに対応する特徴を抽出する特徴化モジュールと、
前記ピクセル領域の特徴に基づいて前記画像の領域を認識して区画する領域区画モジュールと、をさらに含む、請求項４に記載のハーベスター。

【請求項13】

測位装置と、ナビゲーションシステムとをさらに含み、前記測位装置及び前記ナビゲーションシステムは、前記ハーベスター本体に設けられ、前記測位装置は、前記ハーベスター本体の位置情報を取得し、前記ナビゲーションシステムは、穀物処理本体にナビゲーション情報を提供する、請求項３に記載のハーベスター。

【請求項14】

前記経路計画システムは、
前記農地の境界領域を設定して前記農地の作業領域及び作業境界を得る作業領域設定モジュールと、
走行経路計画モジュールと、をさらに含み、
前記画像処理システムは、前記ハーベスター本体の測位情報に基づいて、前記画像の領域計画情報、及び前記ナビゲーションシステムのナビゲーション情報を認識し、少なくとも１つの走行計画経路を得る、請求項１３に記載のハーベスター。

【請求項15】

前記ハーベスター本体は、車両本体と、前記車両本体に設けられる少なくとも１つの作業システムと、運転制御システムとを含み、前記車両本体は、前記作業システムを駆動して運転させ、前記運転制御システムは、前記車両本体の運転及び前記作業システムの作業パラメータを制御する、請求項１に記載のハーベスター。

【請求項16】

前記運転制御システムは、前記画像処理システムによって認識され前記画像取得装置によって撮影された画像の情報を取得し、前記車両本体の走行経路を自動的に制御し、前記作業システムの作業パラメータを制御することで、無人自動運転及び刈り作業を実現する、請求項１５に記載のハーベスター。

【請求項17】

ハーベスターの自動運転方法において、
少なくとも１つの画像を取得し、前記画像中の農地領域及び農地境界を認識するステップ（ａ）と、
認識情報に基づいて、少なくとも１つの走行計画経路を計画するステップ（ｂ）と、
ハーベスター本体を制御して前記走行計画経路に従って自動的に走行させるステップ（ｃ）と、を含む、ことを特徴とするハーベスターの自動運転方法。

【請求項18】

前記ステップ（ａ）は、前記画像中の農地内の農作物に対応する情報を認識するステップをさらに含み、前記農作物の情報は、農作物種類、農作物の高さ、実の充実度などの情報を含む、請求項１７に記載の自動運転方法。

【請求項19】

前記ステップ（ｂ）は、
前記画像の農地に対応する領域及び境界を認識・区画するステップ（ｂ．１）と、
認識された前記領域に基づいて、少なくとも１つの走行計画経路を計画するステップ（ｂ．２）と、をさらに含む、請求項１７に記載の自動運転方法。

【請求項20】

前記ステップ（ｂ．１）は、
画像分割技術を用いて前記画像を分割し、前記画像の領域を認識・区画するステップをさらに含む、請求項１９に記載の自動運転方法。

【請求項21】

前記ステップ（ｂ）では、画像処理システムは、画像分割技術を用いて前記画像情報を分割し、前記画像の領域を、未作業領域、作業済み領域、及び農地境界領域に認識・区画する、請求項１７に記載の自動運転方法。

【請求項22】

前記ステップ（ｂ．１）は、
前記画像を複数のピクセル領域に分割し、前記ピクセル領域の画素値をアレイに正規化するステップと、
アレイのそれぞれに対応する前記ピクセル領域の特徴を抽出するステップと、
前記ピクセル領域に対応する特徴に基づいて、前記画像の分類ラベルを出力するステップと、をさらに含む、請求項２０に記載の自動運転方法。

【請求項23】

前記ステップ（ｂ．２）は、前記ハーベスター本体の測位情報、前記画像の領域計画情報、及びナビゲーションシステムのナビゲーション情報に基づいて、前記走行計画経路を計画するステップをさらに含む、請求項２２に記載の自動運転方法。

【請求項24】

画像処理システムによって認識された領域区画及び領域境界範囲が前の領域境界範囲と一致するか否かを比較し、一致しない場合、前記画像に対応する領域区画及び領域境界範囲を調整し、一致する場合、領域区画及び境界範囲を不変に維持するステップ（ｂ．３）をさらに含む、請求項２３に記載の自動運転方法。

【請求項25】

前記画像の認識情報に基づいて、前記ハーベスター本体の作業システムの作業パラメータを調整するステップ（ｄ）をさらに含む、請求項１７に記載の自動運転方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、農業機械の自動運転の分野に関し、特にハーベスター及びその自動運転方法に関する。

【背景技術】

【0002】

ハーベスターは、稲、麦などの農作物の実及び藁を収穫する作物収穫機械であり、また、草刈り機、野菜や果物などの他の農作物を収穫する機械設備を含む。穀物ハーベスターは、農作物を刈る一体化機械であり、１回の作業によって、刈り、脱穀を行い、穀物を貯蔵室に集めてから、コンベアを介して搬送車に輸送することができる。果物や野菜類の収穫機械は、１回の作業によって、農地内の野菜や果物を刈り、収穫し果実を茎と分離処理し、次に分類処理を行うことができる。

【0003】

ハーベスターは、収穫作業の実行時に、農作物の高さ、成熟状況、実の充実度などの状況に応じて、前記ハーベスターの作業パラメータを調整するように、圃場における農作物と圃場作業エリアとを常に観察する必要がある。農業機械設備が農地内において作業する時に、農地の作業状況及び農地内の作物の成長状況をリアルタイムに判断し、農業機械設備の運転を操作し、作業システムの複雑な運転状況を調整する必要がある。現在、専門技術を持つ機械操作者しか行うことができない。農業機械設備は、農地内において作業する時に、農地の作業済み領域、未作業領域、及び境界範囲などの多くの要素を配慮して、作業時には、農作物の状況に応じて車両の運転をリアルタイムに調整し、作業のパラメータを調整する必要がある。運転中において、複雑な作業環境を考慮する必要があるため、従来技術の農業機械は、操作者がリアルタイムな農地作物の情報に応じて前記農業機械設備の運転を調整する必要がある。手動で操作することで、前記農業機械設備の作業を制御すると、判断誤差が生じる確率が高く、機械設備が作業中において故障する確率が高い。

【0004】

この従来技術のハーベスターに、以下の少なくとも１つの欠陥が存在する。先ず、ハーベスターは、作業時に、ハーベスター本体自体の振動及び農地土地の凹凸により、前記ハーベスター本体が上下に揺れるため、前記ハーベスター本体に設けられたカメラ装置が安定した位置の画像を撮影できなくなってしまう。従って、前記撮像装置によって取得された画像は、ぼやけており、インテリジェント作業及び自動運転に情報支援を提供することができない。また、従来技術の撮像装置は、前記ハーベスター本体に固定して取り付けられるように設けられ、単一方向の画像、例えば、前記ハーベスターの前方の画像しか取得できず、状況に応じて前記撮像装置の撮影方向及び位置を調整することができない。また、従来技術の移動撮像装置又は固定撮像装置、例えば、無人機の撮像装置又は農地に固定される撮像装置は、前記ハーベスターの周囲の画像を撮影した後に前記ハーベスター本体に伝送し、前記ハーベスター本体が前記撮像装置によって撮影された画像を読み取る。画像撮影がよく映らない問題はある程度解決されたが、画像は、撮像装置自体又は無人機の位置を基準として撮影され、前記ハーベスター自体の視点から画像を取得することはできない。従って、取得された画像はよく認識されない。

【0005】

従来技術の農業機械設備は、作業時に、通常、設定された作業経路の不正確さにより、作業に誤差が生じ、ひいては機械故障に至る。また、ＰＴＫを用いる衛星測位は、農業機械に対する性能要求が高く、必要な製造コストとメンテナンスコストが比較的高いため、このような従来の自動運転の測位方式は、従来の農業機械設備の自動運転モードには適用されない。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の１つの主な利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターは、撮影した少なくとも１つの視覚的画像に基づいて、前記画像中の農地領域を認識する。

【0007】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターは、撮影した少なくとも１つの視覚的画像に基づいて前記画像中の作物の種類、高さ、成熟状況などの作物情報を認識する。

【0008】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターは、前記視覚的画像に基づいて前記視覚的画像中の未作業領域、作業済み領域、及び農地境界領域を認識することで、認識した前記領域に基づいて、ハーベスターの走行経路を制御する。

【0009】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターは、前記視覚的画像に基づいて前記画像中の作物の情報を認識し、前記画像中の認識情報に基づいてハーベスターの作業パラメータを調整し、前記ハーベスターの作業品質、効率を向上させる。

【0010】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターの画像取得装置は、雲台撮像装置であり、前記雲台撮像装置は、振れ防止撮影機能を有し、前記ハーベスターが視覚的画像を取得する精度、安定性を向上させる。

【0011】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記画像取得装置は、前記ハーベスターのハーベスター本体に設けられ、前記ハーベスターは、前記画像取得装置によって、前記ハーベスター本体の周囲の画像を撮影する。

【0012】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記画像取得装置は、前記ハーベスターのハーベスター本体に設けられ、前記画像取得装置は、前記ハーベスター本体に設けられ、前記ハーベスター本体の視野位置を基準として、少なくとも１つの視覚的画像又は視覚的映像を撮影することで、撮影した映像情報に基づいて前記ハーベスター本体の周囲の情報を認識する。

【0013】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記画像取得装置は、前記ハーベスター本体の位置を基準として、調整されながら、異なる角度及び異なる方向の画像を撮影することで、前記ハーベスター本体の異なる方向の画像を取得する。

【0014】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記画像取得装置は、機械雲台カメラ又は電子雲台カメラであり、前記画像取得装置によって前記視覚的画像の安定性が向上される。

【0015】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターの経路計画システムは、現在の車両の測位情報、画像処理システムによって認識された情報及びナビゲーションシステムの情報に基づいて経路を自動的に計画する。

【0016】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターは、前記視覚的画像によって認識された前記領域に基づいて、前記ハーベスターの走行経路及び作業経路を計画する。

【0017】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターの画像取得装置は、周囲の農地の前記視覚的画像をリアルタイムに取得し、前記ハーベスター計画の経路ナビゲーション情報をリアルタイムに更新する。

【0018】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターは、前記画像取得装置によって画像をリアルタイムに撮影し、前記視覚的画像中の前記領域を認識し、領域の変化に応じて、前記ハーベスターの作業経路をリアルタイムに更新又は調整し、前記ハーベスターの作業品質を向上させる。

【0019】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターの前記画像処理システムは、取得された前記視覚的画像情報に基づいて、画像分割技術を用いて画像中の前記未作業領域、前記作業済み領域、及び前記農地境界領域を認識し、隣接する２つの領域の境界を分割する。

【0020】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターの前記画像処理システムが取得された前記視覚的画像情報に基づいて、画像分割技術を用いて画像中の農作物の種類、高さ、実の充実度などの植物情報を認識することで、前記ハーベスターの作業システムが農作物の情報に基づいて作業パラメータを調整する。

【0021】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターの前記画像処理システムが取得された画像情報に基づいて前記画像中の領域境界を認識することで、前記経路計画システムが認識された前記領域境界に基づいて車両走行経路を計画する。

【0022】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターにとって、高精度な衛星測位が不要であり、自動運転機械の生産製造難度を低減させるとともに、機械のメンテナンスコストを低減させる。

【0023】

本発明の別の利点は、ハーベスター及びその自動運転方法を提供することであり、前記ハーベスターは、前記画像処理システムによって出力された領域分割情報に基づいて、経路計画を行うことで、自動運転及び自動運転作業を実現する。

【0024】

本発明の他の利点及び特徴は、以下の詳細な説明にて、十分に示され、添付の特許請求の範囲に特に示された手段及び装置の組み合わせによって実現される。

【課題を解決するための手段】

【0025】

本発明の一態様によれば、前述目的、その他の目的及び利点を実現できる本発明のハーベスターであって、
ハーベスター本体と、
前記ハーベスター本体に設けられ、前記ハーベスター本体の周囲の画像を撮影する少なくとも１つの画像取得装置と、
前記画像取得装置によって撮影された画像に基づいて前記映像中の農地情報を認識する画像処理システムと、を含み、
前記ハーベスター本体は、前記画像処理システムによって認識された前記農地情報に基づいて運転を自動的に制御する。

【0026】

本発明の一実施例によれば、前記ハーベスターは、前記画像処理システムによって認識された前記農地情報に基づいて、少なくとも１つの走行計画経路を計画する経路計画システムをさらに含み、前記ハーベスター本体は、前記経路計画システムにより計画された前記走行計画経路に従って運転を制御する。

【0027】

本発明の一実施例によれば、前記画像処理システムは、画像分割認識技術を用いて前記画像中の農地の情報を認識し、認識した情報に基づいて前記画像中の農地領域を計画する。

【0028】

本発明の一実施例によれば、前記画像処理システムが画像分割認識技術を用いて前記画像中の農作物情報を認識することによって、前記ハーベスター本体が認識された情報に基づいて作業パラメータを自動的に調整する。

【0029】

本発明の一実施例によれば、前記画像取得装置は、振れ防止雲台撮像装置であり、前記ハーベスター本体に搭載され、前記ハーベスター本体の位置を基準として、前記ハーベスター本体の周囲の画像を写真撮影する。

【0030】

本発明の一実施例によれば、前記画像取得装置は、機械的振れ防止雲台装置であり、雲台と少なくとも１つのビデオカメラとを含み、前記雲台により前記ビデオカメラが前記ハーベスター本体に取り付けられ、前記ビデオカメラは、前記雲台に設けられ、平衡状態を維持するように、前記雲台を介して支持される。

【0031】

本発明の一実施例によれば、前記画像取得装置は、電子雲台装置であり、レンズの視点及びズームを制御し、それにより、前記画像取得装置のレンズの撮影振れを防止する。

【0032】

本発明の一実施例によれば、前記画像取得装置は、前記ハーベスター本体の前部、前記ハーベスター本体の最上部、前記ハーベスター本体の左側、右側、又は前記ハーベスター本体の後部に設けられる。

【0033】

本発明の一実施例によれば、前記画像処理システムは、
前記画像を複数のピクセル領域に分割し、各前記ピクセル領域が少なくとも１つの画素ユニットを含む画像分割モジュールと、
前記ピクセル領域の前記画素ユニットに基づいて、ピクセル領域のそれぞれに対応する特徴を抽出する特徴化モジュールと、
前記ピクセル領域の特徴に基づいて前記画像の領域を認識して区画する領域区画モジュールと、をさらに含む。

【0034】

本発明の一実施例によれば、前記ハーベスターは、測位装置と、ナビゲーションシステムとをさらに含み、前記測位装置及び前記ナビゲーションシステムは、前記ハーベスター本体に設けられ、前記測位装置は、前記ハーベスター本体の位置情報を取得し、前記ナビゲーションシステムは、前記穀物処理本体にナビゲーション情報を提供する。

【0035】

本発明の一実施例によれば、前記経路計画システムは、
前記農地の境界領域を設定して前記農地の作業領域及び前記作業境界を得る作業領域設定モジュールと、
走行経路計画モジュールと、をさらに含み、前記画像処理システムは、前記前記ハーベスター本体の測位情報に基づいて、前記画像の領域計画情報、及び前記ナビゲーションシステムのナビゲーション情報を認識し、少なくとも１つの走行計画経路を得る。

【0036】

本発明の一実施例によれば、前記ハーベスター本体は、車両本体と、前記車両本体に設けられる少なくとも１つの作業システムと、運転制御システムとを含み、前記車両本体は、前記作業システムを駆動して運転させ、前記運転制御システムは、前記車両本体の運転及び前記作業システムの作業パラメータを制御する。

【0037】

本発明の一実施例によれば、前記運転制御システムは、前記画像処理システムによって認識され前記画像取得装置によって撮影された画像の情報を取得し、前記車両本体の走行経路を自動的に制御し、前記作業システムの作業パラメータを制御することで、無人自動運転及び刈り作業を実現する。

【0038】

本発明の他の態様によれば、本発明は、ハーベスターの自動運転方法をさらに提供し、前記自動運転方法は、
少なくとも１つの画像を取得し、前記画像中の農地領域及び農地境界を認識するステップ（ａ）と、
前記認識情報に基づいて、少なくとも１つの走行計画経路を計画するステップ（ｂ）と、
前記ハーベスター本体を制御して前記走行計画経路に従って自動的に走行させるステップ（ｃ）と、を含む。

【0039】

本発明の一実施例によれば、上記自動運転方法のステップ（ａ）は、前記画像中の農地内の農作物に対応する情報を認識するステップをさらに含み、前記農作物の情報は、農作物種類、農作物の高さ、実の充実度などの情報を含む。

【0040】

本発明の一実施例によれば、上記自動運転方法ステップ（ｂ）は、
前記画像の農地に対応する領域及び境界を認識・区画するステップ（ｂ．１）と、
認識された前記領域に基づいて、少なくとも１つの走行計画経路を計画するステップ（ｂ．２）と、をさらに含む。

【0041】

本発明の一実施例によれば、上記自動運転方法のステップ（ｂ．１）は、画像分割技術を用いて前記画像を分割し、前記画像の領域を認識・区画するステップをさらに含む。

【0042】

本発明の一実施例によれば、上記自動運転方法のステップ（ｂ）では、前記画像処理システムは、画像分割技術を用いて前記画像情報を分割し、前記画像の領域を、前記未作業領域、前記作業済み領域、及び前記農地境界領域に認識・区画する。

【0043】

本発明の一実施例によれば、前記自動運転方法のステップ（ｂ．１）は、
前記画像を複数の前記ピクセル領域に分割し、前記ピクセル領域の画素値をアレイに正規化するステップと、
アレイのそれぞれに対応する前記ピクセル領域の特徴を抽出するステップと、
前記ピクセル領域に対応する特徴に基づいて、前記画像の分類ラベルを出力するステップと、をさらに含む。

【0044】

本発明の一実施例によれば、上記自動運転方法のステップ（ｂ．２）は、前記ハーベスター本体の測位情報、前記画像の領域計画情報、及び前記ナビゲーションシステムのナビゲーション情報に基づいて、前記走行計画経路を計画するステップをさらに含む。

【0045】

本発明の一実施例によれば、上記自動運転方法は、前記画像処理システムによって認識された領域区画及び領域境界範囲が前の領域境界範囲と一致するか否かを比較し、一致しない場合、前記画像に対応する領域区画及び領域境界範囲を調整し、一致する場合、領域区画及び境界範囲を不変に維持するステップ（ｂ．３）をさらに含む。

【0046】

本発明の一実施例によれば、上記自動運転方法は、前記画像の認識情報に基づいて、前記ハーベスター本体の作業システムの作業パラメータを調整するステップ（ｄ）をさらに含む。

【0047】

以下の説明及び図面についての理解を通して、本発明のさらなる目的及び利点は、十分に示される。

【0048】

本発明のこれら目的、他の目的、特徴及び利点は、以下の詳細な説明、図面及び特許請求の範囲を通して十分に示される。

【図面の簡単な説明】

【0049】

【図1】本発明の第１の好適な実施例によるハーベスターのシステムの模式図である。

【図2】本発明の上記好適な実施例による前記ハーベスターが画像を取得する模式図である。

【図3A】本発明の上記好適な実施例による前記ハーベスターによって取得された１つの画像の模式図である。

【図3B】本発明の上記好適な実施例による前記ハーベスターによって取得された別の画像の模式図である。

【図3C】本発明の上記好適な実施例による前記ハーベスターによって取得された別の画像の模式図である。

【図4】本発明の上記好適な実施例による前記ハーベスターの画像処理システムが前記画像領域を分割して認識する模式図である。

【図5A】本発明の上記好適な実施例による前記ハーベスターの前記画像処理システムが前記画像領域を分割する模式図である。

【図5B】本発明の上記好適な実施例による前記ハーベスターの前記画像処理システムのブロック図である。

【図6】本発明の上記好適な実施例による前記ハーベスターの前記画像処理システムが前記画像領域特徴を抽出して認識する模式図である。

【図7】本発明の上記好適な実施例による前記ハーベスターの前記画像処理システムによって出力された前記画像の領域分割の模式図である。

【図8】本発明の上記好適な実施例による前記ハーベスターの前記画像処理システムによって出力された前記画像の領域分割の境界線の分割変化の模式図である。

【図9】本発明の上記好適な実施例による前記ハーベスターの自動運転シーンの模式図である。

【図10】本発明の上記好適な実施例による前記ハーベスターの経路計画システムの模式図である。

【図11A】本発明の上記好適な実施例による前記ハーベスターの前記経路計画システムによって生成された農地経路の計画模式図である。

【図11B】本発明の上記好適な実施例による前記ハーベスターの前記経路計画システムが走行経路を調整する模式図である。

【図12】本発明の第２の好適な実施例による画像取得装置付きのハーベスターの全体構造の模式図である。

【図13】本発明の上記好適な実施例による前記ハーベスターの前記画像取得装置が画像を撮影する模式図である。

【図14】本発明の上記好適な実施例による前記ハーベスターの前記画像取得装置の構造模式図であり、前記画像取得装置は、機械雲台装置として実施される。

【図15】本発明の上記好適な実施例による前記ハーベスターの前記画像取得装置の取り付け位置の模式図である。

【図16A】本発明の上記好適な実施例による前記ハーベスターの画像処理システムが前記画像取得装置によって撮影された画像中の農地領域を認識する模式図である。

【図16B】本発明の上記好適な実施例による前記ハーベスターの画像処理システムが前記画像取得装置によって撮影された画像中の農作物を認識する模式図である。

【図17】本発明の上記好適な実施例による前記ハーベスターの前記画像取得装置の別の任意選択的な実施の形態の模式図であり、前記画像取得装置は、電子雲台装置として実施される。

【発明を実施するための形態】

【0050】

以下の説明は、当業者が本発明を実施できるように、本発明を開示するために使用される。以下の説明における好ましい実施形態は単なる例であり、当業者は他の明白な変形を想到することができる。以下の説明で定義される本発明の基本原理は、他の実施形態、変形形態、改善形態、同等形態、及び本発明の精神及び範囲から逸脱しない他の技術的解決策に適用することができる。

【0051】

当業者は、本発明の説明において、「縦方向」、「横方向」、「上」、「下」、「前」、「後」、「左」、「右」、「垂直」、「水平」、「頂」、「底」、「内」、「外」などのような用語により示される方位又は位置関係は、図面に示される方位又は位置関係に基づくものであり、本発明の説明及び記載の簡単化のために過ぎず、示される装置又は要素が特定方位を有したり、特定方位で構成又は操作されたりすることを指示又は示唆するものではなく、よって、上記用語は、本発明対する限定としては理解されない。

【0052】

「１つ」という用語は、「少なくとも１つ」または「１つまたは複数」として理解されるべきである。すなわち、一実施形態では、要素の数は１であり得る、そして別の実施形態では、要素の数は複数にすることができ、「１つ」という用語は数の制限として理解することはできない。

【0053】

本発明の明細書の添付図面の図１～図９を参照すると、本発明の第１の好適な実施例によるハーベスター及びその自動運転方法は、以下の説明に開示されて記載され、前記ハーベスターは、穀物処理機能を有する農作物ハーベスター機械、野菜、果物収穫機械、草刈機械、及びその他の種類の刈り装置などとして実施されてもよい。本発明に記載のハーベスターのタイプは、例示的なものに過ぎず、限定するものではないことが理解され得る。前記ハーベスターは、周囲の少なくとも１つの画像を取得し、前記画像中の農地領域タイプを視覚的に認識処理し、前記画像中の農地の各種の領域のタイプ及び境界を分割する。

【0054】

前記ハーベスターにより分割された農地の領域タイプは、少なくとも１つの作業済み領域１００と、少なくとも１つの未作業領域２００と、少なくとも１つの農地境界領域３００とを含み、前記ハーベスターにより分割された領域タイプに基づいて、ナビゲーションシステムが車両の走行経路を計画し、無人自動運転及び無人自動運転作業を実現する。

【0055】

なお、自動運転自動車が自動運転モードで車両の走行経路を認識して取得するには、正確な車両測位情報を取得する必要があり、通常、高精度な衛星測位情報を必要とし、前記自動運転自動車が高速運転状態で自動運転機能を実現するには、道路に存在する障害物情報、道路車両情報、及び道路通行人などの情報を常に更新する必要がある。本発明の前記ハーベスターによって取得された画像は、農地内の農作物穀物に対応する画像データ情報であり、前記画像は、車両の現在位置を基準として取得された前記車両の周辺の画像である。前記ハーベスターにとっては、超高精度な衛星測位情報を不要とし、一般的なメートルレベル精度の衛星測位（ＧＰＳ測位又は北斗測位など）のみがあればよい。よって、前記ハーベスターによって取得されて処理された画像は、自動運転自動車と異なるため、前記ハーベスターによって形成された経路計画及び運転モードも同じではない。本発明の前記ハーベスターが前記農地の領域を視覚的に認識する機能及び自動運転機能は、自動運転自動車の認識モードと異なることが理解され得る。

【0056】

図１及び図２に示すように、前記ハーベスターは、周辺の少なくとも１つの画像を取得し、取得した前記画像に基づいて認識し、前記農地に対応する領域タイプ及び領域間の境界線を分割する。前記ハーベスターは、固定点の写真撮影、ビデオ撮像、移動中の写真撮影などにより、前記ハーベスターの周辺の前記画像を取得する。前記ハーベスターが画像を取得する形態は、例示的なものに過ぎず、限定するものではないことが理解され得る。前記ハーベスターは、ハーベスター本体１０と少なくとも１つの画像取得装置２０とを含み、前記画像取得装置２０は、前記ハーベスター本体１０の周辺の少なくとも１つの画像を取得する。

【0057】

好ましくは、前記画像取得装置２０は、前記ハーベスター本体１０に設けられ、写真を撮影するか又はビデオを撮影することで、前記ハーベスター本体１０の周辺の前記画像を取得する。さらに好ましくは、前記画像取得装置２０は、前記ハーベスター本体１０の前方に設けられ、前記ハーベスター本体１０の前方の画像をリアルタイムに取得することができ、前記ハーベスター本体１０は、前記画像取得装置２０によって撮影された画像情報から認識して分割された領域に基づいて、走行経路を設定する。なお、前記画像取得装置２０によって撮影された画像は、前記ハーベスター本体１０の視野範囲内の画像である。つまり、前記画像取得装置２０は、ハーベスター本体１０の視野方向の画像を取得し、前記ハーベスター本体１０に取り付けられた取り付け位置に応じて、前記ハーベスター本体１０の走行方向を調整する。

【0058】

また、前記画像取得装置２０は、前記ハーベスター本体１０の走行方向での天地の視野を撮影し、前記画像は、撮影された二次元平面画像又は三次元立体画像であってもよい。前記画像取得装置２０によって撮影された画像のタイプは、例示的なものに過ぎず、限定するものではないことが理解され得る。

【0059】

なお、本発明の第１の好適な実施例では、前記ハーベスター本体１０は、穀物ハーベスター機械として実施され、制御されながら、農地の未作業領域２００まで走行して刈り作業を行い、前記未作業領域２００内の水稲、コムギ、トウモロコシなどの農作物を刈る。前記ハーベスター本体１０は、前記画像取得装置２０によって取得された画像から分割された領域に基づいて畑において自動運転し、無人自動運転を行う。前記ハーベスター本体１０のタイプは、例示的なものに過ぎず、限定するものではないことが理解され得る。

【0060】

図３Ａ～図３Ｃに示すように、前記画像取得装置２０は、前記ハーベスター本体１０の走行中において、前記ハーベスター本体１０の周辺の画像をリアルタイムに取得する。図３Ａは、前記ハーベスター本体１０が穀物ハーベスターである場合、前記画像取得装置２０によって撮影された前記画像を示す。前記穀物が収穫されたか否かに応じて、農地内の領域を少なくとも１つの未刈取領域１００ａと、少なくとも１つの刈取済領域２００ａと、少なくとも１つの農地境界領域３００ａとに分割し、前記刈取済領域２００ａは、農作物が刈られた領域であり、前記刈取済領域２００ａ内の元の農作物が刈られた。前記未刈取領域１００ａは、農作物が生きている領域であり、前記未刈取領域１００ａには、農作物が成長している。前記農地境界領域３００ａは、農地内に、農作物を仕切りする畝、農地の周辺の外境界、及び農地内に存在する障害物領域であり、前記農地境界領域３００ａには、農作物が植えられていない。

【0061】

図３Ｂは、前記ハーベスター本体１０が草刈機械である場合、前記画像取得装置２０によって撮影された前記画像を示す。前記穀物が植えられているか否かに応じて、農地内の領域を少なくとも１つの未刈取領域１００ｂと、少なくとも１つの刈取済領域２００ｂと、少なくとも１つの農地境界領域３００ｂとに分割し、前記未刈取領域１００ｂは、農作物が刈られていない領域を表し、前記刈取済領域２００ｂは、農作物が植えられた領域を表し、前記農地境界３００ｂは、植えられた農作物を仕切りする畝、農地の周辺の外境界、及び農地内に存在する障害物領域である。

【0062】

図３Ｃは、前記ハーベスター本体１０が根茎類植物又は果物の収穫機械、例えば、野菜ハーベスター機械である場合、前記画像取得装置２０によって撮影された前記画像を示す。前記穀物に薬液がスプレーされたか否かに応じて、農地内の領域を少なくとも１つの未収穫領域１００ｃと、少なくとも１つの収穫済み領域２００ｃと、少なくとも１つの農地境界領域３００ｃとに分割する。前記未収穫領域１００ｃは、農作物が収穫されていない領域を表し、前記収穫済み領域２００ｃは、収穫済みの農作物領域を表し、前記農地境界３００ｂは、植えられた農作物を仕切りする畝、農地の周辺の外境界、及び農地内に存在する障害物領域である。

【0063】

図１及び図４に示すように、前記画像取得装置２０によって取得された画像から、画像分割認識技術を用いて前記未作業領域１００、前記作業済み領域２００、及び前記農地境界領域３００が認識され、前記領域間の境界線が区別される。前記ハーベスターは、画像処理システム３０をさらに含み、前記画像処理システム３０は、前記画像取得装置２０によって取得された前記農地の前記画像に基づいて、画像分割認識技術を用いて画像から前記未作業領域１００、前記作業済み領域２００、及び前記農地境界領域３００を認識する。

【0064】

前記画像処理システム３０は、画像分割認識技術を用いて前記画像中の領域及び境界を、前記ハーベスター本体１０の走行前方の前記農地の領域及び境界として認識することが理解され得る。前記ハーベスター本体１０は、前記画像処理システム３０によって画像分割認識技術で認識した前記領域及び境界に基づいて、制御されながら、農地内の未作業領域を走行して作業する。例えば、前記ハーベスター機械の前端に設けられた前記画像取得装置２０によって、ハーベスター機械の前方の農地の画像が取得され、前記画像取得装置２０によって撮影された画像は、前記画像処理システム３０によって分割されて認識され、前記ハーベスター機械の走行方向での農地における前記未作業領域１００、前記作業済み領域２００、及び前記農地境界領域３００が認識されて分割される。前記ハーベスター本体１０すなわちハーベスター機械のホストコンピュータは、前記画像処理システム３０によって認識された領域及び境界に基づいて、車両走行経路及び刈り作業を計画する。

【0065】

前記画像処理システム３０は、画像分割認識技術を用いて、前記画像取得装置２０によって提供された画像中の農作物の種類、農作物の高さ、農作物の実の充実度などの情報を認識することが理解され得る。前記画像処理システム３０は、認識した前記画像中の農作物の種類、農作物の高さに基づいて、農作物が刈られたか否かを判断し、認識した前記画像中の農作物の実の充実度情報に基づいて、作業パラメータを調整することができる。つまり、前記画像処理システム３０は、前記画像取得装置２０によって提供された画像に基づいて農地の領域タイプ及び境界を認識することができ、農地内の農作物の種類、高さ、実の充実度、農作物の成熟状況などを認識することもできる。

【0066】

なお、前記画像処理システム３０は、閾値に基づいた分割方法、領域に基づいた分割方法、エッジに基づいた分割方法及び特定の理論に基づいた分割方法などのいずれかの分割認識方法を選択して、前記画像取得装置２０によって取得された画像を分割して認識することによって、前記画像中の領域及び境界を認識する。好ましくは、前記画像処理システム３０は、深層学習アルゴリズムを用いて前記画像を分割して認識し、前記画像に対して領域分割及び境界の画定を行う。つまり、前記画像処理システム３０は、深層学習アルゴリズムを用いて、前記画像中の対応する農地の領域及び境界を認識することで、前記ハーベスター本体は、認識して分割された領域及び境界に従って走行して作業する。さらに好ましくは、前記画像処理システム３０は、深層学習アルゴリズムが畳み込みニューラルネットワークアルゴリズムの画像分割認識技術を用いて、画像から対応する農地内の前記未作業領域１００、作業済み領域２００、及び前記農地境界領域３００を認識する。

【0067】

なお、前記画像処理システム３０が用いる処理アルゴリズムは、例示的なものに過ぎず、限定するものではない。従って、前記画像処理システム３０は、さらに、他のアルゴリズムを用いて、取得された画像を分割して認識することで、画像中の農地領域及び境界を認識してもよい。

【0068】

図５Ａ及び図６に示すように、前記画像処理システム３０は、前記画像取得装置２０によって取得された前記画像を複数のピクセル領域３０１に分割し、各前記ピクセル領域の３０１に少なくとも１つの画素ユニットが含まれる。前記画像は、前記ハーベスター本体１０の周囲の領域に対応することに応じて、前記画像の前記ピクセル領域３０１は、撮影された農地内の特定領域の農地又は農作物の画像情報に対応する。分割されて形成された各前記ピクセル領域３０１に対して正規化処理を行うことで、前記ピクセル領域３０１の前記画素ユニットを画素値に対応する数値又はアレイに正規化することが理解され得る。つまり、前記画像処理システム３０は、画像の特徴を抽出し、領域を分割するために、分割した前記ピクセル領域３０１を対応する数値又はアレイに正規化する。

【0069】

前記画像処理システム３０は、各前記ピクセル領域３０１に対応するアレイに基づいて、前記ピクセル領域３０１に対応する画像特徴を抽出する。前記画像処理システム３０は、前記ピクセル領域３０１に対応する前記アレイに基づいて、前記ピクセル領域３０１に対応する画像特徴を得る。前記画像処理システム３０は、二次元畳み込みニューラルネットワークなどの畳み込みニューラルネットワークアルゴリズムを用いる場合、前記畳み込みニューラルネットワークの入力層に、前記ピクセル領域３０１に対応する二次元アレイ又は三次元アレイを入力する。前記畳み込みニューラルネットワークの隠れ層は、入力層のアレイに対して特徴抽出を行い、特徴抽出後に特徴選択及び情報フィルタリングを行う。前記畳み込みニューラルネットワークは、前記アレイに対応する特徴に基づいて、それぞれ前記未作業領域１００、作業済み領域２００、及び前記農地境界領域３００に対応する前記ピクセル領域３０１の分類ラベルを出力する。

【0070】

図６及び図７に示すように、前記画像処理システム３０は、前記ピクセル領域３０１に対応するアレイの特徴を抽出することによって、前記ピクセル領域３０１に対応する領域特徴を認識する。前記ピクセル領域３０１に対応する特徴は、主に、農作物の株の高さ特徴、農地内の農作物の株の間隔、農作物の色、農地土地の色、農作物種類特徴、農地土地の特徴、農作物の実の充実度、農作物の実の数などを含む。前記画像処理システム３０は、抽出した特徴に基づいて、ピクセル領域３０１に対応する分類ラベルを出力し、前記分類ラベルは、前記特徴情報に基づいて、前記ピクセル領域３０１に対応する領域タイプ及び境界線をマーキングする。

【0071】

図５Ｂに示すように、前記画像処理システム３０は、画像分割モジュール３１と、特徴化モジュール３２と、領域区画モジュール３３とを含む。前記画像分割モジュール３１は、前記画像取得モジュール２０によって撮影された画像、及び画像を分割処理して形成された複数の前記ピクセル領域３０１を取得し、各前記ピクセル領域３０１は、少なくとも１つの画素ユニットを対応して含む。前記特徴化モジュール３２は、深層学習アルゴリズムを用いて前記ピクセル領域３０１に対応する特徴タイプを抽出し、特徴を選択し、情報をフィルタリングする。前記領域区画モジュール３３は、前記特徴化モジュール３２によって抽出された前記ピクセル領域３０１に対応する特徴に基づいて、前記画像を区画することで、前記未作業領域１００、作業済み領域２００、及び前記農地境界領域３００に対応する分類ラベルを生成する。

【0072】

好ましくは、前記画像分割モジュール３１は、前記画像を複数の前記ピクセル領域３０１に分割し、各前記ピクセル領域３０１の大きさ、形状及び範囲が同じである。前記画像分割モジュール３１は、さらに、前記画像画素閾値の大きさに基づいて分割してもよく、つまり、前記画像分割モジュール３１によって分割された前記ピクセル領域３０１の大きさ、形状及び範囲が異なってもよいことが理解され得る。前記画像処理システム３０の前記特徴化モジュール３２が畳み込みニューラルネットワークアルゴリズムを用いる場合、前記画像分割モジュール３１によって分割された前記ピクセル領域３０１は、単一の画素ユニットであることがさらに好ましい。

【0073】

前記特徴化モジュール３２は、ピクセル処理モジュール３２１と、特徴抽出モジュール３２２と、特徴出力モジュール３２３とを含み、前記ピクセル処理モジュール３２１は、前記ピクセル領域３０１内の画素ユニットに対応するアレイを処理する。つまり、前記ピクセル処理モジュール３２１は、前記ピクセル領域３０１を処理しやすいアレイに正規化する。前記特徴抽出モジュール３２２は、前記ピクセル処理モジュール３２１によって処理された前記ピクセル領域３０１のアレイを入力した後に、前記アレイに対応する特徴タイプを抽出し、特徴を選択し、情報をフィルタリングし、使用可能なデータを残し、干渉データを排除し、さらに特徴抽出結果がより正確になる。前記特徴出力モジュール３２３は、前記特徴抽出モジュール３２２によって抽出された特徴を出力し、前記領域区画モジュール３３を介して、前記特徴出力モジュール３２３によって出力された特徴を組み合わせ、対応する領域の前記分類ラベルを生成する。

【0074】

前記領域区画モジュール３３は、前記特徴化モジュール３２によって抽出された前記ピクセル領域３０１に対応する特徴に基づいて、前記画像に対応する各領域を分割し、領域境界を設定する。従って、前記領域区画モジュール３３は、領域分割モジュール３３１と、境界区画モジュール３３２とをさらに含み、前記領域分割モジュール３３１は、前記ピクセル領域３０１の特徴に基づいて異なる領域を分割し、前記境界区画モジュール３３２は、前記領域に対応する境界範囲を分割することで、領域の範囲を確認する。

【0075】

前記画像取得装置２０は、前記ハーベスターの前記ハーベスター本体１０の走行中において、前記ハーベスター本体１０の前方の視野範囲内の画像をリアルタイムに取得する。そして、前記画像処理システム３０は、前記画像取得装置２０によって撮影された画像をリアルタイムに取得し、画像分割認識技術を用いて、農地に対応する前記画像の領域分割及び領域境界範囲を認識する。前記画像処理システム３０によって認識された領域分割及び領域境界範囲が前の領域境界範囲と一致しない場合、前記画像に対応する領域分割及び領域境界範囲を調整する。

【0076】

図８に示すように、前記ハーベスター本体１０は、走行及び作業中において、振動や走行方向のずれなどの問題が不可避に発生する。前記ハーベスター本体１０の走行方向がずれたり、車両が振動するため、領域分割が変わったりする場合、前記画像処理システム３０は、前記画像に対応する領域分割及び領域境界範囲をリアルタイムに更新する。

【0077】

図１に示すように、前記ハーベスターは、測位装置４０と、ナビゲーションシステム５０とをさらに含み、前記測位装置４０は、前記ハーベスター本体１０の位置測位情報を取得するために、前記ハーベスター本体１０に設けられる。好ましくは、前記測位装置４０は、ＧＰＳ又は北斗測位装置などの衛星測位情報を用いて前記ハーベスター本体１０の位置情報を取得する。前記ナビゲーションシステム５０は、前記ハーベスター本体１０に設けられ、前記ハーベスター本体１０の走行をナビゲーションすることによって、前記ハーベスター本体１０は、前記測位装置４０の測位情報及び前記画像処理システム３０で得られた領域計画情報、及び前記ナビゲーションシステム５０のナビゲーション情報に基づいて、無人自動運転及び作業を実現する。

【0078】

前記画像処理システム３０が前記画像に基づいて得た農地の領域分割及び領域境界範囲情報などが前記ナビゲーションシステム５０にリアルタイムに更新され、前記ナビゲーションシステム５０のナビゲーション情報が更新されることが理解され得る。好ましくは、前記ナビゲーションシステム５０は、慣性組み合わせナビゲーションシステムとして実施される。前記ナビゲーションシステム５０のタイプは、例示的なものに過ぎず、限定するものではないため、その他のタイプのナビゲーション装置として実施されてもよいことが理解され得る。

【0079】

以上に対応して、前記ハーベスターの前記ハーベスター本体１０は、車両本体１１と、前記車両本体１１に設けられた作業システム１２と、運転制御システム１３とを含み、前記作業システム１２は、前記車両本体１１により駆動されながら、刈り作業などの穀物処理作業を行う。前記運転制御システム１３は、前記車両本体１１の走行及び前記作業システム１２の作業を制御する。なお、前記運転制御システム１３は、無人運転モードと、操作運転モードとを有する。前記ハーベスターの前記無人運転モードでは、前記運転制御システム１３は、前記車両本体１１が自動的に運転し、前記作業システム１２が作業するように制御する。一方、ハーベスターの前記操作運転モードでは、前記運転制御システムは、運転者が手動で操作することで、前記車両本体１１の運転を操作し、前記作業システムの作業を制御することを可能とする。

【0080】

本発明の第１の好適な実施例では、前記ハーベスターは、ハーベスター機械であり、前記作業システム１２は、刈り作業機械として実施される。前記運転制御システム１３は、前記車両本体１１の走行及び前記作業システム１２の作業を制御する。つまり、前記運転制御システム１３は、前記車両本体１１の走行中において、前記作業システム１２の作業パラメータの調整を制御する。前記運転制御システム１３は、前記画像処理システム３０によって認識された前記画像中の農作物の種類、農作物の高さ、実の充実度、農作物の茎の直径などの情報を取得し、取得した前記情報に基づいて、前記作業システム１２の作業パラメータを調整し、例えば、前記作業システム１２の作業速度、作業幅、作業高さを調整し、後処理のパラメータなどを調整する。

【0081】

本発明の明細書の添付図面の図９は、農地における、前記ハーベスターの無人運転及び刈り作業の実施の形態を示す。前記ハーベスター本体１０の前記運転制御システム１３は、前記無人運転モードでは、前記測位装置４０によって提供された前記車両本体１１の測位情報、前記ナビゲーションシステム５０によって提供されたナビゲーション情報、及び前記画像処理システム３０によって提供された領域認識情報を取得し、さらに前記車両本体１１を制御して前記農地の前記未作業領域１００に走行させ、穀物の刈り作業を行わせる。前記画像取得装置２０は、前記ハーベスター本体１０の走行及び作業中において、前記車両本体１１の走行前方の前記画像をリアルタイムに取得し、前記画像処理システム３０は、画像分割認識技術を用いて前記画像から領域範囲及び境界範囲を認識する。前記画像処理システム３０によって得られた領域分割及び境界範囲が前の領域分割及び境界範囲と一致しない場合、前記運転制御システム１３が新しいナビゲーション情報を取得して走行及び作業経路を調整するために、前記画像処理システム３０は、元の領域分割及び境界範囲を置き換え、前記ナビゲーションシステム５０のナビゲーションデータを更新する。

【0082】

図１０～図１１Ｂに示すように、前記ハーベスターは、前記測位装置４０によって取得された前記ハーベスター本体１０の位置情報、前記画像処理システム３０によって認識された前記画像の領域計画情報、及び前記ナビゲーションシステム５０のナビゲーション情報に基づいて、少なくとも１つの計画経路を生成する。前記ハーベスター本体１０の前記運転制御システム１３は、生成された前記計画経路に従って、前記車両本体１１の走行及び前記作業システム１２の作業を制御する。従って、前記ハーベスターは、前記ハーベスター本体１０に対して少なくとも１つの車両走行経路を計画する経路計画システム６０をさらに含む。前記経路計画システム６０は、前記測位装置４０の測位情報、前記画像処理システム３０によって認識された前記画像の領域計画情報、及び前記ナビゲーションシステム５０のナビゲーション情報を取得し、取得した情報に基づいて、前記車両本体１１の走行経路を計画する。

【0083】

図１１Ａ及び図１１Ｂに示すように、前記経路計画システム６０は、前記農地内の対応する少なくとも１つの作業領域６０１及び作業境界６０２を認識又は設定し、前記作業領域６０１が前記ハーベスターの最も広い作業範囲であり、前記運転制御システム１３は、前記車両本体１１を制御して前記作業境界６０２の範囲内において走行させる。前記作業領域６０１及び前記作業境界６０２については、前記画像処理システム３０は、画像中の前記農地境界領域３００を認識することで、前記作業領域６０１の最も広い領域範囲及び境界を認識してもよいことが理解され得る。又は、前記経路計画システム６０は、前記ハーベスターの前記作業領域６０１を設定してもよい。

【0084】

前記経路計画システム６０は、前記作業領域６０１の最外側における前記作業境界６０２に基づいて、少なくとも１つの走行経路を計画する。前記経路計画システム６０は、前記作業領域６０１の幅が前記作業システム１２の作業幅より広い場合、「回」字状の走行経路、又は、「Ｓ」字状の走行経路を計画する。前記経路計画システム６０により計画された走行経路の形態は、例示的なものに過ぎず、限定するものではないことが理解され得る。従って、その他の形態の走行経路も適用される。

【0085】

好ましくは、前記車両本体１１が前記作業領域６０１の遠い境界まで走行すると、前記経路計画システム６０は、現在の未作業領域１００の範囲に基づいて、少なくとも１つの走行経路を再計画する。つまり、前記車両本体１１が前記作業領域６０１の遠い境界まで走行すると、前記経路計画システム６０は、前記車両本体１１に対して前記作業領域６０１及び前記作業境界６０２を更新し、更新した前記作業領域６０１に基づいて新しい走行経路を計画する。

【0086】

前記運転制御システム１３は、前記車両本体１１を制御し、前記経路計画システム６０により計画された走行経路に従って走行させ、前記作業システム１２を制御して前記作業領域４０１の最外側における農作物を刈らせることが理解され得る。つまり、前記運転制御システム１３は、前記作業システム１２が前記作業境界６０２に従って前記未作業領域１００内の作物を刈るように制御する。

【0087】

図１０に示すとおり、前記ハーベスターの前記経路計画システム６０は、作業領域設定モジュール６１と、走行経路計画モジュール６２と、経路調整モジュール６３とを含む。前記作業領域設定モジュール６１は、前記画像処理システム３０によって認識された前記画像中の前記農地の境界領域に基づいて前記農地の作業領域６０１及び前記作業境界６０２を得るか、又は、前記ハーベスター本体１０が前記農地において作業する前記作業領域６０１及び前記作業境界６０２を設定する。前記ハーベスター本体１０の作業により、未作業領域１００及び前記作業済み領域２００が変わっているため、前記作業領域設定モジュール６１は、前記作業領域６０１の範囲及び前記作業境界６０２の境界線をリアルタイムに更新することで、新しい前記未作業領域１００、及び前記作業済み領域２００を生成する。

【0088】

前記走行経路計画モジュール６２は、前記ハーベスター本体１０の測位情報、前記画像処理システム３０によって認識された前記画像の領域計画情報、及び前記ナビゲーションシステム５０のナビゲーション情報に基づいて、少なくとも１つの走行計画経路６０３を得、前記運転制御システム１３は、前記車両本体１１を前記走行計画経路６０３に従って走行するように制御する。前記経路調整モジュール６３は、前記画像処理システム３０によって認識された前記画像の農作物の情報に基づいて、前記ハーベスター本体１０の走行方向を調整し、前記走行計画経路６０３とほぼ重なったり、平行したりする車両走行経路６０４を形成する。画像中の農作物の刈り範囲を調整すべきであることを前記画像処理システム３０が認識した場合、前記経路調整モジュール６３によって生成された前記車両走行経路が前記走行計画経路６０３から外れる。

【0089】

本発明の明細書の添付図面の図１２～図１６Ｂを参照すると、本発明の第２の好適な実施例による画像取得装置付きのハーベスターは、以下の記載に説明される。前記ハーベスターは、ハーベスター本体１０と、少なくとも１つの画像取得装置２０とを含み、前記画像取得装置２０は、前記ハーベスター本体１０に設けられ、前記ハーベスター本体１０が位置する農地の画像又はビデオ映像を撮影することによって、前記ハーベスター本体１０は、前記画像取得装置２０によって撮影された画像又は映像情報に基づいて、走行方向及び／又は作業パラメータを制御する。前記画像取得装置２０は、前記ハーベスター本体１０の位置を基準として、前記ハーベスター本体１０が位置する農地の周囲の農地情報を撮影する。前記画像取得装置２０は、視野範囲内の画像、例えば、運転者の視野内の画像を取得し、撮影した前記画像に基づいて前記ハーベスター本体１０の運転パラメータを調整し、例えば、走行経路、走行速度、作業パラメータなどを調整することが理解され得る。

【0090】

なお、前記画像取得装置２０が前記ハーベスター本体１０に搭載され、前記画像取得装置２０が取得した画像及び映像情報が前記ハーベスター本体１０に伝送され、前記ハーベスター本体１０が前記情報に基づいて運転パラメータを調整する。前記画像取得装置２０は、前記ハーベスター本体１０に搭載され、ハーベスター本体１０が振れても、明瞭な映像を撮影する。つまり、前記画像取得装置２０は、振れ防止撮像装置であり、撮影中において前記ハーベスター本体１０自体の機械的振動及び地面の凹凸に起因する振れを回避することができる。前記ハーベスター本体１０は、前記画像取得装置２０によって撮影された画像情報に基づいて、操作者が操作することで走行経路及び作業パラメータを制御し、又は、走行経路及び作業パラメータを自動的に制御し、前記ハーベスターの運転作業を実現する。つまり、前記ハーベスター本体１０は、前記画像取得装置２０によって撮影された画像情報に基づいて運転及び作業パラメータを調整し、正確な作業／又は無人自動運転作業を実現する。

【0091】

好ましくは、本発明の第２の好適な実施例では、前記画像取得装置２０は、振動しても又は振れても、安定した画像又は映像を撮影する雲台撮像装置として実施される。

【0092】

本発明の第２の好適な実施例では、前記画像取得装置２０は、機械雲台装置であり、前記ハーベスター本体１０に機械的接続されるように搭載され、機械的振れ防止により、画像の振れ防止撮影を実現する。前記画像取得装置２０のタイプは、例示的なものに過ぎず、限定するものではないことが理解され得る。従って、その他のタイプの構造及び取り付け形態も適用される。

【0093】

図１２～図１４に示すように、前記画像取得装置２０は、雲台２１と少なくとも１つのビデオカメラ２２とを含み、前記雲台２１により前記ビデオカメラ２２が前記ハーベスター本体１０に取り付けされ、前記雲台２１により前記ビデオカメラ２２の取り付け位置が固定される。前記雲台２１の底端が前記ハーベスター本体１０に搭載され、前記ハーベスター本体１０を介して前記雲台２１が固定され、前記雲台２１の上端が前記ビデオカメラ２２に接続されるように設けられる。前記ビデオカメラ２２は、前記雲台２１により支持されることで、平衡状態を維持し、安定して画像を撮影し又は映像する。前記ビデオカメラ２２は、前記雲台２１の支持作用下で前記ハーベスター本体１０の周囲の画像又は映像を撮影し、前記雲台２１の取り付け位置を基準として前記ハーベスター本体１０の視野範囲内の画像を撮影する。前記画像取得装置２０の前記ビデオカメラ２２は、前記ハーベスター本体１０の位置を基準とし、写真撮影することで、少なくとも１つの視覚的画像を取得することが理解され得る。つまり、前記画像取得装置２０の前記ビデオカメラ２２は、前記ハーベスター本体１０の視野範囲内において前記画像を取得し、それにより、撮像装置２０の位置及びハーベスター本体１０の位置が変わったため、画像データが不正確になってしまう問題を回避する。

【0094】

なお、自動運転自動車が自動運転モードで車両の走行経路を認識して取得するには、正確な車両測位情報を取得する必要があり、通常、高精度な衛星測位情報を必要とし、前記自動運転自動車が高速運転状態で自動運転機能を実現するためには、道路に存在する障害物情報、道路車両情報、及び道路通行人などの情報をリアルタイムに更新する必要がある。本発明の前記ハーベスターによって取得された画像は、農地内の農作物穀物に対応する画像データ情報であり、前記画像は、車両の現在位置を基準として取得された前記車両の周辺の画像である。前記ハーベスターにとっては、超高精度な衛星測位情報を不要とし、一般的なメートルレベル精度の衛星測位（ＧＰＳ測位又は北斗測位など）のみがあればよい。よって、前記ハーベスターによって取得されて処理された画像は、自動運転自動車と異なるため、前記ハーベスターによって形成された経路計画及び運転モードも同じではない。本発明のハーベスターが前記農地の領域を視覚的に認識する機能及び自動運転機能は、自動運転自動車の認識モードと異なることが理解され得る。

【0095】

前記画像取得装置２０の前記雲台２１は、雲台固定部材２１１と少なくとも１つの雲台移動部材２１２とをさらに含み、前記雲台移動部材２１２は、前記雲台固定部材２１１に可動に接続される。前記雲台固定部材２１１は、前記ハーベスター本体１０に固定して設けられ、前記ビデオカメラ２２は、前記雲台移動部材２１２に取り付けられる。前記雲台２１の前記雲台移動部材２１２が前記ビデオカメラ２２を可動に支持することで、前記ハーベスター本体１０が振れても、前記ビデオカメラ２２が相対位置の安定性を維持し、それにより、明瞭な画像を撮る。

【0096】

つまり、前記ハーベスター本体１０が振動したり、又は、振れたりし、例えば、農地内において刈り作業を行うときに、機械的に振動したり又は振れたりする場合、前記雲台２１の前記雲台固定部材２１１は、前記ハーベスター本体１０とともに振動し、前記雲台２１の前記雲台移動部材２１２は、前記雲台固定部材２１１に対して移動し、前記雲台固定部材２１１が生じた振動を中和し、それにより、前記ビデオカメラ２２の位置安定性を維持する。詳しくは、前記雲台移動部材２１２は、前記運動固定部材２１１の上下方向、左右方向、及び前後方向の振れ又は振動を中和し、前記ビデオカメラ２２の写真撮影位置の安定性を維持し、さらに安定した画像情報を撮影する。

【0097】

図１４に示すように、前記画像取得装置２０の前記ビデオカメラ２２は、前記雲台２１の前記雲台移動部材２１２に設けられ、前記雲台２１の前記雲台移動部材２１２に固定して又は可動に取り付けられる。好ましくは、前記ビデオカメラ２２は、前記運動移動部材２１２に可動に設けられ、前記雲台移動部材２１２の上端に対して回転可能であり、異なる視野方向の画像を撮影する。任意選択的には、前記ビデオカメラ２２は、前記雲台移動部材２１２の上端に固定して取り付けられ、前記雲台２１の固定及び支持作用下で、指定された視野範囲内の画像を撮影し、例えば、前記ハーベスター本体１０の前方視野内の画像を撮影する。

【0098】

前記ビデオカメラ２２は、ビデオカメラ本体２２１と少なくとも１つのビデオカメラ駆動装置２２２とを含み、前記ビデオカメラ駆動装置２２２は、異なる方向の視野の画像を撮影させるように、前記ビデオカメラ本体２２１を駆動して移動させる。前記ビデオカメラ本体２２１は、前記雲台移動部材２１２に可動に設けられ、前記ビデオカメラ駆動装置２２２の駆動作用下で上下方向に回転可能であり、それにより、前記ハーベスター本体１０の遠く及び近くの農地及び農作物の画像を撮影する。前記ビデオカメラ本体２２１は、前記ビデオカメラ駆動装置２２２で駆動されて下へ回転するとき、前記ハーベスター本体１０の近くの画像を撮影することによって、前記画像中の農作物の情報を明瞭に認識することが理解され得る。前記ビデオカメラ本体２２１は、前記ビデオカメラ駆動装置２２２で駆動されて上へ回転するとき、前記ハーベスター本体１０の遠くの画像を撮影することによって、前記画像から前記農地の作業領域及び農地境界領域を認識する。

【0099】

前記ビデオカメラ駆動装置２２２は、前記ビデオカメラ本体２２１を駆動して左右方向に回転させることで、前記ビデオカメラ本体２２１に前記ハーベスター本体１０の左側及び右側の画像を撮影させることによって、前記農地の未作業領域１００、作業済み領域２００、及び農地境界領域３００を認識する。

【0100】

本発明の明細書の添付図面の図１５は、前記画像取得装置２０が前記ハーベスター本体１０に取り付けられるいくつかの任意選択的な取り付け形態及び取り付け位置を示す。本発明の第２の好適な実施例では、前記ハーベスターの前記画像取得装置２０は、前記ハーベスター本体１０の前側位置、最上部、左側、右側、及び後部位置などに設けられる。前記画像取得装置２０の取り付け位置によって、撮影された画像が異なり、前記画像から認識された情報も同じではないことが理解され得る。前記ハーベスター本体１０の前側に設けられた前記画像取得装置２０は、前記ハーベスター本体１０の前方の画像を撮影する。前記ハーベスターは、前へ走行して作業するとき、前記ハーベスター本体１０の前側における前記画像取得装置２０が前記ハーベスター本体１０の作業状況を撮影することによって、撮影された作業状況に応じて、前記ハーベスター本体１０の走行経路、作業パラメータなどを調整することが理解され得る。

【0101】

前記ハーベスター本体１０の後側に設けられる前記画像取得装置２０は、前記ハーベスター本体１０の後方の画像を撮影し、前記ハーベスターが前へ走行して作業する時に、前記作業済み領域２００の画像を撮影する。前記ハーベスター本体１０の後側における前記画像取得装置２０によって撮影された前記作業済み領域２００の画像を認識することで、前記ハーベスター本体１０の刈り作業が合格するか否かを認識し、前記ハーベスター本体１０の作業パラメータを調整しやすくなる。また、前記ハーベスター本体１０は、前記ハーベスター本体１０の後側に設けられる前記画像取得装置２０によって撮影された画像によって、作業済み領域２００の農作物が完全に刈られたか否か、農作物の実が残られたか否かなどを認識する。前記ハーベスター本体１０は、前記画像から認識した情報に基づいて作業パラメータを調整し、さらに刈り作業を改善する。なお、後進走行際、前記画像取得装置２０によって撮影された画像は、運転者にバックガイド映像を提供する。

【0102】

前記ハーベスター本体１０の最上部に設けられた前記画像取得装置２０は、前記ハーベスター本体１０の遠くの画像を撮影することで、前記画像に基づいて農地の作業領域、農地境界領域などを認識する。好ましくは、前記ハーベスター本体１０の最上部に設けられた前記画像取得装置２０は、回転可能な雲台ビデオカメラである。

【0103】

また、前記ハーベスター本体１０の左側又は右側に設けられた前記画像取得装置２０は、前記ハーベスター本体１０の左側又は右側の画像を撮影する。前記ハーベスター本体１０の左側又は右側の画像に基づいて、前記画像中の農地内の農作物状況を認識することで、前記未作業領域１００、前記作業済み領域２００、及び前記農地境界領域３００を認識する。

【0104】

図１２及び図１４に示すように、前記ハーベスターは、画像処理システム３０と、測位装置４０と、ナビゲーションシステム５０とをさらに含み、前記画像処理システム３０、前記測位装置４０、及び前記ナビゲーションシステム５０は、前記ハーベスター本体１０に設けられる。前記測位装置４０は、前記ハーベスター本体１０の位置情報を取得し、取得した位置情報を前記ハーベスター本体１０に伝送する。前記ナビゲーションシステム５０は、前記測位装置４０の測位情報に基づいて前記ハーベスター本体１０にナビゲーション情報を提供する。前記画像処理システム３０は、前記画像取得装置２０によって取得された前記農地の前記画像に基づいて、画像から前記未作業領域１００、前記作業済み領域２００、及び前記農地境界領域３００を認識する。

【0105】

好ましくは、前記画像処理システム３０は、画像分割認識技術を用いて画像から前記未作業領域１００、前記作業済み領域２００、及び前記農地境界領域３００を認識する。前記画像処理システム３０は、その他の形態で前記画像中の領域及び境界情報を認識してもよいことが理解され得る。従って、本発明の第２の好適な実施例では、前記画像処理システム３０が画像を認識する形態は、例示的なものに過ぎず、限定するものではない。

【0106】

図１６Ａ及び図１６Ｂに示すように、前記画像処理システム３０は、前記画像取得装置２０によって撮影された前記ハーベスター本体１０の周囲の画像に基づいて、前記画像中の農地領域、農地境界を認識し、農地内の農作物の種類、農作物の高さ、実の充実度、茎の太さ及び大きさなどの情報を認識する。

【0107】

なお、前記画像処理システム３０は、閾値に基づいた分割方法、領域に基づいた分割方法、エッジに基づいた分割方法及び特定の理論に基づいた分割方法などのいずれかの分割認識方法を選択し、前記画像取得装置２０によって取得された画像を分割して認識することで、前記画像中の領域及び境界を認識する。好ましくは、前記画像処理システム３０は、深層学習アルゴリズムを用いて、前記画像を分割して認識し、前記画像に対して領域分割及び境界の画定を行う。つまり、前記画像処理システム３０は、深層学習アルゴリズムを用いて前記画像中の対応する農地の領域及び境界を認識することで、前記ハーベスター本体１０は、認識して分割された領域及び境界に従って走行して作業する。さらに好ましくは、前記画像処理システム３０は、深層学習アルゴリズムが畳み込みニューラルネットワークアルゴリズムの画像分割認識技術を用いて、画像から対応する農地内の前記未作業領域１００、作業済み領域２００、及び前記農地境界領域３００を認識する。

【0108】

なお、前記画像処理システム３０が用いる処理アルゴリズムは、例示的なものに過ぎず、限定するものではない。従って、前記画像処理システム３０は、さらに、他のアルゴリズムを用いて、取得された画像を分割して認識し、画像中の農地領域及び境界を認識してもよい。

【0109】

前記画像処理システム３０は、前記ハーベスター本体１０に設けられた画像プロセッサであり、前記画像プロセッサは、前記画像取得装置２０によって撮影された画像又は映像を受信し、前記画像又は映像中の情報を認識する。前記ハーベスター本体１０は、前記画像処理システム３０によって認識された情報に応じて操作することで、走行経路を制御し、作業パラメータを調節することが理解され得る。

【0110】

図１２及び図１４に示すように、前記ハーベスター本体１０は、車両本体１１と、前記車両本体１１に設けられた作業システム１２と、運転制御システム１３とをさらに含み、前記作業システム１２は、前記車両本体１１に伝動接続され、前記車両本体１１は、前記作業システム１２を動作駆動し、前記作業システム１２を駆動して農作物刈り作業を行わせる。前記運転制御システム１３は、前記車両本体１１の走行を制御し、前記作業システム１２の作業を制御する。なお、前記運転制御システム１３は、無人運転モードと、操作運転モードとを有する。前記ハーベスターの前記無人運転モードでは、前記運転制御システム１３は、前記車両本体１１が自動的に運転し、前記作業システム１２が作業するように制御する。一方、ハーベスターの前記操作運転モードでは、前記運転制御システムは、運転者が手動で操作することで、前記車両本体１１の運転を操作し、前記作業システムの作業を制御することを可能とする。

【0111】

本発明の第２の好適な実施例では、前記運転制御システム１３は、前記車両本体１１の走行及び前記作業システム１２の刈り作業を制御する。つまり、前記運転制御システム１３は、前記車両本体１１の走行中において、前記作業システム１２の作業パラメータの調整を制御する。前記運転制御システム１３は、前記画像処理システム３０によって認識された前記画像中の農作物の種類、農作物の高さ、実の充実度、農作物の茎の直径大きさなどの情報を取得し、取得した前記情報に基づいて前記作業システム１２の作業パラメータを調整し、例えば、前記作業システム１２の作業速度、作業幅、作業高さを調整し、後処理のパラメータなどを調整する。

【0112】

前記作業システム１２は、少なくとも１つの刈り装置１２１と、少なくとも１つの輸送装置１２２と、少なくとも１つの後処理装置１２３をさらに含み、前記輸送装置１２２は、前記刈り装置１２１によって刈られた作物を受け、前記後処理装置１２３が前記作物に対して後処理を行うために、前記作物を前記後処理装置１２３まで輸送するように構成されている。前記作業システムの前記刈り装置１２１、前記輸送装置１２２、及び前記後処理装置１２３は、それぞれ前記車両本体１１に伝動して設けられて接続され、前記車両本体１１は、前記作業システム１２の前記刈り装置１２１、前記輸送装置１２２、及び前記後処理装置１２３を駆動して運転させて作業させる。前記後処理装置１２３は、作物が刈られた後の後続処理装置として実施され、例えば、前記ハーベスターが穀物ハーベスターの場合、脱穀装置として実施され、前記ハーベスターが草刈機械の場合、梱包装置として実施され、前記ハーベスターが野菜や果物の収穫機械である場合、野菜や果物のスクリーニング、貯蔵装置として実施されることが理解され得る。

【0113】

前記運転制御システム１３は、前記画像処理システム３０によって認識された前記画像情報に基づいて、前記刈り装置１２１の幅、刈り高さ、及び刈り速度を制御する。農地内の農作物の密度が高い場合、前記画像取得装置２０によって撮影された前記農地内の農作物の情報が前記画像処理システム３０によって認識され、前記運転制御システム１３は、前記画像処理システム３０によって認識された前記画像情報に基づいて、前記刈り装置１２１の刈り幅を縮み、刈り高さを向上させ、及び刈り速度を低減させるなどのうちのいずれかの作業パラメータを制御することが理解され得る。

【0114】

前記運転制御システム１３は、前記画像処理システム３０によって認識された前記画像情報に基づいて、前記輸送装置１２２の輸送速度、輸送パワーなどを制御する。農地内の農作物の茎が粗く、農作物の高さが高く、密度が高い場合、前記画像取得装置２０によって撮影された前記農地内の農作物の情報が前記画像処理システム３０によって認識され、前記運転制御システム１３は、前記画像処理システム３０によって認識された前記画像情報に基づいて、前記輸送装置１２２の輸送速度、輸送パワーなどの作業パラメータを向上させるように制御することが理解され得る。

【0115】

前記運転制御システム１３は、前記画像処理システム３０によって認識された前記画像情報に基づいて、前記後処理装置１２３の後処理パラメータを制御する。前記画像情報とは、農地内の農作物の実の充実度、実の大きさ、水分含有量、湿度、農作物の実の種類などが挙げられる。前記画像処理システム３０は、前記農地内の前記農作物の農作物情報を認識し、前記運転制御システム１３は、前記画像処理システム３０によって認識された前記画像情報に基づいて前記後処理装置の後処理パラメータ、例えば、吹きパワー、後処理チャンバーの回転速度などのパラメータを調整することが理解され得る。

【0116】

本発明の明細書の添付図面の図１７を参照し、本発明の第２の好適な実施例による前記ハーベスターの画像取得装置２０Ａの別の任意選択的な実施の形態は、以下の記載に説明される。前記画像取得装置２０Ａは、本任意選択的な実施の形態では、ビデオカメラの内部においてレンズの視点及びズームを制御することで、レンズの写真撮影を実現し、振れを防止する。

【0117】

以上に対応して、前記画像取得装置２０Ａは、カメラ取り付け手段２１Ａと少なくとも１つのビデオカメラ２２Ａとを含み、前記カメラ取り付け手段２１Ａにより前記ビデオカメラ２２Ａが前記ハーベスター本体１０に搭載される。前記カメラ取り付け手段２１Ａの底端が前記ハーベスター本体１０に搭載され、前記ハーベスター本体１０を介して前記カメラ取り付け手段２１Ａが固定され、前記カメラ取り付け手段２１Ａの上端が前記ビデオカメラ２２Ａに接続されるように設けられる。前記ビデオカメラ２２Ａは、前記カメラ取り付け手段２１Ａにより支持されることで、平衡状態を維持し、安定して画像を撮影し又は映像する。前記ビデオカメラ２２Ａは、前記カメラ取り付け手段２１Ａの支持作用で前記ハーベスター本体１０の周囲の画像又は映像を撮影し、前記ビデオカメラ２２Ａは、前記カメラ取り付け手段２１Ａの取り付け位置を基準として、前記ハーベスター本体１０の視野範囲内の画像を撮影する。

【0118】

前記画像取得装置２０Ａの前記ビデオカメラ２２Ａは、前記ハーベスター本体１０の位置を基準として、写真撮影することで少なくとも１つの視覚的画像を取得する。つまり、前記画像取得装置２０Ａの前記ビデオカメラ２２Ａは、前記ハーベスター本体１０の視野範囲内において前記画像を取得し、それにより、撮像装置２０Ａの位置及びハーベスター本体１０位置が変わったため、画像データが不正確になってしまう問題を回避することが理解され得る。

【0119】

本発明の他の態様によれば、本発明は、ハーベスターの自動運転方法をさらに提供し、前記自動運転方法は、
少なくとも１つの画像を取得し、前記画像中の農地領域及び農地境界を認識するステップ（ａ）と、
前記認識情報に基づいて、少なくとも１つの走行計画経路６０３を計画するステップ（ｂ）と、
前記ハーベスター本体１０を制御して前記走行計画経路６０３に従って自動的に走行させるステップ（ｃ）と、を含む。

【0120】

上記自動運転方法ステップでは、前記運転制御システム１３は、前記画像処理システム３０によって認識された領域情報及び農地境界に基づいて、前記ハーベスター本体１０の運転及び作業を制御する。

【0121】

上記自動運転方法のステップ（ａ）は、前記画像中の農地内の農作物に対応する情報を認識するステップをさらに含み、前記農作物の情報は、農作物種類、農作物の高さ、実の充実度などの情報を含む。

【0122】

上記自動運転方法ステップ（ｂ）は、
前記画像の農地に対応する領域及び境界を認識・区画するステップ（ｂ．１）と、
認識された前記領域に基づいて、少なくとも１つの走行計画経路６０３を計画するステップ（ｂ．２）と、をさらに含む。

【0123】

上記自動運転方法のステップ（ｂ．１）は、画像分割技術を用いて前記画像を分割し、前記画像の領域を認識・区画するステップをさらに含む。

【0124】

上記自動運転方法のステップ（ａ）では、前記ハーベスター本体１０の位置及び走行方向に応じて、前記ハーベスター本体１０の周囲の画像情報をリアルタイムに撮影する。つまり、前記画像取得装置２０は、前記ハーベスター本体１０の近くの画像をリアルタイムに撮影する。

【0125】

上記自動運転方法のステップ（ｂ）では、前記画像処理システムは、画像分割技術を用いて前記画像情報を分割し、前記画像の領域を、前記未作業領域１００、前記作業済み領域２００、及び前記農地境界領域３００に認識・区画する。これに応じて、前記自動運転方法のステップ（ｂ．１）は、
前記画像を複数の前記ピクセル領域３０１に分割し、前記ピクセル領域３０１の画素値をアレイに正規化するステップと、
アレイのそれぞれに対応する前記ピクセル領域３０１の特徴を抽出するステップと、
前記ピクセル領域３０１に対応する特徴に基づいて、前記画像の分類ラベルを出力するステップと、をさらに含む。

【0126】

前記分類ラベルは、前記未作業領域１００、前記作業済み領域２００、及び前記農地境界領域３００に対応することが理解され得る。

【0127】

上記自動運転方法のステップ（ｂ．２）は、前記ハーベスター本体１０の測位情報に基づいて、前記画像処理システム３０が前記画像の領域計画情報、及び前記ナビゲーションシステム５０のナビゲーション情報を認識し、前記走行計画経路６０３を取得するステップをさらに含む。

【0128】

上記自動運転方法のステップ（ｂ．２）は、前記画像処理システム３０によって認識された前記画像中の農作物の情報に基づいて前記ハーベスター本体１０の走行方向を調整し、車両走行経路６０４を形成するステップをさらに含む。

【0129】

上記自動運転方法は、前記画像処理システム３０によって認識された領域区画及び領域境界範囲が前の領域境界範囲と一致するか否かを比較し、一致しない場合、前記画像に対応する領域区画及び領域境界範囲を調整し、一致する場合、領域区画及び境界範囲を不変に維持するステップ（ｂ．３）をさらに含む。

【0130】

以上に対応して、上記方法ステップ（ｃ）では、前記運転制御システム１３は、前記ハーベスター本体１０の測位情報、前記画像処理システム３０によって得られた前記農地の領域計画情報、及び前記ナビゲーション情報に基づいて、前記ハーベスター本体１０の前記車両本体１１を走行制御する。

【0131】

上記自動運転方法は、前記画像の認識情報に基づいて、前記ハーベスター本体１０の作業システム１２の作業パラメータを調整するステップ（ｄ）をさらに含む。

【0132】

上記の説明及び図面に示された本発明の実施例は、例に過ぎず、本発明を限定するものではないことは、当業者にとって理解され得る。本発明の目的は、完全かつ効果的に実現されている。本発明の機能および構造原理は、実施例において示され、説明されており、本発明の実施形態は、上記原理から逸脱することなく、任意の変形または修正が可能である。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】

【図14】

【図15】

【図16A】

【図16B】

【図17】

【国際調査報告】